リモート開発メインのソフトウェア開発企業のエンジニアブログです

8 posts with the tag Scala

Scala の Option, Either とエラー処理

September 24, 2020

posted by 中の人(管理者)

Scala ではエラー処理に使えるクラス・仕組みが沢山ありますが、今回は Option, Either を使った方法を色々紹介します。 前提知識として、Scala の Option, Either を触ったことがあり、基 ...

続きを読む →

静的データベースと動的データベース(Spark SQLの小ネタ)

September 23, 2020

posted by koji

このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々ありましたので記事にしてみました。(従来のRDBであるMySq ...

続きを読む →

Scalaのコレクションで遅延処理を行う

August 17, 2020

posted by issei_m

皆様おはようございます。梅雨もとっくに過ぎ、すっかり夏らしい空模様となりました。埼玉は毎日気温が高くて死にそうです・・・。 さて今回はScalaのコレクションネタです。結論から先に書くと、Scalaのコレクション処理 ( ...

続きを読む →

Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る

May 14, 2020

posted by issei_m

ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回はScalaでKinesis Client Libraryを使 ...

続きを読む →

AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件

March 03, 2020

posted by issei_m

今回はAWS LambdaでJava 8ランタイムを使った際に、Redis等のミドルウェアとのコネクションの管理関連でハマった点を備忘録として残しておきます。AWS Lambdaを使う上では抑えておくべき点である基本的な ...

続きを読む →

(Scala) List[Option[A]]#flattenで起きる事

November 01, 2019

posted by issei_m

先日、kojiがOption(scala)の実用的な使い方 − データのマージ処理と言うナイスな記事を書いてくれたので、ScalaのOptionを包括した List#flatten についてもう少し掘 ...

続きを読む →

Option(Scala)の実用的な使い方 − データのマージ処理

October 24, 2019

posted by koji

いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくりとですがご紹介します。 環境 Scala 2.11.12 s ...

続きを読む →

Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた

June 17, 2019

posted by issei_m

今とあるプロジェクトで、Amazon EMRを使って少し大きめなボリュームのデータ処理をしているのですが、その中のあるデータの中身をWebフォームからニアリアルタイムでフィルタリングしたいと言う要望があり、その基盤として ...

続きを読む →