13 posts with the tag Scala
CloudWatch Logs + Spark SQL で Rails ActiveJob の実行時間を集計してみた
July 17, 2024
posted by issei_m
Rails には主にバックグラウンドで処理を実行できる ActiveJob と言う機能がありますが、先日とあるプロジェクトで、各ジョブの実行時間を集計する必要がありました。幸いデフォルトで ActiveJob はジョブの ...
Scala のテストライブラリのバージョン互換の件で苦労した話
November 18, 2021
posted by issei_m
とある Spark のプロジェクトのテストに新たに spark-testing-base を追加しようとしたらバージョン互換の件でうまく動かず、一旦解決したと思ったら今度は既存のテストが動作しなくなっ ...
How to setup Scala Play framework on Docker?
October 27, 2021
posted by Bunlong
In the previous article we showed you How to setup Scala and SBT on Docker? and in this article we are going t ...
How to setup Scala and SBT on Docker?
August 26, 2021
posted by Bunlong
In this article we are going to show you how to setup Scala in docker container as well as how to setup sbt an ...
Spark 2.x で null を含む JSON を書き出す方法
May 27, 2021
posted by issei_m
Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: 定義した Person の age  ...
Scala の Option, Either とエラー処理
September 24, 2020
posted by 中の人（管理者）
Scala ではエラー処理に使えるクラス・仕組みが沢山ありますが、今回は Option, Either を使った方法を色々紹介します。 前提知識として、Scala の Option, Either を触ったことがあり、基 ...
静的データベースと動的データベース（Spark SQLの小ネタ）
September 23, 2020
posted by koji
このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々ありましたので記事にしてみました。（従来のRDBであるMySq ...
Scalaのコレクションで遅延処理を行う
August 17, 2020
posted by issei_m
皆様おはようございます。梅雨もとっくに過ぎ、すっかり夏らしい空模様となりました。埼玉は毎日気温が高くて死にそうです・・・。 さて今回はScalaのコレクションネタです。結論から先に書くと、Scalaのコレクション処理 ( ...
Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る
May 14, 2020
posted by issei_m
ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回はScalaでKinesis Client Libraryを使 ...
AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件
March 03, 2020
posted by issei_m
今回はAWS LambdaでJava 8ランタイムを使った際に、Redis等のミドルウェアとのコネクションの管理関連でハマった点を備忘録として残しておきます。AWS Lambdaを使う上では抑えておくべき点である基本的な ...
(Scala) List[Option[A]]#flattenで起きる事
November 01, 2019
posted by issei_m
先日、kojiがOption（scala）の実用的な使い方 − データのマージ処理と言うナイスな記事を書いてくれたので、ScalaのOptionを包括した List#flatten についてもう少し掘 ...
Option（Scala）の実用的な使い方 − データのマージ処理
October 24, 2019
posted by koji
いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくりとですがご紹介します。 環境 Scala 2.11.12 s ...
Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた
June 17, 2019
posted by issei_m
今とあるプロジェクトで、Amazon EMRを使って少し大きめなボリュームのデータ処理をしているのですが、その中のあるデータの中身をWebフォームからニアリアルタイムでフィルタリングしたいと言う要望があり、その基盤として ...