リモート開発メインのソフトウェア開発企業のエンジニアブログです

13 posts with the tag Scala

CloudWatch Logs + Spark SQL で Rails ActiveJob の実行時間を集計してみた

July 17, 2024

posted by issei_m

Rails には主にバックグラウンドで処理を実行できる ActiveJob と言う機能がありますが、先日とあるプロジェクトで、各ジョブの実行時間を集計する必要がありました。幸いデフォルトで ActiveJob はジョブの ...

続きを読む →

Scala のテストライブラリのバージョン互換の件で苦労した話

November 18, 2021

posted by issei_m

とある Spark のプロジェクトのテストに新たに spark-testing-base を追加しようとしたらバージョン互換の件でうまく動かず、一旦解決したと思ったら今度は既存のテストが動作しなくなっ ...

続きを読む →

How to setup Scala Play framework on Docker?

October 27, 2021

posted by Bunlong

In the previous article we showed you How to setup Scala and SBT on Docker? and in this article we are going t ...

続きを読む →

How to setup Scala and SBT on Docker?

August 26, 2021

posted by Bunlong

In this article we are going to show you how to setup Scala in docker container as well as how to setup sbt an ...

続きを読む →

Spark 2.x で null を含む JSON を書き出す方法

May 27, 2021

posted by issei_m

Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: 定義した Person の age&nbsp ...

続きを読む →

Scala の Option, Either とエラー処理

September 24, 2020

posted by 中の人(管理者)

Scala ではエラー処理に使えるクラス・仕組みが沢山ありますが、今回は Option, Either を使った方法を色々紹介します。 前提知識として、Scala の Option, Either を触ったことがあり、基 ...

続きを読む →

静的データベースと動的データベース(Spark SQLの小ネタ)

September 23, 2020

posted by koji

このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々ありましたので記事にしてみました。(従来のRDBであるMySq ...

続きを読む →

Scalaのコレクションで遅延処理を行う

August 17, 2020

posted by issei_m

皆様おはようございます。梅雨もとっくに過ぎ、すっかり夏らしい空模様となりました。埼玉は毎日気温が高くて死にそうです・・・。 さて今回はScalaのコレクションネタです。結論から先に書くと、Scalaのコレクション処理 ( ...

続きを読む →

Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る

May 14, 2020

posted by issei_m

ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回はScalaでKinesis Client Libraryを使 ...

続きを読む →

AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件

March 03, 2020

posted by issei_m

今回はAWS LambdaでJava 8ランタイムを使った際に、Redis等のミドルウェアとのコネクションの管理関連でハマった点を備忘録として残しておきます。AWS Lambdaを使う上では抑えておくべき点である基本的な ...

続きを読む →

(Scala) List[Option[A]]#flattenで起きる事

November 01, 2019

posted by issei_m

先日、kojiがOption(scala)の実用的な使い方 − データのマージ処理と言うナイスな記事を書いてくれたので、ScalaのOptionを包括した List#flatten についてもう少し掘 ...

続きを読む →

Option(Scala)の実用的な使い方 − データのマージ処理

October 24, 2019

posted by koji

いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくりとですがご紹介します。 環境 Scala 2.11.12 s ...

続きを読む →

Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた

June 17, 2019

posted by issei_m

今とあるプロジェクトで、Amazon EMRを使って少し大きめなボリュームのデータ処理をしているのですが、その中のあるデータの中身をWebフォームからニアリアルタイムでフィルタリングしたいと言う要望があり、その基盤として ...

続きを読む →