リモート開発メインのソフトウェア開発企業のエンジニアブログです

2021年02月の記事一覧

Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々

February 26, 2021

posted by koji

全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修をしなければならず大変だったというお話です。 新しいAPIは2 ...

続きを読む →

SparkでDataFrameの内容を単一のファイルに保存する

February 01, 2021

posted by issei_m

Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 上記の df はパーティション数が3つなので、 /tmp/spa ...

続きを読む →