（前回の記事で「軽く書いていきます」と言いつつ長文を書いてしまったので、今度こそ軽くまとめたいと思います。） regex_replace の説明（本題） 基本 Spark SQL には、regex_replace という ...

にわか Pythonista の管理人です。ちょっとしたメモ書き程度の内容でもブログに書いていこうと思ったので、今回は Python での日付・時刻の扱い方について軽く書いていきます。 （言語問わず）日付・時刻の基本的な ...

なので Step Functions を使いましょうと言うお話です。 ある ECS で動いているバッチジョブの定期実行に EventBridge Rules を使って実装していたのですが、ある時ジョブがほぼ一定の頻度で失 ...

前回記事にしたOpenCVの続編。 OpenCVについてとざっくりとした環境は前回の記事を参照してください。 前半は文字検出と画像検出についてで、後半は今までの機能を利用してなにか動くものを作ろうという内容になります。 ...

なんとなく画像認識系のプログラムに興味が湧いたところ、OpenCVを使えば簡単に試せるという話を聞いたので試してみました。 OpenCVとは？ 画像処理・画像解析および機械学習等の機能を持つC/C++、Java、Pyth ...

先日、Go で書かれたとあるバッチジョブのパフォーマンス改善として処理の並行化をするにあたり、今回初めて使った Goroutines, Channels で色々とハマりどころがあったので備忘録用にここにまとめておきます。 ...

SQLで重複を排除するならGROUP BYやDISTINCTなどが思い浮かぶと思います。 実際ほとんどの場合はそれで済むと思いますが、今回は少し変わったクエリで重複の排除をする必要がありました。 例えば以下のようなテーブ ...

遅くなりましたが皆様あけましておめでとうございます。今年もどうぞ宜しくお願い致します。 さて、今回とあるプロジェクトで gRPC の API サーバーへの負荷試験をする事になったのですが、以前、中の人が記事を書いた通り、 ...

PHP, Laravelの話。 とあるプロジェクトで静的メソッド(staticメソッド)について学ぶ機会がありました。 本記事はPHP初学者、オブジェクト指向を学習中の方、staticメソッドを存じない方向けの内容です。 ...

皆さん Lambda 関数は書いてますか？？ Lambda と言えば現在では多数の言語でのランタイムをサポートしていますが、その中でもコンテナイメージを使った開発が個人的には楽だと感じていて日々使っているので紹介していき ...

現在従事しているプロジェクトでSlackへの投稿をPythonで実装することになったのですが、外部と通信するためにProxyサーバーを経由する必要があると後からわかりました。当初予定していたSlackwebではProxy ...

とある Spark のプロジェクトのテストに新たに spark-testing-base を追加しようとしたらバージョン互換の件でうまく動かず、一旦解決したと思ったら今度は既存のテストが動作しなくなっ ...