最近、ローカルの開発 PC 上での AWS IAM のクレデンシャルの管理に aws-vault を使い始めてみた所、結構良さそうだったので紹介します。 ローカルでの IAM のクレデンシャル管理について AWS 上のコ ...

とあるプロジェクトで WordPress インスタンスの作成を依頼されました。最初は Bitnami の AMI を使って EC2 上に構築しようかと思っていたのですが、別のプロジェクトで Amazon Lightsai ...

Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: 定義した Person の age&nbsp ...

Ansibleのec2.pyを使ったインベントリが出来なくなったということで、その改修作業について書こうと思ったのですが、これについては良くまとまっている記事が既にありますので、こちらを参照で済ませたいと思います。 ht ...

先月、とある GitHub リポジトリで使っている Dependabot が送ってくる Pull request の CI が軒並み落ちるようになり、状況を見てみるとどうやらリポジトリの Secrets がうまく Wor ...

Terraform を使うとインフラの構成がコード化される、Infrastructure as Code (IoC) という利点があります。そして、Terraform をある程度使っていくと、ソフトウェア開発と同様に 「 ...

背景 とあるお客様のお仕事では、Amazon WorkSpaces の環境が各人に渡されて、そこでほぼ全ての作業が行われます。 Amazon WorkSpaces では、OS を Windows と Linux から選ぶ ...

今日はBERTの派生モデルであるELECTRAを解説しようと思います。 BERTに関しては、過去にもブログ記事を投稿していますので良かったら御覧ください。 BERTについて勉強したことまとめ (1) BERTとは? その ...

全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修をしなければならず大変だったというお話です。 新しいAPIは２ ...

Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 上記の df はパーティション数が3つなので、 /tmp/spa ...

以前にBERTに関する記事を投稿しました BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識 BERTについて勉強したことまとめ (2)モデル構造について BERTに ...

最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので２つのエラーについてまとめていっきに書いてみます。 HomebrewでインストールしたAnsibleのtmpディレクトリの所有者がrootになって ...