リモート開発メインのソフトウェア開発企業のエンジニアブログです

aws-vault を使って AWS IAM のクレデンシャルを安全に管理する

June 16, 2021

posted by issei_m

最近、ローカルの開発 PC 上での AWS IAM のクレデンシャルの管理に aws-vault を使い始めてみた所、結構良さそうだったので紹介します。 ローカルでの IAM のクレデンシャル管理について AWS 上のコ ...

続きを読む →

Terraform で Amazon Lightsail 上に WordPress インスタンスを立てる

June 14, 2021

posted by 中の人(管理者)

とあるプロジェクトで WordPress インスタンスの作成を依頼されました。最初は Bitnami の AMI を使って EC2 上に構築しようかと思っていたのですが、別のプロジェクトで Amazon Lightsai ...

続きを読む →

Spark 2.x で null を含む JSON を書き出す方法

May 27, 2021

posted by issei_m

Spark 2.x では、 DataFrame を JSON に書き出す際、値が null のデータは失われます。 次のコードを見てみましょう: 定義した Person の age&nbsp ...

続きを読む →

AnsibleのEC2インベントリ機能を使って自動でIPアドレスを割り当てる

May 26, 2021

posted by koji

Ansibleのec2.pyを使ったインベントリが出来なくなったということで、その改修作業について書こうと思ったのですが、これについては良くまとまっている記事が既にありますので、こちらを参照で済ませたいと思います。 ht ...

続きを読む →

[GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

April 30, 2021

posted by issei_m

先月、とある GitHub リポジトリで使っている Dependabot が送ってくる Pull request の CI が軒並み落ちるようになり、状況を見てみるとどうやらリポジトリの Secrets がうまく Wor ...

続きを読む →

Terraform で秘密情報を扱う

March 25, 2021

posted by 中の人(管理者)

Terraform を使うとインフラの構成がコード化される、Infrastructure as Code (IoC) という利点があります。そして、Terraform をある程度使っていくと、ソフトウェア開発と同様に 「 ...

続きを読む →

Windows 版 Amazon WorkSpaces での開発

March 15, 2021

posted by 中の人(管理者)

背景 とあるお客様のお仕事では、Amazon WorkSpaces の環境が各人に渡されて、そこでほぼ全ての作業が行われます。 Amazon WorkSpaces では、OS を Windows と Linux から選ぶ ...

続きを読む →

ELECTRAの解説

March 01, 2021

posted by miyamonz

今日はBERTの派生モデルであるELECTRAを解説しようと思います。 BERTに関しては、過去にもブログ記事を投稿していますので良かったら御覧ください。 BERTについて勉強したことまとめ (1) BERTとは? その ...

続きを読む →

Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々

February 26, 2021

posted by koji

全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修をしなければならず大変だったというお話です。 新しいAPIは2 ...

続きを読む →

SparkでDataFrameの内容を単一のファイルに保存する

February 01, 2021

posted by issei_m

Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 上記の df はパーティション数が3つなので、 /tmp/spa ...

続きを読む →

BERTのモデル構造をもう少し詳しく

January 29, 2021

posted by miyamonz

以前にBERTに関する記事を投稿しました BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識 BERTについて勉強したことまとめ (2)モデル構造について BERTに ...

続きを読む →

Ansibleに関するエラーを解消する

January 20, 2021

posted by koji

最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので2つのエラーについてまとめていっきに書いてみます。 HomebrewでインストールしたAnsibleのtmpディレクトリの所有者がrootになって ...

続きを読む →