リモート開発メインのソフトウェア開発企業のエンジニアブログです

[GitHub Actions] Secrets や書き込み権限が必要な Workflow を Dependabot からも使えるようにする

April 30, 2021

posted by issei_m

先月、とある GitHub リポジトリで使っている Dependabot が送ってくる Pull request の CI が軒並み落ちるようになり、状況を見てみるとどうやらリポジトリの Secrets がうまく Wor ...

続きを読む →

Terraform で秘密情報を扱う

March 25, 2021

posted by 中の人(管理者)

Terraform を使うとインフラの構成がコード化される、Infrastructure as Code (IoC) という利点があります。そして、Terraform をある程度使っていくと、ソフトウェア開発と同様に 「 ...

続きを読む →

Windows 版 Amazon WorkSpaces での開発

March 15, 2021

posted by 中の人(管理者)

背景 とあるお客様のお仕事では、Amazon WorkSpaces の環境が各人に渡されて、そこでほぼ全ての作業が行われます。 Amazon WorkSpaces では、OS を Windows と Linux から選ぶ ...

続きを読む →

ELECTRAの解説

March 01, 2021

posted by miyamonz

今日はBERTの派生モデルであるELECTRAを解説しようと思います。 BERTに関しては、過去にもブログ記事を投稿していますので良かったら御覧ください。 BERTについて勉強したことまとめ (1) BERTとは? その ...

続きを読む →

Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々

February 26, 2021

posted by koji

全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修をしなければならず大変だったというお話です。 新しいAPIは2 ...

続きを読む →

SparkでDataFrameの内容を単一のファイルに保存する

February 01, 2021

posted by issei_m

Sparkで処理したDataFrameをファイルとしてディスクに書き出す際、通常ファイルはパーティションの数分作成されます。 上記の df はパーティション数が3つなので、 /tmp/spa ...

続きを読む →

BERTのモデル構造をもう少し詳しく

January 29, 2021

posted by miyamonz

以前にBERTに関する記事を投稿しました BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識 BERTについて勉強したことまとめ (2)モデル構造について BERTに ...

続きを読む →

Ansibleに関するエラーを解消する

January 20, 2021

posted by koji

最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので2つのエラーについてまとめていっきに書いてみます。 HomebrewでインストールしたAnsibleのtmpディレクトリの所有者がrootになって ...

続きを読む →

MySQL で一意制約が削除できない

January 19, 2021

posted by 中の人(管理者)

基本: 外部キーに使われているインデックスは削除出来ない MySQL でインデックスを削除するときに、以下のようなエラーメッセージが出る事があります。 普通に読めば、そのインデックスが外部キーによって使用されているので削 ...

続きを読む →

分類のための指標(PrecisionとRecall)の解説

December 03, 2020

posted by miyamonz

指標はいろいろあって難しい 私が機械学習の勉強を始めた際に、モデルの性能を評価するための指標というものがあるのを知りました。具体的に言うと、sckit-learnのclassification_reportです。 統計解 ...

続きを読む →

AWS の session token を簡単に管理する

November 25, 2020

posted by 中の人(管理者)

トークン取得→設定作業が地味に面倒 先日、こんな issei-m がこんな投稿をしました。 IAM で MFA を強制する方法と CLI での認証方法 – もばらぶエンジニアブログ 今はどこもセキュリティが厳しくなって、 ...

続きを読む →

kedroのモデルを読み込むパイプラインにおいて、同じ型のモデルを切り替える

October 27, 2020

posted by miyamonz

kedroのパイプラインで、同じ型のモデルを差し替えて利用する方法を、私が分かった&やってみた範囲で紹介します。 例えば、BERTとELECTRAにおいて、どちらも各々の事前学習モデル(のパラメータ)があるとして文書分類 ...

続きを読む →