リモート開発メインのソフトウェア開発企業のエンジニアブログです

8 posts by miyamonz

ELECTRAの解説

March 01, 2021

posted by miyamonz

今日はBERTの派生モデルであるELECTRAを解説しようと思います。 BERTに関しては、過去にもブログ記事を投稿していますので良かったら御覧ください。 BERTについて勉強したことまとめ (1) BERTとは? その ...

続きを読む →

BERTのモデル構造をもう少し詳しく

January 29, 2021

posted by miyamonz

以前にBERTに関する記事を投稿しました BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識 BERTについて勉強したことまとめ (2)モデル構造について BERTに ...

続きを読む →

分類のための指標(PrecisionとRecall)の解説

December 03, 2020

posted by miyamonz

指標はいろいろあって難しい 私が機械学習の勉強を始めた際に、モデルの性能を評価するための指標というものがあるのを知りました。具体的に言うと、sckit-learnのclassification_reportです。 統計解 ...

続きを読む →

kedroのモデルを読み込むパイプラインにおいて、同じ型のモデルを切り替える

October 27, 2020

posted by miyamonz

kedroのパイプラインで、同じ型のモデルを差し替えて利用する方法を、私が分かった&やってみた範囲で紹介します。 例えば、BERTとELECTRAにおいて、どちらも各々の事前学習モデル(のパラメータ)があるとして文書分類 ...

続きを読む →

kedro触ってみた

September 17, 2020

posted by miyamonz

PyTorchで学習周りのコードを書いてたのですが、今後も検証を勧めていく上で、実験結果の記録やパラメータ変更や複数モデルの比較などをするために、何らかの学習周りのコードを扱うフレームワークを利用しようと思っていました。 ...

続きを読む →

BERTについて勉強したことまとめ (3) 自己教師学習と汎用性について

September 16, 2020

posted by miyamonz

前回の続きです。今回はBERTにおける2つのトピック、自己教師学習と汎用性についてです。 自己教師学習 アノテーション 機械学習において、教師ありデータというものの多くは、人間が手動でラベル付をします。例えば犬の画像から ...

続きを読む →

BERTについて勉強したことまとめ (2)モデル構造について

June 12, 2020

posted by miyamonz

前回は特徴と予備知識を確認しました。今回はBERTの構造についてです。 BERTのモデルの構造 BERTのモデル構造の主な部分は、TransformerのEncoderを複数重ねただけです。それに合わせて、その上下にどの ...

続きを読む →

BERTについて勉強したことまとめ (1) BERTとは? その特徴と解決しようとした問題、及び予備知識

May 22, 2020

posted by miyamonz

現在、社内の機械学習を用いたプロジェクトに関わっていて、その過程で学んだBERTについて今まで勉強したことをまとめてみようと思います。 自然言語処理(以下NLP)、とくにBERT周辺の理解したことを以下何回かに分けて書い ...

続きを読む →