リモート開発メインのソフトウェア開発企業のエンジニアブログです

静的データベースと動的データベース(Spark SQLの小ネタ)

September 23, 2020

posted by koji

このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々ありましたので記事にしてみました。(従来のRDBであるMySq ...

続きを読む →

kedro触ってみた

September 17, 2020

posted by miyamonz

PyTorchで学習周りのコードを書いてたのですが、今後も検証を勧めていく上で、実験結果の記録やパラメータ変更や複数モデルの比較などをするために、何らかの学習周りのコードを扱うフレームワークを利用しようと思っていました。 ...

続きを読む →

BERTについて勉強したことまとめ (3) 自己教師学習と汎用性について

September 16, 2020

posted by miyamonz

前回の続きです。今回はBERTにおける2つのトピック、自己教師学習と汎用性についてです。 自己教師学習 アノテーション 機械学習において、教師ありデータというものの多くは、人間が手動でラベル付をします。例えば犬の画像から ...

続きを読む →

AKS上のKubernetesの秘匿情報をAzure Key Vaultで管理する方法

September 15, 2020

posted by issei_m

最近AKSでKubernetesを管理しているのですが、SecretオブジェクトをAzure Key Vaultで管理したくなり、調べた所、Azure Key Vault Provider for Secrets Sto ...

続きを読む →

docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる

August 25, 2020

posted by issei_m

以前こんな記事を書きました。 AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた ご存知の通りDocker Composeでは、以下の様にしてサービス (≒コンテナ) に名前をつける事ができ、これ ...

続きを読む →

データベースの論理削除と物理削除

August 25, 2020

posted by koji

最近、開発をしていてユーザーログイン情報テーブルの削除方法について議論する機会があり、自分の思考を整理するために少しその議論の過程をまとめてみることにしました。 まず現状のシステムの状態から見ていきたいと思います。 方法 ...

続きを読む →

Scalaのコレクションで遅延処理を行う

August 17, 2020

posted by issei_m

皆様おはようございます。梅雨もとっくに過ぎ、すっかり夏らしい空模様となりました。埼玉は毎日気温が高くて死にそうです・・・。 さて今回はScalaのコレクションネタです。結論から先に書くと、Scalaのコレクション処理 ( ...

続きを読む →

Label Studio で教師データ作成

July 27, 2020

posted by 中の人(管理者)

機械学習にとってはデータが重要です。本記事では、機械学習の教師データを作成するときに使える Label Studio というオープンソースのツールについて紹介します。 最初に、Label Studio 自体の説明を、その ...

続きを読む →

TypeScriptを手軽に実行できるPlayground環境の作り方

July 21, 2020

posted by Konno

みなさんこんにちは。小ネタですが、typescriptのコードを軽く試してみるときにこちらのプレイグラウンドなどを使っていたのですが、出力がぱっとできなかったりオンラインということで試したコードを保存することができなかっ ...

続きを読む →

netlifyで独自ドメインを利用するときのリダイレクト設定

June 24, 2020

posted by Konno

netlifyは静的サイトを(基本)無料でホスティングでき、githubとの連携も優れていて簡単にデプロイできるために最近よく利用していますが、netlifyに静的サイトをデプロイすると、以下のようなnetlifyのサブ ...

続きを読む →

PayPal vs. Stripe

June 22, 2020

posted by 中の人(管理者)

PayPal と Stripe の両方を使う機会があったので、比較してみます。といっても、サービス自体の比較は色々なサイトで行われているので、まずはそれらのサイトを紹介しつつ書かれていない点を補足します。その後、少し技術 ...

続きを読む →

機械学習・自然言語処理のお勧め本など

June 15, 2020

posted by 中の人(管理者)

昨年くらいから、社内では自然言語処理関連のR&Dやプロジェクトを進めています。私自身は、今のところ実装などの細かい部分には関わっていませんが、プロジェクトの責任者として基本的な知識は求められます。 本記事では、私 ...

続きを読む →