リモート開発メインのソフトウェア開発企業のエンジニアブログです

15 posts by koji

AWS AthenaでINSERTするときに困ったこと

October 22, 2021

posted by koji

AWS Athenaを分析ツール(読み込み)として使ってみた系の記事はたくさんあるのですが、書き込み(INSERT)に関する記事が充実していないために調べるのに苦労したので、まとめておきたいと思います。 以下が直面した問 ...

続きを読む →

AnsibleのEC2インベントリ機能を使って自動でIPアドレスを割り当てる

May 26, 2021

posted by koji

Ansibleのec2.pyを使ったインベントリが出来なくなったということで、その改修作業について書こうと思ったのですが、これについては良くまとまっている記事が既にありますので、こちらを参照で済ませたいと思います。 ht ...

続きを読む →

Slackの新しくなったメッセージ取得APIを使用する際に考えなければならないこと色々

February 26, 2021

posted by koji

全てのメッセージを時系列にまとめて取得できていたchannels.historyが廃止されました。この仕様変更により、APIを利用しているシステムに結構な改修をしなければならず大変だったというお話です。 新しいAPIは2 ...

続きを読む →

Ansibleに関するエラーを解消する

January 20, 2021

posted by koji

最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので2つのエラーについてまとめていっきに書いてみます。 HomebrewでインストールしたAnsibleのtmpディレクトリの所有者がrootになって ...

続きを読む →

静的データベースと動的データベース(Spark SQLの小ネタ)

September 23, 2020

posted by koji

このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々ありましたので記事にしてみました。(従来のRDBであるMySq ...

続きを読む →

データベースの論理削除と物理削除

August 25, 2020

posted by koji

最近、開発をしていてユーザーログイン情報テーブルの削除方法について議論する機会があり、自分の思考を整理するために少しその議論の過程をまとめてみることにしました。 まず現状のシステムの状態から見ていきたいと思います。 方法 ...

続きを読む →

Vagrant環境でRailsのリモートデバッグ(ブレークポイント使用可能)

April 20, 2020

posted by koji

基本的には以下の記事の流れに沿ってインストールすれば良いのですが、ある程度インフラに精通していないと完了までに結構はまることになると思いますので、重要なポイントを記録しておきたいと思います。 Visual Studio ...

続きを読む →

Firebaseのためのお手軽な開発環境2

December 02, 2019

posted by koji

以下の記事の続きです。今回はFirebaseの認証機能を実装をすることと実際にデプロイして動くことを試してみたいと思います。 Firebase認証の有効化 Firebase Console にログインし、[Au ...

続きを読む →

Firebaseのためのお手軽な開発環境

November 25, 2019

posted by koji

Firebaseのプロトタイプを作る必要があったため、ReactからFirebaseを操作できる開発環境をdockerで作ってみました。お手軽感はかなり高いと思います。実際の開発が始まるまでにはもう少しちゃんと整備する必 ...

続きを読む →

Option(Scala)の実用的な使い方 − データのマージ処理

October 24, 2019

posted by koji

いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくりとですがご紹介します。 環境 Scala 2.11.12 s ...

続きを読む →

GUIありのWebスクレイピングを定期実行する

October 01, 2019

posted by koji

GUIありのWebスクレイピングというのは、バックグラウンドではなく実際にGUIでブラウザが立ち上がって、まるでゴーストが勝手にボタンを押しているかのように自動でWeb画面が遷移していくという手法のことを指します。 オン ...

続きを読む →

AWS Lambda でWebスクレイピングできなかったサイトについて

August 26, 2019

posted by koji

ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが2種類ほどありましたので、情報を残しておきたいと思います。 メール認証が必要なサイ ...

続きを読む →

React.jsのコードをTypeScript化する

July 01, 2019

posted by koji

割と簡単にTypeScript化できることが分かりましたので、既存プロジェクトのReact.jsコードに適用してみました。 開発環境 laravel 5.7 react 16.2 typescript 3.3 パッケージ ...

続きを読む →

AWS Lambda上でWebスクレイピング

June 10, 2019

posted by koji

AWS Lambdaは様々なリソースの制限(例えば900秒を超える処理は実行できない等)があるため、スクレイピング処理をうまく動作させるために一苦労しました。これらの制限をクリアできる処理を動作させることに限定するという ...

続きを読む →

Python 3.6 の環境を構築してVisual Studio Code でコーディングする

May 10, 2019

posted by koji

仮想化技術を用いてサクッと開発環境を作るのが当たり前な開発現場が多くなっていると思いますが、時には開発環境がAWS上にのみ存在し、ローカルではインテリセンスのあるエディタでコードが書ければ良いという場面もあると思います。 ...

続きを読む →