リモート開発メインのソフトウェア開発企業のエンジニアブログです

AWS Lambda でWebスクレイピングできなかったサイトについて

August 26, 2019

posted by koji

ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが2種類ほどありましたので、情報を残しておきたいと思います。 メール認証が必要なサイ ...

続きを読む →

(小ネタ)GitHubDarkを使ってGitHubをダークモードなUIにする

August 16, 2019

posted by issei_m

こんにちは。暑い日が続いていますが皆さんいかがお過ごしでしょうか?僕が住んでいるさいたまーでは連日の猛暑で外に出る気力も起きません。(因みに弊社はフルリモートなので外に出る事はあまりありません。採用も行っているので、興味 ...

続きを読む →

Dropbox 代替の Nextcloud を ConoHa VPS で使用する

August 15, 2019

posted by 中の人(管理者)

はじめに Nextcloud とは Nextcloud とは、オープンソースの Dropbox みたいなソフトです。自前のサーバーに Nextcloud サーバーをインストールし、PC やスマホの Nextcloud ク ...

続きを読む →

package.jsonとpackage-lock.jsonの運用方法について

August 08, 2019

posted by Konno

はじめに パッケージ管理ツールnpmでのpackage.jsonとpackage-lock.jsonの違いや運用方法など、曖昧な点が多かったので調べてまとめてみました。基本的な内容かと思いますが、 参考になれば幸いです。 ...

続きを読む →

PostgreSQLなRDSでIAM Database Authenticationを使ってみた

August 02, 2019

posted by issei_m

最近、とあるPostgreSQLなRDS(Auroraでない)を運用しているのですが、普通にRailsから使っているのとは別に、Lambdaからも接続する要件があり、表題のIAM Database Authenticat ...

続きを読む →

Laravel の eager loading に関する小ネタ

July 23, 2019

posted by 中の人(管理者)

はじめに Laravel や Rails のようなフレームワークでは、N+1問題を回避するために eager loading を使用する事が一般的です。本記事では、Laravel の eager loading に関する ...

続きを読む →

React.jsのコードをTypeScript化する

July 01, 2019

posted by koji

割と簡単にTypeScript化できることが分かりましたので、既存プロジェクトのReact.jsコードに適用してみました。 開発環境 laravel 5.7 react 16.2 typescript 3.3 パッケージ ...

続きを読む →

S3とCloudFront関連のあれこれ

June 24, 2019

posted by 中の人(管理者)

先日、S3 に HTML、画像、CSS などを置いて、CloudFront でそれを静的サイトとして配信するという設定を行いました。その際に、サイト内でいくつかの条件に従ってリダイレクトさせるという要件がありました。 C ...

続きを読む →

Laravelの多対多のリレーションについて

June 21, 2019

posted by Konno

はじめに 皆さんこんにちは。Laravelの多対多のリレーションについて、曖昧な部分が多かったので勉強がてら基本的な部分を整理してみました。 多対多には中間テーブルとbelongsToMany()を使う 例えば「ブログ記 ...

続きを読む →

Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた

June 17, 2019

posted by issei_m

今とあるプロジェクトで、Amazon EMRを使って少し大きめなボリュームのデータ処理をしているのですが、その中のあるデータの中身をWebフォームからニアリアルタイムでフィルタリングしたいと言う要望があり、その基盤として ...

続きを読む →

AWS Lambda上でWebスクレイピング

June 10, 2019

posted by koji

AWS Lambdaは様々なリソースの制限(例えば900秒を超える処理は実行できない等)があるため、スクレイピング処理をうまく動作させるために一苦労しました。これらの制限をクリアできる処理を動作させることに限定するという ...

続きを読む →

(小ネタ)md5sumを使ってリモートにあるファイルとのチェックサムを検証するワンライナー

May 31, 2019

posted by issei_m

先に結論から書きます。 SSH接続した先にあるファイルとローカルファイルを比較する AWS S3上にあるファイルとローカルファイルを比較する ※S3の場合は、コンテンツをローカルにDLしてから計算している関係で、ファイル ...

続きを読む →