AWS Lambda でWebスクレイピングできなかったサイトについて
August 26, 2019
posted by koji
ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが2種類ほどありましたので、情報を残しておきたいと思います。 メール認証が必要なサイ ...
(小ネタ)GitHubDarkを使ってGitHubをダークモードなUIにする
August 16, 2019
posted by issei_m
こんにちは。暑い日が続いていますが皆さんいかがお過ごしでしょうか?僕が住んでいるさいたまーでは連日の猛暑で外に出る気力も起きません。(因みに弊社はフルリモートなので外に出る事はあまりありません。採用も行っているので、興味 ...
Dropbox 代替の Nextcloud を ConoHa VPS で使用する
August 15, 2019
posted by 中の人(管理者)
はじめに Nextcloud とは Nextcloud とは、オープンソースの Dropbox みたいなソフトです。自前のサーバーに Nextcloud サーバーをインストールし、PC やスマホの Nextcloud ク ...
package.jsonとpackage-lock.jsonの運用方法について
August 08, 2019
posted by Konno
はじめに パッケージ管理ツールnpmでのpackage.jsonとpackage-lock.jsonの違いや運用方法など、曖昧な点が多かったので調べてまとめてみました。基本的な内容かと思いますが、 参考になれば幸いです。 ...
PostgreSQLなRDSでIAM Database Authenticationを使ってみた
August 02, 2019
posted by issei_m
最近、とあるPostgreSQLなRDS(Auroraでない)を運用しているのですが、普通にRailsから使っているのとは別に、Lambdaからも接続する要件があり、表題のIAM Database Authenticat ...
Laravel の eager loading に関する小ネタ
July 23, 2019
posted by 中の人(管理者)
はじめに Laravel や Rails のようなフレームワークでは、N+1問題を回避するために eager loading を使用する事が一般的です。本記事では、Laravel の eager loading に関する ...
React.jsのコードをTypeScript化する
July 01, 2019
posted by koji
割と簡単にTypeScript化できることが分かりましたので、既存プロジェクトのReact.jsコードに適用してみました。 開発環境 laravel 5.7 react 16.2 typescript 3.3 パッケージ ...
S3とCloudFront関連のあれこれ
June 24, 2019
posted by 中の人(管理者)
先日、S3 に HTML、画像、CSS などを置いて、CloudFront でそれを静的サイトとして配信するという設定を行いました。その際に、サイト内でいくつかの条件に従ってリダイレクトさせるという要件がありました。 C ...
Laravelの多対多のリレーションについて
June 21, 2019
posted by Konno
はじめに 皆さんこんにちは。Laravelの多対多のリレーションについて、曖昧な部分が多かったので勉強がてら基本的な部分を整理してみました。 多対多には中間テーブルとbelongsToMany()を使う 例えば「ブログ記 ...
Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた
June 17, 2019
posted by issei_m
今とあるプロジェクトで、Amazon EMRを使って少し大きめなボリュームのデータ処理をしているのですが、その中のあるデータの中身をWebフォームからニアリアルタイムでフィルタリングしたいと言う要望があり、その基盤として ...
AWS Lambda上でWebスクレイピング
June 10, 2019
posted by koji
AWS Lambdaは様々なリソースの制限(例えば900秒を超える処理は実行できない等)があるため、スクレイピング処理をうまく動作させるために一苦労しました。これらの制限をクリアできる処理を動作させることに限定するという ...
(小ネタ)md5sumを使ってリモートにあるファイルとのチェックサムを検証するワンライナー
May 31, 2019
posted by issei_m
先に結論から書きます。 SSH接続した先にあるファイルとローカルファイルを比較する AWS S3上にあるファイルとローカルファイルを比較する ※S3の場合は、コンテンツをローカルにDLしてから計算している関係で、ファイル ...