31 posts with the tag AWS
[LocalStack]無料でAWSサービスを開発・テストする
October 04, 2024
posted by hozumi
AWSのサービスをローカルで利用できると聞いたので、空き時間に導入してみました。 LocalStackとは LocalStackは、AWSの環境をローカルでエミュレートするツールです。クラウドに接続せずにAWSサービスの ...
AWS CDK の権限周りについて考えてみた
September 12, 2023
posted by issei_m
AWS CDK でデプロイ等の業務を行う際に必要なアクセス権限を調べた所、よく考えられていてセキュリティリスクを抑える様に設計されている反面、デフォルトでは最悪 AdministratorAccess にエスカレーション ...
Kinesis Data Firehose の PutRecordBatch のリトライ方法
April 18, 2023
posted by issei_m
AWS の Kinesis Data Firehose の PutRecordBatch を使うにあたって、失敗したレコードのリトライに関する日本語の記事があまり多くなかったので今回書いてみました。 使用する言語は Go ...
AWS Fargate を使ってスプラトゥーン3の戦績を stat.ink に定期保存できるようにした
November 30, 2022
posted by issei_m
こんにちは。スプラトゥーン3が9月に発売を迎えてはや3ヶ月弱が経ち、いよいよ新シーズンである Chill Season が幕を開けようとしています。 さて、私は以前以下のような記事を書きました。 AWS Lambdaを使 ...
DynamoDB でロックを実装する
September 30, 2022
posted by issei_m
バッチジョブとかを実装する場合、多くのケースでは冪等性を持たせる事が多いと思いますが、中にはジョブの性質上、一定期間内に1度しか起動してはならない場合もあったりします。 (具体的なケースの例はまた別の機会に書きます)1度 ...
[AWS] EventBridge Rules による ECS Scheduled Task はエラー時リトライできない
May 18, 2022
posted by issei_m
なので Step Functions を使いましょうと言うお話です。 ある ECS で動いているバッチジョブの定期実行に EventBridge Rules を使って実装していたのですが、ある時ジョブがほぼ一定の頻度で失 ...
Docker による AWS Lambda 関数コンテナイメージ化のすすめ
December 06, 2021
posted by issei_m
皆さん Lambda 関数は書いてますか?? Lambda と言えば現在では多数の言語でのランタイムをサポートしていますが、その中でもコンテナイメージを使った開発が個人的には楽だと感じていて日々使っているので紹介していき ...
AWS AthenaでINSERTするときに困ったこと
October 22, 2021
posted by koji
AWS Athenaを分析ツール(読み込み)として使ってみた系の記事はたくさんあるのですが、書き込み(INSERT)に関する記事が充実していないために調べるのに苦労したので、まとめておきたいと思います。 以下が直面した問 ...
CloudWatch Logs を S3 にエクスポートする際オブジェクトのイベント通知が発生しない場合がある
August 25, 2021
posted by issei_m
CloudWatch Logs にはログを S3 にエクスポートする機能があるのですが、この機能を使ってログを S3 にアップロードした際、S3 バケットの s3:ObjectCreated:PUT ...
aws-vault を使って AWS IAM のクレデンシャルを安全に管理する
June 16, 2021
posted by issei_m
最近、ローカルの開発 PC 上での AWS IAM のクレデンシャルの管理に aws-vault を使い始めてみた所、結構良さそうだったので紹介します。 ローカルでの IAM のクレデンシャル管理について AWS 上のコ ...
Ansibleに関するエラーを解消する
January 20, 2021
posted by koji
最近遭遇したエラーについて簡単に解消方法を提示します。小さいトピックなので2つのエラーについてまとめていっきに書いてみます。 HomebrewでインストールしたAnsibleのtmpディレクトリの所有者がrootになって ...
IAM で MFA を強制する方法と CLI での認証方法
October 20, 2020
posted by issei_m
今関わっているとあるプロジェクトでは、利用している AWS のリソースを操作するすべてのユーザーに対して MFA (多要素認証) を設定する事を義務付けています。 MFA 自体は AWS に限らず、多数の Web サービ ...
docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる
August 25, 2020
posted by issei_m
以前こんな記事を書きました。 AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた ご存知の通りDocker Composeでは、以下の様にしてサービス (≒コンテナ) に名前をつける事ができ、これ ...
24時間稼働でないKinesisストリームの運用で手こずった点
May 21, 2020
posted by issei_m
前回に引き続き、Kinesisネタです。今回は、前回紹介したとあるコンシューマアプリケーションの運用で、タイトルにもある通り24時間稼働ではないユースケースでの運用で少しハマった点があるので書き記します。 ダウンタイムに ...
Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る
May 14, 2020
posted by issei_m
ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回はScalaでKinesis Client Libraryを使 ...
AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた
April 01, 2020
posted by issei_m
既に使っている方も多くいると思いますが、先月AWS CLI v2が正式リリースされました。このバージョンではバイナリが各メジャーなOS毎に用意されていて、Pythonのインストールが不要になったので、v1の頃より使いやす ...
AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件
March 03, 2020
posted by issei_m
今回はAWS LambdaでJava 8ランタイムを使った際に、Redis等のミドルウェアとのコネクションの管理関連でハマった点を備忘録として残しておきます。AWS Lambdaを使う上では抑えておくべき点である基本的な ...
Option(Scala)の実用的な使い方 − データのマージ処理
October 24, 2019
posted by koji
いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくりとですがご紹介します。 環境 Scala 2.11.12 s ...
GUIありのWebスクレイピングを定期実行する
October 01, 2019
posted by koji
GUIありのWebスクレイピングというのは、バックグラウンドではなく実際にGUIでブラウザが立ち上がって、まるでゴーストが勝手にボタンを押しているかのように自動でWeb画面が遷移していくという手法のことを指します。 オン ...
AWS Lambda でWebスクレイピングできなかったサイトについて
August 26, 2019
posted by koji
ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが2種類ほどありましたので、情報を残しておきたいと思います。 メール認証が必要なサイ ...
PostgreSQLなRDSでIAM Database Authenticationを使ってみた
August 02, 2019
posted by issei_m
最近、とあるPostgreSQLなRDS(Auroraでない)を運用しているのですが、普通にRailsから使っているのとは別に、Lambdaからも接続する要件があり、表題のIAM Database Authenticat ...
AWS Lambda上でWebスクレイピング
June 10, 2019
posted by koji
AWS Lambdaは様々なリソースの制限(例えば900秒を超える処理は実行できない等)があるため、スクレイピング処理をうまく動作させるために一苦労しました。これらの制限をクリアできる処理を動作させることに限定するという ...
S3 の特定のフォルダのみにアクセス権限を与える
April 15, 2019
posted by 中の人(管理者)
背景: S3の権限設定は色々難しい Amazon S3 は、(お金さえ出せば)容量を気にせず色んなファイルを置いておける便利なストレージで、様々な用途に使われています。 特定のフォルダを特定のユーザー(※)のみに使わせた ...
Serverless で複数の AWS アカウントを使用する
February 25, 2019
posted by 中の人(管理者)
はじめに Serverless Framework とは 本ブログでも過去に何回か紹介した Serverless Framework は、AWS Lambda 関数を簡単に作成できるツールです。以下、過去記事です。 S ...
AWS Lambdaを使ってスプラトゥーン2の戦績をstat.inkに定期保存できるようにした
January 09, 2019
posted by issei_m
皆さん新年あけましておめでとうございます。今年もよろしくお願いします。新年と言うわけで、1発目の投稿は少しカジュアルな感じで行こうと思い、表題のネタを取り上げるに至りました。 スプラトゥーン2とは? 多分名前くらいは皆さ ...
S3のGETリクエストでRangeヘッダーを使う
November 15, 2018
posted by issei_m
久しぶりの投稿です。 先日とあるプロジェクトで、Amazon S3に保存されているCSVファイルをデータベースにインポートする機能をPHPで作りました。 PHPではCSVを fopen と言う関数を使う事で、ストリームか ...
Article 2: How to manage AWS Lambda Functions with Serverless Framework
August 17, 2018
posted by renn19
Topics With the instruction in Article 1, maybe you could define how to create AWS Lambda function and trigger ...
Article 1:How to manage AWS Lambda Functions with Serverless Framework
July 25, 2018
posted by renn19
Introduction Article 1:How to manage AWS Lambda Functions with Serverless Framework You can use AWS Lambda for ...
Amazon EKSが一般公開されたので使ってみた
June 25, 2018
posted by issei_m
皆さんこんにちは。先日、ついにAWSのAmazon EKSが一般公開されましたね。現時点ではまだオレゴンとバージニア北部でしか使えませんが、今回は検証の為、ユーザーズガイドに沿って実際にクラスタを作成し、ゲストブックアプ ...
DockerでAWS Lambda用のNode.jsネイティブモジュールをビルドする
June 06, 2018
posted by issei_m
先日、AWS LambdaのNode.jsでiconvを使うのが大変だった件と言う記事を書きましたが、その後すぐ、AWSがAmazon Linux用の公式Dockerイメージを公開している事を知りました。 そこで、前回は ...
AWS LambdaのNode.jsでiconvを使うのが大変だった件
May 17, 2018
posted by issei_m
皆さんこんにちは。関東地方では梅雨入りもまだと言うのに、暑い日が続いていますがいかがおすごしでしょうか。 私は暑いのが苦手なので、ついに先日、今年初の冷房を使い始めました。笑 さて、最近、AWS Lambdaでiconv ...