リモート開発メインのソフトウェア開発企業のエンジニアブログです

19 posts with the tag AWS

docker-compose.ymlのサービス名にアンダースコアを使うと正しいインターネットホスト名ではなくなる

August 25, 2020

posted by issei_m

以前こんな記事を書きました。 AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた ご存知の通りDocker Composeでは、以下の様にしてサービス (≒コンテナ) に名前をつける事ができ、これ ...

続きを読む →

24時間稼働でないKinesisストリームの運用で手こずった点

May 21, 2020

posted by issei_m

前回に引き続き、Kinesisネタです。今回は、前回紹介したとあるコンシューマアプリケーションの運用で、タイトルにもある通り24時間稼働ではないユースケースでの運用で少しハマった点があるので書き記します。 ダウンタイムに ...

続きを読む →

Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る

May 14, 2020

posted by issei_m

ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回はScalaでKinesis Client Libraryを使 ...

続きを読む →

AWS CLI v2の公式Dockerイメージが出たみたいなので使ってみた

April 01, 2020

posted by issei_m

既に使っている方も多くいると思いますが、先月AWS CLI v2が正式リリースされました。このバージョンではバイナリが各メジャーなOS毎に用意されていて、Pythonのインストールが不要になったので、v1の頃より使いやす ...

続きを読む →

AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件

March 03, 2020

posted by issei_m

今回はAWS LambdaでJava 8ランタイムを使った際に、Redis等のミドルウェアとのコネクションの管理関連でハマった点を備忘録として残しておきます。AWS Lambdaを使う上では抑えておくべき点である基本的な ...

続きを読む →

Option(Scala)の実用的な使い方 − データのマージ処理

October 24, 2019

posted by koji

いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくりとですがご紹介します。 環境 Scala 2.11.12 s ...

続きを読む →

GUIありのWebスクレイピングを定期実行する

October 01, 2019

posted by koji

GUIありのWebスクレイピングというのは、バックグラウンドではなく実際にGUIでブラウザが立ち上がって、まるでゴーストが勝手にボタンを押しているかのように自動でWeb画面が遷移していくという手法のことを指します。 オン ...

続きを読む →

AWS Lambda でWebスクレイピングできなかったサイトについて

August 26, 2019

posted by koji

ちょっと前に書いた以下のWebスクレイピングの記事に関してですが、結局AWS Lambdaでは動かすことができず、EC2で妥協したサイトが2種類ほどありましたので、情報を残しておきたいと思います。 メール認証が必要なサイ ...

続きを読む →

PostgreSQLなRDSでIAM Database Authenticationを使ってみた

August 02, 2019

posted by issei_m

最近、とあるPostgreSQLなRDS(Auroraでない)を運用しているのですが、普通にRailsから使っているのとは別に、Lambdaからも接続する要件があり、表題のIAM Database Authenticat ...

続きを読む →

AWS Lambda上でWebスクレイピング

June 10, 2019

posted by koji

AWS Lambdaは様々なリソースの制限(例えば900秒を超える処理は実行できない等)があるため、スクレイピング処理をうまく動作させるために一苦労しました。これらの制限をクリアできる処理を動作させることに限定するという ...

続きを読む →

S3 の特定のフォルダのみにアクセス権限を与える

April 15, 2019

posted by 中の人(管理者)

背景: S3の権限設定は色々難しい Amazon S3 は、(お金さえ出せば)容量を気にせず色んなファイルを置いておける便利なストレージで、様々な用途に使われています。 特定のフォルダを特定のユーザー(※)のみに使わせた ...

続きを読む →

Serverless で複数の AWS アカウントを使用する

February 25, 2019

posted by 中の人(管理者)

はじめに Serverless  Framework とは 本ブログでも過去に何回か紹介した Serverless Framework は、AWS Lambda 関数を簡単に作成できるツールです。以下、過去記事です。 S ...

続きを読む →

AWS Lambdaを使ってスプラトゥーン2の戦績をstat.inkに定期保存できるようにした

January 09, 2019

posted by issei_m

皆さん新年あけましておめでとうございます。今年もよろしくお願いします。新年と言うわけで、1発目の投稿は少しカジュアルな感じで行こうと思い、表題のネタを取り上げるに至りました。 スプラトゥーン2とは? 多分名前くらいは皆さ ...

続きを読む →

S3のGETリクエストでRangeヘッダーを使う

November 15, 2018

posted by issei_m

久しぶりの投稿です。 先日とあるプロジェクトで、Amazon S3に保存されているCSVファイルをデータベースにインポートする機能をPHPで作りました。 PHPではCSVを fopen と言う関数を使う事で、ストリームか ...

続きを読む →

Article 2: How to manage AWS Lambda Functions with Serverless Framework

August 17, 2018

posted by renn19

Topics With the instruction in Article 1, maybe you could define how to create AWS Lambda function and trigger ...

続きを読む →

Article 1:How to manage AWS Lambda Functions with Serverless Framework

July 25, 2018

posted by renn19

Introduction Article 1:How to manage AWS Lambda Functions with Serverless Framework You can use AWS Lambda for ...

続きを読む →

Amazon EKSが一般公開されたので使ってみた

June 25, 2018

posted by issei_m

皆さんこんにちは。先日、ついにAWSのAmazon EKSが一般公開されましたね。現時点ではまだオレゴンとバージニア北部でしか使えませんが、今回は検証の為、ユーザーズガイドに沿って実際にクラスタを作成し、ゲストブックアプ ...

続きを読む →

DockerでAWS Lambda用のNode.jsネイティブモジュールをビルドする

June 06, 2018

posted by issei_m

先日、AWS LambdaのNode.jsでiconvを使うのが大変だった件と言う記事を書きましたが、その後すぐ、AWSがAmazon Linux用の公式Dockerイメージを公開している事を知りました。 そこで、前回は ...

続きを読む →

AWS LambdaのNode.jsでiconvを使うのが大変だった件

May 17, 2018

posted by issei_m

皆さんこんにちは。関東地方では梅雨入りもまだと言うのに、暑い日が続いていますがいかがおすごしでしょうか。 私は暑いのが苦手なので、ついに先日、今年初の冷房を使い始めました。笑 さて、最近、AWS Lambdaでiconv ...

続きを読む →