リモート開発メインのソフトウェア開発企業のエンジニアブログです

Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた

June 17, 2019

posted by issei_m

今とあるプロジェクトで、Amazon EMRを使って少し大きめなボリュームのデータ処理をしているのですが、その中のあるデータの中身をWebフォームからニアリアルタイムでフィルタリングしたいと言う要望があり、その基盤として ...

続きを読む →

AWS Lambda上でWebスクレイピング

June 10, 2019

posted by koji

AWS Lambdaは様々なリソースの制限(例えば900秒を超える処理は実行できない等)があるため、スクレイピング処理をうまく動作させるために一苦労しました。これらの制限をクリアできる処理を動作させることに限定するという ...

続きを読む →

(小ネタ)md5sumを使ってリモートにあるファイルとのチェックサムを検証するワンライナー

May 31, 2019

posted by issei_m

先に結論から書きます。 SSH接続した先にあるファイルとローカルファイルを比較する AWS S3上にあるファイルとローカルファイルを比較する ※S3の場合は、コンテンツをローカルにDLしてから計算している関係で、ファイル ...

続きを読む →

Ansible で Ubuntu に postfix をインストール

May 20, 2019

posted by 中の人(管理者)

やりたいことはタイトル通りです。 「え?aptモジュール使えば良いだけでしょ。」 と思うかもしれませんが、それだけだと上手くいかないのです。 問題点 普通に aptコマンドで postfix パッケージをインストールして ...

続きを読む →

macOSでVirtualBoxがインストールできない時の対処法

May 16, 2019

posted by issei_m

ここ最近プロジェクトではほぼDockerを使うようになり、Vagrantはあまり使わなくなりました。それに伴い、VirtualBoxの使用頻度も3〜4年くらい前に比べると格段と減った気がします。 そんなある日、とあるプロ ...

続きを読む →

Python 3.6 の環境を構築してVisual Studio Code でコーディングする

May 10, 2019

posted by koji

仮想化技術を用いてサクッと開発環境を作るのが当たり前な開発現場が多くなっていると思いますが、時には開発環境がAWS上にのみ存在し、ローカルではインテリセンスのあるエディタでコードが書ければ良いという場面もあると思います。 ...

続きを読む →

Oracle提供のJavaのJDKの有償化に伴ってAmazon Correttoを使ってみた

May 08, 2019

posted by Konno

はじめに みなさんこんにちは。時の流れは速いもので、気づいたら平成が終わって令和が始まり、10日もあったゴールデンウィークもあっというまに終わってしまいました。 平成が終わる前にOracle提供のJava JDKの無償で ...

続きを読む →

RubyMine 2019.1でRailsをdocker exec経由で起動可能になったがバグあって使い物にならない件

April 15, 2019

posted by issei_m

こんにちは。皆さんは普段どのような開発環境を使っていますか?僕はJetBrainsのIDEが好きなので、All Products Licenseを購入して各プロジェクトごとに適したIDEを愛用しており、RubyではRub ...

続きを読む →

S3 の特定のフォルダのみにアクセス権限を与える

April 15, 2019

posted by 中の人(管理者)

背景: S3の権限設定は色々難しい Amazon S3 は、(お金さえ出せば)容量を気にせず色んなファイルを置いておける便利なストレージで、様々な用途に使われています。 特定のフォルダを特定のユーザー(※)のみに使わせた ...

続きを読む →

Bug in the Ansible’s s3_sync module `file_change_strategy` not working and workaround for it

March 29, 2019

posted by issei_m

I’ve described the actual workaround in the very bottom. If you are hasty just jump to: Workaround As of ...

続きを読む →

Ansibleのs3_syncモジュールのfile_change_strategy: date_sizeのバグと対処法

March 22, 2019

posted by issei_m

対処法については一番最後に書いてありますので、面倒な方は読み飛ばして下さい: 対処法 このバグは当エントリ執筆時点の2019年3月22日現在確認ができています。また、現段階でAnsible本体にIssueとPull Re ...

続きを読む →

Build Infrastructures with Terraform

March 10, 2019

posted by renn19

Outline Terraform is a tool for Infrastructure as Code, and there are many types of similar tools. Why do ...

続きを読む →