FLINTERS Engineer's Blog

FLINTERSのエンジニアによる技術ブログ

AWS

Terraformを使ったAmazon OpenSearch Serverlessの構成管理

Amazon OpenSearch Serverless コレクションと関連するリソースを作成 作成したコレクションに対して、インデックス(OpenSearch index)を作成 について

SageMaker Pipeline、ローカルでぶんぶん動かしちゃうよ〜♪クラウドだと時間かかっちゃうんですけど〜

SageMaker Pipeline をローカルで実行する方法を紹介します。

TerraformでAWSの全リージョン設定したい!(Terragrunt使用)

Terraformを全リージョンに実行するための設定です。 GuardDutyなどを有効化するのに活用できます。 Terragruntを利用しています。

トライコーン × FLINTERS 合同勉強会で Odd-AI プロダクトについて話しました

こんにちは、服部です。FLINTERS で Odd-AI の開発をしています。 今年4月にセプテーニグループのトライコーン社と FLINTERS社 のエンジニア合同勉強会が開催されました。テーマは新卒入社社員によるプロダクト紹介LT会(最近導入・気になる技術を添えて)で…

Lambda SnapStartを完全に理解してみた

社内ブログは初投稿の中途4ヶ月目の脇田です! 先日ミロゴス社との合同勉強会にて「Lambda SnapStartを完全に理解してみた」というタイトルで発表させてもらいましたので今回はその発表内容についての記事になります。(来月にはLambda SnapStartなにも分か…

Beyond the Twelve-Factor App を元にした アプリケーション開発のプラクティス考察

こんにちは、エンジニアマネージャーの堀越です。 ちょっと前、TLで割と盛り上がっていたこちらの書籍をポチり読んでみました。いいですよこの本!! gihyo.jp こちらの書籍の第3章に Beyond the Twelve-Factor App なるものの紹介があり、色々調べて考察し…

データ分析に使えるAWSサービス(Glue・Athena)の紹介

こんにちは、渡部です。 これは先日行われたAWS勉強会で話した内容をまとめた記事です。 私は普段データチームとして広告データやレポートデータが格納してあるデータウェアハウスの開発・運用・保守等を行なっています。 その業務の中で使用している、デー…

AWS Secret Manager で RDS の Secrets 自動ローテーションと IntelliJ からのアクセスを試してみた!!

こんにちは。FLINTERSアドベントカレンダー1日目を担当します、堀越です。 はじめに セキュリティに対する意識の高まりを感じる昨今、機密情報(以降、Secretsと称します)の管理の重要性が増してきているように感じます。 代表的な Secrets としてデータベー…

Terraformを使って複数のAWSアカウントにAWS Integrationを導入する

これは Datadog Advent Calendar 2019 13日目の記事です。 門脇(@blac_k_ey)です。 PYXISのデータ基盤チームでSREっぽいことを行っている傍ら、インフラチームとして横断的なインフラの管理・運用を行っています。 モチベーション 最近PYXISチームではモニタ…

Amazon EC2 リザーブドインスタンス調査

AWS

節約大好き、中途三年目になりました堀越です。 サーバーコストは地味に痛いですよね。 コスト削減活動の一貫として既存プロダクトをリザーブドインスタンス(以下、RI)に、 乗せる動きとなっています。 とはいうものの、前提としてあまりRIの知識があまりな…

AWS SQS + Lambda を利用した Slack 通知アプリケーションを Scala で実装して Serverless Framework でデプロイする

お疲れさまです。中途2年目の堀越です。 表題の通り AWS のサービスを活用した Slack 通知アプリケーションを 開発する機会がありましたのでアウトプットです。 尚、今回はイベントソースについて詳細には触れませんのでご了承ください。 こちらについてはま…

AWS System Manager Parameter Store と typesafe config をいい感じに組み合わせたい

こんにちは。AWS好きの河内です。今年も早いものでもう3月ですね。 サービスで利用するアクセスキーやパスワードなどの機密情報管理、どうやるのがスマートなのか思いを巡らせています。 PaaS 環境なら機密情報を管理するための仕組みが用意されていることが…

aws-vault でアクセスキーを安全に

AWS

あけましておめでとうございます。河内です。 数ヶ月前に aws-vault を使い始めて安全の高まりを感じるので紹介します。 AWSのサービス上では IAM Role をできるだけ使ってアクセスキーを使わないようにしていますが、ローカルでの開発時にIAMのアクセスキー…

素早くデータマイニングしたくなったらSparkを始めよう

こんにちは。菅野です。 Scalaを使って集計バッチなどを書くと、ふつうは以下のようにコレクションのメソッドを駆使してデータをこねくり回しますよね? val 何かのデータ: Seq[String] = ??? 何かのデータ .groupBy(identity) .mapValues(_.size) .toSeq .s…

ECS。Taskスケールアウトのテンプレート

たかこです。 弊社のインフラは、今までAWSのserviceは全てCloudFormationで管理・運用していて、 各サーバー(Gateway(nat兼任)・Frontend・Backend・Batch)の構築はChefを使っていました。 そこからDockerを利用して使い捨ての環境を作っていこう、DevOpsを…

EC2にDockerをインストールしてNginxコンテナを作る

セプテーニ・オリジナルの池田です。 弊社でDockerが使用されることになり、最近Dockerについて調べました。 今回Dockerfileを使わずに、DockerをインストールしてからNginx動かし、 Dockerのコンテナ、イメージ、基礎的なコマンドなどを説明したいと思いま…

MackerelでRDSの情報をサービスメトリクスを使って取得する

こんばんわ! まさかのベトナムからの投稿と相成りました、さげはしです。 こちらは今日は30度に迫ろうかという気温(と高い湿気)でアツアツです!今回は弊社でも利用しているMackerelを使った監視のお話をば。Mackerelでは、RDSの情報を取得するためのプラ…

RubyからAmazon CloudSearchを操作する(AWS SDK Version2版)

こんにちは@joytomoです。 全文検索エンジンと言えば近頃はElasticsearchが元気ですが、 いろいろあって今回はAmazon CloudSearchを使ってみました。AWS SDKは昨年メジャーアップデートがあり、 それ以降のCloudSearch周りの日本語資料があまり見つからない…

AWS CloudWatchでディスク容量チェック

こんばんは。 むらいです私は関西弁なので、 話すと周りもつられてイントネーションが関西弁になるのが、 ちょっとほっこりしている今日このごろです。さて、そんなことより、 今AWSを使ってて、ディスク容量を監視したかったんですが、 デフォルトにディス…

【AWS】NFSを測ってみる

こんにちは、貴子です。 前回、s3をNFSとしてできるように環境を整えましたが 今回はその続きで「書き込み速度」と「読み出し速度」を測ります。 比べる対象として3つの環境を用意しました。 インスタンスは全てt2.microです。

【AWS】奇跡もMadeiracloudもあるんだよ!

AWS

小さいころの夢は魔法少女だった貴子です。 AST(Amazon Summit TOKYO)に行ってきてました。 ですが今回は感想ではなく、その後「AWS 自動化」について ググっていた時に見つけたMadeiracloudについて書きます。Madeiracloudとは、ざっくり言うと 「構成図を…

【AWS】EC2インスタンス間のデータ転送について

AWS

こんにちは、貴子です。 今回はAWSでサーバー構築中に、一番つまずいたことについてお話します。やりたいことは、こんな感じ。 EC2-1からserver1にアクセスする時は、EC2-2を通してアクセスしたいのです。

【AWS】EC2のSnapshot作成について

AWS

初めまして、女子エンジニアの貴子です。これからAWSについて、9月まで毎月一回更新していきますので、お付き合いくれると嬉しいです。 内容としては、AWSのクラウドデザインパターンを読んで、 実際にインスタンスを作成して学んだことを書いていきます。EC…

Amazon SQSを使ってみた②

こんにちは@toshikimiyagawaです。 前回のエントリーに引き続きまして、今回もAmazonSQSの話題です。 前回はAmazonSQSの概要を説明しました。 今回は実際のソースコードを基に使い方を説明したいと思います。

Amazon SQSを使ってみた①

こんにちは@toshikimiyagawaです。 梅雨が明け、セミの鳴き声が聞こえ始めて来て、いよいよ夏本番といった感じですね。 今年の夏はいかがお過ごしでしょうか? 私はテニスにジムにいつになく活動的な夏を送っております。今回はAmazon Simple Queue Service…

EC2のNAMEタグ情報を引っ張ってきて、PowerDNSに登録する

AWS

こんにちわ!さげはしです。今回は、前回インストールしたEC2 API Toolsを利用して自分の登録されているNAMEタグ情報をAPIを叩いて取得し、うちの環境で使っているPowerDNSにデータを登録する、という一連の処理を自動化してみます。というのも、うちの場合…

GoogleSwiffy で出力されるJavaScriptを正規表現で置換

AWS

お久しぶりです、大晦日生まれの@damayaです。 とうとう2012年も終わってしまいますね。 2012年最後の私からの記事はJavaScriptです。最近業務上でGoogleSwiffyをよく使うのですが、FLASHがSwiffyでJavaScriptに変換されたものを更に画像部分のみを置換する…