FLINTERS Engineer's Blog

FLINTERSのエンジニアによる技術ブログ

BigQuery

DigdagからBigQueryを動かす - ChatGPTを使用してエラーを解決した話

こんにちは、植村です。今回は弊チームで使用しているワークフローエンジンのdigdag(AWS, EC2)からGCPへアクセスしてBigQueryを動かした時のお話を書きます。やりたいこと:DigdagからBigQueryのExport機能を使用してGCSにデータを格納するGCPの環境は既にで…

BigQuery で複数の配列をフラット化する

こんにちは、中途で入社してからちょうど丸 1 年がたちました田邊(@emaggame)です。最近は React + TypeScript を利用したフロントエンドや Scala による Web API 開発もそこそこに、Akka Stream によるデータ収集や BigQuery での集計といったこともしてお…