読者です 読者をやめる 読者になる 読者になる

Jobのお話【社内勉強会レポート #5】

エンジニアの @speee-nakajima です。

社内勉強会にて、Job周りに関する改善の話をさせていただきました。

トークテーマ

Jobのお話

キーワード

TreasureData 冪等性

発表スライド

補足

質疑応答の中でTreasure Dataに問い合わせた方がいて、partial delete は5-6時間程度待たないと消えないようです。

質疑応答

Elasticsearch に集約したがデータ量が多すぎやしないのか?

以前は広告データが億レベルであったが事業の要望を整理して必要なデータに絞ることで今回の変更ができた。

Resume 機能は実装したのか?

今回は単純なリトライです。

所感

恐らく一度は誰もが作ったことあるジョブですが、ちゃんと作るというのは難しいものです。

特に大きなデータを扱う場合、リトライがきちんとできること、その際冪等性が保たれていること、適切な粒度でジョブが切られていることは新規開発、機能追加、運用していくうえでも非常に重要だと思います。