非MLエンジニアがMetaflowを使ってML処理を高速化した話
noteで推薦チームのPM兼サーバサイドエンジニアをしている露木です。今回は非MLエンジニアである私がMetaflowを使ってML処理を高速化した話をします。詳細は後述しますが、440分かかっていた推薦記事リストの作成を120分まで短縮しました。(120分のうち80分はバッチ処理の待ち時間です)
※ この記事はnote株式会社 Advent Calendar 2024の4日目の記事です。
MetaflowとはMetaflowはNetflixが開発しているMLパイプラインを