DATA-4-3

クライテリア

データレイクから、データ分析基盤までのETL処理にも自動テストが存在しており、変換エラーなどがモニタリングされているか。

タイプ

データ処理パイプライン

観点

プラクティス

FAQ

Q.自動テストはどのような内容が考えられますか?

想定しないデータの混入によって、処理が止まる、データのクレンジングが十分でないといったエラーを検知する仕組みが考えられます。

用語解説

データレイク

DATA-2-32021/1/14 6:382021/3/24 8:04
未処理のローデータ(構造化データと非構造化データ)の保管場所です。

ETL(Extract/Transform/Load)

データウェアハウスやBIにおける工程の略称です。EはExtract - 外部の情報源からデータを抽出、TはTransform - 抽出したデータをビジネスでの必要に応じて変換・加工、Load - 最終的ターゲット(すなわちデータウェアハウスやBIの可視化)に変換・加工済みのデータをロードすることを指します。

参考資料