DATA-4-3
クライテリア
データレイクから、データ分析基盤までのETL処理にも自動テストが存在しており、変換エラーなどがモニタリングされているか。
タイプ
データ処理パイプライン
観点
プラクティス
FAQ
Q.自動テストはどのような内容が考えられますか?
想定しないデータの混入によって、処理が止まる、データのクレンジングが十分でないといったエラーを検知する仕組みが考えられます。
用語解説
データレイク
DATA-2-32021/1/4 15:382021/3/3 17:04未処理のローデータ(構造化データと非構造化データ)の保管場所です。
ETL(Extract/Transform/Load)
データウェアハウスやBIにおける工程の略称です。EはExtract - 外部の情報源からデータを抽出、TはTransform - 抽出したデータをビジネスでの必要に応じて変換・加工、Load - 最終的ターゲット(すなわちデータウェアハウスやBIの可視化)に変換・加工済みのデータをロードすることを指します。