ToDo #864
【データ基盤】2/10 VE売上未反映
0%
説明
2/10売上について、VEのみ全店PowerBI売上速報に未反映
【原因】
・CU売上データ整形処理において、FTPエラーによりs3へデータがアップロードされなかった。
→バッチからのFTP接続寸断の可能性が高いです。
【対応】
・当日にデータ再整形 → データ基盤リカバリを実施し復旧
【恒久対応について】
・同事象は過去にも定期的に発生
→設定等は見直し済。
バッチ処理のため接続処理が不安定となっているか？
→アプリケーションとして作り直すことで精度の向上が見込めますが、本機能は今後まかせてへ移管予定のこともあり、対応についてはご相談させてください。
ファイル
武田 遼河 さんが9日前に更新
- ファイル clipboard-202502111624-arb0l.png clipboard-202502111624-arb0l.png を追加
- ファイル clipboard-202502111626-bzqrb.png clipboard-202502111626-bzqrb.png を追加
- ファイル tec_ztotal_partition_y2025m2d11.zip tec_ztotal_partition_y2025m2d11.zip を追加
- ステータス を 新規 から 対応済み確認待ち に変更
本事象とは関係ございませんが、リカバリ時に以下チケットと同事象を観測いたしましたので共有いたします。
・#840 1/19CC売上異常
【事象】
・tec_ztotal → tec_ztotal_partition データ挿入処理後、以下パケットに生成された.parquetファイルの連番部分が飛ばされた状態となる。
※3ファイルの内容は処理時にtec_ztotal領域に投入されていたデータと過不足なし
data-platform-prd-dwhtec_ztotal_partition/year=2025/month=2/day=11/
該当パケットスクリーンショット
redshiftから参照した該当領域 ※163店舗分
【備考】
明日の定時処理に干渉するため、該当パケット内の3ファイルについてはコンソール操作で削除いたします。
また、該当ファイルについては本チケットに添付いたします。
村上 達也 さんが7日前に更新
本件のような事象が発生した場合でも自動で取り込みがされるようにFlash Sales Reportを7日前から上書きで日々更新していくスクリプトを作成してみました。
これらを実行した時の費用感の差について報告致します。
- 現状の実行時間：90〜120秒
- 現状の費用：$0.22〜0.294（￥33〜44）
- 修正した場合の実行時間：120〜150秒
- 修正した場合の費用：$0.294〜0.368（￥44〜55）
- 現状の実行時間：90〜120秒
- 現状の費用：$0.22〜0.294（￥33〜44）
- 修正した場合の実行時間：180〜210秒
- 修正した場合の費用：$0.44〜0.525（￥66〜77）
費用差計：44円/日（月間1300〜1400円程度）の増
過去データの自動取込の案としてご検討の材料にして頂ければと思います。
ご確認の程よろしくお願い致します。
村上