ToDo #853
【データ基盤】VECC売上欠損
0%
説明
2025/2/1, 2/2 営業日分のVE,CC売上について、取込エラーが発生いたしましたのでご報告いたします。
原因について調査をお願いできますでしょうか？
【事象】
・VE,CC全店の２月分の売上が表示されない
→DMに売上、客数実績が0
【一次調査】
・archiveファイル
→VE,CCともに2/1,2/2分あり
・dwh.tec_ztotal
→本日分は存在
・dwh.tec_ztotal_partition
→month=2以下のdayフォルダが生成されていない
（month=2,day=2はリカバリ時生成？）
→InsertSQLが失敗している？
ファイル
武田 遼河 さんが19日前に更新
- ファイル clipboard-202502031329-meflw.png clipboard-202502031329-meflw.png を追加
- ファイル clipboard-202502031333-7g1ns.png clipboard-202502031333-7g1ns.png を追加
【リカバリ対応】
・2/1,2/2売上分を再取込を試みましたが以下エラーでpublic領域へのInsertが失敗しました。
※現在2/1,2/2分のデータがdwh.tec_ztotal_partitionまで反映している状況です。
redshiftのディスク使用率を確認したところ、今年に入ってから100％で推移しているようなのですが、こちらは影響がありそうでしょうか？
対応方針含めご相談させていただけますと幸いです。
村上 達也 さんが18日前に更新
- ファイル screenshot 2025-02-04 14.20.30.png screenshot 2025-02-04 14.20.30.png を追加
- ステータス を 新規 から 進行中 に変更
取り急ぎDWH、DM、BIレポートのリカバリー処理を完了させました。
!screenshot 2025-02-04 14.20.30.png!
原因については、調査中ですので判明し次第改めて報告致します。
村上
村上 達也 さんが17日前に更新
本件について、全てのログを確認しました。
原因は12/24以降Redshiftのデータ容量に空きが無くなって来ていたことでした。
昨日は一時的に空きスペースを作ってリカバリーを行いましたが、根本解決には容量追加が必要です（空き容量を確保できればこの問題は解決します）。
Redshiftの容量アップは、従来の「ノード数の追加」で行う場合（DC2）と伸縮自在の「新しいタイプ」で行う場合（RA3）とがあり、
- DC2でノードを2→3へ増やした場合（SDD 320GB → 480GB）＄458.44 → ＄687.66
- RA3に変更した場合（SDD 320GB → 16TB）＄458.44 → ＄932.94
のような違いがあります。
将来的なことも考えると２の一択だと思われますが、ご検討ください。
村上
村上 達也 さんが16日前に更新
- ファイル screenshot 2025-02-06 5.49.55.png screenshot 2025-02-06 5.49.55.png を追加
- ファイル screenshot 2025-02-06 6.32.04.png screenshot 2025-02-06 6.32.04.png を追加
- ステータス を 進行中 から 対応済み確認待ち に変更
- 担当者 を 村上 達也 から 武田 遼河 に変更
Redshiftの容量を追加して、使用率が60％程度まで下がりました。
!screenshot 2025-02-06 5.49.55.png!
空き容量が出来たのでリカバリー処理を行い、欠損していた2/4分がレポートに反映されていること、および自動処理で生成された2/5分に値が入っていることを確認（天気は早朝にてまだ未反映）しています。
!screenshot 2025-02-06 6.32.04.png!
ご確認のほど宜しくお願い致します。
村上