ToDo #892
Redshift空き容量問題
0%
説明
先日容量を追加していただいたのですが、新プロダクトミックス用のデータマート生成時にレコードを作ろうとすると、大量の一時データが生成され（完了時には削除されます）以下のエラーが出てしまいます（ディスクがいっぱいですと言ってます）。
ERROR: Insufficient system resources to support data size: consider increasing compute size. (Disk Full) Detail: ----------------------------------------------- error: Insufficient system resources to support data size: consider increasing compute size. (Disk Full) code: 1016 context: node: 2 query: 26864724 location: fdisk_api.cpp:442 process: query2_107_26864724 [pid=14897] ----------------------------------------------- [ErrorId: 1-67e1fe2a-636f1aa1172d1dc330fd6d03]
とりあえず今は処理期間を直近だけに狭めて処理を行い、レコードの正誤確認等を進めておりますが、実運用時には（いつの分からレコードを作成するかにもよりますが）容量の問題を再検討する必要があるかもしれませんので、忘備録としてここに残しておきます。
村上
ファイル
村上 達也 さんが6日前に更新
- ファイル redshift_info.xlsx redshift_info.xlsx を追加
- 期日 を 2025/04/30 にセット
Redshiftの容量について調査してみました（詳細は添付エクセル参照）。
- 本日 2025/03/26現在で、契約容量が480GB、そのうち既に353GB使用していて、空き容量が127GBとなっています（利用率 73.5%）。
- 容量を追加した 2025/02/06から新プロダクトミックス用のテーブルを作る前の2025/03/22までに増加したデータ量が62.4GBであり、これを1日分になおすと約1.5GBとなります。
- 今回追加した新プロダクトミックス用のテーブルは1ヶ月あたり10GB程度増加していく見込みであり、これを1日分になおすと約0.3GBとなります。
- 既存テーブルの1日あたりの増加量と新規テーブルの1日あたりの増加量を合算すると、毎日1.75GBづつデータ量が増えて行く計算になります。
- この今後見込まれる日毎増加量で現時点での空き容量である127GBを単純に割ると、約73日後の2025/6/6には空き容量がなくなってしまう計算になります（実際にはレコード生成時に一時テーブル等を作る必要がありますので、それよりも半月ほど早くエラーが発生し始めると予測されます）。
よって、結論としては5月中旬にはエラーが出始めてしまうので、5月上旬頃までには意思決定が必要となりそうです。
ご確認のほど宜しくお願い致します。
村上