AWSで起こる落とし穴

ここ最近AWSに数サイトを移管させたのですがどうも動作が遅い。
で、色々と調べてるとロードアベレージが100超える時がある様子(死亡)
ロードアベレージが上がってくるタイミングが全く掴めず数日ログとtopをにらめっこしてたのですが、サーバが重くなった時点をsarで確認してみると%iowaitが急激に上がっているようだ。
これまた変な話でiowaitが上がっているのにCPU負荷もスワップも多くは発生していない。

スクリーンショット 2016-02-02 15.25.07

 

なんじゃこりゃ。

海外のサイトで同じ事象を発見したので読んでみると
1.現在使用しているボリュームのスナップショットを取れ
2.スナップショットから新規ボリュームを作れ
3.現在のボリュームをデタッチしろ
4.新規ボリュームをアタッチしろ

はい、AWSではボリュームの作成時点でアタリハズレがあるんですって。
どうもIOに問題ありそうな時はサクッとボリューム再作成してみるのがいいですね。