どの検知を通知し、どれを通知しないかを設計します。技術的な設定手順ではなく、運用が破綻しないための判断基準を扱います。本ガイドで最も実務に影響する内容です。
アラート疲れが起きる原因
導入から数カ月経つと、多くの組織で同じ状態になります。アラートが多すぎて誰も読まなくなり、本当の障害を見逃すようになります。
原因は3つあります。
- 対応不要な事象まで通知している
- しきい値が実態に合っていない
- 同じ事象が繰り返し通知される
いずれも設定の問題であり、運用の努力では解決しません。アラートが多いことを「監視が充実している」と考えないでください。読まれないアラートは、監視していないのと同じです。
重要度を3段階に絞る
重要度の区分は3つで十分です。それ以上に分けると、区分の判断自体が曖昧になります。
| 区分 | 定義 | 通知方法 |
|---|---|---|
| 緊急 | 業務が止まっている、または直ちに止まる | 即時通知。夜間もSMSなどで呼び出す |
| 要対応 | 放置すると障害になる | 営業時間内に通知。当日中に対応 |
| 記録のみ | 傾向の把握に使う | 通知しない。定期的に確認する |
重要なのは「記録のみ」の区分を作ることです。監視はするが通知はしない項目を明確に持つことで、通知の総量を抑えられます。
通知するもの、しないものの切り分け
判断の基準は1つです。受け取った人が、その時点で行動できるかどうか。
| 事象 | 判断 | 理由 |
|---|---|---|
| 基幹サーバーが停止した | 緊急 | 直ちに対応が必要 |
| バックアップが2回連続で失敗 | 要対応 | 放置すると復旧手段を失う |
| ディスク空き容量が10%を下回った | 要対応 | 計画的に対応できる |
| クライアント端末が1台Offline | 記録のみ | 電源が切れているだけの可能性が高い |
| CPU使用率が一時的に高い | 記録のみ | 対応のしようがない |
| パッチが1件未適用 | 記録のみ | 定期の適用サイクルで解消する |
「クライアント端末1台のOffline」を通知にすると、毎日大量の通知が飛びます。ただし「同じ端末が7日以上Offline」なら要対応です。時間の条件を加えることで、意味のある通知になります。
しきい値の考え方
初期値をそのまま使わないでください。用途によって適切な値は異なります。
| 監視項目 | クライアント端末 | 一般サーバー | バッチ処理サーバー |
|---|---|---|---|
| CPU使用率 | 90%が30分継続 | 85%が15分継続 | 監視しないか、95%が2時間継続 |
| メモリー使用率 | 90%が30分継続 | 85%が15分継続 | 用途に応じて調整 |
| ディスク空き容量 | 10%未満 | 15%未満 | 20%未満 |
| Offlineの継続 | 7日 | 15分 | 15分 |
これは出発点です。1カ月運用して、常に検知されている項目があれば実態に合っていません。しきい値を上げるか、監視対象から外してください。
ディスク容量は割合ではなく絶対値で判定した方がいい場合があります。2TBのディスクの10%は200GBあり、逼迫とは言えません。
自動で復旧する事象の扱い
一時的に条件が成立し、その後自然に解消する事象があります。これに通知を付けると、対応する前に解決している状態になります。
対処は2つです。
- 継続時間の条件を付ける(10分以上継続した場合のみ検知)
- 自動解除を設定する(Compound Conditionsの
Auto Reset)
一時的な変動で通知が飛ぶ設定は、真っ先に見直すべき対象です。
見直しのサイクル
設定して終わりにせず、定期的に見直してください。
| 時期 | 確認内容 |
|---|---|
| 導入1カ月後 | 常に検知されている項目を洗い出し、しきい値を調整 |
| 四半期ごと | 通知件数の推移。増えているなら原因を特定 |
| 半年ごと | 「記録のみ」の項目に、通知すべきものがないか |
| 障害発生後 | 検知できなかった事象を監視項目に追加できるか |
【運用のポイント】 月間の通知件数を記録してください。数字で見ないと、増えていることに気付けません。1人が1日に処理できる通知は現実的に10件程度です。それを超えているなら、設定を見直す時期です。
設計の順序
新規に設計する場合、次の順で進めてください。
- 「止まったら業務が止まるもの」を列挙する
- それぞれについて、検知したら誰が何をするかを決める
- 対応が決まったものだけを通知の対象にする
- 残りは「記録のみ」として監視する
- 1カ月運用して調整する
2番目で答えが出ない項目は、通知にしないでください。対応方法が決まっていない通知は、必ず放置されます。