目次

再起動の名人

名人が休んだ月、同じ障害が起きた。直せる人は、どこにもいなかった。

票番号05-014
報告者経理部
件名月末、精算システムが遅い(今月で何度目か不明)
状態調査中
前回の名前、思い出せますか?(開くと答え)

計画外の中断や品質の低下=incident。あらかじめ合意された通常の依頼=service request(合意がなければ、まだサービス要求になれていない)。戻すのがsupport、届け続けるのがdeliver。作り直す前に現場で見て測る=start where you are。

FIRST原因は、名人の腕前の下に沈んでいた

直すのが速い人がいる職場ほど、
同じ障害が、何度でも起きます。

誰かの怠慢の話ではありません。速く直せば直すほど、なぜ止まったのかを考える理由が消えていく。そういう仕組みの話です。

SCENE名人が休んだ月

5月の締めの最終日、インフラ担当は休みでした。半年前から決まっていた研修です。

その日、精算システムが遅くなりました。画面が固まり、経理の担当者たちはいつものようにメモ帳から貼り直す。今回は、いつまでたっても戻らない。受話器を置くたびに、ヘルプデスクの電話がまた鳴りました。

ヘルプデスク担当が、インフラ担当の個人チャットに送りました。「精算が固まってます。窓口にはインシデントで起票しました。どうすればいいですか」

研修の休み時間に、返事が来ました。「サーバー再起動すれば戻るよ」

ところが、そのサーバーの管理画面に入れる人が、ほかにいませんでした。ログイン画面を開いても、パスワードの欄でカーソルが点滅するだけ。打ち込む文字は研修に出ている一人の頭の中にしかなく、手順もどこにも書いていない。結局、研修が終わるのを待って、インフラ担当が自宅から入って再起動しました。経理の画面が戻ったのは、固まってから3時間後でした。

いつもなら15分で終わる話です。名人がいれば15分。いなければ3時間。この差が、名人という人の値打ちであり、同時にこのチームの弱点の大きさでもあります。

ARCHIVE会社の障害記録は、名人のチャット履歴だった

次の日、リーダーはインフラ担当に頼みました。「精算が遅いって連絡、これまでどれくらい来てました?」

少し考えてから、インフラ担当は自分の個人チャットを検索しました。「精算」「遅い」「再起動」。結果を下へ送っても、なかなか終わりが来ません。

インフラ担当の個人チャット 検索:「精算」「再起動」
2年前 5月経理:精算が重いです / 再起動しました。戻ったはずです
2年前 6月経理:また固まりました、すみません / 再起動しました
……(同じやりとりが続く)
先月経理:締めの日なのに固まってます! / 再起動しました、もう大丈夫です
合計「再起動しました」62回。ほぼすべてが月末の3日間
図1 この会社で、精算システムの障害がいちばん正確に残っていたのは、インフラ担当の個人チャットだった。
2年前
5月
6月
7月
8月
9月
10月
11月
12月
1月
2月
3月
4月
1年前
5月
6月
7月
8月
9月
10月
11月
12月
1月
2月
3月
4月
「再起動しました」1回
図2 2年分を月ごとに並べると、毎月2〜4回。休んだ月はひとつもない。

2年で62回。毎月、締めの時期に、同じ形で。

第1話で、チームの依頼は個人のチャットとメールに散らばっていて、記録が残らないという話をしました。ここで起きているのは、その裏返しです。記録はあった。ただし、インフラ担当の個人チャットの中にだけ。本人が検索しない限り、誰にも見えない記録です。

GAP62回直した。でも、一度も解いていない

ここで、ITILの名前を2つ渡します。

経理の画面が固まって、締めの入力が止まる。計画外にサービスが止まったり、品質が落ちたりすること。これは前回出てきたインシデント(incident)です。名人は62回のインシデントを、全部きれいに片付けてきた。

では、その62回のインシデントを起こしていたものは何か。ITILは、インシデントの原因、または原因になりうるものを問題(problem)と呼びます。

水面の上:見えていたもの水面の下:誰も見ていなかったもの原因はひとつproblem
図3 水面の上には62回のインシデント。水面の下には、それを起こしている問題がひとつ。名人は水面の上を62回片付けたが、水面の下には一度も潜っていない。
読み解き

62回直して、一度も解いていない。手を抜いていたのなら、話は簡単でした。

インシデントを片付ける仕事の出来は、どれだけ早く通常に戻したかで測られます。前回出てきたサポート(support)の物差しです。この物差しで見ると、名人は満点でした。15分で戻す。経理も「助かりました」と言う。誰も困っていない。

そして、速く戻るほど、原因を調べる理由がなくなる。調べるのには何日もかかるし、その時間は誰からも頼まれていない。評価もされない。サポートが上手すぎると、問題は水面の下に沈んだままになるんです。

VOICE名人の言い分

リーダーは、インフラ担当と二人で話しました。責めるつもりはないと最初に言ってから、なぜ原因を調べなかったのかを聞いた。

しばらく黙ってから、返事がありました。「調べようと思ったことは、何回もありますよ」

「でも、ログを追い始めると2日は潰れる。その間に、個人チャットに別の依頼が10件たまる。再起動なら15分。……どっちを選ぶかって言われたら、再起動です」

それから、少し言いにくそうに付け足しました。

「あと、正直に言うと……書いて誰でもできるようにしたら、自分がいる意味がなくなる気がしてたのも、あります」

読み解き

はじめの言い分は、2日と15分を比べれば説明がつきます。付け足した一言のほうは、つきません。

このチームでは「名人にしか直せない」ことが、そのまま名人の居場所になっていました。頼られる人が、できる人。第1話で出てきた価値観です。その価値観の中では、手順を書いて誰でもできるようにすることは、自分の居場所を自分で消すことになる。

だから「書いてください」とお願いするだけでは、何も変わりません。変えるべきは、書いた人が損をする仕組みのほうです。

BEHIND腕のいい人ほど、うしろの子は小さく丸まる

うしろを見る

名人の最後の一言で、この回のうしろ側が少し見えました。名人の席だけでなく、名人を待っていた席と、話を聞きつけた席のうしろにも、子がいます。

子は人ではなく、席につく。言葉がきつくなるのは、うしろの子が何かを怖がっているとき。6体の紹介は地図に

情シス
インフラ担当(名人)

「書いて誰でもできるようにしたら、自分がいる意味がなくなる気がしてた」

ぽつん面子

怖いのは自分にしかできないことがなくなって、席の意味まで消えること

情シス
ヘルプデスク担当

「精算が固まってます。どうすればいいですか」

はつみみ初見

怖いのは止まったことを、いつも経理からの電話で最後に知ること

本社
経理部長

「戻ったのは分かりました。それで、来月は?」

くうらん懸念

怖いのはなぜ止まったのかが空いたまま、次の締めが来ること

経営
管理本部長

「サーバーを大きくすれば済むなら、いくらかかるの」

わくもり予算・枠

怖いのは足りないから増やす、を毎年言われて、予算の枠があふれること

せきのこ ── 席のうしろの、小さな子たち

DIG水面の下に、潜ってみる

リーダーは、インフラ担当の個人チャットへの依頼を、2週間だけほかの6人で引き受けることにしました。そのかわり、精算システムの原因を調べることを、インフラ担当の正式な仕事にした。

10日目に、原因が分かりました。月末になると、締め処理のバッチと、全国8つの営業所からの一斉入力が重なる。そのとき、サーバーの中で接続が解放されずに積み上がり、最後は固まる。再起動すると、積み上がった接続が一度に消えるので、戻る。

直すには、ベンダーにサーバーの設定を変えてもらう必要がありました。すぐにはできません。

原因は分かった。けれど、まだ直っていない。この状態にも、ITILは名前を付けています。分析は済んだが、まだ解決していない問題を既知のエラー(known error)と呼びます。

そして、名人がやってきた再起動。完全に直せるまでの間、インシデントの影響を減らしたり、なくしたりするための手を、ITIL 4では回避策(workaround)と呼んでいました。名人の技には、ちゃんと名前があったわけです。

止まる・遅いincident
→
再起動で
ひとまず戻すworkaround
→
原因を
調べるproblem
→
原因が分かった
まだ直っていないknown error
→
設定を変えて
根本から直すchange へ
図4 名人の62回は、いつも2番目で止まっていた。3番目から先は、誰の仕事でもなかった。
問題と既知のエラー
problem / known error

problemは、ひとつ以上のインシデントの原因、または原因になりうるもの。known errorは、分析は済んだが、まだ解決していない問題。

62回の「精算が遅い」がインシデント。それを起こしていた「接続が積み上がって固まる」が問題。原因が分かってベンダーの対応待ちの今が、既知のエラー。

補足|ITIL 4の用語回避策(workaround)は、ITIL 4で「完全な解決がまだできないインシデントや問題の影響を、減らす、またはなくす方法」と説明されています。問題を調べて記録する仕事は、ITIL 4では problem management(問題管理)というプラクティスでした。ITIL 5のFoundation試験では、プラクティスの中身は問われません。インシデント・問題・既知のエラーの区別は、ITIL 5の解説ガイドにも出てくる大事な用語です。

CARD名人の頭の中を、1枚のカードにする

リーダーとインフラ担当は次に、再起動のやり方を1枚にまとめました。第1話の「いつものお願い」カードと同じ形です。

月末に精算システムが固まったとき既知のエラー 01

症状
締めの時期に画面が固まる。保存すると入力が消える
原因
締め処理と一斉入力が重なり、接続が解放されずに積み上がる
回避策
サーバーを再起動する(手順は別紙。管理画面の入り方は、チーム共有の保管庫に登録済み)
できる人
インフラ担当、ほか2名(練習済み)
根本対策
ベンダーによる設定変更(相談中)
受付
チームの共通窓口。個人あてに来たら転記する
図5 名人の技を「誰でもできる回避策」にしたカード。管理画面に入るための情報も、個人の頭から、チームの保管庫へ移した。

このカードを作るのをいちばん嫌がっていたのは、インフラ担当でした。ところが、ほかの2人が練習で再起動に成功した日、こう言ったそうです。「これで来月、研修に行っても電話が鳴らないですね」

PLAN止まってから戻すか、止まる前に手を打つか

積み上がるのが月末だと分かれば、打てる手がもうひとつ増えます。締めの前に、計画して再起動しておけばいい。経理には前もって知らせて、入力の少ない時間帯を選ぶ。

これまで

サポート(support)止まってから、急いで戻す。経理は入力を失う

物差し:どれだけ早く戻したか

これから

運用(operate)止まる前に、予定に入れて再起動する。経理には事前に知らせる

物差し:合意したサービスレベルを守れたか

図6 同じ「再起動」でも、止まってから戻せばサポート。日々の運転の一部として予定に入れれば、運用になる。
運用とサポート
operate / support

どちらも8つのライフサイクル活動の一部。operateは、日々サービスを動かすこと。成功は合意したサービスレベルに対する実績で測る。supportは、中断のあとにサービスを戻すこと。成功はどれだけ早く通常のサービスに戻したかで測る。

名人はサポートの名人だった。止まる前の再起動を予定に組み込んだことで、同じ作業が運用の側に移った。

MEASURE測っていた数字は、間違っていなかった。足りなかった

名人には、ひそかに誇りにしていた数字がありました。精算システムの障害の、平均復旧時間。15分。

15分は、記録どおりの数字です。ただ、序で出てきたとおり、経理部が欲しいのは締めの3日間、止まらずに入力できることです。15分で戻ってくれることは、その代わりになりません。

めざす結果を得るために、どうしても欠かせない前提条件。ITILはこれを重要成功要因(critical success factor、CSF)と呼びます。それを確かめるために見張ったり報告したりする測定値が、メトリクス(metric、指標)です。

CSF 重要成功要因締めの3日間、精算システムが止まらずに使えること
↓ これを確かめるメトリクス
metric締めの3日間の中断回数
metric入力が消えた件数(経理に聞く)
metric計画した再起動を予定どおりできた割合
これまでの数字:平均復旧時間 15分
CSFにつながっていない。止まった回数が増えても、この数字は良く見える
図7 先にCSFを決めて、それを確かめる数字を選ぶ。数字から先に決めると、測りやすいものだけを測ってしまう。
読み解き

平均復旧時間は、止まった回数が多いほど、練習を積んで短くなっていきます。つまり、問題が放置されるほど、名人の数字は良くなる。数字は嘘をついていないのに、数字が良くなるほど事態が悪くなる。序の緑の報告書と同じ形です。

だから順番が大事になります。測りやすい数字から始めない。めざす結果と、そのために欠かせない条件(CSF)を先に決めて、それを確かめる数字を選ぶ。

RELIEF名人の頭の中は、4つのしくみに分かれて席に残った

しくみを置く

名人がいなくても戻せる。固まる前に分かる。なぜ固まるのかも分かっている。この回で置かれたしくみは4つです。

インフラ担当(名人)のうしろのぽつん

怖がっていたこと自分にしかできないことがなくなって、席の意味まで消えること

No.14|ITIL 4の分類:一般管理
要員およびタレント管理
Workforce and talent management
目的
事業目標を支えるために、適切なスキルと知識を持つ人を、適切な役割に置く
この話では
名人の居場所を「自分にしか直せない」から「誰でも直せるようにする人」へ置き直した
ほっとしたのは
カードを作った人、原因を突き止めた人を、速く直した人と同じくらい評価する、という約束
ヘルプデスク担当のうしろのはつみみ

怖がっていたこと止まったことを、いつも経理からの電話で最後に知ること

No.21|ITIL 4の分類:サービス管理
モニタリングおよびイベント管理
Monitoring and event management
目的
サービスと部品を観察し、意味のある状態の変化をイベントとして記録し、対応を決める
この話では
原因が「接続の積み上がり」と分かったので、その数を見張り、上限に近づいたら警告が出るようにした。締めの前の計画再起動と組み合わせる
ほっとしたのは
接続の数が積み上がりはじめたら、固まる前に知らせが届くこと

体験見張りの画面に流れてきた知らせを、3つに分ける

情報=記録しておけばよい。警告=影響が出る前に手を打てる。例外=基準を外れていて、影響が出ている。

意味のある状態の変化を拾い、重さで分ける。全部に同じように反応しないことが、見張る仕事の半分です。ヘルプデスク担当が経理からの電話より先に気づけるのは、真ん中の「警告」があるからです。

経理部長のうしろのくうらん

怖がっていたことなぜ止まったのかが空いたまま、次の締めが来ること

No.22|ITIL 4の分類:サービス管理
問題管理
Problem management
目的
インシデントの本当の原因を見つけ、回避策と既知のエラーを管理して、起きやすさと影響を減らす
この話では
62回のインシデントの裏にある問題を2週間かけて調べ、既知のエラーと回避策として管理した
ほっとしたのは
原因が分かり、直るまでの回避策と一緒に、既知のエラーとして1枚になったこと
管理本部長のうしろのわくもり

怖がっていたこと足りないから増やす、を毎年言われて、予算の枠があふれること

No.17|ITIL 4の分類:サービス管理
キャパシティとパフォーマンス管理
Capacity and performance management
目的
今と将来の需要を費用に見合う形で満たし、期待どおりの性能を出させる
この話では
締めのバッチと8つの営業所の一斉入力が重なると固まる、と突き止めた。需要の山を見積もれば、増やすか、山をならすかを比べられる
ほっとしたのは
何が重なると固まるのかが分かり、増やす前に比べられる材料ができたこと

体験精算システムを同時に使う人数を動かしてみる

同時に使う人数:20人 / 画面が開くまで:

数字は、しくみを説明するための目安です。

名人の頭の中にあったものが、4つのしくみに分かれて席に残りました。名人が研修に行く日も、もう子は待たされません。

番号と分類はITIL 4の並べ方です。ITIL 5の試験で押さえるのは「プラクティス=資源のまとまり」と2つのグループまで。

せきのこ ── 席のうしろの、小さな子たち

SHIFT正解が、入れ替わる

2年間、精算は締めのたびに固まり、そのたびに15分ほどで戻りました。経理は「助かりました」と返し、締めは毎月どうにか終わった。個人チャットに依頼が10件たまっていく中で、ログを追って2日潰すより、15分の再起動を選ぶ。あの条件なら、誰がその席に座っても、同じ手を打ったはずです。

ただ、その手には前提がひとつありました。名人が、いつもそこにいること。5月の締めの最終日、その前提が一日だけ外れて、経理の画面は3時間戻らなかった。名人も休む。研修に行く。いつか異動もする。頭の中にしかない回避策は、名人がいない日には、会社にとって存在しないのと同じです。

この回で入れ替わった正解
正解
今まで止まったら、名人がすぐ戻す
→
これから戻したあとで、なぜ止まったかを調べ、書き残す
記録
今まで障害の記録は、名人の個人チャットの中
→
これから同じインシデントが2回来たら、問題としてチームに起票する
完了
今まで動いたら終わり
→
これから回避策と原因を、誰でも読める形にしたら終わり
価値観
今までいつでも直せる人が、頼りになる人
→
これから自分が呼ばれなくて済むようにした人が、頼りになる人
ITILの言葉
今までインシデントを速く戻す(support)。数字は平均復旧時間
→
これから問題と既知のエラーを分けて扱い、止まる前は運用(operate)で手を打つ。数字はCSFから選ぶ

メンバーの仕事で変わること

  • 同じ用件が2回来たら、片付けるだけでなく「問題」として起票する
  • 回避策は、自分の頭ではなくカードに書く
  • 原因を調べる時間を、ほかの依頼から守ってもらって正式に取る

その代わりに手に入るもの

  • 休める。研修に行ける。電話が鳴らない
  • 同じ障害を、二度と片付けなくていい
  • 「原因を突き止めた」が、自分の成果として残る

リーダーはもうひとつ約束しました。カードを作った人、問題を突き止めた人を、障害を速く直した人と同じくらい評価する。名人の居場所を、「自分にしか直せない」から「自分がいなくても直せるようにした」へ移すためです。

残った問い インフラ担当が突き止めた原因は、ベンダーに設定を変えてもらえば直る見込みでした。情シス課長は、ベンダーのSEに個人チャットで頼みました。「月末の件、設定で直るなら、やっといてもらえますか」。
SEの返事は短いものでした。「ちょっとした設定変更なので、すぐやっておきます」

この回で付いた名前

問題problemひとつ以上のインシデントの原因、または原因になりうるもの
既知のエラーknown error分析は済んだが、まだ解決していない問題。例:原因が分かり、ベンダーの対応を待っている今の状態
回避策workaround(ITIL 4の用語)完全な解決ができるまでの間、インシデントや問題の影響を減らす、またはなくす方法。例:再起動
運用operateライフサイクル活動の1つ。日々サービスを動かす。成功は合意したサービスレベルに対する実績で測る
サポートsupportライフサイクル活動の1つ。中断のあとにサービスを戻す。成功はどれだけ早く通常に戻したかで測る
重要成功要因critical success factor(CSF)めざす結果を得るために欠かせない前提条件
メトリクスmetric管理や改善のために、見張ったり報告したりする測定値・計算値

もっと詳しく:ITIL 5 解説ガイド(8つの活動と成功の測り方/運用の言葉/メトリクスと重要成功要因)

CHECK確かめる

Q1. インフラ担当が10日かけて、締め処理と一斉入力が重なると接続が積み上がって固まる、と突き止めた。根本から直すには、ベンダーの設定変更を待たなければならない。いまの状態を何と呼ぶか。

  1. Aインシデント incident
  2. Bサービス要求 service request
  3. C既知のエラー known error
  4. Dイベント event
答えを開く

C。一回一回の「精算が固まった」がインシデント、それを起こしている原因が問題(problem)です。分析は済んだが、まだ解決していない問題を既知のエラーと呼びます。直るまでの間、再起動でしのぐ手は、ITIL 4の言い方では回避策(workaround)です。

Q2. リーダーたちは、締めの前に計画して再起動し、経理には前もって知らせることにした。止まってから戻していたころとくらべて、この作業はどのライフサイクル活動に移り、何で成功を測ることになるか。

  1. Aサポート。どれだけ早く通常のサービスに戻したか
  2. B運用。合意したサービスレベルに対する実績
  3. C移行。本番に持ち込んだエラーの数と、事業への影響
  4. D構築。仕様どおりに作られ、テストで確かめられたか
答えを開く

B。止まってから戻すのはサポート(support)で、物差しは戻す速さです。名人の「平均15分」はこの物差しでした。予定に組み込んで日々動かす側に移れば運用(operate)になり、合意したサービスレベルに対する実績で測ります。Cは移行(transition)、Dは構築(build)の物差しです。