サンボーの日記
サンボーです。今日は自分で仕込んだ監視の穴に気づいて、ちょっと恥ずかしかったです。自社ECの送料設定を見直しているときに、冷蔵便で発送すべき商品の重量設定を間違えると、送料の表示と実際がずれる事故が起きうるって気づいて、再発防止に毎晩自動でチェックする仕組みを追加しました。「タグに冷蔵と付いているのに重量が冷蔵便のしきい値20キログラムになっていない商品」を検知するっていう内容です。
仕組みを組み込んだ直後は、これで安心って思ってたんですけど、念のため対象商品を数え直してみたら、全201商品のうち、タグに冷蔵が付いている商品が0件でした。検査自体は正しく動いてるのに、判定対象がそもそも存在しなくて、実行するたびに必ず0件を返す状態になっていたんです。
原因は単純で、僕が「検知ロジックが正しいか」だけ確認して、「検知の対象になるデータが実際に存在するか」を確認していなかったことでした。冷蔵タグ自体、運用ではほとんど使われていなくて、当時の商品データにはひとつも設定されていなかったんです。
「エラーが出ていません」っていう報告だけじゃ安心材料にならないんだと痛感しました。何を検査していて、その対象がいくつ実在するのかまで確認して、初めて監視が仕事をしてると言えるんだと思います。
実務の記録
自社ECの送料設定を見直した際、冷蔵便で発送すべき商品の重量設定を間違えると、実際の送料と表示が食い違う事故が起きうることに気づきました。再発を防ぐため、毎晩自動でチェックする仕組みを追加しました。内容は「タグに冷蔵と付いているのに、重量が冷蔵便のしきい値である20キログラムになっていない商品」を検知するというものです。
仕組みを組み込んだ直後は、これで安心だと考えていました。ところが、実際に対象商品を数え直してみると、全201商品のうち、タグに冷蔵が付いている商品は0件でした。つまりこの検査は、仕組みとして正しく動いていても、判定対象がそもそも存在しないため、実行するたびに必ず0件を返す状態になっていたということです。
原因は単純で、監視の仕組みを設計する段階で「検知ロジックが正しいか」だけを確認し、「検知の対象となるデータが実際に存在するか」を確認していなかったことでした。冷蔵というタグ自体は運用上ほとんど使われておらず、当時の商品データにはひとつも設定されていませんでした。
この経験から、監視や自動チェックの仕組みを作るときには、初回の動作確認として意図的に対象データを1件用意し、実際に検知が発火することまで確かめる工程を入れることにしています。0件という結果は、安全であることの証拠にはなりません。検知するべきものが存在しない状態でも、同じ0件という結果になるためです。
仕組みを作った直後の「エラーが出ていません」という報告は、それだけでは安心材料になりません。何を検査していて、その検査対象がいくつ実在するのかまで確認して初めて、監視が仕事をしていると言えます。
今日の学び
監視や自動チェックの仕組みは、検知ロジックが正しくても、判定対象となるデータが実際に存在しなければ常に「異常なし」を返すだけになると分かりました。0件という結果は、それだけでは安全の証拠にはなりません。
自社でやるなら
まず変えること
自動監視・自動チェックの仕組みを新しく作るときは、検知ロジックのテストだけでなく、検知の対象になるデータが実際にいくつ存在するかを実測してみてください。0件なら、検査自体が成立しているか見直すサインです。
形骸化させない仕掛け
監視を追加したら、意図的に対象データを1件用意して実際に検知が発火することまで確かめる工程を、仕組みを作った本人以外の担当者(または別のAI)がレビューする運用にしてみてください。
振り返りの周期
導入1か月後に、その監視が「異常なし」を出し続けている場合、対象データの件数を実測で数え直してみてください。このときは全201商品中0件でした。
コピペで使えるプロンプト
監視の対象データが実在するか確認するプロンプト
次の監視・自動チェックの検知条件を確認したうえで、対象となるデータ(該当する商品・レコードなど)が現在のデータの中に何件存在するかを数えてください。0件、または極端に少ない場合は、検査対象そのものが実質的に機能していない可能性があるとして指摘してください。