計算ツールの数字はどう検証しているか — 1,049項目を照合した記録

検証は3段構えにしている

① 早見表はツールと同じ式から自動生成する

各ページに載せている「早見表」(数値の一覧表)は、手で数字を打ち込んでいません。ツール本体とまったく同じ計算式を使う生成プログラムが表を作ります。手作業の転記を挟まないので、「表とツールで数字が違う」という事故が構造上起きません。逆に言えば、式そのものが間違っていれば表も一緒に間違うので、これだけでは不十分です(後述の失敗③がまさにそれでした)。

② 別の言語でもう一度実装して突き合わせる

手取り計算のような制度依存の計算は、同じ仕様を別のプログラミング言語でゼロから書き直し、結果が一致するかを確認しています。たとえば額面200万円の手取りが両方の実装で1,637,520円と一致するか、といった照合です。同じ人が書いても、実装が2系統あると「片方だけの書き間違い」はあぶり出せます。

③ 実際のブラウザでツールを操作して、表と1セルずつ照合する

最後に、自動操作のブラウザで実際に各ツールへ数値を入力し、画面に出た結果と早見表の全セルを1つずつ突き合わせるテストを全ページに対して実行します。直近の実行では1,049項目を照合し、すべて一致した状態で公開しています。

実際に見つかった不具合の記録

失敗①: 人生時計の早見表の列がずれていた。ブラウザ照合テストを導入した初回、人生時計のページだけ17項目が不一致になりました。原因は、ツールの初期設定(人生84年)と早見表の列の並び(81年が先頭)が食い違っていたこと。表の列順を直して解消しましたが、「生成は正しくても、見せ方の並びで実質的に間違いになる」ことを学びました。

失敗②: ツールと表で説明の文言が違っていた。院試スケジューラーの早見表に書いた注記と、ツール本体の表示文言が微妙に違っていた(「＋出願の余裕分」と「+出願余裕分」)のを、照合テストが検出しました。数値だけでなく文言も照合対象にしていたおかげです。

失敗③: 式の前提そのものが公式と違っていた(最重要)。TOEICとTOEFLのCEFR比較ページで、採用していた区分が公式の対照表より1段甘く、TOEIC L&Rに存在しないC2を割り当てていました。①〜③の検証は「実装同士の一致」を確かめる仕組みなので、おおもとの前提が間違っていると検出できません。これは公開後の監査で発覚し、IIBC・ETSの公式資料と照合して修正しました(経緯は別のコラムに詳しく書いています)。

この経験からの運用ルール

失敗③を受けて、制度や公的数値に依存するページには「計算条件・参照情報」欄(採用した式・数値・前提・対象外・最終確認日・公式一次情報へのリンク)を置くことにしました。実装の内部整合は自動テストで守り、前提の正しさは公式一次情報との照合と、読者からの指摘で守る。誤りに気づいた方がお問い合わせから指摘でき、修正が更新履歴に残る——この循環まで含めて検証だと考えています。