あるサイトの事例を何度か差し替えた。メインページはすでに新しい話をしているのに、隅には古い話の部品が残っていた。意味を失った数字、削除した内容を指す説明、本文では使わなくなったのにコードには残っている文案。
一文ずつ読めば、不自然とは限らない。ページに戻してみると、事実がかみ合わなくなっていた。
これらを「修正漏れ」と呼ぶのは間違いではない。ただ、もう一つ問いたい。当時、何を基準に確認していたのか。私とAIが会話の中で覚えている場所だけを調べるなら、その外にある古い内容は残り続けるかもしれない。
内容が失われたわけではない。切れていたのは、それと現在の決定とのつながりだった。
保存されていることと、いまも有効なことは違う
実際に見つかったのは古い文案の残存であって、モデルの記憶能力を試した結果ではない。それでも、AIに渡す文脈を考え直すきっかけになった。
たとえば、古い案には「事例Aを使う」とあり、後の案では「事例Bを使う」に変わっているとする。どちらも保存され、検索できる。置き換えの関係が書かれていなければ、次の作業でも判断が必要になる。方針を変えたのか、それともページによって別の事例を使うのか。新しい案は確定した決定なのか、まだ採用されていない提案なのか。
ファイルをもう一つ保存しても、これらの問いには答えられない。
だからいまは、「AIが以前の発言を見つけられるか」よりも、「見つけたあと、その発言がいま何を規定するのか判断できるか」を気にしている。
現在の決定に、明確な参照の起点を置く
その後、サイトの事実を定める正典を作った。文案をすべて集めるのではなく、いま使っている事例は何か、数字は何を意味するのか、各ページがどの事実に基づくべきかを明記した。
この違いは大きい。文案にはさまざまな表現があってよい。事実は、各ページがそれぞれ思い出して決めるものではない。
文章を丸ごと複数の文書に写せば、次の変更では複数のコピーを保守することになる。正典は現在の事実を定め、ほかの場所はそれを表現する。旧版は履歴に残し、決定に至った経緯を説明するために使う。もう一つの現行案として扱い続けるのではない。
ただし、正典を書くだけでは半分しか解決しない。トップページ、詳細ページ、設計ノートが、同じことを別の形で語っている場合がある。決定を変えたら、それらの場所もたどり、古い前提が新しい表現に持ち込まれていないか確かめる必要がある。
新しい決定を書き残すことと、古い決定を使わなくすることは、同じではない。
日付が新しければ優先されるわけではない
いちばん簡単なのは、最新の記録だけを見ることに思える。
しかし、今日書いた実験の提案が、日付の新しさだけで昨日確定した正式な計画を覆すわけではない。新しいルールも、あるプロジェクトだけに適用されるかもしれない。ほかの場面まで一緒に上書きしてはいけない。
明確にすべきなのは、ごく素朴なことだ。その決定はどこに適用され、確定しているのか。いつから有効で、何を置き換えるのか。
同じ範囲、同じ期間に対して矛盾する決定があるなら、現在の基準を明確にたどれるようにする。適用範囲が違うルールなら、境界を書き分ける。「最新を優先する」の一言で無理にまとめない。
これは、すべての走り書きに項目を増やすという意味ではない。次の行動に影響するものなら、明確な一文だけでも役に立つ。
この案は新版に置き換えられたため、履歴としてのみ保存する。現在の実装については、新版を起点に参照すること。
大切なのは形式ではない。次に資料を使う人やAIが、同じことをもう一度推測しなくて済むことだ。
履歴は残す。現在の基準として扱わない
古い案をすべて消したいわけではない。それがなければ、なぜその道をやめたのか説明しにくい。後で起きた問題が、以前のトレードオフから生じたのかも判断しにくくなる。
ただ、履歴を保存することと、履歴に従って行動することは別の用途だ。経緯を振り返るときは変化を見たい。作業を続けるときは現在の根拠を知りたい。検索で旧案が返るなら、「置き換え済み」の表示と新版への参照も一緒に返るべきだ。かつて正しかった答えだけを切り出してはいけない。
正典や置き換えの説明があっても、AIが必ず正しく使うとは限らない。効果があったかは、次の実際の作業で確かめる必要がある。何を根拠にし、廃止した内容を結果に持ち戻していないか。印を付けただけでは、解決したとは言えない。
記憶の仕組みに残したいのは、「以前、何を言ったか」だけではない。「その後、何が変わったか」も残したい。
過去を覚えるのは、同じ道を戻らずに済むようにするためだ。過去の決定すべてに、現在を決め続けさせるためではない。
私の考え
私が気にしているのは、AIが以前の発言を見つけられるかよりも、それがいま何を規定するのかを判断できるかだ。履歴を残すことと、履歴に従って行動することは、別の用途として扱いたい。