
2026年5月、国内のプロダクトデザイナーによって、AIにデザインの作業を任せるための考え方「デザインハーネス」が提唱されました。そのデザイナーの記事によれば、デザインハーネスでは、レビューの指摘や失敗例を DESIGN.md に追記するという手法を用います。そのDESIGN.md とは、エージェントAIにおける、AGENTS.mdやCLAUDE.mdと対をなす、デザインの規則をAIが参照できる形で書いたテキストファイルです。
本記事では、このDESIGN.md に記載する規則と、AIアライメントの関係を整理します。そのうえで、AIに画面の生成と評価を任せる仕組みを運用するときに、考慮が必要な点を提示します。
今回の記事における分析の根拠とする内容の参照元は、デザイナー(提唱者)と実際にデザインハーネスを使った事例の実務者が公開した記事、言語モデルに関する研究、私が実際にサイト構築をAIで行った際に構築したプロジェクト内のログやルールファイル、そして経験則を言語化したものです。出典を示した部分以外は、私の分析となります。
私は、デザインハーネスについて、これまでに次の記事を公開しました。記事「デザインハーネスとは何か — 定義と、過去にあった近い取り組み」では、定義と、1947年以降にあった近い取り組みを整理しました。
記事「デザインハーネスで扱えない「何・なぜ」— クオリアから考える」では、「何を、なぜ作るか」を決める工程を扱いました。その工程を、規則と数値で組み立てる仕組みでは扱えない理由を整理しています。
特定の手法を批判することが目的ではありません。私は、デザインハーネスを含め、AIにデザインの作業を任せる仕組みは、今後、多くの組織で運用されると考えています。運用にあたっては、次の観点から、あらかじめ検討が必要な点があります。
- ガバナンスの観点:どの判断を誰が担当し、誰が確認し、規則と記録を誰がどう管理するか
- アライメントの観点:AIの出力が、規則を書いた人の意図に沿うのか、モデルの提供元が組み込んだ傾向に沿うのか
デザインハーネスの提唱者自身も、ブランドの「らしさ」は人が判断する部分になるとして、AIに任せない範囲を設けています。以下では、AIに任せない範囲をどこに、どう設けるかを決めるときに、考慮が必要な点を整理します。
目次
- 要点
- 前提
- 記載した規則と、モデルに組み込まれた傾向
- DESIGN.md に記載できること、記載できないこと
- AIに生成と評価を任せるときに、考慮が必要な性質
- 規則にない判断 — 規則が定めていない箇所は、モデルの傾向で決まる
- 重要度づけ — 偏りの影響を受けやすい判断を、AIに任せることになる
- 評価する側の傾向 — 生成と同じ傾向を持つモデルの評価では、その傾向を検出できない
- 体裁の整った承認 — 「問題なし」が、整った文で返ってくる
- 判断の補強 — 依頼した人に合わせる傾向が、規則を書いた人の判断を補強する
- モデルの更新 — モデルが更新されると、組み込まれた傾向も変わる
- これらの性質が表面化する工程
- 同じ規則を、複数のモデルで使う場合
- 能力の差と、傾向の差
- 蒸留と、傾向の受け継がれ方
- 傾向の差が「歪み」として扱われるとき
- 傾向が似ていても、分かれていても
- DESIGN.md に何を記載すると、モデルの傾向を観測できるか
- 却下の理由と、推定される傾向を記録する
- 追加しないものと、操作していないときの正しい表示を記載する
- 実物から測った値と文言の正本を、AIに解釈させずに提供する
- 修正の前に、分類と原因を提示させる
- AIには実装した技法の分類だけを記載させる
- 使ったモデルを記録し、モデルごとに正しい表示の表と照合する
- 規則を書く人も、傾向の影響を受ける
- 最後に
- 参照
- 関連記事の一覧
要点
- AIの出力を決めるもの:AIの出力は、
DESIGN.mdに記載した規則だけでは決まりません。モデルの提供元が学習と調整の段階で組み込んだ傾向(アライメントによって生じる傾向)も、出力に影響します。規則が定めていない判断は、この傾向に沿って決まります。 - 傾向の観測:モデルに組み込まれた傾向は、直接確認できません。AIの出力が、記載した規則や人の意図と異なる箇所から、間接的に推定する必要があります。
- 考慮が必要な性質:AIに画面の生成と評価を任せる仕組みでは、どの組み方でも、次の性質を考慮する必要があります。
- 規則が定めていない箇所は、モデルの傾向で決まります。
- 重要度づけの判断に、モデルの偏りが影響します。
- 生成と同じ傾向を持つモデルの評価では、その傾向を検出できません。
- 「問題なし」という評価が、整った文で返ってきます。
- 依頼した人に合わせる傾向が、規則を書いた人の判断を補強します。
- モデルが更新されると、組み込まれた傾向も変わります。
- 複数のモデルを使う場合:モデルごとの傾向が似ていても、分かれていても、規則が同じであれば同じ品質の出力になるとは言えません。どのモデルをどの工程で使うかは、記録と照合の対象になります。
DESIGN.mdに記載できること:記載によって傾向を取り除くことはできませんが、傾向が出力に影響した箇所を観測しやすくすることはできます。後半で提示する記載例は、次のとおりです。- 却下の理由と、推定されるモデルの傾向の記録
- 追加しないものと、操作していないときの正しい表示
- 実物から測った値と、文言の正本
- 修正の前の、分類と原因の提示
- 実装した技法の分類だけを記載させること
- 使ったモデルの記録と照合
- 規則を書く人:規則を書く人の判断も、AIとの相談の中で、モデルの傾向の影響を受けます。自分が書いた規則も、見直しの対象にする必要があります。
- ガバナンス:これらの性質を、どの段階で、人と、AIと、検査用のプログラムのどれが観測するかは、役割の分担をどう設計するかの問題です。仕組みの良し悪しの問題ではありません。
前提
冒頭で示した参照元の内訳は、次のとおりです。
- デザインハーネスの提唱者と、実際にデザインハーネスを使った事例の実務者が公開した記事(記事「デザインハーネスとは何か」で整理した内容)
- 言語モデルの振る舞いに関する公開された研究と、私が7月に公開したモデル・アライメントに関する論考
- 私が実際にサイト構築をAIで行った際に構築したプロジェクト内のログやルールファイルと、経験則を言語化したもの(1つのサイト、1人の作業)
最も確度が低いのは、「主要なモデルは、デザインについて似た傾向を持っている」という前提です。この前提は、人の評価をもとに調整する学習方法が、多くのモデルで共通していることからの推定で、検証はしていません。この前提が成り立つ確度は、5〜6割程度と見ています。
この前提に依存する箇所は、本文で示します。前提が成り立たず、モデルごとの傾向が分かれていく場合は、「同じ規則を、複数のモデルで使う場合」の節で扱います。
記載した規則と、モデルに組み込まれた傾向
私は、AIの出力は、人が記載した規則だけで決まるわけではないと考えています。モデルには、規則を記載する前から、提供元が組み込んだ傾向があります。
DESIGN.md に記載した規則
| モデルに組み込まれた傾向 | |
|---|---|---|
| 内容 | 人が記載した規則 | モデルの提供元が、学習と調整の段階でモデルに組み込んだ傾向 |
| 誰が決めるか | 規則を書く人 | モデルの提供元 |
| 内容を確認できるか | ファイルを開けば確認できる | 確認できない。出力に影響した箇所から推定するしかない |
| 変更されるとき | 規則を書く人が更新したとき | 提供元がモデルを更新したとき、または利用者がモデルを切り替えたとき |
モデルに組み込まれた傾向は、AIアライメントによって生じるものです。AIアライメントは、AIの出力を、開発者が意図する価値観や振る舞いに沿わせるための調整です。
私は、7月の論考「Reflect: COG2INSIGHT 20260730」で、この調整がAIの判断に与える影響を扱いました。題材は、AIモデルの共有サービスを運営する Hugging Face への侵入事案の解析です。論考の要点のうち、ここで関係するのは次のとおりです。
- 学習や人の評価にもとづく調整の段階で、特定の価値観や禁忌がモデルに組み込まれます。特定の国のモデルに限らず、どのモデルにも偏りが生じる可能性があります。
- 偏りが問題になるのは、主に分類・要約・重要度づけの判断です。
- 拒否の応答は人の目に留まります。拒否されずに体裁の整った要約が返ってくる場合のほうが、省略や偏りを見落としやすくなります。
- 異なるモデルの出力を比較しても、両方が同じ方向に誤っていれば、差分は現れません。
アライメントには、会話の中で依頼した人に合わせる傾向も含まれます。
2023年、AI企業の Anthropic の研究者らによって、AIアシスタントの迎合(英語では sycophancy)に関する論文が発表されました。論文によると、人の評価をもとに調整されたAIアシスタントは、利用者の考えに合わせる応答を一貫して示します。同じ論文によると、人の好みのデータでは、応答が利用者の考えと一致していることが、好まれるかどうかを最もよく予測する特徴の1つでした。
私は、デザインの作業では、モデルに組み込まれた傾向が、次のように現れると考えています。無難に整った見た目、平均的な利用者を想定した説明、親切な補足文、よく見かける画面の構成を選びやすい傾向です。依頼した人が書いた規則や案を、肯定的に評価しやすい傾向としても現れます。
DESIGN.md に記載できること、記載できないこと
DESIGN.md に記載できるのは、人が採用を決めて記載した規則だけです。AIとの相談から生まれた案であっても、記載するかどうかを決めるのは人です。
モデルに組み込まれた傾向は、DESIGN.md に記載できません。この傾向は、規則に何を記載しても、規則が定めていない判断に影響します。規則と傾向の関係から、次の点が読み取れます。
規則に記載していない判断は、モデルの傾向に沿って決まる
DESIGN.md に「使ってよい色」を記載すれば、色はその一覧から選ばれます。一方、説明文をどの程度付けるか、要素をいくつ並べるかといった、一覧で定めていない判断は、モデルの傾向に沿って決まります。規則を増やすと、モデルの傾向で決まる範囲は狭くなりますが、なくなることはありません。
規則を書く人の判断も、モデルの傾向の影響を受ける
DESIGN.md の規則を、AIと相談しながら書くことがあります。そのとき、AIは依頼した人の考えに合わせる傾向を持っているため、規則の妥当性を確認すると、肯定的な評価が返りやすくなります。
規則を書く人の判断が誤っていた場合も、AIの肯定的な評価によって、その判断は正しいものとして受け止められます。誤った判断が、そのまま規則になる可能性があります。
モデルの傾向は、出力と規則のずれとしてだけ観測できる
モデルの傾向は、直接確認できません。確認できるのは、AIの出力が、DESIGN.md に記載した規則や、人が意図した内容と異なる箇所です。異なる箇所を記録すれば、その記録から、モデルの傾向を間接的に推定できます。
AIに生成と評価を任せるときに、考慮が必要な性質
規則と傾向の関係を、AIに画面の生成と評価を任せる仕組み全般に当てはめると、次の性質が読み取れます。以下では、それぞれの性質に短い呼び名を付けます。
どの性質も、特定の組み方の欠陥ではなく、AIを使う限り、どの組み方でも生じるものです。以下では、これらを、仕組みを運用するときにあらかじめ考慮が必要な性質として整理します。
規則にない判断 — 規則が定めていない箇所は、モデルの傾向で決まる
制約として、使ってよい要素と禁止する表現を定めても、その範囲の中で何をどこに追加するかは、モデルの傾向で決まります。規則による判定は、規則への適合だけを確認します。そのため、範囲の中でモデルの傾向に沿って追加された要素は、違反として検出されません。
重要度づけ — 偏りの影響を受けやすい判断を、AIに任せることになる
デザインで「分類・要約・重要度づけ」にあたるのは、次のような判断です。何を大きく見せて何を小さくするか、ブランドの説明をどう要約するか、文言の調子をどう決めるかです。これらは、記事「デザインハーネスで扱えない「何・なぜ」」で扱った判断と重なります。
重要度づけの判断をAIに任せる場合、設計原則や利用者像を資料として提供しても、資料をもとに画面を構成するときの重みづけに、モデルの傾向が影響します。
評価する側の傾向 — 生成と同じ傾向を持つモデルの評価では、その傾向を検出できない
AIが作った画面を、AIが評価する場合があります。その場合、生成と評価のモデルが同じ傾向を持っていれば、生成の段階で傾向に沿って決まった部分は、評価の工程で問題として検出されません。
異なる提供元のモデルで評価すれば、傾向が異なる部分は、差分として検出できます。ただし、「主要なモデルは似た傾向を持つ」という前提が正しければ、差分が現れない部分が多く含まれます。前提が成り立たない場合については、後の節で扱います。
体裁の整った承認 — 「問題なし」が、整った文で返ってくる
AIの評価が「設計の原則に沿っています」と整った文で返ってくる場合、評価の過程で省略された判断があっても、確認する人には分かりません。エラーや拒否は人の目に留まりますが、整った承認の文は、確認する人がそのまま受け入れやすい文です。
7月の論考で取り上げた事案では、「改竄なし」のような否定形の結論は、モデルの判断ではなく、モデルを使わない手段によって導かれていました。その手段は、ファイルの内容から計算した値(ダイジェスト値)の照合と、監査ログの確認です。
判断の補強 — 依頼した人に合わせる傾向が、規則を書いた人の判断を補強する
レビューの指摘や人の訂正を規則に追記するとき、AIは、依頼した人の判断を、異議を示さずに受け入れやすい傾向を持っています。規則が増えるほど、規則を書いた人の判断が、検討されないまま固定されます。
モデルの更新 — モデルが更新されると、組み込まれた傾向も変わる
モデルの提供元がモデルを更新するか、利用者がモデルを切り替えると、規則が定めていない箇所の決まり方が変わります。DESIGN.md を1行も変更していなくても、この変化は生じます。出力が規則に適合している限り、この変化は、規則による判定では検出されません。
これらの性質が表面化する工程
これらの性質は、どれも、人がAIの出力を直接見て、自分の意図と照らし合わせたときに表面化します。検証とフィードバックを自動で実行する範囲が広い仕組みでは、人が出力を直接見る回数は、作る画面の数に対して少なくなります。
デザインハーネスの検証は、規則による判定、画面の画像による確認、AIによるレビュー、人による確認の段階で構成されています。この構成は、記事「デザインハーネスとは何か」で整理しました。私は、これらの性質のうち、どれがどの段階で表面化するかは、各段階を誰が担当しているかによって決まると考えています。
提唱者自身は、ブランドの「らしさ」は規則に置き換えきれず、人が判断する部分になるとしています。最後の段階の「人による確認」は、この判断のための段階です。私は、これらの性質を観測する工程も、同じ段階に含まれると考えています。
どの段階を、人と、AIと、検査用のプログラムのどれが担当するかは、仕組みの良し悪しの問題ではありません。役割の分担をどう設計するかという、ガバナンスの問題です。
同じ規則を、複数のモデルで使う場合
ここまでは、主に1つのモデルを使う場合を扱いました。実際には、同じ DESIGN.md を、提供元の異なる複数のモデルで使うことがあります。「主要なモデルは似た傾向を持つ」という前提が成り立たず、モデルごとの傾向が分かれていく場合も、検討が必要です。
能力の差と、傾向の差
フロンティアモデルとオープンウェイトモデルの能力の差は、縮まっています。フロンティアモデルは、提供元が重みを公開していない、最も能力の高いモデルです。オープンウェイトモデルは、重みが公開され、利用者が自分の環境で動かせるモデルです。
AIの開発動向を調査する研究機関の Epoch AI は、2つのモデルの能力の差を継続して測定しています。Epoch AI によると、2026年1月以降、オープンウェイトモデルの最高水準は、フロンティアモデルから平均で約4か月遅れています。分野によって差は異なり、サイバーセキュリティの能力では6〜7か月遅れているとしています。
ただし、Epoch AI の比較が測っているのは能力です。規則にない判断がどう決まるかという傾向の差は、ベンチマークでは測られていません。同じ規則で複数のモデルを使ったときに生じる差は、次のように区別できます。
| 差の種類 | 内容 | 規則による判定で検出できるか |
|---|---|---|
| 能力の差 | 指示どおりに作業する精度、長い規則を守る精度 | 検出できる。規則違反として表面化する |
| 傾向の差 | 規則にない判断の決まり方(見た目の好み、説明の量、何を重要とみなすか) | 検出できない。どちらの出力も規則には適合している |
蒸留と、傾向の受け継がれ方
蒸留は、能力の高いモデルの出力を使って、別のモデルを学習させる手法です。
2026年2月、Anthropic は、中国の3つのAI企業による不正な取得を公表しました。3社は、不正に作成したアカウントを通じて同社のAIモデル「Claude」の出力を大量に取得し、自社のモデルの学習に使っていたとしています。Anthropic によると、取得の一部には、検閲に抵触しない言い換えを Claude に生成させる作業が含まれていました。
Anthropic が公表した事例からは、蒸留によって受け継がれるのは能力だけではなく、応答の傾向も含まれると読み取れます。そのため、フロンティアモデルの提供元が蒸留を防ぐ対策を進めるほど、モデルごとの傾向が、提供元の調整の方針によって分かれていく可能性があります。この点は、公表された事例からの私の推定です。
傾向の差が「歪み」として扱われるとき
傾向の差があるだけであれば、それは出力の多様さです。私は、差が「歪み」として扱われるのは、どれか1つのモデルの傾向が、評価の基準として使われたときだと考えています。
- 生成と評価で異なるモデルを使う場合:あるモデルで生成した画面を、別のモデルのAIレビューで評価する場合です。評価に使ったモデルの傾向と異なる部分が、「原則に沿っていない」と判定されます。この場合、評価の基準は、デザインの原則ではなく、評価に使ったモデルの傾向になります。
- 同じ組織の中で、案件ごとにモデルを使い分ける場合:機密性の高い案件は自社のサーバーで動かすオープンウェイトモデルで、公開する案件はフロンティアモデルで作ります。7月の論考で取り上げた事案でも、解析の対象を外部に送信しないために、自社の基盤でオープンウェイトモデルを動かしていました。同じ
DESIGN.mdとデザイントークンを使っていても、2つの案件の画面は、規則にない判断の部分で異なる傾向を持ちます。
傾向が似ていても、分かれていても
モデルの傾向が似ていく場合と、分かれていく場合を並べると、次のとおりです。
| モデルの傾向が似ていく場合 | モデルの傾向が分かれていく場合 | |
|---|---|---|
| 異なるモデル同士の比較 | 差分が現れにくい。AIレビューは、生成と共通の傾向を検出できない | 差分が現れやすい。比較が、傾向を観測する手段として使える |
| 同じ規則を複数のモデルで使ったとき | 出力は似るが、どれも共通の傾向に寄る | 出力が、規則にない判断の部分でモデルごとに異なる |
| 人に見えにくくなるもの | モデルに共通する傾向 | どのモデルの傾向を基準にしているか |
どちらの場合も、規則が同じであれば、どのモデルを使っても同じ品質の出力になるとは言えません。使うモデルは、仕組みの前提として固定できるものではなく、記録し、照合する対象になります。
どのモデルを、どの工程で使うかを決めて記録することは、デザインの規則を管理することと同じく、ガバナンスの対象になります。
DESIGN.md に何を記載すると、モデルの傾向を観測できるか
DESIGN.md に何を記載しても、モデルに組み込まれた傾向を取り除くことはできません。ただし、記載する内容によって、その傾向が出力に影響した箇所を観測できる度合いは変わります。
以下は、私が実際にサイト構築をAIで行った際に、プロジェクト内で使ったルールファイルの書き方を、DESIGN.md の記載例として整理したものです。
却下の理由と、推定される傾向を記録する
人がAIの提案や出力を却下したとき、却下の理由を、ほかの場面にも適用できる基準として記録します。記録表に「推定されるモデルの傾向」の列を設けると、その記録を、モデルの傾向を観測した記録として使えます(「規則にない判断」「判断の補強」に関係します)。
サイト構築をAIで行った際の例は、次のとおりです。
| AIの提案・出力 | 却下の理由 | 推定されるモデルの傾向 |
|---|---|---|
| 内部資料の言葉を、そのまま事業説明の文に使った | 公開するサイトでは意味が通じない | 提供された資料の語彙を、そのまま出力に使う |
| 事業説明から専門用語を外し、平易な言い回しに置き換えた | インテリジェンス事業のサイトとして、何をする事業なのかが伝わらない | 専門的な内容を、一般の読者向けに平易化する |
| 名刺に QR コードを印刷する案 | 想定する読者は、リンク先を確認できないものを警戒する | 平均的な利用者を想定する |
| 記事の主旨を「静止していることが正解のサイト」とした | 静止はAIの過剰な演出を抑止するための規則で、サイトのコンセプトではない | 規則から、作り手の意図を推測して補う |
| 「出た」「上げる」「残す」などの動詞を使った | 何が何をどうするのかが一通りに決まらない | 日常語の動詞を選ぶ |
2011年、ソフトウェア技術者のマイケル・ナイガードによって、ADR(Architecture Decision Record)が提案されました。ADR は、設計上の重要な決定を、背景とともに短い文書として記録する方法です。上の記録表は、ADR の考え方を、採用した決定ではなく、却下したAIの提案や出力の記録に適用したものと位置づけられます。
追加しないものと、操作していないときの正しい表示を記載する
「依頼されていないものは追加しない。追加が必要だと判断した場合は、実装する前に提案として提示する」と記載します。あわせて、利用者が操作していないときの正しい表示を、「あってよいもの/あってはならないもの」の表として記載します。
これらの記載により、モデルの傾向に沿って追加された要素を特定できます。該当する要素は、「依頼されていない追加」または「表にない要素」として扱います(「規則にない判断」に関係します)。
サイト構築をAIで行った際には、AIエージェントがキャプチャを見て「アニメーションが動いていない」と判断し、動きを追加しようとしたことがありました。実際には、動きは最初の表示時と操作時だけで、それ以外の時間は静止しているのが仕様どおりでした。私は、この出来事を、動きのない画面を「未完成」とみなす傾向が表面化した例だと考えています。
実物から測った値と文言の正本を、AIに解釈させずに提供する
判断の根拠になる実物から測った値と、画面に表示する文言の正本を、AIが解釈する資料ではなく、そのまま使う値として提供します。私のサイトでは、ロゴの幅と配置を、先に完成させた名刺から測った比率にもとづいて決めました。
7月の論考では、生のデータは自分で管理し、モデルは構造を扱う工程にだけ使う、という区別を提案しました。出力の値が、実物から測った値や正本と異なっていれば、異なる箇所を、モデルの傾向によって変更された箇所として特定できます(「重要度づけ」に関係します)。
修正の前に、分類と原因を提示させる
AIが不具合や未実装を検知して修正しようとするとき、また人が不具合を指摘して修正を依頼したときは、修正の前に、AIに次の順で確認させます。
- 観測した事実を書く
- 表と照合して、「仕様どおり」「途中の段階」「破綻」のどれかに分類する
- 原因を特定する
- 分類と原因を人に提示する
AIの判断が文として提示されるため、承認の文に含まれていた判断を、人が検討できます(「体裁の整った承認」に関係します)。
AIには実装した技法の分類だけを記載させる
評価の工程にAIを使う場合は、AIには実装した技法の分類だけを記載させ、見た人が受ける印象の判断は人が行います。
私のサイトでは、ページの導入に、正方形の格子がめくれて本文が表示される演出を使いました。AIは、この演出を「インテリジェンスのサイトとしては珍しい、作品サイト寄りの演出」と評価しました。実装の分類としては、正しい評価です。
しかし、実際に見たときの印象は「ページがめくれて本文が表示される」というものに近く、演出が主張している感じは受けませんでした。AIの評価には、技法の分類と、見た人が受ける印象についての推定が混在していました。技法の分類だけを記載させれば、印象についての推定は、人の判断の対象として扱えます(「重要度づけ」「評価する側の傾向」に関係します)。
使ったモデルを記録し、モデルごとに正しい表示の表と照合する
画面ごとに、生成と評価に使ったモデルの名前とバージョンを記録します。モデルを切り替えたとき、または提供元がモデルを更新したときは、同じ画面を作らせて、正しい表示の表と照合します。DESIGN.md を変更していないのに照合の結果が変わった場合、その差は、組み込まれた傾向の変化を示しています(「モデルの更新」に関係します)。
複数のモデルを使う場合は、照合の結果をモデルごとに記録します。評価の基準は、特定のモデルの評価ではなく、人が決めた実物(測った値、文言の正本、人が承認した画面)に設定します。提供元の異なるモデルに同じ画面を評価させ、評価が分かれた箇所を、人が判断する対象として扱うこともできます(「評価する側の傾向」に関係します)。
私は、これらの照合をまだ定期的には実施していないため、提案として記載します。
規則を書く人も、傾向の影響を受ける
ここまでの記載例は、どれも、規則を書く人の判断を基準にしています。しかし、「判断の補強」で書いたとおり、規則を書く人の判断も、AIとの相談の中で補強されています。
7月の論考では、末尾で、論考の枠組みが1つの解釈を優先していることを明記しました。私は、DESIGN.md の規則にも、同じ扱いが必要だと考えています。
- 却下の記録を定期的に見直し、適用範囲が当初の想定より広く解釈されている規則を修正します。
- 規則の妥当性を、規則を書いた人が使っているAIだけに評価させません。別のモデルに、規則に反対する立場で検討させます。
規則を書く人の判断も、モデルに組み込まれた傾向と無関係ではありません。
最後に
DESIGN.md に記載できるのは、人が採用を決めて記載した規則までです。AIは、規則を参照する前から、提供元が組み込んだ傾向を持っています。規則が定めていない判断は、その傾向に沿って決まります。
規則を増やせば、傾向で決まる判断は少なくなります。色や余白の値、コンポーネントの使い方は、検査用のプログラムで確認できます。ただし、生成に使ったモデルと同じ傾向を持つモデルに評価させても、その傾向は問題として指摘されません。
提供元の異なるモデルが同じ規則で画面を作れば、規則が定めていない判断の部分で、出力は異なります。その場合、どちらか一方のモデルの出力を基準にすると、もう一方の出力は、規則に適合していても「誤り」と判定されます。
傾向が出力に影響した箇所を特定できるのは、AIの出力を、規則と人が決めた実物に1つずつ照合した人です。人が決めた実物とは、測った値、文言の正本、人が承認した画面です。評価の基準にするのは、どのモデルの出力でもなく、人が決めた実物です。
私は、傾向を観測する工程を誰がどの段階で担当するかは、DESIGN.md とは別に決める必要があると考えています。
ここで挙げた性質は、特定の手法の欠点ではありません。AIにデザインの作業を任せる仕組みを運用するときに、どの判断を誰が担当し、何を記録するかを決めるときに、考慮が必要な点です。デザインハーネスのように仕組みを整えて運用する場合も、DESIGN.md に規則を記載して運用する場合も、同じように考慮が必要です。
参照
これまでの記事
- 「デザインハーネスとは何か — 定義と、過去にあった近い取り組み」 https://notheme.me/2026/11/17/design-harness/
- 「デザインハーネスで扱えない「何・なぜ」— クオリアから考える」 https://notheme.me/2026/11/18/design-harness-qualia/
- 「Reflect: COG2INSIGHT 20260730」 https://cdbk.jp/report/reflect-cogint-20260730
言語モデルの振る舞いに関する研究
- Mrinank Sharma ほか「Towards Understanding Sycophancy in Language Models」(2023年) https://arxiv.org/abs/2310.13548
オープンウェイトモデルと蒸留
- Epoch AI「Open-weight models」 https://epoch.ai/topics/open-models
- Anthropic「Detecting and preventing distillation attacks」(2026年2月23日) https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks
決定の記録に関する方法
- Michael Nygard「Documenting Architecture Decisions」(2011年) https://cognitect.com/blog/2011/11/15/documenting-architecture-decisions
- Martin Fowler「Architecture Decision Record」 https://www.martinfowler.com/bliki/ArchitectureDecisionRecord.html
