商品データ検証:必要な箇所だけAI、判断はルールで
文書を読んだり文章を書いたりできるモデルに、適合性の判断まで委ねるべきではありません。確率的な解釈と決定論的な統制を分離し、モデルは抽出・表現、追跡可能なルールは検証・判断を担います。
商品データは文章作成ではなく統制システム
商品レコードは仕入先根拠、商業要件、法的義務、チャネル仕様、マスターデータをつなぎます。
- 解釈: 文書、画像、自由文を読み、用語を対応付け、文章化する。
- 統制: 必須項目、型、値、単位、依存関係、根拠、権限、公開状態を確認する。
AI導入前に正規レコードを定義する
属性ごとにID、型、責任者、単位、許可ソース、根拠、適用範囲、承認権限を定めます。原資料は不変とし、候補値と承認値を分けます。
product_id
attribute_id
candidate_value
source_document_id
source_location
extraction_method
model_or_rule_version
confidence
created_at
review_status
認証ページ付きB2B商品カタログと同様、主張を根拠に結び付けます。
モデルが価値を生む領域
非構造化根拠から候補を抽出する
候補値と根拠位置を返し、根拠がなければ推測せず null とします。信頼度はルーティング用であり、証拠ではありません。
統制語彙へ対応付ける
完全一致はルールで先に処理し、モデルが概念と理由を提案、ルールまたは権限者が承認します。
顧客向け文章を作る
承認済み属性だけからタイトルや翻訳を作り、長さ、禁止表現、限定語、裏付けのない値をルールで検査します。
ルールが判断すべき領域
| 種別 | 統制例 |
|---|---|
| 必須 | 必須属性が存在 |
| 型・形式 | 宣言型として解析可能 |
| 範囲 | 許可範囲内 |
| 列挙 | 現行語彙に含まれる |
| 単位 | 許可単位・承認済み換算 |
| 項目間 | 条件付き項目が存在 |
| 根拠 | 有効で最新のソースあり |
| 整合 | 数量・寸法・合計が一致 |
| 範囲 | 言語・市場・チャネルに有効 |
| 権限 | 承認・公開権限あり |
ルールにはID、版、責任者、重大度、説明を持たせます。複数宛先のflatfile自動化でも、形式変更と検証方針を分離できます。
参照ワークフロー
- Ingest: ファイル、checksum、出所を登録。
- Preprocess: 分類し商品ID候補へ関連付け。
- Extract: parserを先に、未解決だけモデルへ。
- Normalise: 意味を変えず形式・単位を変換。
- Validate: 版管理されたルールを実行。
- Review: 例外を権限者へ送る。
- Approve: 値、根拠、承認者を記録。
- Publish: 制御されたadapterで書き込む。
- Observe: 却下、訂正、成果を取得。
各遷移をイベント化します。多言語コマース設計でも翻訳は派生・版管理された出力とし、事実と根拠を共有します。
信頼度は作業を振り分けるが、真実を保証しない
高信頼度でも正確性、鮮度、権限は証明できません。リスクとルールを併用し、根拠がなければ棄権します。
例外もプロダクトの一部
セット品、代替品、地域差、旧レコード、矛盾資料には理由コード、重大度、担当、期限、解決方法を持たせます。overrideは明示的かつ限定的にします。
ベースラインから成果まで測る
機密指標は Baseline = 100 とし、絶対値は認可環境に残します。
- 候補精度と根拠網羅率
- ルール通過率と棄権率
- 人によるoverrideと訂正
- キュー滞留と承認時間
- 公開後の却下・訂正
- 重大エラーのガードレール
変更をポリシーとして統治する
ルール変更には責任者、理由、発効日、テスト、承認が必要です。モデルは低品質入力も含めて評価し、shadow mode、限定コホート、段階展開で進めます。書き込みは冪等、最小権限、ロールバック可能にします。
スケールする役割分担
モデルは根拠を候補へ、承認済み事実を文章へ変換します。ルールは反復可能な方針を表し、人が曖昧さと高リスクを解決します。解釈が必要な箇所にAI、明文化できる判断にはルールを使います。