tva
← Insights

商品データ検証:必要な箇所だけAI、判断はルールで

文書を読んだり文章を書いたりできるモデルに、適合性の判断まで委ねるべきではありません。確率的な解釈と決定論的な統制を分離し、モデルは抽出・表現、追跡可能なルールは検証・判断を担います。

商品データは文章作成ではなく統制システム

商品レコードは仕入先根拠、商業要件、法的義務、チャネル仕様、マスターデータをつなぎます。

  • 解釈: 文書、画像、自由文を読み、用語を対応付け、文章化する。
  • 統制: 必須項目、型、値、単位、依存関係、根拠、権限、公開状態を確認する。

AI導入前に正規レコードを定義する

属性ごとにID、型、責任者、単位、許可ソース、根拠、適用範囲、承認権限を定めます。原資料は不変とし、候補値と承認値を分けます。

product_id
attribute_id
candidate_value
source_document_id
source_location
extraction_method
model_or_rule_version
confidence
created_at
review_status

認証ページ付きB2B商品カタログと同様、主張を根拠に結び付けます。

モデルが価値を生む領域

非構造化根拠から候補を抽出する

候補値と根拠位置を返し、根拠がなければ推測せず null とします。信頼度はルーティング用であり、証拠ではありません。

統制語彙へ対応付ける

完全一致はルールで先に処理し、モデルが概念と理由を提案、ルールまたは権限者が承認します。

顧客向け文章を作る

承認済み属性だけからタイトルや翻訳を作り、長さ、禁止表現、限定語、裏付けのない値をルールで検査します。

ルールが判断すべき領域

種別 統制例
必須 必須属性が存在
型・形式 宣言型として解析可能
範囲 許可範囲内
列挙 現行語彙に含まれる
単位 許可単位・承認済み換算
項目間 条件付き項目が存在
根拠 有効で最新のソースあり
整合 数量・寸法・合計が一致
範囲 言語・市場・チャネルに有効
権限 承認・公開権限あり

ルールにはID、版、責任者、重大度、説明を持たせます。複数宛先のflatfile自動化でも、形式変更と検証方針を分離できます。

参照ワークフロー

  1. Ingest: ファイル、checksum、出所を登録。
  2. Preprocess: 分類し商品ID候補へ関連付け。
  3. Extract: parserを先に、未解決だけモデルへ。
  4. Normalise: 意味を変えず形式・単位を変換。
  5. Validate: 版管理されたルールを実行。
  6. Review: 例外を権限者へ送る。
  7. Approve: 値、根拠、承認者を記録。
  8. Publish: 制御されたadapterで書き込む。
  9. Observe: 却下、訂正、成果を取得。

各遷移をイベント化します。多言語コマース設計でも翻訳は派生・版管理された出力とし、事実と根拠を共有します。

信頼度は作業を振り分けるが、真実を保証しない

高信頼度でも正確性、鮮度、権限は証明できません。リスクとルールを併用し、根拠がなければ棄権します。

例外もプロダクトの一部

セット品、代替品、地域差、旧レコード、矛盾資料には理由コード、重大度、担当、期限、解決方法を持たせます。overrideは明示的かつ限定的にします。

ベースラインから成果まで測る

機密指標は Baseline = 100 とし、絶対値は認可環境に残します。

  • 候補精度と根拠網羅率
  • ルール通過率と棄権率
  • 人によるoverrideと訂正
  • キュー滞留と承認時間
  • 公開後の却下・訂正
  • 重大エラーのガードレール

変更をポリシーとして統治する

ルール変更には責任者、理由、発効日、テスト、承認が必要です。モデルは低品質入力も含めて評価し、shadow mode、限定コホート、段階展開で進めます。書き込みは冪等、最小権限、ロールバック可能にします。

スケールする役割分担

モデルは根拠を候補へ、承認済み事実を文章へ変換します。ルールは反復可能な方針を表し、人が曖昧さと高リスクを解決します。解釈が必要な箇所にAI、明文化できる判断にはルールを使います。

関連インサイト

関連記事