การตรวจสอบข้อมูลสินค้า: ใช้ AI เฉพาะจุด ใช้กฎตัดสินใจ

ข้อมูลสินค้าเป็นงาน AI สำหรับองค์กรที่น่าสนใจ เพราะข้อมูลนำเข้าไม่เป็นระเบียบ แต่ผลลัพธ์ที่ต้องการดูมีโครงสร้าง อย่างไรก็ตาม โมเดลที่อ่านเอกสารหรือเขียนคำบรรยายได้ไม่ควรตัดสินว่าระเบียนผ่านข้อกำหนดหรือไม่ เราแยกการตีความเชิงความน่าจะเป็นออกจากการควบคุมที่ให้ผลแน่นอน: โมเดลดึงข้อมูลและเรียบเรียง ส่วนกฎที่ตรวจสอบย้อนกลับได้ตรวจความถูกต้องและตัดสิน

ข้อมูลสินค้าคือระบบควบคุม ไม่ใช่งานเขียน

ระเบียนสินค้าเชื่อมโยงหลักฐานจากผู้จัดหา ข้อกำหนดทางธุรกิจ ภาระผูกพันตามกฎหมาย ข้อกำหนดของช่องทาง และข้อมูลหลักภายในองค์กร คุณลักษณะหนึ่งอาจส่งผลต่อการค้นหา โลจิสติกส์ ภาษี การตรวจความปลอดภัย บรรจุภัณฑ์ หรือความคาดหวังของลูกค้า การแก้ไขที่ดูเล็กน้อยจึงอาจส่งผลต่อระบบปลายทางหลายระบบ

การ “สร้างเนื้อหาสินค้า” จึงเป็นการกำหนดขอบเขตระบบที่ไม่เหมาะสม การสร้างเนื้อหาเป็นเพียงกิจกรรมหนึ่ง กระบวนการจริงต้องรับหลักฐาน ระบุสินค้าและคุณลักษณะ ใช้นโยบาย ส่งข้อยกเว้นไปยังผู้รับผิดชอบ บันทึกการอนุมัติ และเผยแพร่รุ่นที่ได้รับอนุญาต ความเชื่อถือได้ขึ้นกับทั้งกระบวนการ

เราจึงเริ่มจากงานสองประเภท:

ตีความ: อ่านเอกสาร ภาพ หรือข้อความอิสระที่หลากหลาย จับคู่คำไม่คุ้นกับแนวคิดที่รู้จัก และร่างคำบรรยายกระชับ
ควบคุม: ตรวจฟิลด์บังคับ ชนิดข้อมูล ค่าที่อนุญาต หน่วย ความสัมพันธ์ข้ามฟิลด์ หลักฐาน สิทธิ์ และสถานะเผยแพร่

การตีความใช้ความน่าจะเป็นและได้ประโยชน์จากโมเดล ส่วนการควบคุมควรให้ผลแน่นอนเมื่อระบุนโยบายได้ การรวมทั้งสองอย่างในพรอมป์ต์เดียวทำให้ตรวจสอบย้อนหลัง ทดสอบ และอุทธรณ์คำตัดสินได้ยาก

กำหนดระเบียนอ้างอิงหลักก่อนใช้ AI

แบบจำลองสินค้าอ้างอิงหลักต้องมีตัวระบุที่คงที่ ฟิลด์ที่กำหนดชนิดข้อมูล และผู้รับผิดชอบที่ชัดเจน แต่ละคุณลักษณะต้องระบุนิยาม หน่วย จำนวนค่าที่รองรับ แหล่งที่อนุญาต หลักฐานบังคับ ขอบเขตตลาดหรือช่องทาง และผู้มีสิทธิ์อนุมัติการแก้

หลักฐานดิบต้องคงไว้โดยไม่แก้ไข เราเก็บค่าที่เสนอซึ่งดึงจากหลักฐานแยกจากค่าที่อนุมัติแล้ว เพื่อไม่ให้ค่าที่โมเดลสร้างกลายเป็นข้อเท็จจริงโดยไม่มีใครรู้ และช่วยให้ผู้ตรวจสอบเทียบค่าที่เสนอกับต้นทางได้ ระเบียนติดตามที่มาขั้นต่ำประกอบด้วย:

product_id
attribute_id
candidate_value
source_document_id
source_location
extraction_method
model_or_rule_version
confidence
created_at
review_status

ระเบียนในสภาพแวดล้อมใช้งานจริงมีเฉพาะค่าที่ผ่านกฎที่เกี่ยวข้องและขั้นตอนอนุมัติแล้ว เช่นเดียวกับสถาปัตยกรรม แคตตาล็อก B2B พร้อมหน้าข้อมูลการรับรอง ข้อกล่าวอ้างต้องผูกกับหลักฐาน ไม่ใช่ข้อความการตลาดที่เปลี่ยนแทนกันได้

จุดที่โมเดลสร้างคุณค่า

โมเดลมีประโยชน์ในส่วนของเวิร์กโฟลว์ที่ต้องรับมือกับข้อมูลหลากหลาย

ดึงค่าที่เสนอจากหลักฐานที่ไม่มีโครงสร้าง

แบบฟอร์มผู้จัดหา เอกสารเทคนิค ฉลาก และภาพอาจแสดงคุณลักษณะเดียวกันในรูปแบบหรือถ้อยคำต่างกัน โมเดลหาค่าที่เป็นไปได้ ปรับข้อความรอบค่า และคืนค่าที่เสนอในโครงสร้างพร้อมอ้างอิงหลักฐานได้ ข้อกำหนดผลลัพธ์ต้องระบุให้คืน null เมื่อไม่มีหลักฐาน การเดาไม่ถือว่าทำงานครบถ้วน

สำหรับงานวิเคราะห์ภาพ ระบบควรเก็บบริเวณภาพหรือหน้าเอกสารที่รองรับการดึงข้อมูล ส่วนงานข้อความควรเก็บช่วงข้อความต้นทางสั้น ๆ หรือพิกัด คะแนนความมั่นใจช่วยจัดเส้นทาง แต่ไม่ใช่หลักฐานและใช้แทนอ้างอิงแหล่งไม่ได้

จับคู่ภาษาเข้าชุดคำศัพท์ควบคุม

คำจากต้นทางอาจไม่ตรงระบบจำแนกขององค์กร โมเดลเสนอแนวคิดที่ใกล้ที่สุดในชุดคำศัพท์ควบคุมและอธิบายเหตุผลได้ แต่การยอมรับขั้นสุดท้ายเป็นหน้าที่กฎหรือผู้ตรวจที่มีสิทธิ์ หากมีตารางคำพ้องที่ตรงแน่นอน ให้จับคู่ด้วยกฎก่อน แล้วใช้โมเดลกับส่วนที่ยังแก้ไม่ได้

เรียบเรียงข้อความสำหรับลูกค้า

โมเดลร่างชื่อสินค้า หัวข้อย่อย สรุป หรือคำแปลจากคุณลักษณะที่อนุมัติแล้วได้ พรอมป์ต์ควรใช้เฉพาะระเบียนที่อนุมัติและแยกคำแนะนำรูปแบบที่เลือกใช้ให้ชัด ข้อความที่สร้างต้องผ่านกฎความยาว ข้อกล่าวอ้างต้องห้าม ข้อความกำกับบังคับ คำศัพท์ และค่าที่ไม่มีหลักฐาน

เราไม่ให้โมเดลตัดสินว่าข้อความที่ตนเองเขียนผ่านข้อกำหนดหรือไม่ เพราะจะทำให้องค์ประกอบเชิงความน่าจะเป็นเดียวกันเป็นทั้งผู้เขียนและผู้ตัดสิน

จุดที่กฎต้องตัดสินใจ

กฎเหมาะเมื่อระบุและทดสอบเงื่อนไขความผิดพลาดได้ ประเภทที่พบบ่อยได้แก่:

ประเภทกฎ	ตัวอย่างการควบคุม
การมีข้อมูล	มีคุณลักษณะบังคับครบสำหรับสินค้าประเภทนี้
ชนิดและรูปแบบ	อ่านค่าได้ตามชนิดและการเข้ารหัสที่กำหนด
ช่วงค่า	ค่าตัวเลขอยู่ในช่วงที่อนุญาต
ชุดค่าที่อนุญาต	ค่าอยู่ในชุดคำศัพท์ควบคุมปัจจุบัน
หน่วย	หน่วยได้รับอนุญาตและการแปลงไม่สูญเสียข้อมูลหรือได้รับอนุมัติ
ความสัมพันธ์ข้ามฟิลด์	มีฟิลด์ที่ต้องใช้ร่วมเมื่อเข้าเงื่อนไขของค่าที่กระตุ้น
หลักฐาน	ข้อกล่าวอ้างมีเอกสารต้นทางที่ใช้ได้และเป็นปัจจุบัน
ความสอดคล้อง	จำนวนต่อบรรจุภัณฑ์ ขนาด และยอดรวมที่คำนวณได้กระทบยอดตรงกัน
ขอบเขต	ค่าใช้ได้กับภาษา ตลาด และช่องทางเป้าหมาย
สิทธิ์ในการดำเนินการ	ผู้ดำเนินการมีสิทธิ์อนุมัติหรือเผยแพร่ฟิลด์นี้

ทุกกฎต้องมีตัวระบุ เวอร์ชัน ผู้รับผิดชอบ ระดับความรุนแรง และข้อความที่คนอ่านเข้าใจได้ ข้อความนี้มีความสำคัญ “ตรวจไม่ผ่าน” ทำให้ต้องติดต่อฝ่ายช่วยเหลือ แต่ “ปริมาณสุทธิต้องใช้หน่วยที่อนุมัติและอ้างอิงแหล่งข้อมูล” ระบุงานแก้ได้

การแยกนี้ทำให้ ระบบอัตโนมัติสำหรับไฟล์ flatfile หลายปลายทาง ปลอดภัยขึ้น เพราะเปลี่ยนรูปแบบปลายทางได้โดยไม่ลดความเข้มงวดของนโยบายตรวจสอบระเบียนอ้างอิงหลัก

ควรเรียกกฎตอนรับข้อมูล หลังดึงข้อมูล หลังคนแก้ ก่อนส่งออก และก่อนเผยแพร่ ส่วนติดต่อผู้ใช้ ไปป์ไลน์ที่ประมวลผลเป็นชุด และ API ต้องใช้บริการตรวจสอบเดียวกันที่มีการกำกับเวอร์ชัน การทำตรรกะซ้ำหลายระบบก่อผลขัดกัน

เวิร์กโฟลว์อ้างอิง

เราออกแบบกระบวนการเป็นลำดับการเปลี่ยนสถานะอย่างชัดเจน:

รับเข้า: ลงทะเบียนไฟล์ต้นทาง ค่า checksum ที่มา และเวลารับ
เตรียมข้อมูล: จำแนกเอกสารและเชื่อมกับรหัสสินค้าที่เป็นไปได้
ดึงข้อมูล: ใช้ตัวแยกวิเคราะห์ตามกฎก่อน แล้วใช้โมเดลกับฟิลด์ที่ยังไม่ชัด
ปรับรูปแบบ: แปลงรูปแบบและหน่วยโดยไม่เปลี่ยนความหมาย
ตรวจสอบ: เรียกชุดกฎตามรุ่นที่ใช้กับระเบียน
ทบทวน: ส่งเฉพาะข้อยกเว้นหรือการเปลี่ยนความเสี่ยงสูงให้ผู้มีสิทธิ์
อนุมัติ: บันทึกค่าที่รับ หลักฐาน และตัวตนผู้อนุมัติ
เผยแพร่: เขียนผ่านตัวเชื่อมที่ควบคุมไปแต่ละปลายทาง
ติดตาม: เก็บการปฏิเสธ การแก้ และสัญญาณผลลัพธ์ปลายทาง

ทุกการเปลี่ยนสถานะสร้างเหตุการณ์ บันทึกเหตุการณ์ช่วยให้ประมวลผลระบบซ้ำได้ โดยระบุระเบียนที่กระทบและตรวจใหม่เมื่อระบบจำแนกหรือกฎเปลี่ยน โดยไม่ดึงทุกอย่างใหม่

หลักเดียวกันใช้กับภาษา: สถาปัตยกรรมการค้าหลายภาษา มองคำแปลเป็นผลที่ได้ต่อจากข้อมูลหลักและมีรุ่นกำกับ ขณะที่ข้อเท็จจริงกับหลักฐานที่อนุมัติใช้ร่วมกัน

ไม่ควรส่งทุกฟิลด์ไปโมเดลใหญ่ที่สุด รหัสที่แน่นอน วันที่ หน่วยที่รู้จัก และรหัสจากชุดค่าควบคุมควรผ่านกฎ ใช้โมเดลเฉพาะฟิลด์กำกวม ช่วยลดต้นทุนกับระยะเวลาหน่วงและประเมินโมเดลส่วนที่เหลือได้มีความหมายกว่า

ความมั่นใจใช้จัดเส้นทาง ไม่ได้รับรองความจริง

คะแนนความมั่นใจมักถูกเข้าใจผิด คะแนนที่สูงไม่พิสูจน์ว่าแหล่งข้อมูลถูกต้อง เป็นปัจจุบัน หรือได้รับอนุญาต เพียงแสดงการประเมินของโมเดลตามวิธีหนึ่ง

เราใช้ร่วมกับความเสี่ยงและผลการตรวจสอบตามกฎเพื่อเลือกเส้นทาง ค่าที่เสนอซึ่งมีความเสี่ยงต่ำที่มีหลักฐานตรงและผ่านทุกกฎอาจเข้าคิวตรวจสอบแบบไม่ซับซ้อน แต่ข้อกล่าวอ้างที่อยู่ภายใต้กฎระเบียบหรืออ่อนไหวเชิงพาณิชย์อาจต้องให้คนอนุมัติไม่ว่ามั่นใจเท่าใด ไม่มีหลักฐานต้องงดตัดสิน ไม่ใช่ลดเกณฑ์

ควรปรับเกณฑ์ด้วยข้อมูลที่เป็นตัวแทนแยกตามคุณลักษณะและชนิดเอกสาร เกณฑ์เดียวซ่อนความต่างระหว่างดึงรหัสมาตรฐานกับตีความข้อกล่าวอ้างเกี่ยวกับวัสดุ ติดตามความแม่นยำ (precision) สัดส่วนที่ค้นพบ (recall) การงดตัดสิน และการตัดสินต่างจากระบบของผู้ตรวจสอบในแต่ละกลุ่ม

ข้อยกเว้นเป็นส่วนหนึ่งของผลิตภัณฑ์

แคตตาล็อกจริงมีชุดสินค้า สินค้าทดแทน รูปแบบตามภูมิภาค ระเบียนเก่า และเอกสารผู้จัดหาขัดแย้ง ระบบที่รองรับเฉพาะเส้นทางปกติสร้างงานมือที่มองไม่เห็น

ข้อยกเว้นต้องมีรหัสเหตุผล ความรุนแรง ผู้รับผิดชอบ กำหนดส่ง และวิธีแก้ที่อนุญาต ผู้ตรวจต้องเห็นค่าที่เสนอ หลักฐาน กฎที่ไม่ผ่าน และผลปลายทางในหน้าเดียว ยอมรับ แก้ ปฏิเสธ หรือขอหลักฐานใหม่ได้โดยไม่แก้ข้อมูลดิบ

การตัดสินต่างจากกฎต้องระบุอย่างชัดเจนและจำกัดขอบเขต ผู้ตรวจสอบอาจข้ามคำเตือนสำหรับสินค้าหนึ่งรายการและปลายทางหนึ่งแห่ง แต่ไม่ควรปิดกฎนั้นทั้งระบบ การข้ามซ้ำอาจบอกว่าต้องปรับกฎ ระบบจำแนก กระบวนการต้นทาง หรือแบบจำลองสินค้า

ระดับบริการควรสะท้อนความเสี่ยงทางธุรกิจ ไม่ใช่ลำดับที่งานเข้ามา ฟิลด์การตลาดที่ไม่บังคับซึ่งขาดหายกับคุณลักษณะด้านความปลอดภัยที่ขัดแย้งกันไม่ควรอยู่คิวเดียว

วัดจากค่าอ้างอิงตั้งต้นถึงผลลัพธ์

ก่อนทำกระบวนการให้เป็นอัตโนมัติ เราวัดความครบถ้วนของฟิลด์ การผ่านการตรวจสอบครั้งแรก รอบการแก้ไข เวลาที่ใช้ตรวจสอบ อัตราการปฏิเสธจากระบบปลายทาง และอัตราข้อผิดพลาดรุนแรง สำหรับรายงานภายในที่เป็นความลับ เราอาจแสดงข้อมูลแต่ละชุดเป็นดัชนี Baseline = 100 และเก็บปริมาณจริงกับมูลค่าธุรกิจในสภาพแวดล้อมที่อนุญาต

หลังนำระบบขึ้นใช้งาน เราแยกคุณภาพการดึงข้อมูลออกจากประสิทธิภาพการดำเนินงาน ข้อมูลที่ดึงมาอาจถูกต้องในทางเทคนิค แต่มาถึงช้าเกินกำหนดเผยแพร่ เวิร์กโฟลว์อาจลดเวลาตรวจสอบ แต่เพิ่มข้อผิดพลาดรุนแรง ตารางติดตามผลจึงรวมตัวชี้วัดต่อไปนี้:

ความถูกต้องของค่าที่เสนอและความครอบคลุมหลักฐานตามคุณลักษณะ
อัตราผ่านกฎและงดตัดสิน
อัตราการตัดสินต่างจากระบบและการแก้ไขโดยคน
ระยะเวลาที่รอในคิวและเวลาจนระเบียนได้รับอนุมัติ
การปฏิเสธจากระบบปลายทางและการแก้ไขหลังเผยแพร่
มาตรการคุมข้อผิดพลาดรุนแรง

การเปลี่ยนโมเดล พรอมป์ต์ ระบบจำแนก และกฎมีการกำกับเวอร์ชันแยกจากกัน ชุดประเมินรวมระเบียนปกติกับข้อยกเว้นที่รู้จัก ก่อนนำขึ้นใช้ให้ประมวลผลรุ่นใหม่ซ้ำและเทียบทั้งระเบียนที่เพิ่งผ่านกับเพิ่งไม่ผ่าน หากมาตรการคุมความเสี่ยงแย่เกินค่าที่ยอมรับ ให้ระงับรุ่นแม้ความแม่นยำเฉลี่ยดีขึ้น

กำกับการเปลี่ยนแปลงเสมือนนโยบาย

กฎคือนโยบายดำเนินงาน การเปลี่ยนอาจกระทบสินค้าที่เผยแพร่ได้ ข้อกล่าวอ้างที่อนุญาต และทีมรับงาน จึงต้องมีผู้รับผิดชอบ เหตุผล วันที่มีผล การทดสอบ และอนุมัติตามผลกระทบ

การเปลี่ยนโมเดลต้องใช้วินัยคล้ายกันแต่ทดสอบต่างกัน ประเมินการดึงกับเรียบเรียงด้วยกรณีติดป้ายกำกับ รวมข้อมูลที่จงใจออกแบบเพื่อหลอกระบบและคุณภาพต่ำ ทดสอบข้อกำหนดผลลัพธ์แบบมีโครงสร้าง: ฟิลด์ไม่รู้จัก ชนิดผิด หรือขาดหลักฐานต้องล้มเหลวอย่างปลอดภัย

ควรทยอยนำระบบขึ้นใช้งาน เริ่มจากโหมดเงาเพื่อเปรียบเทียบแนวทางใหม่โดยไม่เปลี่ยนระเบียน ต่อด้วยกลุ่มจำกัด แล้วขยายเมื่อมาตรการคุมความเสี่ยงยังดี ตัวเชื่อมเขียนข้อมูลต้องทำซ้ำโดยไม่เกิดผลซ้ำซ้อน ใช้สิทธิ์ขั้นต่ำ และคืนสภาพเดิมได้ ไม่มีโมเดลใดเข้าระบบข้อมูลหลักโดยตรงแบบไม่จำกัด

การแบ่งงานที่ขยายได้

สถาปัตยกรรมที่ยั่งยืนไม่ใช่การเลือก “AI หรือกฎ” แต่คือการแบ่งงานอย่างตั้งใจ

โมเดลแปลงหลักฐานหลากหลายเป็นค่าที่เสนอ และข้อเท็จจริงที่อนุมัติเป็นภาษาที่มีประโยชน์ กฎแสดงนโยบายที่ให้ผลซ้ำได้ คนแก้ความกำกวม อนุมัติการเปลี่ยนสำคัญ และปรับนโยบายเมื่อข้อยกเว้นเผยช่องว่าง บันทึกเหตุการณ์ผูกทุกคำตัดสินกับหลักฐานและตรรกะตามรุ่น

ผู้บริหารเข้าใจง่ายเพราะจำกัดความเสี่ยงตามการกระทำและหลักฐาน พัฒนาง่ายเพราะองค์ประกอบมีข้อกำหนดที่ทดสอบได้ ดูแลง่ายเพราะระบุความผิดพลาดได้ว่าดึงค่าขาด แหล่งข้อมูลไม่ผ่านเกณฑ์การใช้งาน กฎปฏิเสธชุดค่า หรือผู้มีสิทธิ์ข้ามคำเตือน

ข้อมูลสินค้าในองค์กรจะไม่มีวันสะอาดหรือสม่ำเสมออย่างสมบูรณ์ และไม่จำเป็นต้องเป็นเช่นนั้น แต่ระบบต้องรู้สิ่งที่พบ สิ่งที่อนุมาน สิ่งที่อนุญาต และผู้ตัดสิน ใช้ AI เมื่อต้องตีความจริง และใช้กฎเมื่อองค์กรระบุการตัดสินใจได้แล้ว