ออกแบบระบบควบคุมเอเจนต์: เลือกโมเดลที่เหมาะสม

การกำหนดเส้นทางไปยังโมเดลเป็นปัญหาด้านการควบคุมการดำเนินงาน ไม่ใช่การแข่งขันจัดอันดับ ข้อกำหนดความเป็นส่วนตัวและพื้นที่ประมวลผลและจัดเก็บข้อมูลกำหนดกลุ่มโมเดลที่อนุญาตให้ใช้ก่อน จากนั้นความสำเร็จของงานและคุณภาพผลลัพธ์จะตัดสินว่าโมเดลใดใช้งานได้ในกลุ่มนั้น แล้วจึงค่อยเพิ่มประสิทธิภาพโทเคน เวลาหน่วง และต้นทุน โมเดลในเครื่องอาจทำงานได้ดี แต่โดยทั่วไปต้องแยกงาน ค้นคืนข้อมูล และตรวจสอบด้วยกฎที่ให้ผลแน่นอนอย่างเข้มงวดกว่า

ระบบควบคุมเอเจนต์คือหน่วยที่ทำงานได้จริง

เอเจนต์สำหรับองค์กรไม่ใช่เพียงโมเดลที่มีพรอมป์ต์ระบบยาว ๆ แต่เป็นระบบควบคุมเอเจนต์หรือ harness ซึ่งประกอบด้วยการรับงาน การรวบรวมบริบท ด่านตรวจนโยบาย การเรียกใช้โมเดล การเข้าถึงเครื่องมือ สถานะ การตรวจสอบ ตรรกะการลองใหม่ การติดตามเพื่อให้ตรวจสอบการทำงานได้ และการส่งต่อ โมเดลเป็นองค์ประกอบหนึ่งที่เปลี่ยนแทนได้ภายในระบบนี้

การเปรียบเทียบโมเดลนอกระบบควบคุมเอเจนต์มักทำนายผลในการใช้งานจริงไม่ได้ โมเดลอาจทำคะแนนทดสอบได้ดี แต่มีปัญหากับรูปแบบข้อมูล สิทธิ์ คำศัพท์ หรือเวิร์กโฟลว์ขององค์กร อีกโมเดลหนึ่งอาจดูด้อยกว่าในการสนทนาแบบปลายเปิด แต่ทำงานได้อย่างน่าเชื่อถือเมื่อแยกงาน ค้นคืนหลักฐาน และตรวจผลตามข้อจำกัดที่ให้ผลแน่นอน

การเลือก “โมเดลที่ดีที่สุด” จึงเป็นการมองปัญหาผิดระดับ เราเลือกเส้นทางการดำเนินงานที่อนุญาตสำหรับงานที่กำหนดไว้ เส้นทางนั้นอาจใช้โมเดลเดียว การเรียกเฉพาะทางหลายครั้ง โมเดลในเครื่อง โมเดลที่ผู้ให้บริการโฮสต์ หรือไม่ใช้โมเดลเลย งานจะสำเร็จก็ต่อเมื่อเข้าสู่สถานะทางธุรกิจที่ตรวจสอบยืนยันแล้ว

สถาปัตยกรรมควรแสดงให้ชัดว่าเปลี่ยนโมเดลแทนกันได้ ชั้นปฏิบัติการ AI แบบเธรด แยกบริบทผู้ใช้ออกจากตัวดำเนินงาน เพื่อให้การกำหนดเส้นทาง สถานะ การกำหนดสิทธิ์การเข้าถึง และการตรวจสอบคงเดิมเมื่อเปลี่ยนโมเดล

ด่านที่หนึ่ง: ความเป็นส่วนตัว พื้นที่ข้อมูล และการอนุญาตตามสัญญา

การกำหนดเส้นทางเริ่มก่อนทดสอบคุณภาพ คำถามแรกคือปลายทางของโมเดลได้รับอนุญาตให้รับข้อมูลและดำเนินการนั้นหรือไม่

เรากำหนดเกณฑ์การอนุญาตสำหรับงานแต่ละประเภท โดยครอบคลุม:

การจัดชั้นข้อมูล และการมีข้อมูลส่วนบุคคล ข้อมูลลับ ข้อมูลที่อยู่ภายใต้กฎระเบียบ หรือข้อมูลที่อยู่ภายใต้การควบคุมการส่งออก
ภูมิภาคที่กำหนดให้ใช้ประมวลผลและจัดเก็บข้อมูล
ข้อกำหนดการเก็บรักษาข้อมูล การบันทึกเหตุการณ์ การใช้ข้อมูลฝึกโมเดล และการลบข้อมูล
ผู้ประมวลผลข้อมูลช่วงต่อและข้อจำกัดการโอนข้อมูลข้ามพรมแดน
ข้อกำหนดการเข้ารหัส การระบุตัวตน และการควบคุมการเข้าถึง
หน้าที่ในการจัดทำบันทึกการตรวจสอบและแจ้งเหตุการณ์
เครื่องมือได้รับอนุญาตให้อ่านหรือเปลี่ยนแปลงข้อมูลในระบบใช้งานจริงหรือไม่
เอกสารที่ค้นคืนมาได้รับอนุญาตให้ออกจากสภาพแวดล้อมที่ควบคุมไว้หรือไม่

สิ่งเหล่านี้เป็นข้อจำกัดในการกำหนดเส้นทาง ไม่ใช่ข้อความนโยบายที่แนบภายหลังเปิดใช้งาน หากงานมีข้อมูลจำกัดการเข้าถึง ตัวกำหนดเส้นทางต้องตัดปลายทางที่ไม่ผ่านเกณฑ์ออก การปกปิดข้อมูลอาจสร้างงานย่อยที่มีข้อจำกัดน้อยลงได้ในบางกรณี แต่กระบวนการปกปิดต้องเชื่อถือได้ มีบันทึก และผ่านการทดสอบกับรูปแบบข้อมูลที่เกี่ยวข้อง การแทนชื่อแต่ยังเหลือเลขบัญชีเฉพาะบุคคลหรือชุดข้อเท็จจริงที่อ่อนไหวทางธุรกิจ ไม่ใช่การทำให้ข้อมูลไม่ระบุตัวตนที่ได้ผลจริง

ข้อกำหนดพื้นที่ข้อมูลใช้กับระบบควบคุมเอเจนต์โดยรอบด้วย การส่งพรอมป์ต์ไปยังปลายทางในภูมิภาคที่อนุมัติไม่ได้แก้ปัญหา หากข้อมูลติดตามการทำงาน ดัชนีเวกเตอร์ บันทึกข้อผิดพลาด หรือคิวตรวจทบทวนโดยคนถูกเก็บไว้ที่อื่น เราตรวจเส้นทางข้อมูลทั้งหมด ตั้งแต่การรับงาน ไฟล์ชั่วคราว การค้นคืนข้อมูล การประมวลผลโมเดล ผลจากเครื่องมือ การติดตามการทำงาน ข้อมูลสำรอง ไปจนถึงการเข้าถึงโดยฝ่ายสนับสนุน

ด่านนี้ให้รายชื่อเส้นทางที่อนุญาต ไม่ได้เลือกผู้ชนะ โมเดลในเครื่องอาจเป็นข้อบังคับสำหรับงานหนึ่ง เป็นทางเลือกสำหรับอีกงาน และไม่เหมาะกับงานที่สาม นโยบายจำกัดตัวเลือก ส่วนหลักฐานช่วยให้ตัดสินใจได้ครบถ้วน

ด่านที่สอง: ความสำเร็จของงานก่อนคุณภาพ

ภายในกลุ่มโมเดลที่อนุญาต คำถามแรกในการประเมินคือความสำเร็จของงาน เวิร์กโฟลว์เข้าสู่สถานะที่ต้องการหรือไม่ สำหรับงานวิจัย อาจหมายถึงคำตอบที่มีหลักฐานรองรับและการอ้างอิงที่เข้าถึงได้ สำหรับการดึงข้อมูล อาจหมายถึงระเบียนที่ตรงตามสคีมาและเชื่อมโยงกับช่วงข้อความต้นทาง สำหรับการดำเนินงาน อาจหมายถึงแผนจำลองการทำงานที่ถูกต้อง การเปลี่ยนแปลงข้อมูลที่อนุมัติแล้ว และการอ่านกลับเพื่อยืนยันผลสำเร็จ

ความสำเร็จของงานกว้างกว่าคุณภาพคำตอบ คำตอบที่สละสลวยแต่แยกวิเคราะห์ไม่ได้ อ้างหลักฐานที่เข้าถึงไม่ได้ หรือเรียกเครื่องมือที่ห้ามใช้ ถือว่าการดำเนินงานล้มเหลว ในทางกลับกัน ผลลัพธ์สั้น ๆ อาจนับว่าสำเร็จได้หากทำให้กระบวนการเสร็จอย่างน่าเชื่อถือ

เราสร้างชุดประเมินจากงานที่เป็นตัวแทนของการใช้งานจริง แต่ละกรณีมีข้อมูลนำเข้า หลักฐานที่อนุญาต การเปลี่ยนสถานะที่คาดหวัง เงื่อนไขที่ถือว่าล้มเหลวทันที และเกณฑ์ให้คะแนน ชุดประเมินควรครอบคลุม:

กรณีปกติที่เป็นงานส่วนใหญ่
กรณีขอบเขตที่ใกล้เกณฑ์นโยบายหรือคุณภาพ
ข้อมูลนำเข้าที่ขาดหาย ไม่เป็นปัจจุบัน ซ้ำ หรือขัดแย้งกัน
ความล้มเหลวของเครื่องมือและระบบที่ต้องพึ่งพา
ความพยายามแทรกคำสั่งในพรอมป์ต์หรือใช้เนื้อหาที่ไม่น่าเชื่อถือ
กรณีที่ต้องงดดำเนินการหรือส่งต่อ
ความแตกต่างด้านภาษาและรูปแบบข้อมูลเมื่อเกี่ยวข้อง

เราประเมินข้อจำกัดที่ต้องผ่านก่อนความชอบเชิงอัตวิสัย ความถูกต้องตามสคีมา การเลือกเครื่องมือที่ถูกต้อง การปฏิบัติตามสิทธิ์ หลักฐานรองรับการอ้างอิง และการงดดำเนินการเมื่อจำเป็น เป็นเกณฑ์ผ่านหรือไม่ผ่าน ส่วนความครบถ้วนของความหมาย ความชัดเจน และประโยชน์ใช้เกณฑ์ให้คะแนนได้ โมเดลที่เขียนได้สละสลวยกว่าไม่อาจชดเชยอัตราการทำงานสำเร็จที่ตรวจสอบยืนยันแล้วซึ่งต่ำกว่าได้

ทักษะเอเจนต์เฉพาะด้าน ช่วยให้การประเมินนี้สม่ำเสมอ เพราะขั้นตอนและการตรวจที่จำเป็นถูกจัดทำเป็นสิ่งที่อ้างอิงได้อย่างชัดเจน แทนการค้นหาขึ้นใหม่ในทุกบทสนทนา

ด่านที่สาม: โทเคน เวลาหน่วง และต้นทุน

เราจะเพิ่มประสิทธิภาพต่อเมื่อเส้นทางผ่านเกณฑ์ความสำเร็จและคุณภาพแล้ว หน่วยที่ควรใช้คือต้นทุนต่อหนึ่งงานที่ตรวจสอบยืนยันแล้ว ไม่ใช่ราคาต่อโทเคนนำเข้า

โมเดลที่ราคาถูกกว่าอาจมีต้นทุนสูงกว่าหากต้องลองใหม่ ตรวจทบทวน หรือแก้ไขในขั้นตอนถัดไป การตอบครั้งแรกอย่างรวดเร็วอาจยังมีเวลาหน่วงตลอดกระบวนการสูง หากระบบควบคุมเอเจนต์ต้องซ่อมผลลัพธ์ที่ไม่ถูกต้องซ้ำ ๆ หน้าต่างบริบทที่ใหญ่ขึ้นอาจส่งเสริมให้โหลดข้อมูลโดยไม่คัดเลือก ทำให้ต้นทุนและโอกาสเกิดข้อผิดพลาดเพิ่มขึ้น

เราวัด:

มิติ	ตัวชี้วัดระดับระบบควบคุมเอเจนต์
ความสำเร็จ	จำนวนงานที่ยืนยันว่าสำเร็จต่อจำนวนครั้งที่เข้าเกณฑ์ให้ดำเนินการ
คุณภาพ	อัตราการยอมรับในครั้งแรก ความรุนแรงของข้อบกพร่อง และอัตราข้อบกพร่องที่หลุดการตรวจ
โทเคน	โทเคนนำเข้า โทเคนนำเข้าจากแคช โทเคนผลลัพธ์ และโทเคนที่ใช้ลองใหม่ต่อหนึ่งงานที่ยืนยันว่าสำเร็จ
เวลาหน่วง	ค่ามัธยฐานและระยะเวลาในกลุ่มที่ใช้เวลานาน ตั้งแต่เริ่มงานจนถึงสถานะที่ตรวจสอบยืนยันแล้ว
ต้นทุน	การประมวลผลโมเดล การค้นคืนข้อมูล เครื่องมือ การตรวจทบทวน และการแก้งานต่อหนึ่งงานที่ยืนยันว่าสำเร็จ
ความเสถียร	ความแปรผันของผลการทำงานตามเวลา รูปแบบข้อมูล และประเภทความต้องการใช้งาน

ดัชนีที่ปรับให้อยู่บนฐานเดียวกันช่วยให้เปรียบเทียบภายในได้ชัดเจน โดยไม่สื่อว่ามีความแม่นยำเกินจริง กำหนดเส้นทางที่อนุมัติในปัจจุบันเป็น Baseline = 100 สำหรับต้นทุนที่ปรับตามคุณภาพและเวลาหน่วงตลอดกระบวนการ ทางเลือกจะมีประโยชน์ก็ต่อเมื่อดัชนีต้นทุนที่ต่ำลงไม่ได้ซ่อนอัตราสำเร็จของงานที่แย่ลง ภาระจัดการข้อยกเว้นที่สูงขึ้น หรือเวลาตรวจทบทวนที่เพิ่มขึ้น เราเก็บจำนวนจริงและนิยามไว้เพื่อการตรวจสอบ แม้รายงานภายนอกจะใช้ค่าที่ปรับฐานแล้ว

จากนั้นจึงเพิ่มประสิทธิภาพเฉพาะจุด การแคชพรอมป์ต์อาจลดการส่งบริบทนโยบายซ้ำ ข้อความที่ค้นคืนมาซึ่งสั้นลงอาจลดสิ่งรบกวน การอ่านข้อมูลด้วยเครื่องมือพร้อมกันอาจลดเวลาหน่วง โมเดลขนาดเล็กอาจจัดประเภทข้อมูล ส่วนเส้นทางที่มีความสามารถสูงกว่าจัดการการสังเคราะห์ข้อมูลที่กำกวม โค้ดที่ให้ผลแน่นอนอาจตัดการเรียกโมเดลออกได้ทั้งหมด

กำหนดเส้นทางตามงาน ไม่ใช่ผู้ใช้

การกำหนดเส้นทางตายตัวตามแผนกทำให้สิ้นเปลืองความสามารถและเงิน คนคนเดียวอาจขอสรุปข้อมูลสาธารณะ เปรียบเทียบข้อมูลลับ กระทบยอด และเขียนข้อมูลในระบบใช้งานจริง ซึ่งเป็นงานต่างประเภทที่มีข้อกำหนดการอนุญาต คุณภาพ และสิทธิ์ในการดำเนินการต่างกัน

เรากำหนดเส้นทางจากข้อมูลกำกับงาน:

task_type: extract | classify | synthesize | plan | act | verify
data_class: public | internal | confidential | restricted
residency: approved_regions
authority: read | recommend | dry_run | approved_write
evidence: source_ids and freshness requirements
output_contract: schema or rubric version
risk: consequence and reversibility
latency_budget: interactive | asynchronous | batch

ตัวกำหนดเส้นทางควรใช้กฎที่ให้ผลแน่นอนให้มากที่สุด ชั้นข้อมูล พื้นที่ข้อมูล และสิทธิ์ในการดำเนินการเป็นการตัดสินใจเชิงนโยบาย ไม่ควรขึ้นอยู่กับการให้โมเดลเดาว่าคำขอ “ดูอ่อนไหว” หรือไม่ ตัวจำแนกอาจช่วยรับงานได้ แต่เมื่อไม่แน่ใจต้องเลือกเส้นทางที่ปลอดภัยกว่าหรือขอคำชี้แจงเฉพาะจุด

จากนั้นจึงเลือกโมเดลภายในแขนงที่อนุญาต บันทึกเส้นทางพร้อมเวอร์ชันนโยบาย เวอร์ชันโมเดล เวอร์ชันพรอมป์ต์หรือทักษะ รหัสหลักฐานที่ค้นคืนมา การเรียกเครื่องมือ ผลการตรวจสอบ และสถานะสุดท้าย บันทึกนี้ช่วยให้วินิจฉัยความล้มเหลวและทำการเปรียบเทียบซ้ำได้

เหตุใดโมเดลในเครื่องต้องใช้ระบบควบคุมเอเจนต์ที่ต่างออกไป

มักมีการพูดถึงการประมวลผลโมเดลในเครื่องราวกับว่าเพียงย้ายพรอมป์ต์เดิมจากปลายทางที่ผู้ให้บริการโฮสต์มายังฮาร์ดแวร์ในเครื่องก็เพียงพอ แต่แทบไม่เป็นเช่นนั้น โมเดลในเครื่องอาจให้การควบคุมความเป็นส่วนตัวที่ดี ต้นทุนส่วนเพิ่มที่คาดการณ์ได้ การทำงานออฟไลน์ และเวลาหน่วงต่ำสำหรับงานที่มีขอบเขตชัดเจน แต่อาจด้อยกว่าโมเดลที่ผู้ให้บริการโฮสต์ซึ่งมีความสามารถสูงที่สุดในช่วงนั้น ในด้านการทำตามคำสั่ง การเลือกเครื่องมือ ความน่าเชื่อถือเมื่อใช้บริบทยาว หรือความสม่ำเสมอในการใช้หลายภาษา

แนวทางที่เหมาะสมคือปรับระบบควบคุมเอเจนต์ ไม่ใช่ซ่อนความแตกต่างเหล่านี้

แยกงานให้ละเอียดขึ้น

ให้โมเดลแปลงข้อมูลในงานที่มีขอบเขตชัดเจนครั้งละหนึ่งอย่าง แยกการเลือกเอกสาร การดึงข้อมูล การจัดประเภท การร่าง และการตรวจสอบ แต่ละขั้นควรมีข้อกำหนดข้อมูลนำเข้าและผลลัพธ์ที่แคบ การแยกงานลดจำนวนคำสั่งที่ต้องทำพร้อมกัน และสร้างจุดตรวจที่กลไกควบคุมซึ่งให้ผลแน่นอนสามารถหยุดข้อผิดพลาดไม่ให้ลามต่อได้

เส้นทางในเครื่องอาจเริ่มจากระบุส่วนที่เกี่ยวข้อง แล้วดึงข้อความกล่าวอ้างลงสคีมาหรือโครงสร้างข้อมูล จากนั้นจับคู่แต่ละข้อความกับช่วงข้อความต้นทาง และร่างคำตอบจากข้อความที่ผ่านการตรวจแล้วเท่านั้น วิธีนี้ต้องประสานหลายขั้นมากกว่าการใช้พรอมป์ต์ใหญ่เพียงครั้งเดียว แต่ประเมินและแก้ไขได้ง่ายกว่า

ค้นคืนข้อมูลให้น้อยแต่แม่นกว่า

การใส่ทั้งรีโพซิทอรีหรือชุดเอกสารลงในบริบทไม่ใช่การค้นคืนข้อมูล แต่เป็นการโยนปัญหาการคัดเลือกให้โมเดล เส้นทางในเครื่องได้ประโยชน์จากดัชนีที่มีโครงสร้าง ตัวกรองข้อมูลเมตา ข้อจำกัดด้านความเป็นปัจจุบัน และชุดหลักฐานสั้น ๆ การค้นคืนควรส่งคืนรหัสต้นทางและช่วงข้อความ เพื่อให้การตรวจในขั้นต่อไปยืนยันได้ว่าคำตอบมีหลักฐานรองรับ

รูปแบบที่ใช้ได้จริงในบทความการสร้างผู้ช่วย AI ในเครื่องที่ค้นคืนข้อมูลและค้นเว็บได้ แสดงให้เห็นว่าเหตุใดการประมวลผลในเครื่องจึงต้องอาศัยชั้นเครื่องมือและหลักฐานโดยรอบ ไม่ใช่เพียงความจำของโมเดล

ตรวจสอบด้วยกฎที่ให้ผลแน่นอน

ใช้สคีมา ตัวแยกวิเคราะห์ รายการที่อนุญาต ข้อจำกัดฐานข้อมูล การคำนวณ กลไกนโยบาย และการอ่านกลับเพื่อยืนยันผลเมื่อทำได้ โมเดลอาจเสนอการเปลี่ยนแปลง แต่โค้ดควรยืนยันว่ามีฟิลด์ที่จำเป็น รหัสอ้างอิงใช้ได้ ยอดรวมตรงกัน สิทธิ์อนุญาตให้ดำเนินการ และสถานะหลังดำเนินการตรงกับแผนที่อนุมัติ

สำหรับการตรวจความหมายที่ไม่อาจใช้กฎให้ผลแน่นอนได้ ให้ใช้เกณฑ์ประเมินและเส้นทางตรวจทบทวนที่เป็นอิสระ อย่าให้การเรียกโมเดลครั้งเดียวสร้าง ให้คะแนน และอนุมัติผลของตัวเอง หากใช้โมเดลเป็นผู้ประเมิน ต้องปรับเทียบกับการตัดสินของมนุษย์ และให้ผู้ประเมินนั้นอยู่นอกขอบเขตอำนาจอนุมัติขั้นสุดท้าย

การส่งต่อตามลำดับ เส้นทางสำรอง และการงดดำเนินการ

ตัวกำหนดเส้นทางที่มีประโยชน์ไม่จำเป็นต้องส่งงานทุกงานที่เข้าเกณฑ์ไปยังโมเดลที่มีความสามารถสูงที่สุด สามารถส่งต่อตามลำดับได้ โดยเริ่มจากเส้นทางที่มีต้นทุนต่ำที่สุดซึ่งผ่านเกณฑ์ยอมรับสำหรับงานประเภทนั้นแล้ว และส่งต่อเมื่อพบความล้มเหลวที่สังเกตได้

สัญญาณให้ส่งต่อควรชัดเจน เช่น สคีมายังไม่ถูกต้องหลังแก้ไข หลักฐานขาดหาย แหล่งข้อมูลขัดแย้งกัน ความเชื่อมั่นที่ปรับเทียบแล้วอยู่ในระดับต่ำ เครื่องมือไม่พร้อมใช้ ถึงขอบเขตนโยบาย หรือการตรวจสอบล้มเหลว จำนวนโทเคนเพียงอย่างเดียวไม่ใช่สัญญาณคุณภาพ เช่นเดียวกับคำกล่าวของโมเดลว่าไม่แน่ใจ เว้นแต่จะปรับเทียบคำกล่าวนั้นสำหรับงานประเภทนี้แล้ว

เส้นทางสำรองต้องรักษาความหมายให้สอดคล้องกัน หากเส้นทางหลักล้มเหลวเพราะไม่ผ่านข้อกำหนดพื้นที่ข้อมูล เส้นทางสำรองจะละเลยข้อกำหนดนั้นไม่ได้ หากเรียกเครื่องมือไม่ได้ เส้นทางที่ใช้แชตเพียงอย่างเดียวต้องไม่แสร้งว่าดำเนินการแล้ว หากชุดหลักฐานไม่เป็นปัจจุบัน โมเดลที่มีความสามารถสูงกว่าก็ไม่อาจทำให้หลักฐานนั้นเป็นปัจจุบันได้

การงดดำเนินการถือเป็นผลสำเร็จเมื่อข้อกำหนดงานระบุว่าต้องส่งต่อ เรารวม “การปฏิเสธหรือส่งต่ออย่างถูกต้อง” ไว้ในตัวชี้วัดความสำเร็จของงาน มิฉะนั้นแรงกดดันจากการกำหนดเส้นทางจะให้รางวัลแก่ระบบที่พยายามทำงานเกินหลักฐานหรือสิทธิ์ที่มี

สถานะ เวอร์ชัน และการทำซ้ำได้

โมเดลและปลายทางเปลี่ยนแปลงได้ แม้ชื่อโมเดลคงเดิม พฤติกรรมอาจเปลี่ยนเมื่อมีเวอร์ชันใหม่ การกำหนดค่าการให้บริการ พรอมป์ต์ระบบ ดัชนีค้นคืนข้อมูล นิยามเครื่องมือ หรือนโยบายเปลี่ยนไป ระบบควบคุมเอเจนต์ต้องกำหนดเวอร์ชันของข้อกำหนดการดำเนินงานทั้งหมด

อย่างน้อยเราบันทึก:

เวอร์ชันงานและนโยบาย
ผู้ให้บริการโมเดล ภูมิภาคของปลายทาง และเวอร์ชันโมเดล
เวอร์ชันพรอมป์ต์ ทักษะ และสคีมาเครื่องมือ
คำค้น รหัสต้นทาง และเวลาที่ใช้ระบุความเป็นปัจจุบันของข้อมูล
การตั้งค่าการสุ่มและเวลาหมดอายุคำขอ
เวอร์ชันตัวตรวจสอบและผลการตรวจ
เหตุการณ์การลองใหม่ การใช้เส้นทางสำรอง และการตรวจทบทวนโดยคน
การดำเนินการสุดท้ายและหลักฐานการอ่านกลับเพื่อยืนยันผล

การทำซ้ำในการดำเนินงานได้เกิดจากข้อมูลนำเข้า การกำหนดค่า การดำเนินการภายนอก และหลักฐานการตรวจสอบ ไม่ใช่การเก็บลำดับความคิดของโมเดลโดยไม่จำกัด ข้อมูลติดตามการทำงานที่อ่อนไหวต้องเป็นไปตามกฎการลดข้อมูลและการเก็บรักษาขององค์กร

วินัยด้านขั้นตอนที่อธิบายในบทความการปรับเอเจนต์เฉพาะโครงการ เกี่ยวข้องกับเรื่องนี้ พื้นที่ทำงานที่คงอยู่และขั้นตอนที่ใช้ซ้ำได้จะมีประโยชน์ก็ต่อเมื่อตรวจสอบการเปลี่ยนแปลง การทำงานพร้อมกัน และรูปแบบความล้มเหลวได้

กระบวนการคัดเลือกที่ใช้ได้จริง

เราใช้กระบวนการคัดเลือกเป็นขั้นตอน:

กำหนดประเภทงาน แยกการดึงข้อมูล การสังเคราะห์ การวางแผน การดำเนินการ และการตรวจสอบ อย่าเฉลี่ยรวมเป็นคะแนนเดียว
ใช้ด่านตรวจการอนุญาต ตัดเส้นทางที่ไม่ผ่านข้อกำหนดความเป็นส่วนตัว พื้นที่ข้อมูล สัญญา หรือสิทธิ์ในการดำเนินการ
สร้างชุดประเมิน ใช้กรณีตัวแทน กรณีขอบเขต กรณีโจมตี และกรณีที่ต้องส่งต่อ โดยตรึงชุดหลักฐานไว้
ทดสอบเส้นทางในระบบควบคุมเอเจนต์จริง รวมการค้นคืนข้อมูล เครื่องมือ การหมดเวลาคำขอ การลองใหม่ และตัวตรวจสอบ
ตรวจเงื่อนไขที่ถือว่าล้มเหลวทันที ปฏิเสธเส้นทางที่ละเมิดข้อกำหนดสคีมา หลักฐาน สิทธิ์ หรือการงดดำเนินการ
ให้คะแนนความสำเร็จและคุณภาพ ตรวจทั้งผลการทำงานเฉลี่ยและกลุ่มข้อบกพร่องที่รุนแรง
วัดประสิทธิภาพรวม เปรียบเทียบโทเคน เวลาหน่วง ต้นทุนประมวลผลโมเดล เวลาตรวจทบทวน การลองใหม่ และการแก้งานต่อหนึ่งงานที่ยืนยันว่าสำเร็จ
ทดลองแบบเฝ้าดูหรือจำลองการทำงาน สังเกตความแปรผันของความต้องการใช้งานจริง โดยไม่อนุญาตให้เขียนข้อมูลที่ยังไม่ผ่านการตรวจสอบ
อนุมัติตามประเภทงาน บันทึกเส้นทาง ขีดจำกัด เส้นทางสำรอง และวันหมดอายุของการตัดสินใจ
ประเมินใหม่อย่างต่อเนื่อง ทบทวนเมื่อโมเดลเปลี่ยน ผลการทำงานเบี่ยงเบน มีชั้นข้อมูลใหม่ เกิดข้อยกเว้นซ้ำ หรือราคาเปลี่ยนอย่างมีนัยสำคัญ

ผลลัพธ์คือนโยบายกำหนดเส้นทางที่มีเวอร์ชัน ไม่ใช่อันดับถาวร

กฎการตัดสินใจ

ลำดับการตัดสินใจเป็นหัวใจของการกำหนดเส้นทางโมเดลอย่างรับผิดชอบ ด่านความเป็นส่วนตัว พื้นที่ข้อมูล และสัญญากำหนดสิ่งที่อนุญาต ความสำเร็จของงานที่ตรวจสอบยืนยันแล้วและคุณภาพกำหนดสิ่งที่ทำได้ โทเคน เวลาหน่วง และต้นทุนรวมกำหนดสิ่งที่มีประสิทธิภาพในบรรดาเส้นทางที่เหลือ

การกลับลำดับนี้ทำให้เกิดความล้มเหลวที่คาดการณ์ได้ การเริ่มจากต้นทุนส่งงานอ่อนไหวไปยังปลายทางที่ไม่อนุญาต หรือส่งงานคุณภาพต่ำเข้าสู่วงจรตรวจทบทวนที่แพง การเริ่มจากโมเดลบิดกระบวนการให้เข้ากับผู้ให้บริการที่ชอบ การเริ่มจากคะแนนทดสอบมุ่งเพิ่มประสิทธิภาพสำหรับงานที่องค์กรอาจไม่ได้ทำจริง

เราออกแบบระบบควบคุมเอเจนต์ให้เปลี่ยนโมเดลได้โดยนโยบาย สถานะ และหลักฐานยังคงอยู่ โมเดลที่ผู้ให้บริการโฮสต์ โมเดลในเครื่อง และบริการที่ใช้กฎให้ผลแน่นอนต่างมีบทบาท ทางเลือกที่เหมาะสมคือระบบเล็กที่สุดที่อนุญาตให้ใช้ ทำงานตามที่กำหนด อยู่ในเกณฑ์คุณภาพ และพิสูจน์ผลได้