Evidence Centered Design

Evidence Centered Assessment Design…

หลายท่านที่เคยมีประสบการณ์ต้องสอบเอาคะแนนภาษาอังกฤษ ไปใช้เรียนต่อหรือสมัครงานคงจะคุ้นเคยกับการสอบ TOEFL กันดี โดยเฉพาะการสอบ TOEFL iBT หรือการสอบผ่านอินเตอร์เน็ต หรือสอบออนไลน์ที่ TOEFL ใช้มาตั้งแต่ต้นปี 2000 ซึ่งได้รับการยอมรับอย่างสูงว่าผลการสอบ สามารถวัดระดับความรู้ภาษาอังกฤษได้แม่นยำไม่ต่างจากการสอบ ณ ศูนย์สอบแบบ Paper Based Test ที่เคยใช้มาก่อนหน้านี้

ประเด็นก็คือ… สถาบันประเมินทักษะความรู้ภาษาอังกฤษที่ได้รับการยอมรับทั่วโลกอย่าง TOEFL ระบุว่า… พวกเขาใช้หลักการออกข้อสอบที่เรียกว่า Principle of Evidence Centered Design ในการสร้างข้อสอบ… ซึ่งหลักการนี้ใช้เทคนิคกำหนดเป้าหมายทักษะหรือความรู้ที่ต้องการวัดให้ชัดเจน แล้วหาวิธีพิสูจน์และยืนยันให้เป็นที่ประจักษ์ว่าผู้สอบมีทักษะและความรู้ในกรอบเป้าหมายที่ต้องการประเมิน

หลักการง่ายๆ แค่นี้แหละครับ… แต่!

TOEFL เริ่มพัฒนากรอบการออกแบบข้อสอบตามหลักนี้ในปี 2005 เพื่อใช้กับ TOELE iBT โดยเฉพาะ โดยมี State-of-The-Art Research หรือใช้งานวิจัยที่ก้าวหน้าถึง 4 แนวทางเป็นฐานในการสกัดเอาเป้าประสงค์ที่ต้องการวัดออกมาก่อนการสร้างข้อสอบ ได้แก่

  1. The nature of academic language ability. หรือคุณลักษณะความสามารถทางภาษาเชิงวิชาการ
  2. Innovative academic test tasks. หรือนวัตกรรมการทดสอบเชิงวิชาการ
  3. Advanced measurement theories and models. หรือทฤษฎีและแบบจำลองการวัดขั้นสูง
  4. The test’s potential impact on English language learning and teaching. หรือ การทดสอบหาผลสะท้อนต่อการเรียนการสอนด้วยภาษาอังกฤษ

หลักการและขอบเขตคร่าวๆ ของการออกข้อสอบวัดระดับของ TOEFL ก็มีเผยแพร่อยู่ประมาณนี้ครับ… ซึ่งก็ดูเหมือนจะไม่มีอะไรซับซ้อน แต่ความแม่นยำและเชื่อถือได้จนได้รับการยอมรับทั่วโลก ทั้งฝั่งเอกชนและฝั่งวิชาการของผลสอบ TOEFL ทำให้ผมคิดว่า… แนวทางการออกข้อสอบของ TOEFL ควรที่นักการศึกษาและครูอาจารย์บ้านเราจะเรียนรู้และเอาอย่าง เพื่อสร้างมาตรฐานที่เชื่อมั่นได้แบบนี้ให้เกิดกับแวดวงการศึกษา ที่หลายฝ่ายคุ้นชินอยู่แต่กับรูปแบบการศึกษาที่มุ่งจัดการคน มากกว่าจัดการความรู้ ที่สะท้อนผ่านการจัดการชั้นเรียนเหมือนการฝึกทหาร ที่เหมาะสมกับบริบทหนึ่ง ในขณะที่ความหลากหลายของบริบทในมิติอื่นถูกละเลยจนระบบการศึกษาของชาติอ่อนแออย่างที่ทราบๆ กัน

บริบทไหนบ้าง… มิติไหนบ้าง หลายท่านคงนึกออก และผมขอข้ามที่จะวิพากษ์ลงลึกให้เคืองกันเยอะกว่านี้

กลับมาดูเรื่อง Evidence Centered Design กันต่อครับ!

รายงานการวิจัยเรื่อง A Brief Introduction to Evidence-centered Design จาก Princeton University โดย Dr.Robert J. Mislevy ผู้เชี่ยวชาญการวัดผลการศึกษาและสถิติจาก University of Maryland ร่วมกับ Dr.Russell G. Almond และ Dr. Janice F. Lukas จาก Educational Testing Service, Princeton University… ซึ่งบทคัดย่อของงานชิ้นนี้ชี้ว่า

การออกแบบการประเมินแบบยึดหลักฐานเชิงประจักษ์เป็นศูนย์กลาง หรือ Evidence-Centered Assessment Design หรือ ECD เป็นวิธีการสำคัญในการสร้างระบบการศึกษา ด้วยการใช้ Conceptual Assessment Framework หรือ CAF ร่วมกับ Four-Process Delivery Architecture for Assessment Delivery Systems หรือระบบนำส่งผลการประเมินด้วยสถาปัตยกรรมระบบ 4 ขั้นตอน… ซึ่งขบวนการส่งมอบผลการประเมินหรือผลสอบ จะมีวงจรข้อมูลหรือ Loop ของการประมวลผลและวิเคราะห์ร่วมด้วย ซึ่งจะสามารถระบุคุณลักษณะของทักษะ ความรู้ ความสามารถและบทบาทที่สืบเนื่องของทักษะและความรู้ที่มีและพิสูจน์ได้ โดยผู้มีส่วนเกี่ยวข้องทั้งหมด ยังเป็นกลไกหลักในสถาปัตยกรรมการประเมินและส่งต่อในระบบด้วย… ซึ่งนักวิจัยยืนยันว่า ทั้งหมดไม่ใช่ของใหม่ แต่เป็นการต่อยอดการวัดผลแบบดั้งเดิมด้วยหลัก Psychometric Models หรือโมเดลการประเมินด้วยมาตรวัดเชิงจิตวิทยา และ Latent Class Models หรือโมเดลถอดค่าแฝงจากผลการทดสอบ โดยอิงกฏ Probability-Based Reasoning หรือ หลักเหตุปัจจัยแห่งความน่าจะเป็น… ในอนาคตอันใกล้นี้ เราคงได้เห็นการพัฒนาไปใช้ AI หรือ Artificial Intelligence ใน Four-Process Delivery Architecture for Assessment Delivery Systems โดยเฉพาะกลไกทั้ง 4 ของระบบ

Four-Process Delivery Architecture

สิ่งที่ผมอยากเรียนไว้ตรงนี้ก็คือ Four-process Delivery Architecture for Assessment Delivery Systems ต้องเรียนไว้ตรงไปตรงมาว่า ผมรู้ไม่มาก และเคยพยายามใช้กับงานวิจัยแบบบูรณาการร่วมกับทฤษฎีอื่น ซึ่งเป็นโมเดลเชิงคณิตศาสตร์และสถิติในรูป Algorithm ที่ไม่ได้สนใจจะอ้างอิงและจริงจังกับ Four-process Delivery นัก จึงอ้างได้ไม่เต็มปากว่ามีประสบการณ์… และการสืบค้นช่วงสั้นๆ ก่อนการเขียนบทความตอนนี้… ผมเจอข้อมูลการประยุกต์ใช้ในแต่ละกรณีไม่เหมือนกันเลย… จึงขออนุญาตติดค้างประเด็นนี้ไว้เท่านี้ก่อน… หรือท่านใดมีเอกสารหรือกรณีศึกษาจะแบ่งปันก็ยินดีมากครับ… ท่านฝากผ่าน Line @reder มาจะขอบพระคุณอย่างสูง… ส่วนที่ผมปันตอนนี้คือลิงค์งานวิจัยที่อ้างถึง อยู่ใต้อ้างอิงครับสำหรับท่านที่สนใจ… ซึ่งข้อมูลที่นำเสนอไปตอนต้นก็เป็นเพียงข้อมูลบางส่วนจากรายงานการวิจัยบวกกับพื้นความเข้าใจส่วนตัวของผมเท่านั้น

ประเด็นในวันนี้จึงเรียนไว้แบบนี้ครับว่า… การสร้างแบบประเมินมาตรฐานเดียวกับ TOEFL สำหรับใช้เป็นแกนหลักในการประเมินความรู้ของคนที่ได้รับการยอมรับ… น่าจะเป็นมิติที่ดีที่สุดในการปฏิรูปการศึกษา ที่จะพาพวกเราออกจาก รูปแบบการศึกษาแบบดั้งเดิมที่หลายท่านบอกว่า “เกรียนกันมาตั้งแต่นโยบาย” ที่โฟกัสความรู้และประสบการณ์ได้ไม่มากเท่าที่ควร เพราะหลงประเด็นตั้งแต่นิยามเกี่ยวกับคนมีความรู้ คนมีคุณภาพ คนมีวินัย และคนที่เป็นคนในมุมมองนโยบายการศึกษา

เชื่อเถอะครับว่า… ถ้าผลการประเมินทักษะและความรู้ไม่ได้รับการยอมรับแบบ TOEFL… วังวนการศึกษาที่อยากปฏิรูปก็ได้แต่พูดพล่ามกันไปวันๆ เท่านั้น!

ผมเชื่อแบบนั้นจริงๆ!!!

อ้างอิง

https://www.ets.org/toefl/research/topics/design
https://www.ets.org/Media/Research/pdf/RR-03-16.pdf

Facebook
Twitter
LinkedIn
Pinterest
Tumblr

Leave a Reply

Your email address will not be published. Required fields are marked *

Recent Posts