20 checklists for appraisal

 20 checklists for appraisal

การคิดว่าเอกสารงานวิจัยทางการแพทย์ดูน่าเชื่อถือหรือไม่ อันนี้เป็นหลักการง่าย ๆ แต่ใช้ได้จริง ผมไปเจอมาจากทวิตเตอร์ @Students4BE เจอสักพักแล้ว น่าสนใจและบันทึกเอาไว้ในสมุดมาสักพักแล้ว ไปเปิดอ่านอีกรอบจึงนำมาฝากกันครับ

เขาให้เราตอบคำถามทั้งหมดเหล่านี้ให้ได้ก่อน ก่อนที่จะตัดสินใจเชื่อว่างานศึกษาวิจัยนี้น่าเชื่อถือหรือไม่ และเน้นย้ำ 4 ข้อแรก คำตอบต้องเป็น "ใช่" เท่านั้น ถ้ามีคำตอบใดคำตอบหนึ่งว่าไม่ใช่ แสดงว่างานวิจัยนี้อาจไม่ตอบโจทย์ของเรา (ไม่ใช่ว่าไม่ดีหรือไม่น่าเชื่อนะ) ให้เราไปค้นหางานใหม่

ผมจะยก 20 ข้อที่เขาเขียนมาให้ และยกตัวอย่างให้เห็นภาพ ดังนั้นมันจะเว่อร์วังอลังการดาวล้านดวง  เพื่อให้เห็นภาพชัดเจนครับ

Introduction

1. คำถามวิจัย ตอบคำถามทางคลินิกของคุณหรือไม่

1. ข้อหนึ่งนี้สำคัญมากครับ ไม่ให้เราค้นสะเปะสะปะจนเกินไป และอย่าให้คำถามผิดแนวทางไป ไม่อย่างนั้นค้นหางานวิจัยแทบตายก็ไม่ตอบโจทย์ ตัวอย่างเช่น ต้องการหางานวิจัยเกี่ยวกับผลการควบคุมน้ำตาลของยา empagliflozin แต่ไปอ่านงานของ empagliflozin ที่มีวัตถุประสงค์ลดอัตราตายจากโรคหัวใจ ไม่ใช่ว่าไม่ดีนะครับ แต่ไม่ไม่ตอบโจทย์และสะเปะสะปะ

2. เป็นงานวิจัยใหม่หรือไม่ หากเป็นงานวิจัยที่เกิน 5 ปี ผลของงานวิจัยยังมีผลในปัจจุบัน หรือมีผลต่อการศึกษาวิจัยในปัจจุบันหรือไม่

1. ตรงนี้เรายึดหลักที่ว่า เมื่อเวลาผ่านไป ความรู้และเทคโนโลยีดีขึ้น หรือความรู้เดิมที่ได้รับการเคี่ยวกรำตกผลึกมานานพอ จะทำให้ได้ความรู้ที่แม่นยำมากขึ้น แต่ก็ไม่ได้ด้อยค่างานวิจัยเดิมนะครับ ถ้างานวิจัยเดิมยังมี legacy ถึงปัจจุบันก็ยังใช้ได้ดี ยกตัวอย่าง งานวิจัยการใช้ยา metformin ในการรักษาโรคเบาหวานและปกป้องหัวใจ แม้จะมียาใหม่มามากมายแต่ metformin ก็ยังคงอยู่ งานวิจัยเรื่องยา metformin จึงยังใช้ได้จนปัจจุบัน และงานวิจัยใหม่ ๆ ที่คุณภาพไม่ดีก็เยอะครับ แต่เพื่อเป็นหลักคิดไว้ก่อน ให้อ่านและพิจารณาเอางานที่ใหม่ที่สุดก่อน (ใช้ได้หรือไม่ก็ดูข้อถัด ๆ ไป)

3. ผ่านการ Peer Review หรือยัง

1. อันนี้ทันสมัยมาก งานวิจัยหลายอันเป็น pre-print หรือยังไม่เป็น Peer Review ยังไม่ผ่านด่านอรหันต์ของวารสาร ทั้งในเรื่องจริยธรรม หลักการ วิธีการ การคำนวณและการแปลผล ไม่ได้หมายความว่าผ่านผู้เชี่ยวชาญแล้วงานวิจัยนั้นจะเป๊ะ 100% การผ่านผู้เชี่ยวชาญ คือตัวกรองระดับหนึ่ง ว่าอย่างน้อยไม่ผิดหลักสากลเท่าไร ยิ่งวารสารชื่อดัง impact factor สูง ๆ เขาจะไม่ยอมเสียชื่อเรื่องนี้ 

4. นำเสนอ Hypothesis ที่ชัดเจนหรือไม่

1. คำถามงานวิจัยต้องชัดเจน และระบุไว้ในวารสาร อ่านแล้วต้องรู้ เรื่องราวในงานวิจัยต้องเป็นไปตามกัน ไม่ใช่หลักการอย่างหนึ่ง  คำถามอย่างหนึ่งและมีสมมติฐานอีกอย่างหนึ่ง ที่สำคัญความชัดเจนในคำถามวิจัย มันจะตอบโจทย์ข้อแรกของเราด้วย ว่าตรงกับที่เราต้องการไหม วิธีดูคำถามและสมมติฐานที่ง่าย คือดูจาก  primary outcome และ intervention ที่เขาเลือกใช้ หรือใครจะไปอ่านใน supplementary index ที่ระบุสมมติฐานและการทดสอบสมมติฐานที่ชัดเจน

Method

5.  Study design ตอบคำถามที่เราต้องการหรือไม่

1. เมื่อคำถามและสมมติฐานตรงตามที่เราต้องการและไปด้วยกันแล้ว ลองมาดูรูปแบบการศึกษา ในข้อนี้ต้องมีความเข้าใจเรื่องงานวิจัยสักเล็กน้อย เช่นต้องการอ่านงานที่เกี่ยวกับการรักษา คงต้องดูว่ารูปแบบเป็น controlled trials หรือไม่ ไม่ใช่ว่าเป็นรูปแบบอื่นไม่ได้นะครับ บางกรณีมันก็ทำไม่ได้ แต่ถ้าสามารถทำได้ รูปแบบ Controlled Trials น่าจะตอบคำถามเราได้ดีกว่า หรือการศึกษาผลข้างเคียงของวัคซีน ถ้าได้รูปแบบการศึกษาเป็น prospective cohort observation น่าจะตอบคำถามได้ดีกว่า controlled trials ที่ทำในระยะจำกัดและประชากรไม่มาก 

6. บอกทั้ง inclusion และ exclusion criteria หรือไม่

1. อันนี้สำคัญ เพราะจะบอกเราว่า งานวิจัยหรือการศึกษานี้ ทำในกลุ่มใด ใช้ได้จริงในกลุ่มใด เวลาที่เราจะเอาไปใช้ เอาไปอ้างอิง จะได้อ้างอิงตามกลุ่มที่นำเอามาในการศึกษา และเอาไว้ตรวจดูผลการศึกษาด้วยว่ามีการปนเปื้อนเอากลุ่มที่เราไม่ต้องการเข้ามามากหรือไม่ ผมยกตัวอย่างงานวิจัยเรื่องยาหลายชนิดที่ทำวิจัยในกลุ่มอายุ 18-80 ปี ว่าได้ผลอย่างไร ถ้าเราจะเอายานี้ไปใช้ในคนอายุ 85 ปี อาจจะต้องคิดใคร่ครวญให้ดี หรือยาหลายชนิดไม่นำผู้ป่วยไตเสื่อมเรื้อรังระยะ 5 มาเข้าศึกษา เกิดเราต้องทำวิจัยในคนไตวาย เราจะหยิบงานวิจัยนั้น ๆ มาอ้างอิงก็จะไม่น่าเชื่อถือครับ

7. มี bias และมีความพยายามลด bias หรือไม่

1. Bias ความโน้มเอียง เป็นเรื่องธรรมชาติของงานวิจัย ผู้วิจัยจะรู้ bias ของงานตัวเองดี หรือบางทีไม่รู้ พลาดไป ผู้อ่านก็จะต้องรู้ให้ทัน หากผู้วิจัยหรือผู้อ่านทราบและเห็น bias ในงานวิจัย ต้องมองดูว่าผู้วิจัยมีความพยายามจะลด bias นั้นหรือไม่ ผมยกตัวอย่าง ศึกษายาตัวหนึ่งว่าลดอัตราตายหรือไม่ แล้วไปเก็บกลุ่มตัวอย่างส่วนมากในค่ายทหารเกณฑ์ ที่แข็งแรงดี อายุน้อย อีกเล็กน้อยไปเก็บจากบ้านพักคนชรา ที่อยู่ในพื้นที่เดียวกัน แบบนี้จะโน้มเอียงว่ายาอาจจะลดอัตราตาย เพราะไม่มีใครตาย ถ้ามีแบบนี้จริง (ซึ่งคงไม่มี) ผู้วิจัยได้จัดการหรือไม่ เช่น เอาชื่อมาสุ่ม ใช้การเก็บเป็นบล็อกแล้วสุ่มจากบล็อกรายชื่อ ก็ถือว่า พยายามลด bias แล้ว (ไม่เกี่ยวกับว่า ลดแล้วจะปรับความน่าเชื่อถือเพิ่มขึ้นได้นะครับ)

8. กรรมวิธีในงานวิจัยสามารถลด bias และป้องกันการเกิด bias ได้หรือไม่ อย่างไร

1. อันนี้ต้องมีความรู้เรื่องงานวิจัยอีกเช่นกัน เพราะงานวิจัยมี bias ทั้งนั้น แม้ว่าเริ่มวิจัยจะพยายามลดแล้ว แต่ในกระบวนการเอง ก็ยังมี bias อีกมาก ผู้อ่านต้องคิดตามด้วยความรู้งานวิจัยว่า ขั้นตอนงานวิจัยมันจะลดหรือเพิ่ม bias อย่างไร ยกตัวอย่าง กระบวนการปกปิด เช่น กลุ่มผู้ทดลองไม่รู้ว่าได้ยาอะไร ผู้วิจัยหน้างานก็ไม่รู้ว่าเม็ดยานี้หรือซองยานี้คืออะไร คนวิจัยผลก็ไม่รู้ว่าทำการวิเคราะห์ผลของใคร ยาอะไร แบบนี้ขั้นตอนงานวิจัยจะลดความโน้มเอียงลงได้ แต่ถ้างานวิจัยที่คัดเลือกเอง ทำเอง คำนวณเอง อันนี้จะโน้มเอียงเยอะทีเดียว  แต่ไม่ได้หมายความว่า จัดการแล้วความโน้มเอียงจะหายไปหมดนะครับ เพียงแต่เราพยายามทำให้มันน้อยที่สุดเท่านั้นเอง

9. มีขั้นตอนในการลด confounding factors อย่างไร

1. Confounder คือปัจจัยที่จะมารบกวนผลการวิจัย มีทั้งปัจจัยที่เลี่ยงได้จากกระบวนการงานวิจัย และปัจจัยที่เลี่ยงไม่ได้ที่ต้องใช้กระบวนการทางสถิติเพื่อลด confounder อันนั้น ผู้เขียนอาจบอกเราในงานวิจัย หรือเราต้องดูเองว่ามีตัวแปรปรวนใด และตรวจสอบด้วยว่ามีการจัดการตัวแปรปรวนนั้นหรือไม่ ผมยกตัวอย่างเช่น การใช้ยาลดความดันชนิดหนึ่งว่าลดอัตราการเกิดโรคหัวใจไหม แต่ประเด็นคือ ไม่ใช่แค่ตัวยาที่อาจลดโรคหัวใจ แต่อาจเป็นระดับความดันที่ลดลงต่างหาก (ไม่เกี่ยวกับยา) ที่ลดอัตราการเกิดโรคหัวใจ  ก็จะต้องมีขั้นตอนและวิธีการที่จะลดตัวแปรปรวนอันนั้น เช่นมีการ adjusted ตัวแปรความดันที่แตกต่างกันด้วยกรรมวิธีทางสถิติ ให้เปรียบเทียบกันพอได้ ว่าถ้าระดับความดันพอ ๆ กัน ยาจะลดอัตราการเกิดโรคหัวใจหรือไม่ หรือมีการทำ pre-specified คือแยกคิดตัวแปรปรวนนั้น ๆ เลย ว่าส่งผลต่องานวิจัยหลักแค่ไหน ..เช่นเคย การจัดการตัวแปรปรวนเรียบร้อยนั้น ไม่ได้หมายความว่างานวิจัยนั้นจะดี บอกแค่ว่าตัดข้อผิดพลาดอันพึงกระทำไปแล้ว เท่านั้น

10. ผลการศึกษาสอดคล้องกับปัญหาทางคลินิกที่แท้จริงหรือไม่

1. อันนี้เป็นศิลปะแห่งการพิจารณาครับ ไม่มีถูกไม่มีผิด โดยปรกติตัวชี้วัดทางคลินิกเพื่อตอบปัญหาในชีวิตจริง จะเป็นสิ่งที่ 'จริง' เช่น ลดการตาย เพิ่มการหาย ลดการป่วย ผลแทรกซ้อนลดลง ถ้าคำถามงานวิจัยและผลการศึกษาเป็นการตอบคำถามเหล่านี้ ถือว่าดีมาก เพราะตรงเป้าตรงจุด เอาไปออกแบบจำนวนประชากรที่จะนำมาศึกษา คำนวณความเชื่อมั่น คำนวณความผิดพลาดได้ตรงจุด วิจัยออกมาก็ตอบคำถามเชิงประจักษ์ชัดเจน แต่ถ้าผลการศึกษาออกมาเป็น surrogate หรือ intermediate endpoint อาจจะไม่ได้ตอบโจทย์ทางคลินิก และเมื่อจะเอาไปใช้จะต้องผ่านกระบวนการเพิ่ม ที่อาจเกิดข้อผิดพลาดได้อีก จะยังไม่ใช่การตอบปัญหาที่แท้จริง  ยกเว้นว่าเป็นที่ยอมรับกันในวงกว้างว่า ผล surrogate อันนี้สามารถเป็นตัวแทนผลทางคลินิกได้ดี

Result

11. มีตารางแจกแจงข้อมูลพื้นฐานของผู้เข้าร่วมการศึกษาหรือไม่

1. การแสดงข้อมูลพื้นฐาน จะบอกให้เราทราบว่ากลุ่มผู้เข้ารับการศึกษาเป็นกลุ่มที่เราต้องการไปอธิบายคำถามของเราหรือไม่ และตรงกับที่ผู้วิจัยตั้งเป้าไว้หรือเปล่า และนำไปใช้วิจารณ์ผลการศึกษาได้ เช่น ยาตัวหนึ่งบอกว่าชะลอความเสื่อมของไตได้ดี แต่เมื่อไปดูตารางการแจกแจงข้อมูลพื้นฐาน พบว่าเป็นผู้ที่ไตเสื่อมเรื้อรังระยะสองถึง 95% แต่มีผู้ไตเสื่อมระยะสามและสี่เพียง 5% อย่างนี้เราก็จะกล่าวอ้างว่ายานี้ชะลอความเสื่อมของไตได้ในทุกคนทุกระยะไม่ได้ 

12. ความเหมือนและความแตกต่างระหว่างกลุ่มควบคุมและกลุ่มทดลอง

1. ข้อนี้สำคัญ เพราะการเปรียบเทียบการรักษาสองอย่างที่ไม่เหมือนกัน เราจำเป็นต้องสุ่มกลุ่มตัวอย่างและควบคุมให้ตัวแปรควบคุมอื่นเหมือน ๆ กัน จึงสามารถเปรียบเทียบกันได้ การสุ่มที่ดีจะทำให้สองกลุ่มนี้มีการกระจายและเหมือนกัน เราจะใช้การมองคร่าว ๆ ว่าเหมือนกัน พอกัน ไม่จำเป็นต้องทำการทดสอบทางสถิติว่าเหมือนหรือต่างกัน เช่นเราจะศึกษายาใหม่ที่ใช้ในโรคมะเร็ง ปรากฏว่าเมื่อสุ่มแล้ว กลุ่มที่ได้ยาใหม่ เป็นมะเร็งระยะสุดท้ายถึง 60% แต่ในกลุ่มควบคุมมีคนที่เป็นมะเร็งระยะสุดท้ายแค่ 10% ดังนั้นผลที่ออกมาจะเอียงไปทางว่ายาใหม่จะไม่ลดอัตราตายหรือการหายของมะเร็ง เพราะเริ่มต้นการทดลองด้วยกลุ่มที่ไม่เหมือนกัน และถ้ามีความไม่เหมือนกันนี้ มีกระบวนการทางสถิติเพื่อเกลื่อนความแตกต่างกันนี้หรือไม่ เช่นการทำ subgroup analysis หรือมีการทำ post hoc analysis หรือไม่

13. กลุ่มตัวอย่างที่นำมาศึกษาสามารถมาประยุกต์ใช้กับคนไข้ของเราได้จริงหรือไม่

1. ข้อนี้ต้องพิจารณาก่อนการใช้ผลวิจัยไปใช้กับผู้ป่วยของเราเสียอีก คือ กลุ่มคนที่เข้าศึกษามันใช้กับกลุ่มคนไข้เรา หรือคนในประเทศเราได้ไหม ซึ่งความเป็นจริงไม่จำเป็นต้องเหมือนกันทุกประการ เพราะไม่อย่างนั้น เราจะไม่สามารถนำผลวิจัยมาใช้กับคนอื่นที่ไม่เหมือนกลุ่มตัวอย่างได้เลย ยกตัวอย่างเช่น งานวิจัยเรื่องการใช้ยากันเลือดแข็งตัวใหม่ในการป้องกันอัมพาต พบว่าการศึกษาทั้งหมดทำในประเทศอเมริกาและยุโรป เรียกว่ามี western population ถึง 95% ครั้นเราจะใช้ชุดความจริงว่าเราเป็นชาวเอเชีย จะเอามาใช้ไม่ได้ เพราะไม่ได้ศึกษาในคนไทย แบบนี้จะลำบาก แต่หากลักษณะทั่วไปเข้ากันได้ ก็น่าจะมาใช้ได้แล้ว อาจจะต้องทำการศึกษาเพื่อตรวจสอบความเหมือนกันระหว่างคนตะวันตกกับคนไทยเพิ่มเติม ว่าผลการศึกษาไปในทางเดียวกัน (ไม่อย่างนั้นเราจะแทบเอางานวิจัยหรือแนวทางมาใช้ได้เลย เพราะการศึกษาเกือบ 80% มาจากกลุ่มประเทศทางตะวันตกทั้งสิ้น) และในทางตรงกันข้าม การพิจารณาว่ากลุ่มศึกษาวิจัยเป็นแบบใด และเอามาใช้กับคนไข้เราไม่ได้ ผมยกตัวอย่างที่เห็นชัดและยกมาหลายรอบแล้วคือ การศึกษาเรื่องการใช้ยาลดน้ำหนัก ในงานวิจัยเขานำคนที่อ้วนมาก และผ่านการอบรมอาหาร เคี่ยวกรำเรื่องอาหารและออกกำลังกายมาอย่างเข้มงวดมาแล้วสองปี แล้วยังน้ำหนักมาก มาให้ยาลดน้ำหนักเทียบกับยาหลอก ว่าใช้ได้หรือไม่ เรายังไม่ต้องสนใจว่าผลเป็นอย่างไรหรอกครับ แต่ถ้าคนไข้ของเราน้ำหนักไม่มาก แค่ท้วม ๆ อิ่ม ๆ ไม่เคยควบคุมอาหารและออกกำลังกายเลย ตั้งหน้าตั้งตาจะใช้ยาอย่างเดียว แบบนี้เรียกว่ากลุ่มที่ใช้ทำการศึกษามาประยุกต์ใช้กับคนไข้ของเราไม่ได้ครับ

14. การทดสอบทางสถิติ ตรงกับรูปแบบที่ดีไซน์มาหรือไม่ และเข้ากับคำถามวิจัยหรือไม่

1. อันนี้เลี่ยงไม่ได้ที่จะต้องใช้ความรู้พื้นฐานทางสถิติวิจัย ไม่จำเป็นต้องรู้ลึกซึ้ง (รู้ได้ก็ดีมาก) แต่ต้องเข้าใจในหลักการ เช่น การจะเปรียบเทียบตัวแปรแจงนับ ตัวแปรต่อเนื่อง จะใช้วิธีการทดสอบทางสถิติอย่างไร หรือการเปรียบเทียบเหตุการณ์ผลลัพธ์ที่ลดลง จะใช้อะไร จะใช้ risk reduction หรือ odd ratio การคำนวณความแตกต่างนี้ ยอมรับความผิดพลาดได้เท่าไร เป็น แอลฟ่าและเบต้า ขนาดเท่าไร การคิดผลเฉลี่ยตลอดการทดลองมีการ regression หรือไม่ แบบใด  อันนี้หลายคนคงตกใจ แน่นอนถ้าลงตีพิมพ์ในวารสารทีมีชื่อ มี impact factor สูง เขาจะบังคับเรื่องนี้ ตั้งแต่การชี้แจง การคำนวณ ต้องแสดงผลการคำนวณ (หาดูได้จาก supplementary index) และมีการตรวจสอบการคำนวณ ถ้าเราไม่เชี่ยวชาญก็ค่อย ๆ ศึกษาได้ครับ แต่ถ้าติดใจสงสัยและไม่สันทัด แนะนำให้รอความเห็นจากผู้อ่าน บทบรรณาธิการ จะช่วยเราได้ระดับหนึ่ง 

15. ลงผลการวิจัยหลักที่ชัดเจนหรือไม่

1. ความชัดเจนนี้คือ ต้องแยกส่วนนี้มาเขียนให้ละเอียดเลยครับ ว่าผลการวิจัยหลักเป็นอย่างไร สถิติที่ทดสอบนั้น รายละเอียดตัวเลขเป็นอย่างไร ตัวเลขดิบ (crude  results) เป้นอย่างไรและเมื่อปรับแต่งแล้ว เป็นอย่างไร ในกรณีที่ผลการวิจัยหลักเป็นผลหลักแบบประกอบกัน (composite end point) ต้องแยกแยะ แจกแจงทุกตัวแปรที่เป็นตัวประกอบให้ชัดเจน  และหากมีการทำ pre-specified ตัวแปรปรวนที่เกี่ยวข้อง ก็ต้องแสดงผลให้ชัดด้วย มีคำบรรยายประกอบเสมอ ว่าได้แบบนี้เพราะอะไร ไม่ได้อย่างที่คาดเพราะอะไร บางการศึกษายุติก่อนกำหนดก็ต้องบอกว่าทำไม  ส่วนกราฟและตารางเป็นเพียงส่วนอุปกรณ์ (แม้เราจะดูเป็นส่วนแรกก็ตาม ฮ่าๆๆ) ส่วนงานวิจัยรอง เอาไว้อ่านประกอบเท่านั้นนะครับ เอาไว้เป็นความรู้ เพราะดีไซน์การศึกษา การคิดคำนวณทางสถิติ มันออกแบบมาเพื่อตอบคำถามวิจัยในวัตถุประสงค์หลักเพียงคำถามเดียวเท่านั้น

16. ผลที่ได้มีนัยสำคัญทางสถิติหรือไม่ และความแตกต่างที่แท้จริงของทั้งสองกลุ่มเป็นอย่างไร

1. หัวข้อนี้ต้องแยกพิจารณาเสมอนะครับ อย่างแรกคือการทดสอบทางสถิติจะต้องได้นัยสำคัญทางสถิติเสียก่อน การทดสอบทางสถิติจะแปลผลง่าย เพราะผู้วิจัยกำหนดเอาไว้แล้ว และตายตัวเพราะเป็นการคำนวณทางคณิตศาสตร์ หากทุกอย่างเป็นไปตามขั้นตอนดังที่กล่าวมา ผลออกมาเป็นอย่างไร จะมีนัยสำคัญหรือไม่ก็ต้องว่ากันตามนั้น ไปบิดไปพลิ้วไม่ได้ สำหรับคนที่เพิ่งเริ่มศึกษาอาจจะดูว่า p (probability) ว่าน้อยกว่าที่กำหนดหรือไม่ แต่ถ้าศึกษามากขึ้นก็ต้องมาดู ช่วงความเชื่อมั่นเพิ่มเติมด้วย งานวิจัยที่ไม่มีนัยสำคัญทางสถิติ ก็มีคุณค่าให้เราได้ศึกษาแนวคิดและวิธีการวิจัย รวมทั้งหาข้อสังเกตว่าทำไมจึงไม่มีนัยสำคัญ สำหรับการศึกษาครั้งต่อไป  และหากผลการศึกษามีนัยสำคัญทางสถิติแล้ว เราก็จะมาคิดถึงความแตกต่างที่แท้จริง และความสำคัญทางคลินิก อันนี้ต้องใช้หลายศาสตร์มาเป็นศิลปะการแปลผล ซึ่งยากกว่า มีข้อคิดเห็นมากกว่าการทดสอบทางสถิติที่เป็นเพียงการคำนวณทางคณิตศาสตร์ ตัวอย่างที่เห็นชัดและยกตัวอย่างกันบ่อยคือ relative risk reduction และ absolute risk reduction มาดูตัวอย่างกัน เช่น การใช้ยา A เทียบกับยาหลอก ว่าลดอัตราการตายในโรคนี้หรือไม่ ผลการศึกษาออกมาว่า ยา A อัตราตาย 10% ยาหลอกมีอัตราตาย 20% ถ้าคำนวณอัตราตายที่ยา A สามารถลดลงได้มากกว่ายาหลอกคือ 50% (relative risk reduction ยา A เทียบกับยาหลอก) แต่ถ้ามาคิดจริง ๆ ผลต่างของอัตราตายระหว่างยา A และยาหลอกคือ 10% เท่านั้น (absolute risk reduction) แต่มันก็มีความสำคัญทั้งสองค่านะครับ เพราะใช้ต่างเหตุผลกัน

17. มีการทำ data fishing หรือไม่ คือใช้วิธีทางเพื่อเบี่ยงเบนผลการศึกษาที่ไม่มีนัยสำคัญหรือไม่

1. อันนี้ส่วนตัวผมมองว่าเกิดยาก และหากมีผู้วิจัยคนไหนทำนอกจากผิดจริยธรรม อาจโดนแบนหรือเรียกคืนงานวิจัย ยังจะส่งผลต่อความน่าเชื่อถือในสายตาผู้อ่านหรือไม่ เท่าที่ผมอ่านมา ในวารสารที่น่าเชื่อถือ ผมไม่เคยพบแบบที่คาหนังคาเขาเลยครับ ได้แต่ตั้งข้อสงสัยในใจ เพราะตัวเองก็ไม่ใช่นักสถิติที่ชำนาญ หรือบางครั้งจะมีข่าวออกมาบ้างจากวารสารชื่อดัง จากวารสารที่มี impact factor ไม่สูง มีคนอ้างอิงน้อย การปรับข้อมูลและวิธีการทางสถิติ ยกตัวอย่างเช่น การเปลี่ยนวิธีการทดสอบทางสถิติ เพื่อให้ผลการศึกษาออกมามีนัยสำคัญ อันนี้มักจะเกิดเมื่อเก็บข้อมูลไประยะหนึ่ง ผู้วิจัยมองเห็นแนวโน้มของผลวิจัยว่าจะไม่มีนัยสำคัญ หากยังใช้วิธีเดิม ก็จะเปลี่ยนวิธีการทดสอบให้ออกมาเป็นอย่างที่ต้องการ หรือจับข้อมูลมาเปลี่ยนวัตถุประสงค์งานวิจัยเสียอย่างนั้น  วิธีหนึ่งที่จะช่วยดูได้คือ ในงานวิจัยทางคลินิก จะมีการคาดเดาผลที่จะเกิดอย่างคร่าว ๆ แต่หากผลการศึกษาออกมามีนัยสำคัญอย่าง 'dramatic' ไม่สมเหตุผลหรือโอเว่อร์อย่างไม่คาดคิด อันนี้ต้องมาค้นหาว่าเกิด data fishing (หรือ data dredging) หรือไม่  หรือมีข้อมูลกลุ่มย่อยในกลุ่มการศึกษาที่ออกมามีนัยสำคัญ ทั้ง ๆ ที่ไม่รู้ว่าจะมีกลุ่มย่อยนี้ไปทำไม หรือไม่เคยบอกกล่าวกันมาก่อนว่าจะจัดกลุ่มย่อยแบบนี้  หรือโยงเหตุผลที่ไม่ได้กำหนดไว้ก่อนตอนเริ่มวิจัย เห็นว่าผลการวิจัยมันไปด้วยกันได้ สองอันนี้น่าจะสัมพันธ์กัน แล้วพอมาทำการทดสอบทางสถิติ เฮ้ยมันมีนัยสำคัญทางสถิติ แต่ความจริงแล้ว มันไม่อยู่ในการคิดมาตั้งแต่ต้น แบบนี้ก็เป็น data fishing เช่นกัน 

Discussion 

18. ผู้วิจัยมีความพยายามโน้มน้าวผลการวิจัยที่ไม่มีนัยสำคัญทางสถิติ ให้ดูมีความสำคัญหรือไม่

1. ดูจะเหมือนกับข้อ 17 แต่จริง ๆ ไม่เหมือนกัน ข้อ 17 คือพยายาม 'make' ข้อมูลให้เห็นตัวเลขและความสัมพันธ์ว่ามีนัยสำคัญ แต่ในข้อ 18 คือเอาข้อมูลจริงและซื่อตรงจากการวิจัยนี่แหละ ที่มันไม่มีนัยสำคัญ แต่เอามาสรุปแบบชี้นำ โน้มน้าว ว่ามันเป็นสิ่งสำคัญ อย่าลืมการแปลผลในข้อ 16 ว่าสถิติมันออกมาอย่างไร มีนัยสำคัญหรือไม่ ก็แปลผลตามนั้น แต่หากไม่มีนัยสำคัญแต่พยายามแถ (ต่างจากข้อ 19 ที่จะกล่าวต่อไปนะครับ) และพยายามสรุปว่ามันสำคัญ มันมีแนวโน้มจะสำคัญ อันนี้อาจต้องเตรียมใจไว้เวลาจะเอาไปใช้ ว่า discussion อาจใส่ความรู้สึกของผู้เขียนมากไป มากเกินข้อเท็จจริง หรือมีประโยชน์แอบแฝงหรือไม่

19. ยอมรับข้อจำกัดของการวิจัยและข้อมูลที่เกิดขึ้นจริงหรือไม่

1. ในงานวิจัยทางคลินิก จะต้องมีการสรุปงานของตัวเอง ว่ามีข้อเด่นอย่างไร เช่น เป็น RCT อันแรก หรืองานวิจัยเรากลุ่มทดลองเยอะมาก หรือเราคิดตามอย่างเป็นระบบที่นานมากพอ และเรามีข้อจำกัดอย่างไร  ซึ่งก็จะเป็นข้อจำกัดจากขั้นตอนการทดลอง เช่น รูปแบบงานวิจัยของเรามี bias แบบนี้นะ แบบนั้นนะ ที่ถึงพยายามแก้ไขแล้วก็ยังมี หรือ งานวิจัยของเราต้องยุติก่อนกำหนด เพราะเหตุผลนี้นะ มันคือการยอมรับข้อจำกัด และอธิบายข้อจำกัด ข้อผิดพลาด (ส่วนข้อ 18 คือ ผลออกมาแบบนี้ ยังจะแถอีก) การยอมรับข้อดีข้อเสียนี้ถ้าจะให้เจ๋ง เวลาเราอ่านถึงผลการทดลอง ให้เราคิดไว้เลยว่าข้อดีข้อเสียของงานวิจัยนี้คืออะไรบ้าง แล้วมาอ่านบทวิเคราะห์ของผู้อ่านว่า เขียนตรง เขียนครบ อธิบายสมเหตุสมผลไหม  ก็จะทำให้เรามั่นใจในงานวิจัยนั้น ๆ มากขึ้นว่าตรงไปตรงมา ซื่อสัตย์ นอกจากบอกข้อดีข้อเสียของงานวิจัยตัวเอง ก็จะบอกความเหมือนความต่างของงานวิจัยตัวเอง เทียบกับงานวิจัยอื่น ๆ ว่าที่ไม่เหมือนเขาเพราะอะไร เช่น งานวิจัยที่เคยทำมาผลเป็นแบบนี้ แต่งานวิจัยของเราผลเป็นอีกแบบ เพราะกลุ่มศึกษาของเรา เป็นกลุ่มเสี่ยงสูงกว่า หรือผ่านการรักษามาอย่างยาวนาน ต่างจากงานวิจัยที่เคยทำมาซึ่งเสี่ยงต่ำและเพิ่งวินิจฉัยโรค แบบนี้เป็นต้น

20. แจ้งผลประโยชน์ทับซ้อนหรือไม่ 

1. สำหรับงานวิจัยและการหาความรู้ในปัจจุบัน ที่ต้องอาศัยสหสาขาและ collaborates มากมายเพื่อจะได้งานวิจัย จึงเป็นเรื่องที่เลี่ยงยากที่จะไม่มีใครสักคนในทีมวิจัย ไม่มีผลประโยชน์ทับซ้อนในทางตรงและทางอ้อม ที่จะได้รับจากผลวิจัยที่เกิด หรืองานวิจัยอาจได้รับทุนวิจัยโดยตรงจากบริษัทที่เป็นเจ้าของผลิตภัณฑ์หรือยาในงานวิจัย ปัจจุบันถือว่าไม่ผิด เพราะเรามีวิธีตัดสินจาก 19 ข้อที่ผ่านมา ว่างานวิจัยหรือการศึกษานั้นสมเหตุสมผล น่าเชื่อถือหรือไม่เพียงใด แต่ที่ต้องมีข้อ 20 คือ ถ้ามีผลประโยชน์ทับซ้อนให้แจ้งด้วย ว่าใครมี คนคนนั้นมีอย่างไร ยุ่งเกี่ยวกับขั้นตอนใดในงานวิจัย ต้องบอกให้ชัด บอกให้ชัดไม่ผิด แต่ไม่บอกจะผิดมาก ถ้ามีการรื้อฟื้นแล้วพบว่าปกปิด หมกเม็ด อยากบอกว่า 19 ข้อที่ดี ๆ ที่ผ่านมา กลายเป็นศูนย์เลยนะครับ  งานวิจัยดีแค่ไหนก็ retract ,reject ไม่ต้องหวังจะมารียูส รีไซเคิล แถมเสียชื่อไปทั้งแผง ทั้งผู้วิจัยเองและผู้ที่ให้การสนับสนุน งานวิจัยที่นำมาใข้เป็นฐานการทำแนวทางการรักษาโรคในปัจจุบัน เกือบ70% ก็มาจากบริษัทที่เกี่ยวข้อง หรือมีส่วนเกี่ยวข้องกับบริษัททั้งนั้น ไม่ว่าจะทำเองทั้งหมด บางทีมีส่วนร่วมในการหายาจริงยาหลอก แต่ไม่มีส่วนในการคำนวณวิจัย ก็ว่ากันไป หรือผู้วิจัยเคยเป็นที่ปรึกษาให้บริษัทยาที่มีในงานวิจัย ก็บอกกันไปครับ ถามว่าแล้วเราเชื่อข้อมูลอันมีประโยชน์ทับซ้อนนี่ได้หรือ บอกว่าได้ครับ ใช้ 19 ข้อที่เขียนมาบวกกับความซื่อสัตย์ในข้อ 20 โอเคเลย  แต่ถ้าขาดซึ่งข้อ 20 อันนี้ผลแรกมากครับ ขาดข้อใดข้อหนึ่งใน 19 ข้อแรกยังมีการปรับปรุง มีการเอาไปใช้ได้ แต่หากข้อ 20 มันเรื่องแดงขึ้นมา  จบข่าวเลย