問題を5問削除なんて、、、、、 [救急専門医試験]
今年の救急科専門医の試験問題が公開されたと言う記事を書きました。公開版（学会誌に掲載されている問題）の最後には以下のようにあります。
「筆記試験は全100問で行われました。試験結果を検討した結果、正答率20%未満の3問と識別指数がマイナスとなった2問の計5問は削除しました。 日本救急医学会専門医認定委員会」
これはどうなんでしょうか？？ある研究発表で、「新薬Aを100名の患者さんに投与しましたが、投与後来院しなかった2名と副作用が出た3名は対象から除外しました」何てことは許されるのでしょうか？？来院しなかった患者さんは薬の副作用が強くて他の病院へ行ったのかも知れませんし、、、、一般的にそういう文献はエビデンスレベルの低い文献とされます。intention-to-treatと言うものです。
やはりそのまま掲載し、答えはこれなのだが、正解率が10％しかなく、不適切問題と考えたとか公表すべきだと思います。
正解率が低かったと言う事は、出題者が重要であると考えたのにも関わらず、専門医の試験を受けるに値する知識や技術がある人間ですら知らなかったと言う事ですので、是非ホームページなどにこれは知っておいて欲しいと情報を載せるべきかと思います。
マークシート式の試験問題の良否は以下のような指数で評価できるようです。ここから引用させて頂きました。
客観試験問題(五肢択一)の良否判定---------------
正解率・正答率・難易度・通過率：P
P = 正解者数/総数
P = 0.6 - 0.65 望ましい
= 0.2 あて推量：難問
< 0.1 欠陥問題
識別指数---------
正解者数 不正解者数
試験全体得点上位群 a b
下位群 c d
識別指数=(ad - bc)/(√(a+b)(c+d)(a+c)(b+d))
「簡便計算法」
人数 正解者数
試験全体得点上位群 n a
下位群 n b
識別指数=(a - b)/n
受験者数 200名以上 200名以下
試験全体得点上位群 上位1/4 上位1/2
下位群 下位1/4 下位1/2
識別指数 > 0.5 希（良）
>= 0.25 適当
<= 0.15 質的に疑問
削除された問題は、学会自ら、難問、欠陥問題、質的に疑問と判断したと言う事です。やはり公開して試験問題の質の改善に努めるべきではないでしょうか。作った人がダメだ！と言うのではなく、こう言った意図で作ったのだが、問題文が悪かったとか、あまりにマイナーな知識であったとか、専門的すぎたとか、、、、、建設的に議論したいですね。
「筆記試験は全100問で行われました。試験結果を検討した結果、正答率20%未満の3問と識別指数がマイナスとなった2問の計5問は削除しました。 日本救急医学会専門医認定委員会」
これはどうなんでしょうか？？ある研究発表で、「新薬Aを100名の患者さんに投与しましたが、投与後来院しなかった2名と副作用が出た3名は対象から除外しました」何てことは許されるのでしょうか？？来院しなかった患者さんは薬の副作用が強くて他の病院へ行ったのかも知れませんし、、、、一般的にそういう文献はエビデンスレベルの低い文献とされます。intention-to-treatと言うものです。
やはりそのまま掲載し、答えはこれなのだが、正解率が10％しかなく、不適切問題と考えたとか公表すべきだと思います。
正解率が低かったと言う事は、出題者が重要であると考えたのにも関わらず、専門医の試験を受けるに値する知識や技術がある人間ですら知らなかったと言う事ですので、是非ホームページなどにこれは知っておいて欲しいと情報を載せるべきかと思います。
マークシート式の試験問題の良否は以下のような指数で評価できるようです。ここから引用させて頂きました。
客観試験問題(五肢択一)の良否判定---------------
正解率・正答率・難易度・通過率：P
P = 正解者数/総数
P = 0.6 - 0.65 望ましい
= 0.2 あて推量：難問
< 0.1 欠陥問題
識別指数---------
正解者数 不正解者数
試験全体得点上位群 a b
下位群 c d
識別指数=(ad - bc)/(√(a+b)(c+d)(a+c)(b+d))
「簡便計算法」
人数 正解者数
試験全体得点上位群 n a
下位群 n b
識別指数=(a - b)/n
受験者数 200名以上 200名以下
試験全体得点上位群 上位1/4 上位1/2
下位群 下位1/4 下位1/2
識別指数 > 0.5 希（良）
>= 0.25 適当
<= 0.15 質的に疑問
削除された問題は、学会自ら、難問、欠陥問題、質的に疑問と判断したと言う事です。やはり公開して試験問題の質の改善に努めるべきではないでしょうか。作った人がダメだ！と言うのではなく、こう言った意図で作ったのだが、問題文が悪かったとか、あまりにマイナーな知識であったとか、専門的すぎたとか、、、、、建設的に議論したいですね。
欧米では、試験問題はプール制になっていると聞きましたが
現状はどうなのでしょうか．
試験も教育のうちということで頑張って欲しいですね．
by yangt3 (2009-11-23 12:02)
yangt3さん、コメント＆nice!ありがとうございます。
多分そうだと思います。日本でもそうすべきと思いますが、、、、
それよりも先に答えと解答を公開すべきですよね！
by Kim (2009-11-23 12:09)
識別指数を調べていてたどり着きました。
2年以上前の記事に今さらながらのコメント失礼します。
100問中5問の不適当問題であればp=0.05の棄却域であり、
認容の範囲だと思いますがいかがでしょう…
まあ、試験を受ける側からしてみると、難問、欠陥問題、質的に疑問な問題は
時間を浪費させ、他の問題を吟味する時間を削ぐ悪影響問題と言えますので
ないに。越したことはないのですが
by 通りすがりの内科医 (2012-01-04 10:17)
通りすがりの内科医さん、コメントありがとうございます。
確かに数は少ないのですが、答えが公開されていないので、困るんですね。毎年同じような問題が出たりするんですが、答えが分からない問題が多いんです。臨床の現場はいつもそうで、そこが面白いところでもあるのですが、専門医の試験では答えが決まっているのでしょうから、、
ちなみに、問題が削除されている（公開もされていません）のは、最近はこの年度だけです。昔は85問しかない時もありました。もともと85問だったのか、15問削除されたのか、、、、
救急科専門医は、一つの問題で時間を浪費し、他の問題に取りかかれないようではいけないという事なのかも知れませんが、、、、
解答の公開を願って作っているページです。今は以下に移動しています。
http://specialist99.s2.bindsite.jp/
これからも色々とご指導お願いいたします。
by Kim (2012-01-05 16:41)