This paper is in the following e-collection/theme issue:

Formative Evaluation of Digital Health Interventions (2744) Theme Issue: ChatGPT and Generative Language Models in Medical Education (94) Artificial Intelligence (1650) e-Learning and Digital Medical Education (769) Testing and Assessment in Medical Education (68)

Published on in Vol 7 (2023)

Preprints (earlier versions) of this paper are available at https://preprints.jmir.org/preprint/48023, first published .
Accuracy of ChatGPT on Medical Questions in the National Medical Licensing Examination in Japan: Evaluation Study

Accuracy of ChatGPT on Medical Questions in the National Medical Licensing Examination in Japan: Evaluation Study

Accuracy of ChatGPT on Medical Questions in the National Medical Licensing Examination in Japan: Evaluation Study

Authors of this article:

Yasutaka Yanagita1 Author Orcid Image ;   Daiki Yokokawa1 Author Orcid Image ;   Shun Uchida1 Author Orcid Image ;   Junsuke Tawara2 Author Orcid Image ;   Masatomi Ikusaka1 Author Orcid Image
Article Authors Cited by (45) Tweetations (12) Metrics
All Time | Last Month | Last Six Months | Last Year
JMIR Publications JMIR Publications @jmirpub

JMIR Formative Res: Accuracy of ChatGPT on Medical Questions in the National Medical Licensing Examination in Japan: Evaluation Study https://t.co/iwblx1pIv9 https://t.co/WtYNqQsN52

1:33 PM · Oct 13, 2023

1
1
Amparo Santamaria Ortiz MD, PhD Amparo Santamaria Ortiz MD, PhD @santamariaparo

RT @jmirpub: JMIR Formative Res: Accuracy of ChatGPT on Medical Questions in the National Medical Licensing Examination in Japan: Evaluatio…

1:36 PM · Oct 13, 2023

1
1
Yasutaka Yanagita | MD, PhD Yasutaka Yanagita | MD, PhD @1009yasutaka

Check out this fascinating article https://t.co/rqGG4lYCdo

2:03 PM · Oct 13, 2023

0
0
河野 健一　医療 ✕ AI ✕ MBA　手術支援AIスタートアップ CEO 脳外科医（カテーテル） 河野 健一　医療 ✕ AI ✕ MBA　手術支援AIスタートアップ CEO 脳外科医（カテーテル） @CeoImed

｢日本医師国家試験に対するChatGPT、GPT-4の正確性｣ ･ 2022年医師国家試験の問題を使用し、400問について評価（図や表が含まれている問題は除外） ･ GPT-4の正答率81.5%、ChatGPTは42.8% ･ 合格基準は72% GPT-4Vで図や表も入れて試してみたいですね https://t.co/kOoaJkosj7 https://t.co/fMnQzhMMT1

2:20 AM · Oct 14, 2023

4
2
おれんじ色 おれんじ色 @orangeiro7

RT @CeoImed: ｢日本医師国家試験に対するChatGPT、GPT-4の正確性｣ ･ 2022年医師国家試験の問題を使用し、400問について評価（図や表が含まれている問題は除外） ･ GPT-4の正答率81.5%、ChatGPTは42.8% ･ 合格基準は72%…

2:23 AM · Oct 14, 2023

4
2
a.o.kitty ???? a.o.kitty ???? @anger_of_kitty

RT @CeoImed: ｢日本医師国家試験に対するChatGPT、GPT-4の正確性｣ ･ 2022年医師国家試験の問題を使用し、400問について評価（図や表が含まれている問題は除外） ･ GPT-4の正答率81.5%、ChatGPTは42.8% ･ 合格基準は72%…

2:59 AM · Oct 14, 2023

4
2
Neil Mehta, MD Neil Mehta, MD @Neil_Mehta

Link for this study https://t.co/g9Qx65iKoi

10:51 AM · Oct 14, 2023

0
0
いそ いそ @iso8100

RT @CeoImed: ｢日本医師国家試験に対するChatGPT、GPT-4の正確性｣ ･ 2022年医師国家試験の問題を使用し、400問について評価（図や表が含まれている問題は除外） ･ GPT-4の正答率81.5%、ChatGPTは42.8% ･ 合格基準は72%…

11:02 PM · Oct 14, 2023

5
3
Giuseppe Biondi-Zoccai Giuseppe Biondi-Zoccai @gbiondizoccai

Are you as smart as ChatGPT? It replied correctly to 67%-90% of questions from major licensing boards of several different countries, including US, with ChatGPT 4 being much better than 3.5 https://t.co/Wp4DRKhPyS https://t.co/JtFSO5V5lm https://t.co/TXKH3tzWC0 #ChatGPT @openai

4:07 PM · Oct 21, 2023

1
1
Segun Olusanya (He/Him) iceman_ex@critcare.social Segun Olusanya (He/Him) iceman_ex@critcare.social @iceman_ex

RT @gbiondizoccai: Are you as smart as ChatGPT? It replied correctly to 67%-90% of questions from major licensing boards of several differe…

4:10 PM · Oct 21, 2023

1
1
Daiki Yokokawa @ 家庭医 診断+AI Daiki Yokokawa @ 家庭医 診断+AI @DaikiYokokawa

お手伝いしてかいた https://t.co/jOrGlUmJqF 千葉大総診ChatGPT関連論文の第一弾です GPT3.5とGPT4で医師国家試験の正答率を比較しました。GPT4による図表を含まない国試の問題の正答率は 81.5% (237/292) で、GPT-3.5 の正答率 42.8% (125/292) よりも大幅に高い結果でした

12:08 AM · Dec 04, 2023

5
0
さえば さえば @saeba_1250

#今日もAIと雑談 こちらのツイートも興味深かったので、「すごいじゃんGPT！　でもレントゲンやMRI画像、グラフ読みで禁忌選択肢引いたら終わるね……」って話もしました。 まだ完璧ではない。しかし、文章レベルの推論はかなりいけるそうな。 https://t.co/v0rlpuOf16

5:40 PM · Feb 09, 2025

0
0