一つの研究分野でいくつか論文を出していると、ある日突然、査読依頼のメールを受け取ることになります。サイエンスの世界は、ピアレビュー、すなわち研究者同士で互いの論文を審査するシステムになっているからです。ボスが大学院生やポスドクに査読の下書きをさせるというのはよく聞く話で(本来Confidentialであるべきですが)、そういうラボにいた人は既にやり方をわかってるかもしれません。しかし、多くの場合、査読の依頼を初めて受けたときに、十分なトレーニングを受けていない状態だと思います。そこで、査読をすることになった人の役立ちそうなサイトを紹介します。

 

公開されている差読者のコメント

ありがたいことに、差読者のコメントを公開している雑誌があります。これは、査読の方法を学ぶためのお手本の宝庫です。もっと言えば、査読コメントやエディターに対する著者からの反論（リバッタル レター;Rebuttal letter)も公開されているので、論文を通す戦いの成功事例が学べます。ちなみに、STAP幹細胞論文がサイエンス誌から却下されたときの3人の差読者のコメント　(Retraction Watch)も読み応えがあります。

注：差読者が公開を望まなかった場合は非公開。

1. eLife: 論文のウェブページの右横のリストでDecision Letterをクリックするとエディターや差読者のコメントをウェブ上で読むことができます。
2. EMBO Journal: 論文のウェブページで、Transparent Processのタブを選び、Review Process Fileをクリックすると、差読者のコメントおよび著者とのやりとりをPDFで読むことができます。
3. Nature Communications : 2016年1月以降に投稿された論文で、Supplementary information の欄に、Peer Review Fileがある場合には、査読レポートが公開されているが割合はあまり多くない。

 

査読コメントに書くべき内容

査読で原稿を読むときに、どんなことを考えながら読み進めればよいのかを、いくつかの雑誌の査読ガイドを引用することによりまとめました。査読コメントを書くときにこれらの英語表現が参考になりますので、意味が重複する場合でも、複数を引用します。

研究は厳密に行われているか？

必要な対照実験が行なわれているか、アーチファクトの可能性はないか、研究不正の疑いはないかなどに注意。

1. Is the paper technically sound?　srep　論文に厳密さがあるか？
2. The data is technically sound. ncomms  データが厳密であること
3. Is the statistical analysis of the data sound?　srep　 ncomms  データの統計学的な解析方法は正しいか？
4. the quality and presentation of the figures as well as the validity of the statistical methods used to interpret them　　cell.com　　データを解釈する際に用いられた統計学的手法の妥当性および図のクオリティと表現方法に関するコメント
5. Does the paper offer enough details of its methodology that its experiments could be reproduced?　論文は、実験の再現が可能なくらい十分詳細に方法を記述しているか？plosbiology
6. Have they provided sufficient methodological detail that the experiments could be reproduced?　 ncomms
7. Should the authors be asked to provide further data or methodological information to help others replicate their work? (Such data might include source code for modelling studies, detailed protocols or mathematical derivations).　 ncomms

 

著者の主張は実験結果によって裏付けられているか？

実験結果から結論を導く過程が、論理的かどうかは重要なポイント。

1. Are the claims convincing? If not, what further evidence is needed?　srep　 ncomms
2. Are the claims fully supported by the experimental data?　srep
3. Do the data support the claims? If not, what other evidence is required?　データは、主張を裏付けるものになっているか？もしそうでないなら、他にどんな証拠が必要か？plosbiology
4. The paper provides strong evidence for its conclusions ncomms  結論を支持する強い証拠を示せていること
5. alternative hypotheses that are consistent with the available data　　cell.com　　　得られた実験データと整合性のあるような別の仮説
6. Have the authors provided adequate proof for their claims without overselling them?　著者らは十分な証拠に基づいて主張しており、過大な主張をしていないか？plosbiology
7. Have the authors done themselves justice without overselling their claims?　 ncomms

 

論文の体裁

1. Is the manuscript clearly written? If not, how could it be made more accessible?　srep　 ncomms
2. Is the manuscript clearly enough written so that it is understandable to non-specialists? If not, how could it be improved? (Please concentrate on matters of organization and content and not on grammatical or spelling errors that will be corrected by our copyeditor after acceptance.)　原稿は十分明瞭に書かれていて非専門家にも理解できるか？もしそうでないなら、どのように改善すべきか？（構成や内容に関してのみ考慮してください。文法や綴りの間違いは、受理後に原稿編集者が行います。）plosbiology
3. Could the manuscript be shortened to aid communication of the most important findings?　ncomms

 

研究の意義、新規性、その研究分野の進展への貢献の度合いは？

1. The results are novel　ncomms  結果に新規性があること
2. Are the claims novel? If not, please identify the major papers that compromise novelty　ncomms   論文の結論に新規性はあるか？もし無いのなら、新規性を損なわせている主要な論文を示してください
3. Are these claims sufficiently novel? If not, please specify papers that weaken the claims to the originality of this one.　論文の主張には、十分な新規性があるか？もし無いなら、この論文の新規性を弱めるような論文を挙げてください。plosbiology
4. balanced referencing of the pre-existing literature. In particular, when previously published work has undercut the novelty of the present findings, it is extremely helpful to include in the body of the review detailed citation of the relevant articles and data.　　cell.com　　すでに存在する文献の適切な引用。特に、先行研究が今回の発見の新規性を下げるようなものである場合には、関連する論文とデータの詳細な引用
5. What are the main claims of the paper and how significant are they?　この論文の主要な主張は何か、どれくらい意義深いのか？plosbiology
6. What are the major claims of the paper?　ncomms
7. an outline of the conceptual advance over previously published work　cell.com　これまで発表された研究に比べたときの、概念的な進展の概要（を査読レポートに書く）
8. Is this paper outstanding in its discipline? If yes, what makes it outstanding? If not, why not?　この論文は、この研究分野においてどれくらい際立っているか？もしそうなら、何が理由でそうなのか？もしそうでないなら、なぜか？plosbiology
9. Will the paper be of interest to others in the field?　　ncomms  　この論文は、この研究領域の他の研究者の興味をひくものか？
10. the paper’s potential audience (i.e., the relevant fields within the readership of the journal)　　cell.com　その論文の潜在的な読者（すなわち、雑誌が対象とする読者層の中でも関係がある領域）
11. Will the paper influence thinking in the field?　ncomms  　この論文は、この研究領域の考え方に影響を与えるものか？
12. The manuscript is important to scientists in the specific field　ncomms  その分野の科学者にとって重要性があること
13. In general, to be acceptable, a paper should represent an advance in understanding likely to influence thinking in the field.　ncomms  その研究分野の考え方に影響を与える得るだけの理解の進歩を示す論文であること
14. If the manuscript is unacceptable in its present form, does the study seem sufficiently promising that the authors should be encouraged to consider a resubmission in the future?　srep
15. Would any other experiments/data/analyses improve the paper? How much better would the paper be if these were performed, and how difficult would they be to do?　他にどんな実験/データ/解析があれば、この論文がより良いものになるか？それらを実現できたら、どれくらい論文が良いものになるか？また、それらを実現することはどれくらい困難か？plosbiology
16. Are there other experiments that would strengthen the paper further? How much would they improve it, and how difficult are they likely to be?　ncomms
17. Who would find this paper of interest? Why?　どんな読者がこの論文を面白いと思うか？それはなぜか？plosbiology
18. If the paper is considered unsuitable for publication in its present form, does the study itself show sufficient potential that the authors should be encouraged to resubmit a revised version?　もしこの論文が現在の原稿のままでは掲載に不適と判断される場合、改訂版の再投稿を著者らに勧めるほどの潜在的価値がこの研究自体にはあるか？plosbiology
19. If the manuscript is unacceptable in its present form, does the study seem sufficiently promising that the authors should be encouraged to consider a resubmission in the future?　ncomms

 

先行研究との整合性があるか？

Discussionのセクションで、研究の位置づけが議論されているかに注意します。

1. Are the claims appropriately discussed in the context of previous literature?　srep
2. Are the claims properly placed in the context of the previous literature?　著者らの主張は、これまでの文献の文脈の中に適切に位置づけられているか？plosbiology
3. Are the claims appropriately discussed in the context of previous literature?　　ncomms
4. Have the authors treated the previous literature fairly?　先行研究を公正に扱っているか？plosbiology
5. Have they been fair in their treatment of previous literature?　　ncomms

 

差読者の判断：受理か却下か

1. a specific recommendation, the reasons for that recommendation 　cell.com　 具体的な勧告とその理由

 

その他

1. Does the availability of data adhere to the expected standards of your research community?　srep
2. Are they any special ethical concerns arising from the use of animals or human subjects?　srep　　ncomms
3. PLOS Biology encourages authors to publish detailed protocols as supplementary information online. Do any particular methods used in the manuscript warrant such a protocol?　PLOS　Biologyは著者らが詳細なプロトコールを補足情報としてオンラインで公開することを奨励している。原稿の中で用いられた方法のうち、公開すべきプロトコールはあるか？plosbiology

 

さて、実際に査読レポートを書く場合には、受理したいか、却下したいかにあわせて、良い悪いをバランスよく盛り込むようにします。

The core of any review is an objective assessment of both the technical rigor and the novelty of the presented work. (Cell Press Information for Reviewers)　論文にまとめられた仕事が、厳密に遂行されたものか、また、新規性があるかどうかの両方に関する客観的な評価が、査読レポートの核心になります。

上記で引用したジャーナル

1. Cell Press Information for Reviewers
2. Nature Communications Guide to referees
3. PLOS BIOLOGY Reviewer Guidelines
4. Scientific Reports Guide to referees

 

査読の実際的な手順

査読するときに論文をどのように読むかは人それぞれのやり方があると思いますが、WILEYが説明はステップバイステップになっていて、初心者には役立ちそうです。

WILEY　Step by step guide to reviewing a manuscript

 

出版社や雑誌社による査読ガイド

査読のやり方にはある程度決まったスタイルがありますが、雑誌ごとに異なる部分もあります。自分に査読を依頼してきた雑誌社が示している査読の指針を、よく読みましょう。以下の雑誌社や出版社の査読ガイドは、一般的な査読方法を学ぶうえで非常に役立ちます。

1. WILEY　Step by step guide to reviewing a manuscript　査読する際に何を考えながらどのように読む進めるのが良いのか、査読コメントの構成の仕方と各パラグラフ、セクションに何を書くべきか、等。ステップバイステップの詳細な手引き。

2. ELSEVIER How to conduct a review :レビューアーが返すコメントに何を書けばいいのかが具体的に述べられていて参考になる。
3. Taylor & Francis Writing a review: a step-by-step guide　何を考えながら原稿を読むべきかが具体的に述べられている。
4. Cell Press Information for Reviewers　差読者がレポートに書くべき事柄が述べられている。
5. PeerJ How To Become Good At Peer-Review
6. PLOS BIOLOGY　Writing the Review
7. PLOS ONE Writing the Review　
8. DEVELOPMENT  Guidelines for Reviewing Research Articles and Reports

 

研究の意義・重要性

学術雑誌はピンキリなので、そのジャーナルが求める研究意義の大きさとの兼ね合いで、差読者はその論文が受理されるべきか判断します。その雑誌のことを良く知らないのであれば判断ができませんので、まずは、雑誌のウェブサイトに行き、Aims and Scopeを読んだうえで、どんな論文が掲載されているかをみておく必要があります。トップジャーナルが論文をリジェクトするときに、conceptual advanceが不十分であり、incremental advanceに過ぎないという表現をよくしますが、専門誌になればなるほど、incrementalでも内容がしっかりしていればOKになります。（参考記事：ネイチャー(Nature)に論文を出す方法）

他方、論文の重要性の評価には関与しないというスタンスの雑誌も増えてきました。PLOS ONE (2006 Dec-)は、研究の意義・重要性の判断は掲載後に読者に委ねるという新しい方針を打ち出した画期的なジャーナルです。

PLOS ONE accepts scientifically rigorous research, regardless of novelty. PLOS ONE’s broad scope provides a platform to publish primary research, including interdisciplinary and replication studies as well as negative results.　… PLOS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound.(PLOS ONE Jounral Information)

Scientific Reports (2011 June-)も、研究の意義や新たな概念の提唱ではなく、研究の確かさに基づいて掲載の可否を判断することを明言しています。

Referees and Editorial Board Members will determine whether a paper is scientifically valid, rather than making judgements on significance or whether the submission represents a conceptual advance. (Scientific Reports Aims & scope)

 

査読ガイド動画

• WILEY　Getting peer review right: A guide for early career researchers　64分の動画（ウェブセミナー）
• ELSEVIER How to review for a scientific journal (23:05- by Olaf Christen, in a workshop at the Martin-Luther-University Halle-Wittenberg)

 

査読の参考に、水島 昇『科学を育む 査読の技法〜+リアルな例文765』2021/6/23 羊土社

 

参考

1. Peer Review at Science Publications　
2. 2.3 Reviewer Roles and Responsibilities (Council of Science Editors)
3. Guidelines for Reviewers of ASM Journals
4. ELSEVIER Reviewer policy statement
5. ELSEVIER　How to review manuscripts — your ultimate checklist (By Hannah Foreman Posted on 28 August 2015) 査読のやり方とチェックリスト　1ページまとめ
6. ELSEVIER　10 tips for reviewing scientific manuscripts – and 5 red flags (By Joseph Alpert, MD Posted on 5 December 2012)
7. PNAS Peer Reviewer Instructions
8. Ten Simple Rules for Reviewers
9. Transparent peer review at Nature Communications Authors of papers submitted from January 2016 will be given the option to publish the peer review history of their paper
10. STAP幹細胞論文がサイエンス誌から却下されたときの3人の差読者のコメント　(Retraction Watch)
11. How to review a scientific manuscript? (ResearchGate　ディスカッションフォーラム Jan 9, 2013)
12. Nicholas, K. A. and W. S. Gordon (2011), A quick guide to writing a solid peer review, Eos Trans. AGU, 92(28), 233, doi:10.1029/2011EO280001.
13. The Joy of Peer Review or My Favorite Comments from Editors and Reviewers
14. How to Write a Peer Review for an Academic Journal: Six Steps from Start to Finish by Tanya Golash-Boza PhD2PUblished May 9, 2012

参考（リジェクトする理由）

1. ELSEVIER ‘Eight reasons I rejected your article’ By Peter Thrower, PhD     Posted on 12 September 2012

参考（査読システムに纏わるエトセトラ）

1. 査読 システムに限界、基準劣化のおそれ (enago academy　エナゴ学術英語アカデミー　ライター紹介：粥川準二 投稿日: 2017年1月6日 ）:”活動的な」査読者は毎年平均5件の論文を査読していることもわかりました。もちろん、年間何十件もの論文を査読する者もいれば、たったの1件という者もいます。また彼らの計算では、査読の需要に応じるために、2015年には180万人の査読者が必要とされたといいます。前述の通り、査読をできる研究者の数は常に査読の需要を上回っているといいます。しかし問題は、労働の配分がきわめて不平等であることです。全体のうち５%の査読者が、全査読時間の30％近くを担っている、ということが今回の研究でわかったのです。”
2. Why high-profile journals have more retractions (Nature News 17 September 2014):”the higher the impact factor, the higher the retraction index.”
3. high-profile ジャーナル？（たおやかな生活を希望して 2008年08月26日）:”現在の論文出版における問題としてhigh-impactなジャーナルに与えられている圧倒的なステータスである。キャリアーアップには何を発表したのかというよりもどこに発表したのかを問われる。”

 

同じカテゴリーの記事一覧

• 論文査読レポートで使える英語表現
• 研究論文の査読レポートの書き方