誰も教えてくれなかった査読(ピアレビュー)のやり方、査読レポートの書き方

関連記事:ピアレビューの査読レポートを書くときに使える英語表現

 

一つの研究分野でいくつか論文を出していると、ある日突然、査読依頼のメールを受け取ることになります。サイエンスの世界は、ピアレビュー、すなわち研究者同士で互いの論文を審査するシステムになっているからです。ボスが大学院生やポスドクに査読の下書きをさせるというのはよく聞く話で(本来Confidentialであるべきですが)、そういうラボにいた人は既にやり方をわかってるかもしれません。しかし、多くの場合、査読の依頼を初めて受けたときに、十分なトレーニングを受けていない状態だと思います。そこで、査読をすることになった人の役立ちそうなサイトを紹介します。

 

公開されている差読者のコメント

ありがたいことに、差読者のコメントを公開している雑誌があります。これは、査読の方法を学ぶためのお手本の宝庫です。もっと言えば、査読コメントやエディターに対する著者からの反論(リバッタル レター;Rebuttal letter)も公開されているので、論文を通す戦いの成功事例が学べます。ちなみに、STAP幹細胞論文がサイエンス誌から却下されたときの3人の差読者のコメント (Retraction Watch)も読み応えがあります。

注:差読者が公開を望まなかった場合は非公開。

  1. eLife: 論文のウェブページの右横のリストでDecision Letterをクリックするとエディターや差読者のコメントをウェブ上で読むことができます。
  2. EMBO Journal: 論文のウェブページで、Transparent Processのタブを選び、Review Process Fileをクリックすると、差読者のコメントおよび著者とのやりとりをPDFで読むことができます。
  3. Nature Communications : 2016年1月以降に投稿された論文で、Supplementary information の欄に、Peer Review Fileがある場合には、査読レポートが公開されているが割合はあまり多くない。

 

査読コメントに書くべき内容

査読で原稿を読むときに、どんなことを考えながら読み進めればよいのかを、いくつかの雑誌の査読ガイドを引用することによりまとめました。査読コメントを書くときにこれらの英語表現が参考になりますので、意味が重複する場合でも、複数を引用します。

研究は厳密に行われているか?

必要な対照実験が行なわれているか、アーチファクトの可能性はないか、研究不正の疑いはないかなどに注意。

  1. Is the paper technically sound? srep 論文に厳密さがあるか?
  2. The data is technically sound. ncomms  データが厳密であること
  3. Is the statistical analysis of the data sound? srep  ncomms  データの統計学的な解析方法は正しいか?
  4. the quality and presentation of the figures as well as the validity of the statistical methods used to interpret them  cell.com  データを解釈する際に用いられた統計学的手法の妥当性および図のクオリティと表現方法に関するコメント
  5. Does the paper offer enough details of its methodology that its experiments could be reproduced? 論文は、実験の再現が可能なくらい十分詳細に方法を記述しているか?plosbiology
  6. Have they provided sufficient methodological detail that the experiments could be reproduced?  ncomms
  7. Should the authors be asked to provide further data or methodological information to help others replicate their work? (Such data might include source code for modelling studies, detailed protocols or mathematical derivations).  ncomms

著者の主張は実験結果によって裏付けられているか?

実験結果から結論を導く過程が、論理的かどうかは重要なポイント。

  1. Are the claims convincing? If not, what further evidence is needed? srep  ncomms
  2. Are the claims fully supported by the experimental data? srep
  3. Do the data support the claims? If not, what other evidence is required? データは、主張を裏付けるものになっているか?もしそうでないなら、他にどんな証拠が必要か?plosbiology
  4. The paper provides strong evidence for its conclusions ncomms  結論を支持する強い証拠を示せていること
  5. alternative hypotheses that are consistent with the available data  cell.com   得られた実験データと整合性のあるような別の仮説
  6. Have the authors provided adequate proof for their claims without overselling them? 著者らは十分な証拠に基づいて主張しており、過大な主張をしていないか?plosbiology
  7. Have the authors done themselves justice without overselling their claims?  ncomms

論文の体裁

  1. Is the manuscript clearly written? If not, how could it be made more accessible? srep  ncomms
  2. Is the manuscript clearly enough written so that it is understandable to non-specialists? If not, how could it be improved? (Please concentrate on matters of organization and content and not on grammatical or spelling errors that will be corrected by our copyeditor after acceptance.) 原稿は十分明瞭に書かれていて非専門家にも理解できるか?もしそうでないなら、どのように改善すべきか?(構成や内容に関してのみ考慮してください。文法や綴りの間違いは、受理後に原稿編集者が行います。)plosbiology
  3. Could the manuscript be shortened to aid communication of the most important findings? ncomms

研究の意義、新規性、その研究分野の進展への貢献の度合いは?

  1. The results are novel ncomms  結果に新規性があること
  2. Are the claims novel? If not, please identify the major papers that compromise novelty ncomms   論文の結論に新規性はあるか?もし無いのなら、新規性を損なわせている主要な論文を示してください
  3. Are these claims sufficiently novel? If not, please specify papers that weaken the claims to the originality of this one. 論文の主張には、十分な新規性があるか?もし無いなら、この論文の新規性を弱めるような論文を挙げてください。plosbiology
  4. balanced referencing of the pre-existing literature. In particular, when previously published work has undercut the novelty of the present findings, it is extremely helpful to include in the body of the review detailed citation of the relevant articles and data.  cell.com  すでに存在する文献の適切な引用。特に、先行研究が今回の発見の新規性を下げるようなものである場合には、関連する論文とデータの詳細な引用
  5. What are the main claims of the paper and how significant are they? この論文の主要な主張は何か、どれくらい意義深いのか?plosbiology
  6. What are the major claims of the paper? ncomms
  7. an outline of the conceptual advance over previously published work cell.com これまで発表された研究に比べたときの、概念的な進展の概要(を査読レポートに書く)
  8. Is this paper outstanding in its discipline? If yes, what makes it outstanding? If not, why not? この論文は、この研究分野においてどれくらい際立っているか?もしそうなら、何が理由でそうなのか?もしそうでないなら、なぜか?plosbiology
  9. Will the paper be of interest to others in the field?  ncomms   この論文は、この研究領域の他の研究者の興味をひくものか?
  10. the paper’s potential audience (i.e., the relevant fields within the readership of the journal)  cell.com その論文の潜在的な読者(すなわち、雑誌が対象とする読者層の中でも関係がある領域)
  11. Will the paper influence thinking in the field? ncomms   この論文は、この研究領域の考え方に影響を与えるものか?
  12. The manuscript is important to scientists in the specific field ncomms  その分野の科学者にとって重要性があること
  13. In general, to be acceptable, a paper should represent an advance in understanding likely to influence thinking in the field. ncomms  その研究分野の考え方に影響を与える得るだけの理解の進歩を示す論文であること
  14. If the manuscript is unacceptable in its present form, does the study seem sufficiently promising that the authors should be encouraged to consider a resubmission in the future? srep
  15. Would any other experiments/data/analyses improve the paper? How much better would the paper be if these were performed, and how difficult would they be to do? 他にどんな実験/データ/解析があれば、この論文がより良いものになるか?それらを実現できたら、どれくらい論文が良いものになるか?また、それらを実現することはどれくらい困難か?plosbiology
  16. Are there other experiments that would strengthen the paper further? How much would they improve it, and how difficult are they likely to be? ncomms
  17. Who would find this paper of interest? Why? どんな読者がこの論文を面白いと思うか?それはなぜか?plosbiology
  18. If the paper is considered unsuitable for publication in its present form, does the study itself show sufficient potential that the authors should be encouraged to resubmit a revised version? もしこの論文が現在の原稿のままでは掲載に不適と判断される場合、改訂版の再投稿を著者らに勧めるほどの潜在的価値がこの研究自体にはあるか?plosbiology
  19. If the manuscript is unacceptable in its present form, does the study seem sufficiently promising that the authors should be encouraged to consider a resubmission in the future? ncomms

先行研究との整合性があるか?

Discussionのセクションで、研究の位置づけが議論されているかに注意します。

  1. Are the claims appropriately discussed in the context of previous literature? srep
  2. Are the claims properly placed in the context of the previous literature? 著者らの主張は、これまでの文献の文脈の中に適切に位置づけられているか?plosbiology
  3. Are the claims appropriately discussed in the context of previous literature?  ncomms
  4. Have the authors treated the previous literature fairly? 先行研究を公正に扱っているか?plosbiology
  5. Have they been fair in their treatment of previous literature?  ncomms

差読者の判断:受理か却下か

  1. a specific recommendation, the reasons for that recommendation  cell.com  具体的な勧告とその理由

その他

  1. Does the availability of data adhere to the expected standards of your research community? srep
  2. Are they any special ethical concerns arising from the use of animals or human subjects? srep  ncomms
  3. PLOS Biology encourages authors to publish detailed protocols as supplementary information online. Do any particular methods used in the manuscript warrant such a protocol? PLOS Biologyは著者らが詳細なプロトコールを補足情報としてオンラインで公開することを奨励している。原稿の中で用いられた方法のうち、公開すべきプロトコールはあるか?plosbiology

 

さて、実際に査読レポートを書く場合には、受理したいか、却下したいかにあわせて、良い悪いをバランスよく盛り込むようにします。

The core of any review is an objective assessment of both the technical rigor and the novelty of the presented work. (Cell Press Information for Reviewers) 論文にまとめられた仕事が、厳密に遂行されたものか、また、新規性があるかどうかの両方に関する客観的な評価が、査読レポートの核心になります。

上記で引用したジャーナル

  1. Cell Press Information for Reviewers
  2. Nature Communications Guide to referees
  3. PLOS BIOLOGY Reviewer Guidelines
  4. Scientific Reports Guide to referees

 

査読の実際的な手順

査読するときに論文をどのように読むかは人それぞれのやり方があると思いますが、WILEYが説明はステップバイステップになっていて、初心者には役立ちそうです。

WILEY Step by step guide to reviewing a manuscript

 

出版社や雑誌社による査読ガイド

査読のやり方にはある程度決まったスタイルがありますが、雑誌ごとに異なる部分もあります。自分に査読を依頼してきた雑誌社が示している査読の指針を、よく読みましょう。以下の雑誌社や出版社の査読ガイドは、一般的な査読方法を学ぶうえで非常に役立ちます。

  1. WILEY Step by step guide to reviewing a manuscript 査読する際に何を考えながらどのように読む進めるのが良いのか、査読コメントの構成の仕方と各パラグラフ、セクションに何を書くべきか、等。ステップバイステップの詳細な手引き。

  2. ELSEVIER How to conduct a review :レビューアーが返すコメントに何を書けばいいのかが具体的に述べられていて参考になる。
  3. Taylor & Francis Writing a review: a step-by-step guide 何を考えながら原稿を読むべきかが具体的に述べられている。
  4. Cell Press Information for Reviewers 差読者がレポートに書くべき事柄が述べられている。
  5. PeerJ How To Become Good At Peer-Review
  6. PLOS BIOLOGY Writing the Review
  7. PLOS ONE Writing the Review 
  8. DEVELOPMENT  Guidelines for Reviewing Research Articles and Reports

 

研究の意義・重要性

学術雑誌はピンキリなので、そのジャーナルが求める研究意義の大きさとの兼ね合いで、差読者はその論文が受理されるべきか判断します。その雑誌のことを良く知らないのであれば判断ができませんので、まずは、雑誌のウェブサイトに行き、Aims and Scopeを読んだうえで、どんな論文が掲載されているかをみておく必要があります。トップジャーナルが論文をリジェクトするときに、conceptual advanceが不十分であり、incremental advanceに過ぎないという表現をよくしますが、専門誌になればなるほど、incrementalでも内容がしっかりしていればOKになります。(参考記事:ネイチャー(Nature)に論文を出す方法

他方、論文の重要性の評価には関与しないというスタンスの雑誌も増えてきました。PLOS ONE (2006 Dec-)は、研究の意義・重要性の判断は掲載後に読者に委ねるという新しい方針を打ち出した画期的なジャーナルです。

PLOS ONE accepts scientifically rigorous research, regardless of novelty. PLOS ONE’s broad scope provides a platform to publish primary research, including interdisciplinary and replication studies as well as negative results. … PLOS ONE will rigorously peer-review your submissions and publish all papers that are judged to be technically sound.(PLOS ONE Jounral Information)

Scientific Reports (2011 June-)も、研究の意義や新たな概念の提唱ではなく、研究の確かさに基づいて掲載の可否を判断することを明言しています。

Referees and Editorial Board Members will determine whether a paper is scientifically valid, rather than making judgements on significance or whether the submission represents a conceptual advance. (Scientific Reports Aims & scope)

 

査読ガイド動画

 

参考

  1. Peer Review at Science Publications 
  2. 2.3 Reviewer Roles and Responsibilities (Council of Science Editors)
  3. Guidelines for Reviewers of ASM Journals
  4. ELSEVIER Reviewer policy statement
  5. ELSEVIER How to review manuscripts — your ultimate checklist (By Hannah Foreman Posted on 28 August 2015) 査読のやり方とチェックリスト 1ページまとめ
  6. ELSEVIER 10 tips for reviewing scientific manuscripts – and 5 red flags (By Joseph Alpert, MD Posted on 5 December 2012)
  7. PNAS Peer Reviewer Instructions
  8. Ten Simple Rules for Reviewers
  9. Transparent peer review at Nature Communications Authors of papers submitted from January 2016 will be given the option to publish the peer review history of their paper
  10. STAP幹細胞論文がサイエンス誌から却下されたときの3人の差読者のコメント (Retraction Watch)
  11. How to review a scientific manuscript? (ResearchGate ディスカッションフォーラム Jan 9, 2013)
  12. Nicholas, K. A. and W. S. Gordon (2011), A quick guide to writing a solid peer review, Eos Trans. AGU, 92(28), 233, doi:10.1029/2011EO280001.
  13. The Joy of Peer Review or My Favorite Comments from Editors and Reviewers
  14. How to Write a Peer Review for an Academic Journal: Six Steps from Start to Finish by Tanya Golash-Boza PhD2PUblished May 9, 2012

参考(リジェクトする理由)

  1. ELSEVIER ‘Eight reasons I rejected your article’ By Peter Thrower, PhD     Posted on 12 September 2012

参考(査読システムに纏わるエトセトラ)

  1. 査読 システムに限界、基準劣化のおそれ (enago academy エナゴ学術英語アカデミー ライター紹介:粥川準二 投稿日: 2017年1月6日 ):”活動的な」査読者は毎年平均5件の論文を査読していることもわかりました。もちろん、年間何十件もの論文を査読する者もいれば、たったの1件という者もいます。また彼らの計算では、査読の需要に応じるために、2015年には180万人の査読者が必要とされたといいます。前述の通り、査読をできる研究者の数は常に査読の需要を上回っているといいます。しかし問題は、労働の配分がきわめて不平等であることです。全体のうち5%の査読者が、全査読時間の30%近くを担っている、ということが今回の研究でわかったのです。”
  2. Why high-profile journals have more retractions (Nature News 17 September 2014):”the higher the impact factor, the higher the retraction index.”
  3. high-profile ジャーナル?(たおやかな生活を希望して 2008年08月26日):”現在の論文出版における問題としてhigh-impactなジャーナルに与えられている圧倒的なステータスである。キャリアーアップには何を発表したのかというよりもどこに発表したのかを問われる。”