研究職を続けていると、査読は論文執筆と同じくらい付き合うことになるはず。論文執筆のコツは多数あれど、査読については意外と少ない気がしたので、(現時点での)自分なりのテンプレを載せてみる。主にHuman-Robot Interactionな論文を査読するためのもので、論文では「新しい技術」and/or「新しい知見」が何らかの実験によって評価されている、という前提。査読コメントの長さについては会議や雑誌もよるけど、短くてもA4 1枚強(長い場合は特に制限無し)、ぐらいを心掛けている。
Summary:
査読している論文を1~2段落で要約する。個人的に心がけていることとして、出来るだけ自分の言葉で説明するようにしている。AbstractやConclusionのコピペでも多分同じことはできるけど、著者としてはあまりいい気持ちはしないと思うので。
Strengths and Weaknesses:
まず、査読した論文の良い所を書き出す。たまに悪いところだけ指摘する査読コメントが来たりするけど、それだけだと著者も「ちゃんと読んでるのかな?」と感じる気がするので。どんな論文でも良い所はあるはず、悪い所より良い所を見つける方が大体難しいけどその方が建設的。
その後、査読した論文の弱い所、悪い所を書き出す。大体、この部分が一番長くなる。これも著者のことを考えて、だらだら悪いところを指摘するのではなく、カテゴリに分けて指摘したほうが良い。よくある突っ込みポイントとしては以下参照(個別の項目でそれぞれ1記事書けそうなので、とりあえず思いつくまま箇条書きに・・・).
ちなみにMinor comments、例えば数式の細かい間違いや図表の修正点、フォントの変な所も含めてこの辺に書くようにしている。でも、細かい間違いでも多すぎたらMinorじゃない形(構成とか)で指摘することも。
・実験、評価
・実験の手順や設定が妥当か
・実験結果の分析方法が妥当か
・実験結果の解釈が妥当か
・比較条件は比較対象として妥当か
・上記を満たしたうえで、新規性があるといえるか
・証明された内容は実際に有用かどうか、他に解決策が無いか
・文章構成、論理
・ロジックが会議や論文誌のFocusに沿っているか
・文章全体の構成、ロジックが途中でぶれてないか
・研究の目的と実際にやったことの対応が取れているか
・他人が読んで同じことを再現できそうか
・議論
・むりくり都合のいい議論がなされていないか
・知見の適応範囲や限界が議論されているか
・倫理的に問題は無いか
・参考文献
・参考文献が少ない、古い、著者自身の論文引用が目立つか
・関連する分野の有名どころを押さえているか
Related Work:
「Weaknesses」とかぶることもあるけど、必要に応じてこの項目を追加している。特に引用すべき文献があったら、ここで詳しく説明する感じ。特に問題なかったら、素直に褒めるようにしている。「The authors well investigated past research works.」とか。
Presentation:
おなじく「Weaknesses」とかぶることもあるけど、文章全体の構成や読みやすさについて詳細を書きたい時にこの項目を追加している。構成が酷くて論文の採否に絡む場合はWeaknesses、そこまではいかないけどこうしたほうが良いのにといった場合はPresentation、ぐらいに考えている。これも、読みやすかったら素直に褒める。「The authors well explained their research works.」とか。
Recommendation:
基本的には、「Weaknesses」に書いたことと絡めて、こうしたほうが論文の価値が上がると思う、といったことをこの項目に書いている。スコアを付けるタイプの査読だったら、「ここが良かったらもう一つ上のスコアだった」とか書いたりもしている。