當前,資助機構、科研機構等有關方面評價科研成果的方法亟待改進。針對這一問題,2012年12月16日,在美國加利福利亞州舊金山舉辦的美國細胞生物學學會年會上,一些學術期刊的編輯和出版商會晤后,提出了一系列建議 (稱為“舊金山科研評價宣言”,英文簡稱DORA)。
26,513 individuals and organizations in 166 countries have signed DORA to date.
IOMJ正式簽署舊金山科研評價宣言: https://ngoima.org/iomj-signs-the-san-francisco-declaration-on-research-assessment-dora
The Declaration on Research Assessment (DORA)
科研成果種類多樣,例如用以報道新知識的論文,數據,試劑,軟件,知識產權,以及青年科學家培養。無論是資助機構、聘用科學家的科研機構,還是科學家自身,都迫切希望能夠對科研成果的質量和影響進行評價。因此,準確恰當地評價科研成果是極為重要的。
現階段,期刊影響因子被廣泛應用于個人和機構的科研成果評價。期刊影響因子由湯森路透計算得出,最初只是作為一個工具來幫助圖書管理員鑒定要購買的期刊,而非用來評價論文本身的研究質量。鑒于此,我們非常有必要理解期刊影響因子在用于科研評價過程中存在的一系列顯著缺陷,主要包括:
第一,期刊的引文分布高度不平衡[1-3];第二,期刊影響因子的性質有很強的學科領域屬性:它是多種多樣的文章類型的組合,包括一般研究論文和綜述類論文[1,4];第三,期刊影響因子可以被出版政策操縱或“設計”[5];第四,用以計算期刊影響因子的數據既不透明也不可公開獲取[4,6,7]。 下面,我們將提出一系列提升科研成果質量評價方法的建議。未來,學術論文外的其他科研成果的重要性會在研究質量評價中逐步提升,但經同行評議的學術論文仍然是用于科研評價的核心科研成果。因此,下列建議將主要針對發表在同行評議學術期刊的論文,但也可以且應該延伸至其他被認可的重要科研成果,例如數據集。這些建議主要針對資助機構、學術研究機構、期刊、計量指標的提供方和單個研究人員。
在提出建議時主要考慮的幾個原則:
在資助、聘用和晉升科研人員時,需要擯棄使用基于期刊的計量指標,例如期刊影響因子; 需要評價研究工作本身的價值,而非出版物所在期刊的價值; 要充分利用在線出版的機會,例如放寬對于論文字數、數據和參考文獻不必要的限制,并探索評價重要性與影響力的新指標。 我們認識到,許多資助機構、科研機構、出版社和科研人員已經開始鼓勵應用新的方式進行評價。這些措施正逐步促進科研評價方法向著更科學、更符合實際的方向發展,以供各有關方采納或改進。
《舊金山科研評價宣言》的簽署者支持在科研評價中采用以下做法。
總體建議
禁止使用基于期刊的定量指標如期刊影響因子作為評價單篇論文質量的替代指標,來衡量科學家個人的研究貢獻,以及在人員聘用、晉升或資助決策中直接使用。
關于評價的標準,在評價項目申請者(特別是職業生涯早期研究人員)科研產出能力方面,要 明確學術論文的科學內涵比出版物的計量指標或期刊等級重要得多。
除學術論文之外,評價還應考慮所有科研成果(包括數據集和軟件),以及更廣泛的社會影響(包括定性指標),如對政策和實踐的影響,以更好地達成評價的目的。
關于評價的標準,在服務于人員招聘、終身聘用和晉升(特別是職業生涯早期研究人員)等方面的決策時,要明確學術論文的科學內涵比出版物的計量指標或期刊等級重要得多。
除學術論文之外,評價還應考慮所有科研成果(包括數據集和軟件)的價值和影響,以及更廣泛的社會影響的評價方法(包括定性指標),如對政策和實踐的影響的評價方法,以更好地達成評價的目的。
大幅減少將期刊影響因子作為宣傳手段的行為。理想情況應當是停止推廣影響因子,或者只將其作為眾多基于期刊的計量指標(如5年期影響因子、特征因子[8]、SCImago期刊排名[9]、H指數、編輯與出版次數等)的其中一項指標,以便更全面地評價期刊質量。
提供廣泛的基于論文自身的評價指標,促使評價更側重于科學內容本身,而非其發表的期刊。
鼓勵責任制署名,并提供每位作者的個人貢獻信息。
無論該期刊屬于開放獲取或是訂閱制,都應取消在研究論文的參考文獻列表上重復使用的限制,應遵循“創作共享公共領域使用協議”[10]使其公開。
取消或減少對研究論文參考文獻數量的限制,并在適當情況下,要求引用原始文獻而非二手評述文獻,以便凸顯首次公布該研究發現的科研團隊的貢獻。
通過提供計量指標所采用的數據和方法,保證計算過程的開放和透明。
提供計算數據,并允許不受限制地重復使用,在可能的情況下提供方便計算機可讀的數據。
要明白不恰當地操縱評價指標的行為不可容忍;明確非正當操縱的行為類別,并打擊非正當操縱的措施。
計量指標在使用、匯總統計或比較時,應充分考慮不同文獻種類(如綜述類論文與一般研究論文)和研究領域之間的差異性。
在委員會進行人員資助、招聘、終身聘用或晉升等方面決策時,評價應基于科學內涵本身而非出版物計量指標。
在適當情況下,應引用首次公布研究成果的原始文獻而非綜述類文章,以凸顯前者的貢獻。
在個人陳述材料或證明材料中應使用豐富多樣的論文定量指標,作為個人發表論文及其影響的證明。
反對過分依靠期刊影響因子作為科研評價指標的做法,推廣傳播關注科研成果本身價值和影響的評價實踐。

Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union. Seglen, P.O. (1997)
Why the impact factor of journals should not be used for evaluating research. BMJ 314, 498–502. Editorial (2005).
Not so deep impact. Nature 435, 1003–1004. Vanclay, J.K. (2012)
Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometric 92, 211–238.
The PLoS Medicine Editors (2006).
The impact factor game. PLoS Med 3(6): e291 doi:10.1371/journal.pmed.0030291.
Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. J. Cell Biol. 179, 1091–1092.
Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254–255.
http://www.eigenfactor.org/
http://www.scimagojr.com/ http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
http://altmetrics.org/tools/ (Link to archived site)
*期刊影響因子現已由Clarivate Analytics(科睿唯安)出版。
一起成為DORA支持者
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.