在评论科研论文时首先要评价论文的结果对吗吗
在评价科研论文时首先要评价论文的结果对吗
第一方面,即总的原则是:基于指标的量化评估是第二位的,是辅助性的,而同行评价的质性评估是第一位,是主导性的。量化指标可以降低同行评价中的偏见,促进更加深入的审议,提高同行评价的质量,但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责,而不是完全让“数据说话”了事(第一条原则)。所以,“莱顿宣言”并不提倡科研评价要用量化指标,更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。第二方面,在总的原则指导下,运用科研评价指标做具体评价工作时的下位原则,即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点,所以需要在评价过程中特别注意科研活动的使命的差异(第二条原则)、地域性的差异(第三条原则)、学科性的差异(第六条原则)、个体性的差异(第七条原则)。这些差异容易被量化指标遮蔽,所以需要在评价中采用综合计量或者质性评估办法。第三方面,关于科研评价指标的具体数据采集和分析的要求,要公开透明(第四条原则)、可以复核验证(第五条原则)。第四方面,对科研评价指标的态度,要理解实质内涵(第八条原则)、警惕负面影响(第九条原则)、不断改进完善(第十条原则)。“莱顿宣言”每一条都内涵丰富,指向明确。与之对比,可以发现,我国科学评价工作还大有改进空间。“旧金山宣言”纠偏“以刊评文”“旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA)的提出源于2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出关于科研评价的建议,在此基础上形成了“旧金山宣言”,2013年5月,78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注,《科学》杂志撰写社论支持“旧金山宣言”,认为影响因子最重要的危害是可能妨碍创新,它引导科学家关注发高影响因子的文章,追逐所谓的“热点”,而不是潜心科研创新。
评价应该基于产出:评价应基于产出的道理是显然的。一个研究者或者一项研究获得了很多经费,但没有或少有成果,只能说这个人的这项研究没有做好,经费再多也是没做好。 衡量产出不光要看产量更要看销量: 评价一个科研人员或机构(知识产品的生产者)的研究成果的好坏,要看其是否适销对路,消费者(同行科学家)是否欢迎、接受或使用它;而不是看他发表了多少文章或著作。如果其论文和著作不受同行欢迎、不被同行接受,生产得越多越浪费。 评价应该是分权的而不是集权的:集权评价面临的问题首先是评价权向谁集中,似乎应该是专家评价。但专家评价必须事先确定谁是专家,而这本身又是一个评价问题,所以专家评价并未最终解决评价问题。即使找到了的真正的专家,如果把评价权集中于少数几个专家,评价结果的对错完全取决于他们的评判,风险其实是很大的。因为,专家的理性也是有限的,而且他们常常并不是真正的使用者,其评判可能还不如使用者正确。而且他们还可能以权谋私,从而歪曲评价结果,而以权谋私之所以可能,就在于评价权集中在少数人手里。 评价应该是一个持续的过程:我们现在的评价体制实际上是一种不相信科学家本身的评价体制,是一种一次性的评价,如投稿时论文的评审人或成果鉴定时的几个专家的评价。好的评价体制应该是多次的,甚至是一个无止境的过程,发表和出版只是最基本的层次,以后还要经过科学界反复的评价。单靠发表(或鉴定)一个层次的评价是不够的。 基于引用的评价遵循了这四个原则:因为科学成果不能卖钱,换句话说,科学成果(如一篇科学论文)的消费者或使用者(常常是同行科学家),无需为使用别人的科学成果而付钱。但他仍需支付一样东西,这样东西就是使用者对原作者的引用,否则就是剽窃。所以,评价一项科学成果只要计算其被引用的次数,就像评价一项产品只要数一下其货币选票一样,被引用次数越多越好。
评价科研水平不唯论文和奖项,我觉得这其实是可以落实的,因为随着时代的发展,评价并不是只能以这种形式来公布。
【争鸣与探讨】 全国第四轮学科评估方案中的科研评价部分,特别是“A类期刊”的增列与取消,一时成为热议话题。事实上,科研评价是世界性难题,最近几年,国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言”。放在世界的范围内,如何看待这次学科评估中某些新鲜尝试呢?有哪些可取之处和不足之处?“A类期刊”的取消不意味着相应的探索和思考也被取消。 “莱顿宣言”纠偏“量化至上” “莱顿宣言”(The Leiden Manifesto for research metrics)的提出源于2014年在荷兰莱顿召开的一次国际会议,美国佐治亚理工学院的公共政策教授Diana Hicks等提出了合理利用科学评价指标的七条原则,后来扩充为十条,并于2015年4月发表在《自然》杂志上。 “莱顿宣言”的十条原则,简言之,第一,量化评估应当支撑质化的专家评估,而不是取而代之;第二,衡量绩效应基于机构、团队和个人的科研使命;第三,保护卓越的本地化的相关研究;第四,保持数据采集和分析过程的公开、透明和简单;第五,允许被评估者验证数据和分析;第六,考虑发表和引用的学科差异;第七,对个人研究的评价应基于其综合作品的质性评价;第八,应避免评估指标的不当的具体性和虚假的精确性;第九,识别认清评价指标对科研系统的影响;第十,定期审查评价指标并加以改进。 按笔者的理解,这十大原则可以归为四个方面。 第一方面,即总的原则是:基于指标的量化评估是第二位的,是辅助性的,而同行评价的质性评估是第一位,是主导性的。量化指标可以降低同行评价中的偏见,促进更加深入的审议,提高同行评价的质量,但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责,而不是完全让“数据说话”了事(第一条原则)。所以,“莱顿宣言”并不提倡科研评价要用量化指标,更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。 第二方面,在总的原则指导下,运用科研评价指标做具体评价工作时的下位原则,即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点,所以需要在评价过程中特别注意科研活动的使命的差异(第二条原则)、地域性的差异(第三条原则)、学科性的差异(第六条原则)、个体性的差异(第七条原则)。这些差异容易被量化指标遮蔽,所以需要在评价中采用综合计量或者质性评估办法。 第三方面,关于科研评价指标的具体数据采集和分析的要求,要公开透明(第四条原则)、可以复核验证(第五条原则)。 第四方面,对科研评价指标的态度,要理解实质内涵(第八条原则)、警惕负面影响(第九条原则)、不断改进完善(第十条原则)。 “莱顿宣言”每一条都内涵丰富,指向明确。与之对比,可以发现,我国科学评价工作还大有改进空间。 “旧金山宣言”纠偏“以刊评文” “旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA)的提出源于2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出关于科研评价的建议,在此基础上形成了“旧金山宣言”,2013年5月,78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注,《科学》杂志撰写社论支持“旧金山宣言”,认为影响因子最重要的危害是可能妨碍创新,它引导科学家关注发高影响因子的文章,追逐所谓的“热点”,而不是潜心科研创新。 “旧金山宣言”并不像“莱顿宣言”那样包含相当宽泛的内容,它只是针对期刊的计量指标(主要是期刊影响因子)而提出的,呼吁科学界停止使用期刊影响因子来评价科学家及其工作。内容包括总体建议以及对资助机构、研究机构、出版机构、计量指标提供机构以及科研人员的建议,共计18条。总体建议是:“停止使用期刊影响因子等期刊计量指标作为替代指标,来评价单个研究论文或学者个体的贡献,或者是作为聘用、晋升、资助等方面的依据。”其他区分对象的建议都是围绕着总建议展开的。 期刊影响因子是20世纪50年代由汤姆森路透公司开发出来的,其最初提出的目的是为帮助图书馆评估和挑选决定订购哪种期刊,但是现在影响因子已经被广泛应用于评价个人和研究机构的水平和贡献。期刊影响因子的含义是某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。可见它只是期刊的评价指标,并非科研工作本身的评价指标,影响因子不具有对学术质量精确评价的功能,所以不能单凭影响因子就断言论文优劣。“旧金山宣言”倡导的就是评估科研工作要回归到科研工作本身的价值中去,而不是基于刊载的期刊。 “A类期刊”弊大于利 回到开篇的话题。客观地讲,这次学科评估方案在完善科研评价方面积极探索,其价值取向和工作方向与“莱顿宣言”所倡导的内容是比较契合的。比如在评估方案和相关说明中,提出“学术论文质量”采用“三结合”评价组合。一是坚持质量与数量相结合,采用代表性论文,在“比总量”与“比人均”之间找到平衡点;二是坚持主观与客观相结合,通过量化指标统计进行客观评价外,还通过“代表性论文”进行专家主观评价;三是坚持国内与国外相结合,要求包含一定比例的中文期刊,强化中国论文评价话语权。这背后的指导思想都是“莱顿宣言”提倡的摒弃“唯量化指标论”,采用更加综合的评价方式。 “莱顿宣言”的第三条原则特别提到,要保护卓越的本地化的研究。研究的卓越不等同于在国际期刊上发表英文论文。一些偏重于本国或者区域性的课题的研究,往往并不被知名的英文期刊所青睐。“只有基于高质量的本地语言期刊的指标才能正确评价和推动卓越的本地化的研究。”这高度契合了这次评估中强化国内研究论文地位的思想。 但“A类期刊”的取消仍有许多值得反思和总结的地方。无论如何,“A类期刊”的设定其本质依然是“以刊评文”,这是“旧金山宣言”所明确反对的。“以刊定质”,而不是用学术质量本身来评价科学研究,已经日益遭到越来越多人的反思、质疑、批评和抵制,这个时候又祭出这杆大旗,似有逆向而动之嫌。真正需要下功夫的是如何在同行评价和代表作评价方面拿出切实可行的操作办法,而不是继续在“看刊物、数数量”的道路上越走越远,那样只能带来更多的浮躁。更为重要的是,教育行政部门在主导此事,其“指挥棒的力量”不会随评估结束而结束,而会长久发挥作用。量化指标的推出在世界范围内几乎都是“民间”行为,鲜见教育行政部门直接推动设立。无论是从“管办评分离”“放管服”的角度,还是从落实创新发展理念、推进“两个一流建设”的角度,推出“A类期刊”都是弊大于利。
在评价科研论文时,首先要评价论文的结果对吗
【争鸣与探讨】 全国第四轮学科评估方案中的科研评价部分,特别是“A类期刊”的增列与取消,一时成为热议话题。事实上,科研评价是世界性难题,最近几年,国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言”。放在世界的范围内,如何看待这次学科评估中某些新鲜尝试呢?有哪些可取之处和不足之处?“A类期刊”的取消不意味着相应的探索和思考也被取消。 “莱顿宣言”纠偏“量化至上” “莱顿宣言”(The Leiden Manifesto for research metrics)的提出源于2014年在荷兰莱顿召开的一次国际会议,美国佐治亚理工学院的公共政策教授Diana Hicks等提出了合理利用科学评价指标的七条原则,后来扩充为十条,并于2015年4月发表在《自然》杂志上。 “莱顿宣言”的十条原则,简言之,第一,量化评估应当支撑质化的专家评估,而不是取而代之;第二,衡量绩效应基于机构、团队和个人的科研使命;第三,保护卓越的本地化的相关研究;第四,保持数据采集和分析过程的公开、透明和简单;第五,允许被评估者验证数据和分析;第六,考虑发表和引用的学科差异;第七,对个人研究的评价应基于其综合作品的质性评价;第八,应避免评估指标的不当的具体性和虚假的精确性;第九,识别认清评价指标对科研系统的影响;第十,定期审查评价指标并加以改进。 按笔者的理解,这十大原则可以归为四个方面。 第一方面,即总的原则是:基于指标的量化评估是第二位的,是辅助性的,而同行评价的质性评估是第一位,是主导性的。量化指标可以降低同行评价中的偏见,促进更加深入的审议,提高同行评价的质量,但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责,而不是完全让“数据说话”了事(第一条原则)。所以,“莱顿宣言”并不提倡科研评价要用量化指标,更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。 第二方面,在总的原则指导下,运用科研评价指标做具体评价工作时的下位原则,即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点,所以需要在评价过程中特别注意科研活动的使命的差异(第二条原则)、地域性的差异(第三条原则)、学科性的差异(第六条原则)、个体性的差异(第七条原则)。这些差异容易被量化指标遮蔽,所以需要在评价中采用综合计量或者质性评估办法。 第三方面,关于科研评价指标的具体数据采集和分析的要求,要公开透明(第四条原则)、可以复核验证(第五条原则)。 第四方面,对科研评价指标的态度,要理解实质内涵(第八条原则)、警惕负面影响(第九条原则)、不断改进完善(第十条原则)。 “莱顿宣言”每一条都内涵丰富,指向明确。与之对比,可以发现,我国科学评价工作还大有改进空间。 “旧金山宣言”纠偏“以刊评文” “旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA)的提出源于2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出关于科研评价的建议,在此基础上形成了“旧金山宣言”,2013年5月,78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注,《科学》杂志撰写社论支持“旧金山宣言”,认为影响因子最重要的危害是可能妨碍创新,它引导科学家关注发高影响因子的文章,追逐所谓的“热点”,而不是潜心科研创新。 “旧金山宣言”并不像“莱顿宣言”那样包含相当宽泛的内容,它只是针对期刊的计量指标(主要是期刊影响因子)而提出的,呼吁科学界停止使用期刊影响因子来评价科学家及其工作。内容包括总体建议以及对资助机构、研究机构、出版机构、计量指标提供机构以及科研人员的建议,共计18条。总体建议是:“停止使用期刊影响因子等期刊计量指标作为替代指标,来评价单个研究论文或学者个体的贡献,或者是作为聘用、晋升、资助等方面的依据。”其他区分对象的建议都是围绕着总建议展开的。 期刊影响因子是20世纪50年代由汤姆森路透公司开发出来的,其最初提出的目的是为帮助图书馆评估和挑选决定订购哪种期刊,但是现在影响因子已经被广泛应用于评价个人和研究机构的水平和贡献。期刊影响因子的含义是某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。可见它只是期刊的评价指标,并非科研工作本身的评价指标,影响因子不具有对学术质量精确评价的功能,所以不能单凭影响因子就断言论文优劣。“旧金山宣言”倡导的就是评估科研工作要回归到科研工作本身的价值中去,而不是基于刊载的期刊。 “A类期刊”弊大于利 回到开篇的话题。客观地讲,这次学科评估方案在完善科研评价方面积极探索,其价值取向和工作方向与“莱顿宣言”所倡导的内容是比较契合的。比如在评估方案和相关说明中,提出“学术论文质量”采用“三结合”评价组合。一是坚持质量与数量相结合,采用代表性论文,在“比总量”与“比人均”之间找到平衡点;二是坚持主观与客观相结合,通过量化指标统计进行客观评价外,还通过“代表性论文”进行专家主观评价;三是坚持国内与国外相结合,要求包含一定比例的中文期刊,强化中国论文评价话语权。这背后的指导思想都是“莱顿宣言”提倡的摒弃“唯量化指标论”,采用更加综合的评价方式。 “莱顿宣言”的第三条原则特别提到,要保护卓越的本地化的研究。研究的卓越不等同于在国际期刊上发表英文论文。一些偏重于本国或者区域性的课题的研究,往往并不被知名的英文期刊所青睐。“只有基于高质量的本地语言期刊的指标才能正确评价和推动卓越的本地化的研究。”这高度契合了这次评估中强化国内研究论文地位的思想。 但“A类期刊”的取消仍有许多值得反思和总结的地方。无论如何,“A类期刊”的设定其本质依然是“以刊评文”,这是“旧金山宣言”所明确反对的。“以刊定质”,而不是用学术质量本身来评价科学研究,已经日益遭到越来越多人的反思、质疑、批评和抵制,这个时候又祭出这杆大旗,似有逆向而动之嫌。真正需要下功夫的是如何在同行评价和代表作评价方面拿出切实可行的操作办法,而不是继续在“看刊物、数数量”的道路上越走越远,那样只能带来更多的浮躁。更为重要的是,教育行政部门在主导此事,其“指挥棒的力量”不会随评估结束而结束,而会长久发挥作用。量化指标的推出在世界范围内几乎都是“民间”行为,鲜见教育行政部门直接推动设立。无论是从“管办评分离”“放管服”的角度,还是从落实创新发展理念、推进“两个一流建设”的角度,推出“A类期刊”都是弊大于利。
在相关论文具有专业的文学性质的时候,例如国内外比较顶尖的文章,像自然科学之类的期刊,这些都会将文学性作为相关的评价标准,虽然具有一定的科学性基础,但是最好的还是要呈现出一定的文学性。
首先要有准确真实和逻辑性,符合科学实用明确指出论文的实用价值是论文的基础,创新也要有先进性,表明自己的观点和看法具有一定的科学性基础,还要呈现出学术规范价值层面的规范。
第一方面,即总的原则是:基于指标的量化评估是第二位的,是辅助性的,而同行评价的质性评估是第一位,是主导性的。量化指标可以降低同行评价中的偏见,促进更加深入的审议,提高同行评价的质量,但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责,而不是完全让“数据说话”了事(第一条原则)。所以,“莱顿宣言”并不提倡科研评价要用量化指标,更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。第二方面,在总的原则指导下,运用科研评价指标做具体评价工作时的下位原则,即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点,所以需要在评价过程中特别注意科研活动的使命的差异(第二条原则)、地域性的差异(第三条原则)、学科性的差异(第六条原则)、个体性的差异(第七条原则)。这些差异容易被量化指标遮蔽,所以需要在评价中采用综合计量或者质性评估办法。第三方面,关于科研评价指标的具体数据采集和分析的要求,要公开透明(第四条原则)、可以复核验证(第五条原则)。第四方面,对科研评价指标的态度,要理解实质内涵(第八条原则)、警惕负面影响(第九条原则)、不断改进完善(第十条原则)。“莱顿宣言”每一条都内涵丰富,指向明确。与之对比,可以发现,我国科学评价工作还大有改进空间。“旧金山宣言”纠偏“以刊评文”“旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA)的提出源于2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出关于科研评价的建议,在此基础上形成了“旧金山宣言”,2013年5月,78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注,《科学》杂志撰写社论支持“旧金山宣言”,认为影响因子最重要的危害是可能妨碍创新,它引导科学家关注发高影响因子的文章,追逐所谓的“热点”,而不是潜心科研创新。
在评论科研论文时首先要评价论文的结果对吗吗
对的。无论是学位论文还是职称学术论文,正文都是有开头、讨论、结论等部分组成,其中结论是比较重要的部分,是整篇论文的总论点,也是文章的重要部分。
【争鸣与探讨】 全国第四轮学科评估方案中的科研评价部分,特别是“A类期刊”的增列与取消,一时成为热议话题。事实上,科研评价是世界性难题,最近几年,国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言”。放在世界的范围内,如何看待这次学科评估中某些新鲜尝试呢?有哪些可取之处和不足之处?“A类期刊”的取消不意味着相应的探索和思考也被取消。 “莱顿宣言”纠偏“量化至上” “莱顿宣言”(The Leiden Manifesto for research metrics)的提出源于2014年在荷兰莱顿召开的一次国际会议,美国佐治亚理工学院的公共政策教授Diana Hicks等提出了合理利用科学评价指标的七条原则,后来扩充为十条,并于2015年4月发表在《自然》杂志上。 “莱顿宣言”的十条原则,简言之,第一,量化评估应当支撑质化的专家评估,而不是取而代之;第二,衡量绩效应基于机构、团队和个人的科研使命;第三,保护卓越的本地化的相关研究;第四,保持数据采集和分析过程的公开、透明和简单;第五,允许被评估者验证数据和分析;第六,考虑发表和引用的学科差异;第七,对个人研究的评价应基于其综合作品的质性评价;第八,应避免评估指标的不当的具体性和虚假的精确性;第九,识别认清评价指标对科研系统的影响;第十,定期审查评价指标并加以改进。 按笔者的理解,这十大原则可以归为四个方面。 第一方面,即总的原则是:基于指标的量化评估是第二位的,是辅助性的,而同行评价的质性评估是第一位,是主导性的。量化指标可以降低同行评价中的偏见,促进更加深入的审议,提高同行评价的质量,但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责,而不是完全让“数据说话”了事(第一条原则)。所以,“莱顿宣言”并不提倡科研评价要用量化指标,更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。 第二方面,在总的原则指导下,运用科研评价指标做具体评价工作时的下位原则,即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点,所以需要在评价过程中特别注意科研活动的使命的差异(第二条原则)、地域性的差异(第三条原则)、学科性的差异(第六条原则)、个体性的差异(第七条原则)。这些差异容易被量化指标遮蔽,所以需要在评价中采用综合计量或者质性评估办法。 第三方面,关于科研评价指标的具体数据采集和分析的要求,要公开透明(第四条原则)、可以复核验证(第五条原则)。 第四方面,对科研评价指标的态度,要理解实质内涵(第八条原则)、警惕负面影响(第九条原则)、不断改进完善(第十条原则)。 “莱顿宣言”每一条都内涵丰富,指向明确。与之对比,可以发现,我国科学评价工作还大有改进空间。 “旧金山宣言”纠偏“以刊评文” “旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA)的提出源于2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出关于科研评价的建议,在此基础上形成了“旧金山宣言”,2013年5月,78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注,《科学》杂志撰写社论支持“旧金山宣言”,认为影响因子最重要的危害是可能妨碍创新,它引导科学家关注发高影响因子的文章,追逐所谓的“热点”,而不是潜心科研创新。 “旧金山宣言”并不像“莱顿宣言”那样包含相当宽泛的内容,它只是针对期刊的计量指标(主要是期刊影响因子)而提出的,呼吁科学界停止使用期刊影响因子来评价科学家及其工作。内容包括总体建议以及对资助机构、研究机构、出版机构、计量指标提供机构以及科研人员的建议,共计18条。总体建议是:“停止使用期刊影响因子等期刊计量指标作为替代指标,来评价单个研究论文或学者个体的贡献,或者是作为聘用、晋升、资助等方面的依据。”其他区分对象的建议都是围绕着总建议展开的。 期刊影响因子是20世纪50年代由汤姆森路透公司开发出来的,其最初提出的目的是为帮助图书馆评估和挑选决定订购哪种期刊,但是现在影响因子已经被广泛应用于评价个人和研究机构的水平和贡献。期刊影响因子的含义是某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。可见它只是期刊的评价指标,并非科研工作本身的评价指标,影响因子不具有对学术质量精确评价的功能,所以不能单凭影响因子就断言论文优劣。“旧金山宣言”倡导的就是评估科研工作要回归到科研工作本身的价值中去,而不是基于刊载的期刊。 “A类期刊”弊大于利 回到开篇的话题。客观地讲,这次学科评估方案在完善科研评价方面积极探索,其价值取向和工作方向与“莱顿宣言”所倡导的内容是比较契合的。比如在评估方案和相关说明中,提出“学术论文质量”采用“三结合”评价组合。一是坚持质量与数量相结合,采用代表性论文,在“比总量”与“比人均”之间找到平衡点;二是坚持主观与客观相结合,通过量化指标统计进行客观评价外,还通过“代表性论文”进行专家主观评价;三是坚持国内与国外相结合,要求包含一定比例的中文期刊,强化中国论文评价话语权。这背后的指导思想都是“莱顿宣言”提倡的摒弃“唯量化指标论”,采用更加综合的评价方式。 “莱顿宣言”的第三条原则特别提到,要保护卓越的本地化的研究。研究的卓越不等同于在国际期刊上发表英文论文。一些偏重于本国或者区域性的课题的研究,往往并不被知名的英文期刊所青睐。“只有基于高质量的本地语言期刊的指标才能正确评价和推动卓越的本地化的研究。”这高度契合了这次评估中强化国内研究论文地位的思想。 但“A类期刊”的取消仍有许多值得反思和总结的地方。无论如何,“A类期刊”的设定其本质依然是“以刊评文”,这是“旧金山宣言”所明确反对的。“以刊定质”,而不是用学术质量本身来评价科学研究,已经日益遭到越来越多人的反思、质疑、批评和抵制,这个时候又祭出这杆大旗,似有逆向而动之嫌。真正需要下功夫的是如何在同行评价和代表作评价方面拿出切实可行的操作办法,而不是继续在“看刊物、数数量”的道路上越走越远,那样只能带来更多的浮躁。更为重要的是,教育行政部门在主导此事,其“指挥棒的力量”不会随评估结束而结束,而会长久发挥作用。量化指标的推出在世界范围内几乎都是“民间”行为,鲜见教育行政部门直接推动设立。无论是从“管办评分离”“放管服”的角度,还是从落实创新发展理念、推进“两个一流建设”的角度,推出“A类期刊”都是弊大于利。
今天这个题目,如果由一个研究比我做得更好的人来讲可能更有好处。但是现在来讲这样题目的人太少了,所以我愿意来把一些不是很成熟的想法与大家分享,也非常感谢大家来听我的讲座。我今天讲座的题目是《现实·理论·证据》,这三个词摆放的位置基本上概括了今天晚上所有要讲的东西。如果你们听完之后明白了我为什么这样摆放三个词的位置,我想你们就听明白我所讲的意思了。我这样安排今天要说的内容:首先简单讲一下关于如何做研究;然后具体讲写论文的过程中应该注意的问题,穿插一些例子。 一、如何做研究选 题(topic) ▶做研究碰到的第一个问题是选题。我们首先要区分选题和问题的差异。经常会有学生来问我怎样做一个研究,我就问他想要研究什么问题?同学就会列出一些关键词,比如教育、农业等等。这些关键词严格说来不是你要研究的问题。关键词只是你研究的话题(topic),距离你研究的具体问题(question)还非常远。走完了topic到question的距离,你才迈出了研究的第一步,可以真正地开始一项研究了。选题要注意以下三个方面。 第一,你对什么感兴趣。如果对一个问题不感兴趣,你很难做出出色的研究。曾有一个硕士生跟我说,“陆老师,您有很多想法,随便给我一个我来做。”我对他说,我没有办法帮你,在你对这个问题感兴趣之前,你是做不好的。同学们在学习的过程中,一定会对某些问题感兴趣。有的时候你会有这样的体验,看到一篇文章时有激动的感觉,有时则不会,这就是兴趣的差别。一个人的兴趣与他的积累、阅读和个人经历都有关系。 来的路上王永钦老师跟我讲了一句话,我非常赞同:“大爱才能有大智慧。”怎么理解这句话?你在做一项研究的时候,一定要去论证自己的研究是重要的。怎么去论证研究的问题的重要性?就是这个问题的研究能改进人类社会、能为人类带来福利。接着问下去,这样的问题从何而来?那就要看我们能不能超越个人的喜乐、得失去关注整个社会的前途和命运。这就是兴趣的来源。一个好的经济学家应该有强烈的人文关怀和社会责任感。好的研究的起点是好的问题,这是成功的一大半。从这个意义上讲,做人和做学问是一致的。如果你不去关注对社会大众重要的问题,你十有八九做不成出色的学问;如果每天都想着争名夺利,就做不成出色的研究,因为你关注的问题对大多数人不重要。 第二,你要对这个问题有所理解,去选取你觉得重要的方面。数学不能告诉你什么是重要的,什么重要取决于你自己的理解。确定研究的方向后要根据自己的理解去关注更小的方面。比如在涉及三农问题的方方面面里,如果你觉得土地问题是最关键的,你已经往前走了一步。再接下来,你又认为关注“在工业化和城市化进程中,农村劳动力流向城市后,怎样使他们失去土地而获得社会保障”是重要的研究课题。如果你从三农问题出发,缩小到土地问题,再缩小到“如何用土地换保障”的时候,你已经从topic过渡到question了。 我举这个例子是特别想说明,中国的很多问题是现有的经济学理论无法告诉你的。比如,在城市化的过程中,农村居民失去土地,这是在全世界范围内大多数国家都有社会保障体制的背景下发生的。所以中国不可能像西方的圈地运动一样,圈走农民的土地,把农民往城里赶就不管了。从国家的现代化和政治文明来讲,都不可能这样做了。这就牵涉到“土地换社会保障”的问题。那么土地如何作价?农民拥有的土地权力是什么权力?价格制定好后,多少钱是现金支付,多少钱放到社会保障体系里?现成的经济学理论没有告诉我们。美国和西欧在历史上走过这个阶段时,这不是一个经济学问题,是社会、政治问题。因此,我们需要一个新的理论去思考中国的现代化和城市化过程。第三,你关心的问题为什么重要?主要体现在两个方面:理论上的重要和实践上的重要。最好的研究是两者兼有。我不能排除有些杰出的文章,是在理论上重要而实践上不重要,或者实践上重要但理论上不重要的研究,特别是经济学里那些在方法论上有开创性工作的研究,往往有学术和理论的价值,而没有直接的社会实践意义。 以上三方面,在你做一个研究或写一篇论文时需要一一加以说明。我们很多同学把做研究理解为构建一个数学或计量模型,非常不重视“写”。你把数学的工作完成了,计量工作完成了,我要提醒你,可能你的研究工作只完成了百分之三十,至多百分之三十。因为你还没有告诉我们为什么重要。 现在的社会科学分工,特别是经济学的分工,是非常非常细的。所以你拿到一百篇文章你可能对九十九篇的内容根本不了解,那么这剩下的九十九篇你看哪些呢?我们在平时看文章时先看摘要,它会告诉你他研究了些什么东西,做出了什么贡献,然后再看引言(introduction),比较详细地回答前面的问题。最后看结论,看这个研究得到什么有创见的内容。最后才看文章的主体部分,理论和实证的模型。如果你的摘要和引言写得不好,别人看到五百字的时候,就不看你的文章了。如果你不重视这些,你的研究可能就产生不了它应该有的社会价值,所以一定要重视,甚至可能需要70%的时间来写引言。
在评论科研论文时首先要评价论文的结果对吗
第一方面,即总的原则是:基于指标的量化评估是第二位的,是辅助性的,而同行评价的质性评估是第一位,是主导性的。量化指标可以降低同行评价中的偏见,促进更加深入的审议,提高同行评价的质量,但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责,而不是完全让“数据说话”了事(第一条原则)。所以,“莱顿宣言”并不提倡科研评价要用量化指标,更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。第二方面,在总的原则指导下,运用科研评价指标做具体评价工作时的下位原则,即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点,所以需要在评价过程中特别注意科研活动的使命的差异(第二条原则)、地域性的差异(第三条原则)、学科性的差异(第六条原则)、个体性的差异(第七条原则)。这些差异容易被量化指标遮蔽,所以需要在评价中采用综合计量或者质性评估办法。第三方面,关于科研评价指标的具体数据采集和分析的要求,要公开透明(第四条原则)、可以复核验证(第五条原则)。第四方面,对科研评价指标的态度,要理解实质内涵(第八条原则)、警惕负面影响(第九条原则)、不断改进完善(第十条原则)。“莱顿宣言”每一条都内涵丰富,指向明确。与之对比,可以发现,我国科学评价工作还大有改进空间。“旧金山宣言”纠偏“以刊评文”“旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA)的提出源于2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出关于科研评价的建议,在此基础上形成了“旧金山宣言”,2013年5月,78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注,《科学》杂志撰写社论支持“旧金山宣言”,认为影响因子最重要的危害是可能妨碍创新,它引导科学家关注发高影响因子的文章,追逐所谓的“热点”,而不是潜心科研创新。
【争鸣与探讨】 全国第四轮学科评估方案中的科研评价部分,特别是“A类期刊”的增列与取消,一时成为热议话题。事实上,科研评价是世界性难题,最近几年,国际学术界提出了科研评价方面的两个“宣言”——“莱顿宣言”和“旧金山宣言”。放在世界的范围内,如何看待这次学科评估中某些新鲜尝试呢?有哪些可取之处和不足之处?“A类期刊”的取消不意味着相应的探索和思考也被取消。 “莱顿宣言”纠偏“量化至上” “莱顿宣言”(The Leiden Manifesto for research metrics)的提出源于2014年在荷兰莱顿召开的一次国际会议,美国佐治亚理工学院的公共政策教授Diana Hicks等提出了合理利用科学评价指标的七条原则,后来扩充为十条,并于2015年4月发表在《自然》杂志上。 “莱顿宣言”的十条原则,简言之,第一,量化评估应当支撑质化的专家评估,而不是取而代之;第二,衡量绩效应基于机构、团队和个人的科研使命;第三,保护卓越的本地化的相关研究;第四,保持数据采集和分析过程的公开、透明和简单;第五,允许被评估者验证数据和分析;第六,考虑发表和引用的学科差异;第七,对个人研究的评价应基于其综合作品的质性评价;第八,应避免评估指标的不当的具体性和虚假的精确性;第九,识别认清评价指标对科研系统的影响;第十,定期审查评价指标并加以改进。 按笔者的理解,这十大原则可以归为四个方面。 第一方面,即总的原则是:基于指标的量化评估是第二位的,是辅助性的,而同行评价的质性评估是第一位,是主导性的。量化指标可以降低同行评价中的偏见,促进更加深入的审议,提高同行评价的质量,但量化指标不应取代评估者基于充分信息基础上的判断。评估者仍然需要对其评估负责,而不是完全让“数据说话”了事(第一条原则)。所以,“莱顿宣言”并不提倡科研评价要用量化指标,更不提倡把量化指标作为主导甚至是唯一指标。“莱顿宣言”只是说在用到起辅助作用的量化指标时需要注意的一些原则。 第二方面,在总的原则指导下,运用科研评价指标做具体评价工作时的下位原则,即要充分考虑科研活动本身是创造性的、个性化的、独特性的等特点,所以需要在评价过程中特别注意科研活动的使命的差异(第二条原则)、地域性的差异(第三条原则)、学科性的差异(第六条原则)、个体性的差异(第七条原则)。这些差异容易被量化指标遮蔽,所以需要在评价中采用综合计量或者质性评估办法。 第三方面,关于科研评价指标的具体数据采集和分析的要求,要公开透明(第四条原则)、可以复核验证(第五条原则)。 第四方面,对科研评价指标的态度,要理解实质内涵(第八条原则)、警惕负面影响(第九条原则)、不断改进完善(第十条原则)。 “莱顿宣言”每一条都内涵丰富,指向明确。与之对比,可以发现,我国科学评价工作还大有改进空间。 “旧金山宣言”纠偏“以刊评文” “旧金山宣言”(The San Francisco Declaration on Research Assessment,DORA)的提出源于2012年12月美国细胞生物学学会年会期间,一些学术期刊的编辑和出版者提出关于科研评价的建议,在此基础上形成了“旧金山宣言”,2013年5月,78个科学组织的155位科学家签署了这份宣言。“旧金山宣言”引发了世界科学界的广泛关注,《科学》杂志撰写社论支持“旧金山宣言”,认为影响因子最重要的危害是可能妨碍创新,它引导科学家关注发高影响因子的文章,追逐所谓的“热点”,而不是潜心科研创新。 “旧金山宣言”并不像“莱顿宣言”那样包含相当宽泛的内容,它只是针对期刊的计量指标(主要是期刊影响因子)而提出的,呼吁科学界停止使用期刊影响因子来评价科学家及其工作。内容包括总体建议以及对资助机构、研究机构、出版机构、计量指标提供机构以及科研人员的建议,共计18条。总体建议是:“停止使用期刊影响因子等期刊计量指标作为替代指标,来评价单个研究论文或学者个体的贡献,或者是作为聘用、晋升、资助等方面的依据。”其他区分对象的建议都是围绕着总建议展开的。 期刊影响因子是20世纪50年代由汤姆森路透公司开发出来的,其最初提出的目的是为帮助图书馆评估和挑选决定订购哪种期刊,但是现在影响因子已经被广泛应用于评价个人和研究机构的水平和贡献。期刊影响因子的含义是某期刊前两年发表的论文在统计当年的被引用总次数除以该期刊在前两年内发表的论文总数。可见它只是期刊的评价指标,并非科研工作本身的评价指标,影响因子不具有对学术质量精确评价的功能,所以不能单凭影响因子就断言论文优劣。“旧金山宣言”倡导的就是评估科研工作要回归到科研工作本身的价值中去,而不是基于刊载的期刊。 “A类期刊”弊大于利 回到开篇的话题。客观地讲,这次学科评估方案在完善科研评价方面积极探索,其价值取向和工作方向与“莱顿宣言”所倡导的内容是比较契合的。比如在评估方案和相关说明中,提出“学术论文质量”采用“三结合”评价组合。一是坚持质量与数量相结合,采用代表性论文,在“比总量”与“比人均”之间找到平衡点;二是坚持主观与客观相结合,通过量化指标统计进行客观评价外,还通过“代表性论文”进行专家主观评价;三是坚持国内与国外相结合,要求包含一定比例的中文期刊,强化中国论文评价话语权。这背后的指导思想都是“莱顿宣言”提倡的摒弃“唯量化指标论”,采用更加综合的评价方式。 “莱顿宣言”的第三条原则特别提到,要保护卓越的本地化的研究。研究的卓越不等同于在国际期刊上发表英文论文。一些偏重于本国或者区域性的课题的研究,往往并不被知名的英文期刊所青睐。“只有基于高质量的本地语言期刊的指标才能正确评价和推动卓越的本地化的研究。”这高度契合了这次评估中强化国内研究论文地位的思想。 但“A类期刊”的取消仍有许多值得反思和总结的地方。无论如何,“A类期刊”的设定其本质依然是“以刊评文”,这是“旧金山宣言”所明确反对的。“以刊定质”,而不是用学术质量本身来评价科学研究,已经日益遭到越来越多人的反思、质疑、批评和抵制,这个时候又祭出这杆大旗,似有逆向而动之嫌。真正需要下功夫的是如何在同行评价和代表作评价方面拿出切实可行的操作办法,而不是继续在“看刊物、数数量”的道路上越走越远,那样只能带来更多的浮躁。更为重要的是,教育行政部门在主导此事,其“指挥棒的力量”不会随评估结束而结束,而会长久发挥作用。量化指标的推出在世界范围内几乎都是“民间”行为,鲜见教育行政部门直接推动设立。无论是从“管办评分离”“放管服”的角度,还是从落实创新发展理念、推进“两个一流建设”的角度,推出“A类期刊”都是弊大于利。
主要是从写作角度对全篇论文作出评价。评价要点是:1.观点是否正确、鲜明;2.论据是否充分;3,分析是否全面;4.结构是否合理;5.语句是否通顺;6.有无现实指导意义。下面是《对制止中小学乱收费现象的几点思考》一文的评语:本文能理论联系实际,对当前中小学乱收费现象的表现及其产生原因作了较全面的和较为深刻的分析,并提出了制止措施,对实际工作有一定的参考作用和参考价值。论文论点鲜明,结构合理,条理分明,论据较充分,语句通顺,文笔流畅。
选题符合专业的目标和特色,而且选题很具有针对性和现实意义。文章结构安排合理,层次清楚,写作是参考的相关文献资料与主题联系紧密,而且参考的资料比较新,在写作的过程中作者较好地运用专业知识来分析,再论证过程中,主要用理论论证和事实论证。但文章不足之处在于语句表达不清晰,论证还不够深刻充分,创新点还不够。总体上符合毕业论文要求。这是论文评语怎么写的范文。
在评价科研论文时首先要评价论文的结果吗
对论文进行客观公正的判断,是论文投稿的前提。所谓“知己知彼,百战不殆”对科研工作者而言,投稿SCI论文是一场不得不经历的无形战争。因此,对自己的论文进行有效的评估是颇有裨益的,直接决定了这篇文章的收稿周期及意义。 结合我们的工作经验,在对论文实施评估时,可从以下领域着手: 自身素质:稿件自身素质包括研究创新点,研究技术、方法及所用的数据获取与分析等。 研究创新点:创新点就是突破,不是模仿别人的研究。即使是方法上存在借鉴的成分,但是所得的结果也一定要在该领域有一定贡献。如果是单纯的跟风研究,这种文章基本上没有创新点,发表的可能性也就不大。在评价论文的创新点时要时刻关注当前研究进展。一篇文章之所以会被接受就是因为这篇文章可以为同行的研究带来一定的指导意义。 研究技术与方法:现在研究技术直接决定了发表成果的档次。也就是说没有基金支持的项目一般是很难发表SCI论文的。之所以这样说是由于有基金项目,才会跟上相应的技术设备。先进的技术加上创新的IDEA等于高分值的文章。试想分子生物学领域单纯的PCR技术所得的成果与荧光定量PCR相比,哪种更有说明力?此外,研究的方法也要有新意,不能总是借鉴别人的方法,换换材料去做科研。那样出来的结果其实多数是重复性的工作。 数据获取与分析:数据获取一定要严格按照规范进行。数据分析建议大家采用图文并茂的方式。用清晰的图片,严格的数据分析表述研究结果。这样显得严谨、专业。如果一篇文献的数据分析极为简陋,那篇文献的意义也就不会太大。 外界条件:外界条件包括期刊定位、别的研究组的结果。 对自己的文章有了一定定位后,就要看期刊的要求了。期刊的收稿范围(Aim & Scope)、期刊的IF,我这篇文章是否可以达到这个IF。每位作者都会有几个拟投稿期刊,但是为了确保的文章投稿有把握,尽量选择相当的期刊,不要好高骛远。论文的研究意义都具有及时性,如果不及时发表研究意义就会降低。所以选择好期刊尤为重要。 对别的研究组而言,投稿作者的研究意义在于给同行一定的思考与指导意义。一篇文章总有一个值得去“炫耀”的点,告诉别人这个点是我们得到的,会对同行们有什么意义。没有可“炫耀”的点,如何与同行交流,又如何在期刊得以发表呢?
评价科研论文的直观指标是所在杂志的水平(中文核心/sci,影响因子高低),发表时间较长的论文可以看被引次数不过,影响因子代表的是杂志的整体水平,而且不能用于学科间的比较评价科研论文水平的根本指标是该篇论文发表后产生的影响力具体来讲,优秀论文的要素:1、正确选题;2、合适的切入点;3、简洁明了;4、说清自己的贡献;5、可靠的/可重现的结果;6、可重复的过程;7、好的文章结构和逻辑流程;8、精选的参考文献如果论文能在基础理论方法或技术手段方面有明确的创新点,自然很有价值