优化艺术学学术期刊论文评价机制与方法

2024-05-02 作者:李翔宇 来源:《中国社会科学评价》2023年第4期

微信公众号

分享
链接已复制

摘  要:学科目录调整、新型评价视角与方法涌现等现实,对完善和优化中国艺术学学术期刊论文评价提出新的要求。针对目前评价中存在的评价主体单一、过度量化等问题,确立可吸纳多元主体的同行评议机制,引入以“替代计量学”为基础的社会评价维度,合理运用具备“元评价”效能的智能评价技术,有助于优化艺术学学术期刊论文评价机制与方法,进一步完善艺术学期刊论文评价体系。

关键词:艺术学;论文评价;同行评价;智能评价

作者李翔宇,东南大学中国艺术发展评价研究院助理研究员(南京211189)。

  2022年发布的《研究生教育学科专业目录(2022年)》反映了艺术学在学科性质、功能目标、发展评价等方面的诸多变化。门类艺术的理论研究被合并至一级学科“艺术学”之中,突出强调了艺术学相关理论研究的交叉性、包容性和复杂性。面对这些重要调整,学科评价体系和评价方法等也应不断完善和优化,以更好地促进中国艺术学理论创新和实践发展。

  当前,中国艺术学评价普遍采用的是人文社会科学学科通用的评价体系,该体系对艺术学论文评价发挥了重要作用,但仍然存在诸种问题。例如,由于艺术学学术期刊论文存在成果转化周期较长、研究对象复杂、目标多元、注重个性的特点,论文一般难以在短时间内发挥明显的学术效益,出现革命性、颠覆性的学科研究热点的难度较大,所以艺术学论文的转引率难以反映其综合影响力;艺术学知识和研究具有多样性、本土性和文化特殊性等特征,因而其评估相比自然科学评价更具复杂性。这些问题导致当前艺术学学术期刊论文评价机制难以客观全面地体现出艺术学的学科独特性与学术实绩。因此,本文提出从评价主体、评价理念等层面进行改进,建立核心同行与周边同行相结合的同行评议机制,引入以“替代计量学”为基础的社会评价,应用具备“元评价”效能的智能评价技术,以促进更加契合艺术学学科特征的论文评价机制的形成。

  一、确立可吸纳多元主体的同行评议机制

  当下学术期刊评价发展的一个方向仍然是完善同行评议机制。相较于其他评价主体,同行专家能够基于以往的学术经验和学术积累,凭借优良的学科素养和敏锐的学术判断,在权衡各方面因素后对期刊论文质量作出更为科学的综合性判断。就艺术学而言,多数教师认为在充分尊重学科特色的前提下,同行评议仍是评价学术贡献和影响力的重要方式。因此,完善同行评议机制是评价体系建设中亟待解决的重要问题。

  (一)现行同行评议机制中的问题

  当前单篇艺术学学术期刊论文的刊前定性评价,通常会通过3位左右同行专家进行1—2次的定性评价,评价标准主要依赖于专家对刊物刊发标准的理解,以及专家个人的学术判断。笔者收集了部分艺术学业内同行对现行期刊论文同行评议机制的意见,综合来看,其中反映的主要问题包括以下几个方面。

  1.在现行的专家选择与评价过程中,遴选标准较为主观、遴选过程不够透明、遴选结果缺乏监督,导致同行筛选机制在客观公平性上存在不足。在目前中国艺术学学术期刊论文评价中, 对“小同行”专家的筛选主要依靠筛选者对艺术学学者的学术影响力的判断,对“小同行”专家公信力与权威性的评判较为主观,难以有效规避专家偏好和个人成见在论文同行评议中产生的消极影响。同时,由于缺少公开可查的同行专家数据库平台,无形中使得参与学术期刊论文同行评议的专家人选固定化,评审结果也会因此产生部分固化倾向。

  有学者曾在Nature撰文指出,同行评议容易造成裙带关系和性别歧视。这揭示了现阶段同行评议中,专家评价主观性较强、评价话语权较为集中、权威性核心同行群体较为有限、专家遴选手法较为单一所导致的不公平现象。对此,学术界普遍倾向于通过更加透明开放的流程加强对同行评议的监督,并倡导对评审专家与结果进行反评估。此外,应进一步丰富同行评议的评价主体,通过引入更为多元的评价视角避免评价话语权的过分集中,合理发挥艺术学周边同行专家学者、关心艺术学学科发展与学科建设的社会公众的评价作用,结合智能评价技术与平台进一步完善中国艺术学学术期刊论文同行评价的流程与机制。

  2.缺少对评审专家的反评估机制。张蕾、何云峰认为,常见的同行评议类型有“单向匿名评议、双向匿名评议、开放型同行评议、透明型同行评议、合作型同行评议、成果型同行评议和共享型同行评议”,虽然种类不少,但更多局限于对评议前与评议中的流程进行规范,缺乏评议后的反评估机制与对评审专家评议质量的监督机制。针对类似现象,国际学术期刊界在常用的同行评议类型中加入了三方盲审(triple blind review)和互动型同行评议(interactive review),在传统同行评议的基础上引入人工智能技术对稿件内容进行识别,并对对口审稿人进行筛选匹配,从而为作者和评审人提供更为公开透明的沟通互动机会,试图减少“人情稿”和“关系稿”的出现。可见,为减少同行评议的主观性和随意性,有必要基于艺术学学科特性对期刊论文评审中专家的评价结果进行分析和反评估,进而在未来同行评议中选择更匹配、更合适的专家。

  总体而言,当前的中国艺术学学术期刊论文同行评议机制存在价值尺度不统一、价值导向不明确、评价主体单一、评价流程不规范等问题,需要加快学术共同体建设,形成学术共同体内的共识性评价准则;通过发挥学术共同体的作用改进传统的同行评议机制,建构更符合艺术学学科特色和发展规律的同行评议机制。

  (二)同行评议机制的修正策略

  优化与完善中国艺术学学术期刊论文同行评议机制,一是要构建内容多元、自律公信的同行评议主体,二是要在此基础上建立以价值为导向的评价标准,建立超越传统、跨越媒介的同行评议机制。鉴于当前艺术学的发展情况与学科特色,构建更为科学完善的同行评议机制流程需要包括以下几个关键步骤。

  1.优化评价主体的遴选流程,精准识别“小同行”专家。随着人工智能技术和数字媒介环境的发展,大量学术资源与文献数据库迅速建立,学术界不断涌现出基于数据互联的新评价方法。我们可以有效发挥新技术和新方法在专家筛选中的作用,借助智能技术与科学计量方法,更为精确地识别与期刊论文研究内容相匹配的“小同行”专家。例如,我们可以在评价中借助科学知识图谱、共同词分析等科学计量方法建立领域本体概念网,从中识别出合适的“小同行”专家,从而为学术期刊论文评价选择更为精确、可靠的核心同行。我们也可以在此基础上建立起同行评审专家候选库,并根据学术研究的现实进展实现动态更新与管理,最终形成适用于期刊论文评价的学术共同体,促进艺术学学术评价活动的良性循环。

  2.形成结构更为多元的核心同行评价主体。除“小同行”之外,艺术学学科内的核心同行专家还应包括:(1)同一门类艺术学科下相同研究方向的专家学者;(2)同一艺术学一级学科的专家学者;(3)从事艺术学相关研究的资深专家学者。适当扩大核心同行范围,可以使艺术学学术论文的评价标准不再局限于某一细分方向的学术性,而是将期刊论文的应用性、创新性和科学性均纳入同行评议考量范围,从而达到更加全面地对论文的质量与价值进行评价的目的。

  3.肯定并合理分配周边同行的评价话语权。在优先采用“小同行”与核心同行评价意见的同时,合理划定周边同行范围,参考周边同行基于跨学科或跨行业视角的论文品评意见,也是对艺术学学术期刊论文的多维价值,以及学术交流和传播属性的肯定。艺术学周边同行专家应包括:(1)相关业务管理部门专家,可以就论文的政策可用性、前沿性、社会性与实践性等进行评价;(2)行业编辑与记者等传播渠道从业人员,可以就论文研究成果的可传播性、大众接受度认可度等进行评价;(3)具备跨学科背景的相关学科专家,可以就论文对跨学科知识与方法的应用及贡献进行评价。如果说核心同行是对艺术学学术期刊论文的学术深度进行评价,那么合理分配周边同行的评价话语权,则是鼓励艺术学学术研究向综合视野和前沿探究方向发展的体现,有助于激发艺术学领域内探索型学术活动和应用型学术活动的创新活力。

  4.制定多维价值主导的评价标准。评价主体应充分尊重艺术学学术论文的特点与个性,基于艺术学论文非公式化、非定量化的成果特点,提出多维价值主导的评价标准,优化完善现有的评价维度与指标。索传军、盖双双曾谈道:“学术论文的评价本质是对其学术价值的评价,具体体现为创新性的测度。” 也有评价机构将单篇学术论文的同行评议指标设定为学术创新程度、论证完备程度、社会价值和难易程度,主要围绕学术论文的学术性、创新性、理论性、规范性这四个维度展开评价。笔者认为可以概括为五个主要维度:重要性、创新性、科学性、应用性与贡献度、社会性。其中,对重要性、创新性、科学性这三个评价维度,可以采取以同行评议为主的直接指标评价模式,以此作为对学术论文的内容、质量水平进行的专业科学的评价;对应用性与贡献度、社会性这两个评价维度,可以结合间接评价指标,用科学数据辅助定性评价。如此一来,通过推动多元评价主体的深度参与,可以有效促进同行评价观念的变革,从而更好地处理外部评估与内部评估、定量评估与定性评估的关系。

  总体而言,我们可以通过丰富同行评议内容,划定“小同行”、核心同行、周边同行和业内群众范围,优先采用核心同行评价意见并合理赋予其他同行评价权重,进而达到丰富同行评议主体、优化同行评价标准的作用,从而更大程度保证同行评议在合理范围内发挥积极作用。

  二、引入以“替代计量学”为基础的社会评价维度

  社会评价维度着重体现研究成果的应用价值与社会经济效益,广泛应用于政府工作与绩效评价、智库评价等领域。不少科研评价机制也引入了社会评价维度,与同行评议有机结合,一起发挥重要作用。如有研究者认为引入科研社会互动与影响力评价,可以体现科研成果在社会、经济与其他领域的应用价值。也就是说,社会评价可以在合理规范的评价框架内发挥效能,可以作为评价中国艺术学学术期刊论文学术影响力和社会影响力的新视角。

  (一)完善现行社会评价维度与指标的必要性

  当前,中国艺术学学术期刊论文评价机制中用于体现学术实绩的间接评价指标,主要为基于文献计量学的引文数据,通过期刊论文的下载量、转载量、转引率与期刊影响因子等数据衡量论文的学术影响力与社会影响力。但是,由此导致的“过度量化”和“指标至上”评价思维难以全面衡量艺术学学术期刊论文的社会影响力与传播价值。李秋实、夏志峰发现,“艺术学期刊论文篇均被引较低,为0.83次/篇,表明艺术学论文的学术继承性相对比较弱,这与艺术学‘立足个人和多元、结构松散’的文化内涵特点有关”。艺术学论文的学术影响力持久性强,但是短时间内难以发挥明显的学术效益。整体而言,艺术学学科下细分的门类艺术学特点鲜明,相较于摄影艺术等与技术革新、社会热点联结紧密的艺术门类,工艺美术、雕塑、绘画等门类下的期刊论文较难出现颠覆性热点。这些论文引用率较低、引用周期较长,如果以单一标准来对期刊论文价值进行衡量,那么与根据各学科实际制定独立标准所产生的评价结果会有巨大差异。定量评价法虽然在人文社会科学评价中普遍使用,但难以全面反映艺术学研究的特殊性,无法完整体现艺术学学术论文的科学性、价值含量与创新程度。

  引入社会评价维度是对同行评价的有效补充,是在尊重艺术学学术期刊论文复杂性与多样性的前提下,对进一步客观体现论文社会影响力的有效探索。近年来,网络媒体、移动媒体在学术交流与信息传播方面对艺术学评价提出新的要求,对艺术学理论成果的转化也有重要影响和意义。随着网络知识平台的普及和学科交叉发展,学术追踪和交流从学术圈内向外拓展的趋势日益凸显。越来越多的学术期刊向可开放获取(open access)发展,使得原本具有一定门槛的专业学术期刊平台具有了社交媒体的部分属性,转载、评论等功能使得期刊论文的大众影响力得以量化体现。“替代计量学”(Altmetrics)应运而生,成为衡量社会公众对学术论文评价意见的重要指标。

  “替代计量学”具有影响力测度广泛全面、数据来源多元、数据即时性强等优势。狭义的替代计量学专门研究相对于引文指标的在线新型计量指标,尤其重视基于社交网络数据的计量指标。随着开放获取运动的深化,替代计量学评价期刊论文影响力的数据来源已拓展至公共政策文件、主流媒体报道、同行评审出版平台、学术社交论坛、社交媒体、专利数据库等,成为对期刊论文的社会效益价值、社会传播价值、公众影响力价值的量化表征。例如,刘晓娟等基于社交媒体对论文的提及频次与情感分析、引用情感识别等,将替代计量学指标进行衍化后应用在期刊论文的引文分析中。魏明坤、袁伟将替代计量学作为论文的社会影响力与网络影响力的评价依据,如将包含社交媒体转载率、讨论度等在内的替代计量学指标作为学术论文的次生影响力表征并纳入评价指标。他们认为:“对学术成果影响力扩散不仅体现在正式学术交流过程,社会参与度指标对非正式学术交流环境影响力扩散提供可能。Altmetrics用于测度学术成果的社会参与度,通过新闻、博客、微博、论坛等交流方式丰富开放获取论文影响力扩散路径,为学术话语权构建注入新的元素。”

  (二)结合替代计量与定性评价的社会评价思路

  替代计量学拥有传统引文统计无法比拟的实时优势,弥补了基于传统文献计量学的引文数据来源单一、数据甄别困难、评价主体单一、评价周期长等不足,更加适应艺术学学术期刊论文成果转化周期长、研究对象复杂等特点。替代计量学可以提供学术期刊论文所获得的所有关注度的加权近似值,并根据公众的实时操作实现动态变化,更加符合艺术学学术期刊论文对社会热点与艺术现象保持关注的需求。因此,本文主张采用替代计量与定性评价相结合的社会评价思路,尤其针对具有指导艺术创作与实践意义的、研究前沿艺术现象与艺术活动的期刊论文,可以适当采纳群众性评价主体的评价意见作为定性评价内容。与此同时,使用替代计量学的定量数据作为定性评价的补充,形成定性与定量评价相结合的社会评价模式。

  基于社会评价理论,本文认为艺术学学术期刊论文的社会性评价主体主要包括艺术学领域内的业内人士与业外民众,如拥有大量艺术创作经验的艺术家、广泛进行艺术活动的艺术从业者、对艺术学发展非常关心并在日常生活中保持密切关注的群众等。在评价标准层面,主要评价标准应包括其传播性与社会影响力:(1)研究成果对当代艺术学发展的应用与指导意义;(2)研究主题对人民所关心的艺术问题的关注与回应;(3)研究成果在群众中的社会反响。在评价指标层面,社会评价数据来源主要包括:(1)开放获取学术论文平台的用户行为数据;(2)学术论坛评论数据;(3)电子期刊平台发布论文后的转推文数据;(4)艺术界业内公众对于论文的直接评价数据。基于以上数据,中国艺术学学术期刊论文的社会评价指标体系主要包含:(1)论文开放获取中的网络浏览、下载等指标;(2)学术论坛或学术网站中的公众评论内容指标;(3)电子期刊平台发布后在社交平台的互动指标;(4)经遴选后的业内公众对论文内容的直接评价指标;(5)论文关键词与社会热议艺术话题的匹配度指标;等等。

  中国艺术学学术期刊论文有必要采用同行评议和社会评价并举的多元评价机制。加入社会公众评价的维度,并在机制构建时谨慎赋予评价权重,可以使公众评价在合理范围内发挥科学影响。中国艺术学学术期刊论文评价可以将替代计量学方法与成果应用在社会性评价维度中,将网络传播力等间接评价指标作为体现艺术学学术期刊论文社会关注度与社会效应的评价指标。同时,加入对社会公众的定性评价搜集,通过问卷调查、深度访谈等形式获取社会评价主体的直接评价,共同完善社会评价维度。

  三、应用具备“元评价”效能的智能评价技术

  学术论文评价需要结合智能评价技术的高新效能,不断完善基于艺术学学理的评价标准、评价维度、监管机制。“元评价”理论认为,评价需要对评价本身进行价值判断,对评价机制的科学性、合理性、规范性进行问题审视和质量监督。“元评价”思路有助于中国艺术学学术期刊论文评价由他律走向自律、由经验走向理性,形成自我评价、自我监督、长效运行的良性循环。中国艺术学学术期刊评价机制在运行中也有必要树立反评估意识,在全过程评价视角下结合智能评价技术构建“元评价”的评估辅助与监督机制。

  随着人工智能与知识图谱、情感极性等基于数据爬取和机器学习的智能评价技术不断发展,学术论文影响力的评价已经不满足于单一的文献计量学数字呈现,学术界愈发倾向于通过CiteSpace、Grasshopper等智能数据平台与软件分析工具,对论文所涉引文网络、专家学者和传播趋势等进行更为鲜明、生动与立体的阐释。例如,利用知识元抽取和语义相似度计算方法对论文重要性进行分析,通过智能化方法来评价论文的传播过程、判断重要文献;还包括使用科学知识图谱、关键词共现矩阵等工具(如Gephi、Citespace、VOSviewer等)绘制反映科学网络结构、知识资源流动演化的知识图谱,借此解读特定期刊论文的学科领域创新性与贡献度。或者基于认知计算的“类脑”功能,对定性评价进行情感极性分析,进而将定性评价定量化,转化为更具有公信力的定性评价依据。智能评价技术可以在学术期刊论文质量评价中发挥高新、高科评价效能,具有评价效率高、可信度高、信息量大等评价优势。

  文本挖掘、社会网络分析、可视化、机器学习等新技术的广泛应用,与大数据环境一起为中国艺术学学术期刊论文评价带来了思维模式、研究视角和研究维度的转变。智能评价技术可以充分展示艺术学学术期刊论文的影响力、扩散力和发展力,因此,更适合辅助定性评价。

  智能评价技术除了作为评价机制高效运行的技术保障,重点在于其具有监督和反评估作用,其应用路径与效能主要包括:

  1.规范、改进和监督同行评议。单一根据学术知识库资源对专家进行遴选是不完善的,需要综合社会网络资源、Web资源来提取专家特征进行可信度分析。此外,同行评议意见若缺乏对照组,无法衡量其客观公平性。当前在学术论文评价中已经实现对论文内容直接进行机器学习与语义识别,使用递归张量神经网络模型评估论文的新颖性,以此作为同行评议结果的对照评价意见。此外,模块化分层卷积神经网络模型可以实现论文自动评分,以此类智能评价方式作为对同行评议等主观定性评价结果的补充。发挥以上智能评价的高新高科效能,可以借助学术论文认知计算系统为定性评价提供对照组以确认其合理可信范围,并对同行评议进行专家反评估,进而形成艺术学学术期刊论文评价的“元评价”机制。

  2.对传统文献计量指标进行补充。“引证图像”方法可以将论文的学术影响力与传播价值可视化,分析被评价论文的学术关联性、与其他学科之间知识交流的特点等,从而为同行评议提供参考依据,形成以证据为基础的定性评估理念。将认知计算和情感分析引入学术期刊论文评价之中,在文本语义化层面对引用动机和引用内容进行精准评价和甄别,可以有效剔除漏引、伪引、错引和争议性引用,借助大数据工具对引用分析法的理论和评价应用进行完善。

  3.获取与判定社会评价指标的数据。前文提到,艺术学期刊论文的社会性评价维度,对应用性与贡献度、社会性这两个评价维度主要依照的是间接评价指标。在传统评价指标如被引次数、摘转次数、下载与浏览次数等学术交流的间接评价信息中引入新的分析方法,如知识图谱、引证图像等,可以分析论文在不同学科之间作为节点的点度中心度,通过可视化图形与数据反映论文被引广度、学科交叉性、学科吸引力、辐射力、与不同领域理论成果的品质关联,确认其理论成果的应用性与对各学科发展的贡献度。

  4.建立评价监督机制。建立评审专家反评估机制、评价反馈与约束机制、信誉信息库等对评价进行长效监督修正,可促进评价体系的可持续发展。与此同时,学术共同体共识性评价制度、专家遴选与审查制度、智能元评价与长效监督制度、评价过程公开与结果公示制度、优秀学术论文推介制度等可以为评价体系的长效运行提供保证。

  智能评价技术不仅是优化与完善中国艺术学学术期刊论文评价机制的技术与方法支撑,还是对评价结果进行信度测验与长效监督,进而形成“元评价”机制的核心。充分发挥智能评价技术的高新效能,有助于保障中国艺术学学术期刊论文评价的客观公平,促进评价机制的可持续发展。

  总之,树立多维价值导向、多元评价主体共同参与、多种评价方法与技术共同应用的艺术学学术期刊论文评价理念,可以为艺术学学术研究的长远发展带来积极作用,且能促进艺术学学术活动的良性循环。本文通过分析总结中国艺术学学术期刊论文评价现状与不足,旨在构建以同行评价为主导、以社会评价为补充、以智能评价为辅助的符合中国艺术学学科特色的学术期刊论文评价机制。在建立核心同行与周边同行相结合的同行评议机制的同时,引入社会评价维度,并发挥智能评价技术的高新效能,优化艺术学学术期刊论文评价机制与方法,目的是以更全面的视角综合评价艺术学学术期刊论文,促进中国艺术学领域涌现出更多兼具世界水平和中国特色的优秀学术成果。

  〔本文注释内容略〕

  原文责任编辑:马征 李文珍

转载请注明来源:中国社会科学网【编辑:常畅】