高校智慧校园评价指标体系研究*
李 璐1 王运武2
（江苏师范大学 智慧教育学院，江苏徐州 221116）
摘要：当前，高校普遍推进智慧校园建设，但各校建设水平参差不齐，且缺乏科学有效的评价标准。为此，在依据已有文件、相关文献、建设案例梳理智慧校园评价关键指标的基础上，文章初步构建了包括6个一级指标、23个二级指标和56个三级指标的高校智慧校园评价指标体系。之后，文章运用德尔菲法，经过两轮专家意见咨询，形成了包含6个一级指标、21个二级指标和54个三级指标的高校智慧校园评价指标体系（修订版），并利用专家排序法确定了各级评价指标的权重系数。高校智慧校园评价指标体系的构建及其权重系数的确定，可以指导智慧校园的建设者明确建设目标、内容和功能等，并“以评促建”提高智慧校园的建设质量。 关键词：智慧校园；绩效导向；评价指标；权重系数
【中图分类号】G40-057 【文献标识码】A 【论文编号】1009—8097（2020）05—0087—07 【DOI】10.3969/j.issn.1009-8097.2020.05.013
当前，我国高校的智慧校园建设正如火如荼。但是，部分高校的智慧校园建设还比较粗糙，相关管理者对智慧校园的本质及其要发挥的功能价值认识也不够深入，且缺乏科学有效的评价标准来衡量智慧校园的建设水平。谢幼如等[1]指出，科学的智慧校园评价指标体系应包括四个部分：评价指标、指标权重、评价标准和评价方法。而智慧校园关注的重点，是学生自主学习、实践创新、职业能力等核心素养的发展[2]。基于此，本研究拟运用绩效理论，从智慧环境建设（如资源建设）、智慧环境应用（如硬件、软件、系统、平台等的应用）、学校自身发展、创新人才培养等方面动态考核智慧校园的建设水平。
表1 2015～2019年教育信息化文件中智慧校园评价的关键指标提取
时间 2015年 文件 《统筹推进世界一流大学和一流学科建设总体方案》 《2016年教育信息化工作要点》 2016年 《教育信息化“十三五”规划》 《2018年教育信息化和网络安2018年 全工作要点》 《教育信息化2.0行动计划》 《教育部关于加强网络学习空2019年 间建设与应用的指导意见》 《2019年教育信息化和网络安全工作要点》 关键指标提取 师资队伍、创新人才、科学研究、创新文化、成果转化、长效机制、配套、相应绩效评价、激励约束机制 统筹部署、基础支撑、数字教育资源、网络学习空间、教育管理信息化、教育信息化培训、网络安全、保障机制 基础支撑、公共服务平台、信息化教育教学与管理、数字资源、网络学习空间、泛在学习网络、教育治理、网络安全 统筹部署、基础设施、资源供给与应用、开放课程、网络学习空间、信息化管理、教育治理、信息化培训、师生信息素养、网络安全 教学应用覆盖、学习应用覆盖、数字校园建设覆盖、信息化应用水平、师生信息素养、“互联网+教育”大平台建设 教育资源优化配置、教育治理能力、创设教育环境、创新思维、创新能力、提升空间应用 网络安全统筹部署、教育信息化标准化管理、教育治理能力优化、数字校园规范建设、智慧教育创新发展、师生信息素养提升 87
Vol.30 No.5 2020 一 高校智慧校园评价关键指标体系的初步构建
1 依据文件梳理智慧校园评价关键指标
智慧校园建设是教育信息化发展的一部分，因此教育信息化的关键要素与智慧校园的关键要素有一定的共通性。整理2015～2019年我国重要的教育信息化文件，从中提取出智慧校园评价的关键指标，如表1所示。
2 依据相关文献梳理智慧校园评价关键指标
整理、分析与智慧校园评价相关的研究文献，本研究梳理了现阶段能体现高校智慧校园建设水平的关键指标，如表2所示。
表2 相关文献中智慧校园评价的关键指标梳理
文献来源 深圳市智慧校园建设的框架与思考[3] 教育信息化绩效评估指标体系建构研究[4] 高校智慧校园成熟度模型与评价指标体系研究[5] 浅议高校智慧校园建设评价指标体系的构建[6] 关键指标 智慧（环境、学习、教育、管理） 组织管理、信息化（环境、资源、应用、素养、人才） 智慧型（技术应用、应用开展、业务融合） 组织管理、基础设施、信息资源、教学应用、信息化人才 3 依据建设案例梳理智慧校园评价关键指标
本研究以华南师范大学、浙江大学的智慧校园建设为典型案例，从中总结了智慧校园评价的关键指标和具体内容，如表3所示。
表3 建设案例中智慧校园关键指标内容 华南师范大学 关键指标 学校组 织保障 具体内容 加强学校智慧校园中长期规划 成立智慧校园建设领导小组 召开智慧校园建设专题会议 华师学生综合服务平台 信息化 应用平 台建设 砾儒云课堂 网站群发布平台 收费服务管理系统 迎新系统 实验预约管理系统 融合管 理服务 关键指标 学校基 础条件 具体内容 基础设施优化升级 关键指标 信息化 浙江大学 具体内容 网络覆盖共享 校园无线网络全覆盖 基础设施 多功能智慧教室 教学课程资源建设 学校环境管理 网络报销平台 服务监督平台 学生公寓系统 人力资源管理 住房管理系统 智慧学 工系统 协同办 公系统 流程管理 个人设置 学生招生迎新 学生事务管理服务 学生成长记录平台 就业服务 校友服务 4 高校智慧校园评价指标体系的初步构建
综合上述对文件、相关文献和建设案例的梳理，本研究将组织管理、智慧学习环境、智慧学习资源和创新融合应用作为评价智慧校园的一级指标；同时，本研究拟在一级指标中增加创新人才培养、特色成果两个内容，来体现智慧校园的价值产出。基于绩效理论和已有研究成果，结合一级指标的内涵，本研究将关键指标细化到二、三级指标，并补充被忽略的内容，由此得到6个一级指标、23个二级指标和56个三级指标。具体来说，组织管理、智慧学习环境、智慧学习资源是投入指标，用来衡量智慧校园在投入建设方面的现状与问题；创新融合应用是
88
Vol.30 No.5 2020 对智慧校园应用水平的评价，注重对个体或组织应用水平的调查；创新人才培养和特色成果是对智慧校园产出结果的评价，强调学生的自我发展和实践创新能力。基于此，本研究初步构建了高校智慧校园评价指标体系，如图1所示。
图1 初步构建的高校智慧校园评价指标体系
二 高校智慧校园评价指标体系的修订
德尔菲法是指采用背靠背的通信方式就所要预测的问题征求专家意见，经过几轮咨询，使得专家意见趋于一致，最后得出符合发展趋势的结论[7]。本研究运用德尔菲法，将专家对高校智慧校园评价指标的意见分为符合、修改、不符合三类，并分别赋值3分、2分、1分。评价指标的必要度由以下三方面数据决定：①集中度，指专家对指标认可度的平均值M。根据3分量表的75%等级值，选择2.25为M的基准数。②离散度，指专家对指标认可度的离散程度，用标准差Std表示。Std值＞1，说明指标不合格。③变异系数Cv，指专家对指标相对重要性的波动程度，用Std/M表示。Cv越小，说明专家意见越一致；CV值＞0.25时，说明专家意见分歧较大；Cv值＞0.3时，表示指标不符合，宜删除[8]。
1 第一轮专家意见咨询
本研究以高校教育技术学专业、信息网络中心的20名专家为咨询对象，依据初步构建的高校智慧校园评价指标体系编写第一轮咨询问卷，并通过线上、线下相结合的方式向这20名专家发放问卷，共回收有效问卷13份。统计问卷中的专家意见、分析指标的必要度，本研究将一级指标“特色成果”改为“特色发展”，其余均保留；二级指标、三级指标的具体修订情况如下：
①在“组织管理”维度，专家对二级指标“信息化领导力”分歧较大（0.25＜Cv＜0.3）。由于“信息化领导力”强调人的作用，不能概括“愿景规划”和“协同实施”，故本研究将其改为“顶层设计”。同时，将“组织保障”更名为“队伍建设”、“管理机制”更名为“制度建设”。②在“智慧学习环境”维度，“应用平台”的三级指标“生活服务管理与应用平台”Cv值＞0.3，删除；专家提议将“教学环境”的三级指标“专业特色教室”与“智慧教室”合并为“智慧教室”，将“智能设备”改为“教学环境”下的三级指标。③在“智慧学习资源”维度，二、三级指标均符合指标必要度，但“资源建设”的三级指标之间界限模糊，故根据其功能将三级指标确定为“课程教学资源”、“数字图书资源”和“拓展性资源”。同时，将“资源质量”的三级指标“资源认证”改为内涵更丰富的“资源评价”，“资源共享”更名为“资源应用”。④在“创新
Vol.30 No.5 2020 融合应用”维度，“教学应用”更名为“教育教学”，其三级指标“信息化教学”改为“课堂教学”、“大数据诊断”和“个性化治理”合并为“教学质量评价”。“科研应用”更名为“科学研究”，其三级指标“成果转换”Cv值＞0.3，删除。“管理治理应用”更名为“管理治理”，并新增三级指标“科学决策”。⑤在“创新人才培养”维度，“科研精神”和“社会责任”的Cv值均＞0.3，删除。专家建议将“创新实践”的三级指标改为“问题解决能力”和“创新能力”；“创新人才培养”维度新增二级指标“职业能力”，并下设3个三级指标：职业道德、职业技能和信息素养。⑥将“特色成果”改为“特色发展”，二级指标“特色应用”在平台应用方面已有所体现，专家建议删除。三级指标“创新管理机制”Cv值＞0.3，删除。综上，结合专家意见初步修订的高校智慧校园评价指标体系共含有6个一级指标、21个二级指标和50个三级指标。
2 第二轮专家意见咨询
依据第一轮专家意见修订高校智慧校园评价指标体系，本研究编写了第二轮咨询问卷，并在问卷中增加了第一轮专家咨询意见的M、Std、Cv和本轮专家意见修改栏。之后向第一轮咨询时返回有效问卷的13名专家发放问卷，重复上一轮调查过程，二级指标、三级指标的具体修订情况如下：
①在“组织管理”维度，“顶层设计”新增三级指标“机构设置”，以体现指标的完整性。“支持保障”的三级指标“安全保障”Cv值＞0.3，删除。②在“智慧学习环境”维度，“网络环境”的三级指标“网络覆盖率”Cv值≈0.25，专家意见不统一，本研究将其改为“网络接入”。专家建议将在“数据中心”下新增三级指标“数据安全”。③在“智慧学习资源”维度，专家对“资源应用”的三级指标“对内引入”、“对外开放”分歧较大（0.25＜Cv＜0.3），本研究将其改为“综合利用”和“资源共享”。④在“创新融合应用”维度，“社会服务应用”更名为“社会生活”，其三级指标因不能完全体现智慧校园的智能与便捷，故改为“就业服务”和“支付服务”。⑤在“创新人才培养”维度，指标的M值从2.4～2.8提高到了2.84～3，Std值从0.6～0.916缩小到了0～0.533，Cv值从0～0.328缩小到了0～0.187，说明专家意见集中，都对修改后的评价指标表示认可，故评价指标不做修改。⑥在“特色发展”维度，根据专家意见，将二级指标“特色组织”改名为“特色成果”，下设“特色资源”和“优秀案例”2个三级指标；“特色文化”下设“特色社团”和“创新优秀文化”两个三级指标。同时，新增二级指标“前沿探索”，下设“实践探索”和“研究探索”两个三级指标。综上，结合专家意见最终得到的高校智慧校园评价指标体系（修订版）如图2所示，共含6个一级指标、21个二级指标和54个三级指标。
图2 高校智慧校园评价指标体系（修订版）
90
Vol.30 No.5 2020
三 高校智慧校园评价指标权重系数的确定
权重是指整体被分解成若干个因素时，每个因素在整体中所占比重大小的数字，表示该因素在整体中的相对重要程度，而权重系数集中反映了每个因素与其它因素之间的关系。本研究运用专家排序法，确定了高校智慧校园评价指标体系中各项指标的权重系数。
1 专家排序法的应用过程
按照专家排序法，本研究首先将设计好的评价指标重要程度排序调查表发给n位专家，要求每位专家分别对m个同级指标按重要程度进行排序，最重要的标记为1，之后从重要到最不重要依次记为2、3、4、5、6，最后将每位专家对m个同级指标的排序汇集在一个表内。各专家对第i个指标的排序等级之和记为Ri，则第i项指标的权重系数Wi的计算如公式（1）所示。本研究运用专家排序法的优势是高校智慧校园评价指标体系中的同级指标数量较少，大多为2～4个，这样计算出的权重结果比较可靠。
Wi＝2[n(1＋m)－Ri]/mn(1＋m)
公式（1）
2 权重系数调查结果
利用专家排序法确定评价指标的权重系数，首先需要专家对指标的重要程度进行评判，然后通过加权平均值的方法确定指标权重。从专业性和对本研究内容的熟悉度来考虑，本研究继续选择之前接受两轮咨询的13名专家，然后将设计好的权重咨询问卷发给这13名专家填写，最后回收的问卷进行数据统计处理，确定权重。采用专家排序对问卷数据进行统计，本研究得到一级指标的专家意见，如表4所示。
表4 一级指标的专家意见数据统计
专家 一级指标 组织管理 智慧学习环境 智慧学习资源 创新融合应用 创新人才培养 特色发展 ① 5 4 3 2 1 6 ② 6 1 2 3 4 5 ③ ④ 6 4 5 2 3 1 1 4 2 3 5 6 ⑤ 5 2 1 4 3 6 专家 ⑥ ⑦ 2 3 4 5 1 6 1 2 3 4 5 6 ⑧ ⑨ 3 2 1 4 5 6 1 4 3 5 2 6 ⑩ 5 2 3 4 1 6 ⑪ 4 3 5 2 1 6 ⑫ 1 3 2 4 5 6 ⑬ 5 4 2 1 3 6 Ri 45 38 36 43 39 72 将表4的Ri值代入公式（1），可计算得出一级指标的权重系数Wi并进行排序。照此方法，对13位专家关于二级、三级指标的重要程度排序意见进行数据统计，同样可计算出二级、三级指标的权重系数Wi并进行排序。以此为基础，本研究制作了高校智慧校园各级评价指标（权重系数）一览表，如表5所示。
四 小结
在依据已有文件、相关文献、建设案例梳理智慧校园评价关键指标的基础上，本研究运用德尔菲法，经过两轮专家意见咨询，最终构建了高校智慧校园评价指标体系（修订版）。此评价指标体系的构建，一方面提高了智慧校园建设的完整性和智慧性，可为未来智慧校园的建
91
Vol.30 No.5 2020 设提供指导；另一方面丰富了教育信息化理论，可为后续智慧校园的评价研究提供借鉴。此外，本研究还运用专家排序法，进一步计算出了各级评价指标的权重系数，揭示了智慧校园建设应该重点关注的内容。例如，一级指标中智慧学习资源的权重系数值最大（Wi=0.201），说明智慧学习资源在智慧校园建设中尤为重要，宜予以重点关注。
表5 高校智慧校园各级评价指标（权重系数）一览表
一级指标 （Wi） 二级指标 （Wi） 顶层设计 （0.331） 队伍建设 组织管理 （0.168） （0.254） 制度建设 （0.231） 支持保障 （0.185） 三级指标 （Wi） 愿景规划（0.410） 协同实施（0.321） 机构设置（0.269） 专职队伍（0.538） 师资培训（0.462） 标准规范（0.615） 激励机制（0.385） 资金支持（0.462） 技术支持（0.333） 运维保障（0.205） 网络接入（0.410） 网络安全（0.359） 网络配置（0.231） 智慧教室（0.397） 智能设备（0.321） 智慧图书馆（0.282） 统一身份认证（0.385） 智慧应用系统（0.333） 一站式信息门户（0.282） 数据安全（0.385） 数据存储交换（0.359） 数据容灾备份（0.256） 课程教学资源（0.5） 数字图书资源（0.321） 拓展性资源（0.179） 资源更新（0.513） 资源评价（0.487） 综合利用（0.5） 资源共享（0.436） 特色发展 （0.07） 创新人才培养（0.19） 创新融合应用（0.176） 管理治理 （0.215） 社会生活 一级指标 （Wi） 二级指标 （Wi） 教育教学 （0.362） 三级指标 （Wi） 课堂教学（0.449） 在线学习（0.295） 教育质量评价（0.256） 科研资源共享（0.372） 科研信息管理（0.333） 科研协作交流（0.321） 信息化管理（0.372） 科学决策（0.333） 数据化治理（0.295） 就业服务（0.5） 科学研究 （0.285） 网络环境 （0.362） （0.138） 支付服务（0.41） 自主发展 学会学习（0.513） （0.333） 意识态度（0.487） 创新实践（0.410） 问题解决力（0.385） 创新能力（0.346） 实践能力（0.269） 职业道德（0.449） 职业技能（0.282） 信息素养（0.269） 实践探索（0.513） 教学环境 智慧学习环境（0.194） （0.285） 应用平台 （0.185） 职业能力（0.256） 前沿探索数据中心 （0.169） （0.397） 研究探索（0.487） 特色成果特色资源（0.615） 资源建设 （0.346） 智慧学习资源（0.201） 资源质量 （0.385） 资源应用 （0.269） （0.321） 优秀案例（0.385） 特色文化特色社团（0.538） （0.382） 创新优秀文化（0.462） 92
Vol.30 No.5 2020 ———————— 参考文献
[1]谢幼如,郑云翔,宋灵青,等.引领与推动:教育信息化绩效评价[M].北京:高等教育出版社,2016:5.
[2]孙河川.教育效能与学校改进研究的引领者和推动者——国际学校效能与学校改进学会[J].比较教育研究,2009,(3):81-85.
[3]宋金州.深圳市智慧校园建设的框架与思考[J].教育信息技术,2013,(12):8-10、26.
[4]秦泗海.教育信息化绩效评估指标体系建构研究——以宁夏基础教育为例[D].银川:宁夏大学,2014:7、5-10. [5]蒋东兴,吴海燕,袁芳,等.高校智慧校园成熟度模型与评价指标体系研究[J].郑州大学学报(工学版),2017,(2):1-4. [6]张宇.浅议高校智慧校园建设评价指标体系的构建[J].电脑知识与技术,2017,(34):124-125. [7]百度百科.德尔菲法[OL].
Research on the Evaluation Index System of University Smart Campus LI Lu1 WANG Yun-wu2 (School of Wisdom Education, Jiangsu Normal University, Xuzhou, Jiangsu, China 221116) Abstract: At present, universities generally promote the construction of smart campus, but the construction levels of various universities are uneven and lack of scientific and effective evaluation standard. Therefore, on the basis of sorting out the key indicators of smart campus evaluation according to existing policy documents, relevant literature and construction cases, this paper preliminarily constructed an evaluation index system of university smart campus including 6 first-level indicators, 23 second-level indicators, and 56 third-level indicators. After that, this paper used Delphi method and formed an evaluation index system of university smart campus (revised edition) including 6 first-level indicators, 21 second-level indicators, and 55 third-level indicators after two rounds of expert opinion consultations. Meanwhile, the weight coefficients of evaluation indicators at all levels were determined by expert arrange method. The construction of evaluation index system of university smart campus and the determination of weight coefficients could guide the smart campus builders to clarify the construction goals, contents and functions, and improve the construction quality of smart campus through “promoting construction by evaluation”. Keywords: smart campus; performance orientation; evaluation index; weight coefficient ———————— *基金项目：本文为2017江苏省研究生科研创新计划项目‚高校智慧校园建设与发展‛（项目编号：KYCX17_1675）、2019年电化教育馆—英特尔‚智能互联教育项目‛《智能技术支持的教师个性化工作环境研究》（项目编号：192103）的阶段性研究成果。 作者简介：李璐，硕士，研究方向为教育信息化、智慧学习资源与环境，邮箱为ll2462237882@163.com。 收稿日期：2019年6月10日 编辑：小米 93
因篇幅问题不能全部显示，请点此查看更多更全内容