经过多年的发展，质量年报合规性评价制度在评价主体、评价标准、评价对象等方面实现了持续优化与完善。以下以2022年为例，展示职业教育质量年报合规性评价工作实践的整体概貌。

一、质量年报合规性评价的标准设计

评价标准是质量年报合规性评价的基础。根据评价对象覆盖职业教育所有层次的客观现实，2022年质量年报合规性评价首次采用人工智能技术，系统化设计中高本一体化的评价标准，即不区分一级指标和二级指标而只区分评价内容。最终形成《省级层面高职教育质量年报合规性评价标准》《职业本科学校质量年报合规性评价标准》《高职院校质量年报合规性评价标准》《省级层面中职教育质量年度报告评价标准》《市县级中职教育质量年度报告评价标准》《中职学校质量年度报告评价标准》等6个合规性评价标准。以下将以《高职院校质量年报合规性评价标准》为例，从评价指标、权值赋分等方面呈现2022年质量年报合规性评价标准的研制过程。

一是合规性评价指标的确定。根据《国家职业教育改革实施方案》《职业教育提质培优行动计划（2020—2023年）》《关于做好2022年职业教育质量年度报告编制、发布和报送工作的通知》等文件要求，按照全面性、可操作性、定性与定量相结合的原则，确立“基本要素、编报质量、类型特色”的质量年报合规性评价思路。基于原有评价标准，设计了包含3个一级指标、17个二级指标和27项评价内容的评价指标体系，涵盖年报编制内容、编制质量、编制特色、报送程序等各个方面（表1）。其中，“基本要素”用于评价文本的基本要素是否齐备；“编报质量”用于评价是否按时上报以及文本表达、逻辑结构、数据填报与分析质量；“类型特色”用于评价文本内容导向是否鲜明、案例是否典型、企业年报是否优质等。

表1高等职业院校质量年报合规性评价指标体系

二是合规性评价指标的赋值。根据指标的性质和重要程度不同，采用的赋值方法也不同。常见的赋值方法有百分比率法、非此即彼法、层差法、说明法、加分法、减分法和等级评价法等。质量年报合规性评价指标的赋值主要采用非此即彼法和层差法。“非此即彼法”是指评价对象只存在两种状态，即得分与不得分，不存在其他状态。例如，评价“基本要素”中是否包含量化分析（1分），如果“有量化分析，且数据准确”则得1分；如果“无量化分析，或数据有明显错误”则得0分。而“层差法”是指将评价内容分为若干层次，根据评价对象的实际状态，赋予相应分值。例如，对“基本要素”包含内容的评价（4分），如果“不具备该部分内容”则得0分；如果“包含1项内容”则得1分；如果“包含2项内容”则得2分；如果“包含3项内容”则得3分；如果“包含4项及以上内容”则得4分，即根据评价对象年报文本中包含内容的数量，获得相应的分值。

二、质量年报合规性评价的结果呈现

基于质量年报合规性评价标准，采用专家现场打分与人工智能自然语言处理方法，对9 297份质量年报展开合规性评价，其中，包括省级层面高职教育质量年报31份、职教本科学校年报29份、高职院校年报1 411份、企业年报1 745份，以及省级层面中职教育年报31份、市县级中职年报442份、中职学校年报5 608份。由于篇幅限制，以下将主要针对省级层面高职教育和中职教育质量年报的合规性评价结果加以分析。

一是省级层面高职教育质量年报合规性评价结果分析。基于2022年省级层面高职教育质量年报合规性评价统计数据发现，31个省份质量年报“基本要素”“报送质量”“类型特色”得分率均值分别为：77.87%、75.22%和66.49%，三个版块的均值得分反映出省级年报得分能力普遍较好。其中，江苏省、山东省、北京市质量年报综合得分能力领先于其他省份。相对于《高等职业院校质量年报合规性评价标准》，《省级层面高等职业教育质量年报合规性评价标准》增加了“附加得分”板块，主要用于评价省级层面质量年报的履职尽责情况，以及省级层面质量年报报送和合规性评价情况。

二是省级层面中职教育质量年报合规性评价结果分析。基于2022年省级层面中职教育质量年报合规性评价统计数据发现，31个省份质量年报“基本要素”“编报质量”“类型特色”得分率均值分别为：68.58%、58.39%、72.58%，说明省级层面中职年报在要素完整性和文本编报质量方面与合规性评价要求尚有差距，导致“基本要素”和“编报质量”的差异性高于“类型特色”，而“基本要素”和“编报质量”的得分率小于“类型特色”得分率。其中，湖北省中职年报综合得分能力领先于其他省份。相对于《中等职业院校质量年报合规性评价标准》，对《省级层面中等职业教育质量年报合规性评价标准》同样增加了“附加得分”板块，主要用于评价省级层面质量年报的履职尽责情况，以及省级层面质量年报报送和合规性评价情况。

三、质量年报合规性评价的综合分析

通过对省级、院校级高职教育质量年报，省级、市县级、院校级中职教育质量年报，以及企业年报共计9 297份开展合规性评价，发现各层级质量年报基本符合合规性评价标准。具体表现为：绝大多数省级高职教育质量年报的基本要素、内容框架、典型案例、数据分析、类型特点等与合规性评价标准吻合；公办职业本科学校年报基本符合合规性评价标准，大多数民办职业本科学校“忧患意识”较强，“面临挑战”部分分析详细；1 411份高职院校（不含29所职业本科学校）年报质量呈逐年上升趋势，广东、湖南、山东、浙江、江苏等5个省份高职院校合规性评价平均得分排名靠前；不同层面中职质量年报能够得到各级实施主体的重视，按照年报工作要求规范编制，体现出鲜明的地域特色，凝练出较多优质的服务国家战略、服务地方发展、服务行业企业、服务学生发展典型案例。然而，不同层级质量年报也表现出一定不足，主要包括以下内容。

一是主体重视程度有待提高。部分省份的质量年报存在套用格式、数据不准确、数据分析不足、案例未经提炼、内容欠缺整合等问题。就2022年中职质量年报而言，有些省份缺失《中等职业教育质量数据表》，有些省份未按照最新年报通知体例要求编写，有些省份上交的是修订稿件，有些省份的典型案例未经凝练，有些学校提交的是经验交流材料等；就2022年职业本科学校质量年报而言，企业年报报送数量较少且质量普遍较差，多数公办学校未能从“学生发展”“教学改革”“社会服务”等方面展示职业本科学校的办学成效，民办学校年报基本不符合合规性评价标准，未对数据进行量化分析，内容可读性差强人意，图片不清晰、目录排版不规范等问题普遍存在。

二是报告基本要素不够规范。相当一部分省份未能呈现国际合作与交流相关内容；部分院校年报的真实性声明不够规范，“六个附表部分”内容存在缺失状况；个别省份在年报内容撰写方面只进行总结式描述，不使用数据支撑，更不对数据进行分析，不使用案例或者有案例无标题，尤其在“政策保障”方面缺少典型案例；多数省份在“面临挑战”部分仅提出存在问题，未能针对存在问题提出可行性对策建议；报告各部分篇幅差异较大，有的省份“学生发展”部分占据一半以上篇幅等。

三是普遍缺少深入的量化分析。就总体而言，各省份质量年报的数据量化分析普遍不够充分。大多数学校仅列出数据表格，或进行简单的描述性分析，缺乏对数据的深入量化分析，未能通过数据分析揭示数据背后的深层原因与产生逻辑，缺乏对数据进行横向和纵向的动态分析以追踪质量的变化轨迹，未能充分发挥出质量年报数据分析的强大功能和决策引导作用。

四是省域之间差别较大。根据各层级质量年报得分情况发现年报存在“东部高西部低”现象，且呈现出差距逐渐扩大趋势。相比较而言，职业教育改革走在前列、区域经济发展较好的省份，年报编制质量相对较高，文字内容逻辑严密、层次条理、内容清晰、表述准确、措辞凝练、具有示范和引领作用，企业年报质量也相对较高。而就相同区域的院校而言，公办院校年报质量普遍好于民办院校、“双高”院校好于非“双高”院校。

五是企业年报质量有待提升。近年来，企业年报编写质量整体有所提升，报送院校数量逐年增加。然而，就报送数量而言，不同院校之间企业年报数量差异较大，有的学校企业年报提交数达到几十个，而有的学校企业年报提交数为个位或空值；就报送质量而言，部分院校未能从企业资源投入、参与职业教育改革的做法与成效等方面进行撰写，企业重要办学主体作用未能得到充分展现。

（作者：宗诚，女，博士，中国教育科学研究院）

来源：宗诚,李波,刘英霞.职业教育质量年度报告评价指标：发展脉络、内涵意蕴与未来展望[J].中国职业技术教育,2022(36):38-45+59.