AI为何频频“折戟”校园，纽约立法禁用人脸识别
美国跟人脸识别彻底杠上了。
美国纽约州近日通过了一项法令：2022年之前，禁止在学校中使用人脸识别和其他生物特征识别技术。
这也将成为全美首个明确规定学校不允许使用该技术的法案。
据南方都市报报道，这项法案提出的背后，是针对去年发生的一场有关校园应用的争议。
2019年5月，纽约州西部城市洛克波特市开始在全市校园部署人脸识别设备，主要目的是增强学校的安全性。
洛克波特市学区负责人米歇尔·布拉德利（Michelle Bradley）在接受外媒采访时说，“这是使学生、员工和访客更加安全的又一措施”。
洛克波特市官方信息显示，人脸识别系统将识别学校不允许出现的人员，并在识别到异常情况时发出警报提醒。
系统重点识别的人员包括二级或三级性犯罪者、被停职的学校员工、法院判决未经批准禁止进入学校的人员、执法部门信息显示会构成威胁的人员等等。
由于隐私等问题的存在，人脸识别应用在美国向来争议颇多。
由此，洛克波特市也在纽约州教育厅等部门的监督下反复修改了系统设置，最终决定只让系统记录人员比对的情况，不收集或存储任何个人信息，学生的照片等个人信息也不会被添加到系统中。
另外，根据当地法律要求，监控视频保存60天后将从服务器上删除。
2020年1月，这一系统在洛克波特市正式投入运营。然而，还是有一些美国民间团体认为人脸识别系统太有侵入性，不该在学校这样的场所部署。
万一系统对学生出现了误报，更是会给学生带来种种伤害，比如影响学生上课、给学生扣上莫须有的犯罪记录。
今年6月，纽约公民自由联盟提起诉讼，要求洛克波特市停用该系统。
这一起诉得到了当地部分官员的支持。
当地时间6月23日，纽约州议会众议员莫妮卡·华莱士（Monica Wallace）和参议员布莱恩·卡瓦纳（Brian Kavanagh）发表联合声明，重申了对隐私问题的担忧：
“我们担心该技术的使用可能侵犯学生、教职员工和访客的隐私权及其他公民权利。这是一种无效的维护校园安全的形式，并且可能无法安全地存储学生数据。 ”
据悉，目前纽约州参众两院已经投票通过的新禁令。
接下来，禁令将被提交给纽约州州长安德鲁 · 库莫（Andrew Cuomo）。如果他签字通过，禁令就将成为正式的法律。
教室装“天眼”
美国纽约之外，相关应用此前也在中国教室中被另类应用，并引发了一些社会舆论。
它可以洞察课堂上的一切行为。
此前，浙江省杭州市某中学课堂上多了一位神奇的新朋友：智慧课堂行为管理系统。通过这套系统，可以清楚看清、分辨哪些同学在专注听课，哪些同学在开小差。
这套系统俗名为“天眼”，内置三个摄像头，用以捕捉同学们的面部表情和动作，然后进行一系列大数据分析，最终计算出课堂实时考勤数据、课堂专注度偏离分析、课堂行为记录数据以及课堂表情数据，并将结果反馈给校园管理方。
该校负责人表示，系统每隔30秒就会进行一次扫描，针对学生们阅读、举手、书写、起立、听讲、趴桌子等6种行为，再结合面部表情是高兴、伤心，还是愤怒、反感，分析出学生们在课堂上的状态。（其中，仅趴桌子一项为负分行为。）
若此类不专注行为达到一定分值，系统就会向显示屏推送提醒，任课教师可根据提醒进行教学管理。
据悉，该系统还可与学校医务室等其他后台的数据打通，倘若学生因身体不舒服，还可列入“白名单”。
换句话说，在这套系统的“加持”下，同学们每天8节课的320分钟中，多少分钟专注听课、孩子在学校开心与否，通过这套系统提供的数据结果，都可一目了然地得以展示。
对于该系统的落地、应用，某教育工作者黄老师表示：华而不实。
“学生有没有开小差，老师在讲桌前可以看得一清二楚。”
在他看来，如何能将“学”作为主动权紧紧握在学生手中已成教育管理者需要思考的问题。
学习从来都是一种自主性过程，教育的核心突破不是靠教具形式的升级，学生在课堂的认真程度取决于授课老师的魅力，强行监督只会让很多学生成为“面具人”。
同时，该系统的应用也遭到了多数网友的痛击：
暂且搁置道德层面不谈，单从技术角度出发，该技术落地应用是否真的可行？
从上文来看，该套系统称在课堂应用能够发挥两项功用：
第一项，课堂实时考勤数据。
由于教室学生基数不大；另外教室范围也不大。目前很多人脸识别技术厂商都能够很好满足此项需求，不作详叙。
第二项，课堂专注度偏离分析（微表情数据）。
从系统运行流程来说，它在安装使用之后会进行两大类操作：
一是人脸检测，通过人脸相机检测到同学们的脸部，从而完成第一点所说的实时考勤；
二是基于这些人脸数据做实时的深度分析，通过微表情识别来判断学生们是否分神、开小差。
人脸表情由若干条细微的小肌肉控制，与常见人们发出的较为夸张或者平常的表情不同，微表情持续时间很短、动作幅度很小。
另外，微表情是一种自发式的表情，在人试图掩盖内在情绪时产生, 既无法伪造也无法抑制。
与其他生物识别技术的研发相比，微表情识别因为太过细微，一直是计算机视觉领域一个具有挑战性的技术难题，该技术的研发门槛较高，技术难点主要体现在三个方面：
数据收集，这里的数据必须是动态的视频数据；
肌肉单元很难做标注，每个人对表情的定义都不相同，“微笑”“难过”等标准难以判定；
微表情识别必须在五分之一秒内抓取到情绪变化，也就是要做到一秒钟处理五帧以上画面，让数据做到实时。
天眼技术多用于金融领域
以信贷行业为例，如今骗贷行为频发。当涉及大额的贷款申请时，金融机构在批放贷款之前都会让面审员与用户进行一个十到十五分钟的问答。
起初会核对用户的基本信息，在用户回答的过程中，会为用户进行一个微表情的侧写，记录一个用户回答问题的习惯。
随着面审员问题的深入，用户在回答之后地问题时，如果出现了违反他之前的回答习惯（例如眼睛从直视屏幕转为眼睛往上瞟或往脚下看），系统则会为其标记一个异常。
当整个面审环节结束后，系统会根据之前记录的异常次数、等级进行一个综合评估反馈给面审员。
如果前后差距过大，就意味着从基础问题到追问环节，此人的情绪、心理变化较大，如此就可提醒面审员此人有一定风险，要做更多地调查，以更好地降低风险。
从这来看，这项技术应用的前提还得配合面审员问题的逐步深入而出现的细微面部表情变化。
回到主题，学生们在上课过程中，没有任何言语上的思考及负担，也就意味着所有的面部表情都是自然状态下而产生的，断不可从单一的面部表情的变化去判断他的心理活动或者是否分心（缺乏标准）。
宇视智能算法开发部专家杨治昆直言，“对于这套系统的可操作性，我持怀疑态度”。
在他看来，这套系统在实际应用过程中，会存在以下几个问题：
任何AI技术的落地都要保证误识率可控。一般来说，正常教室的长度在十二米左右，不近的距离通过机器去判断每个同学们的面部细微变化，难度巨大；
任何产品的落地，都需要考虑光照等各种复杂环境的影响，这套系统也需要考虑上午、下午、夜间等教室内的环境变化。机器如何能够确保实时复杂场景下的准确识别？
视频监控下的学生是动态的，应用场景是非配合式的，这种情况下识别难度会进一步提升。机器如何能够做到不同角度的准确识别？
杨治昆表示，这些年AI技术发展迅速，教育市场也的确成为未来AI安防落地的重点拓展方向之一，如今各大安防厂商都在紧盯这块市场。
但从产业界角度来看，相关技术不能盲目落地。人工智能应用要保证识别率、误识率、鲁棒性，唯有满足这三点，技术的落地才会具有意义。
目前来看，比较容易落地的场景包括门禁、人脸考勤等等，而该系统提出的微表情分析，就目前AI发展水平来看，还存在很长一段距离。
在他看来，“一个产品的落地，除了要考虑客户的需求也要考虑到受众人群的体验”。