人工智能
来了：美国大企业用AI监测员工聊天
想象一下奥威尔的《1984》的场景，现在，你的工作场所也可能出现类似情形。人工智能 (AI) 正在分析你 Slack、Teams、Zoom 等常用应用上的聊天内容。
据美国知名初创公司 Aware 透露，沃尔玛、达美航空、T-Mobile、雪佛龙和星巴克等大型美国雇主，以及雀巢和阿斯利康等欧洲品牌，都已采用其服务来监控员工之间的聊天内容。
Aware 联合创始人兼首席执行官 Jeff Schumann 表示，AI 可以帮助公司“了解沟通中的风险”，实时了解员工情绪，而不是依赖一年或两次的年度调查。
Schumann 指出，客户可以通过 Aware 的匿名数据分析产品，查看不同年龄段或特定地区员工对新公司政策或营销活动的反应。他补充说，Aware 数十个阅读文本和处理图像的 AI 模型还可以识别欺凌、骚扰、歧视、违规、色情、裸露和其他行为。
Schumann 说，Aware 的分析工具(用于监控员工情绪和负面言论)无法标记个别员工姓名。但他补充说，如果出现极端威胁或其他预先由客户确定的风险行为，其单独的电子取证工具可以做到。
Aware 声称，沃尔玛、T-Mobile、雪佛龙和星巴克使用其技术进行治理风险和合规，这类工作占其业务的 80% 左右。
CNBC 未能收到沃尔玛、T-Mobile、雪佛龙、星巴克或雀巢有关他们使用 Aware 的回复。阿斯利康的一位代表表示，该公司使用电子取证产品，但不会使用分析工具来监控情绪或负面言论。达美航空告诉 CNBC，他们使用 Aware 的分析和电子取证工具来监控趋势和情绪，以此作为收集员工和其他利益相关者反馈以及保留社交媒体平台法律记录的一种方式。
即使不是反乌托邦小说迷，也可以预见这种做法可能带来的严重后果。人工智能问责非营利组织“仁道智能”的联合创始人 Jutta Williams 表示，AI 为现有的内部风险项目增添了新的、潜在的麻烦。多年来，这些项目一直用于评估例如企业间谍活动等问题，尤其是在电子邮件通信中。
谈到更广泛的员工监控 AI，而不是 Aware 的特定技术，Williams 告诉 CNBC：“很多行为变成了思想犯罪。” 她补充说，“这是一种我从未见过的以员工为库存的对待方式。”
员工监控 AI 是一个快速扩张但利基部分，属于过去一年随着 OpenAI 的 ChatGPT 聊天机器人于 2022 年底推出而爆炸式增长的更大 AI 市场。生成式 AI 迅速成为公司财报电话会议上的热门话题，某种形式的技术正在几乎所有行业自动执行任务，从金融服务和生物医学研究到物流、在线旅游和公用事业。
Schumann 告诉 CNBC，过去五年，Aware 的收入平均每年增长 150%，其典型客户拥有约 30,000 名员工。主要竞争对手包括 Qualtrics、Relativity、Proofpoint、Smarsh 和 Netskope。
按照行业标准，Aware 的规模相当精简。该公司最近一次融资是在 2021 年，当时在高盛资产管理公司 (Goldman Sachs Asset Management) 领投的一轮融资中筹集了 6000 万美元。相比之下，大型语言模型 (LLM) 公司，例如 OpenAI 和 Anthropic，每家都从战略合作伙伴那里筹集了数十亿美元。
实时负面跟踪
2017 年，Schumann 在保险公司 Nationwide 工作了近 8 年后创立了 Aware。在此之前，他是一位企业家，而 Aware 也不是他创办的第一家让人联想到“1984”的作品。
2005 年，Schumann 成立了一家名为 BigBrotherLite.com 的公司。据其领英资料显示，该公司开发的软件“增强了 CBS 真人秀节目‘老大哥’的数字和移动观看体验”。在奥威尔的经典小说《1984》中，“老大哥”是处于永久监控下的极权主义国家的领导人。
Schumann 在电子邮件中表示：“我构建了一个简单的播放器，让用户在计算机上观看电视节目时获得更干净、更轻松的消费者体验。”
在 Aware，他做了一些非常不同的事情。
该公司每年都会发布一份报告，汇总来自大型公司数十亿条信息(2023 年为 65 亿条)的见解，总结感知风险因素和工作场所情绪评分。Schumann 将每年在工作场所沟通平台发送的数万亿条信息称为“世界上增长最快的非结构化数据集”。
如果将共享的其他内容类型(例如图像和视频)纳入其中，Aware 的分析 AI 每天会分析超过 1 亿条内容。通过这样做，这项技术创建了一个公司社交图，查看内部哪些团队彼此之间的交流更多。
“它始终实时跟踪员工情绪，并且始终实时跟踪负面情绪”，Schumann 谈到分析工具时说道。“如果你是一家使用 Aware 的银行，而且最近 20 分钟员工情绪激增，那是因为他们集体讨论了一些积极的事情。这项技术能够告诉他们是什么事情。”
Aware 向 CNBC 证实，它使用企业客户的数据来训练其机器学习模型。该公司表示，其数据存储库包含大约 65 亿条信息，代表着超过 300 万名独特员工大约 200 亿次单次互动。
Schumann 说，当新的客户注册分析工具时，Aware 的 AI 模型需要大约两周的时间才能训练员工信息，并了解公司内部的情绪和情感模式，以便区分正常和异常情况。
“为了保护隐私，它不会显示个人的姓名”，Schumann 说。相反，他说，客户会看到，“例如，40 岁以上的工作人员在这个美国地区对[一项]政策的改变非常负面，因为成本问题，但该年龄段和位置以外的所有人都持肯定态度，因为这会以不同的方式影响他们。”
但 Aware 的电子取证工具的操作方式有所不同。根据公司选择的“极端风险”类别，公司可以设置基于角色的员工姓名访问权限，在某些情况下，指示 Aware 的技术提取个人的姓名，以便人力资源或其他公司代表进行查看。
“一些常见的类别包括极端暴力、严重欺凌、骚扰，但这确实因行业而异”，Schumann 说，并补充道，在金融服务领域，将跟踪 疑似内幕交易。
Schumann 说，例如，客户可以使用 Aware 的技术指定“暴力威胁”政策或任何其他类别，并让 AI 模型在 Slack、Microsoft Teams 和 Workplace by Meta 上监测违规行为。客户还可以将其与针对某些特定短语、陈述等基于规则的标记结合起来。如果人工智能发现某件事违反了公司的指定政策，它可以将员工姓名提供给客户指定的人员代表。
这种做法在电子邮件通信中已经使用了多年。新的部分是 AI 的使用以及其在 Slack 和 Teams 等工作场所消息平台上的应用。
纽约大学 AI Now 研究所执行董事 Amba Kak 担心使用人工智能来帮助判断哪些行为被视为风险。
“这会导致人们在工作场所说的话产生寒蝉效应，”Kak 说，并补充说，联邦贸易委员会、司法部和美国平等就业机会委员会都对此表示担忧，尽管她没有特别针对 Aware 的技术。“这些既是工人权利问题，也是隐私问题。”
Schumann 说，尽管 Aware 的电子取证工具允许安全或人力资源调查团队使用人工智能搜索大量数据，但 Slack、Teams和其他平台“已经存在类似但基本的类似功能”。
“这里的一个关键区别是，Aware 和其 AI 模型并没有做出决策，”Schumann 说。“我们的 AI 只是让梳理这个新的数据集以识别潜在风险或政策违规变得更容易。”
隐私担忧
研究表明，即使数据是聚合的或匿名的，这也是一个 flawed(有缺陷的)概念。一项使用 1990 年美国人口普查数据的 landmark(具有里程碑意义的)数据隐私研究表明，87% 的美国人仅通过邮政编码、出生日期和性别就能被识别。使用 Aware 的分析工具的客户可以将元数据添加到消息跟踪中，例如员工年龄、位置、部门、任期或工作职能。
“他们所说的是依赖一个非常过时而且可以说已经完全被揭穿的概念，即匿名化或聚合可以解决隐私问题”，Kak 说。
此外，根据最近的研究，Aware 使用的 AI 模型类型可以有效地从聚合数据中生成推论，例如，可以根据语言、上下文、俚语等准确猜测个人身份标识符。
“没有一家公司真正能够对大型语言模型和这类系统的隐私和安全性做出任何全面保证，”Kak 说。“没有人能直截了当告诉你这些挑战已经解决了。”
员工申诉权呢？
Williams 说，如果互动被标记，工人受到纪律处分或被解雇，如果他们无法接触所有相关数据，他们就很难进行辩护。
“当我们知道 AI 的可解释性仍不成熟时，你如何面对你的指控者？”Williams 说。
Schumann 回答说：“我们没有任何 AI 模型会就员工纪律做出决定或建议。”
“当模型标记一个互动时，”Schumann 说，“它会提供围绕发生事件和触发政策的完整背景，以便调查团队拥有根据公司政策和法律决定下一步所需的信息。”