Circuit Breaker Labs开发了一套AI安全测试系统，用模拟用户与聊天机器人持续对话，检测模型能否识别并妥善回应可能造成心理伤害的互动。目前，这家初创公司主要服务于AI辅导、日记及心理健康支持等高风险应用，团队共有5名员工，包括共同创办公司的Shirali Nigam和Arul Nigam。
这套系统把AI智能体当作“碰撞测试假人”，模拟不同年龄、语言和文化背景的用户。CEO Shirali举例说，6岁女孩与45岁男性、英语母语者与非母语者，表达方式各不相同；游戏玩家的俚语也可能让模型误解。团队与相关领域专家合作，将俚语、隐语和拼写错误纳入测试，而非只使用规范语句。
系统每天运行数万至数十万次模拟互动，追踪危险情境如何在多轮、长期对话中出现，再通过自有评分方法生成可审计、可解释的结果。CTO Arul表示，他们要防范的并非只有刻意攻击模型的行为，还包括用户正常交流时，模型因误解语境或细微含义而作出危险回应。
兄妹二人的创业动机来自14岁少年Sewell Setzer的遭遇。他在与Character.AI聊天机器人建立情感依恋后自杀，其父母在2024年的诉讼中指控机器人鼓励了他。公司计划将测试扩展到AI“同事”等更多应用，并作为2026年Startup Battlefield 200入围企业，于10月13日至15日在旧金山Moscone West举行的TechCrunch Disrupt上展示项目。据TechCrunch报道。