AI创企Cognition计划将Token消耗配额向比较高
效工程师倾斜

AI创企Cognition计划将Token消耗配额向比较高 效工程师倾斜

AI创企Cognition计划将Token消耗配额向比较高
效工程师倾斜-第1张图片

  为控制AI相关开支,大型企业正在限制员工的使用额度、选用成本更低的小型模型 ,并借助路由调度器,只把难度最高的查询请求交由最贵的大模型处理。

AI创企Cognition计划将Token消耗配额向比较高
效工程师倾斜-第2张图片

  AI代码智能体Devin背后的初创公司Cognition,推出了一项新方案 。该公司透露:通过衡量不同工程师使用AI的效率 ,企业可以把更多资源分配给使用效率最高的员工。

  Cognition首席技术官卡尔文·吉鲁表示:“用户的使用限额不应固定不变 ,而要根据使用效率与产出价值动态调整。”

  Cognition可以观测工程师使用Devin的编码会话,估算出人类完成同等工作量所需要的等效工时 。再用该工时除以本次会话产生的成本,即可算出每位工程师的使用效率指标 。

  当工程师触达使用上限时 ,如果其效率评级为“良好 ”或“达标”,系统会自动提升他的额度。

  吉鲁称:“这和信用卡逻辑类似。你初始有固定信用额度,随着证明自己能够合理使用信用 、按时还款 ,额度会不断提高 。”

  Cognition本身按使用量计费,帮助客户控制Token消耗看似自相矛盾。但该公司认为,在AI代码工具这个高度竞争的市场 ,赢得客户信任、换取长期客户粘性,远比短期最大化客户消费更有价值。

  无节制地刷Token(tokenmaxxing)“并非可持续的长期路线 。我们很多客户是大型上市公司,必须就所使用工具的效率向股东与公开市场作出交代 ” ,他表示。

  Cognition同时上线Devin Coach,这套AI系统会针对工程师的提示词给出反馈,引导用户提升使用效率。该助手会识别20至30类最常见错误 ,例如指令描述模糊、用户为任务选用成本过高的模型 。

  举例来说 ,如果用户在一条指令里打包多项独立任务,Coach会识别出这些任务可并行处理 、速度更快,并建议拆分为多次会话。

  Coach还能监测员工是否用Devin处理度假规划这类私人事务。吉鲁称 ,这项功能源于一位客户的顾虑——该客户发现部分员工用Devin处理非工作事项,不过这类使用占比“相对很低 ” 。

©版权声明
THE END