AI创企Cognition计划将Token消耗配额向比较高
效工程师倾斜

AI创企Cognition计划将Token消耗配额向比较高 效工程师倾斜

AI创企Cognition计划将Token消耗配额向比较高
效工程师倾斜-第1张图片

  为控制AI相关开支 ,大型企业正在限制员工的使用额度 、选用成本更低的小型模型,并借助路由调度器,只把难度最高的查询请求交由最贵的大模型处理 。

AI创企Cognition计划将Token消耗配额向比较高
效工程师倾斜-第2张图片

  AI代码智能体Devin背后的初创公司Cognition ,推出了一项新方案。该公司透露:通过衡量不同工程师使用AI的效率,企业可以把更多资源分配给使用效率最高的员工。

  Cognition首席技术官卡尔文·吉鲁表示:“用户的使用限额不应固定不变,而要根据使用效率与产出价值动态调整 。 ”

  Cognition可以观测工程师使用Devin的编码会话 ,估算出人类完成同等工作量所需要的等效工时。再用该工时除以本次会话产生的成本 ,即可算出每位工程师的使用效率指标。

  当工程师触达使用上限时,如果其效率评级为“良好”或“达标”,系统会自动提升他的额度 。

  吉鲁称:“这和信用卡逻辑类似 。你初始有固定信用额度 ,随着证明自己能够合理使用信用、按时还款,额度会不断提高。 ”

  Cognition本身按使用量计费,帮助客户控制Token消耗看似自相矛盾。但该公司认为 ,在AI代码工具这个高度竞争的市场,赢得客户信任、换取长期客户粘性,远比短期最大化客户消费更有价值 。

  无节制地刷Token(tokenmaxxing)“并非可持续的长期路线。我们很多客户是大型上市公司 ,必须就所使用工具的效率向股东与公开市场作出交代”,他表示。

  Cognition同时上线Devin Coach,这套AI系统会针对工程师的提示词给出反馈 ,引导用户提升使用效率 。该助手会识别20至30类最常见错误,例如指令描述模糊 、用户为任务选用成本过高的模型。

  举例来说,如果用户在一条指令里打包多项独立任务 ,Coach会识别出这些任务可并行处理、速度更快 ,并建议拆分为多次会话。

  Coach还能监测员工是否用Devin处理度假规划这类私人事务 。吉鲁称,这项功能源于一位客户的顾虑——该客户发现部分员工用Devin处理非工作事项,不过这类使用占比“相对很低”。

©版权声明
THE END