笔记用量与成本
给团队搭一个大模型统一入口
团队里十来个人要用大模型,但厂商的密钥不能发给每个人,也要看得清谁用了多少。我用开源网关 New API 搭了一个只供团队内部使用的统一入口,不对外提供服务。
它解决了什么
- 每人拿到自己的访问令牌。真实的厂商密钥只保存在服务器上,使用者接触不到。
- 每人有一笔用量额度,用完即停,由管理员手动追加,不设自动重置。
- 成员自己能查用量和余额,管理员能看到整体的使用情况。
这些全是网关自带的功能。我没有另写计费系统,也没有做自己的前端。
用下来的几个坑
- 调额度用「增加」或「减少」,别用「覆盖」。实测「覆盖」没有及时同步到缓存,滞后了四十多秒。这期间的扣费让数据库里的余额变成了负数,和缓存里的对不上。
- 厂商密钥的输入框是追加模式。换密钥的顺序是:先追加新的,停用旧的,真实调用一次确认可用,最后再删除旧的。
- 锁住可选分组。把「用户可选分组」清空,成员就只能用分配给自己的模型,不能自己切换。
- 数据库备份里有明文密钥。备份文件要限制读取权限,拿出服务器之前先加密。