创建路由
打开 控制台实例页面,在左侧菜单栏选择AI 路由,进入路由列表,然后单击创建路由,并在创建路由面板配置相关参数:
配置参数
路由类型
支持单模型服务和多模型服务两种类型:
- 单模型服务:在同一个服务实例中只部署和运行一个模型,适用于需要专注于单一任务或模型的应用场景
- 模型名称匹配:支持模型名称前缀匹配和精准匹配,并路由到指定的集成,可以同时配置多个模型名称匹配规则
- 负载均衡:支持将指定的模型名称,同时路由到多个集成,并配置路由权重
集成列表
在集成列表中选择集成。
注意:公网版本系统支持自动路由,暂不支持用户配置。