跳到主要内容

AI 路由

创建路由

打开 控制台实例页面,在左侧菜单栏选择AI 路由,进入路由列表,然后单击创建路由,并在创建路由面板配置相关参数:

配置参数

  • 路由名称:自定义路由名称
  • 域名:支持选择多个域名

路由类型

支持单模型服务和多模型服务两种类型:

  • 单模型服务:在同一个服务实例中只部署和运行一个模型,适用于需要专注于单一任务或模型的应用场景
  • 模型名称匹配:支持模型名称前缀匹配和精准匹配,并路由到指定的集成,可以同时配置多个模型名称匹配规则
  • 负载均衡:支持将指定的模型名称,同时路由到多个集成,并配置路由权重

集成列表

在集成列表中选择集成。

注意:公网版本系统支持自动路由,暂不支持用户配置。