推理参数

SampleArguments

字段

类型

默认值

说明

sample_backend

str

hf

采样后端;可用值为 hf

max_new_tokens

int

128

单次最多生成 token 数

使用方法见推理。