非显而易见性评估仅供参考，不构成法律建议。
权利要求列表点击可跳转
对比文件列表
| 编号 | 名称 |
|---|
权利要求1
一种处理系统，包括；其上存储有可执行指令的至少一个存储器；以及；一个或多个处理器；所述一个或多个处理器被配置成执行所述可执行指令以使所述处理系统；基于输入提示和生成式人工智能模型来生成第一多个令牌集合；所述第一多个令牌集合中的每个令牌集合对应于对所述输入提示的候选响应的第一部分；使用所述生成式人工智能模型来推测地生成第二多个令牌集合；所述第二多个令牌集合中的每个令牌集合基于所述第一多个令牌集合对应于对所述输入提示的所述候选响应的第二部分；在推测地生成所述第二多个令牌集合的同时从所述第一多个令牌集合中选择令牌集合；以及；输出从所述第一多个令牌中所选择的令牌集合以及所述第二多个令牌中相关联的令牌集合作为对所述输入提示的响应。
权利要求2
如权利要求1所述的处理系统，其中为了从所述第一多个令牌集合中选择所述令牌集合，所述一个或多个处理器被配置成使所述处理系统；从所述第一多个令牌集合中选择所接受令牌的最长序列。
权利要求3
如权利要求1所述的处理系统，其中所述第二多个令牌集合中的令牌集合包括；填充以计及从所述第一多个令牌集合中所选择的令牌集合中的令牌数目。
权利要求4
如权利要求1所述的处理系统，其中所述第一多个令牌集合被表示为树数据结构；并且其中所述树数据结构的根节点对应于所述输入提示。
权利要求5
如权利要求4所述的处理系统，其中所述树数据结构的深度与通过所述生成式人工智能模型的单轮次通行所生成的令牌的最大数目相对应。
权利要求6
如权利要求4所述的处理系统，其中所述树数据结构的最大大小是基于与所述生成式人工智能模型生成令牌集合相关联的计算复杂度度量来设置的。
权利要求7
如权利要求4所述的处理系统，其中为了从所述第一多个令牌集合中选择所述令牌集合，所述一个或多个处理器被配置成使所述处理系统；拒绝表示所述第一多个令牌集合的所述树数据结构的第一层处的第一令牌；基于拒绝所述第一令牌来生成经调整的概率分布；从所述树数据结构中丢弃或忽略所述第一令牌的子令牌；以及；基于所述经调整的概率分布来确定要接受还是拒绝所述树数据结构的所述第一层处的第二令牌。
权利要求8
如权利要求1所述的处理系统，其中为了从所述第一多个令牌集合中选择所述令牌集合，所述一个或多个处理器被配置成使所述处理系统；拒绝由所述生成式人工智能模型生成的所述第一多个令牌集合中的每个令牌集合；以及；使用所述生成式人工智能模型基于排除与所述第一多个令牌集合中的每个令牌集合相关联的概率的目标分布来对令牌进行采样；其中从所述第一多个令牌集合中所选择的令牌集合包括所采样令牌。
权利要求9
如权利要求1所述的处理系统，其中所述生成式人工智能模型包括被训练成响应于所述输入提示基于预测提示嵌入来生成多个令牌的生成式人工智能模型。
权利要求10
如权利要求1所述的处理系统，其中所述生成式人工智能模型包括包含一个或多个非自回归层和一个或多个自回归层的模型。
权利要求11
如权利要求10所述的处理系统，其中所述一个或多个自回归层包括在表示所述生成式人工智能模型的层堆栈的顶部的一个或多个层。
权利要求12
如权利要求10所述的处理系统，其中所述一个或多个自回归层包括在表示所述生成式人工智能模型的层堆栈的底部的一个或多个层。