非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|
一种降低在乘法器‑累加器MAC具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的方法,包括:基于被分配用于所述MAC的输出的位数来确定在计算所述定点神经网络中的激活时的移位操作的减少的数目,确定所述减少的数目是为了平衡所述定点神经网络中的量化误差的量和溢出误差的可能性;以及修改输入激活的数格式和/或权重的数格式以将移位操作的数目减少到零,其中所述修改进一步包括:增加所述输入激活的第一数格式和/或所述权重的第二数格式中的整数位数和/或减少所述输入激活的第一数格式和/或所述权重的第二数格式中的分数位数。
如权利要求1所述的方法,其特征在于,进一步包括:减少在中间相加之前的移位操作的数目以平衡所述溢出误差的可能性和所述量化误差的量。
如权利要求1所述的方法,其特征在于,进一步包括:在执行移位操作之前在计算激活时将数个项相加。
如权利要求3所述的方法,其特征在于,所述项的数目至少部分地基于减少移位操作的数目与防止所述溢出误差之间的平衡。
如权利要求3所述的方法,其特征在于,所述相加在所述MAC的寄存器中发生,并且所述移位操作在写入存储器之前发生。
如权利要求3所述的方法,其特征在于,进一步包括:在将所述数个项相加之前修改输入激活的数格式和/或权重的数格式以降低所述溢出误差的可能性。
一种用于降低在乘法器‑累加器MAC具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的装备,所述装备包括:用于基于被分配用于所述MAC的输出的位数来确定在计算所述定点神经网络中的激活时的移位操作的减少的数目的装置,确定所述减少的数目是为了平衡所述定点神经网络中的量化误差的量和溢出误差的可能性; 用于对乘积的表示执行所述移位操作中的一个移位操作的装置;以及 用于修改输入激活的数格式和/或权重的数格式以将移位操作的数目减少到零的装置,其进一步包括:用于增加所述输入激活的第一数格式和/或所述权重的第二数格式中的整数位数和/或减少所述输入激活的第一数格式和/或所述权重的第二数格式中的分数位数的装置。
如权利要求7所述的装备,其特征在于,进一步包括:用于减少在中间相加之前的移位操作的数目以平衡所述溢出误差的可能性和所述量化误差的量的装置。
如权利要求7所述的装备,其特征在于,进一步包括:用于在执行所述移位操作中的所述一个移位操作之前在计算激活时将数个项相加的装置。
如权利要求9所述的装备,其特征在于,所述项的数目至少部分地基于减少移位操作的数目与防止所述溢出误差之间的平衡。
如权利要求9所述的装备,其特征在于,所述相加在所述MAC的寄存器中发生,并且所述移位操作在写入存储器之前发生。
如权利要求9所述的装备,其特征在于,进一步包括:用于在将所述数个项相加之前修改输入激活的数格式和/或权重的数格式以降低所述溢出误差的可能性的装置。
一种用于降低在乘法器‑累加器MAC具有有限位宽的系统中进行操作的定点神经网络的计算复杂度的装置,所述装置包括:存储器单元;以及 耦合到所述存储器单元的至少一个处理器,所述至少一个处理器被配置成: 基于被分配用于所述MAC的输出的位数来确定在计算所述定点神经网络中的激活时的移位操作的减少的数目,确定所述减少的数目是为了平衡所述定点神经网络中的量化误差的量和溢出误差的可能性;以及修改输入激活的数格式和/或权重的数格式以将移位操作的数目减少到零,其中所述修改进一步包括:增加所述输入激活的第一数格式和/或所述权重的第二数格式中的整数位数和/或减少所述输入激活的第一数格式和/或所述权重的第二数格式中的分数位数。
如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置成:减少在中间相加之前的移位操作的数目以平衡所述溢出误差的可能性和所述量化误差的量。
如权利要求13所述的装置,其特征在于,所述至少一个处理器被进一步配置成:在执行移位操作之前在计算激活时将数个项相加。
如权利要求15所述的装置,其特征在于,所述项的数目至少部分地基于减少移位操作的数目与防止所述溢出误差之间的平衡。
如权利要求15所述的装置,其特征在于,所述相加在所述MAC的寄存器中发生,并且所述移位操作在写入存储器之前发生。
如权利要求15所述的装置,其特征在于,所述至少一个处理器被进一步配置成:在将所述数个项相加之前修改输入激活的数格式和/或权重的数格式以降低所述溢出误差的可能性。
一种用于在乘法器‑累加器MAC具有有限位宽的系统中进行操作的定点神经网络的非瞬态计算机可读介质,所述非瞬态计算机可读介质具有记录于其上的程序代码,所述程序代码由处理器执行并包括:用于基于被分配用于所述MAC的输出的位数来确定在计算所述定点神经网络中的激活时的移位操作的减少的数目的程序代码,确定所述减少的数目是为了平衡所述定点神经网络中的量化误差的量和溢出误差的可能性;以及用于修改输入激活的数格式和/或权重的数格式以将移位操作的数目减少到零的程序代码,其进一步包括:用于增加所述输入激活的第一数格式和/或所述权重的第二数格式中的整数位数和/或减少所述输入激活的第一数格式和/或所述权重的第二数格式中的分数位数的程序代码。
如权利要求19所述的非瞬态计算机可读介质,其特征在于,进一步包括:用于减少在中间相加之前的移位操作的数目以平衡所述溢出误差的可能性和所述量化误差的量的程序代码。
如权利要求19所述的非瞬态计算机可读介质,其特征在于,进一步包括:用于在执行移位操作之前在计算激活时将数个项相加的程序代码。
如权利要求21所述的非瞬态计算机可读介质,其特征在于,所述项的数目至少部分地基于减少移位操作的数目与防止所述溢出误差之间的平衡。
如权利要求21所述的非瞬态计算机可读介质,其特征在于,所述相加在所述MAC的寄存器中发生,并且所述移位操作在写入存储器之前发生。
如权利要求21所述的非瞬态计算机可读介质,其特征在于,进一步包括:用于在将所述数个项相加之前修改输入激活的数格式和/或权重的数格式以降低所述溢出误差的可能性的程序代码。