非显而易见杯

专利无效挑战赛

目标专利:240基于前景物体再现扩增实境

专利公开号:CN104903934B

专利权人:高通股份有限公司

无效请求书提交日期:2026年


上一项目 下一项目

非显而易见性评估仅供参考,不构成法律建议。



权利要求列表点击可跳转

序号 权利要求内容

1

一种用于再现扩增实境的方法,其包括: 产生场景的参考图像; 捕捉所述场景的图像,所述场景具有未附加到所述场景的前景物体,所述前景物体包含关注点,所述关注点是所述前景物体的属性,其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端,其中所述图像是使用不具有深度信息的摄像机捕捉的; 使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲,因此所述图像及所述参考图像具有相同视图,其中扭曲包括:从所述参考图像提取特征; 从所捕捉的所述场景的图像提取特征; 基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势;以及基于所述姿势扭曲所述图像或所述参考图像; 在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素; 使用所述检测到的像素检测所述前景物体上的所述关注点,其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行; 在显示器上显示所述图像; 基于所述关注点在所述显示器上于所述图像上方再现扩增对象;以及在随后捕捉的图像中追踪所述前景物体,其中所述追踪包括:如果场景有变化,那么更新所述参考图像。

2

根据权利要求1所述的方法,其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括:产生用于所述前景物体的掩模; 使用所述掩模从所述图像分割所述前景物体;以及使用从所述图像分割的所述前景物体检测所述像素。

3

根据权利要求1所述的方法,其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括:使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像;以及在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。

4

根据权利要求1所述的方法,其中在扭曲之后比较所述图像与所述参考图像包括:在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差;以及比较每一像素的所述差与阈值。

5

根据权利要求1所述的方法,其中在扭曲之后比较所述图像与所述参考图像包括:在扭曲之后产生所述图像及所述参考图像中的对应像素的比率;以及比较对应像素的所述比率与阈值。

6

根据权利要求1所述的方法,其进一步包括:在所述显示器上显示随后捕捉的图像;以及 基于所述随后捕捉的图像中的所述关注点更改所述扩增对象。

7

根据权利要求1所述的方法,其中在所述显示器上再现所述扩增对象包括再现所述扩增对象以看起来如同所述扩增对象在显示于所述显示器上的所述前景物体下方。

8

根据权利要求1所述的方法,其中所述场景包含具有关注点的多个前景物体,所述方法进一步包括:通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素;以及使用所述检测到的像素检测所述多个前景物体上的所述关注点。

9

根据权利要求1所述的方法,其进一步包括:基于所述前景物体上的所述关注点的移动来检测临时手势;以及执行与所述临时手势相关联的动作。

10

根据权利要求1所述的方法,其进一步包括:比较所述前景物体上的所述关注点的配置与手势配置库; 从所述前景物体上的所述关注点的所述配置识别手势;以及执行与所述手势相关联的动作。

11

根据权利要求1所述的方法,其进一步包括在随后捕捉的图像中追踪所述前景物体包括:对于每一随后捕捉的图像,使所述随后捕捉的图像及所述场景的所述参考图像中的至少一者扭曲; 在扭曲之后比较所述随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素;以及使用所述随后捕捉的图像中的所述检测到的像素检测所述前景物体上的所述关注点。

12

根据权利要求1所述的方法,其进一步包括使用具有属于所述关注点的所述像素的光流在随后捕捉的图像中追踪所述前景物体。

13

一种用于再现扩增实境的设备,其包括: 摄像机; 显示器;以及 处理器,所述处理器耦合到所述显示器且耦合到所述摄像机以:接收场景的参考图像; 接收所述场景的图像,所述场景具有未附加到所述场景的前景物体,所述前景物体包含关注点,所述关注点是所述前景物体的属性,其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端,其中所述图像是使用不具有深度信息的摄像机捕捉的; 使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲,因此所述图像及所述参考图像具有相同视图,其中扭曲包括:从所述参考图像提取特征; 从所捕捉的所述场景的图像提取特征; 基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势;以及基于所述姿势扭曲所述图像或所述参考图像; 在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素,使用所述检测到的像素检测所述前景物体上的所述关注点,其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行,在所述显示器上显示所述图像,基于所述关注点在所述显示器上于所述图像上方再现扩增对象,以及在随后捕捉的图像中追踪所述前景物体,其中所述追踪包括:如果场景有变化,那么更新所述参考图像。

14

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素:产生用于所述前景物体的掩模; 使用所述掩模从所述图像分割所述前景物体;以及使用从所述图像分割的所述前景物体检测所述像素。

15

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素:使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像;以及在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。

16

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像:在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差;以及比较每一像素的所述差与阈值。

17

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像:在扭曲之后产生所述图像及所述参考图像中的对应像素的比率,以及比较对应像素的所述比率与阈值。

18

根据权利要求13所述的设备,其中所述处理器经进一步配置以进行以下操作:使随后捕捉的图像显示于所述显示器上,以及基于所述随后捕捉的图像中的所述关注点更改所述扩增对象。

19

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在所述显示器上再现所述扩增对象:再现所述扩增对象以看起来如同所述扩增对象在显示于所述显示器上的所述前景物体下方。

20

根据权利要求13所述的设备,其中所述场景包含具有关注点的多个前景物体,其中所述处理器经进一步配置以:通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素;以及使用所述检测到的像素检测所述多个前景物体上的所述关注点。

21

根据权利要求13所述的设备,其中所述处理器经进一步配置以:基于所述前景物体上的所述关注点的移动来检测临时手势;以及执行与所述临时手势相关联的动作。

22

根据权利要求13所述的设备,其中所述处理器经进一步配置以:比较所述前景物体上的所述关注点的配置与手势配置库; 从所述前景物体上的所述关注点的所述配置识别手势;以及执行与所述手势相关联的动作。

23

根据权利要求13所述的设备,其中所述摄像机不提供深度信息。

24

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在随后捕捉的图像中追踪所述前景物体:对于每一随后捕捉的图像,使所述随后捕捉的图像及所述场景的所述参考图像中的至少一者扭曲; 在扭曲之后比较所述随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素;以及使用所述随后捕捉的图像中的所述检测到的像素检测所述前景物体上的所述关注点。

25

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成使用具有属于所述关注点的所述像素的光流而在随后捕捉的图像中追踪所述前景物体。

26

一种用于再现扩增实境的设备,其包括: 用于产生场景的参考图像的装置; 用于捕捉所述场景的图像的装置,所述场景具有未附加到所述场景的前景物体,所述前景物体包含关注点,所述关注点是所述前景物体的属性,其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端,其中所述图像是使用不具有深度信息的摄像机捕捉的; 用于使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲,因此所述图像及所述参考图像具有相同视图的装置,其中所述用于扭曲的装置包括:用于从所述参考图像提取特征的装置; 用于从所捕捉的所述场景的图像提取特征的装置; 用于基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势的装置;以及用于基于所述姿势扭曲所述图像或所述参考图像的装置; 用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置; 用于使用所述检测到的像素检测所述前景物体上的所述关注点的装置,其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行; 用于在显示器上显示所述图像的装置; 用于基于所述关注点在所述显示器上于所述图像上方再现扩增对象的装置;以及用于在随后捕捉的图像中追踪所述前景物体的装置,其中所述追踪包括:如果场景有变化,那么更新所述参考图像。

27

根据权利要求26所述的设备,其中用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置包括用于产生用于所述前景物体的掩模的装置,所述设备进一步包括用于使用所述掩模从所述图像分割所述前景物体的装置。

28

根据权利要求26所述的设备,所述设备进一步包括用于从所述图像提取所述前景物体的装置。

29

根据权利要求26所述的设备,其中用于在扭曲之后比较所述图像与所述参考图像的所述装置在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差;并且比较每一像素的所述差与阈值。

30

根据权利要求26所述的设备,其中用于在扭曲之后比较所述图像与所述参考图像的所述装置在扭曲之后产生所述图像及所述参考图像中的对应像素的比率;并且比较对应像素的所述比率与阈值。

31

根据权利要求26所述的设备,其进一步包括:用于在所述显示器上显示随后捕捉的图像的装置;以及用于基于所述随后捕捉的图像中的所述关注点更改所述扩增对象的装置。

32

根据权利要求26所述的设备,其进一步包括:用于基于所述前景物体上的所述关注点的移动来检测临时手势的装置;以及用于执行与所述临时手势相关联的动作的装置。

33

一种包含存储于其上的程序代码的存储媒体,其包括:用以产生场景的参考图像的程序代码; 用以接收所述场景的图像的程序代码,所述场景具有未附加到所述场景的前景物体,所述前景物体包含关注点,所述关注点是所述前景物体的属性,其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端,其中所述图像是使用不具有深度信息的摄像机捕捉的; 用以使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲,因此所述图像及所述参考图像具有相同视图的程序代码,其中用于扭曲的所述程序代码包括:用以从所述参考图像提取特征的程序代码; 用以从所捕捉的所述场景的图像提取特征的程序代码; 用以基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势的程序代码;以及用以基于所述姿势扭曲所述图像或所述参考图像的程序代码; 用以在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的程序代码; 用以使用所述检测到的像素检测所述前景物体上的所述关注点的程序代码,其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行; 用以在显示器上显示所述图像的程序代码; 用以基于所述关注点在所述显示器上于所述图像上方再现扩增对象的程序代码;以及用以在随后捕捉的图像中追踪所述前景物体的程序代码,其中所述追踪包括:如果场景有变化,那么更新所述参考图像。

34

根据权利要求33所述的存储媒体,其进一步包括用以从所述图像提取所述前景物体的程序代码。

35

根据权利要求33所述的存储媒体,其中用以在扭曲之后比较所述图像与所述参考图像的所述程序代码包括:用以在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差的程序代码;以及用以比较每一像素的所述差与阈值的程序代码。

36

根据权利要求33所述的存储媒体,其中用以在扭曲之后比较所述图像与所述参考图像的所述程序代码包括:用以在扭曲之后产生所述图像及所述参考图像中的对应像素的比率的程序代码;以及用以比较对应像素的所述比率与阈值的程序代码。

37

根据权利要求33所述的存储媒体,其进一步包括:用以显示随后捕捉的图像的程序代码;以及 用以基于所述随后捕捉的图像中的所述关注点更改所述扩增对象的程序代码。

38

根据权利要求33所述的存储媒体,其进一步包括:用以基于所述前景物体上的所述关注点的移动来检测临时手势的程序代码;以及用以执行与所述临时手势相关联的动作的程序代码。


对比文件列表

编号 名称
0 2014-08-27_JP5577675B_发明专利_JP5577675B2 Airflow blowing equipment and hand drying apparatus using the same.docx
0 2012-05-10_JP2012088881A_发明专利_JP2012088881A Person motion detection device and program thereof_+++A_B_C_G_I_L_M_P_Q_S_V_W_d_n_r_t_u+++.docx
0 2012-05-10_US2012113223A_发明申请_US20120113223A1 User Interaction in Augmented Reality_+++A_B_C_D_E_F_I_J_K_N_O_h_p_z+++.docx
0 2012-05-10_US2012117514A_发明申请_US20120117514A1 Three-Dimensional User Interaction_+++B_C_D_E_F_G_I_M_N_O_z+++.docx
0 2012-09-27_US2012243732A_发明申请_US20120243732A1 Adaptable Framework for Cloud Assisted Augmented Reality_+++A_B_G_I_J_N_O_h_k+++.docx
0 2012-12-06_JP2012238175A_发明专利_JP2012238175A Information processing device, information processing method, and program_+++A_B_C_I_N_W_g_m_p_q_r_s_v+++.docx
0 2013-02-27_JP5152159B_发明专利_JP5152159B2 How tool inspection, inverter production method.docx
0 2013-05-20_KR1020130051501A_发明公开_KR1020130051501A 다중 사용자 증강 현실을 위한 온라인 참조 생성 및 추적_+++A_B_H_I_J_K_N_g+++.docx
0 2013-05-23_WO2013073510A_发明申请_WO2013073510A1 内燃機関の燃料噴射方法と内燃機関.docx
0 2013-06-12_CN103155001A_发明公开_CN103155001A 用于多用户扩增现实的在线基准生成和跟踪_+++A_B_G_H_I_J_K_N+++.docx
0 2013-07-17_EP2614487A_发明公开_EP2614487A1 ONLINE REFERENCE GENERATION AND TRACKING FOR MULTI-USER AUGMENTED REALITY_+++A_B_H_I_J_K_N_O_g+++.docx
0 2013-10-28_JP2013539872A_发明专利_JP2013539872A Online reference generation and tracking in a multi-user augmented reality_+++A_B_H_I_J_K_N_c_g_o_p+++.docx
0 2014-01-22_JP5392582B_发明专利_JP5392582B2 Motor control device.docx
0 2014-02-27_JP2014505320A_发明专利_JP2014505320A Light guide with a diffused light input interface.docx
0 2014-05-15_JP2014090264A_发明专利_JP2014090264A Electronic device, control method, and program.docx
0 2012-04-05_US2012082383A_发明申请_US20120082383A1 PROJECTING PATTERNS FOR HIGH RESOLUTION TEXTURE EXTRACTION_+++B_N+++.docx
0 2014-11-17_KR1020140132231A_发明公开_KR1020140132231A 영상 회의 시 단말기를 제어하기 위한 방법, 장치 및 기록 매체_+++B_G_N+++.docx
0 2015-08-19_EP2908507A_发明公开_EP2908507A1 ELECTRONIC DEVICE, CONTROL METHOD, AND PROGRAM.docx
0 2015-09-09_CN104903934A_发明公开_CN104903934A 基于前景物体再现扩增实境_+++A_B_C_D_E_F_G_H_I_J_K_L_M_N_O_P_Q_R_S_T_U_V_W_X_Y_Z+++.docx
0 2015-11-11_EP2941756A_发明公开_EP2941756A1 RENDERING AUGMENTED REALITY BASED ON FOREGROUND OBJECT_+++A_B_C_D_E_F_G_J_K_L_M_N_O_Q_R_S_T_U_V_W_X_Y_Z_h_i_p+++.docx
0 2017-09-08_CN103155001B_发明授权_CN103155001B 用于多用户扩增现实的在线基准生成和跟踪的方法、装置和系统_+++A_B_G_I_J_K_N_h_p+++.docx
0 2017-11-01_JP6224309B_发明专利_JP6224309B2 電子機器、制御方法及びプログラム.docx
0 2018-08-27_KR101892268B_发明授权_KR101892268B1 영상 회의 시 단말기를 제어하기 위한 방법, 장치 및 기록 매체_+++B_N_g_i_w_y+++.docx
0 2019-01-30_EP2908507B_发明授权_EP2908507B1 ELECTRONIC DEVICE, CONTROL METHOD, AND PROGRAM.docx
0 2019-06-28_CN104903934B_发明授权_CN104903934B 基于前景物体再现扩增实境_+++A_B_C_D_E_F_G_H_I_J_K_L_M_N_O_Q_R_S_T_U_V_W_X_Y_Z_p+++.docx
0 2021-01-06_EP2614487B_发明授权_EP2614487B1 ONLINE REFERENCE GENERATION AND TRACKING FOR MULTI-USER AUGMENTED REALITY_+++A_B_I_J_K_N_g+++.docx
0 2021-03-17_EP2941756B_发明授权_EP2941756B1 RENDERING AUGMENTED REALITY BASED ON FOREGROUND OBJECT_+++A_B_C_D_E_G_I_J_K_L_M_N_O_Q_R_S_T_U_V_W_X_Y_Z_f_h_p+++.docx
0 EP2941756A1_Description_20260309_1948_+++A_B_C_D_E_F_G_H_I_J_K_L_M_N_O_P_Q_R_S_T_U_V_W_X_Y_Z+++.docx
0 JP2019125355A_Description_20260309_1948.docx
0 2010-03-17_CN100594517C_发明授权_CN100594517C 确定与AR-物体光学重叠的方法和装置_+++B_N_O_z+++.docx
0 2003-10-02_US2003185461A_发明申请_US20030185461A1 Method and apparatus for processing information_+++B_C_G_N+++.docx
0 2003-10-17_JP2003296759A_发明专利_JP2003296759A Information processing method and device_+++B_C_G_N_Q_a_d_e_f_i_o_p_r_t_w+++.docx
0 2004-05-27_JP2004150595A_发明专利_JP2004150595A Long spindle butterfly valve.docx
0 2005-03-17_JP2005070183A_发明专利_JP2005070183A Developing device, and image forming device and system.docx
0 2007-09-20_US2007216675A_发明申请_US20070216675A1 Digital Video Effects_+++A_B_C_E_G_I_N_O_e_p+++.docx
0 2008-06-12_US2008137940A_发明申请_US20080137940A1 Object Recognition Apparatus and Object Recognition Method Using Epipolar Geometry_+++B_N_a+++.docx
0 2008-12-18_US2008310143A_发明申请_US20080310143A1 LIGHT HOUSING.docx
0 2009-10-29_JP2009251702A_发明专利_JP2009251702A Information processing unit, information processing method, and information processing program_+++B_C_D_E_F_N_O_i+++.docx
0 2009-10-29_US2009267893A_发明申请_US20090267893A1 TERMINAL DEVICE_+++B_M_N_c_d_e_f_g_o_p+++.docx
0 2009-11-12_JP2009265809A_发明专利_JP2009265809A Information terminal device_+++B_C_D_E_F_I_M_N_a_g_o+++.docx
0 2010-01-05_US7643024B_发明授权_US07643024B2 System and method for view management in three dimensional space_+++n+++.docx
0 2010-01-21_JP2010015469A_发明专利_JP2010015469A Still area detection method, and apparatus, program and recording medium therefor_+++A_B_N_Q_R_W_c_g_p_t_v+++.docx
0 2010-02-25_US2010045448A_发明申请_US20100045448A1 OBSTACLE DETECTION APPARATUS_+++B_I_N+++.docx
0 2002-10-31_JP2002318652A_发明专利_JP2002318652A Virtual input device and its program_+++B_C_D_E_F_G_N_O+++.docx
0 2010-06-09_JP4479187B_发明专利_JP4479187B2 Developing device, and an image forming apparatus.docx
0 2010-07-13_US7754827B_发明授权_US07754827B2 Coated films.docx
0 2011-04-05_US7918577B_发明授权_US07918577B2 Light housing.docx
0 2011-04-21_JP2011080738A_发明专利_JP2011080738A Air blowing device and hand drying device using the same.docx
0 2011-06-09_JP2011113983A_发明专利_JP2011113983A Method of inspecting tool and method of manufacturing inverter.docx
0 2011-06-30_JP2011128220A_发明专利_JP2011128220A Information presenting device, information presenting method, and program_+++B_E_F_N_O_Z_a_c_d+++.docx
0 2011-09-08_US2011216060A_发明申请_US20110216060A1 Maintaining Multiple Views on a Shared Stable Virtual Space_+++B_N_a_c_d_e_f_g+++.docx
0 2011-10-06_JP2011198150A_发明专利_JP2011198150A Head-mounted augmented reality video presentation device and virtual display object operation method_+++B_C_D_E_F_I_N_O_g_m+++.docx
0 2012-02-02_WO2012015383A_发明申请_WO2012015383A1 METHOD AND APPARATUS FOR MITIGATING AVIATION RISK BY ANALYZING AND MODELING AIR CREW FATIGUE.docx
0 2012-03-01_US2012050324A_发明申请_US20120050324A1 MOBILE TERMINAL AND CONTROLLING METHOD THEREOF_+++B_N+++.docx
0 2012-03-15_US2012062702A_发明申请_US20120062702A1 ONLINE REFERENCE GENERATION AND TRACKING FOR MULTI-USER AUGMENTED REALITY_+++A_B_H_I_J_K_N_o_p+++.docx
0 2012-03-15_WO2012034092A_发明申请_WO2012034092A1 ONLINE REFERENCE GENERATION AND TRACKING FOR MULTI-USER AUGMENTED REALITY_+++A_B_I_K_N_g+++.docx
0 2012-04-03_US8151341B_发明授权_US08151341B1 System and method for reducing false positives during detection of network attacks.docx

权利要求1

一种用于再现扩增实境的方法,其包括: 产生场景的参考图像; 捕捉所述场景的图像,所述场景具有未附加到所述场景的前景物体,所述前景物体包含关注点,所述关注点是所述前景物体的属性,其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端,其中所述图像是使用不具有深度信息的摄像机捕捉的; 使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲,因此所述图像及所述参考图像具有相同视图,其中扭曲包括:从所述参考图像提取特征; 从所捕捉的所述场景的图像提取特征; 基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势;以及基于所述姿势扭曲所述图像或所述参考图像; 在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素; 使用所述检测到的像素检测所述前景物体上的所述关注点,其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行; 在显示器上显示所述图像; 基于所述关注点在所述显示器上于所述图像上方再现扩增对象;以及在随后捕捉的图像中追踪所述前景物体,其中所述追踪包括:如果场景有变化,那么更新所述参考图像。


未提交复审委

无效理由:专利法第二条

蒋 晓勇
@jxy

您好!作为专业的专利代理师,我已仔细阅读了您提供的权利要求文件以及对比文件D1(JP2012088881A)。

针对您的具体需求,以下是对技术特征L在对比文件D1中是否被公开的详细比对与侵权/无效分析。

结论概述

对比文件D1(JP2012088881A)并未单独毫无疑义地公开或实质公开技术特征L。

虽然D1公开了通过比较当前图像与背景图像来提取前景像素(人物区域)的技术手段,但D1是基于固定摄像机的前提进行背景差分处理的,完全没有公开“在扭曲(Warping)之后”进行图像比较这一核心前置步骤。


特征比对表格

目标专利权利要求1 对比文件D1 (JP2012088881A) 比对结果

技术特征L:


在扭曲之后

未公开。


D1的方法基于固定摄像机(固定カメラ),无需进行图像视图的扭曲或对齐。

区别特征
比较所述图像与所述参考图像

已公开。


D1公开了将输入帧(图像)与预先拍摄的无人物的背景图像(参考图像)进行差分比较。

实质相同
以检测属于所述前景物体上的所述关注点的像素

部分公开。


D1公开了提取前景区域(前景领域),并在该区域内检测特征点(相当于关注点的像素)。

实质相同

详细分析与原文出处

1. 关于“比较所述图像与所述参考图像”及“检测前景物体像素”

D1确实公开了提取前景物体的基本逻辑,即利用背景差分法。

  • 出处:D1说明书段落 [0046][0047]

  • 原文引述

    [0046] 前景領域抽出手段11は、入力される映像のフレームごとに、動きのある領域を前景領域として抽出するものである...

    [0047] なお、この前景領域抽出手段11は、一般的な背景差分処理により前景領域を抽出することができる。例えば、映像が固定カメラで撮影された映像であれば、人物が映っていない画像を予め背景画像として撮影しておき、入力されるフレーム(フレーム画像)との差分をとることで、差のある領域を前景領域として抽出する。

  • 分析:D1中的“输入帧”对应本专利的“所述图像”;“无人物的背景图像”对应本专利的“参考图像”;“差分处理”对应本专利的“比较”;提取出的“前景领域”和后续提取的“特征点”(段落 [0050] 的Harris角点检测)实质上对应了本专利的“检测属于所述前景物体上的所述关注点的像素”。

2. 关于“在扭曲之后”(核心区别点)

本专利中引入“扭曲(Warping)”的根本原因在于摄像机是移动的(例如移动设备),因此在进行背景差分前,必须先提取特征计算单应性(姿势),将当前图像或参考图像进行扭曲对齐,使它们具有相同视图(如本专利说明书 [0030] 和 [0037] 所述),然后才能准确扣除背景。

  • D1的区别:如上述段落 [0047] 所明示,D1的前提是**“如果视频是由固定摄像机拍摄的(映像が固定カメラで撮影された映像であれば)”**。由于摄像机视角固定,D1直接将输入帧与背景图像进行像素级的差分运算,完全不需要、也不存在计算姿势并使图像“扭曲”以统一视图的过程。

  • 分析:因此,D1并未公开“在扭曲之后”再进行比较的限定条件。该特征是本专利解决移动端无深度信息摄像机背景分割问题的核心技术手段之一。


代理师审查意见与应对策略

如果您正在撰写无效宣告请求

仅使用D1无法破坏包含技术特征L的权利要求1的新颖性。您需要寻找另一篇公开了“移动摄像机背景分割中基于姿势进行图像扭曲/配准(Image Registration/Warping)”的对比文件(D2),通过“D1 + D2”的组合来攻击其创造性。需要论证将D2中的图像扭曲对齐技术应用于D1的背景差分中,对本领域技术人员来说是显而易见的。

如果您正在应对审查意见或答辩

应紧紧抓住“在扭曲之后”这一时间顺序和前提条件。强调D1受限于“固定摄像机”的应用场景,根本无法解决本专利在使用移动设备(摄像机视角不断变化)时准确提取前景物体的技术痛点,从而论证本专利具备突出的实质性特点和显著的进步。

您是否需要我进一步协助您分析权利要求1中的其他技术特征(如特征H、I、J、K中的扭曲具体过程),或者帮您检索/评估可与D1结合的潜在对比文件D2?

 


权利要求2

根据权利要求1所述的方法,其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括:产生用于所述前景物体的掩模; 使用所述掩模从所述图像分割所述前景物体;以及使用从所述图像分割的所述前景物体检测所述像素。


权利要求3

根据权利要求1所述的方法,其中在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素包括:使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像;以及在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。


权利要求4

根据权利要求1所述的方法,其中在扭曲之后比较所述图像与所述参考图像包括:在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差;以及比较每一像素的所述差与阈值。


权利要求5

根据权利要求1所述的方法,其中在扭曲之后比较所述图像与所述参考图像包括:在扭曲之后产生所述图像及所述参考图像中的对应像素的比率;以及比较对应像素的所述比率与阈值。


权利要求6

根据权利要求1所述的方法,其进一步包括:在所述显示器上显示随后捕捉的图像;以及 基于所述随后捕捉的图像中的所述关注点更改所述扩增对象。


权利要求7

根据权利要求1所述的方法,其中在所述显示器上再现所述扩增对象包括再现所述扩增对象以看起来如同所述扩增对象在显示于所述显示器上的所述前景物体下方。


权利要求8

根据权利要求1所述的方法,其中所述场景包含具有关注点的多个前景物体,所述方法进一步包括:通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素;以及使用所述检测到的像素检测所述多个前景物体上的所述关注点。


权利要求9

根据权利要求1所述的方法,其进一步包括:基于所述前景物体上的所述关注点的移动来检测临时手势;以及执行与所述临时手势相关联的动作。


权利要求10

根据权利要求1所述的方法,其进一步包括:比较所述前景物体上的所述关注点的配置与手势配置库; 从所述前景物体上的所述关注点的所述配置识别手势;以及执行与所述手势相关联的动作。


权利要求11

根据权利要求1所述的方法,其进一步包括在随后捕捉的图像中追踪所述前景物体包括:对于每一随后捕捉的图像,使所述随后捕捉的图像及所述场景的所述参考图像中的至少一者扭曲; 在扭曲之后比较所述随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素;以及使用所述随后捕捉的图像中的所述检测到的像素检测所述前景物体上的所述关注点。


权利要求12

根据权利要求1所述的方法,其进一步包括使用具有属于所述关注点的所述像素的光流在随后捕捉的图像中追踪所述前景物体。


权利要求13

一种用于再现扩增实境的设备,其包括: 摄像机; 显示器;以及 处理器,所述处理器耦合到所述显示器且耦合到所述摄像机以:接收场景的参考图像; 接收所述场景的图像,所述场景具有未附加到所述场景的前景物体,所述前景物体包含关注点,所述关注点是所述前景物体的属性,其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端,其中所述图像是使用不具有深度信息的摄像机捕捉的; 使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲,因此所述图像及所述参考图像具有相同视图,其中扭曲包括:从所述参考图像提取特征; 从所捕捉的所述场景的图像提取特征; 基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势;以及基于所述姿势扭曲所述图像或所述参考图像; 在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素,使用所述检测到的像素检测所述前景物体上的所述关注点,其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行,在所述显示器上显示所述图像,基于所述关注点在所述显示器上于所述图像上方再现扩增对象,以及在随后捕捉的图像中追踪所述前景物体,其中所述追踪包括:如果场景有变化,那么更新所述参考图像。


权利要求14

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素:产生用于所述前景物体的掩模; 使用所述掩模从所述图像分割所述前景物体;以及使用从所述图像分割的所述前景物体检测所述像素。


权利要求15

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素:使用所述图像中的不同于所述参考图像中的对应像素的像素产生前景物体图像;以及在所述前景物体图像中检测属于所述前景物体上的所述关注点的所述像素。


权利要求16

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像:在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差;以及比较每一像素的所述差与阈值。


权利要求17

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在扭曲之后比较所述图像与所述参考图像:在扭曲之后产生所述图像及所述参考图像中的对应像素的比率,以及比较对应像素的所述比率与阈值。


权利要求18

根据权利要求13所述的设备,其中所述处理器经进一步配置以进行以下操作:使随后捕捉的图像显示于所述显示器上,以及基于所述随后捕捉的图像中的所述关注点更改所述扩增对象。


权利要求19

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在所述显示器上再现所述扩增对象:再现所述扩增对象以看起来如同所述扩增对象在显示于所述显示器上的所述前景物体下方。


权利要求20

根据权利要求13所述的设备,其中所述场景包含具有关注点的多个前景物体,其中所述处理器经进一步配置以:通过在扭曲之后比较所述图像与所述参考图像来检测属于所述多个前景物体上的所述关注点的像素;以及使用所述检测到的像素检测所述多个前景物体上的所述关注点。


权利要求21

根据权利要求13所述的设备,其中所述处理器经进一步配置以:基于所述前景物体上的所述关注点的移动来检测临时手势;以及执行与所述临时手势相关联的动作。


权利要求22

根据权利要求13所述的设备,其中所述处理器经进一步配置以:比较所述前景物体上的所述关注点的配置与手势配置库; 从所述前景物体上的所述关注点的所述配置识别手势;以及执行与所述手势相关联的动作。


权利要求23

根据权利要求13所述的设备,其中所述摄像机不提供深度信息。


权利要求24

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成进行以下操作而在随后捕捉的图像中追踪所述前景物体:对于每一随后捕捉的图像,使所述随后捕捉的图像及所述场景的所述参考图像中的至少一者扭曲; 在扭曲之后比较所述随后捕捉的图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素;以及使用所述随后捕捉的图像中的所述检测到的像素检测所述前景物体上的所述关注点。


权利要求25

根据权利要求13所述的设备,其中所述处理器经配置以通过配置成使用具有属于所述关注点的所述像素的光流而在随后捕捉的图像中追踪所述前景物体。


权利要求26

一种用于再现扩增实境的设备,其包括: 用于产生场景的参考图像的装置; 用于捕捉所述场景的图像的装置,所述场景具有未附加到所述场景的前景物体,所述前景物体包含关注点,所述关注点是所述前景物体的属性,其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端,其中所述图像是使用不具有深度信息的摄像机捕捉的; 用于使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲,因此所述图像及所述参考图像具有相同视图的装置,其中所述用于扭曲的装置包括:用于从所述参考图像提取特征的装置; 用于从所捕捉的所述场景的图像提取特征的装置; 用于基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势的装置;以及用于基于所述姿势扭曲所述图像或所述参考图像的装置; 用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置; 用于使用所述检测到的像素检测所述前景物体上的所述关注点的装置,其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行; 用于在显示器上显示所述图像的装置; 用于基于所述关注点在所述显示器上于所述图像上方再现扩增对象的装置;以及用于在随后捕捉的图像中追踪所述前景物体的装置,其中所述追踪包括:如果场景有变化,那么更新所述参考图像。


权利要求27

根据权利要求26所述的设备,其中用于在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的装置包括用于产生用于所述前景物体的掩模的装置,所述设备进一步包括用于使用所述掩模从所述图像分割所述前景物体的装置。


权利要求28

根据权利要求26所述的设备,所述设备进一步包括用于从所述图像提取所述前景物体的装置。


权利要求29

根据权利要求26所述的设备,其中用于在扭曲之后比较所述图像与所述参考图像的所述装置在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差;并且比较每一像素的所述差与阈值。


权利要求30

根据权利要求26所述的设备,其中用于在扭曲之后比较所述图像与所述参考图像的所述装置在扭曲之后产生所述图像及所述参考图像中的对应像素的比率;并且比较对应像素的所述比率与阈值。


权利要求31

根据权利要求26所述的设备,其进一步包括:用于在所述显示器上显示随后捕捉的图像的装置;以及用于基于所述随后捕捉的图像中的所述关注点更改所述扩增对象的装置。


权利要求32

根据权利要求26所述的设备,其进一步包括:用于基于所述前景物体上的所述关注点的移动来检测临时手势的装置;以及用于执行与所述临时手势相关联的动作的装置。


权利要求33

一种包含存储于其上的程序代码的存储媒体,其包括:用以产生场景的参考图像的程序代码; 用以接收所述场景的图像的程序代码,所述场景具有未附加到所述场景的前景物体,所述前景物体包含关注点,所述关注点是所述前景物体的属性,其中所述前景物体为用户的至少一个手指或指针且所述关注点为所述用户的所述至少一个手指或所述指针的尖端,其中所述图像是使用不具有深度信息的摄像机捕捉的; 用以使所述图像或不包含所述前景物体的所述场景的所述参考图像扭曲,因此所述图像及所述参考图像具有相同视图的程序代码,其中用于扭曲的所述程序代码包括:用以从所述参考图像提取特征的程序代码; 用以从所捕捉的所述场景的图像提取特征的程序代码; 用以基于将所述所捕捉的图像中的所提取的特征与所述参考图像中的所提取的特征进行比较来产生所述图像和所述参考图像之间的姿势的程序代码;以及用以基于所述姿势扭曲所述图像或所述参考图像的程序代码; 用以在扭曲之后比较所述图像与所述参考图像以检测属于所述前景物体上的所述关注点的像素的程序代码; 用以使用所述检测到的像素检测所述前景物体上的所述关注点的程序代码,其中检测所述前景物体上的所述关注点是使用分类器在不使用对所述前景物体的预定几何约束的情况下执行; 用以在显示器上显示所述图像的程序代码; 用以基于所述关注点在所述显示器上于所述图像上方再现扩增对象的程序代码;以及用以在随后捕捉的图像中追踪所述前景物体的程序代码,其中所述追踪包括:如果场景有变化,那么更新所述参考图像。


权利要求34

根据权利要求33所述的存储媒体,其进一步包括用以从所述图像提取所述前景物体的程序代码。


权利要求35

根据权利要求33所述的存储媒体,其中用以在扭曲之后比较所述图像与所述参考图像的所述程序代码包括:用以在扭曲之后从所述参考图像中的对应像素减去所述图像中的像素以产生每一像素的差的程序代码;以及用以比较每一像素的所述差与阈值的程序代码。


权利要求36

根据权利要求33所述的存储媒体,其中用以在扭曲之后比较所述图像与所述参考图像的所述程序代码包括:用以在扭曲之后产生所述图像及所述参考图像中的对应像素的比率的程序代码;以及用以比较对应像素的所述比率与阈值的程序代码。


权利要求37

根据权利要求33所述的存储媒体,其进一步包括:用以显示随后捕捉的图像的程序代码;以及 用以基于所述随后捕捉的图像中的所述关注点更改所述扩增对象的程序代码。


权利要求38

根据权利要求33所述的存储媒体,其进一步包括:用以基于所述前景物体上的所述关注点的移动来检测临时手势的程序代码;以及用以执行与所述临时手势相关联的动作的程序代码。


Powered by Django

网站备案号:渝ICP备2023012882号


重庆市非显而易见网络科技有限责任公司 A Anti NPE NPE