目标专利:由对象在成像装置的视野中的深度触发的事件
专利公开号:CN107111764B
专利权人:高通股份有限公司
无效请求书提交日期:2025年
第四十三届非显而易见如期举行,欢迎大家积极参与
| 编号 | 名称 |
|---|---|
| 0 | 对比文件1JP_2007334760_A.pdf |
| 0 | 对比文件2US_2014118486_A1.pdf |
| 0 | 对比文件3JP_2013127754_A.pdf |
| 0 | 对比文件4US20140375798A1.pdf |
| 0 | 对比文件5JP_2014096135_A.pdf |
| 0 | 对比文件6CN102118560A-拍照系统及方法.pdf |
| 0 | 对比文件7US_2014267633_A1.pdf |
| 0 | 对比文件8JP_H09171075_A.pdf |
| 0 | 对比文件9JP_2014096135_A.pdf |
| 0 | 对比文件10US_2012026277_A1Malzbender.pdf |
| 0 | 对比文件11US_2015264337_A1.pdf |
| 0 | 对比文件12CN103428516A-用于稳定数字图像的方法、电路和系统.pdf |
一种用于捕获场景中的对象的图像的方法,其包括:经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;
经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;
将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。
技术特征分解:
a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;
经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;
b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。
在引用的文件1中(参见段落[0079]至[0085]、[图6-7]等),通过安装在车辆1上的一对摄像头5r和5l同时捕捉到的单个物体的距离,是根据视差同时计算该物体的距离。当物体距离车辆1的距离小于预定距离时,会提前计算该物体的距离。文件中描述了预测该物体与车辆1之间的碰撞,并将由成像单元109捕捉到的图像记录在非易失性存储器23中,同时将易失性存储器24中累积的图像记录在非易失性存储器2中。
对比文件6CN102118560A《拍照系统及方法》公开:
[0005] 所述拍照系统,运行于安装有接近度传感器的拍照装置中,所述接近度传感器,用于当拍照装置进入拍照模式时,实时感测用户接近该接近度传感器的接近距离;该系统包括:获取模块,用于实时的获取所述接近度传感器感测到的用户的接近距离;判断模块,用于判断上述获取的接近距离是否小于预设的所述拍照装置的有效拍照距离;触发模块,用于当上述获取的接近距离小于所述有效拍照距离时,触发所述拍照装置进行拍照。(相当于权利要求中b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0016] 所述判断模块102用于判断上述获取的接近距离是否小于预设的所述拍照装置1的有效拍照距离。具体而言,该有效拍照距离可根据所述拍照装置1的具体结构的不同而进行设置,如该有效拍照距离可设置为30mm或50mm等,也即一旦所述接近度传感器11感测到用户的接近距离小于该有效拍照距离时,即触发所述拍照装置1进行拍照。(相当于权利要求中b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0021] 如图3所示,是本发明拍照方法较佳实施例的流程图。[0022] 当所述拍照装置1进入拍照模式后,于步骤S01,所述接近度传感器11实时感测用户接近该接近度传感器11的接近距离。[0023] 步骤S02,所述获取模块101实时的获取所述接近度传感器11所感测到的用户的接近距离。[0024] 步骤S03,所述判断模块102判断上述获取的接近距离是否小于预设的所述拍照装置1的有效拍照距离,(若小于,则执行步骤S04,否则,返回步骤S02。[0025] 步骤S04,所述触发模块103触发所述拍照装置1进行拍照。(相当于权利要求中b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
针对区别技术特征a
对比文件1公开
本发明的另一个目的是提供一种行车记录仪,其通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,从而即使在车辆未移动的情况下,也能够准确计算物体与车辆的距离。(相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;
经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
第一发明涉及的行车记录仪,其具备搭载于车辆上、用于拍摄车辆周围环境的拍摄手段,以及记录该拍摄手段拍摄的图像的记录手段,其特征在于,还具备计算手段,用于计算拍摄图像中物体与车辆的距离;以及判定手段,用于判定计算出的距离是否小于预定距离;当判定手段判定物体与车辆的距离小于预定距离时,记录手段记录拍摄手段拍摄的图像。(相当于权利要求中b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
此外,第五发明涉及的行车记录仪,其特征在于,拍摄手段为多个,并以预定距离间隔安装在车辆上,多个拍摄手段能够从不同位置拍摄同一物体;计算手段基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离。
在本发明中,多个拍摄手段从不同位置拍摄同一物体。基于多个拍摄手段分别拍摄的图像中同一物体的位置以及拍摄手段之间的距离,计算物体与车辆的距离。当使用单个拍摄手段计算距离时,需要获取车辆的移动量,而当使用多个拍摄手段计算距离时,无需获取车辆的移动量,因此即使车辆停止时也能轻松且准确地计算距离。(相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;
经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
根据第一发明,通过在车辆上搭载拍摄手段,基于拍摄图像中物体与车辆的距离,并在该距离小于预定距离时记录图像,能够在不使用加速度传感器的情况下判断图像记录的触发条件,从而避免因加速度传感器的误判导致的误操作。此外,能够在车辆与物体发生碰撞之前开始记录图像,从而更可靠地记录图像。因此,可以提高行车记录仪的可靠性。(相当于权利要求中b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
根据第五发明,通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,即使在车辆停止时也能轻松且准确地计算物体与车辆的距离,从而提高行车记录仪的精度和可靠性。根据第五发明,通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,即使在车辆停止时也能轻松且准确地计算物体与车辆的距离,从而提高行车记录仪的精度和可靠性。相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
图7是用于说明本发明变形例涉及的行车记录仪执行距离计算方法的示意图。以下以安装在车辆1前部的摄像头5R和5L为例进行说明,其他摄像头的情况也相同。变形例涉及的行车记录仪的控制部120的CPU121根据两个摄像头5R和5L同时拍摄的同一目标物体在各自摄像头获取的图像上成像位置的差异,即视差,来计算目标物体的距离,采用了所谓的立体视差测距方式。变形例涉及的行车记录仪基于拍摄部109的摄像头5R和5L拍摄的图像计算车辆1前方目标物体的距离,基于摄像头6R和6L拍摄的图像计算车辆1后方目标物体的距离,基于摄像头7R和7L拍摄的图像计算车辆1左侧目标物体的距离,基于摄像头8R和8L拍摄的图像计算车辆1右侧目标物体的距离。此外,通过超声波探测部19的声呐10至14获取目标物体的距离。当从任一手段获取的目标物体距离小于预先设定的预定距离时,判断目标物体与车辆1可能发生碰撞,因此通过拍摄部109拍摄图像,并将挥发性内存23中存储的图像记录到非挥发性内存24中。(相当于权利要求中b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
对比文件6并没有明确限定接近度传感器的具体形式,对比文件1给出了用两个摄像头来检测距离的技术方案,本领域技术人员完全容易想到在对比文件6的基础上再添加一个摄像头检测物体距离用作接近度传感器,并且用其中一个摄像头来拍摄照片。
对比文件3JP_2013127754_A公开
[0007] 本申请公开的记录装置在一个实施例中包括获取部、判定部和记录部。获取部获取与自身车辆及在自身车辆行驶的车道相邻的车道上行驶的其他车辆相关的行驶信息。判定部基于其他车辆中的第一车辆的行驶信息及在该第一车辆后方行驶的第二车辆的行驶信息,计算该第一车辆与该第二车辆之间的车距。判定部根据计算出的车距是否小于阈值,判定是否记录影像。记录部在判定部判定记录影像时,记录自身车辆周围的影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0026] 例如,获取部121依次获取自身车辆与在自身车辆行驶的车道相邻的车道上行驶的其他车辆之间的车距,并将时间编号与车距对应存储到行驶信息DB111中。例如,获取部121如日本专利公开号2005-106470所述,使用雷达30测量车距La及Lb。获取部121将测量的车距La及Lb与测量时的时间编号对应存储到行驶信息DB111中。需要说明的是,这里以使用雷达30测量车距的情况为例进行说明,但本发明并不限于此。例如,获取部121如实吉敬二所著的《基于立体图像识别的车载摄像头应用基础》(株式会社TriKeps,2007年)所述,也可以使用摄像头40a至40d拍摄的图像数据测量车距。(相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
[0113] (附记1)一种记录装置,其特征在于,包括:
获取部,用于获取与自身车辆及在自身车辆行驶车道相邻的相邻车道上行驶的其他车辆相关的行驶信息;
判定部,基于所述其他车辆中第一车辆的行驶信息及在该第一车辆后方行驶的第二车辆的行驶信息,计算该第一车辆与该第二车辆之间的车距,并根据计算出的车距是否小于阈值,判定是否需要记录影像;
记录部,在所述判定部判定需要记录影像时,记录自身车辆周边的影像。
[0114] (附记2)根据附记1所述的记录装置,其特征在于,还包括:
算出部,基于所述第一车辆的行驶信息及所述第二车辆的行驶信息,推定经过预定时间后该第一车辆与该第二车辆之间的车距,并利用推定车距,计算即使所述第一车辆以最大减速度急停,所述第二车辆也不会与该第一车辆发生碰撞的余裕距离;
所述判定部进一步基于所述算出部计算出的余裕距离是否小于阈值,判定是否需要记录影像。
[0115] (附记3)根据附记2所述的记录装置,其特征在于:
所述算出部计算经过所述预定时间后所述第一车辆与自身车辆之间的自身车辆相关车距;
所述判定部进一步基于所述算出部计算出的自身车辆相关车距是否在预定范围内,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0116] (附记4)根据附记2所述的记录装置,其特征在于:
所述算出部计算所述自身车辆相关车距,并计算即使所述第一车辆及自身车辆中在前方行驶的车辆以最大减速度急停,后方车辆也不会与前方车辆发生碰撞的自身车辆相关余裕距离;
所述判定部进一步基于所述算出部计算出的自身车辆相关余裕距离是否小于阈值,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0117] (附记5)根据附记2所述的记录装置,其特征在于:
所述算出部计算所述自身车辆相关车距,并计算自身车辆与在自身车辆前方行驶的第三车辆之间的第二自身车辆相关车距;
所述判定部进一步基于所述自身车辆相关车距是否小于所述第二自身车辆相关车距,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0118] (附记6)根据附记2所述的记录装置,其特征在于:
所述算出部计算所述自身车辆相关车距,并计算表示自身车辆能够安全停止的距离的安全距离;
所述判定部进一步基于所述自身车辆相关车距是否小于所述安全距离,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0119] (附记7)根据附记2所述的记录装置,其特征在于:
所述获取部获取自身车辆行驶车道与相邻车道合流的合流端的位置信息;
所述算出部基于所述合流端的位置信息及所述第一车辆的行驶信息,推定经过预定时间后该合流端与该第一车辆之间的合流距离,并利用推定合流距离,计算所述第一车辆不会与合流端发生碰撞的合流余裕距离;
所述判定部进一步基于所述算出部计算出的合流余裕距离是否小于阈值,判定是否需要记录影像。
[0120] (附记8)一种记录程序,其特征在于,使计算机执行以下处理:
获取与自身车辆及在自身车辆行驶车道相邻的相邻车道上行驶的其他车辆相关的行驶信息;
基于所述其他车辆中第一车辆的行驶信息及在该第一车辆后方行驶的第二车辆的行驶信息,计算该第一车辆与该第二车辆之间的车距,并根据计算出的车距是否小于阈值,判定是否需要记录影像;
在判定需要记录影像时,记录自身车辆周边的影像。
[0121] (附记9)根据附记8所述的记录程序,其特征在于,使计算机进一步执行以下处理:
基于所述第一车辆的行驶信息及所述第二车辆的行驶信息,推定经过预定时间后该第一车辆与该第二车辆之间的车距,并利用推定车距,计算即使所述第一车辆以最大减速度急停,所述第二车辆也不会与该第一车辆发生碰撞的余裕距离;
所述判定处理进一步基于计算出的余裕距离是否小于阈值,判定是否需要记录影像。
[0122] (附记10)根据附记9所述的记录程序,其特征在于:
所述计算处理计算经过所述预定时间后所述第一车辆与自身车辆之间的自身车辆相关车距;
所述判定处理进一步基于计算出的自身车辆相关车距是否在预定范围内,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0123] (附记11)根据附记9所述的记录程序,其特征在于:
所述计算处理计算所述自身车辆相关车距,并计算即使所述第一车辆及自身车辆中在前方行驶的车辆以最大减速度急停,后方车辆也不会与前方车辆发生碰撞的自身车辆相关余裕距离;
所述判定处理进一步基于计算出的自身车辆相关余裕距离是否小于阈值,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0124] (附记12)根据附记9所述的记录程序,其特征在于:
所述计算处理计算所述自身车辆相关车距,并计算自身车辆与在自身车辆前方行驶的第三车辆之间的第二自身车辆相关车距;
所述判定处理进一步基于所述自身车辆相关车距是否小于所述第二自身车辆相关车距,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0125] (附记13)根据附记9所述的记录程序,其特征在于:
所述计算处理计算所述自身车辆相关车距,并计算表示自身车辆能够安全停止的距离的安全距离;
所述判定处理进一步基于所述自身车辆相关车距是否小于所述安全距离,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0126] (附记14)根据附记9所述的记录程序,其特征在于:
所述获取处理获取自身车辆行驶车道与相邻车道合流的合流端的位置信息;
所述计算处理基于所述合流端的位置信息及所述第一车辆的行驶信息,推定经过预定时间后该合流端与该第一车辆之间的合流距离,并利用推定合流距离,计算所述第一车辆不会与合流端发生碰撞的合流余裕距离;
所述判定处理进一步基于计算出的合流余裕距离是否小于阈值,判定是否需要记录影像。
[0127] (附记15)一种由计算机执行的记录方法,其特征在于,包括以下步骤:
获取与自身车辆及在自身车辆行驶车道相邻的相邻车道上行驶的其他车辆相关的行驶信息;
基于所述其他车辆中第一车辆的行驶信息及在该第一车辆后方行驶的第二车辆的行驶信息,计算该第一车辆与该第二车辆之间的车距,并根据计算出的车距是否小于阈值,判定是否需要记录影像;
在判定需要记录影像时,记录自身车辆周边的影像。
[0128] (附记16)一种记录方法,其特征在于,使计算机进一步执行以下处理:
基于所述第一车辆的行驶信息及所述第二车辆的行驶信息,推定经过预定时间后该第一车辆与该第二车辆之间的车距,并利用推定车距,计算即使所述第一车辆以最大减速度急停,所述第二车辆也不会与该第一车辆发生碰撞的余裕距离;
所述判定处理进一步基于计算出的余裕距离是否小于阈值,判定是否需要记录影像。
[0129] (附记17)根据附记16所述的记录方法,其特征在于:
所述计算处理计算经过所述预定时间后所述第一车辆与自身车辆之间的自身车辆相关车距;
所述判定处理进一步基于计算出的自身车辆相关车距是否在预定范围内,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0130] (附记18)根据附记16所述的记录方法,其特征在于:
所述计算处理计算所述自身车辆相关车距,并计算即使所述第一车辆及自身车辆中在前方行驶的车辆以最大减速度急停,后方车辆也不会与前方车辆发生碰撞的自身车辆相关余裕距离;
所述判定处理进一步基于计算出的自身车辆相关余裕距离是否小于阈值,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0131] (附记19)根据附记16所述的记录方法,其特征在于:
所述计算处理计算所述自身车辆相关车距,并计算自身车辆与在自身车辆前方行驶的第三车辆之间的第二自身车辆相关车距;
所述判定处理进一步基于所述自身车辆相关车距是否小于所述第二自身车辆相关车距,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0132] (附记20)根据附记16所述的记录方法,其特征在于:
所述计算处理计算所述自身车辆相关车距,并计算表示自身车辆能够安全停止的距离的安全距离;
所述判定处理进一步基于所述自身车辆相关车距是否小于所述安全距离,判定是否需要记录影像。(相当于权利要求b将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象的深度超过所述阈值深度水平时,经由用以测量所述目标对象的所述深度的所述两个或两个以上相机中的至少一者,捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。)
[0133] (附记21)根据附记16所述的记录方法,其特征在于:
所述获取处理获取自身车辆行驶车道与相邻车道合流的合流端的位置信息;
所述计算处理基于所述合流端的位置信息及所述第一车辆的行驶信息,推定经过预定时间后该合流端与该第一车辆之间的合流距离,并利用推定合流距离,计算所述第一车辆不会与合流端发生碰撞的合流余裕距离;
所述判定处理进一步基于计算出的合流余裕距离是否小于阈值,判定是否需要记录影像。
对比文件7US_2014267633_A1公开:
[0003] 由数码相机捕获的图像提供了场景中物体位置以及一个物体相对于另一个物体位置的某种感知。如果没有第三维度(深度)的信息,很难对位置和线性测量做出严格的结论。
[0004] 传统的立体相机是一种具有两个或多个镜头的相机,每个镜头都有一个单独的图像传感器。这使得相机能够模拟人类的双目视觉,并能够捕获三维(立体)图像。当两个相机之间的基线或距离已知时,传统的立体相机具有一定的能力来确定其视野中物体的深度。
[0005] 阵列相机包括多个单独的成像器(即相机),可以捕获场景的图像,每个成像器获得的图像来自略微不同的视角。视角之间的信息多样性可用于计算深度信息。阵列相机中的深度计算比立体相机更复杂,因为可以比较和关联阵列中不同相机的图像组合,从而使估计在噪声和混叠存在的情况下更加稳健。阵列相机系统通常在确定相机一定距离之外的深度时精度仍然较低,因为用于计算深度的信息在物体距离相机越远时其多样性越小。
[0044] 现在转向附图,展示了符合本发明的测量距离和速度的系统和方法。在本发明的许多实施例中,使用一个或多个阵列相机从略微不同的视角捕获场景的图像数据。从不同视角获取的多样性信息可用于计算场景中物体的深度和包含场景深度信息的深度图。在本发明的许多实施例中,由两个阵列相机组成的立体阵列相机提供的深度信息可用于计算比单个阵列相机更远距离的深度。在其他实施例中,立体阵列相机由阵列相机和传统相机(即具有单镜头和单图像传感器/成像器)组成。(相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;
经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
[0045] 包括可用于从不同视角捕获图像数据的相机模块的阵列相机在2009年5月20日提交的美国专利申请12/935,504中公开,题为“使用异构图像的单片相机阵列捕获和处理图像”,其全部内容通过引用并入本文。阵列相机相对于传统相机具有多种优势和功能。阵列相机通常包含两个或更多个成像器(可称为相机),每个成像器通过单独的镜头系统接收光。这些成像器从略微不同的视角捕获场景的图像数据。阵列相机有多种应用,包括从多个视角捕获图像数据,可用于超分辨率处理和深度计算。
[0046] 感兴趣物体的深度可以通过观察两个不同相机图像中组成该物体的对应像素(即捕捉场景中相同内容的像素)的位置差异(即视差)来计算。正如将在下文中进一步讨论的,相机之间的基线距离、相机的后焦距以及视差是决定深度的因素。随着物体距离相机越来越远,深度测量的精度会降低,因为在该距离下,两个相机捕捉到的物体图像的视差会随着距离的增加而减小。最终,视差会小于给定像素尺寸的某个亚像素阈值,因此深度测量的分辨率会随着深度的增加而变得更加粗略量化。由于增加基线会增加视差,因此深度测量的精度也可以随着基线的增加而相应提高。在本发明的许多实施例中,立体阵列相机配置包括两个相距固定距离的阵列相机。该固定距离大于单个阵列中相机之间的距离,因此立体阵列相机在进行深度估计时可以提供比单个阵列更高的精度。
[0047] 感兴趣物体的深度和二维位置(例如从阵列相机捕捉的图像中获取)可用于在三维空间中定位该物体。给定物体的两组三维坐标和经过的时间,可以根据两次测量中深度估计的精度,计算出物体的速度和方向,精度取决于深度估计的准确性。在本发明的多个实施例中,使用阵列相机或立体阵列相机确定的深度和二维位置信息来计算物体的速度和方向。下文将讨论根据本发明实施例可用于深度和速度测量的阵列相机架构。
[0052] 图2展示了两相机系统中的视差。两个相机200、202分别包括一个镜头堆栈204和一个焦平面206。每个相机的后焦距为f,两个相机之间的基线距离为2h。两个相机的视野都包含一个场景,其中包括前景物体208和背景物体210。由于两个相机200、202的视野不同,前景物体208在第一个相机捕捉的图像中的位置(表示为第一个相机200焦平面上的点相对于其光轴212的偏移量,记为−uL)与第二个相机捕捉的图像中的位置(表示为第二个相机202焦平面上的点相对于其光轴214的偏移量,记为uR)之间的差异即为视差。
[0053] 上文引用的美国专利申请第61/691,666号讨论了使用以下关系式通过视差和深度进行深度测量,参考图2:
[0054] 从上述公式和图中可以看出,两个相机捕捉的图像之间的视差沿着两个相机基线的方向,称为两个相机之间的极线。此外,视差的大小与两个相机的基线分离距离和相机的后焦距成正比,与相机到场景中物体的距离成反比。通过确定前景物体在两幅捕捉图像中的视差,可以获得两个相机到前景物体的距离(或深度)。(相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
[0055] 使用阵列相机捕捉的图像确定像素或物体深度的一种方法涉及从参考视角/相机捕捉的图像中选择一个像素的初始假设深度或距离,然后沿着参考视角/相机与捕捉其他图像的相机之间的极线在其他图像中搜索相似/匹配的像素位置。这一过程在上文引用的专利中进行了讨论,并且可以修改为使用两个相距较远的阵列相机来确定更高的深度精度,如下文将进一步讨论。
[0056] 诸如上述专利中公开的技术通常用于从参考视点生成深度图。参考视点可以是相机阵列中某个相机的视点,也可以是一个任意的虚拟视点。深度图表示场景物体表面与参考视点之间的距离。尽管上文讨论了通过视差计算深度的
过程,但根据本发明的实施例,可以使用多种计算深度的技术。下文将讨论使用立体阵列相机进行深度测量的过程。
[0057] 物体离阵列相机越近,阵列中不同相机拍摄的图像中物体位置的视差就越大。图3A展示了物体距离与观察到的视差的代表性图表。从图表中可以看出,当物体距离接近零(即靠近相机)时,视差急剧增加。相反,随着物体距离的增加,视差减小。还可以看到,随着物体距离的增加,视差的变化率逐渐减小。图3B展示了物体距离与深度误差的代表性图表。该图表假设使用4×4阵列,其中任意两个相邻相机之间的基线为2.3毫米,像素尺寸为1.75微米,焦距约为2毫米。深度误差计算为深度分辨率与物体距离的百分比,其中深度分辨率表示在给定物体距离下深度的分辨率(即两个物体需要分开的距离,以便阵列相机将它们区分为两个不同的深度)。可以看出,深度误差随着物体距离的增加而增加。
[0058] 相机离参考视点越远,观察到的视差就越大。通常,较大的视差能够更精确地确定深度。增加基线(相机之间的距离)会相应地增加观察到的视差。因此,使用从参考视点拍摄图像的相机以及离该相机最远的相机来确定深度信息可以提高精度。
对比文件11公开[0070]阵列相机中的不同相机所捕获的场景图像由于相机位置不同而导致的视点不同而存在差异,这种现象称为视差。这些差异称为差异,它们提供可用于测量场景内物体深度的信息。(相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)用于检测差异和计算图像深度图的系统和方法在 Venkataraman 等人于 2012 年 8 月 21 日提交的美国专利第 8,619,082 号中进行了讨论,该专利名为“使用阵列相机捕获的图像中的视差检测和校正系统和方法”,其公开内容通过引用全文并入本文。
删除
根据权利要求1 所述的方法,其中测量所述目标对象在所述视野内的所述深度包括使用图像的视差值,所述图像包含所述两个或两个以上相机所捕获的所述目标对象。
对比文件1公开
本发明的另一个目的是提供一种行车记录仪,其通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,从而即使在车辆未移动的情况下,也能够准确计算物体与车辆的距离。(相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;
经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
此外,第五发明涉及的行车记录仪,其特征在于,拍摄手段为多个,并以预定距离间隔安装在车辆上,多个拍摄手段能够从不同位置拍摄同一物体;计算手段基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离。
在本发明中,多个拍摄手段从不同位置拍摄同一物体。基于多个拍摄手段分别拍摄的图像中同一物体的位置以及拍摄手段之间的距离,计算物体与车辆的距离。当使用单个拍摄手段计算距离时,需要获取车辆的移动量,而当使用多个拍摄手段计算距离时,无需获取车辆的移动量,因此即使车辆停止时也能轻松且准确地计算距离。(相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;
经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
根据第五发明,通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,即使在车辆停止时也能轻松且准确地计算物体与车辆的距离,从而提高行车记录仪的精度和可靠性。根据第五发明,通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,即使在车辆停止时也能轻松且准确地计算物体与车辆的距离,从而提高行车记录仪的精度和可靠性。相当于权利要求中a经由成像装置的两个或两个以上相机,识别所述成像装置的视野中的目标对象;经由所述成像装置的所述两个或两个以上相机,测量所述目标对象在所述成像装置的所述视野内的深度;)
图7是用于说明本发明变形例涉及的行车记录仪执行距离计算方法的示意图。以下以安装在车辆1前部的摄像头5R和5L为例进行说明,其他摄像头的情况也相同。变形例涉及的行车记录仪的控制部120的CPU121根据两个摄像头5R和5L同时拍摄的同一目标物体在各自摄像头获取的图像上成像位置的差异,即视差,来计算目标物体的距离,采用了所谓的立体视差测距方式。变形例涉及的行车记录仪基于拍摄部109的摄像头5R和5L拍摄的图像计算车辆1前方目标物体的距离,基于摄像头6R和6L拍摄的图像计算车辆1后方目标物体的距离,基于摄像头7R和7L拍摄的图像计算车辆1左侧目标物体的距离,基于摄像头8R和8L拍摄的图像计算车辆1右侧目标物体的距离。此外,通过超声波探测部19的声呐10至14获取目标物体的距离。当从任一手段获取的目标物体距离小于预先设定的预定距离时,判断目标物体与车辆1可能发生碰撞,因此通过拍摄部109拍摄图像,并将挥发性内存23中存储的图像记录到非挥发性内存24中。(相当于权利要求中其中测量所述目标对象在所述视野内的所述深度包括使用图像的视差值,所述图像包含所述两个或两个以上相机所捕获的所述目标对象。)
证据文件1的实施例明确公开采用两个照相机拍摄同一物体,并利用视差计算该物体到照相机的距离,由此可见证据文件1公开了该权利要求附加限定的技术特征。
对比文件7US_2014267633_A1公开:
[0003] 由数码相机捕获的图像提供了场景中物体位置以及一个物体相对于另一个物体位置的某种感知。如果没有第三维度(深度)的信息,很难对位置和线性测量做出严格的结论。
[0004] 传统的立体相机是一种具有两个或多个镜头的相机,每个镜头都有一个单独的图像传感器。这使得相机能够模拟人类的双目视觉,并能够捕获三维(立体)图像。当两个相机之间的基线或距离已知时,传统的立体相机具有一定的能力来确定其视野中物体的深度。
[0005] 阵列相机包括多个单独的成像器(即相机),可以捕获场景的图像,每个成像器获得的图像来自略微不同的视角。视角之间的信息多样性可用于计算深度信息。阵列相机中的深度计算比立体相机更复杂,因为可以比较和关联阵列中不同相机的图像组合,从而使估计在噪声和混叠存在的情况下更加稳健。阵列相机系统通常在确定相机一定距离之外的深度时精度仍然较低,因为用于计算深度的信息在物体距离相机越远时其多样性越小。
[0044] 现在转向附图,展示了符合本发明的测量距离和速度的系统和方法。在本发明的许多实施例中,使用一个或多个阵列相机从略微不同的视角捕获场景的图像数据。从不同视角获取的多样性信息可用于计算场景中物体的深度和包含场景深度信息的深度图。在本发明的许多实施例中,由两个阵列相机组成的立体阵列相机提供的深度信息可用于计算比单个阵列相机更远距离的深度。在其他实施例中,立体阵列相机由阵列相机和传统相机(即具有单镜头和单图像传感器/成像器)组成。(相当于权利要求中其中测量所述目标对象在所述视野内的所述深度包括使用图像的视差值,所述图像包含所述两个或两个以上相机所捕获的所述目标对象。)
[0045] 包括可用于从不同视角捕获图像数据的相机模块的阵列相机在2009年5月20日提交的美国专利申请12/935,504中公开,题为“使用异构图像的单片相机阵列捕获和处理图像”,其全部内容通过引用并入本文。阵列相机相对于传统相机具有多种优势和功能。阵列相机通常包含两个或更多个成像器(可称为相机),每个成像器通过单独的镜头系统接收光。这些成像器从略微不同的视角捕获场景的图像数据。阵列相机有多种应用,包括从多个视角捕获图像数据,可用于超分辨率处理和深度计算。
[0046] 感兴趣物体的深度可以通过观察两个不同相机图像中组成该物体的对应像素(即捕捉场景中相同内容的像素)的位置差异(即视差)来计算。正如将在下文中进一步讨论的,相机之间的基线距离、相机的后焦距以及视差是决定深度的因素。随着物体距离相机越来越远,深度测量的精度会降低,因为在该距离下,两个相机捕捉到的物体图像的视差会随着距离的增加而减小。最终,视差会小于给定像素尺寸的某个亚像素阈值,因此深度测量的分辨率会随着深度的增加而变得更加粗略量化。由于增加基线会增加视差,因此深度测量的精度也可以随着基线的增加而相应提高。在本发明的许多实施例中,立体阵列相机配置包括两个相距固定距离的阵列相机。该固定距离大于单个阵列中相机之间的距离,因此立体阵列相机在进行深度估计时可以提供比单个阵列更高的精度。
[0047] 感兴趣物体的深度和二维位置(例如从阵列相机捕捉的图像中获取)可用于在三维空间中定位该物体。给定物体的两组三维坐标和经过的时间,可以根据两次测量中深度估计的精度,计算出物体的速度和方向,精度取决于深度估计的准确性。在本发明的多个实施例中,使用阵列相机或立体阵列相机确定的深度和二维位置信息来计算物体的速度和方向。下文将讨论根据本发明实施例可用于深度和速度测量的阵列相机架构。
[0052] 图2展示了两相机系统中的视差。两个相机200、202分别包括一个镜头堆栈204和一个焦平面206。每个相机的后焦距为f,两个相机之间的基线距离为2h。两个相机的视野都包含一个场景,其中包括前景物体208和背景物体210。由于两个相机200、202的视野不同,前景物体208在第一个相机捕捉的图像中的位置(表示为第一个相机200焦平面上的点相对于其光轴212的偏移量,记为−uL)与第二个相机捕捉的图像中的位置(表示为第二个相机202焦平面上的点相对于其光轴214的偏移量,记为uR)之间的差异即为视差。
[0053] 上文引用的美国专利申请第61/691,666号讨论了使用以下关系式通过视差和深度进行深度测量,参考图2:
[0054] 从上述公式和图中可以看出,两个相机捕捉的图像之间的视差沿着两个相机基线的方向,称为两个相机之间的极线。此外,视差的大小与两个相机的基线分离距离和相机的后焦距成正比,与相机到场景中物体的距离成反比。通过确定前景物体在两幅捕捉图像中的视差,可以获得两个相机到前景物体的距离(或深度)。(相当于权利要求中其中测量所述目标对象在所述视野内的所述深度包括使用图像的视差值,所述图像包含所述两个或两个以上相机所捕获的所述目标对象。)
[0055] 使用阵列相机捕捉的图像确定像素或物体深度的一种方法涉及从参考视角/相机捕捉的图像中选择一个像素的初始假设深度或距离,然后沿着参考视角/相机与捕捉其他图像的相机之间的极线在其他图像中搜索相似/匹配的像素位置。这一过程在上文引用的专利中进行了讨论,并且可以修改为使用两个相距较远的阵列相机来确定更高的深度精度,如下文将进一步讨论。
[0056] 诸如上述专利中公开的技术通常用于从参考视点生成深度图。参考视点可以是相机阵列中某个相机的视点,也可以是一个任意的虚拟视点。深度图表示场景物体表面与参考视点之间的距离。尽管上文讨论了通过视差计算深度的
过程,但根据本发明的实施例,可以使用多种计算深度的技术。下文将讨论使用立体阵列相机进行深度测量的过程。
[0057] 物体离阵列相机越近,阵列中不同相机拍摄的图像中物体位置的视差就越大。图3A展示了物体距离与观察到的视差的代表性图表。从图表中可以看出,当物体距离接近零(即靠近相机)时,视差急剧增加。相反,随着物体距离的增加,视差减小。还可以看到,随着物体距离的增加,视差的变化率逐渐减小。图3B展示了物体距离与深度误差的代表性图表。该图表假设使用4×4阵列,其中任意两个相邻相机之间的基线为2.3毫米,像素尺寸为1.75微米,焦距约为2毫米。深度误差计算为深度分辨率与物体距离的百分比,其中深度分辨率表示在给定物体距离下深度的分辨率(即两个物体需要分开的距离,以便阵列相机将它们区分为两个不同的深度)。可以看出,深度误差随着物体距离的增加而增加。
[0058] 相机离参考视点越远,观察到的视差就越大。通常,较大的视差能够更精确地确定深度。增加基线(相机之间的距离)会相应地增加观察到的视差。因此,使用从参考视点拍摄图像的相机以及离该相机最远的相机来确定深度信息可以提高精度。
对比文件3公开[0026] 例如,获取部121依次获取自身车辆与在自身车辆行驶的车道相邻的车道上行驶的其他车辆之间的车距,并将时间编号与车距对应存储到行驶信息DB111中。例如,获取部121如日本专利公开号2005-106470所述,使用雷达30测量车距La及Lb。获取部121将测量的车距La及Lb与测量时的时间编号对应存储到行驶信息DB111中。需要说明的是,这里以使用雷达30测量车距的情况为例进行说明,但本发明并不限于此。例如,获取部121如实吉敬二所著的《基于立体图像识别的车载摄像头应用基础》(株式会社TriKeps,2007年)所述,也可以使用摄像头40a至40d拍摄的图像数据测量车距。(相当于权利要求中其中测量所述目标对象在所述视野内的所述深度包括使用图像的视差值,所述图像包含所述两个或两个以上相机所捕获的所述目标对象。)
根据权利要求2 所述的方法,其进一步包括至少部分地基于所述视差值来测量背景的深度。
在引用文献1中,并未记载有关背景深度测量(确定)的内容。然而,在引用文献2中(参见段落0031-0038、图3-5等),记载了基于车辆后方设置的左右摄像头22、24所获取的图像,通过视差计算生成深度图;从深度图中去除背景并检测物体;当物体存在于预定区域时,为了避免与物体发生碰撞,根据左右摄像头22、24获取的图像数据生成并显示全景图像,同时在全景图像中突出显示物体。显然,深度图也会针对背景部分生成。
此外,引用文献1和引用文献2在通过立体摄像头拍摄的目标物体满足预定条件时,预测碰撞并执行预定处理这一点上具有共同性。因此,在引用文献1所记载的发明中,应用引用文献2所记载的发明,生成深度图并确定背景深度,并不存在特别的困难性。
尽管权利要求3、14、25中包含了“背景”的描述,但在该描述之前并未对“背景”进行说明,且“背景”所指代的内容不明确。因此,根据权利要求3、14、25的发明并不清晰。
对比文件1公开
本发明的另一个目的是提供一种行车记录仪,其通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,从而即使在车辆未移动的情况下,也能够准确计算物体与车辆的距离。(相当于权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。)
第一发明涉及的行车记录仪,其具备搭载于车辆上、用于拍摄车辆周围环境的拍摄手段,以及记录该拍摄手段拍摄的图像的记录手段,其特征在于,还具备计算手段,用于计算拍摄图像中物体与车辆的距离;以及判定手段,用于判定计算出的距离是否小于预定距离;当判定手段判定物体与车辆的距离小于预定距离时,记录手段记录拍摄手段拍摄的图像。(相当于权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。)
此外,第五发明涉及的行车记录仪,其特征在于,拍摄手段为多个,并以预定距离间隔安装在车辆上,多个拍摄手段能够从不同位置拍摄同一物体;计算手段基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离。
在本发明中,多个拍摄手段从不同位置拍摄同一物体。基于多个拍摄手段分别拍摄的图像中同一物体的位置以及拍摄手段之间的距离,计算物体与车辆的距离。当使用单个拍摄手段计算距离时,需要获取车辆的移动量,而当使用多个拍摄手段计算距离时,无需获取车辆的移动量,因此即使车辆停止时也能轻松且准确地计算距离。(相当于权利要求其进一步包括至少部分地基于所述视差值来测量背景的深度。)
根据第一发明,通过在车辆上搭载拍摄手段,基于拍摄图像中物体与车辆的距离,并在该距离小于预定距离时记录图像,能够在不使用加速度传感器的情况下判断图像记录的触发条件,从而避免因加速度传感器的误判导致的误操作。此外,能够在车辆与物体发生碰撞之前开始记录图像,从而更可靠地记录图像。因此,可以提高行车记录仪的可靠性。(相当于权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。)
根据第五发明,通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,即使在车辆停止时也能轻松且准确地计算物体与车辆的距离,从而提高行车记录仪的精度和可靠性。根据第五发明,通过使用多个拍摄手段从不同位置拍摄同一物体,并基于多个拍摄手段分别拍摄的图像中同一物体的位置以及多个拍摄手段之间的距离,计算物体与车辆的距离,即使在车辆停止时也能轻松且准确地计算物体与车辆的距离,从而提高行车记录仪的精度和可靠性。相当于权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。)
图7是用于说明本发明变形例涉及的行车记录仪执行距离计算方法的示意图。以下以安装在车辆1前部的摄像头5R和5L为例进行说明,其他摄像头的情况也相同。变形例涉及的行车记录仪的控制部120的CPU121根据两个摄像头5R和5L同时拍摄的同一目标物体在各自摄像头获取的图像上成像位置的差异,即视差,来计算目标物体的距离,采用了所谓的立体视差测距方式。变形例涉及的行车记录仪基于拍摄部109的摄像头5R和5L拍摄的图像计算车辆1前方目标物体的距离,基于摄像头6R和6L拍摄的图像计算车辆1后方目标物体的距离,基于摄像头7R和7L拍摄的图像计算车辆1左侧目标物体的距离,基于摄像头8R和8L拍摄的图像计算车辆1右侧目标物体的距离。此外,通过超声波探测部19的声呐10至14获取目标物体的距离。当从任一手段获取的目标物体距离小于预先设定的预定距离时,判断目标物体与车辆1可能发生碰撞,因此通过拍摄部109拍摄图像,并将挥发性内存23中存储的图像记录到非挥发性内存24中。(相当于权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。)
对比文件7US_2014267633_A1公开:
[0003] 由数码相机捕获的图像提供了场景中物体位置以及一个物体相对于另一个物体位置的某种感知。如果没有第三维度(深度)的信息,很难对位置和线性测量做出严格的结论。
[0004] 传统的立体相机是一种具有两个或多个镜头的相机,每个镜头都有一个单独的图像传感器。这使得相机能够模拟人类的双目视觉,并能够捕获三维(立体)图像。当两个相机之间的基线或距离已知时,传统的立体相机具有一定的能力来确定其视野中物体的深度。
[0005] 阵列相机包括多个单独的成像器(即相机),可以捕获场景的图像,(相当于权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。;)每个成像器获得的图像来自略微不同的视角。视角之间的信息多样性可用于计算深度信息。阵列相机中的深度计算比立体相机更复杂,因为可以比较和关联阵列中不同相机的图像组合,从而使估计在噪声和混叠存在的情况下更加稳健。阵列相机系统通常在确定相机一定距离之外的深度时精度仍然较低,因为用于计算深度的信息在物体距离相机越远时其多样性越小。
[0044] 现在转向附图,展示了符合本发明的测量距离和速度的系统和方法。在本发明的许多实施例中,使用一个或多个阵列相机从略微不同的视角捕获场景的图像数据。从不同视角获取的多样性信息可用于计算场景中物体的深度和包含场景深度信息的深度图。在本发明的许多实施例中,由两个阵列相机组成的立体阵列相机提供的深度信息可用于计算比单个阵列相机更远距离的深度。在其他实施例中,立体阵列相机由阵列相机和传统相机(即具有单镜头和单图像传感器/成像器)组成。(相当于权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。;)
对比文件10公开[0021] 一旦确定了视场内所有像素的距离,视频会议应用程序 110 就会将所有像素分类为前景像素或背景像素(相对应的权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。)。。在一个实施例中,在分类像素之前,视频会议应用程序 110 首先创建视场内所有像素的像素图 190。像素图 190 包括一个或多个深度摄像头 130 捕捉和查看的所有像素。此外,视频会议应用程序 110 为像素图 190 中包含的每个像素分配由一个或多个深度摄像头 130 确定的相应距离和坐标(相对应的权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度。)。
[0042] 此外,如上所述,在一个实施例中,视频会议应用程序将创建一个像素图,包括深度相机210捕获的所有像素。像素图中的每个像素将包括相应的距离和坐标。(其进一步包括至少部分地基于所述视差值来测量背景的深度。)此外,在另一个实施例中,视频会议应用程序可以创建一个二值图,用1表示前景像素290,用0表示背景像素295。利用像素图或二值图,可以准确确定前景像素290的位置和位置。因此,也可以确定参与者的位置。
[0043] 此外,如图2所示,可以创建一个兴趣区域280并与参与者的头部部分对齐。此外,如上所述并在图2中所示,兴趣区域280是矩形的,包括前景像素290和背景像素295(其进一步包括至少部分地基于所述视差值来测量背景的深度。)。此外,如图2所示,兴趣区域280包括对象(参与者)200的头部部分和对象(参与者)200的躯干部分。如前所述,兴趣区域具有默认大小。然而,可以根据参与者的距离、参与者头部部分的大小以及使用概率和分析的技术(例如与对象(参与者)200对应的前景像素290的二阶矩方法)来修改兴趣区域的大小。可以增加兴趣区域280的大小以包括所有前景像素290,或减小以排除不需要的背景像素295。
[0046] 图3示出了根据本发明的一个实施例,从参与者310捕获的视频流中裁剪出的兴趣区域315。如上所述,使用一个或多个深度相机来捕获参与者310的视频流。此外,如图3所示,在一个实施例中,可以创建一个或多个深度相机视区的像素图310。如上所述并在图3中所示,像素图310包括前景像素320和背景像素325。此外,像素图310中的所有像素都包括相应的坐标和距离。(其进一步包括至少部分地基于所述视差值来测量背景的深度。
对比文件12公开:
[0004] 根据本发明构思的一方面,提供了一种稳定数字图像的方法。所述方法包括:接收第一透视组中的图像帧和第二透视组中的图像帧,并使用第一透视组中的一个图像帧和第二透视组中的时间上相应的图像帧来产生多幅深度图中的每一幅;在每幅深度图中确定背景区域,使用确定的背景区域来在第一透视组和第二透视组之中的选择的一组中的每个图像帧中限定背景区域,(相当于权利要求中其进一步包括至少部分地基于所述视差值来测量背景的深度)并且(例如,使用限定的背景区域中的每一个作为遮蔽)计算所述一组中的图像帧的限定的背景区域中的像素之间的第一全局运动矢量。所述方法还可包括:根据图像分辨率来选择所述一组。
根据权利要求1 所述的方法,其进一步包括:经由所述成像装置的所述两个或两个以上相机,识别所述成像装置的所述视野中的所述场景的背景;以及确定所述背景的深度,
其中所述阈值深度水平小于所述背景的所述深度。
对比文件3公开:
[0013] 摄像头40例如拍摄车辆1周围的图像数据。(相当于权利要求中经由所述成像装置的所述两个或两个以上相机,识别所述成像装置的所述视野中的所述场景的背景;)例如,摄像头40安装在车辆1的四个位置。图2是示出车辆上设置的各摄像头布局的图。如图2所示,车辆1上安装有摄像头40a至40d。摄像头40a安装在车辆1的前方,摄像头40b安装在车辆1的右侧。摄像头40c安装在车辆1的左侧,摄像头40d安装在车辆1的后方。摄像头40a的拍摄范围为45a,摄像头40b的拍摄范围为45b,摄像头40c的拍摄范围为45c,摄像头40d的拍摄范围为45d。各摄像头40a至40d的安装位置使得相邻摄像头的拍摄区域部分重叠。
对比文件7公开:
[0052] 图2展示了两相机系统中的视差。两个相机200、202分别包括一个镜头堆栈204和一个焦平面206。每个相机的后焦距为f,两个相机之间的基线距离为2h。两个相机的视野都包含一个场景,其中包括前景物体208和背景物体210(相当于权利要求中:经由所述成像装置的所述两个或两个以上相机,识别所述成像装置的所述视野中的所述场景的背景;)。由于两个相机200、202的视野不同,前景物体208在第一个相机捕捉的图像中的位置(表示为第一个相机200焦平面上的点相对于其光轴212的偏移量,记为−uL)与第二个相机捕捉的图像中的位置(表示为第二个相机202焦平面上的点相对于其光轴214的偏移量,记为uR)之间的差异即为视差。
[0046] 感兴趣物体的深度可以通过观察两个不同相机图像中组成该物体的对应像素(即捕捉场景中相同内容的像素)的位置差异(即视差)来计算。正如将在下文中进一步讨论的,相机之间的基线距离、相机的后焦距以及视差是决定深度的因素。随着物体距离相机越来越远,深度测量的精度会降低,因为在该距离下,两个相机捕捉到的物体图像的视差会随着距离的增加而减小。最终,视差会小于给定像素尺寸的某个亚像素阈值,因此深度测量的分辨率会随着深度的增加而变得更加粗略量化。由于增加基线会增加视差,因此深度测量的精度也可以随着基线的增加而相应提高。在本发明的许多实施例中,立体阵列相机配置包括两个相距固定距离的阵列相机。该固定距离大于单个阵列中相机之间的距离,因此立体阵列相机在进行深度估计时可以提供比单个阵列更高的精度。(相当于权利要求中以及确定所述背景的深度,)
对比文件7公开了通过上述成像设备的两个或多个摄像头,在上述副视图中识别出上述场景的背景,描述中存储了包含背景对象的场景,如图2所示,在两个摄像头的视图确定上述背景的深度。进一步地,使用两个不同摄像头的方位差计算目标对象的深度。上述阈值深度水平小于上述背景的深度,有描述对象的深度阈值,它们是图2中的前景对象208和背景对象210。指定前景对象208。
对比文件10公开:
[0021] 一旦确定了视场内所有像素的距离,视频会议应用程序 110 就会将所有像素分类为前景像素或背景像素。(相当于权利要求中经由所述成像装置的所述两个或两个以上相机,识别所述成像装置的所述视野中的所述场景的背景;以及确定所述背景的深度,)在一个实施例中,在分类像素之前,视频会议应用程序 110 首先创建视场内所有像素的像素图 190。像素图 190 包括一个或多个深度摄像头 130 捕捉和查看的所有像素。此外,视频会议应用程序 110 为像素图 190 中包含的每个像素分配由一个或多个深度摄像头 130 确定的相应距离和坐标。(相当于权利要求中经由所述成像装置的所述两个或两个以上相机,识别所述成像装置的所述视野中的所述场景的背景;以及确定所述背景的深度,)
[0022] 在将像素分类为前景像素或背景像素时,视频会议应用程序 110 将一个或多个深度摄像头 130 测量的每个像素的距离与预定义的阈值距离进行比较。(其中所述阈值深度水平小于所述背景的所述深度。)在本申请中,参会者通常会比预定义的阈值距离更靠近一个或多个深度摄像头 130。如果像素的测量距离小于预定义的阈值距离,视频会议应用程序 110 会将相应像素标记为前景像素。此外,如果像素的测量距离大于或等于预定义的阈值距离,视频会议应用程序 110 会将相应像素标记为背景像素。
[0023] 因此,与参会者对应的像素将被分类为前景像素,而参会者将被包含在前景中。(相当于权利要求中其中所述阈值深度水平小于所述背景的所述深度。)在一个实施例中,视频会议应用程序 110 还会创建前景像素和背景像素的二值图 195 或掩码。视频会议应用程序 110 会在二值图 195 上用 1 显示和识别前景像素,并用 0 显示和识别背景像素。因此,视频会议应用程序 110 可以借助像素图 190 和/或二值图 195 准确清晰地识别前景像素的位置以及参会者的位置。
[0040] 如图2所示,在一个实施例中,视场包括物体200、240、250、260和270。因此,深度相机210查看并捕获与物体200、240、250、260和270对应的像素。此外,如图2所示,深度相机210确定与物体对应的像素285的距离。在一个实施例中,如上所述,视频会议应用程序将比较与每个像素对应的测量距离,并将其与预定义的阈值距离进行比较。如果像素的测量距离小于预定义的阈值距离,视频会议应用程序将标记相应的像素为前景像素290。此外,如果像素的测量距离大于或等于预定义的阈值距离,视频会议应用程序将标记相应的像素为背景像素295。(相当于权利要求中其中所述阈值深度水平小于所述背景的所述深度。)
[0041] 如图2所示,在一个实施例中,与对象(参与者)200对应的像素被分类为前景像素290。此外,围绕对象(参与者)200的像素被分类为背景像素295,这包括与对象240、250、260和270对应的像素。如上所述并在图2中所示,参与者通常位于一个或多个深度相机130的预定义阈值距离内,因此,与参与者对应的像素被分类为前景像素290。(相当于权利要求中其中所述阈值深度水平小于所述背景的所述深度。)
[0065] 视频会议应用程序最初使用一台或多台深度相机来确定参与者的距离并对参与者的感兴趣区域进行对齐700。如上所述,在确定参与者距离时,视频会议应用程序指示一台或多台深度相机捕获与一台或多台深度相机视场内对象对应的像素。此外,视频会议应用程序创建像素图并确定一台或多台深度相机视场内像素的距离。进一步地,视频会议应用程序为像素图中的每个像素分配坐标。利用已知距离,视频会议应用程序将距离小于预定义阈值的像素分类为前景像素,并将距离等于或大于预定义阈值的像素标记为背景像素。(相当于权利要求中其中所述阈值深度水平小于所述背景的所述深度。)
[0066] 此外,视频会议应用程序可以创建具有默认大小的感兴趣区域,并根据参与者的头部大小、参与者距离和/或前景像素的二阶矩来修改感兴趣区域的大小。如上所述,感兴趣区域包括与参与者头部部分和躯干部分对应的前景像素。进一步地,视频会议应用程序还可以使用一个或多个传感器来将感兴趣区域与参与者的头部部分对齐。
[0067] 当一台或多台深度相机在识别参与者并对齐感兴趣区域时,一台或多台深度相机和/或一台或多台附加相机同时捕获参与者的视频流。一旦感兴趣区域与参与者的头部部分对齐,视频会议应用程序通过从参与者的视频流中裁剪感兴趣区域来创建参与者的裁剪视频流710。如前所述,利用像素图和/或表示前景像素位置的二进制图,视频会议应用程序可以准确确定在捕获的视频流中对齐和裁剪感兴趣区域的位置。
[0068] 一旦从视频流中裁剪出感兴趣区域,视频会议应用程序将参与者的裁剪视频流与其他参与者的裁剪视频流一起排列,以便在视频会议中显示720。此外,视频会议应用程序可以重新排列裁剪视频流,并对其进行修改以适应视频会议。在其他实施例中,图7的方法除了图7中显示的步骤外,还包括其他步骤。
[0069] 图8是展示根据本发明另一个实施例的视频会议中呈现参与者的方法的流程图。与图7中公开的方法类似,图8的方法使用连接到一台或多台深度相机、一个或多个传感器、显示设备和视频会议应用程序的机器。在其他实施例中,图8的方法除了上述和图1、2、3、4、5和6中显示的组件和/或设备外,还使用其他组件和/或设备。
[0070] 如上所述,视频会议应用程序最初使用一台或多台深度相机捕获参与者的视频流800。在捕获参与者的视频流时,视频会议应用程序将同时捕获与深度相机视场内对象对应的像素,以填充像素图,并将距离小于预定义阈值的像素标记为前景像素,将距离等于或大于预定义阈值的像素标记为背景像素810(相当于权利要求中其中所述阈值深度水平小于所述背景的所述深度。)。如上所述,与对象对应的像素每个都对应于对象的点。此外,视频会议应用程序为每个前景像素和背景像素分配相应的坐标和距离815在像素图上。
[0004] 根据本发明构思的一方面,提供了一种稳定数字图像的方法。所述方法包括:接收第一透视组中的图像帧和第二透视组中的图像帧,并使用第一透视组中的一个图像帧和第二透视组中的时间上相应的图像帧来产生多幅深度图中的每一幅;在每幅深度图中确定背景区域,使用确定的背景区域来在第一透视组和第二透视组之中的选择的一组中的每个图像帧中限定背景区域,并且(例如,使用限定的背景区域中的每一个作为遮蔽)计算所述一组中的图像帧的限定的背景区域中的像素之间的第一全局运动矢量。所述方法还可包括:根据图像分辨率来选择所述一组。
[0005] 在每幅深度图中确定背景区域的步骤可包括:将深度图中的每个像素的深度值与深度阈值进行比较,并根据比较的结果来在每幅深度图中确定将在背景区域内的每个像素。(相当于权利要求中经由所述成像装置的所述两个或两个以上相机,识别所述成像装置的所述视野中的所述场景的背景;以及确定所述背景的深度,其中所述阈值深度水平小于所述背景的所述深度。)
对比文件12公开[0004] 根据本发明构思的一方面,提供了一种稳定数字图像的方法。所述方法包括:接收第一透视组中的图像帧和第二透视组中的图像帧,并使用第一透视组中的一个图像帧和第二透视组中的时间上相应的图像帧来产生多幅深度图中的每一幅;在每幅深度图中确定背景区域,使用确定的背景区域来在第一透视组和第二透视组之中的选择的一组中的每个图像帧中限定背景区域,并且(例如,使用限定的背景区域中的每一个作为遮蔽)计算所述一组中的图像帧的限定的背景区域中的像素之间的第一全局运动矢量。所述方法还可包括:根据图像分辨率来选择所述一组。[0005] 在每幅深度图中确定背景区域的步骤可包括:将深度图中的每个像素的深度值与深度阈值进行比较,并根据比较的结果来在每幅深度图中确定将在背景区域内的每个像素。(相当于权利要求中,其进一步包括:经由所述成像装置的所述两个或两个以上相机,识别所述成像装置的所述视野中的所述场景的背景;以及确定所述背景的深度,
其中所述阈值深度水平小于所述背景的所述深度。)其进一步包括:经由所述成像装置的所述两个或两个以上相机,识别所述成像装置的所述视野中的所述场景的背景;以及确定所述背景的深度,
根据权利要求1 所述的方法,其中所述成像装置包括包含所述两个或两个以上相机的立体光学元件相机。
立体光元件相机,本领域计算人员不知道何为立体光元件相机,立体光元件相机与说明书中的普通照相机有何区别。
若单个立体光元件相机可以测距,为何需要两个。
对比文件3公开[0026] 例如,获取部121依次获取自身车辆与在自身车辆行驶的车道相邻的车道上行驶的其他车辆之间的车距,并将时间编号与车距对应存储到行驶信息DB111中。例如,获取部121如日本专利公开号2005-106470所述,使用雷达30测量车距La及Lb。获取部121将测量的车距La及Lb与测量时的时间编号对应存储到行驶信息DB111中。需要说明的是,这里以使用雷达30测量车距的情况为例进行说明,但本发明并不限于此。例如,获取部121如实吉敬二所著的《基于立体图像识别的车载摄像头应用基础》(株式会社TriKeps,2007年)所述,也可以使用摄像头40a至40d拍摄的图像数据测量车距。(相当于权利要求中其中所述成像装置包括包含所述两个或两个以上相机的立体光学元件相机。)
对比文件7公开
**立体阵列相机**
[0050] 在本发明的许多实施例中,两个相距固定距离的阵列相机构成一对立体阵列相机(相当于权利要求中其中所述成像装置包括包含所述两个或两个以上相机的立体光学元件相机。)。在其他实施例中,一个阵列相机和一个传统相机构成立体阵列相机。每个阵列相机可以采用如图1所述的架构。在多个实施例中,阵列相机在诸如相机数量、阵列尺寸、相机分辨率和/或滤色器排列等特征上具有相似的配置。在一些实施例中,第一和/或第二阵列相机中的活动成像器(用于捕捉图像数据的成像器)具有滤色器或其他机制,使得它们被配置为捕捉相同光谱带的光。光谱带可以是(但不限于)红色、蓝色、绿色、红外线或扩展颜色。扩展颜色是包括至少两种颜色波长范围的光谱带。关于捕捉和利用扩展颜色的系统和方法,参见2013年3月15日提交的美国专利申请第61/798,602号(题为“鹈鹕阵列相机上的扩展颜色处理”)和2013年12月31日提交的美国专利申请第14/145,734号(题为“鹈鹕阵列相机上的扩展颜色处理”),这些专利申请的全部内容通过引用并入本文。在其他实施例中,阵列相机在适合特定应用的一个或多个特征上具有不同的配置。在许多实施例中,两个阵列(或阵列与传统相机)之间的距离是已知的,参考每个阵列上的一个或多个位置。此外,每个阵列中每个相机的位置也是已知的。因此,第一阵列中的任何相机与第二阵列(或传统相机)中的任何相机之间的基线(即两个相机之间的距离)是已知的或可以确定的。
对比文件10公开:
[0020] 在一个实施例中,一个或多个深度摄像头 130 可以使用测距仪来识别视场内物体的距离。此外,测距仪使用声纳、激光、立体视觉和/或雷达。在另一个实施例中,一个或多个深度摄像头 130 发射光脉冲,这些光脉冲从像素反射回来。此外,一个或多个深度摄像头 130 可以通过测量光脉冲从相应像素返回相应深度摄像头 130 所需的时间来计算像素的位置和距离(相当于权利要求中其中所述成像装置包括包含所述两个或两个以上相机的立体光学元件相机。)。在其他实施例中,一个或多个深度摄像头 130 可以使用其他方法和/或技术来识别视场内像素的位置和距离。
. 根据权利要求1 所述的方法,其中所述成像装置包括结构化光3D 扫描仪。
由于作为物体距离测量方式的Structured Light(结构光)方式是众所周知的,因此将引用文献1中的测距方式从立体测距方式替换为Structured Light方式,并不存在特别的困难性。
对比文件1公开在本发明中,行车记录仪进一步配备声呐。通过声呐检测物体与车辆的距离,并在物体与车辆的距离小于预定距离时,记录拍摄手段拍摄的图像。通过结合基于拍摄图像的物体距离计算和声呐的物体距离检测,能够更可靠地获取物体与车辆的距离,从而更可靠地记录图像。
以下,基于附图对本发明的实施方式进行具体说明。图1是搭载本发明涉及的行车记录仪的车辆构成的示意性平面图。图中,1为车辆,车辆1搭载了用于拍摄周边环境的四个摄像头5至8,以及用于检测周边障碍物的五个声呐(SONAR:Sound Navigation And Ranging)10至14。此外,图1中(a)部分以虚线标示了摄像头5至8的拍摄范围,(b)部分以虚线标示了声呐10至14的障碍物检测范围。
对比文件1通过声纳扫描周围物体与3d扫描仪扫描周围的物体本质上是属于同一种手段。
成像装置包括结构化光3D 扫描仪。是容易想到的。
对比文件3公开[0026] 例如,获取部121依次获取自身车辆与在自身车辆行驶的车道相邻的车道上行驶的其他车辆之间的车距,并将时间编号与车距对应存储到行驶信息DB111中。例如,获取部121如日本专利公开号2005-106470所述,使用雷达30测量车距La及Lb。获取部121将测量的车距La及Lb与测量时的时间编号对应存储到行驶信息DB111中。需要说明的是,这里以使用雷达30测量车距的情况为例进行说明,但本发明并不限于此。例如,获取部121如实吉敬二所著的《基于立体图像识别的车载摄像头应用基础》(株式会社TriKeps,2007年)所述,也可以使用摄像头40a至40d拍摄的图像数据测量车距。(相当于权利要求中其中所述成像装置包括结构化光3D 扫描仪。)
对比文件7公开**立体阵列相机**
[0050] 在本发明的许多实施例中,两个相距固定距离的阵列相机构成一对立体阵列相机(相当于权利要求中,其中所述成像装置包括结构化光3D 扫描仪。)。在其他实施例中,一个阵列相机和一个传统相机构成立体阵列相机。每个阵列相机可以采用如图1所述的架构。在多个实施例中,阵列相机在诸如相机数量、阵列尺寸、相机分辨率和/或滤色器排列等特征上具有相似的配置。在一些实施例中,第一和/或第二阵列相机中的活动成像器(用于捕捉图像数据的成像器)具有滤色器或其他机制,使得它们被配置为捕捉相同光谱带的光。光谱带可以是(但不限于)红色、蓝色、绿色、红外线或扩展颜色。扩展颜色是包括至少两种颜色波长范围的光谱带。关于捕捉和利用扩展颜色的系统和方法,参见2013年3月15日提交的美国专利申请第61/798,602号(题为“鹈鹕阵列相机上的扩展颜色处理”)和2013年12月31日提交的美国专利申请第14/145,734号(题为“鹈鹕阵列相机上的扩展颜色处理”),这些专利申请的全部内容通过引用并入本文。在其他实施例中,阵列相机在适合特定应用的一个或多个特征上具有不同的配置。在许多实施例中,两个阵列(或阵列与传统相机)之间的距离是已知的,参考每个阵列上的一个或多个位置。此外,每个阵列中每个相机的位置也是已知的。因此,第一阵列中的任何相机与第二阵列(或传统相机)中的任何相机之间的基线(即两个相机之间的距离)是已知的或可以确定的。
对比文件10公开:
[0020] 在一个实施例中,一个或多个深度摄像头 130 可以使用测距仪来识别视场内物体的距离。此外,测距仪使用声纳、激光、立体视觉和/或雷达。在另一个实施例中,一个或多个深度摄像头 130 发射光脉冲,(相当于权利要求中其中所述成像装置包括结构化光3D 扫描仪。)这些光脉冲从像素反射回来。此外,一个或多个深度摄像头 130 可以通过测量光脉冲从相应像素返回相应深度摄像头 130 所需的时间来计算像素的位置和距离。在其他实施例中,一个或多个深度摄像头 130 可以使用其他方法和/或技术来识别视场内像素的位置和距离。
. 根据权利要求1 所述的方法,其进一步包括基于所述对象的所述测得深度超过所述阈值水平而触发事件。
本申请的权利要求7、10至11、29中包含了“阈值水平”的描述,但在该描述之前并未对“阈值水平”进行说明,且“阈值水平”所指代的内容不明确。此外,权利要求8(从属于权利要求7)和权利要求30(从属于权利要求29)中也指出了相同的问题。因此,根据权利要求7至8、10至11、29至30的发明并不清晰。(关于上述问题,考虑到“阈值水平”的描述并非深度阈值水平的错误,因此在未来的程序中,应讨论这一点。)
对比文件1公开此外,第七发明涉及的行车记录仪,其特征在于,具备通过声呐检测物体与车辆距离的检测手段,以及判定该检测手段检测到的距离是否小于预定距离的判定手段;当判定手段判定物体与车辆的距离小于预定距离时,记录手段记录拍摄手段拍摄的图像。(相当于权利要求中基于所述对象的所述测得深度超过所述阈值水平而触发事件。)
对比文件3公开:
[0029] 例如,判定部122每当行驶信息DB111中存储了车距La及Lb时,读取时间编号、车距La及车距Lb。判定部122从读取的车距La中减去车距Lb,计算车辆A与车辆B之间的车距。判定部122判定计算出的车距是否小于阈值“10m”。当车距小于阈值“10m”时,判定部122判定需要记录对应时间编号的周围影像。(相当于权利要求中其进一步包括基于所述对象的所述测得深度超过所述阈值水平而触发事件。)当车距大于或等于阈值“10m”时,判定部122判定不需要记录周围影像。判定部122将判定结果输出到记录部123。需要说明的是,阈值是车辆A可能向自身车辆一侧变道的值。这里以阈值为“10m”为例进行说明,但本发明并不限于此。例如,该阈值可以由使用记录装置100的用户任意设定。
对比文件7公开:
[0063] 如果物体的视差超过预定阈值(340),即物体距离第一阵列在预定距离内,则接受上述计算的深度(330)作为物体的深度(350)。可以给出基于镜头校准和/或像素分辨率(像素基于与相机的距离所代表的宽度)等因素的置信度测量。置信度测量还可以结合来自置信度图的信息,(相当于权利要求中其进一步包括基于所述对象的所述测得深度超过所述阈值水平而触发事件。)该置信度图表示特定像素深度测量的可靠性,如美国专利申请No. 61/691,666中公开的,该申请通过引用并入本文。
对比文件8公开[0024]另外,当在第一步骤S1中判断由于雷达测距装置1的输出变化率在距离增加侧超过设定值th1而从滤波器12输出开关信号时,在第三步骤S3中判断测量可靠性R是否高于指定水平th2,如果R>th2,则在第四步骤S4中判断三角测距装置2的测量距离Dtc是否小于设定距离th3。因此,当R>th2且Dtc<th3时,在第五步骤S5中,从选择器控制器14输出信号以控制选择器13选择三角测距装置2的测量距离Dtc,并且进一步在下一个第六步骤S6中,从选择器控制器14输出信号以输出第一语音警报。(相当于权利要求中其进一步包括基于所述对象的所述测得深度超过所述阈值水平而触发事件。)
对比文件10公开:
[0022] 在将像素分类为前景像素或背景像素时,视频会议应用程序 110 将一个或多个深度摄像头 130 测量的每个像素的距离与预定义的阈值距离进行比较。在本申请中,参会者通常会比预定义的阈值距离更靠近一个或多个深度摄像头 130。如果像素的测量距离小于预定义的阈值距离,视频会议应用程序 110 会将相应像素标记为前景像素。(相当于权利要求中其进一步包括基于所述对象的所述测得深度超过所述阈值水平而触发事件。)此外,如果像素的测量距离大于或等于预定义的阈值距离,视频会议应用程序 110 会将相应像素标记为背景像素。
根据权利要求7 所述的方法,其中所触发的事件包括使所述成像装置聚焦、激活告警、记录视频、记录声音以及启用外部动作中的至少一者。
在引用文献1中(特别是参见段落0073等),记载了记录预定期间的图像,而在记录预定期间的图像时,通常也会同时记录声音。
此外,引用文献1中描述了在检测到目标物体时记录图像,而在检测到目标物体并记录图像的情况下,对该目标物体进行对焦控制是拍摄时常见的操作。
另外,在引用文献2中(特别是参见段落0037-0038、图4等),还记载了当物体存在于预定区域时,通过扬声器发出警报音,或向制动系统发出指令进行制动控制(相当于权利要求中启用外部动作)等内容。
尽管权利要求8描述了“聚焦于摄像设备”,但即使参考申请时的普通技术知识,摄像设备本身也无法被聚焦,因此该描述不清晰。
对比文件8公开[0024]另外,当在第一步骤S1中判断由于雷达测距装置1的输出变化率在距离增加侧超过设定值th1而从滤波器12输出开关信号时,在第三步骤S3中判断测量可靠性R是否高于指定水平th2,如果R>th2,则在第四步骤S4中判断三角测距装置2的测量距离Dtc是否小于设定距离th3。因此,当R>th2且Dtc<th3时,在第五步骤S5中,从选择器控制器14输出信号以控制选择器13选择三角测距装置2的测量距离Dtc,并且进一步在下一个第六步骤S6中,从选择器控制器14输出信号以输出第一语音警报。(相当于权利要求中其中所触发的事件包括使所述成像装置聚焦、激活告警、记录视频、记录声音以及启用外部动作中的至少一者。)
对比文件1公开此外,第七发明涉及的行车记录仪,其特征在于,具备通过声呐检测物体与车辆距离的检测手段,以及判定该检测手段检测到的距离是否小于预定距离的判定手段;当判定手段判定物体与车辆的距离小于预定距离时,记录手段记录拍摄手段拍摄的图像。(相当于权利要求中其中所触发的事件包括使所述成像装置聚焦、激活告警、记录视频、记录声音以及启用外部动作中的至少一者。)
对比文件7公开:[0063] 如果物体的视差超过预定阈值(340),即物体距离第一阵列在预定距离内,则接受上述计算的深度(330)作为物体的深度(350)。可以给出基于镜头校准和/或像素分辨率(像素基于与相机的距离所代表的宽度)等因素的置信度测量。(相当于权利要求中其中所触发的事件包括使所述成像装置聚焦、激活告警、记录视频、记录声音以及启用外部动作中的至少一者。)置信度测量还可以结合来自置信度图的信息,该置信度图表示特定像素深度测量的可靠性,如美国专利申请No. 61/691,666中公开的,该申请通过引用并入本文。
对比文件11公开
[0113]回顾图 11,过程1100使用从两个或更多个相机的深度信息转换而来的聚焦窗口的深度信息来确定第一相机的聚焦深度 ( 1135 )。根据一些实施例,使用深度值的直方图来确定聚焦深度。(相当于权利要求中其中所触发的事件包括使所述成像装置聚焦、激活告警、记录视频、记录声音以及启用外部动作中的至少一者。)根据许多其他实施例,使用最近的深度值来解决第一相机无法看到的对象在深度信息中表示的问题。根据许多实施例,仅当在该深度处存在超过预定义像素数阈值的像素数时,才选择最近的深度。
根据权利要求1 所述的方法,其中当所述对象在所述视野内的所述深度在阈值深度范围内时,捕获所述图像。
权利要求9与权利要求1互相冲突互斥。
权利要求1限定当深度超过所述阈值深度水平时捕获所述图像。
权利要求9为权利要求1的从属权利要求,若权利要求1的阈值深度水平是一个范围,则本领域技术人员不清楚,是在范围起点就开始捕获,还是范围终点再开始捕获。
若在范围起点开始捕获,则设置深度范围完全是多余的。
若在范围终点开始捕获,则与本权利要求限定的再深度范围内捕获矛盾。
对比文件3公开:
[0029] 例如,判定部122每当行驶信息DB111中存储了车距La及Lb时,读取时间编号、车距La及车距Lb。判定部122从读取的车距La中减去车距Lb,计算车辆A与车辆B之间的车距。判定部122判定计算出的车距是否小于阈值“10m”。当车距小于阈值“10m”时,判定部122判定需要记录对应时间编号的周围影像。(相当于权利要求中其中当所述对象在所述视野内的所述深度在阈值深度范围内时,捕获所述图像。)当车距大于或等于阈值“10m”时,判定部122判定不需要记录周围影像。判定部122将判定结果输出到记录部123。需要说明的是,阈值是车辆A可能向自身车辆一侧变道的值。这里以阈值为“10m”为例进行说明,但本发明并不限于此。例如,该阈值可以由使用记录装置100的用户任意设定。
对比文件6CN102118560A《拍照系统及方法》公开:
[0005] 所述拍照系统,运行于安装有接近度传感器的拍照装置中,所述接近度传感器,用于当拍照装置进入拍照模式时,实时感测用户接近该接近度传感器的接近距离;该系统包括:获取模块,用于实时的获取所述接近度传感器感测到的用户的接近距离;判断模块,用于判断上述获取的接近距离是否小于预设的所述拍照装置的有效拍照距离;触发模块,用于当上述获取的接近距离小于所述有效拍照距离时,触发所述拍照装置进行拍照。(相当于权利要求中其中当所述对象在所述视野内的所述深度在阈值深度范围内时,捕获所述图像。)
[0016] 所述判断模块102用于判断上述获取的接近距离是否小于预设的所述拍照装置1的有效拍照距离。具体而言,该有效拍照距离可根据所述拍照装置1的具体结构的不同而进行设置,如该有效拍照距离可设置为30mm或50mm等,也即一旦所述接近度传感器11感测到用户的接近距离小于该有效拍照距离时,即触发所述拍照装置1进行拍照。(相当于权利要求中其中当所述对象在所述视野内的所述深度在阈值深度范围内时,捕获所述图像。)
[0021] 如图3所示,是本发明拍照方法较佳实施例的流程图。[0022] 当所述拍照装置1进入拍照模式后,于步骤S01,所述接近度传感器11实时感测用户接近该接近度传感器11的接近距离。[0023] 步骤S02,所述获取模块101实时的获取所述接近度传感器11所感测到的用户的接近距离。[0024] 步骤S03,所述判断模块102判断上述获取的接近距离是否小于预设的所述拍照装置1的有效拍照距离,(若小于,则执行步骤S04,否则,返回步骤S02。[0025] 步骤S04,所述触发模块103触发所述拍照装置1进行拍照。(相当于权利要求中其中当所述对象在所述视野内的所述深度在阈值深度范围内时,捕获所述图像。)
阈值范围解释为照相机到用户设定接近距离,对比文件7公开了附加的技术特征。
对比文件3JP_2013127754_A公开
【0115] (附记3)根据附记2所述的记录装置,其特征在于:
所述算出部计算经过所述预定时间后所述第一车辆与自身车辆之间的自身车辆相关车距;
所述判定部进一步基于所述算出部计算出的自身车辆相关车距是否在预定范围内,判定是否需要记录影像。(相当于权利要求其中当所述对象在所述视野内的所述深度在阈值深度范围内时,捕获所述图像。)
根据权利要求1 所述的方法,其进一步包括使用来自用户的输入确定所述阈值水平。
在引用文献3中(参见段落0015-0017、0029等),记载了一种基于预定条件记录由车辆1上安装的摄像头40拍摄的周围图像数据的系统,并且该预定条件可由用户进行设置。
引用文献1和3的共同点在于,两者均基于预定条件记录由车辆上安装的摄像头获取的图像数据。因此,在引用文献1记载的发明中,应用引用文献3记载的发明,使用户能够设定在记录图像时用于判断目标物体距离的阈值,并不存在特别的困难性。
对比文件4公开通过存储在存储部中的预设被摄体距离(与拍摄对象的距离),构成数字照相机(摄像装置)的控制部指定成像对象物体,检测与该特定被摄体的距离, 并且当检测到的距离基本上等于预设的被摄体距离时,由成像部进行成像(例如,连拍或运动图像拍摄)
对比文件6公开[0018] 设置模块104,用于当用户需要自定义设置所述拍照装置1的有效拍照距离时,接收用户的设置,并将接收的设置保存在该拍照装置1中(相当于权利要求中其进一步包括使用来自用户的输入确定所述阈值水平。)。若用户未设置该有效拍照距离,则该有效拍照距离为默认的预设值,如该默认的预设值为30mm或50mm等。此处,用户的设置值不能超过设置上限,如该设置上限为100mm,当设置值超过设置上限时,则视为无效设置
对比文件3公开[0029] 例如,判定部122每当行驶信息DB111中存储了车距La及Lb时,读取时间编号、车距La及车距Lb。判定部122从读取的车距La中减去车距Lb,计算车辆A与车辆B之间的车距。判定部122判定计算出的车距是否小于阈值“10m”。当车距小于阈值“10m”时,判定部122判定需要记录对应时间编号的周围影像。当车距大于或等于阈值“10m”时,判定部122判定不需要记录周围影像。判定部122将判定结果输出到记录部123。需要说明的是,阈值是车辆A可能向自身车辆一侧变道的值。这里以阈值为“10m”为例进行说明,但本发明并不限于此。例如,该阈值可以由使用记录装置100的用户任意设定。(其进一步包括使用来自用户的输入确定所述阈值水平。)
对比文件11公开:
[0047]根据本发明的一些实施例,具有阵列相机模块和常规相机的系统使用常规图像传感器捕获视频图像并使用阵列相机模块捕获静态图像。图 2示出了根据本发明的实施例使用阵列相机模块或常规相机捕获图像数据的过程的流程图。在过程200中,接收请求图像捕获功能的输入 ( 205 )。根据若干实施例,该请求是用户输入,其指示多个图像捕获选项之一,包括 (但不限于) 视频图像捕获和静态图像捕获。根据这些实施例中的一些,通过选择图形用户界面上的图标来获得输入(相当于权利要求中其进一步包括使用来自用户的输入确定所述阈值水平。)。在所示实施例中,过程200根据用户输入确定 ( 210 ) 是要捕获视频图像还是静态图像。
[0048]如果要捕获视频图像,则激活常规图像传感器以常规方式捕获视频图像数据。如果要捕获静态图像,则过程200可以激活常规相机以捕获预览图像 ( 215 ),显示来自常规相机的预览图像 ( 220 ),接收捕获静态图像的请求 ( 235 ),并使用阵列相机模块捕获静态图像 ( 240 )。
[0049]由于传统相机与阵列相机模块之间的空间,传统相机可能具有与阵列相机模块不同的视点。为了显示阵列相机模块可以捕捉的场景,传统相机可能具有比阵列相机模块中的相机的视场更大的视野。此外,传统相机的视野可以包括阵列相机模块中的相机的视场。这样,可以确定阵列相机模块中的相机采样(或将要采样)的场景部分。
[0050]将常规相机捕获的预览图像显示给用户 ( 225 )。根据一些实施例,显示包括阵列相机模块的视野的指示。在许多实施例中,可以通过裁剪预览图像以近似阵列相机模块的视野的场景来提供指示。根据多个实施例,指示可以是框的轮廓、十字准线或叠加在显示的预览图像上的一些其他图形元素。在几个实施例中,基于预览模式期间阵列相机生成的图像数据生成场景的深度图,并且对常规相机捕获的图像的视野的一部分应用透视校正以将图像移入阵列相机的视点。
根据权利要求1 所述的方法,其中由所述成像装置基于所述视野的所述测得深度的平均值,自动确定所述阈值水平。
对比文件3[0015, 0017, 0029]中有关于阈值级别的描述公开了附加技术特征。
对比文件5从测量路面上的白线图像以创建表格的立体图像中,存在描述[0024],其计算平均视差值并将其转换为方位角差异阈值。公开了附加技术特征。
在权利要求11和22中,记载了“基于前述视野的所测深度的平均值,自动确立前述阈值(深度)级别”,但在本申请的发明详细说明(特别是参照段落0034)中,记载了“阈值305可以基于一段时间内的背景深度,或基于任何其他因素,由摄像设备自动决定”,然而,并未记载基于深度的“平均值”。
因此,权利要求11和22并未在发明的详细说明中记载。
对比文件9公开:
[0024]接下来,根据图12描述创建路面白线直线部分候选区域表的过程,来描述创建图5所示的路面白线直线候选区域表的方法。首先,输入通过拍摄学习路面白线图像而获得的立体图像(步骤S301)。从左、右图像中的任意一个亮度图像中提取亮度边缘(步骤S302)。对提取的亮度边缘进行线性近似以近似线性部分(步骤S303)。然后,计算近似得到的直线上端的平均视差值(步骤S304)。将计算出的平均视差值作为视差阈值。(相当于权利要求中其中由所述成像装置基于所述视野的所述测得深度的平均值,自动确定所述阈值水平。)然后,设置左路面白线的路面白线候选区域和右路面白线的路面白线候选区域(步骤S305和S306)。在亮度图像上按照下述路面白线直线候选区域设定方法设定点A、点B、点C、点D的顶点坐标、定义左侧路面白线候选的路面白线候选区域的点E、点F、点G、点H的顶点坐标,并建立存储这些顶点坐标和视差阈值的路面白线直线候选区域表(步骤S307)。
一种用于捕获场景的设备,其包括:
成像装置,其包括两个或两个以上相机,且经配置以捕获所述成像装置的视野中的至少一个图像;
处理器,其以可操作方式耦合到所述成像装置,所述处理器经配置以:使用所述成像装置的所述两个或两个以上相机所捕获的图像,来识别所述视野中的至少一个目标对象;
使用所述两个或两个以上相机,测量所述目标对象相对于所述成像装置在所述视野内的深度;
将所述目标对象的测得深度与阈值深度水平进行比较;以及当所述目标对象在所述视野内的深度超过所述阈值深度水平时,经由所述成像装置的所述两个或两个以上相机中的至少一者来捕获所述目标对象的图像,其中相较于当所述目标对象的所述深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。
与权利要求1对应
根据权利要求12 所述的设备,其中所述处理器进一步经配置以使用图像的视差值来测量所述目标对象的深度,所述图像包含所述两个或两个以上相机所捕获的所述目标对象。
于权利要求2对应
根据权利要求13 所述的设备,其中所述处理器进一步经配置以至少部分地基于所述视差值来测量背景的深度。
与权利要求3对应。
. 根据权利要求13 所述的设备,其中所述处理器进一步经配置以:识别所述成像装置的所述视野中的所述场景的背景;以及至少部分地基于所述视差值来确定所述背景的深度,
其中所述阈值深度水平小于所述背景的所述深度。
与权利要求4对应。
根据权利要求12 所述的设备,其中所述成像装置包括立体光学元件相机。
与权利要求5对应。
根据权利要求12 所述的设备,其中所述成像装置包括结构化光3D 扫描仪。
与权利要求6对应。
. 根据权利要求12 所述的设备,其中所述处理器进一步经配置以基于所述目标对象的所述测得深度超过所述阈值深度水平而触发事件。
与权利要求7对应。
根据权利要求18 所述的设备,其中所触发的事件包括使所述成像装置聚焦、激活告警、记录视频、记录声音以及启用外部动作中的至少一者。
与权利要求8对应。
根据权利要求12 所述的设备,其中当所述目标对象在所述视野内的深度在阈值范围内时,捕获所述图像。
与权利要求9对应。
根据权利要求12 所述的设备,其中所述处理器进一步经配置以使用来自用户的输入确定所述阈值深度水平。
与权利要求10对应。
根据权利要求12 所述的设备,其中所述处理器经配置以基于所述视野的所述测得深度的平均值,自动确定所述阈值深度水平。
与权利要求11对应。
一种用于捕获场景的设备,所述设备是成像装置,其包括:用于识别所述设备的视野中的目标对象的装置,所述设备具有用于捕获所述视野的图像的多个装置;
用于经由用于捕获图像的所述多个装置,测量所述目标对象相对于所述设备在所述视野内的深度的装置;
用于将所述目标对象的测得深度与阈值深度水平进行比较的装置;以及用于经由用于捕获图像的所述多个装置,当所述对象在所述视野内的深度超过所述阈值深度水平时,捕获所述目标对象的图像的装置,其中相较于当所述目标对象的深度小于所述阈值深度水平时,当所述目标对象的所述深度超过所述阈值深度水平时,所述目标对象更靠近所述成像装置。
与权利要求1对应
根据权利要求23 所述的设备,其中装置测量深度包括用于确定用于捕获图像的所述多个装置所捕获的立体图像的视差值的过程。
与权利要求2对应
根据权利要求24 所述的设备,其进一步包括用于测量背景的深度的装置。
与权利要求3对应
根据权利要求24 所述的设备,其进一步包括:用于识别所述设备的所述视野中的所述场景的背景的装置;
用于至少部分地基于所述视差值来确定所述背景的深度的装置,其中所述阈值深度值小于所述背景的所述深度。
与权力要求4对应
根据权利要求23 所述的设备,其中所述设备包括立体光学元件相机。
与权力要求5对应
根据权利要求23 所述的设备,其中所述设备包括结构化光3D 扫描仪。
与权力要求6对应
根据权利要求23 所述的设备,其进一步包括用于基于所述目标对象的所述测得深度超过所述阈值深度水平而触发事件的装置。
与权力要求7对应
.根据权利要求29 所述的设备,其中所触发的事件包括使所述设备聚焦、激活告警、记录视频、记录声音以及启用外部动作中的至少一者。
与权力要求8对应