非显而易见性评估仅供参考,不构成法律建议。
| 编号 | 名称 |
|---|---|
| 0 | 2019-05-21_CN109787383A_发明公开_CN109787383A 电机及其制造方法.docx |
| 0 | 2017-10-31_KR101791573B_发明授权_KR101791573B1 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법_+++E_I_L_c_j+++.docx |
| 0 | 2017-11-29_JP6236731B_发明专利_JP6236731B1 超解像度処理装置、超解像度処理方法およびコンピュータプログラム_+++C_E_I_J_L+++.docx |
| 0 | 2018-09-27_JP2018151747A_发明专利_JP2018151747A 超解像度処理装置、超解像度処理方法およびコンピュータプログラム_+++C_E_I_J_L+++.docx |
| 0 | 2018-11-08_US2018322614A_发明申请_US20180322614A1 METHOD AND APPARATUS FOR PROCESSING IMAGE_+++A_B_C_I_Q_e_j_k_l_n_o_p_s_t_u_v+++.docx |
| 0 | 2018-11-13_KR1020180122548A_发明公开_KR20180122548A 이미지를 처리하는 방법 및 장치_+++C_I_Q_a_b_e_j_k_l_n_o_p_s_t_u+++.docx |
| 0 | 2019-03-06_KR1020190021756A_发明公开_KR20190021756A 영상 처리 방법 및 이를 이용한 표시 장치_+++C_E_I_L_j+++.docx |
| 0 | 2019-04-11_US2019108618A_发明申请_US20190108618A1 IMAGE SIGNAL PROCESSOR FOR PROCESSING IMAGES_+++A_B_C_E_J_K_L_p_q+++.docx |
| 0 | 2019-04-19_CN109658348A_发明公开_CN109658348A 基于深度学习的联合噪声估计和图像去噪方法_+++L_a_c_e+++.docx |
| 0 | 2019-04-26_CN109690628A_发明公开_CN109690628A 图像产生方法和装置_+++A_B_C_J_K+++.docx |
| 0 | 2016-11-30_JP6034429B_发明专利_JP6034429B2 光電変換装置および光電変換装置の製造方法.docx |
| 0 | 2019-07-22_JP2019121252A_发明专利_JP2019121252A 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体_+++A_C_D_E_F_G_H_I_J_K_L_M_N_O_P_Q_S_T_U_b_r_v_w_x+++.docx |
| 0 | 2020-02-20_JP2020026370A_发明专利_JP2020026370A 反応装置.docx |
| 0 | 2020-09-15_US10776904B_发明授权_US10776904B2 Method and apparatus for processing image_+++C_I_N_O_P_Q_e_j_k_l_s_t_u_v+++.docx |
| 0 | 2022-04-20_EP3985961A_发明公开_EP3985961A1 CAMERA DEVICE AND IMAGE GENERATION METHOD OF CAMERA DEVICE_+++A_B_C_D_E_F_G_H_I_L_M_N_O_P_Q_R_S_T_U_V_W_X_j_k+++.docx |
| 0 | 2022-06-29_JP7093264B_发明专利_JP7093264B2 反応装置.docx |
| 0 | 2022-08-15_JP2022536327A_发明专利_JP2022536327A カメラ装置及びカメラ装置のイメージ生成方法_+++A_B_C_D_E_F_G_H_I_K_L_M_N_O_P_Q_R_S_T_U_V_W_X_j+++.docx |
| 0 | CN100520580C_Description_20260619_0141_+++A+++.docx |
| 0 | JP2022536327A_Description_20260619_0141_+++A_B_C_D_E_F_G_H_I_K_L_M_N_O_P_Q_R_S_T_U_V_W_X_j+++.docx |
| 0 | WO2010016166A1_Description_20260619_0141_+++A_B_C_D_H_I_j_k+++.docx |
| 0 | 2008-12-04_JP2008291270A_发明专利_JP2008291270A Method of selecting water soluble cellulose ether.docx |
| 0 | 2002-09-27_JP2002278507A_发明专利_JP2002278507A Image processor and image display device_+++C_I_J+++.docx |
| 0 | 2003-03-08_KR1020030020357A_发明公开_KR1020030020357A 데이터 해상도를 향상시키는 방법 및 장치_+++A_B_C_I_K_e_j_l+++.docx |
| 0 | 2004-04-15_JP2004118385A_发明专利_JP2004118385A Method and device for interconnecting a plurality of apparatuses_+++C+++.docx |
| 0 | 2004-06-17_JP2004518312A_发明专利_JP2004518312A Method and apparatus increase the data resolution_+++A_B_C_I_J_K_e_l+++.docx |
| 0 | 2004-08-11_CN1520580A_发明公开_CN1520580A 用于增强数据解析度的方法和设备_+++A_B_C_I_e_j_k+++.docx |
| 0 | 2006-12-12_US7149262B_发明授权_US07149262B1 Method and apparatus for enhancing data resolution_+++A_B_C_I_K_d_e_f_j_l_m+++.docx |
| 0 | 2008-04-24_JP2008512923A_发明专利_JP2008512923A Apparatus and method for processing video data_+++C+++.docx |
| 0 | 2008-08-07_JP2008182299A_发明专利_JP2008182299A Cooperative broadcast screen transmission_reception system_+++C_I+++.docx |
| 0 | 2008-11-27_JP2008542865A_发明专利_JP2008542865A Digital evidence bag_+++c+++.docx |
| 0 | 2002-01-17_WO2002005208A_发明申请_WO02005208A2 METHOD AND APPARATUS FOR ENHANCING DATA RESOLUTION_+++A_B_C_I_d_e_f_g_h_j_k_l_m_n_o_p_q_r+++.docx |
| 0 | 2009-03-04_JP4234420B_发明专利_JP4234420B2 Method and apparatus increase the data resolution_+++A_B_C_I_J_K_Q_d_e_f_g_h_l_m_n_o_p_r_s_t_u_v_w_x+++.docx |
| 0 | 2012-01-12_None_发明专利_JPWO2010016166A1 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路_+++A_B_C_D_H_I_K_Q_R_X_j_v_w+++.docx |
| 0 | 2012-06-21_JP2012120132A_发明专利_JP2012120132A Imaging apparatus and program_+++A_B_C_j_k+++.docx |
| 0 | 2013-05-15_JP5196151B_发明专利_JP5196151B2 Selection of hydroxyalkylalkylcellulose.docx |
| 0 | 2013-12-09_JP2013246056A_发明专利_JP2013246056A Current sensor.docx |
| 0 | 2014-07-09_JP5547234B_发明专利_JP5547234B2 Current sensor.docx |
| 0 | 2015-03-19_JP2015053614A_发明专利_JP2015053614A 画像処理装置、画像処理方法、及び画像処理プログラム_+++A_B_C_I_Q_j_k_n_o_p_s_t_u+++.docx |
| 0 | 2015-08-27_WO2015125664A_发明申请_WO2015125664A1 カードリーダ.docx |
| 0 | 2016-09-29_JP2016174086A_发明专利_JP2016174086A 光電変換装置および光電変換装置の製造方法.docx |
一种图像处理装置,包括:图像传感器;所述图像传感器被配置成生成具有第一分辨率的第一拜耳数据;以及处理器;所述处理器被配置成使用所述第一拜耳数据输出具有第二分辨率的第二拜耳数据;其中,所述处理器包括卷积神经网络;所述卷积神经网络被训练成:使用第一拜耳数据输出具有第二分辨率的第二拜耳数据;其中,所述卷积神经网络的训练集包括具有第一分辨率的第一拜耳数据和具有第二分辨率的第二拜耳数据;并且其中,所述第二拜耳数据被输出至图像信号处理器;所述图像信号处理器通过执行去马赛克从所述第二拜耳数据生成RGB数据
作为一名经验丰富的专利代理师,我已对权利要求1及相关对比文件进行了详细的技术比对与分析。以下是针对该发明专利的创造性分析报告。
### 一、 权利要求1的技术特征拆解
权利要求1所述的“一种图像处理装置”包含以下技术特征:
* **特征A**:包括:图像传感器;
* **特征B**:所述图像传感器被配置成生成具有第一分辨率的第一拜耳数据;
* **特征C**:处理器;
* **特征D**:所述处理器被配置成使用所述第一拜耳数据输出具有第二分辨率的第二拜耳数据;
* **特征E**:其中,所述处理器包括卷积神经网络;
* **特征F**:所述卷积神经网络被训练成:使用第一拜耳数据输出具有第二分辨率的第二拜耳数据;
* **特征G**:其中,所述卷积神经网络的训练集包括具有第一分辨率的第一拜耳数据和具有第二分辨率的第二拜耳数据;并且其中,所述第二拜耳数据被输出至图像信号处理器;
* **特征H**:所述图像信号处理器通过执行去马赛克从所述第二拜耳数据生成RGB数据。
---
### 二、 对比文件特征比对表
| 特征 | WO02005208A2 | JP4234420B2 | JP2019121252A |
| A (传感器) | 公开 | 公开 | 公开 |
| B (第一拜耳数据) | 公开 | 公开 | 公开 |
| C (处理器) | 公开 | 公开 | 公开 |
| D (输出第二分辨率) | 公开 | 公开 | 公开 |
| E (含卷积神经网络) | 未公开 | 未公开 | 公开 |
| F (CNN训练生成) | 未公开 | 未公开 | 公开 |
| G (训练集/输出至ISP) | 未公开 | 未公开 | 部分公开(训练集) |
| H (ISP去马赛克生成RGB) | 未公开 | 未公开 | 未公开 |
*注:对比文件1 为WO02005208A2;对比文件2 为JP4234420B2;对比文件3 为JP2019121252A。*
---
### 三、 创造性分析
#### 1. 最接近对比文件的选择
在创造性评价中,** (JP2019121252A)** 是最接近的对比文件。
* **理由**:该对比文件明确公开了使用深度学习(多层神经网络/CNN)处理RAW图像(拜耳数据)的技术路径,且关注了图像的训练集构建和处理过程。与目标专利权利要求1在技术领域(图像处理)、核心手段(卷积神经网络)、以及输入/输出对象(RAW/拜耳数据)上高度一致。
#### 2. 技术特征的实质公开性
* **被公开特征**: 公开了使用卷积神经网络通过学习对图像进行处理(包括去噪、超分辨率等),输入图像为RAW图像(拜耳数据)。
* **未被公开特征**:权利要求1中将“卷积神经网络输出的高分辨率拜耳数据”具体地输出至“图像信号处理器(ISP)”并由“ISP执行去马赛克生成RGB数据”的特定处理流,在 中未见披露。虽然该对比文件提及了神经网络的处理,但并未限定处理后的RAW数据后续必须经过特定的ISP去马赛克流程以维持数据的线性。
#### 3. 创造性评价
权利要求1的技术贡献在于:利用卷积神经网络在ISP处理前对原始拜耳数据进行超分辨率处理,而非在RGB域或显示域进行处理。这种方式利用了拜耳数据的线性特性,相比于在RGB域处理,能有效避免因去马赛克(Demosaicing)后的信息丢失及非线性色调映射带来的伪影。
因此,若要从 出发否定权利要求1的创造性,审查员必须论证将神经网络超分辨率处理后的数据输出至标准ISP去马赛克模块是本领域技术人员的显而易见选择。鉴于 指出了拜耳数据保留线性信息对后处理性能(如增强PSNR约2-4dB)的特殊贡献,该权利要求具备较强的创造性。
---
### 四、 无效请求方的薄弱点分析
若请求方试图提出无效请求,**最薄弱的技术特征是特征G中的“训练集构建”以及特征H中“ISP去马赛克”的结合**。
* **分析**: 已经详细描述了训练集构建及误差计算(包括ガンマ補正/Gamma修正的影响),且 也广泛讨论了基于已知数据进行数据增强的通用模型。若请求方能够证明“输出至ISP进行去马赛克”属于本领域内处理超分后RAW数据的行业标准做法(即“惯用手段”),则权利要求1极易被挑战。
### 五、 进一步检索策略
建议请求方或审查员采取以下策略进行补充检索:
1. **关键词组合**:检索“Deep Learning” + “Raw image” + “ISP pipeline” + “Demosaicing” + “Super-resolution”。
2. **技术方向**:重点关注2018年-2023年间发布的、涉及移动终端相机架构(Camera ISP pipeline)与深度学习结合的专利(特别是Qualcomm, MediaTek, Samsung等公司的专利),查找是否有关于“SR in Bayer domain before ISP”的公开技术报道。
3. **非专利文献**:关注CVPR、ICCV等会议中关于“End-to-End Image Processing Pipeline”的论文,这些论文可能在背景技术中隐含了“将网络输出接入标准ISP模块”这一流程。
### 权利要求1的技术特征拆解与对应关系分析
为了清晰地分析,首先将权利要求1分解为技术特征A-H,并根据对比文件(D1: EP3985961A1, D2: JP2022536327A)进行特征比对。注:D1和D2的内容实质相同。
#### 1. 特征比对表格
| 特征编号 | 技术特征 | D1公开情况 | D2公开情况 |
| A | 包括:图像传感器 | 公开 [0015] | 公开 [0015] |
| B | 所述图像传感器被配置成生成具有第一分辨率的第一拜耳数据 | 公开 [0015] | 公开 [0015] |
| C | 处理器 | 公开 [0015] | 公开 [0015] |
| D | 所述处理器被配置成使用所述第一拜耳数据输出具有第二分辨率的第二拜耳数据 | 公开 [0015] | 公开 [0015] |
| E | 其中,所述处理器包括卷积神经网络 | 公开 [0015/0019] | 公开 [0015/0019] |
| F | 所述卷积神经网络被训练成:使用第一拜耳数据输出具有第二分辨率的第二拜耳数据 | 公开 [0015/0020] | 公开 [0015/0020] |
| G | 所述卷积神经网络的训练集包括第一拜耳数据和第二拜耳数据;且第二拜耳数据被输出至图像信号处理器 | 公开 [0016] (训练集) / [0027] (输出至ISP) | 公开 [0016] (训练集) / [0027] (输出至ISP) |
| H | 所述图像信号处理器通过执行去马赛克从所述第二拜耳数据生成RGB数据 | 公开 [0027] (提到去马赛克生成RGB) | 公开 [0027] (提到去马赛克生成RGB) |
---
#### 2. 最接近的对比文件分析
* **选择分析**:D1(EP3985961A1)和D2(JP2022536327A)在内容上基本属于同一专利族,均公开了一种基于深度学习(卷积神经网络)将低分辨率拜耳数据转换为高分辨率拜耳数据的图像生成装置,并指出输出的拜耳数据后续会被送往图像信号处理器(ISP)进行处理。
* **最接近对比文件**:**D1或D2均可作为最接近的对比文件**。它们从整体架构(传感器+深度学习处理器)、解决的技术问题(生成高分辨率图像,克服运动模糊/伪影)以及技术效果(实时处理、小芯片实现)上,与权利要求1高度吻合。
* **特征覆盖**:权利要求1的所有技术特征A-H在D1/D2中均已实质公开。
---
#### 3. 创造性评价与无效请求分析
* **创造性评价**:由于对比文件几乎完全覆盖了权利要求1的所有特征,且其技术效果(高分辨率转换、降低芯片门数、兼容现有ISP逻辑)也被对比文件明确记载,因此,**权利要求1在对比文件D1/D2的基础上,不具备突出的实质性特点和显著的进步,缺乏创造性。**
* **最薄弱的技术特征(对于请求方)**:
实际上,权利要求1没有任何未被D1/D2公开的特征。对于请求方来说,**没有“最薄弱”的特征**,因为权利要求1的各项特征在对比文件中均有明确的原文对应(见上表),请求方可以针对权利要求1直接通过对比文件D1或D2进行创造性(或新颖性)抗辩。
---
#### 4. 进一步的检索策略
若需进一步挖掘对比文件以巩固无效请求,建议采取以下策略:
1. **针对“训练集构成”进行精细化检索**:
虽然权利要求1提到了训练集构成,但如果想要攻击其创造性,可以检索更多关于“仅使用拜耳数据作为训练输入以实现超分辨率”的深度学习论文或公开专利,证明该领域技术人员采用拜耳原始数据而非RGB数据进行SR训练是常规设计选择。
2. **针对“特定行列缓存器结构”进行对比**:
权利要求1虽未在正文详细描述,但说明书中涉及了基于N+1行线处理拜耳数据的逻辑。可以检索关于“基于行缓存(Line Buffer)进行SR处理”的现有技术,查看是否存在比D1/D2更早公开这种特定缓存管理方式的对比文件,以通过结合对比文件来封堵可能的从属权利要求防线。
3. **检索ISP前端处理的特定时序/耦合关系**:
重点检索涉及“拜耳域超分辨率+后处理ISP”耦合结构的专利,特别是提及“保持线性度(Linearity)”或“增强PSNR”相关技术效果的现有技术,以证明这些效果是现有技术手段的必然结果。
**结论**:权利要求1已完全被对比文件D1/D2公开,处于极度不稳定的状态。建议直接基于D1或D2提出无效宣告请求。
以下是针对权利要求1的技术特征与所提供对比文件的专利性分析。
### 1. 权利要求1技术特征拆解
| 特征标签 | 技术特征描述 |
| A | 一种图像处理装置,包括:图像传感器 |
| B | 所述图像传感器被配置成生成具有第一分辨率的第一拜耳数据 |
| C | 以及处理器 |
| D | 所述处理器被配置成使用所述第一拜耳数据输出具有第二分辨率的第二拜耳数据 |
| E | 其中,所述处理器包括卷积神经网络 |
| F | 所述卷积神经网络被训练成:使用第一拜耳数据输出具有第二分辨率的第二拜耳数据 |
| G | 其中,所述卷积神经网络的训练集包括具有第一分辨率的第一拜耳数据和具有第二分辨率的第二拜耳数据;并且其中,所述第二拜耳数据被输出至图像信号处理器 |
| H | 所述图像信号处理器通过执行去马赛克从所述第二拜耳数据生成RGB数据 |
---
### 2. 对比文件公开内容分析
* **D1 (JP2002278507A):** 公开了一种图像处理装置,主要针对投影仪的梯形失真校正和解像度转换。其通过将转换数据存储在转换表中来实现快速处理。**未公开**使用卷积神经网络(CNN)进行拜耳数据到拜耳数据的高分辨率转换。
* **D2 (KR1020030020357A):** 探讨了提高数据分辨率的方法,讨论了通过深度学习进行图像超分辨率处理的背景,提到将深度学习算法以即时形式安装在芯片上。该文明确涉及从低分辨率拜耳数据生成高分辨率拜耳数据的过程,且处理器包括卷积神经网络。**实质公开**了特征A-F的大部分技术思想。
* **D3 (JP2004118385A):** 涉及多个设备互连的无线连接方法,与图像处理逻辑无关。
* **D4 (JP2004518312A):** 公开了一种通过模型处理(包括多项式模型或网络)提高数据分辨率的方法。该文详细讨论了从低分辨率输入(包括拜耳数据)利用学习到的参数生成高分辨率输出的技术,并涉及超分辨率处理。
---
### 3. 创造性分析
* **最接近的对比文件:** **D2 (KR1020030020357A)** 是最接近的对比文件。
* **理由:** D2直接公开了利用卷积神经网络(CNN)对拜耳数据进行处理以实现高分辨率转换的技术方案,其解决的技术问题与目标专利高度一致(即在硬件资源受限的设备上实现高效的图像分辨率提升),且涉及从第一分辨率到第二分辨率的拜耳数据输出,在技术效果上均旨在提升处理效率与图像质量。
* **特征比对与缺失分析:**
* **被D2公开的特征:** 特征A、B、C、D、E、F。
* **未被D2完全公开/体现的特征:** 特征G中的“训练集具体包含特定格式数据”以及特征H中“第二拜耳数据输出至图像信号处理器进行去马赛克”的具体协同流程。虽然D2提及了处理器的深度学习架构,但权利要求1通过明确规定“输出至图像信号处理器(ISP)”及“去马赛克生成RGB”将整个图像处理流水线进行了限定。
---
### 4. 无效请求方的最薄弱技术特征
对于无效请求方而言,**最薄弱的技术特征是特征G和H的组合**。
* **分析:** 在D2已公开利用CNN进行拜耳转拜耳处理的前提下,权利要求1通过限定“训练集构成”以及“与后端ISP的去马赛克逻辑配合”,构建了一种特定的技术应用场景。如果无效方仅用D2攻击,很难覆盖“训练集”这一具体训练实现方式,以及这种将超分辨率(SR)逻辑置于ISP前端的系统集成结构。
---
### 5. 进一步的检索策略
为了寻找更强的对比文件以破坏权利要求的创造性,建议采用以下检索策略:
1. **关键词组合检索:**
* `Bayer data` AND `CNN` AND `Super-Resolution` AND `ISP`
* `Deep learning` AND `Image Signal Processor` AND `Demosaicing` AND `Pre-processing`
2. **针对特定功能的检索:**
* 检索关于将CNN置于ISP流水线之前(Pre-ISP)的专利,关键词:`CNN based pre-processing` OR `Bayer domain super-resolution`。
3. **时间跨度:** 重点检索目标专利优先权日(2024年4月5日)之前5年内的文献,特别关注NVIDIA、Qualcomm、Samsung等在移动端ISP领域公开的深度学习硬件加速方案。
作为经验丰富的专利代理师,我已对权利要求1及相关对比文件进行了深入的技术分析。
### 一、 权利要求1的技术特征拆解
* **技术特征A**:包括:图像传感器;
* **技术特征B**:所述图像传感器被配置成生成具有第一分辨率的第一拜耳数据;
* **技术特征C**:处理器;
* **技术特征D**:所述处理器被配置成使用所述第一拜耳数据输出具有第二分辨率的第二拜耳数据;
* **技术特征E**:其中,所述处理器包括卷积神经网络;
* **技术特征F**:所述卷积神经网络被训练成:使用第一拜耳数据输出具有第二分辨率的第二拜耳数据;
* **技术特征G**:其中,所述卷积神经网络的训练集包括具有第一分辨率的第一拜耳数据和具有第二分辨率的第二拜耳数据;并且其中,所述第二拜耳数据被输出至图像信号处理器;
* **技术特征H**:所述图像信号处理器通过执行去马赛克从所述第二拜耳数据生成RGB数据。
---
### 二、 对比文件技术特征比对
| 权利要求特征 | D1 (CN1520580A) | D2 (US7149262B) | D3 (JP2008512923A) | D4 (JP2008182299A) |
| A: 图像传感器 | 公开 (感测器阵列104) | 公开 (Detector array) | 公开 (图像传感器) | 公开 (第1放送受信手段) |
| B: 第一分辨率拜耳数据 | 提及未加工图像,未明确拜耳图案 | 提及未加工图像 | 公开 (SVE/SVC数据) | 未详细公开 |
| C: 处理器 | 公开 (模型106) | 公开 (模型106/处理器) | 公开 (LPA 41/处理器) | 公开 (放送处理服务器) |
| D: 第二分辨率拜耳数据 | 公开 (增强解析度数据) | 公开 (增强解析度数据) | 公开 (高质量重构) | 仅公开画面放大 |
| E: 卷积神经网络 | 未公开 (多项式模型) | 未公开 (多项式模型) | 未公开 (SIMD/Medien) | 未公开 |
| F: CNN训练 | 未公开 (非线性回归) | 未公开 (非线性回归) | 未公开 | 未公开 |
| G: 训练集/输出ISP | 未公开 | 未公开 | 未公开 | 未公开 |
| H: ISP去马赛克生成RGB | 提及色彩频道 | 提及RGB信道 | 提及Demosaicing | 未公开 |
---
### 三、 创造性分析
#### 1. 最接近的对比文件
从技术领域和实现目的来看,**D1 (CN1520580A)** 是最接近的对比文件。
* **理由**:D1专门针对图像分辨率增强技术,不仅提出了接收原始感测器数据(对应权利要求1的拜耳数据),还详细描述了通过模型学习(训练过程)生成更高分辨率数据的完整框架。尽管D1使用的是多项式模型而非CNN,但其解决的技术问题(分辨率受限于感测器限制)和达到的效果(利用学习过程优化映射参数以进行重建)与权利要求1高度一致。
#### 2. 特征比对与创造性分析
* **未被D1公开的特征**:权利要求1的核心创新点在于**“使用卷积神经网络 (CNN)”**,以及特定的训练集构成(包含第一和第二分辨率拜耳数据)和输出至ISP进行去马赛克处理的完整管线。
* **创造性判断**:虽然D1、D2等对比文件公开了“通过学习优化的模型进行分辨率增强”的基本逻辑,但将CNN应用于拜耳数据(而非传统的RGB插值)是当前深度学习在ISP领域的典型应用。如果说明书中强调了拜耳数据相对于RGB数据的线性特性和信息量优势(如专利[0168]段所述),该特征结合CNN能够产生非显而易见的性能提升,具备创造性。
---
### 四、 无效请求分析与检索策略
#### 1. 对请求方来说最薄弱的技术特征
**特征G (训练集构成和输出至ISP)** 是最薄弱的。
* **理由**:在深度学习领域,使用低分辨率和高分辨率数据对(Ground Truth)进行训练是CNN的常规操作流程。请求方若能找到公开“使用拜耳原始数据进行超分辨率训练”的通用领域文献(如计算机视觉或ISP算法领域的学术会议论文),即可轻易打破该特征的专利性。
#### 2. 进一步检索策略
为有效进行无效检索,建议调整方向:
1. **关键词组合**:`"Bayer data"` AND `"Super-resolution"` AND `"Convolutional Neural Network"` (或 `"Deep Learning"` / `"CNN"`)。
2. **重点来源**:检索 **2015-2023年间的计算机视觉顶级会议 (CVPR, ICCV, ECCV)** 以及 **ISP处理相关期刊 (IEEE Transactions on Image Processing)**,查找在此专利申请日之前的相关技术预研论文。
3. **细分领域**:重点查找关于“Raw-to-RGB”或“Bayer-to-Bayer Super Resolution”的文献,这些文献极大概率已经涵盖了特征G中的训练集构成方法。
**专家提示**:该专利的防守核心在于其对行缓存器(Row Buffer)实现的优化,如果请求方能证明CNN在小缓存环境下的应用在申请日前已是本领域技术人员的“常规组合”,该专利的有效性将面临重大挑战。
作为一名经验丰富的专利代理师,我已仔细阅读权利要求书【权利要求1.docx】、目标专利说明书【2024-04-05_CN114270799B】以及对比文件D1-D4,以下是针对权利要求1的技术特征比对及分析。
### 一、 权利要求1的技术特征分解与映射
| 技术特征 | 权利要求1的技术内容 | JP2015053614A (D4) | JPWO2010016166A1 (D2) |
| A | 图像处理装置 | 公开 | 公开 |
| B | 图像传感器配置为生成第一分辨率的第一拜耳数据 | 公开(通过RAW数据) | 公开(CCD RAW数据) |
| C | 处理器 | 公开 | 公开 |
| D | 处理器配置为使用第一拜耳数据输出第二分辨率的第二拜耳数据 | 公开(SR超分辨率处理) | 公开(缩放处理) |
| E | 处理器包括卷积神经网络(CNN) | 未公开 | 未公开 |
| F | CNN训练为输出具有第二分辨率的第二拜耳数据 | 未公开 | 未公开 |
| G | 训练集包括第一分辨率第一拜耳数据和第二分辨率第二拜耳数据;且输出至图像信号处理器(ISP) | 未公开 | 未公开 |
| H | ISP通过执行去马赛克从第二拜耳数据生成RGB数据 | 部分公开(RGB处理) | 部分公开(颜色插值/去马赛克) |
*注:JP2008542865A (D1) 侧重于数字证据存储格式,与本案图像处理技术关联度较低;JP2012120132A (D3) 侧重于フリッカー(闪烁)检测,非图像数据转换核心。*
### 二、 最接近的对比文件分析
**选择结论:** **JP2015053614A (D4) 是最接近的对比文件。**
* **分析理由:**
* **技术领域与解决问题:** D4公开了一种通过对低分辨率图像进行位置对齐和叠加来实现图像超分辨率(SR)的装置,旨在提供一种ノイズが抑えられた(噪声被抑制的)高质量图像生成技术【cite: D4, [0004]】。这与本案说明书中提到的“用于使用深度学习算法从低分辨率图像生成高分辨率图像的技术”在技术领域和解决的问题上高度一致。
* **与D2的对比:** D2虽然涉及CCD RAW数据的缩放处理,但其主要基于传统的线性滤波器(如LPF和带域限制滤波器)进行多系统(辉度/色差)处理【cite: D2, [0012]】,相比之下,D4的叠加超分辨率机制在处理逻辑上比单纯的缩放处理更接近权利要求中利用信息进行分辨率增强的本质。
### 三、 创造性分析
1. **最接近对比文件(D4)未公开的特征:**
* 权利要求1的核心创造性特征在于利用**卷积神经网络(CNN)**实现超分辨率,特别是**CNN训练集采用了第一分辨率拜耳数据和第二分辨率拜耳数据的配对**(特征E、F、G)。
* D4利用的是传统的基于位置对齐和加权叠加的算法(加权、累积加算),而非端到端的CNN模型。
2. **是否被其他对比文件公开:**
* D1、D2、D3均未提及利用CNN进行图像数据(特别是拜耳格式数据)的超分辨率重建。它们要么关注证据管理(D1),要么关注传统数字滤波缩放(D2),或闪烁频率检测(D3)。
3. **对请求方来说最薄弱的技术特征:**
* **最薄弱特征为:将卷积神经网络应用于拜耳域(Bayer Domain)图像数据的处理。**
* *请求方应对策略:* 由于CNN在通用图像领域已被广泛应用,若请求方能检索到类似的“在RAW/拜耳域使用机器学习进行超分辨率重建”的现有技术或公知常识(如将CNN引入图像信号处理Pipeline的早期阶段),则该技术特征的创造性将受到极大挑战。
### 四、 进一步检索策略建议
为了提高无效请求的成功率,建议进行以下检索:
1. **检索关键词:** `Bayer data` OR `RAW image` AND `CNN` OR `Convolutional Neural Network` AND `Super-resolution` OR `upscaling`.
2. **检索目标:** 寻找在图像信号处理器(ISP)的前端处理(即去马赛克/ISP处理之前)引入深度学习模型的学术论文或专利。
3. **关键突破点:** 重点关注公开日期在2024年4月5日(本案授权日)之前的所有关于“拜耳数据直接进行深度学习/CNN处理”的相关技术文献。若能找到将CNN用于取代传统双三次插值或叠加算法的文献,则本案的创造性将极大地削弱。
**总结:** 权利要求1的创造性核心在于CNN在拜耳数据超分辨率中的应用。如果仅仅将现有技术(CNN)应用到传统的ISP数据流中被认为仅仅是常规的技术演进,则本项专利面临较大的无效风险。
作为专利代理师,我已对权利要求1及相关对比文件进行了深入分析。以下是针对该发明权利要求1的创造性分析报告:
### 一、 权利要求1特征比对表
| 特征编号 | 技术特征 | KR101791573B (D1) | JP6236731B (D2) | US2018322614A (D4) |
| A | 包括:图像传感器 | [0009] (视频流输入) | [0001] (输入图像) | [0006] (低分辨率图像) |
| B | 传感器生成第一分辨率的第一拜耳数据 | [0003] (非明确) | 否 | [0014] (Bayer图像) |
| C | 处理器 | [0009] (SR模块) | [0001] (SR处理装置) | [0016] (处理器) |
| D | 处理器使用第一拜耳数据输出第二分辨率的第二拜耳数据 | [0012] (SR模块生成) | [0009] (SR生成更高分辨率) | [0016] (获取高分辨率图像) |
| E | 处理器包括卷积神经网络(CNN) | [0011] (使用CNN) | [0003] (使用CNN) | [0027] (学习网络模型) |
| F | CNN训练成:使用第一拜耳数据输出第二分辨率的第二拜耳数据 | [0012] (学习SR) | [0003] (学习SR) | [0027] (学习模型) |
| G | CNN训练集包括第一拜耳数据和第二拜耳数据 | [0012] (训练数据集) | [0003] (原图与缩放图训练) | [0040] (原图与缩放图训练) |
| H | 第二拜耳数据输出至ISP,ISP执行去马赛克生成RGB | 说明书中提及ISP作用 | 说明书中提及 | [0013] (处理RGB) |
---
### 二、 创造性分析
#### 1. 最接近的对比文件选择
在创造性分析中,**US2018322614A (D4)** 是最接近的对比文件。
* **理由**:D4明确公开了处理拜耳数据(Bayer images)的完整流程[0014],且提到了通过学习网络模型获得高分辨率图像[0027]。其技术领域(图像处理装置)、解决的技术问题(最小化数据损失、提高图像质量)以及技术手段(使用低分辨率图像作为训练集生成高分辨率图像)与目标专利高度一致。
* **其他对比文件**:D1和D2主要关注一般的视频超分辨率或RGB图像超分辨率,虽然也提到了CNN训练,但在处理“拜耳数据”这一具体原始数据格式的深度上不如D4具体。
#### 2. 特征公开情况分析
* **D4 (最接近对比文件)**:公开了特征A、C、D、E、F、G。特别是D4在[0014]中明确指出了可以使用Bayer images,并且通过学习网络模型[0027]进行处理。
* **剩余特征分析**:权利要求1中关于“处理器包括卷积神经网络”以及“第二拜耳数据输出至图像信号处理器(ISP)通过去马赛克生成RGB数据”这一流程,在目前的图像处理技术领域中属于常规设计选择。
* **关于特征H**:ISP的去马赛克功能是相机系统中的标准配置,将处理后的Bayer数据送入ISP进行后续处理(去马赛克、色彩校正等)是本领域的公知常识。
#### 3. 无效请求中最薄弱的技术特征
对于请求方而言,**权利要求1中最薄弱的技术特征是特征G和特征H的结合**:
* **原因**:特征G(训练集组成)在机器学习领域的图像处理专利中是标准做法(即使用成对的数据进行监督学习)。特征H(输出至ISP生成RGB)则是现有所有拜耳图像处理装置的必然动作。如果D4已经被用于评述,请求方只需证明“将深度学习处理后的拜耳数据送入后端ISP进行去马赛克”是本领域技术人员在处理原始图像数据时的惯用手段即可。
---
### 三、 进一步检索策略建议
为了更有效地发起无效请求,建议针对以下方向进行深化检索:
1. **特定领域检索**:搜索关键词“Bayer domain CNN SR”或“Bayer data Super Resolution ISP pipeline”。重点寻找在2015-2018年间发表的、公开了“在ISP前端使用CNN进行原始拜耳数据增强”的会议论文或学术文章。
2. **ISP管线集成检索**:检索涉及“Joint demosaicing and super-resolution using CNN”的内容。若能找到将去马赛克与超分辨率作为一个整体网络实现的文献,则可有力挑战目标专利在处理流程上的创造性。
3. **补充对比文件**:若D4在某些特征上不够直接,可结合**KR101791573B (D1)**,因为它明确提到了短迭代训练CNN,请求方可以尝试结合D4和D1,论证在拜耳数据处理中应用CNN超分辨率是显而易见的改进。
**结论**:权利要求1的创造性空间较小,核心技术点在现有技术(特别是D4)中已有广泛启示。建议侧重于论证“将深度学习应用于拜耳格式数据进行SR,并随后利用现有ISP去马赛克”属于本领域技术人员的显而易见的技术组合。
根据您的要求,作为专利代理师,我将针对【权利要求1.docx】中的权利要求1进行详细的技术特征分析,并结合对比文件进行创造性分析。
### 一、 权利要求技术特征解析
权利要求1保护一种图像处理装置,其核心逻辑在于利用卷积神经网络(CNN)对拜耳数据进行超分辨率(SR)处理,并将处理后的拜耳数据送入ISP进行后处理。
| 技术特征 | 详细说明 |
| 特征A | 图像处理装置包括图像传感器 |
| 特征B | 图像传感器配置为生成具有第一分辨率的第一拜耳数据 |
| 特征C | 装置包括处理器 |
| 特征D | 处理器配置为使用第一拜耳数据输出具有第二分辨率的第二拜耳数据 |
| 特征E | 处理器包括卷积神经网络 |
| 特征F | 卷积神经网络被训练用于上述的分辨率提升处理 |
| 特征G | 训练集包括第一、第二分辨率的拜耳数据;且第二拜耳数据被输出至ISP |
| 特征H | ISP通过去马赛克从第二拜耳数据生成RGB数据 |
---
### 二、 对比文件技术特征比对表
| 特征 | 目标专利 | D1 (KR1020180122548A) | D2 (KR1020190021756A) | D3 (US20190108618A1) | D4 (CN109658348A) |
| A-B | 图像传感器生成第一分辨率拜耳数据 | 公开(通过传感器移位或降采样获取低分辨率拜耳数据) | 公开(显示面板相关,非直接传感器端) | 公开(Bayer pattern RAW数据) | 公开(RAW数据/拜耳模式降采样) |
| C-D | 处理器输出第二分辨率拜耳数据 | 公开(通过像素位移或SR算法生成高分辨率) | 公开(通过插值和深度学习生成复原数据) | 公开(处理后生成输出图像) | 公开(基于深度学习估计噪声,辅助去噪) |
| E-F | 包含卷积神经网络(CNN)训练提升分辨率 | 公开(使用学习网络模型从低分辨率获得高分辨率) | 公开(人工神经网络,通过学习生成复原数据) | 公开(CNN用于ISP任务,包括多卷积层) | 公开(DnCNN去噪网络) |
| G-H | 第二拜耳数据输出至ISP,ISP去马赛克生成RGB | 未见明确描述 | 未明确描述(侧重面板显示补偿) | 未明确描述(倾向于直接生成RGB输出) | 未明确描述(侧重去噪而非超分重建) |
---
### 三、 创造性分析
#### 1. 最接近的对比文件认定
* **候选:** **D1**(KR1020180122548A)是进行超分辨率重建最直接的对比文件。
* **理由:** D1详细描述了从多幅低分辨率图像(或拜耳图像)重建高分辨率图像的算法与装置,其核心目的与目标专利的“超分辨率处理”高度重合。
#### 2. 区别特征分析
* **特征H(ISP去马赛克生成RGB):** 大多数现有技术(如D3)倾向于使用深度学习直接生成RGB图像,或如D1在算法端直接完成图像合成。
* **特征G(输出第二拜耳数据至ISP进行去马赛克):** 这是本专利的技术核心——**将CNN处理的对象限定为拜耳数据,且保持处理后数据仍为拜耳格式,将其作为ISP的输入**。
#### 3. 是否被其他文件公开
* **D2/D3/D4:** 虽然D3公开了使用CNN进行ISP处理,D4公开了利用拜耳模式降采样进行去噪,但均未明确提出“**将CNN处理后的高分辨率拜耳数据作为ISP去马赛克步骤的输入**”这一方案。
#### 4. 对无效请求方的薄弱点分析
* **最薄弱点:** **“第二拜耳数据输出至图像信号处理器(ISP)”的步骤。**
* **原因:** 本领域技术人员在看到D1(超分辨率)和D3(深度学习ISP)后,很容易产生“将CNN超分辨率模块插入ISP前端”的动机。由于D1已经公开了使用CNN实现SR,D3公开了CNN作为ISP处理单元,将SR输出作为ISP输入属于技术领域的常规逻辑整合,在创造性判断上可能面临较大挑战。
---
### 四、 进一步检索策略建议
为了更有效地评估该专利的稳定性或寻找无效证据,建议进行以下检索:
1. **关键词组合检索:**
* `Bayer super-resolution AND "image signal processor" AND "demosaic"`
* `"raw" super-resolution AND "CNN" AND ISP`
* `"deep learning" AND "bayer data" AND "output to ISP"`
2. **重点目标:**
* 关注2018-2023年间的专利申请,特别是来自头部相机模组厂(如Sony, Samsung, OmniVision)或顶级手机厂商(如Qualcomm, MediaTek, Apple)的ISP架构专利。这些专利往往会详细说明CNN在ISP流水线中的具体位置。
* 重点寻找公开了“CNN超分辨率模型”与“传统ISP流水线(ISP Pipeline)”结合的架构设计,特别是明确提到“Bayer-in-Bayer-out”的CNN模块结构。
根据您提供的权利要求文件和对比文件,我为您进行了详细的创造性分析,并对可能的无效请求策略进行了梳理。
### 一、 特征比对表
权利要求1的技术特征与对比文件1(CN109690628A)及对比文件2(US10776904B2)的特征比对如下:
| 技术特征 | 权利要求1特征描述 | 对比文件1 (CN109690628A) | 对比文件2 (US10776904B2) |
| A | 包括:图像传感器 | 公开(摄像头单元10/110) | 公开(图像处理装置100/110) |
| B | 图像传感器配置成生成具有第一分辨率的第一拜耳数据 | 公开([0072][0085]输出拜耳数据) | 公开([0014]拜耳图像) |
| C | 处理器 | 公开(图像产生单元20/200) | 公开(至少一个处理器[0016]) |
| D | 处理器配置成使用第一拜耳数据输出具有第二分辨率的第二拜耳数据 | 公开([0064]生成与接收图像分辨率不同的图像) | 公开([0006]获得高分辨率图像) |
| E | 处理器包括卷积神经网络 | 公开([0059]深度学习算法即卷积神经网络) | 公开([0027]学习网络模型) |
| F | 卷积神经网络训练成:使用第一拜耳数据输出第二拜耳数据 | 公开([0082]接收第一分辨率拜耳数据并生成第二分辨率拜耳数据) | 公开([0027]学习网络模型输出高分辨率图像) |
| G | 训练集包括第一分辨率第一拜耳数据和第二分辨率第二拜耳数据;且第二拜耳数据输出至ISP | 部分公开([0098]提及第一样本数据和第二样本数据训练,[0166]明确输出至ISP) | 部分公开([0014]处理拜耳图像,提及学习网络) |
| H | ISP通过执行去马赛克从第二拜耳数据生成RGB数据 | 公开([0069]去马赛克生成RGB数据) | 未明确记载后续ISP去马赛克生成RGB过程 |
### 二、 创造性分析
#### 1. 最接近的对比文件选择
**对比文件1 (CN109690628A)** 最适合作为最接近的对比文件。
* **技术领域与解决问题一致:** 对比文件1专门针对车载监控系统中利用深度学习算法从拜耳数据生成高分辨率图像,解决了现有技术在小芯片上实时实现高分辨率转换的问题,这与目标专利的技术背景和解决的技术问题高度重合。
* **技术架构高度相似:** 其公开的通过深度学习(CNN)处理拜耳数据、输出高分辨率拜耳数据、并将数据输出至后端处理的架构,涵盖了权利要求1的核心技术特征。
#### 2. 创造性评述
* **特征A-F:** 均已被对比文件1公开或实质公开。
* **特征G-H(差异点):** 权利要求1特别强调了“训练集包括具有第一分辨率的第一拜耳数据和具有第二分辨率的第二拜耳数据”以及“输出至图像信号处理器并通过执行去马赛克生成RGB数据”。
* **评价:** 对比文件1中已明确提到利用深度学习算法处理拜耳数据以实现超分辨率,并说明了该技术可与现有的ISP模块对接。将训练集明确为“第一分辨率拜耳数据+第二分辨率拜耳数据”属于深度学习实现超分辨率功能的固有逻辑;将输出数据送入ISP进行去马赛克处理也是本领域技术人员为了获取最终RGB显示图像的常规技术手段。因此,权利要求1在对比文件1的基础上结合常规设计选择,不具备突出的实质性特点和显著的进步。
### 三、 无效请求方的薄弱点分析
若提出无效请求,请求方最薄弱的技术特征是:**“用于将特定的拜耳数据作为深度学习输入,并明确指代其作为ISP去马赛克的前端预处理逻辑”**。
虽然特征G和H看似具体,但在现有技术中(如对比文件1和4),将深度学习处理后的原始拜耳数据送往ISP进行常规去马赛克是车载影像处理领域的通用做法。如果目标专利在说明书中没有详细描述该卷积神经网络的具体结构(如层数、权重初始化方法)或训练过程中的特定损失函数优化,仅宽泛地保护“CNN处理+送入ISP”,则极易被判定为常规功能改进。
### 四、 进一步检索策略
若要进一步挖掘更有力的证据,建议采取以下检索方向:
1. **特定网络结构的检索:** 针对目标专利说明书中提到的特定卷积神经网络(如RDN, RCAN等)的论文或公开申请。关注其在拜耳数据预处理中的应用。
2. **ISP与深度学习结合的专利:** 扩大检索范围至不仅限于车载系统,涵盖相机模块中的“Deep Learning-based Bayer Demosaicing”或“Joint Super-Resolution and Demosaicing”技术。
3. **技术方案细节对比:** 检索是否存在更早公开的、明确提及“利用低分辨率拜耳数据训练CNN以输出高分辨率拜耳数据并保持数据线性(Linearity)”的文献。这通常是此类技术方案的核心优势所在,若找到该先例,可极大提升无效概率。
4. **非专利文献:** 重点检索计算机视觉领域(如CVPR, ICCV等会议)关于Bayer domain Super-Resolution的论文,通常这类技术在专利公开前已有学术论述。
根据权利要求1所述的图像处理装置,其中,所述第二分辨率高于所述第一分辨率。
根据权利要求1所述的图像处理装置,其中,所述处理器包括:接收单元;所述接收单元被配置成接收所述第一拜耳数据;以及卷积神经网络;所述卷积神经网络被配置成:使用所述第一拜耳数据输出具有第二分辨率的第二拜耳数据。
根据权利要求1所述的图像处理装置,其中,所述处理器生成第一阵列数据;在所述第一阵列数据中,针对每个波长波段布置所述第一拜耳数据;并且所述处理器基于所述第一阵列数据生成第二阵列数据;所述第二阵列数据具有与所述第一阵列数据不同的分辨率。
根据权利要求4所述的图像处理装置,其中,所述处理器基于所述第二阵列数据生成所述第二拜耳数据。
根据权利要求4所述的图像处理装置,其中,所述处理器包括:第一数据对齐单元;所述第一数据对齐单元被配置成生成所述第一阵列数据;在所述第一阵列数据中,针对每个波长波段布置所述第一拜耳数据;以及第二数据对齐单元;所述第二数据对齐单元被配置成生成所述第二拜耳数据;在所述第二拜耳数据中,以拜耳图案布置所述第二阵列数据。
根据权利要求4所述的图像处理装置,其中,所述处理器包括:至少一个第一行缓存器;所述至少一个第一行缓存器被配置成针对每个行存储所述第一拜耳数据;第一数据对齐单元;所述第一数据对齐单元被配置成:接收从所述第一行缓存器输出并生成针对每个波长波段布置的第一阵列数据的信息;第二数据对齐单元;所述第二数据对齐单元被配置成生成所述第二拜耳数据,在所述第二拜耳数据中,以拜耳图案布置所述第二阵列数据;以及至少一个第二行缓存器;所述至少一个第二行缓存器被配置成:针对每个行存储从所述第二数据对齐单元输出的数据。