TWI725431B - 影像處理方法、電腦設備和可讀儲存媒體 - Google Patents

影像處理方法、電腦設備和可讀儲存媒體 Download PDF

Info

Publication number
TWI725431B
TWI725431B TW108117784A TW108117784A TWI725431B TW I725431 B TWI725431 B TW I725431B TW 108117784 A TW108117784 A TW 108117784A TW 108117784 A TW108117784 A TW 108117784A TW I725431 B TWI725431 B TW I725431B
Authority
TW
Taiwan
Prior art keywords
image
visible light
feature points
camera
depth
Prior art date
Application number
TW108117784A
Other languages
English (en)
Other versions
TW202001801A (zh
Inventor
張學勇
Original Assignee
大陸商Ｏｐｐｏ廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商Ｏｐｐｏ廣東移動通信有限公司 filed Critical 大陸商Ｏｐｐｏ廣東移動通信有限公司
Publication of TW202001801A publication Critical patent/TW202001801A/zh
Application granted granted Critical
Publication of TWI725431B publication Critical patent/TWI725431B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一種影像處理方法、圖像採集裝置、電腦設備和非易失性電腦可讀儲存媒體。影像處理方法包括：獲取當前場景的第一深度圖像；獲取當前場景的第一可見光圖像；獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域；去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像；去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像；及根據第二深度圖像與第二可見光圖像合成三維圖像。

Description

影像處理方法、電腦設備和可讀儲存媒體
本申請涉及影像處理領域，特別涉及一種影像處理方法、圖像採集裝置、電腦設備和非易失性電腦可讀儲存媒體。
[優先權訊息]
本申請請求2018年6月6日向中國國家智慧財產權局提交的、專利申請號為201810575109.6的專利申請的優先權和權益，並且通過參照將其全文併入此處。
目前，用於生成三維圖像的圖像採集裝置一般包括可見光攝像頭和紅外光(Infrared Radiation，IR）攝像頭，利用可見光攝像頭獲取可見光圖像，利用紅外光攝像頭獲取深度圖像，然後合成可見光圖像和深度圖像即可得到三維圖像。
本申請的實施方式提供了一種影像處理方法、圖像採集裝置、電腦設備和非易失性電腦可讀儲存媒體。
本申請實施方式的影像處理方法包括：獲取當前場景的第一深度圖像；獲取當前場景的第一可見光圖像；獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域；去除所述第一深度圖像的非重合區域以得到與所述重合區域對應的第二深度圖像；去除所述第二可見光圖像的非重合區域以得到與所述重合區域對應的第二可見光圖像；及根據所述第二深度圖像與所述第二可見光圖像合成三維圖像。
本申請實施方式的圖像採集裝置包括深度攝像模組、可見光攝像頭和處理器。所述深度攝像模組用於採集當前場景的第一深度圖像。所述可見光攝像頭用於採集當前場景的第一可見光圖像。所述處理器用於獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域、去除所述第一深度圖像的非重合區域以得到與所述重合區域對應的第二深度圖像、去除所述第二可見光圖像的非重合區域以得到與所述重合區域對應的第二可見光圖像、及根據所述第二深度圖像與所述第二可見光圖像合成三維圖像。
本申請實施方式的電腦設備包括記憶體及處理器，所述記憶體中儲存有電腦可讀指令，所述指令被所述處理器執行時，使得所述處理器執行以下影像處理步驟：獲取當前場景的第一深度圖像；獲取當前場景的第一可見光圖像；獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域；去除所述第一深度圖像的非重合區域以得到與所述重合區域對應的第二深度圖像；去除所述第二可見光圖像的非重合區域以得到與所述重合區域對應的第二可見光圖像；及根據所述第二深度圖像與所述第二可見光圖像合成三維圖像。
本申請實施方式的一個或多個包含電腦可執行指令的非易失性電腦可讀儲存媒體，當所述電腦可執行指令被一個或多個處理器執行時，使得所述處理器執行以下影像處理步驟：獲取當前場景的第一深度圖像；獲取當前場景的第一可見光圖像；獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域；去除所述第一深度圖像的非重合區域以得到與所述重合區域對應的第二深度圖像；去除所述第二可見光圖像的非重合區域以得到與所述重合區域對應的第二可見光圖像；及根據所述第二深度圖像與所述第二可見光圖像合成三維圖像。
本申請實施方式的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本申請的實踐瞭解到。
下面詳細描述本申請的實施方式，所述實施方式的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施方式是示例性的，旨在用於解釋本申請，而不能理解為對本申請的限制。
請參閱圖1，本申請實施方式的影像處理方法包括以下操作。011：獲取當前場景的第一深度圖像；012：獲取當前場景的第一可見光圖像；013：獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域；014：去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像；015：去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像；及016：根據第二深度圖像與第二可見光圖像合成三維圖像。
請參閱圖3和圖12，在某些實施方式中，影像處理方法應用於圖像採集裝置100，圖像採集裝置100包括可見光攝像頭30與紅外光攝像頭24，獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域是根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L來獲取的。
請參閱圖5，在某些實施方式中，步驟013包括：0131：提取第一深度圖像的邊界特徵點及全圖特徵點；0132：提取第一可見光圖像的邊界特徵點及全圖特徵點；及0133：匹配第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點並匹配第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點，以獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖3和圖13，在某些實施方式中，影像處理方法應用於圖像採集裝置100，圖像採集裝置100包括可見光攝像頭30與紅外光攝像頭24，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值。步驟013包括：0134：根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及預設距離L獲取第一深度圖像與第一可見光圖像的重合度；及0135：根據重合度和可見光攝像頭30與紅外光攝像頭24的相對位置來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖15，在某些實施方式中，影像處理方法應用於圖像採集裝置100，圖像採集裝置100包括可見光攝像頭30與紅外光攝像頭24，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值，根據重合度以及紅外光攝像頭24和可見光攝像頭30的相對位置確定第一深度圖像和第一可見光圖像進行特徵匹配的邊界。
請參閱圖3，本申請實施方式的圖像採集裝置100包括深度攝像模組20、可見光攝像頭30和處理器40。深度攝像模組20用於採集當前場景的第一深度圖像。可見光攝像頭30用於採集當前場景的第一可見光圖像。處理器40用於獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域、去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像、去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像、及根據第二深度圖像與第二可見光圖像合成三維圖像。
請參閱圖3和圖12，在某些實施方式中，深度攝像模組20包括紅外光攝像頭24，獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域是根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L來獲取的。
請參閱圖3，在某些實施方式中，處理器40還可用於提取第一深度圖像的邊界特徵點及全圖特徵點、提取第一可見光圖像的邊界特徵點及全圖特徵點、及匹配第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點並匹配第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點，以獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖3，在某些實施方式中，圖像採集裝置100包括可見光攝像頭30與紅外光攝像頭24，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值。處理器40還用於根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及預設距離L獲取第一深度圖像與第一可見光圖像的重合度、及根據重合度和可見光攝像頭30與紅外光攝像頭24的相對位置來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖15，在某些實施方式中，圖像採集裝置100包括可見光攝像頭30與紅外光攝像頭24，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值，根據重合度以及紅外光攝像頭24和可見光攝像頭30的相對位置確定第一深度圖像和第一可見光圖像進行特徵匹配的邊界。
請參閱圖1和圖17，本申請實施方式的電腦設備1000，包括記憶體80及處理器40，記憶體80中儲存有電腦可讀指令82，電腦可讀指令82被處理器40執行時，使得處理器40執行以下影像處理步驟：011：獲取當前場景的第一深度圖像；012：獲取當前場景的第一可見光圖像；013：獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域；014：去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像；015：去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像；及016：根據第二深度圖像與第二可見光圖像合成三維圖像。
請參閱圖4和圖12，在某些實施方式中，電腦設備1000還包括可見光攝像頭30與紅外光攝像頭24，獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域是根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L來獲取的。
請參閱圖5和17，在某些實施方式中，電腦可讀指令82被處理器40執行時，使得處理器40還執行以下步驟：0131：提取第一深度圖像的邊界特徵點及全圖特徵點；0132：提取第一可見光圖像的邊界特徵點及全圖特徵點；及0133：匹配第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點並匹配第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點，以獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖13和17，在某些實施方式中，電腦設備1000還包括可見光攝像頭30與紅外光攝像頭24，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值。電腦可讀指令82被處理器40執行時，使得處理器40還執行以下步驟：0134：根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及預設距離L獲取第一深度圖像與第一可見光圖像的重合度；及0135：根據重合度和可見光攝像頭30與紅外光攝像頭24的相對位置來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖15，在某些實施方式中，電腦設備1000還包括可見光攝像頭30與紅外光攝像頭24，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值，根據重合度以及紅外光攝像頭24和可見光攝像頭30的相對位置確定第一深度圖像和第一可見光圖像進行特徵匹配的邊界。
請參閱圖16，本申請的一個或多個非易失性電腦可讀儲存媒體200包含電腦可執行指令202，當電腦可執行指令202被一個或多個處理器40執行時，使得處理器40執行以下影像處理步驟：011：獲取當前場景的第一深度圖像；012：獲取當前場景的第一可見光圖像；013：獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域；014：去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像；015：去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像；及016：根據第二深度圖像與第二可見光圖像合成三維圖像。
請參閱圖4、圖12和圖16，在某些實施方式中，非易失性電腦可讀儲存媒體200應用於電腦設備1000，電腦設備1000包括可見光攝像頭30與紅外光攝像頭24，獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域是根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L來獲取的。
請參閱圖5和圖16，在某些實施方式中，當電腦可執行指令202被一個或多個處理器40執行時，使得處理器40還執行以下步驟：0131：提取第一深度圖像的邊界特徵點及全圖特徵點；0132：提取第一可見光圖像的邊界特徵點及全圖特徵點；及0133：匹配第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點並匹配第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點，以獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖4、圖13和圖16，在某些實施方式中，非易失性電腦可讀儲存媒體200應用於電腦設備1000，電腦設備1000包括可見光攝像頭30與紅外光攝像頭24，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值。當電腦可執行指令202被一個或多個處理器40執行時，使得處理器40還執行以下步驟：0134：根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及預設距離L獲取第一深度圖像與第一可見光圖像的重合度；及0135：根據重合度和可見光攝像頭30與紅外光攝像頭24的相對位置來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖15，在某些實施方式中，非易失性電腦可讀儲存媒體200應用於電腦設備1000，電腦設備1000包括可見光攝像頭30與紅外光攝像頭24，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值。根據重合度以及紅外光攝像頭24和可見光攝像頭30的相對位置確定第一深度圖像和第一可見光圖像進行特徵匹配的邊界。
請參閱圖1，本申請提供一種影像處理方法，影像處理方法包括：
011：獲取當前場景的第一深度圖像；
012：獲取當前場景的第一可見光圖像；
013：獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域；
014：去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像；
015：去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像；及
016：根據第二深度圖像與第二可見光圖像合成三維圖像。
請參閱圖2和圖3，本申請還提供一種影像處理裝置10。本實施方式中，影像處理裝置10應用於圖像採集裝置100，也即是說，圖像採集裝置100包括影像處理裝置10。在其他實施方式中，影像處理裝置10可以設置在電腦設備1000中。影像處理裝置10包括第一獲取模塊11、第二獲取模塊12、第三獲取模塊13、第一去除模塊14、第二去除模塊15和合成模塊16。第一獲取模塊11用於獲取第一深度圖像。第二獲取模塊12用於獲取第一可見光圖像。第三獲取模塊13用於獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。第一去除模塊14用於去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像。第二去除模塊15用於去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像。合成模塊16用於根據第二深度圖像與第二可見光圖像合成三維圖像。
請參閱圖3，本申請還提供一種圖像採集裝置100。圖像採集裝置100包括深度攝像模組20、可見光攝像頭30和處理器40。深度攝像模組20用於採集當前場景的第一深度圖像。可見光攝像頭30用於採集當前場景的第一可見光圖像。處理器40用於獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域、去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像、去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像、及根據第二深度圖像與第二可見光圖像合成三維圖像。
也即是說，步驟011可以由深度攝像模組20實現。步驟012可以由可見光攝像頭30實現。步驟013至步驟016可以由處理器40實現。
其中，圖像採集裝置100可以為前置的圖像採集裝置100，也可為後置的圖像採集裝置100。
具體地，三維圖像一般通過可見光圖像和深度圖像合成以生成，但因為可見光相機和紅外光（(Infrared Radiation，IR）相機安裝位置存在一定距離，導致可見光相機和紅外光相機的視場範圍存在不重合部分，可見光相機的視場範圍中與紅外光相機的視場範圍不重合的部分無法獲取到深度資訊，而紅外光相機視場範圍中與可見光相機的視場範圍不重合部分則無法獲取到可見光資訊，因此，在合成三維圖像時，不重合部分因為缺少相關資訊從而無法準確合成三維圖像，當可見光相機和紅外光相機之間的距離變大時，不重合部分變得更大從而嚴重影響三維圖像的合成。本實施方式中，圖像採集裝置100包括深度攝像模組20和可見光攝像頭30（對應可見光相機）。深度攝像模組20包括結構光投影器22和紅外光攝像頭24（對應紅外光相機）。結構光投影器22向目標場景中投射紅外光圖案。紅外光攝像頭24採集被目標物體調製後的紅外光圖案。處理器40採用圖像匹配演算法計算出該紅外光圖案的第一深度圖像。可見光攝像頭30用於獲取目標場景的第一可見光圖像，該可見光圖像包含目標場景中各物體的色彩資訊。處理器40將圖像採集裝置100採集到的第一深度圖像和第一可見光圖像進行處理以得到第一深度圖像和第一可見光圖像的重合區域以及非重合區域，並去除第一深度圖像的非重合區域以得到第二深度圖像，去除第一可見光圖像的非重合區域以得到第二可見光圖像，最後將第二深度圖像與第二可見光圖像進行合成以得到三維圖像。由於三維圖像僅通過合成位於重合區域的第二深度圖像和位於重合區域的第二可見光圖像生成，在合成時，第二深度圖像上任意位置均可以在第二可見光圖像中找到對應的色彩信息，同樣地，第二可見光圖像的任意位置均可在第二深度圖像中找到對應的深度資訊，所以合成的三維圖像不受可見光攝像頭30和紅外光攝像頭24的視場範圍內的非重合區域的影響。其中，重合區域指的是紅外光攝像頭24的視場範圍與可見光攝像頭30的視場範圍重疊的區域，也即是，深度圖像和可見光圖像中場景相同的區域。非重合區域包括可見光圖像的非重合區域及深度圖像的非重合區域，可見光圖像的非重合區域僅僅具有可見光攝像頭30的視場範圍內的場景，而不具有紅外光攝像頭24的視場範圍內的場景；深度圖像的非重合區域僅僅具有紅外光攝像頭24的視場範圍內的場景，而不具有可見光攝像頭30的視場範圍內的場景。
或者，在其他實施方式中，深度攝像模組20為TOF感測器模組20，圖像採集裝置100包括TOF感測器模組20和可見光攝像頭30。TOF感測器模組20包括雷射投影器22和紅外光攝像頭24。雷射投影器22向目標場景投射均勻光線，紅外光攝像頭24接收反射回的光線並記錄發射光線的時間點和接收光線的時間點，處理器40根據發射光線的時間點與接收光線的時間點之間的時間差和光速計算目標場景中物體對應的深度圖元值並合併多個深度圖元值得到第一深度圖像。可見光攝像頭30用於獲取目標場景的第一可見光圖像，該可見光圖像包含目標場景中各物體的彩色資訊。處理器40將圖像採集裝置100採集到的第一深度圖像和第一可見光圖像進行處理以得到第一深度圖像和第一可見光圖像的重合區域以及非重合區域，並去除第一深度圖像的非重合區域以得到第二深度圖像，去除第一可見光圖像的非重合區域以得到第二可見光圖像，最後將第二深度圖像與第二可見光圖像進行合成以得到三維圖像。
當然，上述第一深度圖像和第一可見光圖像可以不僅僅通過一幀圖像得到，還可以通過多幀深度圖像得到的第一深度圖像，多幀可見光圖像得到的第一可見光圖像。如此，得到更準確的深度圖像和可見光圖像。
請參閱圖4，本申請實施方式的圖像採集裝置100可以應用於本申請實施方式的電腦設備1000中，也即是說，本申請實施方式的電腦設備1000可以包括本申請實施方式的圖像採集裝置100。
在某些實施方式中，電腦設備1000包括手機、平板電腦、筆記型電腦、智慧手環、智慧手錶、智能頭盔、智能眼鏡等。本申請實施方式中，以電腦設備1000為手機為例進行說明。
本申請實施方式的影像處理方法、影像處理裝置10和圖像採集裝置100通過確定深度圖像和可見光圖像的重合部分，去除深度圖像和可見光圖像中的非重合部分，僅對重合部分進行三維圖像合成，避免了深度圖像和可見光圖像中的不重合部分對三維圖像合成的影響。
請參閱圖5，在某些實施方式中，步驟013包括：
0131：提取第一深度圖像的邊界特徵點及全圖特徵點；
0132：提取第一可見光圖像的邊界特徵點及全圖特徵點；及
0133：匹配第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點、及匹配第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點，以獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖6，在某些實施方式中，第三獲取模塊13還包括第一提取單元131、第二提取單元132和第一獲取單元133。第一提取單元131用於提取第一深度圖像的邊界特徵點及全圖特徵點。第二提取單元132用於提取第一可見光圖像的邊界特徵點及全圖特徵點。第一獲取單元133用於匹配第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點、及匹配第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點，以獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。
處理器40還可用於提取第一深度圖像的邊界特徵點及全圖特徵點、提取第一可見光圖像的邊界特徵點及全圖特徵點、及匹配第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點、及匹配第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點，以獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。
也即是說，步驟0131至步驟0133可以由處理器40實現。
具體的，視場角包括水平視場角α和垂直視場角β，水平視場角α和垂直視場角β確定了視場範圍。本申請實施方式以紅外光攝像頭24和可見光攝像頭30的垂直視場角β相同而水平視場角α不同進行說明。在紅外光攝像頭24和可見光攝像頭30的水平視場角α相同，垂直視場角β不同、以及紅外光攝像頭24和可見光攝像頭30的水平視場角和垂直視場角β均不同時原理類似，在此不再贅述。在確定重合區域和非重合區域時，通過提取第一深度圖像的邊界特徵點，然後將第一深度圖像的邊界特徵點與可見光圖像的全圖特徵點進行匹配，也就是找到可見光圖像中與深度圖像重合的區域；再通過提取可見光圖像的邊界特徵點，將可見光圖像的邊界特徵點與深度圖像的全圖特徵點進行匹配，找到深度圖像中與可見光圖像重合的區域，從而確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。例如，請參閱圖7和圖8，圖7為第一深度圖像，圖8為第一可見光圖像，因為垂直視場角相同，所以深度圖像的上下邊界和可見光圖像的上下邊界是重合的。第一深度圖像中的左邊界的特徵點為D、E、F，右邊界的特徵點為A、B、C。第一可見光圖像中的左邊界的特徵點為H、I、J，右邊界的特徵點為K、L、M。將第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點進行匹配，第一可見光圖像左邊界的特徵點H、I、J在第一深度圖像的全圖特徵點中的匹配特徵點為h、i、j，第一可見光圖像右邊界的特徵點在第一深度圖像的全圖特徵點中無匹配。如此，如圖9和圖10所示，可得到第一深度圖像的重合區域。將第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點進行匹配，第一深度圖像左邊界的特徵點在第一可見光圖像的全圖特徵點中無匹配，第一深度圖像的右邊界的特徵點A、B、C在第一可見光圖像的全圖特徵點中的匹配特徵點為a、b、c。如此，如圖9和圖11所示，可得到第一可見光圖像的重合區域。如此，根據特徵點的進行匹配準確的確定第一深度圖像和第一可見光圖像的重合區域，從而提高三維圖像合成的準確性。
請參閱圖12，在某些實施方式中，獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域是根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L來獲取的。
具體的，圖像採集裝置100在出廠時，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L就確定了，深度圖像和可見光圖像的重合區域及非重合區域大小與可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L存在對應關係。例如，在可見光攝像頭30的視場範圍及紅外光攝像頭24的視場範圍均不變時，隨著可見光攝像頭30與紅外光攝像頭24之間的預設距離L越來越大，深度圖像和可見光圖像的重合區域越來越小，而非重合區域越來越大；又例如，在可見光攝像頭30的視場範圍不變、可見光攝像頭30與紅外光攝像頭24之間的預設距離L不變時，隨著紅外光攝像頭24的視場範圍的增大，深度圖像和可見光圖像的重合區域也增大，而非重合區域則減小；再例如，在紅外光攝像頭24的視場範圍不變和可見光攝像頭30與紅外光攝像頭24之間的預設距離L不變時，隨著可見光攝像頭30的視場範圍的增大，深度圖像和可見光圖像的重合區域也增大，而非重合區域則減小。在可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L確定後，第一深度圖像與第一可見光圖像的重合區域及非重合區域即可確定。
如此，可以根據出廠時的可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍、及可見光攝像頭30與紅外光攝像頭24之間的預設距離L來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域的大小，演算法簡單，從而快速確定重合區域和非重合區域，提高三維圖像合成的速度。
請參閱圖13，在某些實施方式中，可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍、及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應，重合度為深度圖像與可見光圖像的重合區域占整個可見光圖像的比值。步驟013包括：
0134：根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍、及預設距離L獲取第一深度圖像與第一可見光圖像的重合度；及
0135：根據重合度和可見光攝像頭30與紅外光攝像頭24的相對位置來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。
請參閱圖14，第三獲取模塊13還包括第二獲取單元134和第三獲取單元135。第二獲取單元134用於根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍、及預設距離L獲取第一深度圖像與第一可見光圖像的重合度。第三獲取單元135用於根據重合度和可見光攝像頭30與紅外光攝像頭24的相對位置來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。
處理器40還可用於根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍、及預設距離L獲取第一深度圖像與第一可見光圖像的重合度；及根據重合度和可見光攝像頭30與紅外光攝像頭24的相對位置來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。
也即是說，步驟0134和步驟0135可以由處理器40實現。
具體的，如圖15，在圖像採集裝置100出廠時，根據圖像採集裝置100的可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍及可見光攝像頭30與紅外光攝像頭24之間的預設距離L與預設的重合度一一對應關係，就可以準確地確定一個預設的重合度。在確定了重合度後，根據重合度、可見光攝像頭30的視場範圍（由於可見光攝像頭30的垂直視場角與紅外光攝像頭24的垂直視場角相同，即為可見光攝像頭30的水平視場角）和紅外光攝像頭24的視場範圍（由於可見光攝像頭30的垂直視場角與紅外光攝像頭24的垂直視場角相同，即為紅外光攝像頭24的水平視場角）的比值計算重合區域占第一深度圖像的比例，最後根據可見光攝像頭30和紅外光攝像頭24的相對位置確定重合區域在第一可見光圖像和第一深度圖像中所處的位置，最終確定第一可見光圖像和第一深度圖像的重合區域以及非重合區域。在一個例子中，可見光攝像頭30與紅外光攝像頭24的預設距離L為20CM時，可見光攝像頭30的水平視場角為40度，紅外光攝像頭24的水平視場角為50度，則可以確定重合度，例如重合度為65%，在確定了重合度後，根據重合度、可見光攝像頭30的水平視場角和紅外光攝像頭24的水平視場角計算重合區域占第一深度圖像的比例即40*65%/50=52%，然後根據紅外光攝像頭24與可見光攝像頭30的相對位置，如圖15，紅外光攝像頭24在可見光攝像頭30的左側，則第一深度圖像從右往左的52%的區域為第一深度圖像的重合區域，第一可見光圖像從左往右的65%的區域為第一可見光圖像的重合區域。如此，可以快速準確的確定第一可見光圖像和第一深度圖像的重合區域和非重合區域。
請繼續參閱圖15，在某些實施方式中，根據重合度以及紅外光攝像頭24和可見光攝像頭30的相對位置確定第一深度圖像和第一可見光圖像進行特徵匹配的邊界。
具體的，在一個例子中，紅外光攝像頭24的垂直視場角和可見光攝像頭30的垂直視場角相等，紅外光攝像頭24位於可見光攝像頭30的左側，重合度小於100%（即第一深度圖像和第一可見光圖像均存在重合區域和非重合區域，如圖15），例如重合度為65%，此時，第一深度圖像左邊界位於非重合區域，第一可見光圖像的右邊界位於非重合區域，無需進行特徵匹配。只需要對第一深度圖像的右邊界與第一可見光圖像進行特徵匹配，對第一可見光圖像的左邊界和深度圖像進行特徵匹配，從而得到第一深度圖像與第一可見光圖像的重合區域及非重合區域。同理，在紅外光攝像頭24位於可見光攝像頭30的右側時，只需要對第一深度圖像的左邊界與第一可見光圖像進行特徵匹配，對第一可見光圖像的右邊界與第一深度圖像進行特徵匹配即可。如此，無需對第一深度圖像和第一可見光圖像的所有邊界都進行特徵匹配，減少運算量提高影像處理速度。
請結合圖16，本申請實施方式還提供了一種電腦可讀儲存媒體200，電腦可讀儲存媒體200應用於電腦設備1000。一個或多個非易失性電腦可讀儲存媒體200包含電腦可執行指令202，當電腦可執行指令202被一個或多個處理器40執行時，使得處理器40執行上述任一實施方式的影像處理方法，例如執行步驟011：獲取當前場景的第一深度圖像；012：獲取當前場景的第一可見光圖像；013：獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域；014：去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像；015：去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像；及016：根據第二深度圖像與第二可見光圖像合成三維圖像。
請參閱圖17，本申請實施方式提供一種電腦設備1000。電腦設備1000可以是手機、平板電腦、智慧手錶、智慧手環、智慧穿戴設備等，在本申請實施方式中，以電腦設備1000是手機為例進行說明，可以理解，電腦設備1000的具體形式並不限於手機。電腦設備1000包括結構光投影器22、紅外光攝像頭24、可見光攝像頭30、紅外線補光燈70、處理器40及記憶體80。其中，處理器40包括微處理器42及應用處理器（Application Processor，AP）44。
目標物體的可見光圖像可以由可見光攝像頭30採集，可見光攝像頭30可通過積體電路（Inter-Integrated Circuit, I2C）匯流排60、行動產業處理器介面（Mobile Industry Processor Interface，MIPI）32與應用處理器44連接。應用處理器44可用於使能可見光攝像頭30、關閉可見光攝像頭30或重置可見光攝像頭30。可見光攝像頭30可用於採集彩色圖像，應用處理器44通過行動產業處理器介面32從可見光攝像頭30中獲取彩色圖像，並將該彩色圖像存入非可信執行環境（Rich Execution Environment，REE）444中。
目標物體的紅外圖像可以由紅外光攝像頭24採集，紅外光攝像頭24可以與應用處理器44連接，應用處理器44可用於控制紅外光攝像頭24的電源啟閉、關閉（pwdn）紅外光攝像頭24或重置（reset）紅外光攝像頭24；同時，紅外光攝像頭24還可以與微處理器42連接，微處理器42與紅外光攝像頭24可以通過積體電路匯流排60連接，微處理器42可以給紅外光攝像頭24提供採集紅外圖像的時鐘信號，紅外光攝像頭24採集的紅外圖像可以通過行動產業處理器介面422傳輸到微處理器42中。紅外線補光燈70可用於向外發射紅外光，紅外光被用戶反射後被紅外光攝像頭24接收，紅外線補光燈70與應用處理器44可以通過積體電路匯流排60連接，應用處理器44可用於使能紅外線補光燈70，紅外線補光燈70還可以與微處理器42連接，具體地，紅外線補光燈70可以連接在微處理器42的脈衝寬度調製介面（Pulse Width Modulation，PWM）424上。
結構光投影器22可向目標物體投射雷射。結構光投影器22可以與應用處理器44連接，應用處理器44可用於使能結構光投影器22並通過積體電路匯流排60連接；結構光投影器22還可以與微處理器42連接，具體地，結構光投影器22可以連接在微處理器42的脈衝寬度調製介面424上。
微處理器42可以是處理晶片，微處理器42與應用處理器44連接，具體地，應用處理器44可用於重置微處理器42、喚醒（wake）微處理器42、糾錯（debug）微處理器42等，微處理器42可通過行動產業處理器介面422與應用處理器44連接，具體地，微處理器42通過行動產業處理器介面422與應用處理器44的可信執行環境（Trusted Execution Environment，TEE）442連接，以將微處理器42中的資料直接傳輸到可信執行環境442中儲存。其中，可信執行環境442中的代碼和記憶體區域都是受存取控制單元控制的，不能被非可信執行環境444中的程式所訪問，可信執行環境442和非可信執行環境444均可以形成在應用處理器44中。
微處理器42可以通過接收紅外光攝像頭24採集的紅外圖像以獲取紅外圖像，微處理器42可將該紅外圖像通過行動產業處理器介面422傳輸至可信執行環境442中，從微處理器42中輸出的紅外圖像不會進入到應用處理器44的非可信執行環境444中，而使得該紅外圖像不會被其他程式獲取，提高電腦設備1000的資訊安全性。儲存在可信執行環境442中的紅外圖像可作為紅外範本。
微處理器42控制結構光投影器22向目標物體投射雷射後，還可以控制紅外光攝像頭24採集由目標物體調製後的雷射圖案，微處理器42再通過行動產業處理器介面422獲取該雷射圖案。微處理器42處理該雷射圖案以得到深度圖像，具體地，微處理器42中可以儲存有結構光投影器22投射的雷射的標定資訊，微處理器42通過處理雷射圖案與該標定資訊得到目標物體不同位置的深度資訊並形成深度圖像。得到深度圖像後，再通過行動產業處理器介面422傳輸至可信執行環境442中。儲存在可信執行環境442中的深度圖像可作為深度範本。
電腦設備1000中，將獲取得到的紅外範本和深度範本均儲存在可信執行環境442中，在可信執行環境442中的驗證範本不易被篡改和盜用，電腦設備1000內的資訊的安全性較高。
在一個例子中，微處理器42與應用處理器44可以為兩個彼此互相獨立的單體結構；在另一個例子中，微處理器42與應用處理器44可以集成為一個單體結構，以形成一個處理器40。
運用圖17中的處理器40可實現上述任一實施方式的影像處理方法。例如，處理器40可用於執行以下步驟：011：獲取當前場景的第一深度圖像；012：獲取當前場景的第一可見光圖像；013：獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域；014：去除第一深度圖像的非重合區域以得到與重合區域對應的第二深度圖像；015：去除第二可見光圖像的非重合區域以得到與重合區域對應的第二可見光圖像；及016：根據第二深度圖像與第二可見光圖像合成三維圖像。再例如，運用圖17中的處理器40還可實現：0131：提取第一深度圖像的邊界特徵點及全圖特徵點；0132：提取第一可見光圖像的邊界特徵點及全圖特徵點；及0133：匹配第一深度圖像的邊界特徵點與第一可見光圖像的全圖特徵點、及匹配第一可見光圖像的邊界特徵點與第一深度圖像的全圖特徵點，以獲取第一深度圖像與第一可見光圖像的重合區域及非重合區域。再例如，運用圖17中的處理器40還可實現：0134：根據可見光攝像頭30的視場範圍、紅外光攝像頭24的視場範圍、及預設距離L獲取第一深度圖像與第一可見光圖像的重合度、及0135：根據重合度和可見光攝像頭30與紅外光攝像頭24的相對位置來確定第一深度圖像與第一可見光圖像的重合區域及非重合區域。
記憶體80與微處理器42和應用處理器44均連接。記憶體80中儲存有電腦可讀指令82，電腦可讀指令82被處理器40執行時，處理器40執行上述任一實施方式的影像處理方法。具體地，微處理器42可用於執行步驟011中的方法，應用處理器44用於執行步驟011、012、013、014、015、016、0131、0132、0133、0134、0135中的方法。或者，微處理器42可用於執行步驟011、012、013、014、015、016、0131、0132、0133、0134、0135中的方法。或者，微處理器42可用於執行步驟011、012、013、014、015、016、0131、0132、0133、0134、0135中至少一個的方法，應用處理器44用於執行步驟011、012、013、014、015、016、0131、0132、0133、0134、0135中剩餘步驟的方法。
本申請實施方式的非易失性電腦可讀儲存媒體200和電腦設備1000通過確定深度圖像和可見光圖像的重合部分，去除深度圖像和可見光圖像中的非重合部分，僅對重合部分進行三維圖像合成，避免了深度圖像和可見光圖像中的不重合部分對三維圖像合成的影響。
儘管上面已經示出和描述了本申請的實施方式，可以理解的是，上述實施方式是示例性的，不能理解為對本申請的限制，本領域的普通技術人員在本申請的範圍內可以對上述實施方式進行變化、修改、替換和變型，本申請的範圍由權利要求及其等同物限定。
011-016‧‧‧步驟 0131、0132、0133、0134、0135‧‧‧步驟 10‧‧‧影像處理裝置 11‧‧‧第一獲取模塊 12‧‧‧第二獲取模塊 13‧‧‧第三獲取模塊 14‧‧‧第一去除模塊 15‧‧‧第二去除模塊 16‧‧‧合成模塊 20‧‧‧深度攝像模組 22‧‧‧結構光投影器 24‧‧‧紅外光攝像頭 30‧‧‧可見光攝像頭 32‧‧‧行動產業處理器介面 40‧‧‧處理器 42‧‧‧微處理器 44‧‧‧應用處理器 60‧‧‧積體電路匯流排 70‧‧‧紅外線補光燈 82‧‧‧電腦可讀指令 80‧‧‧記憶體 100‧‧‧圖像採集裝置 131‧‧‧第一提取單元 132‧‧‧第二提取單元 133‧‧‧第一獲取單元 134‧‧‧第二獲取單元 135‧‧‧第三獲取單元 200‧‧‧電腦可讀儲存媒體 202‧‧‧電腦可執行指令 422‧‧‧行動產業處理器介面 442‧‧‧可信執行環境 444‧‧‧非可信執行環境 424‧‧‧脈衝寬度調製介面 1000‧‧‧電腦設備 A、B、C、D、E、F、H、I、J、K、L、M、a、b、c、h、i、j‧‧‧特徵點 L‧‧‧距離 α‧‧‧水平視場角 β‧‧‧垂直視場角
本申請的上述和/或附加的方面和優點可以從結合下面附圖對實施方式的描述中將變得明顯和容易理解，其中： 圖1是本申請某些實施方式的影像處理方法的流程示意圖。 圖2是本申請某些實施方式的影像處理裝置的模組示意圖。 圖3是本申請某些實施方式的圖像採集裝置的結構示意圖。 圖4是本申請某些實施方式的電腦設備的結構示意圖。 圖5是本申請某些實施方式的影像處理方法的流程示意圖。 圖6是本申請某些實施方式的影像處理裝置的模組示意圖。 圖7是本申請某些實施方式的影像處理方法的原理示意圖。 圖8是本申請某些實施方式的影像處理方法的原理示意圖。 圖9是本申請某些實施方式的影像處理方法的原理示意圖。 圖10是本申請某些實施方式的影像處理方法的原理示意圖。 圖11是本申請某些實施方式的影像處理方法的原理示意圖。 圖12是本申請某些實施方式的影像處理方法的原理示意圖。 圖13是本申請某些實施方式的影像處理方法的流程示意圖。 圖14是本申請某些實施方式的影像處理裝置的模組示意圖。 圖15是本申請某些實施方式的影像處理方法的原理示意圖。 圖16是本申請實施方式的電腦可讀儲存媒體和處理器的模組示意圖。 圖17是本申請實施方式的電腦設備的模組示意圖。
011-016‧‧‧步驟

Claims (3)

  1. 一種影像處理方法，所述影像處理方法包括：獲取當前場景的第一深度圖像；獲取當前場景的第一可見光圖像；獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域；去除所述第一深度圖像的非重合區域以得到與所述重合區域對應的第二深度圖像；去除所述第一可見光圖像的非重合區域以得到與所述重合區域對應的第二可見光圖像；及根據所述第二深度圖像與所述第二可見光圖像合成三維圖像；所述獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域包括：提取所述第一深度圖像的邊界特徵點及全圖特徵點；提取所述第一可見光圖像的邊界特徵點及全圖特徵點；及匹配所述第一深度圖像的邊界特徵點與所述第一可見光圖像的全圖特徵點，並匹配所述第一可見光圖像的邊界特徵點與所述第一深度圖像的全圖特徵點，以獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域；其中，邊界特徵點為圖像的邊界上的特徵點，全圖特徵點為圖像所在範圍內的特徵點，其中所述影像處理方法應用於圖像採集裝置，所述圖像採集裝置包括可見光攝像頭與紅外光攝像頭，所述可見光攝像頭的視場範圍、所述紅外光攝像頭的視場範圍及所述可見光攝像頭與所述紅外光攝像頭之間的預設距離與預設的重合度一一對應，所述重合度為所述深度圖像與所述可見光圖像的重合區域占整個所述可見光圖像的比值，根據所述重合度以及所述紅外光攝像頭和所述可見光攝像頭的相對位置確定所述第一深度圖像和所述第一可見光圖像進行特徵匹配的邊界。
  2. 一種電腦設備，包括記憶體及處理器，所述記憶體中儲存有電腦可讀指令，所述電腦可讀指令被所述處理器執行時，使得所述處理器執行以下影像處理步驟：獲取當前場景的第一深度圖像；獲取當前場景的第一可見光圖像；獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域；去除所述第一深度圖像的非重合區域以得到與所述重合區域對應的第二深度圖像；去除所述第一可見光圖像的非重合區域以得到與所述重合區域對應的第二可見光圖像；及根據所述第二深度圖像與所述第二可見光圖像合成三維圖像；所述電腦可讀指令被所述處理器執行時，使得所述處理器還執行以下影像處理步驟：提取所述第一深度圖像的邊界特徵點及全圖特徵點；提取所述第一可見光圖像的邊界特徵點及全圖特徵點；及匹配所述第一深度圖像的邊界特徵點與所述第一可見光圖像的全圖特徵點，並匹配所述第一可見光圖像的邊界特徵點與所述第一深度圖像的全圖特徵點，以獲取所述第一深度圖像與所述第一可見光圖像的重合區域及非重合區域；其中，邊界特徵點為圖像的邊界上的特徵點，全圖特徵點為圖像所在範圍內的特徵點，其中所述電腦設備還包括可見光攝像頭與紅外光攝像頭，所述可見光攝像頭的視場範圍、所述紅外光攝像頭的視場範圍及所述可見光攝像頭與所述紅外光攝像頭之間的預設距離與預設的重合度一一對應，所述重合度為所述深度圖像與所述可見光圖像的重合區域占整個所述可見光圖像的比值，根據所述重合度以及所述紅外光攝像頭和所述可見光攝像頭的相對位置確定所述第一深度圖像和所述第一可見光圖像進行特徵匹配的邊界。
  3. 一個或多個包含電腦可執行指令的非易失性電腦可讀儲存媒體，當所述電腦可執行指令被一個或多個處理器執行時，使得所述處理器執行根據申請專利範圍第1項中所述的影像處理方法。
TW108117784A 2018-06-06 2019-05-23 影像處理方法、電腦設備和可讀儲存媒體 TWI725431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810575109.6 2018-06-06
CN201810575109.6A CN108961195B (zh) 2018-06-06 2018-06-06 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
TW202001801A TW202001801A (zh) 2020-01-01
TWI725431B true TWI725431B (zh) 2021-04-21

Family

ID=64493532

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108117784A TWI725431B (zh) 2018-06-06 2019-05-23 影像處理方法、電腦設備和可讀儲存媒體

Country Status (5)

Country Link
US (1) US11019325B2 (zh)
EP (1) EP3579179A1 (zh)
CN (1) CN108961195B (zh)
TW (1) TWI725431B (zh)
WO (1) WO2019233125A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961195B (zh) 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
CN109194869A (zh) * 2018-10-09 2019-01-11 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN113033258B (zh) * 2019-12-24 2024-05-28 百度国际科技（深圳）有限公司 一种图像特征提取方法、装置、设备和存储介质
CN111402344A (zh) * 2020-04-23 2020-07-10 Oppo广东移动通信有限公司 标定方法、标定装置和非易失性计算机可读存储介质
TWI767468B (zh) * 2020-09-04 2022-06-11 聚晶半導體股份有限公司 雙感測器攝像系統及其攝像方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW533355B (en) * 1998-06-30 2003-05-21 Intel Corp Method and apparatus for capturing stereoscopic images using image sensors
US20150281678A1 (en) * 2014-03-25 2015-10-01 Samsung Electronics Co., Ltd. Image generating device, 3d image display system having the same and control methods thereof
TW201539105A (zh) * 2014-04-09 2015-10-16 Omnivision Tech Inc 組合式可見光及非可見光投影系統
US20170195655A1 (en) * 2014-10-28 2017-07-06 SZ DJI Technology Co., Ltd. Rgb-d imaging system and method using ultrasonic depth sensing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111598B (zh) * 2014-12-19 2020-09-15 深圳市大疆创新科技有限公司 使用超声深度感测的光流成像系统以及方法
CN104539928B (zh) 2015-01-05 2016-08-24 武汉大学 一种光栅立体印刷图像合成方法
US9953403B2 (en) * 2016-06-10 2018-04-24 The Boeing Company Stereoscopic camera and associated method of varying a scale of a stereoscopic image pair
CN108961195B (zh) * 2018-06-06 2021-03-23 Oppo广东移动通信有限公司 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW533355B (en) * 1998-06-30 2003-05-21 Intel Corp Method and apparatus for capturing stereoscopic images using image sensors
US20150281678A1 (en) * 2014-03-25 2015-10-01 Samsung Electronics Co., Ltd. Image generating device, 3d image display system having the same and control methods thereof
TW201539105A (zh) * 2014-04-09 2015-10-16 Omnivision Tech Inc 組合式可見光及非可見光投影系統
US20170195655A1 (en) * 2014-10-28 2017-07-06 SZ DJI Technology Co., Ltd. Rgb-d imaging system and method using ultrasonic depth sensing

Also Published As

Publication number Publication date
WO2019233125A1 (zh) 2019-12-12
TW202001801A (zh) 2020-01-01
CN108961195A (zh) 2018-12-07
EP3579179A1 (en) 2019-12-11
CN108961195B (zh) 2021-03-23
US11019325B2 (en) 2021-05-25
US20190379880A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
TWI725431B (zh) 影像處理方法、電腦設備和可讀儲存媒體
US11265526B2 (en) Methods for automatic registration of 3D image data
JP7139452B2 (ja) 画像処理方法、コンピュータ可読記憶媒体、および電子機器
CN108307675B (zh) 用于vr/ar应用中的深度增强的多基线相机阵列系统架构
EP3614659B1 (en) Image processing method, electronic apparatus, and computer-readable storage medium
US20170059305A1 (en) Active illumination for enhanced depth map generation
WO2019233106A1 (zh) 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
CN109040591B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
TW202008780A (zh) 擴增實境系統及其色彩補償方法
US20170374331A1 (en) Auto keystone correction and auto focus adjustment
TWI709110B (zh) 攝像頭校準方法和裝置、電子設備
WO2016206004A1 (zh) 一种获取深度信息的拍照设备和方法
CN101795375A (zh) 投影显示装置及投影控制方法
EP3745195A1 (en) Depth cameras, electronic devices, and methods for image acquisition
CN115049738A (zh) 人与相机之间距离的估计方法及系统
CN115702439A (zh) 用于分离相机的双系统光学对准
TW202008214A (zh) 影像處理方法、電子設備、電腦可讀儲存媒體
WO2019233169A1 (zh) 图像处理方法和装置、电子装置、计算机设备和存储介质
WO2020087204A1 (zh) 显示屏操作方法、电子设备、可读存储介质
WO2020087486A1 (zh) 深度图像处理方法、深度图像处理装置和电子装置
CN117934783B (zh) 增强现实投影方法、装置、ar眼镜及存储介质
CN109660732B (zh) 电子设备和移动平台
US20240153291A1 (en) Method, apparatus and system for auto-labeling
CA3131155C (en) Floor-type golf ball detection method, system and storage medium