TWI668670B - 深度圖產生裝置 - Google Patents

深度圖產生裝置 Download PDF

Info

Publication number
TWI668670B
TWI668670B TW107100572A TW107100572A TWI668670B TW I668670 B TWI668670 B TW I668670B TW 107100572 A TW107100572 A TW 107100572A TW 107100572 A TW107100572 A TW 107100572A TW I668670 B TWI668670 B TW I668670B
Authority
TW
Taiwan
Prior art keywords
depth map
depth
generator
processor
image
Prior art date
Application number
TW107100572A
Other languages
English (en)
Other versions
TW201826223A (zh
Inventor
吳炳松
謝宏業
陳志高
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201826223A publication Critical patent/TW201826223A/zh
Application granted granted Critical
Publication of TWI668670B publication Critical patent/TWI668670B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

深度圖產生裝置包含複數個影像擷取對、一深度圖產生模組和一處理器。該深度圖產生模組耦接於該複數個影像擷取對，用以根據該複數個影像擷取對所擷取的影像對，產生對應該複數個影像擷取對的複數個深度圖。該處理器耦接於該深度圖產生模組，用以選擇性地輸出該複數個深度圖中的一深度圖，或該複數個深度圖中的部分或全部所組成的一融合深度圖。

Description

深度圖產生裝置
本發明是有關於一種深度圖產生裝置，尤指一種可提供具有較大工作範圍的深度圖的深度圖產生裝置。
在現有技術中，一深度圖產生裝置是利用其所包含的一第一影像擷取器(例如一左眼影像擷取器)和一第二影像擷取器(例如一右眼影像擷取器)所擷取的一第一影像(例如一左眼影像)和一第二影像(例如一右眼影像)產生包含一感興趣物件的深度圖。因為該第一影像擷取器和該第二影像擷取器之間具有一基線，所以該深度圖具有一對應的工作範圍(也就是該深度圖的有效區)。因此，當該感興趣物件任意移動時，該感興趣物件有可能移動至該對應的工作範圍外(也就是該深度圖的無效區)，導致該深度圖產生裝置無法輸出對應該感興趣物件的深度。因此，如何使該深度圖產生裝置根據該感興趣物件移動而動態改變對應該深度圖產生裝置所產生的深度圖的工作範圍，或根據該感興趣物件移動產生一具有較大工作範圍的深度圖成為一項重要課題。
本發明的一實施例提供一種深度圖產生裝置。該深度圖產生裝置包含複數個影像擷取對、一深度圖產生模組和一處理器。該深度圖產生模組耦接 於該複數個影像擷取對，用以根據該複數個影像擷取對所擷取的影像對，產生對應該複數個影像擷取對的複數個深度圖。該處理器耦接於該深度圖產生模組，用以選擇性地輸出該複數個深度圖中的一深度圖，或該複數個深度圖中的部分或全部所組成的一融合深度圖。
本發明的另一實施例提供一種深度圖產生裝置。該深度圖產生裝置包含複數個影像擷取對、一深度圖產生模組和一處理器。該深度圖產生模組耦接於該複數個影像擷取對，用以根據該複數個影像擷取對所擷取的影像對，產生對應該複數個影像擷取對的複數個深度圖。該處理器耦接於該深度圖產生模組，用以選擇性地輸出該複數個深度圖中的一深度圖。
本發明的另一實施例提供一種深度圖產生裝置。該深度圖產生裝置包含複數個影像擷取對、一深度圖產生模組和一處理器。該深度圖產生模組耦接於該複數個影像擷取對，用以根據該複數個影像擷取對所擷取的影像對，產生對應該複數個影像擷取對的複數個深度圖。該處理器耦接於該深度圖產生模組，用以輸出該複數個深度圖中的部分或全部所組成的一融合深度圖。
本發明的另一實施例提供一種深度圖產生裝置。該深度圖產生裝置包含複數個深度圖產生器。該複數個深度圖產生器包含一組主深度圖產生器和一組從深度圖產生器。該組從深度圖產生器中的一從深度圖產生器和該組主深度圖產生器中的一對應的主深度圖產生器形成一主從對，用以分別接收該深度圖產生模組外的二影像擷取對所擷取的影像對並據以產生一第一深度圖和一第二深度圖，其中該從深度圖產生器傳送該第一深度圖至該對應的主深度圖產生器，且該對應的主深度圖產生器輸出該第一深度圖或該第二深度圖。
本發明提供一種深度圖產生裝置。該深度圖產生裝置可根據一感興 趣物件(或至少一感興趣物件)的深度，選擇性地輸出該深度圖產生裝置所產生的複數個深度圖中的一深度圖，或該複數個深度圖中的部分或全部所組成的一融合深度圖，所以相較於現有技術，本發明可根據該感興趣物件移動而動態改變對應該深度圖產生裝置所產生的深度圖的工作範圍，或可根據該感興趣物件移動產生一具有較大工作範圍的深度圖。
100、300、700、900、1000、1100、1200‧‧‧深度圖產生裝置
102、1004、1108、1208‧‧‧處理器
104‧‧‧資料匯流排
106、108‧‧‧控制匯流排
1021-102n‧‧‧第一處理器
1002‧‧‧深度圖產生模組
1102‧‧‧切換電路
1104、1201-120n‧‧‧影像處理及校正電路
702‧‧‧集線器
902‧‧‧第二處理器
BL1‧‧‧第一基線
BL2‧‧‧第二基線
BL3‧‧‧第三基線
BL4‧‧‧第四基線
C1-Cm‧‧‧影像擷取器
DM1-DMn、DS1-DSn‧‧‧深度圖
D1-D3‧‧‧距離
ER‧‧‧準確範圍
HD‧‧‧水平方向
IL1、IR1、IL2、IR2、IR3、IR4、ILm、IRm‧‧‧影像
ICR‧‧‧影像擷取範圍
L1-Lm‧‧‧第一影像擷取器
M1-Mn、S1-Sn、1106、12021-1202n‧‧‧深度圖產生器
NR‧‧‧無效範圍
OB1-OB3‧‧‧感興趣物件
R1-Rm‧‧‧第二影像擷取器
SYN‧‧‧時間對準信號
T1、T2、Tn、Tn+1‧‧‧時間點
VD‧‧‧垂直方向
WR‧‧‧弱範圍
第1圖是本發明的一第一實施例所公開的一種深度圖產生裝置的示意圖。
第2圖是舉例說明深度圖的無效範圍、準確範圍和弱範圍的示意圖。
第3圖是本發明的一第二實施例所公開的一種深度圖產生裝置的示意圖。
第4圖是說明深度圖產生裝置的m個影像擷取對具有水平排列結構。
第5圖是說明深度圖產生裝置的m個影像擷取對具有垂直排列結構。
第6圖是說明深度圖產生裝置的m個影像擷取對具有環狀(ring)排列結構。
第7圖是本發明的一第三實施例所公開的一種深度圖產生裝置的示意圖。
第8圖是說明處理器於一時間點只輸出深度圖產生器所輸出的一深度圖的示意圖。
第9圖是本發明的一第四實施例所公開的一種深度圖產生裝置的示意圖。
第10圖是本發明的一第五實施例所公開的一種深度圖產生裝置的示意圖。
第11圖是本發明的一第六實施例所公開的一種深度圖產生裝置的示意圖。
第12圖是本發明的一第七實施例所公開的一種深度圖產生裝置的示意圖。
請參照第1圖，第1圖是本發明的一第一實施例所公開的一種深度圖產生裝置100的示意圖。如第1圖所示，深度圖產生裝置100包含一第一影像擷取器L1，4個第二影像擷取器R1-R4，4個深度圖產生器M1、S1、M2、S2和一處理器102，其中深度圖產生器M1、M2是主(master)深度圖產生器，深度圖產生器S1、S2是從(slave)深度圖產生器。但本發明並不受限於深度圖產生裝置100只包含4個第二影像擷取器R1-R4，也就是說深度圖產生裝置100可包含複數個第二影像擷取器。如第1圖所示，第一影像擷取器L1分別和第二影像擷取器R1-R4中的每一第二影像擷取器形成一影像擷取對。例如第一影像擷取器L1分別和第二影像擷取器R1-R4形成一第一影像擷取對(L1、R1)、一第二影像擷取對(L1、R2)、一第三影像擷取對(L1、R3)和一第四影像擷取對(L1、R4)，也就是說該第一影像擷取對(L1、R1)、該第二影像擷取對(L1、R2)、該第三影像擷取對(L1、R3)和該第四影像擷取對(L1、R4)共用第一影像擷取器L1，且該第一影像擷取對(L1、R1)、該第二影像擷取對(L1、R2)、該第三影像擷取對(L1、R3)和該第四影像擷取對(L1、R4)的每一影像擷取對對應一基線，例如該第一影像擷取對(L1、R1)、該第二影像擷取對(L1、R2)、該第三影像擷取對(L1、R3)和該第四影像擷取對(L1、R4)分別對應一第一基線BL1、一第二基線BL2、一第三基線BL3和一第四基線BL4，其中第一基線BL1、第二基線BL2、第三基線BL3和第四基線BL4倆倆互不相等。另外，如第1圖所示，深度圖產生器M1接收第一影像擷取器L1所擷取的影像IL1和第二影像擷取器R1所擷取的影像IR1，且深度圖產生器M1可通過一資料匯流排104傳送影像IL1至深度圖產生器S1、M2、S2。另外，如第1圖所示，深度圖產生器M1會觸發一時間對準信號SYN至深度圖產生器S1，然後深度圖產生器S1傳遞時間對準信號SYN至深度圖產生器M2，以及深度圖產生器M2傳遞時間對準信號SYN至深度圖產生器S2，其中深度圖產生器M1可通過一控制匯流排 106觸發(trigger)輸出至深度圖產生器S1、M2、S2的時間對準信號SYN。另外，深度圖產生器M1也可通過一控制匯流排108時間對準第一影像擷取器L1和第二影像擷取器R1-R4所擷取的影像。
如第1圖所示，深度圖產生器M1可根據第一影像擷取器L1所擷取的影像IL1、第二影像擷取器R1所擷取的影像IR1和一現有技術所提供的演算法(例如對比分析半全域匹配演算法(semi-global block matching,SGBM))，產生一深度圖DM1；深度圖產生器S1可根據影像IL1、第二影像擷取器R2所擷取的影像IR2和該演算法，產生一深度圖DS1；深度圖產生器M2可根據影像IL1、第二影像擷取器R3所擷取的影像IR3和該演算法，產生一深度圖DM2；深度圖產生器S2可根據影像IL1、第二影像擷取器R4所擷取的影像IR4和該演算法，產生一深度圖DS2。另外，深度圖產生器S1輸出深度圖DS1和深度圖產生器S1的序號(serial number)至深度圖產生器M1，以及深度圖產生器M1將會根據時間對準信號SYN(已被深度圖產生器M1通過控制匯流排106觸發)插入深度圖產生器S1的序號至深度圖DS1以使深度圖DS1時間對準深度圖DM1。但在本發明的另一實施例中，深度圖產生器S1根據時間對準信號SYN插入深度圖產生器S1的序號至深度圖DS1。但在本發明的另一實施例中，深度圖產生器S1根據時間對準信號SYN插入對應深度圖產生器S1的時間戳記(time stamp)至深度圖DS1。同理，深度圖產生器S2輸出深度圖DS2和深度圖產生器S2的序號至深度圖產生器M2，以及深度圖產生器M2將會根據時間對準信號SYN(已被深度圖產生器M1通過控制匯流排106觸發)插入深度圖產生器S2的序號(或對應深度圖產生器S2的時間戳記)至深度圖DS2以使深度圖DS2時間對準深度圖DM2。然後深度圖產生器M1將會輸出深度圖DM1和深度圖DS1至處理器102以及深度圖產生器M2將會輸出深度圖DM2和深度圖DS2至處理器102。也就是說因為深度圖產生器M1、M2是主深度 圖產生器，而深度圖產生器S1、S2是從深度圖產生器，所以深度圖產生器S1只會輸出深度圖DS1至對應深度圖產生器S1的主深度圖產生器(也就是深度圖產生器M1)，以及深度圖產生器S2只會輸出深度圖DS2至對應深度圖產生器S2的主深度圖產生器(也就是深度圖產生器M2)。另外，在本發明的另一實施例中，深度圖產生器M1將會輸出深度圖DM1或深度圖DS1至處理器102以及深度圖產生器M2將會輸出深度圖DM2或深度圖DS2至處理器102。另外，在本發明的另一實施例中，深度圖產生器M1輸出深度圖DM1至處理器102，深度圖產生器S1輸出深度圖DS1至處理器102，深度圖產生器M2輸出深度圖DM2至處理器102，以及深度圖產生器S2輸出深度圖DS2至處理器102。
另外，本發明並不受限於上述該第一影像擷取對(L1、R1)、該第二影像擷取對(L1、R2)、該第三影像擷取對(L1、R3)和該第四影像擷取對(L1、R4)的組態，也就是說只要利用第一影像擷取器L1和第二影像擷取器R1-R4形成4個影像擷取對(例如L1和R1、R1和R2、R2和R3、R3和R4)分別耦接深度圖產生器M1、S1、M2、S2即落入本發明的範圍。
另外，當處理器102接收到深度圖DM1、DS1、DM2、DS2後，處理器102可一起處理深度圖DM1、DS1、DM2、DS2(因為深度圖DM1、DS1、DM2、DS2都是根據時間對準信號SYN被執行一時間對準)。在本發明的一實施例中，因為深度圖DM1、DS1、DM2、DS2對應不同的工作範圍(working range)，所以處理器102可根據一感興趣物件(或至少一感興趣物件)和深度圖產生裝置100之間的距離(也就是該感興趣物件的深度)和深度圖DM1、DS1、DM2、DS2的工作範圍選擇性地輸出深度圖DM1、DS1、DM2、DS2中的一深度圖。也就是說處理器102另具有一深度偵測功能，所以處理器102可先利用深度圖DM1、DS1、 DM2、DS2的部分或全部判斷該感興趣物件的深度。在處理器102判斷該感興趣物件的深度後，處理器102即可根據該感興趣物件的深度和深度圖DM1、DS1、DM2、DS2的工作範圍選擇性地輸出深度圖DM1、DS1、DM2、DS2中的一深度圖。例如當該感興趣物件的深度是落在深度圖DM1的工作範圍內時，處理器102可根據該感興趣物件的深度和深度圖DM1、DS1、DM2、DS2的工作範圍輸出深度圖DM1。然而在本發明的另一實施例中，當該感興趣物件的深度因為該感興趣物件的移動而同時落在深度圖DM1、DS1、DM2(深度圖DM1、DS1、DM2也就是深度圖DM1、DS1、DM2、DS2中的部分深度圖)的工作範圍內時，處理器102可根據該感興趣物件的深度和深度圖DM1、DS1、DM2、DS2的工作範圍輸出由深度圖DM1、DS1、DM2中每一深度圖的部分區塊或該每一深度圖的全部所組成的一融合(拼接)深度圖，所以處理器102可通過輸出該融合深度圖降低資料傳輸速率(data rate)。另外，在本發明的另一實施例中，當該感興趣物件的深度因為該感興趣物件的移動而同時落在深度圖DM1、DS1、DM2、DS2的工作範圍內時，處理器102可根據該感興趣物件的深度和深度圖DM1、DS1、DM2、DS2的工作範圍輸出由深度圖DM1、DS1、DM2、DS2中每一深度圖的部分區塊或該每一深度圖的全部所組成的一融合(拼接)深度圖。另外，因為處理器102利用深度圖DM1、DS1、DM2中每一深度圖的部分區塊組成該融合(拼接)深度圖，所以相較於現有技術，該融合(拼接)深度圖的工作範圍會大於深度圖DM1、DS1、DM2中每一深度圖的工作範圍。另外，在本發明的另一實施例中，當該感興趣物件的深度因為該感興趣物件的移動而同時落在深度圖DM1、DS1、DM2、DS2的工作範圍內時，處理器102可根據該感興趣物件的深度和深度圖DM1、DS1、DM2、DS2的工作範圍輸出由深度圖DM1、DS1中每一深度圖的部分區塊以及深度圖DM2、DS2中每一深度圖的全部所組成的一融合(拼接)深度圖。
另外，請參照第2圖，第2圖是舉例說明深度圖DM1的無效範圍NR、準確範圍ER和弱範圍WR的示意圖，其中深度圖DM1的無效範圍NR、準確範圍ER和弱範圍WR是由第一基線BL1決定，深度圖DM1的準確範圍ER和弱範圍WR即為深度圖DM1的工作範圍，且第一影像擷取器L1和第二影像擷取器R1具有一影像擷取範圍ICR。如第2圖所示，如果一物件在無效範圍NR內，則處理器102無法根據深度圖DM1，判斷該物件與深度圖產生裝置100之間的距離，或處理器102會錯誤判斷該物件與深度圖產生裝置100之間的距離；如果該物件在準確範圍ER內，則處理器102可明確根據深度圖DM1，判斷該物件與深度圖產生裝置100之間的距離；如果該物件在弱範圍WR內，則處理器102無法很準確根據深度圖DM1，判斷該物件與深度圖產生裝置100之間的距離，但不會有誤判該物件與深度圖產生裝置100之間的距離。
因此，在本發明的另一實施例中，當處理器102接收到深度圖DM1、DS1、DM2、DS2後，處理器102可一起處理深度圖DM1、DS1、DM2、DS2。 因為深度圖DM1、DS1、DM2、DS2具有不同的無效範圍、準確範圍和弱範圍，所以處理器102可根據該感興趣物件在深度圖DM1、DS1、DM2、DS2的深度和深度圖DM1、DS1、DM2、DS2的無效範圍、準確範圍和弱範圍選擇性地輸出深度圖DM1、DS1、DM2、DS2中的一深度圖。例如當該感興趣物件的深度是落在深度圖DM1的準確範圍內時，處理器102可根據該感興趣物件的深度和深度圖DM1、DS1、DM2、DS2的無效範圍、準確範圍和弱範圍輸出深度圖DM1。另外，例如當該感興趣物件的深度因為該感興趣物件的移動而落在深度圖DM1、DS1、DM2(也就是深度圖DM1、DS1、DM2、DS2的部分)的準確範圍內時，處理器102可根據該感興趣物件的深度和深度圖DM1、DS1、DM2、DS2的無效範圍、準確範圍和弱範圍輸出由深度圖DM1、DS1、DM2中每一深度圖的部分區塊(其中該 每一深度圖的部分區塊有關該每一深度圖的準確範圍)所組成的一融合深度圖，所以處理器102可通過輸出該融合深度圖降低深度圖DM1、DS1、DM2中的資料傳輸速率。
另外，在深度圖產生器M1輸出深度圖DM1至處理器102之前，深度圖產生器M1可對深度圖DM1執行一校正動作，其中該校正動作包含一色彩校正和一幾何校正的至少其中之一，且色彩校正和幾何校正是本發明領域具有通知技藝者所熟知，在此不再贅述。另外，在深度圖產生器M1輸出深度圖DM1至處理器102之前，深度圖產生器M1也可對深度圖DM1執行一影像處理，且該影像處理包含色彩內插(color interpolation)、色彩處理(color processing)、自動曝光(Auto Exposure,AE)和自動白平衡(Auto White Balance,AWB)控制的至少其中之一，且色彩內插、色彩處理、自動曝光和自動白平衡控制也是本發明領域具有通知技藝者所熟知，在此亦不再贅述。另外，深度圖產生器M1可以是一具有上述深度圖產生器M1的功能的現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)，或是一具有上述深度圖產生器M1的功能的特殊應用積體電路(Application-specific integrated circuit,ASIC)或是一具有上述深度圖產生器M1的功能的軟體模組。另外，在本發明的另一實施例中，深度圖產生裝置100可在深度圖產生器M1產生深度圖DM1之前利用另一具有上述校正動作和影像處理的功能的現場可程式邏輯閘陣列，或是另一具有上述校正動作和影像處理的功能的特殊應用積體電路或是另一具有上述校正動作和影像處理的功能的軟體模組對影像IL1和影像IR1執行該校正動作和該影像處理。另外，深度圖產生器S1、M2、S2執行該校正動作和該影像處理的原理都和深度圖產生器M1相同，在此不再贅述。
另外，在本發明的另一實施例中，該第一影像擷取對、該第二影像擷取對、該第三影像擷取對和該第四影像擷取對沒有共用第一影像擷取器L1，也就是說深度圖產生裝置100包含4個第一影像擷取器，以及該第一影像擷取對、該第二影像擷取對、該第三影像擷取對和該第四影像擷取對的每一影像擷取對都有一對應的第一影像擷取器。
另外，處理器102可以是一具有上述處理器102的功能的現場可程式邏輯閘陣列，或是一具有上述處理器102的功能的特殊應用積體電路或是一具有上述處理器102的功能的軟體模組。
請參照第3圖，第3圖是本發明的一第二實施例所公開的一種深度圖產生裝置300的示意圖。如第3圖所示，深度圖產生裝置300包含m個第一影像擷取器L1-Lm，m個第二影像擷取器R1-Rm，m個深度圖產生器M1-Mn、S1-Sn和處理器102，其中m正偶數，n等於m/2，且深度圖產生器M1-Mn、S1-Sn包含在一深度圖產生模組。如第3圖所示，m個第一影像擷取器L1-Lm中的每一第一影像擷取器和m個第二影像擷取器R1-Rm中的一對應的第二影像擷取器形成一影像擷取對，且該影像擷取對耦接於深度圖產生器M1-Mn、S1-Sn中的一對應的深度圖產生器。另外，第一影像擷取器L1-Lm和第二影像擷取器R1-Rm所形成的m個影像擷取對對應不同的基線，以及該些不同的基線兩兩互不相等。例如，如第3圖所示，第一影像擷取器L1和第二影像擷取器R1形成一影像擷取對，且第一影像擷取器L1和第二影像擷取器R1所形成的影像擷取對耦接於深度圖產生器M1。然後深度圖產生器M1可根據第一影像擷取器L1所擷取的影像IL1和第二影像擷取器R1所擷取的影像IR1，產生深度圖DM1。因此，深度圖產生器M2-Mn、S1-Sn可根據上述深度圖產生器M1產生深度圖DM1的原理產生深度圖DM2-DMn和 DS1-DSn。另外，在本發明的另一實施例中，深度圖產生裝置300僅包含一個第一影像擷取器，以及m個第二影像擷取器R1-Rm共用該第一影像擷取器。另外，m個第一影像擷取器L1-Lm，m個第二影像擷取器R1-Rm，m個深度圖產生器M1-Mn、S1-Sn和處理器102的操作原理可參照深度圖產生裝置100的第一影像擷取器L1，第二影像擷取器R1-R4，深度圖產生器M1、S1、M2、S2和處理器102的操作原理，在此不再贅述。
請參照第4-6圖，第4圖是說明深度圖產生裝置300的m個影像擷取對具有一水平排列結構，第5圖是說明深度圖產生裝置300的m個影像擷取對具有一垂直排列結構，以及第6圖是說明深度圖產生裝置300的m個影像擷取對具有一環狀(ring)排列結構，其中為了簡化第4-6圖，所以第4-6圖所繪示的深度圖產生裝置300僅包含該m個影像擷取對。如第4圖所示，3個感興趣物件OB1-OB3出現在深度圖產生裝置300的影像擷取範圍ICR內的水平方向HD，其中感興趣物件OB1-OB3分別和深度圖產生裝置300之間具有距離D1-D3。因為該m個影像擷取對具有該水平排列結構且該m個影像擷取對對應不同的基線，所以深度圖產生裝置300可根據該m個影像擷取對所擷取的影像對產生有關感興趣物件OB1-OB3中每一感興趣物件的深度圖(也就是說第4圖所示的深度圖產生裝置300是適用於複數個感興趣物件出現在深度圖產生裝置300的影像擷取範圍ICR內的水平方向HD)，其中有關該每一感興趣物件的深度圖可以是深度圖DM1-DMn、DS1-DSn中的一深度圖，或是由深度圖DM1-DMn、DS1-DSn中部分深度圖或全部深度圖的每一深度圖的部分區塊所組成的一融合深度圖。另外，如果感興趣物件OB1-OB3在影像擷取範圍ICR內的位置相近，則深度圖產生裝置300將輸出深度圖DM1-DMn、DS1-DSn中的同時包含感興趣物件OB1-OB3的一深度圖。
如第5圖所示，該m個影像擷取對具有該垂直排列結構(也就是該m個影像擷取對具有一疊接排列結構)，以及3個感興趣物件OB1-OB3出現在深度圖產生裝置300的影像擷取範圍ICR內的垂直方向VD。因為該m個影像擷取對具有該垂直排列結構且該m個影像擷取對對應不同的基線，所以深度圖產生裝置300可根據該m個影像擷取對所擷取的影像對產生有關感興趣物件OB1-OB3中每一感興趣物件的深度圖，也就是說第5圖所示的深度圖產生裝置300是適用於複數個感興趣物件(例如一棵大樹的樹冠、莖和樹根等)出現在深度圖產生裝置300的影像擷取範圍ICR內的垂直方向VD。
如第6圖所示，因為該m個影像擷取對具有該環狀排列結構，所以第6圖所示的深度圖產生裝置300可產生環繞感興趣物件OB1的深度圖，其中該環繞感興趣物件OB1的深度圖可應用於產生感興趣物件OB1的立體掃描結果。此外，感興趣物件OB1可位於該環狀排列結構的圓心，或是位於該環狀排列結構內的任一位置。另外，第6圖是以感興趣物件OB1為例進行說明，但本實施例的深度圖產生裝置300也可應用於複數個感興趣物件的情況，且這些感興趣物件可位於該環狀排列結構內的任一位置。
另外，在本發明的另一實施例中，因為處理器102是一具有高運算能力和大容量的畫面緩衝區的處理器(例如一圖形處理器(graphics processing unit,GPU))，所以處理器102可根據一感興趣物件的深度合併深度圖產生器M1-Mn、S1-Sn所產生的深度圖DM1-DMn、DS1-DSn的部分或全部為一融合深度圖。在處理器102合併深度圖DM1-DMn、DS1-DSn的部分或全部後，深度圖產生裝置300的資料傳輸速率可被降低。如此，應用該融合深度圖的應用軟體所需的頻寬(bandwidth)也可被降低。
請參照第7圖，第7圖是本發明的一第三實施例所公開的一種深度圖產生裝置700的示意圖。如第7圖所示，深度圖產生裝置700和深度圖產生裝置300的差別在於深度圖產生裝置700另包含一集線器702，其中集線器702耦接於深度圖產生器M1-Mn(主深度圖產生器)與處理器102之間，其中處理器102通過集線器702利用一循環輪播(Round-Robin)方式處理深度圖DM1-DMn、DS1-DSn。也就是說處理器102通過集線器702一次處理深度圖DM1-DMn、DS1-DSn中的一深度圖。例如，如第8圖所示，處理器102於一時間點T1處理深度圖產生器M1所輸出的深度圖DM1或深度圖DS1，於一時間點T2處理深度圖產生器M2所輸出的深度圖DM2或深度圖DS2，依此類推。然後處理器102於一時間點Tn處理深度圖產生器Mn所輸出的深度圖DMn或深度圖DSn後，再於一時間點Tn+1重新處理深度圖產生器M1所輸出的深度圖DM1或深度圖DS1。例如，在本發明的一實施例中，深度圖產生器M1以每秒30畫面的速率輸出深度圖DM1或深度圖DS1(深度圖產生器M2-Mn的操作原理和深度圖產生器M1的操作原理相同)，也就是說處理器102通過集線器702每1/30秒處理一深度圖產生器所輸出的深度圖，所以每n/30秒，處理器102可全部處理深度圖產生器M1-Mn所輸出的深度圖DM1-DMn、DS1-DSn一次。另外，如第8圖所示，因為處理器102於一時間點只輸出深度圖產生器所輸出的一深度圖，所以處理器102內用以處理深度圖的應用軟體所需的頻寬可被降低。另外，在本發明的另一實施例中，處理器102於時間點T1處理深度圖產生器M1所輸出的深度圖DM1和深度圖DS1，於時間點T2處理深度圖產生器M1所輸出的深度圖DM2和深度圖DS2，依此類推。另外，深度圖產生裝置700的其餘操作原理和深度圖產生裝置300的操作原理相同，在此不再贅述。
請參照第9圖，第9圖是本發明的一第四實施例所公開的一種深度圖 產生裝置900的示意圖。如第9圖所示，深度圖產生裝置900和深度圖產生裝置300的差別在於深度圖產生裝置900的深度圖產生器M1-Mn(主深度圖產生器)中的每一深度圖產生器都耦接於一第一處理器。例如深度圖產生器M1耦接於一第一處理器1021、深度圖產生器M2耦接於一第一處理器1022以及深度圖產生器Mn耦接於一第一處理器102n。第一處理器1021可在深度圖DM1、DS1中偵測一感興趣物件的深度，以及根據該感興趣物件的深度和深度圖DM1、DS1的工作範圍選擇性地輸出深度圖DM1、DS1的部分區塊(或輸出深度圖DM1、DS1)至一第二處理器902，或不輸出深度圖DM1、DS1的部分區塊至第二處理器902(因為該感興趣物件的深度落在深度圖DM1、DS1的工作範圍外)。因此，第二處理器902可處理第一處理器1021-102n所輸出的有關該感興趣物件的深度資訊(例如第一處理器1021所輸出的深度圖DM1、DS1的部分區塊)，產生一融合深度圖。例如第二處理器902可對第一處理器1021-102n所輸出的有關該感興趣物件的深度資訊執行去雜訊、填補空缺(hole-filling)、平滑化和影像壓縮的至少其中之一，產生該融合深度圖。另外，在本發明的另一實施例中，深度圖產生裝置900可在深度圖產生器M1產生深度圖DM1之前利用另一具有上述去雜訊、填補空缺(hole-filling)、平滑化和影像壓縮的至少其中之一的功能的現場可程式邏輯閘陣列，或是另一具有上述去雜訊、填補空缺(hole-filling)、平滑化和影像壓縮的至少其中之一的功能的特殊應用積體電路或是另一具有上述去雜訊、填補空缺(hole-filling)、平滑化和影像壓縮的至少其中之一的功能的軟體模組對影像IL1和影像IR1執行該校正動作和該影像處理。另外，在本發明的另一實施例中，第一處理器1021可先對深度圖DM1、DS1執行該去雜訊、該填補空缺(hole-filling)、該平滑化和該影像壓縮的至少其中之一。另外，因為第一處理器1021輸出深度圖DM1、DS1的部分區塊至第二處理器902，所以第二處理器902輸出深度圖DM1、DS1的資料傳輸速率可被降低，其中第二處理器902是包含在一移動裝置上(例如一智慧型手 機或一平板電腦)。但在本發明的另一實施例中，第二處理器902是包含在網際網路上的一遠端裝置或一伺服器。另外，因為第二處理器902是接收深度圖DM1、DS1的部分區塊，所以第二處理器902內應用深度圖DM1、DS1的部分區塊的應用軟體所需的頻寬也可被降低。另外，在本發明的一實施例中，第二處理器902可包含在深度圖產生裝置900。另外，深度圖產生器M2-Mn的操作原理都和深度圖產生器M1相同，在此不再贅述。另外，第一處理器1022-102n的操作原理都和第一處理器1021相同，在此不再贅述。另外，深度圖產生裝置900的其餘操作原理都和深度圖產生裝置300相同，在此不再贅述。
請參照第10圖，第10圖是本發明的一第五實施例所公開的一種深度圖產生裝置1000的示意圖。如第10圖所示，深度圖產生裝置1000包含m個第一影像擷取器L1-Lm，m個第二影像擷取器R1-Rm，一深度圖產生模組1002和處理器1004，其中深度圖產生模組1002耦接於第一影像擷取器L1-Lm和第二影像擷取器R1-Rm，包含一個深度圖產生器或多個深度圖產生器，以及處理器1004耦接於深度圖產生模組1002。如第10圖所示，m個第一影像擷取器L1-Lm中的每一第一影像擷取器和m個第二影像擷取器R1-Rm中的一對應的第二影像擷取器形成一影像擷取對，例如第一影像擷取器L1和第二影像擷取器R1形成一影像擷取對，其中m個第一影像擷取器L1-Lm和m個第二影像擷取器R1-Rm所形成的m個影像擷取對中的每一影像擷取對對應一不同基線，也就是說例如第一影像擷取器L1和第二影像擷取器R1所對應的基線不等於第一影像擷取器L2和第二影像擷取器R2所對應的基線。因此，處理器1004即可先控制深度圖產生模組1002根據一預設影像擷取對所擷取的影像對產生一深度圖，例如處理器1004即可先控制深度圖產生模組1002(當深度圖產生模組1002只包含一個深度圖產生器)或深度圖產生模組1002內的一第一深度圖產生器(當深度圖產生模組1002包含多個深度圖產 生器)根據第一影像擷取器L1所擷取的影像IL1和第二影像擷取器R1所擷取的影像IR1，產生深度圖DM1，其中第一影像擷取器L1和第二影像擷取器R1為該預設影像擷取對。然後處理器1004根據深度圖DM1判斷一感興趣物件(或至少一感興趣物件)的深度，並據以控制深度圖產生模組1002是否根據其他的影像擷取對所擷取的影像對產生一對應的深度圖。例如當處理器1004因為該感興趣物件的移動判斷深度圖DM1不適合用來決定該感興趣物件的深度時，處理器1004可控制深度圖產生模組1002(當深度圖產生模組1002只包含一個深度圖產生器)或深度圖產生模組1002內的一第二深度圖產生器(當深度圖產生模組1002包含多個深度圖產生器)根據第一影像擷取器L2所擷取的影像IL2和第二影像擷取器R2所擷取的影像IR2，產生深度圖DM2，或利用第一影像擷取器Lm所擷取的影像ILm和第二影像擷取器Rm所擷取的影像IRm，產生深度圖DMm。因此，處理器1004可動態控制深度圖產生模組1002產生一適當的深度圖，其中該適當的深度圖適合用以判斷該感興趣物件的目前深度。
另外，當深度圖產生模組1002包含複數個深度圖產生器時，深度圖產生模組1002根據該預設影像擷取對(例如第一影像擷取器L1和第二影像擷取器R1)所擷取的影像對產生一預設深度圖(例如深度圖DM1)，處理器1004根據該預設深度圖判斷該感興趣物件的深度，以及處理器1004根據該感興趣物件的深度決定將深度圖產生模組1002根據第一影像擷取器L1-Lm和第二影像擷取器R1-Rm所組成的複數個影像擷取對所擷取的影像對所產生的複數個深度圖中的部分或全部合併以產生一融合深度圖。但在本發明的另一實施例中，處理器1004是根據該感興趣物件的深度，選擇該複數個深度圖的其中之一以產生該融合深度圖。另外，當深度圖產生模組1002是一深度圖產生器時，深度圖產生模組1002可根據該預設影像擷取對(例如第一影像擷取器L1和第二影像擷取器R1)所擷取 的影像對產生該預設深度圖(例如深度圖DM1)。然後處理器1004可根據該預設深度圖判斷該感興趣物件的深度，以及處理器1004可根據該感興趣物件的深度來選擇第一影像擷取器L1-Lm和第二影像擷取器R1-Rm所組成的複數個影像擷取對中的一影像擷取對，使深度圖產生模組1002根據該影像擷取對所擷取的影像對產生一第一深度圖，且處理器1004輸出該第一深度圖。但在本發明的另一實施例中，處理器1004根據該感興趣物件的深度，決定是否切換由該複數個影像擷取對中的另一影像擷取對擷取影像對以使深度圖產生模組1002據以更新該第一深度圖。
請參照第11圖，第11圖是本發明的一第六實施例所公開的一種深度圖產生裝置1100的示意圖。如第11圖所示，深度圖產生裝置1100包含m個影像擷取器C1-Cm、一切換電路1102、一影像處理及校正電路1104、一深度圖產生器1106和一處理器1108，其中影像擷取器C1-Cm、切換電路1102、影像處理及校正電路1104、深度圖產生器1106和處理器1108之間的耦接關係請參照第11圖，在此不再贅述。如第11圖所示，影像擷取器C1-Cm中任二個影像擷取器可形成一影像擷取對，且每一影像擷取對具有一不同的基線長度。因此，處理器1108即可先控制深度圖產生器1106根據一預設影像擷取對所擷取的影像對產生一相對應的深度圖，例如處理器1108可先控制深度圖產生器1106根據影像擷取器C1、C2所擷取的影像，產生一預設深度圖，其中影像擷取器C1、C2為該預設影像擷取對。但本發明並不受限於影像擷取器C1、C2為該預設影像擷取對。例如，預設影像擷取對也可以是在深度圖產生裝置1100中具有最大工作範圍的一影像擷取對。然後處理器1108根據該預設深度圖判斷一感興趣物件(或至少一感興趣物件)的深度，並據以控制切換電路1102是否切換至接收另一影像擷取對所擷取的影像對。例如當處理器1108因為該感興趣物件的移動判斷該第一深度圖不適合用來 決定該感興趣物件的深度時，處理器1108可控制切換電路1102切換至接收該另一影像擷取對所擷取的影像。然後深度圖產生器1106根據該另一影像擷取對所擷取的影像對產生一第二深度圖。因此，處理器1108可通過切換電路1102動態控制深度圖產生器1106產生一適當的深度圖，其中該適當的深度圖適合用以判斷該感興趣物件的目前深度。另外，影像處理及校正電路1104的功能可參照前述校正動作與影像處理，在此不再贅述。另外，在本發明的另一實施例中，切換電路1102和影像處理及校正電路1104可整合至深度圖產生器1106。
請參照第12圖，第12圖是本發明的一第七實施例所公開的一種深度圖產生裝置1200的示意圖。如第12圖所示，深度圖產生裝置1200包含m個影像擷取器C1-Cm、n個影像處理及校正電路1201-120n、n個深度圖產生器12021-1202n和一處理器1208，其中n、m為正整數，n小於m，以及影像擷取器C1-Cm、影像處理及校正電路1201-120n、深度圖產生器12021-1202n和處理器1208之間的耦接關係請參照第12圖，在此不再贅述。如第12圖所示，影像擷取器C1-Cm中任二個影像擷取器可形成一影像擷取對，以及該影像擷取對耦接一對應的影像處理及校正電路及一對應的深度圖產生器。例如影像處理及校正電路1201耦接影像擷取器C1、C2，以及深度圖產生器12021耦接影像處理及校正電路1201。深度圖產生器12021-1202n中的每一深度圖產生器可根據其所對應的影像擷取對所擷取的影像對，產生一對應的深度圖。然後處理器1208根據一感興趣物件(或至少一感興趣物件)的深度和深度圖產生器12021-1202n所產生的n個深度圖的工作範圍，選擇性地輸出該n個深度圖中的一深度圖，或輸出該n個深度圖中的部分或全部所組成的一融合深度圖。另外，影像處理及校正電路1201-120n的功能可參照前述校正動作與影像處理，在此不再贅述。另外，在本發明的另一實施例中，影像處理及校正電路1201-120n可分別整合至深度圖產生器12021-1202n。
綜上所述，因為本發明所提供的深度圖產生裝置可根據一感興趣物件(或至少一感興趣物件)的深度，選擇性地輸出該深度圖產生裝置所產生的複數個深度圖中的一深度圖，或該複數個深度圖中的部分或全部所組成的一融合深度圖，所以相較於現有技術，本發明所提供的深度圖產生裝置更適合應用於下列應用：
第一、遊戲： 因為該融合(拼接)深度圖的工作範圍會大於該複數個深度圖中每一深度圖的工作範圍(也就是說相較於現有技術，本發明可提供具有較大工作範圍的融合(拼接)深度圖)，所以本發明可不僅可支援僅利用一使用者的手勢控制的互動遊戲，也可支援需要該使用者經常需要移動的互動遊戲(例如運動遊戲)。因此，當該使用者使用該運動遊戲，該使用者可加入不受限於擺頭(head swing)、揮手(hand waving)或踢腳(foot kicking)的其他肢體動作，例如前後移動。也就是說本發明可提供該使用者在使用一互動遊戲(尤其是虛擬實境(virtual reality,VR)遊戲)時更好的體驗。
第二、機器人應用： 因為該融合深度圖的工作範圍較大，所以本發明可增加一機器人的立體掃描範圍。例如對於一搜救機器人而言，因為該搜救機器人所產生的該融合深度圖的工作範圍較大，所以該搜救機器人的搜救範圍也會較大，導致該搜救機器人的搜救效率提高。因為該搜救機器人的搜救效率提高，所以該搜救機器人找生還者的時間縮短以及機率提高。
另外，本發明也適用於一軍事機器人或一科研機器人。因為該融合深度圖的工作範圍較大，所以該軍事機器人(或該科研機器人)可搜索較廣大的範圍以找出任何感興趣物件。另外，因為該融合深度圖的工作範圍較大，所以該軍事機器人具有較遠的視野，也就是說該軍事機器人在執行軍事任務時可藏身在離敵人較遠的地方而不會被敵人發現。
第三、監控： 因為該融合深度圖的工作範圍較大，所以應用本發明所提供的深度圖產生裝置的監控設備可在一較大的視野範圍中追蹤一物件，而不會輕易地錯過該物件。因此，該監控設備可提供該物件的深度資訊和通知其他具有變焦鏡頭的監控設備調整焦距以擷取該物件的清晰影像以應用於一監控應用。
第四、無人機： 因為該融合深度圖的工作範圍較大，所以應用本發明所提供的深度圖產生裝置的無人機可在其巡航路徑上有更多時間去偵測障礙物(例如樹，街燈，交通號誌，電線桿以及建築物等)並修改其巡航路徑以避開所述障礙物。如此，本發明可降低該無人機因撞擊所述障礙物而墜毀的機率。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (25)

  1. 一種深度圖產生裝置，包含：複數個影像擷取對；一深度圖產生模組，耦接於該複數個影像擷取對，用以根據該複數個影像擷取對所擷取的影像對，產生對應該複數個影像擷取對的複數個深度圖，其中該複數個深度圖中的每一深度圖對應不同工作範圍；及一處理器，耦接於該深度圖產生模組，用以根據該複數個深度圖所對應的複數個工作範圍，選擇性地輸出該複數個深度圖中的一深度圖，或該複數個深度圖中的部分或全部所組成的一融合深度圖。
  2. 如請求項1所述的深度圖產生裝置，其中該複數個影像擷取對包含：至少一第一影像擷取器；及複數個第二影像擷取器，其中每一第二影像擷取器和一對應的第一影像擷取器形成該複數個影像擷取對中的一影像擷取對。
  3. 如請求項1所述的深度圖產生裝置，其中該深度圖產生模組是一深度圖產生器，該處理器選擇該複數個影像擷取對中的一影像擷取對，使該深度圖產生器根據該影像擷取對所擷取的影像對產生一第一深度圖，且該處理器輸出該第一深度圖。
  4. 如請求項3所述的深度圖產生裝置，其中該處理器根據至少一感興趣物件的深度，決定是否切換由該複數個影像擷取對中的另一影像擷取對擷取影像對以使該深度圖產生器據以更新該第一深度圖。
  5. 如請求項3所述的深度圖產生裝置，其中該深度圖產生器根據一預設影像擷取對所擷取的影像對產生一預設深度圖，該處理器根據該預設深度圖判斷至少一感興趣物件的深度，以及該處理器根據該至少一感興趣物件的深度來選擇該複數個影像擷取對中的該影像擷取對。
  6. 如請求項1所述的深度圖產生裝置，其中該深度圖產生模組包含複數個深度圖產生器，且該處理器輸出該複數個深度圖產生器所產生的該複數個深度圖中的部分或全部所組成的該融合深度圖。
  7. 如請求項6所述的深度圖產生裝置，其中如果該複數個深度圖產生器中的一深度圖產生器是一主(master)深度圖產生器，則該主深度圖產生器輸出其所產生的深度圖至該處理器，以及該複數個深度圖產生器中對應該主深度圖產生器的另一深度圖產生器是一從(slave)深度圖產生器，且該從深度圖產生器輸出其所產生的深度圖至該主深度圖產生器。
  8. 如請求項6所述的深度圖產生裝置，其中該複數個深度圖產生器中的部分深度圖產生器是一組主深度圖產生器。
  9. 如請求項8所述的深度圖產生裝置，其中該組主深度圖產生器中的一第一主深度圖產生器產生並傳遞一時間對準信號至對應該第一主深度圖產生器的一第一從深度圖產生器，以及該第一從深度圖產生器傳遞該時間對準信號至該組主深度圖產生器中的一第二主深度圖產生器。
  10. 如請求項9所述的深度圖產生裝置，其中該第二主深度圖產生器傳遞 該時間對準信號至對應該第二主深度圖產生器的一第二從深度圖產生器。
  11. 如請求項8所述的深度圖產生裝置，另包含：一集線器，耦接於該組主深度圖產生器與該處理器之間，其中該處理器通過該集線器利用一循環輪播(Round-Robin)方式輸出該複數個深度圖。
  12. 如請求項1所述的深度圖產生裝置，其中該複數個影像擷取對中的一影像擷取對對應一基線。
  13. 如請求項1所述的深度圖產生裝置，其中該處理器是根據至少一感興趣物件，選擇性地輸出該深度圖或該融合深度圖。
  14. 一種深度圖產生裝置，包含：複數個影像擷取對；一深度圖產生模組，耦接於該複數個影像擷取對，用以根據該複數個影像擷取對所擷取的影像對，產生對應該複數個影像擷取對的複數個深度圖，其中該複數個深度圖中的每一深度圖對應不同工作範圍；及一處理器，耦接於該深度圖產生模組，用以根據該複數個深度圖所對應的複數個工作範圍，選擇性地輸出該複數個深度圖中的一深度圖。
  15. 如請求項14所述的深度圖產生裝置，其中該深度圖產生模組是一深度圖產生器，該處理器選擇該複數個影像擷取對中的一影像擷取對，使該深度圖產生器根據該影像擷取對所擷取的影像對產生一第一深度圖，且該處理器輸出該第一深度圖。
  16. 如請求項15所述的深度圖產生裝置，其中該處理器根據至少一感興趣物件的深度，決定是否切換由該複數個影像擷取對中的另一影像擷取對擷取影像對以使該深度圖產生器據以更新該第一深度圖。
  17. 如請求項15所述的深度圖產生裝置，其中該深度圖產生器根據一預設影像擷取對所擷取的影像對產生一預設深度圖，該處理器根據該預設深度圖判斷至少一感興趣物件的深度，以及該處理器根據該至少一感興趣物件的深度來選擇該複數個影像擷取對中的該影像擷取對。
  18. 一種深度圖產生裝置，包含：複數個影像擷取對；一深度圖產生模組，耦接於該複數個影像擷取對，用以根據該複數個影像擷取對所擷取的影像對，產生對應該複數個影像擷取對的複數個深度圖，其中該複數個深度圖中的每一深度圖對應不同工作範圍；及一處理器，耦接於該深度圖產生模組內的複數個深度圖產生器的部分深度圖產生器，用以根據該複數個深度圖所對應的複數個工作範圍，輸出該複數個深度圖中的部分或全部所組成的一融合深度圖。
  19. 如請求項18所述的深度圖產生裝置，其中該處理器根據一感興趣物件的深度，選擇該複數個深度圖的其中之一以產生該融合深度圖。
  20. 如請求項18所述的深度圖產生裝置，其中該處理器根據至少一感興趣物件的深度，決定將該複數個深度圖中的部分或全部合併以產生該融合 深度圖。
  21. 如請求項18所述的深度圖產生裝置，其中該深度圖產生模組根據一預設影像擷取對所擷取的影像對產生一預設深度圖，該處理器根據該預設深度圖判斷至少一感興趣物件的深度，以及該處理器根據該至少一感興趣物件的深度決定合併該複數個深度圖中的部分或全部。
  22. 一種深度圖產生裝置，包含：複數個深度圖產生器，包含一組主深度圖產生器和一組從深度圖產生器；其中該組從深度圖產生器中的一從深度圖產生器和該組主深度圖產生器中的一對應的主深度圖產生器形成一主從對，用以分別接收該深度圖產生模組外的二影像擷取對所擷取的影像對並據以產生一第一深度圖和一第二深度圖，其中該從深度圖產生器傳送該第一深度圖至該對應的主深度圖產生器，且該對應的主深度圖產生器輸出該第一深度圖或該第二深度圖。
  23. 如請求項22所述的深度圖產生裝置，其中該深度圖產生裝置更包括一處理器，用以輸出產生自複數個主從對的複數個深度圖中的一深度圖，或該複數個深度圖中的部分或全部所組成的一融合深度圖。
  24. 如請求項22所述的深度圖產生裝置，其中該組主深度圖產生器中的一第一主深度圖產生器產生並傳遞一時間對準信號至該組從深度圖產生器中對應該第一主深度圖產生器的一第一從深度圖產生器，以及該第一從深度圖產生器傳遞該時間對準信號至該組主深度圖產生器中的一第二主深度 圖產生器。
  25. 如請求項24所述的深度圖產生裝置，其中該第二主深度圖產生器傳遞該時間對準信號至該組從深度圖產生器中對應該第二主深度圖產生器的一第二從深度圖產生器。
TW107100572A 2017-01-05 2018-01-05 深度圖產生裝置 TWI668670B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762442941P 2017-01-05 2017-01-05
US62/442,941 2017-01-05
US201762486471P 2017-04-18 2017-04-18
US62/486,471 2017-04-18

Publications (2)

Publication Number Publication Date
TW201826223A TW201826223A (zh) 2018-07-16
TWI668670B true TWI668670B (zh) 2019-08-11

Family

ID=62803255

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100572A TWI668670B (zh) 2017-01-05 2018-01-05 深度圖產生裝置

Country Status (3)

Country Link
US (1) US11652978B2 (zh)
CN (1) CN108280851B (zh)
TW (1) TWI668670B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3572971B1 (de) * 2018-05-22 2021-02-24 Sick Ag Absichern eines überwachungsbereichs mit mindestens einer maschine
CN109688400A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 电子设备和移动平台
CN111626086A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 活体检测方法、装置及系统、电子设备和存储介质
JP7431527B2 (ja) * 2019-08-07 2024-02-15 キヤノン株式会社 深度情報生成装置、撮像装置、深度情報生成方法、画像処理装置、画像処理方法、及びプログラム
CN111145271B (zh) * 2019-12-30 2023-04-28 广东博智林机器人有限公司 相机参数的精确度的确定方法、装置、存储介质及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150371444A1 (en) * 2014-06-18 2015-12-24 Canon Kabushiki Kaisha Image processing system and control method for the same
TWI542191B (zh) * 2009-07-27 2016-07-11 皇家飛利浦電子股份有限公司 一種於一三維[3d]來源裝置提供一個3d視訊信號以傳送至一3d目的地裝置之方法、用於該方法之3d來源裝置、用於接收一個3d視訊信號之3d目的地裝置、記錄載體、及電腦程式產品
TWI544781B (zh) * 2013-01-30 2016-08-01 高通公司 具有功率有效深度感測器運用之即時三維重建

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI469086B (zh) * 2011-04-26 2015-01-11 Univ Nat Cheng Kung 利用紋理特徵之影像分割法
TWI443600B (zh) * 2011-05-05 2014-07-01 Mstar Semiconductor Inc 影像處理的方法與相關裝置
PL2715449T3 (pl) * 2011-05-31 2017-06-30 Nokia Technologies Oy Sposoby, urządzenia i komputerowe produkty programistyczne do generowania obrazów panoramicznych przy użyciu danych mapy głębi obrazu
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
TWI521255B (zh) * 2013-11-29 2016-02-11 光寶科技股份有限公司 自動對焦方法、其自動對焦裝置和其影像擷取裝置
CN105025193B (zh) * 2014-04-29 2020-02-07 钰立微电子股份有限公司 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
TWI538508B (zh) * 2014-08-15 2016-06-11 光寶科技股份有限公司 一種可獲得深度資訊的影像擷取系統與對焦方法
AU2014280872A1 (en) * 2014-12-22 2016-07-07 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus
CN105141939B (zh) * 2015-08-18 2017-05-17 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置
WO2018072817A1 (en) * 2016-10-18 2018-04-26 Photonic Sensors & Algorithms, S.L. A device and method for obtaining distance information from views

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI542191B (zh) * 2009-07-27 2016-07-11 皇家飛利浦電子股份有限公司 一種於一三維[3d]來源裝置提供一個3d視訊信號以傳送至一3d目的地裝置之方法、用於該方法之3d來源裝置、用於接收一個3d視訊信號之3d目的地裝置、記錄載體、及電腦程式產品
TWI544781B (zh) * 2013-01-30 2016-08-01 高通公司 具有功率有效深度感測器運用之即時三維重建
US20150371444A1 (en) * 2014-06-18 2015-12-24 Canon Kabushiki Kaisha Image processing system and control method for the same

Also Published As

Publication number Publication date
TW201826223A (zh) 2018-07-16
US11652978B2 (en) 2023-05-16
US20180227575A1 (en) 2018-08-09
CN108280851A (zh) 2018-07-13
CN108280851B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
TWI668670B (zh) 深度圖產生裝置
KR100866491B1 (ko) 영상 처리 방법 및 장치
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
US20140219549A1 (en) Method and apparatus for active stereo matching
RU2016141397A (ru) Стерео-просмотр
CN107277494A (zh) 立体显示系统及方法
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
JP2008140271A (ja) 対話装置及びその方法
CN111127522B (zh) 基于单目相机的深度光流预测方法、装置、设备及介质
CN115210532A (zh) 通过学习多视图立体的稀疏点的三角测量和致密化进行深度估计的系统和方法
KR20080000149A (ko) 다시점화상의 처리 방법 및 장치
JP2021525032A (ja) 画像処理方法、装置及び３次元結像システム
Chen et al. Denao: Monocular depth estimation network with auxiliary optical flow
CN111652110A (zh) 一种图像处理方法、装置、电子设备及存储介质
TW201607296A (zh) 快速產生影像景深圖的方法及影像處理裝置
KR20220149717A (ko) 단안 카메라로부터 전체 골격 3d 포즈 복구
CN113793420A (zh) 深度信息处理方法、装置、电子设备及存储介质
Choi et al. Stereo-augmented depth completion from a single rgb-lidar image
Fehrman et al. Depth mapping using a low-cost camera array
KR102083293B1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
Yong et al. A real-time system for 3D recovery of dynamic scene with multiple RGBD imagers
CN109961092A (zh) 一种基于视差锚点的双目视觉立体匹配方法及系统
Waskitho et al. FloW vision: Depth image enhancement by combining stereo RGB-depth sensor
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
CN112750157B (zh) 一种深度图像生成方法及装置