TWI672677B - 用以融合多深度圖的深度圖產生裝置 - Google Patents

用以融合多深度圖的深度圖產生裝置 Download PDF

Info

Publication number
TWI672677B
TWI672677B TW106146514A TW106146514A TWI672677B TW I672677 B TWI672677 B TW I672677B TW 106146514 A TW106146514 A TW 106146514A TW 106146514 A TW106146514 A TW 106146514A TW I672677 B TWI672677 B TW I672677B
Authority
TW
Taiwan
Prior art keywords
depth map
image
depth
images
generator
Prior art date
Application number
TW106146514A
Other languages
English (en)
Other versions
TW201843652A (zh
Inventor
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Publication of TW201843652A publication Critical patent/TW201843652A/zh
Application granted granted Critical
Publication of TWI672677B publication Critical patent/TWI672677B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

用以融合多深度圖的深度圖產生裝置包含二影像擷取器、一深度圖產生器及一混合器。該二影像擷取器是用以產生二第一影像；該深度圖產生器耦接於該二影像擷取器，其中該深度圖產生器根據該二第一影像，產生一第一深度圖和一第二深度圖；該混合器耦接於該深度圖產生器，用以融合該第一深度圖和該第二深度圖以產生一最終深度圖，其中該第一深度圖和該第二深度圖具有不同的特性。

Description

用以融合多深度圖的深度圖產生裝置
本發明是有關於一種用以融合多深度圖的深度圖產生裝置，尤指一種可融合二具有不同特性的深度圖的深度圖產生裝置。
一般說來，具有較高準確度(例如對應一長基線)的深度圖的有效區會較具有較低準確度(例如對應一短基線)的深度圖的有效區窄，所以一使用者可能因為需要較大的有效區而選擇具有較低準確度的深度圖(也就是具有較高準確度的深度圖將會被捨棄)。因此，現有技術提供一種深度引擎可通過預定的判斷條件使該深度引擎產生一深度圖。例如該深度引擎可通過該預定的判斷條件使該深度引擎所產生的深度圖具有較低準確度，其中該預定的判斷條件是對應深度圖的準確度和有效區範圍之間的取捨(tradeoff)。也就是說該深度引擎可通過該預定的判斷條件不是使該深度引擎所產生的深度圖具有較大的有效區範圍(但具有較低準確度)，就是使該深度引擎所產生的深度圖具有較小的有效區範圍(但具有較高準確度)，也就是說該深度引擎不能通過該預定的判斷條件產生同時兼顧不同特性(例如準確度和範圍)的深度圖。因此，現有技術對該使用者而言仍然不是一個好的技術解決方案。
本發明的一實施例提供一種用以融合多深度圖的深度圖產生裝置。該深度圖產生裝置包含二影像擷取器、一深度圖產生器及一混合器。該二影像擷取器是用以產生二第一影像；該深度圖產生器耦接於該二影像擷取器，其中該深度圖產生器根據該二第一影像，產生一第一深度圖和一第二深度圖；該混合器耦接於該深度圖產生器，用以融合該第一深度圖和該第二深度圖以產生一最終深度圖，其中該第一深度圖和該第二深度圖具有不同的特性。
本發明的另一實施例提供一種用以融合多深度圖的深度圖產生裝置。該深度圖產生裝置包含一影像擷取器、一光源、一深度圖產生器及一混合器。該光源是用以發出一結構光，且該影像擷取器擷取包含該結構光的一第一影像。該深度圖產生器耦接於該影像擷取器，其中該深度圖產生器根據該第一影像，產生一第一深度圖和一第二深度圖。該混合器耦接於該深度圖產生器，用以融合該第一深度圖和該第二深度圖以產生一最終深度圖，其中該第一深度圖和該第二深度圖具有不同的特性。
本發明的另一實施例提供一種深度圖產生裝置。該深度圖產生裝置包含二影像擷取器和一深度圖產生器。該影像擷取器是用以產生二第一影像；該深度圖產生器，耦接於該二影像擷取器，其中該深度圖產生器根據該二第一影像產生一第一深度圖，並動態調整該二第一影像的解析度以改變該第一深度圖的特性。
本發明提供一種用以融合多深度圖的深度圖產生裝置。該深度圖產生裝置利用至少二影像擷取器產生對應至少二解析度或至少二區塊匹配比對採 樣頻率的至少二深度圖，其中該至少二深度圖具有至少二特性。該深度圖產生裝置也可利用至少一光源所發出的結構光和至少一影像擷取器產生對應該至少二解析度或該至少二區塊匹配比對採樣頻率的至少二深度圖，其中對應該至少二解析度或該至少二區塊匹配比對採樣頻率的至少二深度圖也具有該至少二特性。然後，本發明可融合具有上述具有該至少二特性的至少二深度圖，產生一最後深度圖。因此，相較於現有技術，本發明可擴展該最後深度圖的範圍，或可增加該最後深度圖的準確度。
100、300、600‧‧‧深度圖產生裝置
102、104‧‧‧影像擷取器
106‧‧‧光源
108‧‧‧深度圖產生器
110‧‧‧混合器
112‧‧‧印刷電路板
402、404‧‧‧區塊
D1、D2‧‧‧距離
FIDP‧‧‧最終深度圖
FIM‧‧‧第一影像
FDP‧‧‧第一深度圖
IVA1‧‧‧無效區
SDP‧‧‧第二深度圖
VA1、VA2‧‧‧有效區
第1圖是本發明的第一實施例所公開的一種用以融合多深度圖的深度圖產生裝置的示意圖。
第2圖是說明對應二不同解析度的深度圖的有效範圍的示意圖。
第3圖是本發明的第二實施例所公開的一種用以融合多深度圖的深度圖產生裝置的示意圖。
第4A圖是說明第一編碼圖案的示意圖。
第4B圖是說明第二編碼圖案的示意圖。
第5圖是說明第三編碼圖案的示意圖。
第6圖是本發明的第三實施例所公開的一種用以融合多深度圖的深度圖產生裝置的示意圖。
請參照第1、2圖，第1圖是本發明的第一實施例所公開的一種用以融合多深度圖的深度圖產生裝置100的示意圖，第2圖是說明對應二不同解析度的深度圖的有效範圍的示意圖。如第1圖所示，深度圖產生裝置100包含二影像擷取器102、104，一深度圖產生器108和一混合器110。但本發明並不受限於深度圖產生裝置100只包含二影像擷取器102、104，也就是說深度圖產生裝置100可包含二個以上的影像擷取器。影像擷取器102、104、深度圖產生器108和混合器110是設置在一印刷電路板112之上，但為了簡化第1圖，印刷電路板112上僅顯示影像擷取器102、104。
影像擷取器102、104是用以擷取二第一影像FIM。如第1圖所示，在深度圖產生器108接收二第一影像FIM後，深度圖產生器108可根據第一影像FIM產生一第一深度圖FDP。另外，如第1圖所示，在深度圖產生器108接收二第一影像FIM後，深度圖產生器108可水平縮小二第一影像FIM以產生二第二影像，其中該二第二影像的解析度低於二第一影像FIM的解析度。然後深度圖產生器108可根據該二第二影像產生一暫時第二深度圖。在深度圖產生器108產生該暫時第二深度圖後，深度圖產生器108可再水平放大該暫時第二深度圖以產生一第二深度圖SDP。如第2圖所示，因為該二第二影像的解析度低於二第一影像FIM的解析度，所以第二深度圖SDP的第二解析度會低於第一深度圖FDP的第一解析度，也就是說第一深度圖FDP的準確度較第二深度圖SDP的準確度高，但第一深度圖FDP的有效區範圍較第二深度圖SDP的有效區範圍小，也就是說對應第一深度圖FDP的最大視差的距離D1會大於對應第二深度圖SDP的最大視差的距離D2。
在第一深度圖FDP和第二深度圖SDP產生後，電連接深度圖產生器108的混合器110可根據一第一規則融合第一深度圖FDP和第二深度圖SDP以產 生一最終深度圖FIDP。該第一規則包含第一深度圖FDP的無效區IVA1(對應距離D1)是由第二深度圖SDP的有效區VA2取代。本發明實施例所述的深度圖的無效區可由視角(FOV)大小、基線(baseline)長短等因素所決定。例如第一深度圖FDP的視差d可根據式(1)所決定：d=RES*BL/(Z*2tan(FOV/2)) (1)
其中RES是第一深度圖FDP的第一解析度，BL是影像擷取器102、104之間的基線，FOV是影像擷取器102、104的視角，以及Z是一物件在第一深度圖FDP的距離。
但在本發明的另一實施例中，該第一規則包含第一深度圖FDP中的無效區IVA1和第一深度圖FDP中鄰近無效區IVA1的預定毗連區是由第二深度圖SDP的相對應有效區取代，以避免混合器110因為第一深度圖FDP中的無效區IVA1的誤差而產生包含第一深度圖FDP的部分無效區的最終深度圖FIDP，其中該預定毗連區的範圍可依設計需求或使用情境而調整。此外，當第一深度圖FDP和第二深度圖SDP是用視差表示時，第二深度圖SDP的有效區VA2的視差必須乘上一第一正規化比例以匹配第一深度圖FDP的視差，其中該第一正規化比例是由式(2)所決定：FNRA=HHL/LHL (2)
其中FNRA為該第一正規化比例、HHL為第一影像FIM的水平方向的長度以及LHL為該第二影像的水平方向的長度，其中該第二影像的解析度低於 第一影像FIM的解析度。因此，最終深度圖FIDP將包含第一深度圖FDP的有效區VA1和第二深度圖SDP的有效區VA2，其中有效區VA2的視差是一正規化後的視差。
另外，在本發明的另一實施例中，深度圖產生器108可先水平放大二第一影像FIM以產生該二第二影像，其中該二第二影像的解析度高於二第一影像FIM的解析度。然後深度圖產生器108可根據該二第二影像產生該暫時第二深度圖，以及水平縮小該暫時第二深度圖以產生第二深度圖SDP。另外，在本發明的另一實施例中，深度圖產生器108可根據該二第二影像產生第二深度圖SDP，以及水平縮小第一深度圖FDP以匹配第二深度圖SDP。
另外，深度圖產生器108可以是一具有上述深度圖產生器108的功能的現場可程式邏輯閘陣列，或是一具有上述深度圖產生器108的功能的特殊應用積體電路或是一具有上述深度圖產生器108的功能的軟體模組。另外，混合器110可以是一具有上述混合器110的功能的現場可程式邏輯閘陣列，或是一具有上述混合器110的功能的特殊應用積體電路或或是一具有上述混合器110的功能的軟體模組。另外，在本發明的另一實施例中，深度圖產生器108和混合器110可整合成為一處理器，其中該處理器可以是一具有上述深度圖產生器108的功能和上述混合器110的功能的現場可程式邏輯閘陣列，或是一具有上述深度圖產生器108的功能和上述混合器110的功能的特殊應用積體電路或是一具有上述深度圖產生器108的功能和上述混合器110的功能的軟體模組。
另外，在本發明的另一實施例中，在深度圖產生器108接收二第一影像FIM後，深度圖產生器108也可藉由改變匹配比對的解析度，亦即取樣頻率， 從而產生具有不同解析度的第一及第二深度圖。以第一區塊匹配比對採樣頻率大於第二區塊匹配比對採樣頻率的情況為例，深度圖產生器108可根據第一區塊匹配比對採樣頻率和第二區塊匹配比對採樣頻率，對二第一影像FIM進行匹配比對，以產生對應該第一區塊匹配比對採樣頻率的第一深度圖和對應該第二區塊匹配比對採樣頻率的第二深度圖。因為該第一區塊匹配比對採樣頻率大於該第二區塊匹配比對採樣頻率，所以對應該第一區塊匹配比對採樣頻率的第一深度圖的解析度大於對應該第二區塊匹配比對採樣頻率的第二深度圖的解析度，其中對應該第一區塊匹配比對採樣頻率的第一深度圖的有效範圍和對應該第二區塊匹配比對採樣頻率的第二深度圖的有效範圍可參照第2圖。另外，混合器110可根據該第一規則融合對應該第一區塊匹配比對採樣頻率的第一深度圖和對應該第二區塊匹配比對採樣頻率的第二深度圖。例如，該第一規則包含該第一深度圖的無效區是由該第二深度圖的有效區取代。但在本發明的另一實施例中，該第一深度圖的無效區和該第一深度圖中鄰近該第一深度圖的無效區的預定毗連區是由該第二深度圖的相對應有效區取代以避免混合器110因為該第一深度圖中的無效區的誤差而產生包含該第一深度圖的部分無效區的最終深度圖，其中該第一深度圖的預定毗連區的範圍可依設計需求或使用情境而調整。另外，當對應該第一區塊匹配比對採樣頻率的第一深度圖和對應該第二區塊匹配比對採樣頻率的第二深度圖是用視差表示時，對應該第二區塊匹配比對採樣頻率的第二深度圖的有效區的視差必須乘上一第二正規化比例以區塊匹配比對對應該第一區塊匹配比對採樣頻率的第一深度圖的視差，其中該第二正規化比例是由式(3)所決定：SNRA=FSR/SSR (3)
其中SNRA為該第二正規化比例、FSR為該第一區塊匹配比對採樣頻率以及SSR為該第二區塊匹配比對採樣頻率。
請參照第3圖，第3圖是本發明的第二實施例所公開的一種用以融合多深度圖的深度圖產生裝置300的示意圖，其中深度圖產生裝置300包含影像擷取器102、104，一光源106、一深度圖產生器108和一混合器110，以及光源106是用以增加深度圖產生器108所產生的第一深度圖FDP、第二深度圖SDP的品質。但本發明並不受限於深度圖產生裝置300只包含光源106，也就是說深度圖產生裝置300可包含一個以上的光源。另外，深度圖產生裝置300的影像擷取器102、104，深度圖產生器108和混合器110的操作原理可參考深度圖產生裝置100的影像擷取器102、104，深度圖產生器108和混合器110的操作原理，在此不再贅述。
在本發明的一實施例中，光源106是一紅外線光源，用以發出一結構光。但本發明並不受限於光源106是一紅外線光源，也就是說光源106可以是其他形式的光源(例如可見光源)。或者在本發明的另一實施例中，深度圖產生裝置300也可包含至少一紅外線雷射光源。另外，在本發明的一實施例中，光源106可根據深度圖產生裝置300所處環境的亮度、第一深度圖FDP(或第二深度圖SDP)的品質，以及對應光源106開啟與關閉時的差異的其中至少一項開啟。
當光源106是根據深度圖產生裝置300所處環境的亮度開啟時，一控制器(未繪示於第3圖)可根據影像擷取器102(或影像擷取器104)目前所設定的一快門時間、一曝光時間和一ISO感光度(增益)的其中至少一項，判斷深度圖產生裝置300所處環境的亮度。以該曝光時間為例，在本發明的一實施例中，當影像 擷取器102的快門時間固定(或無快門)時，該控制器可根據式(4)所產生的值GEX，決定是否開啟光源106：GEX=gain*EXPT (4)
其中gain為對應影像擷取器102的增益以及EXPT為對應影像擷取器102的曝光時間。當值GEX大於一高臨界值時，意味著深度圖產生裝置300所處環境的亮度太暗，所以該控制器開啟光源106；當值GEX小於一低臨界值時，意味著深度圖產生裝置300所處環境的亮度夠亮，所以該控制器關閉光源106，其中該高臨界值大於該低臨界值。另外，當值GEX的一最大值(對應影像擷取器102的最大曝光時間與最大增益)都無法大於該高臨界值時，該控制器會根據深度圖產生裝置300所處環境的目前亮度，開啟光源106。
當光源106是根據第一深度圖FDP的品質開啟時，該控制器可根據對應第一深度圖FDP內具有無效值的像素數目和對應第一深度圖FDP的平滑度的其中至少一項，判斷第一深度圖FDP的品質。例如，在本發明的一實施例中，該控制器可根據式(5)所產生的成本值COST，決定是否開啟光源106：COST=a*mean(HPF(x))+b*invalid_cnt(x) (5)
其中HPF(x)為對應一高通濾波器的響應(因為第一深度圖FDP的平滑度是有關第一深度圖FDP的高頻區域)，mean(HPF(x))為對應該高通濾波器的響應的平均值(但在本發明的另一實施例中，mean(HPF(x))可被對應該高通濾波器的響應的總和取代)，invalid_cnt(x)為第一深度圖FDP內具有無效值的像素數目， x為第一深度圖FDP，以及a、b為係數。當成本值COST大於一臨界值時，意味著深度圖產生裝置300所處環境的亮度太暗或是第一深度圖FDP中的被攝物件無紋理，所以該控制器開啟光源106。另外，在光源106開啟一預定時間後，該控制器可嘗試關閉光源106使影像擷取器102擷取至少一影像，然後該控制器可根據式(5)計算出對應該至少一影像的成本值。如果對應該至少一影像的成本值仍然大於該臨界值，則該控制器重新開啟光源106直到該預定時間後再次重複上述動作；如果對應該至少一影像的成本值小於該臨界值，則該控制器關閉光源106直到對應該至少一影像的成本值再次大於該臨界值。
另外，該控制器可開啟與關閉光源106，並根據第一深度圖FDP對應光源106開啟與關閉時的差異，判斷第一深度圖FDP的品質。如果第一深度圖FDP對應光源106開啟與關閉時的差異小於一參考值，意味著光源106的開啟與關閉並不會影響第一深度圖FDP的品質，所以該控制器可關閉光源106。
另外，當光源106開啟後，該控制器可根據對應影像擷取器102、104所擷取的複數個影像的亮度和一目標值選擇性地調整光源106的強度，其中該目標值是根據一人體皮膚對光源106所發射的結構光的反射係數而設定。例如該控制器可根據該複數個影像產生對應該複數個影像的亮度分布圖，以及根據該亮度分布圖中大於該目標值的至少一亮度值中的最大亮度值所在的面積佔第一深度圖FDP的百分比，選擇性地調整光源106的強度。另外，在本發明的另一實施例中，該控制器是根據該複數個影像產生對應該複數個影像的平均亮度，以及根據該平均亮度和該目標值，選擇性地調整光源106的強度。另外，在本發明的另一實施例中，該控制器是根據該複數個影像產生對應於該複數個影像的複數個像素的亮度直方圖，以及根據該亮度直方圖的中位數和該目標值或該亮度直 方圖的四分位數和該目標值，選擇性地調整光源106的強度。
另外，在本發明的另一實施例中，當光源106開啟後，該控制器可根據該複數個影像中的至少一預定物件與影像擷取器102(或影像擷取器104)之間的距離和一第一查閱表，選擇性地動態調整光源106的強度，其中該第一查閱表儲存物件距離與光源106的強度之間的關係。另外，在本發明的另一實施例中，該控制器是根據該複數個圖像中的至少一預定物件與影像擷取器102(或影像擷取器104)之間的距離和一第一相關公式，選擇性地動態調整光源106的強度。
另外，在本發明的另一實施例中，該控制器一直偵測在光源106關閉的情況下深度圖產生裝置300所處環境的亮度，當該環境的亮度越亮時，則根據一第二查閱表增加光源106開啟時的強度，其中該第二查閱表儲存光源106開啟時的強度與該環境的亮度之間的關係。另外，在本發明的另一實施例中，當該環境的亮度越亮時，該控制器是根據一第二相關公式增加光源106開啟時的強度。
另外，在本發明的另一實施例中，該控制器先關閉光源106後，偵測該環境的亮度。然後根據本發明領域具有熟知技藝者所熟知的自動曝光(AE)演算法，利用影像擷取器102(或影像擷取器104)的曝光時間(或快門時間、曝光時間和ISO感光度(增益)的其中至少一項)將該環境的亮度降低至不會干擾影像擷取器102(或影像擷取器104)，並固定當下的影像擷取器102(或影像擷取器104)的曝光時間。然後該控制器開啟光源106並偵測光源106的強度到一目標值。
另外，在本發明的一實施例中，上述光源106所提供的該結構光為一 編碼圖案(coding pattern，也就是和亂數有關的圖案)。但在本發明的另一實施例中，該結構光可結合一第一編碼圖案與一第二編碼圖案。請參照第4A、4B圖，第4A圖是說明該第一編碼圖案的示意圖，第4B圖是說明該第二編碼圖案的示意圖。如第4A圖所示，該第一編碼圖案根據該第二編碼圖案分割成複數個區塊，然後該複數個區塊採用該第二編碼圖案以形成該結構光。例如，如第4B圖所示，當該複數個區塊的一區塊402採用該第二編碼圖案時，區塊402內的像素的亮度必須被降低，也就是說只有區塊402內的已經點亮的像素的亮度必須被降低，以及區塊402內其他未被點亮的像素則維持暗的。另外，如第4B圖所示，當該複數個區塊的一區塊404採用該第二編碼圖案時，區塊404內的像素的亮度必須被增加，也就是說只有區塊404內的已經點亮的像素的亮度必須被增加，以及區塊404內的未被點亮的像素內其他未被點亮的像素則維持暗的，以形成該結構光。另外，在本發明的另一實施例中，當該複數個區塊採用該第二編碼圖案時，該複數個區塊的每一區塊內的已經點亮的像素的亮度可具有多階變化。另外，在本發明的另一實施例中，如第5圖所示的一第三編碼圖案也可套用至該第一編碼圖案(如第4A圖所示)以形成該結構光。
另外，在本發明的另一實施例中，混合器110是根據第一深度圖FDP和第二深度圖SDP的平滑度，產生最終深度圖FIDP。例如，在本發明的一實施例中，當第一深度圖FDP中一第一區塊邊緣的平滑度比第二深度圖SDP中一第一對應區塊邊緣的平滑度佳時，混合器110所產生的最終深度圖FIDP將包含第一深度圖FDP中的該第一區塊，其中該第一區塊和該第一對應區塊包含至少一像素；當第一深度圖FDP中一第二區塊邊緣的平滑度比第二深度圖SDP中一第二對應區塊邊緣的平滑度差時，混合器110所產生的最終深度圖FIDP將包含第二深度圖SDP中的該第二對應區塊，其中該第二區塊和該第二對應區塊也包含至少一像 素。另外，混合器110可在第二深度圖SDP被執行上述正規化之前或之後比較第一深度圖FDP的平滑度和第二深度圖SDP的平滑度。另外，在本發明的另一實施例中，當第二深度圖SDP的視差被執行該正規化動作後，當第一深度圖FDP中一第三區塊所對應的平均深度和第二深度圖SDP中一第三對應區塊所對應的平均深度之間的差異大於一預定值時，混合器110所產生的最終深度圖FIDP將包含第二深度圖SDP中該第三對應區塊(因為當第一深度圖FDP中該第三區塊所對應的平均深度和第二深度圖SDP中該第三對應區塊所對應的平均深度之間的差異大於該預定值時，意味著第一深度圖FDP中該第三區塊位在第一深度圖FDP無效區IVA1)，其中該第三區塊和該第三對應區塊包含至少一像素；當第一深度圖FDP中一第四區塊所對應的平均深度和第二深度圖SDP中一第四對應區塊所對應的平均深度之間的差異小於該預定值時，混合器110所產生的最終深度圖FIDP將包含第一深度圖FDP中該第四區塊(因為第一深度圖FDP的準確度高於第二深度圖SDP的準確度)，其中該第四區塊和該第四對應區塊也包含至少一像素。另外，在本發明的另一實施例中，混合器110是根據第一深度圖FDP的每一區塊和第二深度圖SDP的每一區塊的平滑度，第一深度圖FDP的每一區塊和第二深度圖SDP的每一區塊的平均深度，以及第一深度圖FDP和第二深度圖SDP的有效區/無效區的其中至少一項，產生最終深度圖FIDP。
另外，請參照第6圖，第6圖是本發明的第三實施例所公開的一種用以融合多深度圖的深度圖產生裝置600的示意圖，其中深度圖產生裝置600包含影像擷取器102，光源106、深度圖產生器108和混合器110。另外，在本發明的另一實施例中，深度圖產生裝置600也可包含一個以上的影像擷取器以及一個以上的光源。影像擷取器102是用以擷取產生包含該結構光的一第一影像FIM。在深度圖產生器108接收第一影像FIM後，深度圖產生器108的操作原理可參考深度 圖產生裝置100的深度圖產生器108的操作原理(例如深度圖產生器108可使第二深度圖SDP的第二解析度低於第一深度圖FDP的第一解析度)，所以在此不再贅述。
從另一角度而言，本發明實施例另提出一種可動態調整解析度的深度圖產生裝置，其包含二影像擷取器以及耦接於該二影像擷取器的一深度圖產生器。其中，二影像擷取器可用以擷取及產生二第一影像，深度圖產生器則可接收該二第一影像，並根據該二第一影像產生第一深度圖，以及動態調整該二第一影像以改變第一深度圖的準確度。其中深度圖產生器例如是動態調整該二第一影像的影像解析度或是匹配比對的採樣頻率，從而改變該第一深度圖的準確度。如此一來，本實施例即可利用具有一預設有效範圍的第一深度圖來對物件的深度資訊進行第一次偵測，再據以動態調整解析度以改變此第一深度圖的有效範圍，進而對物件的深度資訊進行二次偵測，有效提升深度偵測的準確度。
綜上所述，本發明所提供的用以融合多深度圖的深度圖產生裝置利用至少二影像擷取器產生對應至少二解析度或至少二區塊匹配比對採樣頻率的至少二深度圖，其中該至少二深度圖具有至少二特性，例如不同的準確度或是不同的平滑度。另外，該深度圖產生裝置也可利用該至少一光源所發出的結構光和至少一影像擷取器產生對應該至少二解析度或該至少二區塊匹配比對採樣頻率的至少二深度圖。然後，本發明可融合具有上述具有至少二特性的至少二深度圖，產生該最後深度圖。因此，相較於現有技術，本發明可擴展該最後深度圖的範圍，或可增加該最後深度圖的準確度。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等 變化與修飾，皆應屬本發明之涵蓋範圍。

Claims (15)

  1. 一種用以融合多深度圖的深度圖產生裝置，包含：二影像擷取器，用以產生二第一影像；一深度圖產生器，耦接於該二影像擷取器，其中該深度圖產生器根據該二第一影像，產生一第一深度圖和一第二深度圖；及一混合器，耦接於該深度圖產生器，用以融合該第一深度圖和該第二深度圖以產生一最終深度圖，其中該第一深度圖和該第二深度圖具有不同的特性，該第一深度圖的解析度和該第二深度圖的解析度不同，且該混合器利用該第一深度圖和該第二深度圖的其中之一深度圖的有效區取代該第一深度圖和該第二深度圖的其中之另一深度圖的無效區以融合出該最終深度圖。
  2. 如請求項1所述的深度圖產生裝置，其中該深度圖產生器縮放該二第一影像以產生二第二影像，以及該深度圖產生器分別根據該二第一影像和該二第二影像產生該第一深度圖和該第二深度圖。
  3. 如請求項2所述的深度圖產生裝置，其中該二第一影像的解析度和該二第二影像的解析度不同。
  4. 如請求項1所述的深度圖產生裝置，其中該深度圖產生器利用二區塊匹配(block matching)比對採樣頻率對該二第一影像進行匹配比對以產生該第一深度圖和該第二深度圖，其中該第一深度圖和該第二深度圖對應該二區塊匹配比對採樣頻率。
  5. 如請求項1所述的深度圖產生裝置，其中該混合器根據該第一深度圖中的每一區塊的平滑度和該第二深度圖中的一對應區塊的平滑度，融合該第一深度圖和該第二深度圖以產生該最終深度圖，以及該每一區塊和該對應區塊都包含至少一像素。
  6. 如請求項1所述的深度圖產生裝置，另包含：一光源，用以發出一結構光，其中該二第一影像包含該結構光。
  7. 如請求項6所述的深度圖產生裝置，其中該結構光的編碼圖案(coding pattern)是通過至少二編碼圖案產生。
  8. 一種用以融合多深度圖的深度圖產生裝置，包含：一影像擷取器；一光源，用以發出一結構光，且該影像擷取器擷取包含該結構光的一第一影像；一深度圖產生器，耦接於該影像擷取器，其中該深度圖產生器根據該第一影像，產生一第一深度圖和一第二深度圖；及一混合器，耦接於該深度圖產生器，用以融合該第一深度圖和該第二深度圖以產生一最終深度圖，其中該第一深度圖和該第二深度圖具有不同的特性，該第一深度圖的解析度和該第二深度圖的解析度不同，且該混合器利用該第一深度圖和該第二深度圖的其中之一深度圖的有效區取代該第一深度圖和該第二深度圖的其中之另一深度圖的無效區以融合出該最終深度圖。
  9. 如請求項8所述的深度圖產生裝置，其中該深度圖產生器縮放該第一影像以產生一第二影像，以及該深度圖產生器分別根據該第一影像和該第二影像產生該第一深度圖和該第二深度圖。
  10. 如請求項9所述的深度圖產生裝置，其中該第一影像的解析度和該第二影像的解析度不同。
  11. 如請求項8所述的深度圖產生裝置，其中該深度圖產生器利用二區塊匹配比對採樣頻率對該第一影像採樣以產生該第一深度圖和該第二深度圖，其中該第一深度圖和該第二深度圖對應該二區塊匹配比對採樣頻率。
  12. 如請求項8所述的深度圖產生裝置，其中該結構光包含至少二編碼圖案。
  13. 如請求項8所述的深度圖產生裝置，其中該混合器根據該第一深度圖中的每一區塊的平滑度和該第二深度圖中的一對應區塊的平滑度，融合該第一深度圖和該第二深度圖以產生該最終深度圖，以及該每一區塊和該對應區塊都包含至少一像素。
  14. 一種深度圖產生裝置，包含：二影像擷取器，用以產生二第一影像；及一深度圖產生器，耦接於該二影像擷取器，其中該深度圖產生器根據該二第一影像產生一第一深度圖，並動態調整該二第一影像的解析度以改變該第一深度圖的特性以產生一第二深度圖；其中該第一深度圖的解析度和該第二深度圖的解析度不同，該第一深度圖和該第二深度圖是用以產生一最終深度圖，且該混合器利用該第一深度圖和該第二深度圖的其中之一深度圖的有效區取代該第一深度圖和該第二深度圖的其中之另一深度圖的無效區以融合出該最終深度圖。
  15. 如請求項14所述的深度圖產生裝置，其中該深度圖產生器動態調整該二第一影像的影像解析度或區塊匹配比對採樣頻率以改變該第一深度圖的特性。
TW106146514A 2017-03-31 2017-12-29 用以融合多深度圖的深度圖產生裝置 TWI672677B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762479331P 2017-03-31 2017-03-31
US62/479,331 2017-03-31

Publications (2)

Publication Number Publication Date
TW201843652A TW201843652A (zh) 2018-12-16
TWI672677B true TWI672677B (zh) 2019-09-21

Family

ID=63671146

Family Applications (3)

Application Number Title Priority Date Filing Date
TW106146514A TWI672677B (zh) 2017-03-31 2017-12-29 用以融合多深度圖的深度圖產生裝置
TW107100051A TWI660327B (zh) 2017-03-31 2018-01-02 用以融合多深度圖的深度圖產生裝置
TW107111345A TWI692967B (zh) 2017-03-31 2018-03-30 影像裝置

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW107100051A TWI660327B (zh) 2017-03-31 2018-01-02 用以融合多深度圖的深度圖產生裝置
TW107111345A TWI692967B (zh) 2017-03-31 2018-03-30 影像裝置

Country Status (3)

Country Link
US (5) US10650542B2 (zh)
CN (3) CN108961194A (zh)
TW (3) TWI672677B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
KR102344104B1 (ko) * 2017-08-22 2021-12-28 삼성전자주식회사 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
EP3766023A4 (en) * 2018-03-13 2021-04-21 Magic Leap, Inc. IMAGE-ENHANCED DEPTH DETECTION USING AUTOMATIC LEARNING
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US10863097B2 (en) * 2018-08-21 2020-12-08 Gopro, Inc. Field of view adjustment
US11257237B2 (en) * 2019-08-29 2022-02-22 Microsoft Technology Licensing, Llc Optimized exposure control for improved depth mapping
CN110996041A (zh) * 2019-10-15 2020-04-10 安徽清新互联信息科技有限公司 一种图像采集设备的自动巡检方法及系统
JP2021086189A (ja) * 2019-11-25 2021-06-03 キヤノン株式会社 情報処理装置、情報処理方法、映像処理システム、およびプログラム
US11450018B1 (en) * 2019-12-24 2022-09-20 X Development Llc Fusing multiple depth sensing modalities
CN113542712A (zh) * 2020-04-16 2021-10-22 钰立微电子股份有限公司 多深度信息的处理方法与处理系统
CN113890984B (zh) * 2020-07-03 2022-12-27 华为技术有限公司 拍照方法、图像处理方法和电子设备
US11741671B2 (en) 2021-06-16 2023-08-29 Samsung Electronics Co., Ltd. Three-dimensional scene recreation using depth fusion
US11488348B1 (en) * 2021-12-09 2022-11-01 Unity Technologies Sf Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
CN104185857A (zh) * 2011-10-10 2014-12-03 皇家飞利浦有限公司 深度图处理
CN106068646A (zh) * 2015-12-18 2016-11-02 京东方科技集团股份有限公司 深度图生成方法、装置和非短暂性计算机可读介质

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141145A (en) * 1998-08-28 2000-10-31 Lucent Technologies Stereo panoramic viewing system
CN1878317A (zh) * 2005-06-07 2006-12-13 朱河东 一种渐变式立体影像及其制作方法
KR100653200B1 (ko) * 2006-01-09 2006-12-05 삼성전자주식회사 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
CN100588250C (zh) 2007-02-05 2010-02-03 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN100556153C (zh) * 2007-12-05 2009-10-28 宁波大学 一种多视点图像的预处理方法
RU2518218C2 (ru) * 2009-05-12 2014-06-10 Хуавэй Дивайс Ко., Лтд. Система дистанционного присутствия, способ дистанционного присутствия и устройство сбора видеоданных
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
TWI445398B (zh) * 2010-07-09 2014-07-11 Novatek Microelectronics Corp 影像校正裝置及影像校正方法
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
KR101265667B1 (ko) * 2011-06-21 2013-05-22 ㈜베이다스 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP2013038602A (ja) 2011-08-08 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
WO2013108531A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 受信装置、受信方法および電子機器
CN102609974B (zh) 2012-03-14 2014-04-09 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
US20140198977A1 (en) * 2012-03-21 2014-07-17 Texas Instruments Incorporated Enhancement of Stereo Depth Maps
WO2013166656A1 (zh) 2012-05-08 2013-11-14 青岛海信信芯科技有限公司 一种提取及优化图像深度图的方法与装置
LU92074B1 (en) * 2012-09-18 2014-03-19 Iee Sarl Depth image enhancement method
CN103777454A (zh) * 2012-10-25 2014-05-07 耿征 真三维图像显示系统及显示方法
CN103345736B (zh) * 2013-05-28 2016-08-31 天津大学 一种虚拟视点绘制方法
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
KR102184766B1 (ko) * 2013-10-17 2020-11-30 삼성전자주식회사 3차원 모델 복원 시스템 및 방법
EP2869263A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating depth map of a scene
IN2013CH05313A (zh) 2013-11-18 2015-05-29 Nokia Corp
US8730299B1 (en) * 2013-11-27 2014-05-20 Dmitry Kozko Surround image mode for multi-lens mobile devices
CN103824318B (zh) * 2014-02-13 2016-11-23 西安交通大学 一种多摄像头阵列的深度感知方法
CN103942756B (zh) 2014-03-13 2017-03-29 华中科技大学 一种深度图后处理滤波的方法
CN105007475B (zh) 2014-04-17 2017-08-04 聚晶半导体股份有限公司 产生深度信息的方法与装置
CN103996174B (zh) * 2014-05-12 2017-05-10 上海大学 一种对Kinect深度图像进行空洞修复的方法
CN105282537A (zh) * 2014-07-04 2016-01-27 聚晶半导体股份有限公司 图像获取装置
CN105491267A (zh) * 2014-09-16 2016-04-13 聚晶半导体股份有限公司 影像撷取装置及数位变焦方法
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
TWI554103B (zh) 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
CN106210698B (zh) 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
TWI540897B (zh) * 2015-05-08 2016-07-01 光寶電子（廣州）有限公司 深度相機的控制方法
TWI554108B (zh) * 2015-08-04 2016-10-11 緯創資通股份有限公司 電子裝置及影像處理方法
US11461912B2 (en) * 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
CN105869167A (zh) * 2016-03-30 2016-08-17 天津大学 基于主被动融合的高分辨率深度图获取方法
NL2016660B1 (en) * 2016-04-22 2017-11-15 Cyclomedia Tech B V Image stitching method and device.
CN105744239B (zh) * 2016-05-11 2018-10-19 湖南源信光电科技有限公司 多焦距镜头超高分辨率联动成像装置
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
US20180070010A1 (en) * 2016-09-02 2018-03-08 Altek Semiconductor Corp. Image capturing apparatus and image zooming method thereof
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns
US10771768B2 (en) * 2016-12-15 2020-09-08 Qualcomm Incorporated Systems and methods for improved depth sensing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104185857A (zh) * 2011-10-10 2014-12-03 皇家飞利浦有限公司 深度图处理
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
US20150302592A1 (en) * 2012-11-07 2015-10-22 Koninklijke Philips N.V. Generation of a depth map for an image
CN106068646A (zh) * 2015-12-18 2016-11-02 京东方科技集团股份有限公司 深度图生成方法、装置和非短暂性计算机可读介质

Also Published As

Publication number Publication date
TW201837785A (zh) 2018-10-16
US20200234460A1 (en) 2020-07-23
US20180293749A1 (en) 2018-10-11
CN108718392B (zh) 2021-07-16
CN108718392A (zh) 2018-10-30
US10650542B2 (en) 2020-05-12
US20180293748A1 (en) 2018-10-11
TW201843652A (zh) 2018-12-16
CN108961194A (zh) 2018-12-07
US20180288397A1 (en) 2018-10-04
US10977817B2 (en) 2021-04-13
US10699432B2 (en) 2020-06-30
CN108718373B (zh) 2022-11-15
CN108718373A (zh) 2018-10-30
US20210201521A1 (en) 2021-07-01
TWI660327B (zh) 2019-05-21
TWI692967B (zh) 2020-05-01
TW201837860A (zh) 2018-10-16
US11120567B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
TWI672677B (zh) 用以融合多深度圖的深度圖產生裝置
US10771714B2 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
US9863767B2 (en) Motion sensor device having plurality of light sources
CN104335030B (zh) 基板的异物检测方法
CN108696739B (zh) 可校正遮蔽区的深度图产生装置
TW201733350A (zh) 適於產生深度圖的電子裝置與方法
US10616561B2 (en) Method and apparatus for generating a 3-D image
TWI711870B (zh) 具有可調光強度的深度產生系統
TW201520975A (zh) 產生場景深度圖之方法及裝置
TW201421074A (zh) 藉由所關注之物體之可調適照射之深度成像方法及裝置
TW202004660A (zh) 基於前景影像的背景虛化方法與電子裝置
KR20130110308A (ko) 조인트 검사 장치
US20090146044A1 (en) Optical displacement detection apparatus and optical displacement detection method
CN113545028B (zh) 用于面部认证的增益控制
US20160131598A1 (en) Detection system for detecting a soldered joint
Danciu et al. Shadow removal in depth images morphology-based for kinect cameras
TWI646504B (zh) 深度感測裝置及深度感測方法
JP2004133919A (ja) 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
JP2014181949A (ja) 情報取得装置および物体検出装置
TWI728026B (zh) 使用頻域為基礎之處理之三維成像
Murray Human lightness perception is guided by simple assumptions about reflectance and lighting
TWI479372B (zh) 光學位移偵測裝置及方法
CN108351684A (zh) 操作检测装置、操作检测方法以及影像显示系统
JP2016169989A (ja) 視差画像生成システムおよび視差画像生成方法
WO2020241844A1 (ja) 画像処理装置及び画像処理プログラム