TWI631849B - 用於產生深度影像之裝置 - Google Patents

用於產生深度影像之裝置 Download PDF

Info

Publication number
TWI631849B
TWI631849B TW102131230A TW102131230A TWI631849B TW I631849 B TWI631849 B TW I631849B TW 102131230 A TW102131230 A TW 102131230A TW 102131230 A TW102131230 A TW 102131230A TW I631849 B TWI631849 B TW I631849B
Authority
TW
Taiwan
Prior art keywords
image
unit
rgb
images
generating
Prior art date
Application number
TW102131230A
Other languages
English (en)
Other versions
TW201414285A (zh
Inventor
李峻瑞
Original Assignee
Ｌｇ伊諾特股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｌｇ伊諾特股份有限公司 filed Critical Ｌｇ伊諾特股份有限公司
Publication of TW201414285A publication Critical patent/TW201414285A/zh
Application granted granted Critical
Publication of TWI631849B publication Critical patent/TWI631849B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

本發明係提供一種用於產生深度影像的裝置。根據本發明示範實施例的裝置係配置來藉由獲得RGB影像及/或IR影像來進行精確的立體匹配即使在低亮度的情況下；以及使用所獲得的RGB影像及/或IR影像來獲得深度影像的擷取。

Description

用於產生深度影像之裝置
本發明主張關於2012年09月03日所申請的南韓專利案號10-2012-0097101的優先權，並在此以引用的方式併入本文中，以作為參考。
本發明係關於一種用於產生深度影像之裝置。
如眾所周知，人類視覺為用以獲得周遭環境資訊之官能的一種，且可透過雙眼辨識一物體的位置、及遠近。也就是說，透過雙眼輸入的幻影資訊係被合成而成為一距離資訊以允許人類自由活動。以往係利用立體攝像系統來將幻影結構實現於機器中。
立體攝像系統對藉由兩攝像機所獲得的一影像執行一立體匹配，其中該立體攝像系統使用兩攝像機的雙眼像差在立體匹配程序中獲得深度影像。深度影像資料被作為辨識的用途。
此外，在低亮度下，立體攝像機辨識影像是有難度的，進而在獲得深度影像方面產生問題。
本發明實施例係用來解決至少一上述問題及/或缺點，以及提供將於下述說明中之至少一優點。因此，本發明係提供用於產生一深度 影像的裝置，其藉由在低亮度下獲得一紅外線(IR)影像以產生一深度影像。
在本發明一實施例中，提供一種用於產生一深度影像的裝置，該裝置包含：一攝像單元配置來輸出左和右RGB(紅-綠-藍)影像與左和右IR影像；以及一第一產生單元配置來從該些IR影像產生一深度影像，其中該些IR影像係由該攝像單元所接收的影像。
在本發明一實施例中，該攝像單元可包含：一第一感測單元配置來獲得該左RGB影像和該左IR影像、一第二感測單元配置來獲得該右RGB影像和該右IR影像、以及至少一發射單元配置來射出一紅外線。
在本發明一實施例中，該發射單元可包含一單個IR裝置或複數個IR裝置。
在本發明一實施例中，該IR裝置可包含LD(雷射二極體)以及LED(發光二極體)任一者。
在本發明一實施例中，該攝像單元可進一步包含一分光器排列在該發射單元的前端以將自發射單元所射出之紅外線分散在一預定圖案中。
在本發明一實施例中，該第一產生單元包含：一同步單元配置來將在所有第一和第二感測單元的輸出中的該左和右IR影像進行同步、以及一第二產生單元配置來從該左和右IR影像產生該深度影像，其中該左和右IR影像係由該同步單元所接收。
在本發明一實施例中，提供一種用於產生一深度影像的裝置，該裝置包含：一攝像單元配置來獲得左和右RGB影像、左和右RGB與IR影像(RGB影像/IR影像)、以及左和右IR影像任一者；以及一第一產生單 元配置來：控制該攝像單元以獲得左和右RGB影像、左和右RGB/IR影像、以及左和右IR影像任一者，且自該左和右RGB影像或該左和右IR影像產生一深度影像，其中該左和右RGB影像或該左和右IR影像係由該攝像單元所接收。
在本發明一實施例中，該攝像單元可包含：一第一感測單元配置來獲得左RGB影像、左RGB/IR影像、以及左IR影像任一者；一第二感測單元配置來獲得右RGB影像、右RGB/IR影像、以及右IR影像任一者；一光接收單元配置來偵測一照明強度、以及至少一發射單元配置來藉由開啟或關閉而射出一紅外線(IR)以響應該第一產生單元的控制。
在本發明一實施例中，該發射單元可包含單個IR裝置或複數個IR裝置s.
在本發明一實施例中，該IR裝置可包含一LD和一LED任一者。
在本發明一實施例中，該攝像單元可進一步包含一分光器排列在該發射單元的前端以將自發射單元所射出之紅外線分散在一預定圖案中。
在本發明一實施例中，該第一產生單元可包含：一控制器配置來控制發射單元的開啟(ON)和關閉(OFF)以響應由該光接收單元所偵測到一光強度、一同步單元配置來將自該第一和該第二感測單元所輸出的左和右IR影像進行同步化、以及一第二產生單元配置來從該同步單元所接收的該左和右IR影像產生該深度影像。
在本發明一實施例中，該第一產生單元可進一步包含：一開 關單元配置來開啟或關閉該發射單元以響應該控制器的控制。
在本發明一實施例中，該控制器可配置來改變該發射單元至一開啟(ON)狀態，當由該光接收單元所偵測到光強度低於一預定照明強度的時候。
在本發明另一實施例中，提供一種用於產生一深度影像的裝置，該裝置包含：一攝像單元配置來獲得左和右RGB影像、或左和右RGB和IR影像(RGB/IR影像)；以及一第一產生單元配置來控制該攝像單元以獲得一RGB影像或RGB/IR影像，且從該攝像單元所接收的左/右RGB影像或IR影像產生一深度影像。
在本發明另一實施例中，該攝像單元可包含：一第一感測單元配置來獲得該左RGB影像或該左RGB/IR影像、一第二感測單元配置來獲得該右RGB影像或該右RGB/IR影像、以及至少一發射單元配置藉由開啟或關閉來射出一紅外線(IR)以響應該第一產生單元的控制。
在本發明一實施例中，該發射單元可包含單個IR裝置或複數個IR裝置。
在本發明一實施例中，該IR裝置可包含LD和LED中之一者。
在本發明一實施例中，該攝像單元可進一步包含：一分光器排列在該發射單元的前端以將自發射單元所射出之紅外線分散在一預定圖案中。
在本發明一實施例中，該第一產生單元可包含：一同步單元配置來將該第一和該第二感測單元的輸出進行同步、一第二產生單元配置來從該同步單元所接收的左和右IR影像產生深度影像、以及一控制器配置 來開啟或關閉該發射單元以響應從該同步單元所接收的左和右RGB影像畫素的平均亮度。
在本發明一實施例中，該第一產生單元可進一步包含：一開關單元配置來開啟或關閉該發射單元以響應該控制器的控制。
在本發明一實施例中，該控制器可配置來開啟該發射單元當該RGB影像的平均畫素小於一閾值時。
根據本發明一示範實施例之用於產生一深度影像的裝置具有一優越的效益在於：即使在一低光度下，藉由透過紅外線(IR)的發射至一目標物(target)上可同時獲得一RGB影像和一IR影像而可產生精確的深度影像。
根據本發明一示範實施例之用於產生一深度影像的裝置具有一優越的另一效益在於：該裝置偵測一低亮度同時在正常光度下進行一般作業以獲得一RGB影像和一IR影像、或僅該IR影像，藉此，使用該IR影像得以產生一精確的深度影像。
4‧‧‧攝像單元
5‧‧‧深度影像產生單元
6‧‧‧編碼器單元
14‧‧‧第一感測單元
15‧‧‧紅外線發射單元
16‧‧‧第二感測單元
17‧‧‧光接收單元
24‧‧‧同步單元
25‧‧‧對位單元
26‧‧‧產生單元
27‧‧‧控制器
28‧‧‧開關單元
29‧‧‧光度偵測器
30‧‧‧開關單元
圖1繪示根據本發明第一示範實施例之用於產生一深度影像之裝置的方塊圖。
圖2繪示根據本發明第二示範實施例之用於產生一深度影像之裝置的方塊圖。
圖3繪示根據本發明第三示範實施例之用於產生一深度影像之裝置的方塊圖。
請參照附圖及詳細的實際例說明以更加瞭解本發明之特徵和優點。如此，本發明並非限定於將於後述之示範實施例，且可以其他形式實現。因此，描述的考量將意圖含蓋所有的修改、修正及變化，其皆落入本發明範圍及新穎理念內。
現在，本發明示範實施例將參照圖式進行詳細說明。
圖1繪示根據本發明第一示範實施例之用於產生一深度影像之裝置的方塊圖。
參照圖1，根據本發明之第一示範實施例的深度影像可包含一攝像單元1以及一深度影像產生單元2，其中藉由深度影像產生單元2所產生的深度影像可被提供至一編碼器單元3。編碼器單元3用來對被例如H.264所接收的一立體影像進行編碼，而在後文中有關其之描述將予以省略，因為對該影像編碼技術為習知技藝，其亦可應於於本發明的示範實施例。
雖然本發明示範實施例已解釋且繪示攝像單元1、深度影像產生單元2以及編碼器單元3形成為獨立的硬體配置，但並不限定於此，因此，攝像單元1、深度影像產生單元2以及編碼器單元3可形成為在相同硬體內(例如：攝像機等)的獨立晶片或可形成為一晶片。
根據本發明根據示範實施例之攝像單元1包含一第一感測單元11、一紅外線(IR)發射單元12以及一第二感測單元13，且獲得RGB(紅-綠-藍)影像和相對於目標物的IR影像。理應顯而易見的，即根據本發明示範實 施例之攝像單元1的元件並不限定於圖式中的排列方式。
第一和第二感測單元11、13可為例如電荷耦合裝置(CCD)感測器或互補金氧半導體(CMOS)感測器，以及分別獲得左和右RGB影像和IR影像。然而，對熟知此技藝者理應顯而易見的，即第一和第二感測單元11、13並非限定於CCD感測器或CMOS感測器，且任何能夠進行相同功能的裝置亦可被用來作為第一和第二感測單元11、13。
在本發明示範實施例中，為便於說明，將於後文中解釋當藉由第一感測單元11所獲得的影像為左影像而藉由第二感測單元13所獲得的影像為右影像之情況，然而，本發明並非限定於此。
IR發射單元12可包含一單個IR裝置或複數個IR裝置，且發射出一紅外線(IR)至一目標物。雖然在本發明示範實施例中，IR發射單元12包含一IR裝置，例如一LD(雷射二極體)或LED(發光二極體)，但IR裝置並不限定於此，且理應顯而易見的，對於能射出紅外線至目標物之IR裝置的應用不應被排除。
雖然本發明示範實施例僅以一IR發射單元12進行解釋和說明，但本發明並非限定於此。也就是說，當增加IR發射單元12的數量時，亦同時增加輸出，其表示IR發射單元12數量的增加可使在低亮度下及對遠距離進行辨識之IR辨識範圍增加，因此IR發射單元12的數量可根據適當的辨識距離來判斷。
同時，IR發射單元12包含一具有真直度(straightness)的LD，根據本發明第一示範實施例的深度影像可進一步包含：一分光器排列在IR發射單元12的前端以將自IR發射單元12所射出之紅外線(IR)分散在一預定 圖案中。根據本發明根據第一示範實施例之第一和第二感測單元11、13可藉由自IR發射單元12所發射出的紅外線(IR)而同時獲得RGB影像和IR影像.
圖1中的深度影像產生單元2可包含一同步單元21、一對位單元22以及一產生單元23。
同步單元21可自第一和第二感測單元11、13接收左和右IR影像。同步單元21可將所接收的左和右IR影像進行同步化。本發明示範實施例中所使用的術語「同步」代表接收影像之時間排列(equal alignment of time)。也就是說，同步單元21對所接收到左和右影像在大致相同的時間進行對位(alignment)。
對位單元22進行校正，因此所輸入的左和右IR影像排成一線(aligned)。在藉由對位單元22所進行的排列的過程中，編碼器單元3可自攝像單元1的第一和第二感測單元11、13接收到一校正資料、轉換該校正資料成一排列參數並傳送到對位單元22。對位單元22可使用接收自編碼器單元3的排列參數對已經同步單元21進行同步的影像進行校正。
產生單元23可自已對位的左和右影像產生一深度影像。用來藉由產生單元23產生深度影像的方法可包含一立體配對法(stereo matching method)，但本發明並非限定於此，亦可使用其他不同的深度影像產生法。對位單元22和產生單元23的作業為熟知此技藝者所知之公知技術，因此其說明將予以省略。
現在，將詳細說明根據本發明根據第一示範實施例之用於產生深度影像之裝置的運作。
在本發明根據第一示範實施例之用於產生深度影像之裝置 中，IR發射單元12係處於開啟(ON)狀態，且發射出一紅外線至一目標物，同時第一和第二感測單元11、13分別獲得RGB影像和IR影像。
之後，同步單元21可對左和右IR影像進行同步化，及傳輸同步化後的左和右IR影像至對位單元22。對位單元22可排列左和右影像，而產生單元23可依據該左和右影像產生一深度影像。
因此，根據本發明第一示範實施例，IR發射單元12可發射出紅外線，第一和第二感測單元11、13可獲得該RGB影像和該IR影像，並產生出自於該RGB影像和該IR影像之IR影像的深度影像，及在低光度下萃取一精確的深度影像。
圖2繪示根據本發明第二示範實施例之用於產生一深度影像之裝置的方塊圖。
參照圖2，根據本發明第二示範實施例之用於產生深度影像之裝置深度影像可包含一攝像單元1和一深度影像產生單元2，其中藉由深度影像產生單元2所產生的深度影像可被提供至一編碼器單元3。
根據本發明第二示範實施例之攝像單元1可包含一第一感測單元11、一IR發射單元12、一光接收單元14以及一第二感測單元13，其中深度影像產生單元2可包含一同步單元21、一對位單元22、一產生單元23、一控制器24、以及一開關單元25。
本發明第二示範實施例與本發明示範第一實施例在結構上不同之處為：第二實施例包含攝像單元1的光接收單元14、以及深度影像產生單元2的控制器24和開關單元25，因此，將會著重在與第一實施例不同之處的說明。
攝像單元1的第一和第二感測單元11、13分別獲得左和右RGB影像或者RGB影像和IR影像。IR發射單元12係於在正常照明強度下處於關閉(OFF)狀態，但當偵測到光接收單元14的照明強度具有低於預定照明強度的光度時，則藉由控制器24的控制改變成開啟(ON)狀態，將於後文詳細說明。
光接收單元14可接收排列有攝像單元1之區域的光，且傳送一光強度(光照度)至深度影像產生單元2的控制器24。光接收單元14可包含一光感測器或光照度感測器，但本發明並非限定於此。
深度影像產生單元2的控制器24可接收來自光接收單元14的光強度以及控制開關單元22開啟IR發射單元12在所接收到的光強度小於預定光度時和關閉IR發射單元12在所接收到的光強度大於預定光度時。開關單元22可切換IR發射單元12的開啟(ON)和關閉(OFF)以響應控制器24的控制。
根據本發明第二示範實施例的同步單元21在正常光強度下可接收來自第一和第二感測單元11、13的RGB影像，和在小於預定光度時，接收RGB影像和IR影像或者僅接收IR影像。
現在，將描述根據本發明第二示範實施例之用於產生深度影像之裝置的運作。
在正常光強度下，例如：當藉由光接收單元14所偵測到的光強度在正常光度內，根據本發明根據第二示範實施例之用於產生深度影像的裝置將以如此方式作業：藉由同步單元21將由第一和第二感測單元11、13所獲得的RGB影像進行同步、對位單元22排列左和右影像、以及產生單 元23根據排列的左和右影像產生深度影像。
然而，在藉由光接收單元14所偵測到光強度小於預定光度情況下，控制器24控制開關單元25以改變IR發射單元12成為開啟(ON)狀態。
在IR發射單元12改變成開啟(ON)狀態以射出一紅外線至一目標物的情況下，第一和第二感測單元11、13可分別獲得RGB影像和IR影像、或者僅IR影像。被提供至同步單元21的該些影像在所獲得的RGB影像和IR影像、或者僅IR的影像中為IR影像。
之後，同步單元21可將所輸入的左和右IR影像進行同步化，而對位單元22可將左和右影像進行排列，藉此產生單元23得以產生深度影像。
根據本發明根據第二示範實施例，該裝置能偵測低亮度同時在正常光度下進行一般作業、獲得RGB影像和IR影像、或僅IR影像，藉此得以使用以IR影像產生精確的深度影像。
圖3繪示根據本發明第三示範實施例之用於產生一深度影像之裝置的方塊圖。
參照圖3，根據本發明第三示範實施例之用於產生一深度影像的裝置可包含一攝像單元1、以及一深度影像產生單元2，其中由深度影像產生單元產生的深度影像可被提供至一編碼器單元3。
根據本發明第三示範實施例之攝像單元1可包含一第一感測單元11、一IR發射單元12、以及一第二感測單元13，其中深度影像產生單元2可包含一同步單元21、一對位單元22、一產生單元23、一光度偵測器26以及一開關單元27。
本發明第三示範實施例與本發明示範第一實施例在結構上不同之處為：第三實施例包含深度影像產生單元2的光度偵測器26和開關單元27，因此，將會著重在與第一實施例不同之處的說明。
攝像單元1的第一和第二感測單元11、13分別獲得左/右RGB影像及/或IR影像。IR發射單元12在正常照明強度下處於關閉(OFF)狀態，而於偵測到光度偵測器26之照明強度具有低於預定照明強度之光度的情況下，藉由開關單元27的切換來改變成開啟(ON)狀態。
深度影像產生單元2的光度偵測器24可接收被同步單元21所同步的RGB影像以監控該些畫素之畫素值的平均、以及當該些畫素的平均小於一閾值的情況下，判斷該光在低光度，其中開關單元27可改變IR發射單元12成為開啟(ON)狀態。
開關單元27可切換IR發射單元12的開啟(ON)和關閉(OFF)以響應光度偵測器26的控制。
根據本發明的第三示範實施例之同步單元21在正常光強度時可接收來自第一和第二感測單元11、13的RGB影像、在低於預定光度時接收RGB影像和IR影像。在本發明第三示範實施例中，光度偵測器26使用該些RGB影像的畫素來偵測發光強度(intensity of luminance)，藉此該些RGB影像可無需管考慮亮度(luminance)而被接收。
現在，將詳細說明根據本發明第三示範實施例之用於產生深度影像之裝置。
在正常光強度下，例如：在光度偵測器26從RGB影像之畫素的平均值判斷光係在正常光強度之情形下，根據本發明第三示範實施例 之用於產生深度影像的裝置將以如此方式作業：藉由同步單元21將由第一和第二感測單元11、13所獲得的RGB影像進行同步、對位單元22排列左和右影像、以及產生單元23根據排列的左和右影像產生深度影像。此時，IR發射單元12係處於關閉(OFF)狀態。
然而，當判斷RBG影像之畫素的平均值小於閾值時，光度偵測器26控制開關單元27來改變IR發射單元12為開啟(ON)狀態。
當IR發射單元12變成開啟(ON)狀態以射出紅外線至一目標物時，第一和第二感測單元11、13可分別獲得RGB影像和IR影像。
之後，同步單元21可在左和右RGB和IR影像進行同步化，而對位單元22可排列該些IR影像，藉此產生單元23可產生深度影像。
根據本發明第三示範實施例，該裝置可偵測低亮度同時進行一般的作業在正常光度下、獲得RGB影像和IR影像，因此可使用該些IR影像產生精確的深度影像。
雖然以數個實施例來進行說明，但應被理解，熟知此技藝者將可想出各種不同但落入本發明之精神和範圍內的修改。特別是，各種改變與修改應可能僅為本發明所揭露之部件及/或組合排列的改變與修改，其皆落入本揭露、圖式及權利範圍的範圍內。

Claims (16)

  1. 一種用於產生深度影像的裝置，該裝置包含：一攝像單元，配置來輸出一左RGB(紅-綠-藍)影像和一右RGB(紅-綠-藍)影像以及一左IR(紅外線)影像和一右IR(紅外線)影像；以及一第一產生單元，配置來從該些IR影像產生一深度影像，其中該些IR影像係由該攝像單元所接收的影像，其中該攝像單元包含：至少一發射單元，配置來發射出一紅外線(IR)，以及一分光器，配置來分散自該發射單元所射出之紅外線於一預定圖案中，其中該攝像單元進一步包含：一第一感測單元，配置來獲得該左RGB影像和該左IR影像，一第二感測單元，配置來獲得該右RGB影像和該右IR影像，其中該第一產生單元包含：一同步單元，配置來將在所有該第一感測單元和該第二感測單元的輸出中的該左IR影像和該右IR影像進行同步；以及 一第二產生單元，配置來從該左IR影像和該右IR影像產生該深度影像，其中該左IR影像和該右IR影像係由該同步單元所接收。
  2. 如申請專利範圍第1項所述之裝置，其中該發射單元包含一單個IR裝置或複數個IR裝置。
  3. 如申請專利範圍第2項所述之裝置，其中該IR裝置包含LD(雷射二極體)以及LED(發光二極體)中任一者。
  4. 如申請專利範圍第1項所述之裝置，其中該分光器係安置在該發射單元的一前端。
  5. 一種用於產生深度影像的裝置，該裝置包含：一攝像單元，配置來獲得一左RGB影像和一右RGB影像、一左RGB和IR影像(RGB/IR影像)和一右RGB和IR影像(RGB/IR影像)、以及一左IR影像和一右IR影像中的任一者；以及一第一產生單元，配置來：控制該攝像單元以獲得該左和該右RGB影像、該左和該右RGB/IR影像、以及該左和該右IR影像，以及產生一深度影像從該左和該右RGB影像或該左和該右IR影像，其中該左和該右RGB影像或該左和該右IR影像係由該攝像單元所接收，其中該攝像單元包含： 至少一發射單元，配置來藉由開啟或關閉而發射出一紅外線(IR)以響應該第一產生單元的控制，以及一分光器，配置來分散自該發射單元所射出之紅外線於一預定圖案中，其中該攝像單元進一步包含：一第一感測單元，配置來獲得該左RGB影像、該左RGB/IR影像、以及該左IR影像中任一者，一第二感測單元，配置來獲得該右RGB影像、該右RGB/IR影像、以及該右IR影像中任一者，以及一光接收單元，配置來偵測一照明強度，其中該第一產生單元包含：一控制器，配置來控制該發射單元的開啟或關閉以響應由該光接收單元所偵測到的一光強度，一同步單元，配置來將從該第一感測單元和該第二感測單元的輸出中的該左IR影像和該右IR影像進行同步；以及一第二產生單元，配置來從該左和該右IR影像產生該深度影像，其中該左和該右IR影像係由該同步單元所接收。
  6. 如申請專利範圍第5項所述之裝置，其中該發射單元包含一單個IR裝置或複數個IR裝置。
  7. 如申請專利範圍第6項所述之裝置，其中該IR裝置包含LD(雷射二極體)以及LED(發光二極體)中任一者。
  8. 如申請專利範圍第5項所述之裝置，其中該分光器係安置在該發射單元的一前端。
  9. 如申請專利範圍第5項所述之裝置，其中該第一產生單元更包含：一開關單元，配置來開啟或關閉該發射單元以響應該控制器的控制。
  10. 如申請專利範圍第5項所述之裝置，其中該控制器配置來改變該發射單元為開啟狀態，當藉由該光接收單元所偵測到光強度低於一預定照明強度。
  11. 一種用於產生深度影像的裝置，該裝置包含：一攝像單元，配置來獲得一左RGB影像和一右RGB影像、或一左RGB和IR影像(RGB/IR影像)和一右RGB和IR影像(RGB/IR影像)；以及一第一產生單元，配置來：控制該攝像單元獲得該些RGB影像或該些RGB/IR影像；以及 從該左/該右RGB影像或該些IR影像產生一深度影像，其中該左/該右RGB影像或該些IR影像係由該攝像單元所接收，其中該攝像單元包含：至少一發射單元，配置來藉由開啟或關閉而發射出一紅外線(IR)以響應該第一產生單元的控制，以及一分光器，配置來分散自該發射單元所射出之紅外線於一預定圖案中，其中該攝像單元進一步包含：一第一感測單元，配置來獲得該左RGB影像或該左RGB/IR影像，以及一第二感測單元，配置來獲得該右RGB影像或該右RGB/IR影像，其中該第一產生單元包含：一同步單元，配置來將該第一感測單元和該第二感測單元的輸出進行同步；一第二產生單元，配置來從該左IR影像和該右IR影像產生該深度影像，其中該左IR影像和該右IR影像係由該同步單元所接收；以及 一控制器，配置來開啟或關閉該發射單元以響應從該同步單元所接收的該左RGB影像畫素和該右RGB影像畫素的平均亮度。
  12. 如申請專利範圍第11項所述之裝置，其中該發射單元包含一單個IR裝置或複數個IR裝置。
  13. 如申請專利範圍第12項所述之裝置，其中該IR裝置包含LD(雷射二極體)以及LED(發光二極體)中任一者。
  14. 如申請專利範圍第11項所述之裝置，其中該分光器係安置在該發射單元的一前端。
  15. 如申請專利範圍第11項所述之裝置，其中該第一產生單元更包含：一開關單元，配置來開啟或關閉該發射單元以響應該控制器的控制。
  16. 如申請專利範圍第11項所述之裝置，其中該控制器配置來開啟該發射單元當該RGB影像之畫素的平均小於一閾值時。
TW102131230A 2012-09-03 2013-08-30 用於產生深度影像之裝置 TWI631849B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??10-2012-0097101 2012-09-03
KR1020120097101A KR101966975B1 (ko) 2012-09-03 2012-09-03 스테레오 매칭장치

Publications (2)

Publication Number Publication Date
TW201414285A TW201414285A (zh) 2014-04-01
TWI631849B true TWI631849B (zh) 2018-08-01

Family

ID=50183873

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102131230A TWI631849B (zh) 2012-09-03 2013-08-30 用於產生深度影像之裝置

Country Status (5)

Country Link
US (1) US9781406B2 (zh)
KR (1) KR101966975B1 (zh)
CN (1) CN104604221B (zh)
TW (1) TWI631849B (zh)
WO (1) WO2014035127A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410465B2 (en) 2019-06-04 2022-08-09 Sigmastar Technology Ltd. Face identification system and method

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템
WO2015011869A1 (ja) * 2013-07-23 2015-01-29 パナソニックＩｐマネジメント株式会社 撮像装置及びその駆動方法
CN105829829B (zh) * 2013-12-27 2019-08-23 索尼公司 图像处理装置和图像处理方法
KR102281149B1 (ko) * 2014-10-22 2021-07-23 삼성전자주식회사 고 조도 환경 및 저 조도 환경에서 동작 가능한 시점 추적 장치 및 그 방법
CN106210698B (zh) * 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
US9712809B2 (en) * 2015-05-22 2017-07-18 Intel Corporation Integrated digital camera platform with NIR apodization filter for enhanced depth sensing and image processing
WO2016192436A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
US11069082B1 (en) * 2015-08-23 2021-07-20 AI Incorporated Remote distance estimation system and method
US11935256B1 (en) 2015-08-23 2024-03-19 AI Incorporated Remote distance estimation system and method
US9800795B2 (en) 2015-12-21 2017-10-24 Intel Corporation Auto range control for active illumination depth camera
US10346995B1 (en) * 2016-08-22 2019-07-09 AI Incorporated Remote distance estimation system and method
CN106454287B (zh) * 2016-10-27 2018-10-23 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN106572340B (zh) * 2016-10-27 2019-05-10 深圳奥比中光科技有限公司 摄像系统、移动终端及图像处理方法
CN108377327B (zh) * 2016-11-03 2020-01-10 深圳市掌网科技股份有限公司 全景相机以及深度信息获取方法
CN108110017A (zh) * 2016-11-24 2018-06-01 比亚迪股份有限公司 复合像素单元及其制备方法、像素阵列及其应用
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
CN109978929B (zh) * 2017-12-28 2021-04-23 舜宇光学（浙江）研究院有限公司 深度信息摄像模组的rgb-d图像合成优化系统及其方法
CN110099226B (zh) * 2018-01-31 2024-04-09 宁波舜宇光电信息有限公司 阵列摄像模组及其深度信息采集方法和电子设备
US10796443B2 (en) * 2018-10-17 2020-10-06 Kneron, Inc. Image depth decoder and computing device
CN111416920A (zh) * 2019-01-07 2020-07-14 富泰华工业（深圳）有限公司 移动图像处理装置、方法及计算机可读存储介质
CN111091063B (zh) * 2019-11-20 2023-12-29 北京迈格威科技有限公司 活体检测方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201015492A (en) * 2008-10-03 2010-04-16 Himax Tech Ltd Depth-based image enhancement
US20100097495A1 (en) * 2008-10-17 2010-04-22 Won-Hee Choe Image processing apparatus and method of providing high sensitive color images
US20110175983A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for obtaining three-dimensional (3d) image
US20120182394A1 (en) * 2011-01-19 2012-07-19 Samsung Electronics Co., Ltd. 3d image signal processing method for removing pixel noise from depth information and 3d image signal processor therefor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502372B1 (ko) 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
RU2423018C2 (ru) * 2009-08-04 2011-06-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система для преобразования стереоконтента
KR20110071207A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 스테레오 매칭을 위한 카메라 영상 평가 및 보정 방법과 이를 적용한 스테레오 카메라 시스템
US20120050491A1 (en) 2010-08-27 2012-03-01 Nambi Seshadri Method and system for adjusting audio based on captured depth information
KR20120080939A (ko) 2011-01-10 2012-07-18 엘지전자 주식회사 영상 처리 장치 및 그 방법
KR20120091970A (ko) 2011-02-09 2012-08-20 연세대학교 산학협력단 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
KR101966976B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 3차원 영상처리 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201015492A (en) * 2008-10-03 2010-04-16 Himax Tech Ltd Depth-based image enhancement
US20100097495A1 (en) * 2008-10-17 2010-04-22 Won-Hee Choe Image processing apparatus and method of providing high sensitive color images
US20110175983A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for obtaining three-dimensional (3d) image
US20120182394A1 (en) * 2011-01-19 2012-07-19 Samsung Electronics Co., Ltd. 3d image signal processing method for removing pixel noise from depth information and 3d image signal processor therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410465B2 (en) 2019-06-04 2022-08-09 Sigmastar Technology Ltd. Face identification system and method

Also Published As

Publication number Publication date
KR20140030658A (ko) 2014-03-12
KR101966975B1 (ko) 2019-04-08
CN104604221B (zh) 2018-09-14
CN104604221A (zh) 2015-05-06
US20150304631A1 (en) 2015-10-22
WO2014035127A1 (en) 2014-03-06
US9781406B2 (en) 2017-10-03
TW201414285A (zh) 2014-04-01

Similar Documents

Publication Publication Date Title
TWI631849B (zh) 用於產生深度影像之裝置
TWI623911B (zh) 影像處理系統
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
KR102277309B1 (ko) 깊이 정보 추출 장치 및 방법
CN106210698B (zh) 深度相机的控制方法
US20160198103A1 (en) Imaging device, imaging system, and imaging method
CN104935790A (zh) 成像系统
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
KR20140066638A (ko) 3차원 영상 획득 방법 및 장치
JP6653128B2 (ja) 可視光通信システム
CN109035193A (zh) 一种基于双目立体相机的成像处理方法及成像处理系统
US10225446B2 (en) Image pickup system and light source apparatus
US20160125241A1 (en) Pupil detection light source device, pupil detection device and pupil detection method
KR102086594B1 (ko) 스테레오 매칭장치
KR102135372B1 (ko) 구조광 시스템
JP6524680B2 (ja) 撮像システム、距離情報の取得方法及び距離情報の生産方法
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
KR102284187B1 (ko) 스테레오 매칭장치
KR20120111570A (ko) 입체영상표시장치 및 입체영상표시장치의 캘리브레이션방법
KR20190039052A (ko) 3차원 영상처리 시스템
JP2022003729A (ja) 撮像方法、撮像システム、製造システム、および物品の製造方法