TWI623911B - 影像處理系統 - Google Patents

影像處理系統 Download PDF

Info

Publication number
TWI623911B
TWI623911B TW102131232A TW102131232A TWI623911B TW I623911 B TWI623911 B TW I623911B TW 102131232 A TW102131232 A TW 102131232A TW 102131232 A TW102131232 A TW 102131232A TW I623911 B TWI623911 B TW I623911B
Authority
TW
Taiwan
Prior art keywords
unit
image
rgb
generating
unit configured
Prior art date
Application number
TW102131232A
Other languages
English (en)
Other versions
TW201413646A (zh
Inventor
李峻瑞
Original Assignee
Ｌｇ伊諾特股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｌｇ伊諾特股份有限公司 filed Critical Ｌｇ伊諾特股份有限公司
Publication of TW201413646A publication Critical patent/TW201413646A/zh
Application granted granted Critical
Publication of TWI623911B publication Critical patent/TWI623911B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本發明提供一種影像處理系統，根據本發明一實施例之影像處裡單元，即使在一低亮度下，其仍可由獲得的RGB影像及/或IR影像，產生一精確的深度影像。

Description

影像處理系統
本發明主張關於2013年09月03日所申請的韓國專利案號10-2012-0097102的優先權，並以引用的方式併入本文，以作為參考。
本發明係關於一種影像處裡系統。
眾所周知，人類的視覺係為獲得周遭環境資訊的感官之一，透過雙眼可辨識一物件的位置與遠近。也就是說，透過雙眼輸入的視覺訊息合成為一距離訊息讓人類得以自由活動。一立體攝影機系統可以於一機器內實現一視覺結構。
立體攝影系統係藉由使用兩部攝影機，完成一相關影像的立體視覺匹配工作，其中的立體攝影機使用兩部攝影機在立體匹配程序中的雙眼視差(disparity)獲得一深度影像(depth image)。深度影像數據係用以辨識，且使用深度影像可產生一3D影像。
此時，在一低亮度的情況下，一立體攝影機並不容易辨識一影像，因此，在獲得一深度影像(depth image)時產生一個問題。
本發明典型概念係至少實質上解決上述問題及/或缺點，並 至少提供以下的優點。所以，本發明係直接提供一影像處裡系統，其配置係藉由在一低亮度情況下，獲得一IR(紅外線)影像以完成一立體匹配，並輸出一3D影像。
於本發明的一普遍概念中，其可提供一影像處裡系統，該系統包含：一攝影機單元，其配置用以輸出左及右RGB(紅-綠-藍)影像以及一IR(紅外線)影像；一第一產生單元，其配置用以接收自攝影機單元的IR影像以產生一深度影像；一第二產生單元，其配置係用以接收來自攝影機單元中的RGB影像以產生一彩色影像。
於本發明的一實施例中，該攝影機可包含：一第一感測單元，其配置用以獲得一左RGB影像與一IR影像，一第二感測單元，其配置用以獲得一右RGB影像與一IR影像，以及至少一發射單元，其配置係用以發射紅外線(IR)。
於本發明的一實施例中，該第一產生單元可包含：一同步單元，其配置用以將第一與第二感測單元的輸出同步化，以及一第三產生單元，其配置用以將接收自同步單元的左、右兩IR影像產生一深度影像。
於本發明的一實施例中，該第二產生單元可包含：一合成單元，其配置用以3D格式合成接收自在一同步單元中接收的左、右RGB影像。
於本發明另外的一般概念中，其可提供一影像處理系統，包含：一攝影單元，其配置用以產生左RGB與右RGB影像，或者是RGB影像以及IR影像(RGB/IR images)；一第一產生單元，其配置用以控制該攝影單元，以獲得RGB影像以及RGB/IR影像，以及從該攝影單元接收影像以產生一深度影像；以及一第二產生單元，其配置係用以從該攝影單元接收該RGB 影像以產生一彩色影像。
於本發明一實施例中，該攝影系統可包含：一第一感測單元，其配置係用以獲得一左RGB影像或RGB/IR影像；一第二感測單元，其配置係用以獲得一右RGB影像或RGB/IR影像；一光接收單元，其係用以偵測照度；且至少一第一發射單元，其配置係用以發射一紅外線(IR)。
於本發明一實施例中，該第一產生單元可包含：一第一控制器，依據偵測照度的結果，其配置用以藉由光接收單元控制第一發射單元的ON及OFF狀態；一第一同步單元，其配置係係用以將第一及第二感測單元的輸出同步化；以及一第三產生單元，其配置係係用以接收自第一同步單元的影像以產生一深度影像。
於本發明一實施例中，該第一產生單元可進一步包含：一第一切換單元，其配置係用以依第一控制器的控制方式做反應，以切換第一發射單元的ON及OFF狀態。
於本發明一實施例中，該第二產生單元可包含：一第一合成單元，其配置係以3D格式用將接收自一第一同步單元中的左、右RGB影像同步化。
於本發明一實施例中，當藉由光接收單元所偵測到的照度小於預設照度時，該第一控制器可控制第一發射單元，使其改變為ON狀態。
於本發明一實施例中，該攝影機單元包含：一第三感測單元，其配置用以獲取一左RGB影像或一RGB/IR影像；一第四感測單元，其配置用以獲取一右RGB影像或一RGB/IR影像；以及至少一第二發射單元，其配置用以發射一紅外線。
於本發明一實施例中，該第一產生單元可包含：一第二同步單元，其配置用以使第一感測單元與第二感測單元的輸出同步；一第四產生單元，其配置用以從第二同步單元所接收的影像中產生一個深度影像；以及一第二控制器，其配置係依第二同步單元之一輸出影像畫素(pixels)平均亮度之反應，以控制第二發射單元的ON及OFF。
於本發明一實施例中，該第一產生單元可進一步包含一第二切換單元，其配置係用以依第二控制器的控制方式做反應，以切換第二發射單元的ON及OFF。
於本發明一實施例中，該第二產生單元可包含一第二合成單元，其配置係以3D格式合成接收自第二同步單元之左及右RGB影像。
於本發明一實施例中，當該RGB影像的畫素平均小於一臨界值時，該第二控制單元可控制第二發射單元，使其改變為ON狀態。
根據本發明實施例，該影像處理系統具有一有利的優點，就是透過將紅外線投射至一目標物，藉由同時獲得一RGB影像以及一IR影像的方法，即使在一低亮度(照度)的環境下，仍可產生一精準的深度影像。
根據本發明實施例，該影像處理系統具有另一有利的優點，就是在一正常亮度下進行一般操作時，該系統能偵測到一低亮度，以獲得除一RGB影像以外的一IR影像，或僅獲得一IR影像，據此，使用一IR影像能產生一精確的深度影像。
1‧‧‧攝影單元
2‧‧‧深度影像產生單元
3‧‧‧編碼單元
4‧‧‧彩色影像產生單元
11‧‧‧第一感測單元
12‧‧‧IR發射單元
13‧‧‧第二感測單元
14‧‧‧光接收單元
21‧‧‧同步單元
22‧‧‧對準單元
23‧‧‧產生單元
24‧‧‧控制器
25‧‧‧開關單元
26‧‧‧照度偵測器
27‧‧‧切換單元
28‧‧‧IR內插單元
29‧‧‧多工器
41‧‧‧RGB內插單元
42‧‧‧合成單元
43‧‧‧收斂角控制器
圖1係一影像處理系統功能方塊圖。
圖2係根據本發明一第二實施例之一影像處理系統功能方塊圖。
圖3係根據本發明一第三實施例之一影像處裡系統功能方塊圖。
藉由參考以下實施例詳細說明及配合圖示，將可更快速理解本發明的優點與特色。因此，本發明並不受限於以下所描述的實施例，但可以其它方式應用實施。所以，本說明概念在於使包含所有對本發明的修改、改良以及變化，其均落入本發明的範疇與概念中。
於此，本發明實施例將參考配合圖示，詳細說明如下。
根據本發明一第一實施例，圖1係一影像處理系統功能方塊圖。
請參考圖1，根據本發明一第一實施例，其可包含：一攝影單元1、一深度影像產生單元2、一彩色影像產生單元4，其中藉由深度影像產生單元2所產生的立體影像之一深度影像，以及一從彩色影像產生單元4所輸出的彩色影像，其可提供至一編碼單元3。該編碼單元3對H.264所接收的一立體影像進行編碼，舉例而言，於下文中，其細節說明將予以省略，因為關於影像編碼的技術係一般習知技術，其也可以適用於本發明相關的其它實施例上。
雖然，本發明實施例已解釋並圖示說明：該攝影單元1、該深度影像產生單元2、該編碼單元3以及該彩色影像產生單元4，其係形成在分離的硬體結構上，但本發明不受限於此，所以，該攝影單元1、深度影像 產生單元2、編碼單元3以及彩色影像產生單元4，可在相同硬體的分離晶片(chip)中(如：攝影機等)或可在一單一晶片中實現。
根據本發明之實施例，該攝影單元1可包含：一第一感測單元11、一IR(紅外線)發射單元12以及一第二感測單元13，並可獲得一目標物的RGB(紅-綠-藍)影像與IR影像。據本發明實施例，該攝影單元1的部件明顯的並不受限於圖示中圖例說明的對準方法。
該第一及第二感測單元11、13可以是攝影機感測器，例如：CCD(電荷耦合感測器)或CMOS(互補式金氧半)感測器，以分別獲得左及右RGB影像以及IR影像。然而，明顯地在技術上，該第一與第二感測單元11、13並不受限於CCD感測器或CMOS感測器，並且任何其它有能力進行類似功能的元件均可作為第一以及第二感測器單元11、13。
於本發明之實施例中，為了方便起見，下文將舉例說明，該示例係藉由第一感測單元11獲得一影像，也就是說一左影像；藉由第二感測單元11獲得一影像，也就是說一右影像。然而，本發明不受限於此。
該IR發射單元12可包含：單一IR元件或複數個IR元件，並發射一紅外線至目標物。於本發明實施例中，雖然IR發射元件12可包含：一紅外線元件，如：一雷射二極體(LD,Laser Diode)或一發光二極體(LED,Light Emitting Diode)，但本實施例不受限於此。而明顯地，IR元件可具有發射IR至目標物能力的應用不可被排除。
雖然，本發明實施例已說明並圖解一IR發射單元12，但本揭示案並不受限於此。也就是說，隨著IR發射單元12的增加，輸出亦隨著增加，亦即隨著IR發射單元12的數目的增加，可在低亮度下增進IR在辨識範 圍與辨識距離，如此該IR發射單元12的數量可依據適當的辨識距離決定。
此時，根據本發明第一實施例，該IR發射單元12包含：一雷射二極體(LD)，其具有直進目標的能力(straightability)，該影像處理系統可進一步包含：一硬體分光器(splitter)，其配置在IR發射單元12的前端，以在預設的結構中分散從IR發射單元12發射的紅外線。
根據本發明第一實施例，該第一以及第二感測單元11、13可藉由從IR發射單元12所發射的紅外線，同時獲得RGB影像與IR影像。
圖1之深度影像產生單元2包含：一同步單元21；一IR內插單元28；一對準單元22以及一產生單元23。
該同步單元21可接收左影像與右影像，以及接收自第一與第二感測單元11、13的IR影像。該同步單元21可將所接收的左影像與右影像同步化。於本發明實施例之術語「同步」，代表接收的左影像與右影像時間的等化對準(equal alignment)。也就是說，該同步單元21在一等化時間(equal time)內進行左影像與右影像的校準。
該同步單元21可從已同步化的左影像與右影像中傳送IR影像至IR內插單元28(interpolation unit)，並傳送該RGB影像至彩色影像產生單元4的一RGB內插單元41，據此，該影像被每一內插影像單元28及41進行內插程序，並且在其後端可包含一分配單元(distribution unit)(未繪示)，據此，該分配單元可分配相關的RGB影像以及IR影像至每一內插單元41及28。
該RGB內插單元41可接收來自同步單元21的RGB影像並且對該RGB影像進行內插程序，且該IR內插單元28可接收來自同步單元23的IR影像並且對該IR影像進行內插程序。該術語「內插」一般意指以周圍畫 素平均值產生新的畫素，並且包含各種不同的內插方法，該技術為一般習知技術，因此，下文中內插技術說明予以省略。
雖然本發明實施例已經提示該同步單元21傳送IR影像至IR內插單元28，該IR內插單元28對該IR影像進行內插程序，並且傳送該RGB影像至該彩色影像產生單元4的RGB內插單元41，其中該RGB內插單元41以及該IR內插單元28可以分離地不被包含在內，在第一及第二感測單元11、13進行內插動作情況下，並且在此情況下，該藉由第一及第二感測單元11、13內插的影像可被傳輸至該同步單元21，並且，該同步單元21可直接分別傳輸完成內插的該RGB影像及IR影像至一合成單元42及該對準單元22。
該對準單元22可進行校正，以使該輸入的左IR影像與右IR影像對準。在藉由對準單元22的對準程序中，該編碼單元3可接收來自攝影單元1的第一與第二感測單元11、13之一校準數據，轉換該校準數據成為一對準參數並傳送至該對準單元22。該對準單元22可使用接收自編碼單元3的對準參數，對輸入影像進行校準。
該產生單元23可使用該對準的左影像及右影像以產生一深度影像。藉由產生單元23以產生深度影像的方法可使用一立體影像匹配演算法，但本發明不受限於此，且其它各式不同的深度影像產生方法也可利用。
同時，根據圖1之本發明第一實施例的彩色影像產生單元4可包含：一RGB內插單元41，一合成單元42以及一收斂角(convergence angle)控制器43。該RGB內插單元41的功能已說明如上。
該合成單元42可在一3D格式中合成該左RGB影像以及右 RGB影像。該合成方法係習知的並列式(side by side)以及一上下相對式(top and bottom)。於下文中，該藉由影像合成單元42所合成的影像稱之為一“彩色影像”。
藉由合成單元42所合成的彩色影像，該收斂角控制器43可控制一收斂角，以便該3D影像的一對焦點可呈現出3D效果而不會有歪斜或搖晃現象。該合成單元42的功能以及該收斂角控制器43係為習知技術，所以下文將不再詳細說明。
於此，根據本發明第一實施例之影像處理系統的操作將說明如下。
在根據本發明第一實施例之影像處理系統中，該IR發射單元12經常維持在ON狀態，在第一與第二感測單元11、13分別獲取該RGB影像以及IR影像時，發射一紅外線至一目標物。
因此，該同步單元21可進行該左RGB影像與右RGB影像的同步化，並且傳送所進行的IR影像至該IR內插單元28，及傳送該RGB影像至該RGB內插單元41。最後，一用以分配RGB影像與IR影像的分配單元可配置在該同步單元21的一後端，該同步單元的配置如上述說明。
該IR內插單元28進行傳輸IR影像的內插程序，並輸出內插的IR影像至對準單元22。該對準單元22可對準該左影像與該右影像(其皆為IR影像)，且該產生單元23可由來自對準的左影像與對準的右影像產生一深度影像。
此時，藉由該RGB內插單元41，該從同步單元21傳送至RGB內插單元41的RGB影像可被內插，其中該內插影像被提供至合成單元42以 成為一彩色影像，並且該收斂角控制器43控制一收斂角，由此該彩色影像可被輸出。該輸出的彩色影像可與該深度影像一起被提供至編碼單元3，而該深度影像係為該產生單元23的一輸出。
雖然本發明第一實施例已說明：該深度影像係藉由提供該IR影像至該深度影像產生器2所產生的，該深度影像可藉由同步提供RGB影像與IR影像而產生。
根據本發明實施例，該IR發射單元12發射一紅外線，該第一以及第二感測單元11、13獲得該RGB影像與該IR影像，並利用該RGB影像與該IR影像以產生深度影像以及彩色影像，據此，即使在一低亮度下，一精確的深度影像也可被擷取，並且可進行一精確的3D影像程序。
圖2係根據本發明第二實施例繪示一影像處理系統之功能方塊圖。
請參考圖2，根據本發明第二實施例之影像處理系統可包含：一攝影單元1、一深度影像產生單元2以及一彩色影像產生單元4，其中一立體影像的深度影像擷取自深度影像產生單元2，以及一輸出自該彩色影像產生單元4的彩色影像可提供至一編碼單元3。
根據本發明第二實施例，該攝影單元1可包含：一第一感測單元11、一IR發射單元12、一光接收單元14，以及一第二感測單元13。該深度影像產生單元2可包含：一同步單元21、一IR內插單元28、一多工器(MUX)29、一對準單元22、一產生單元23、一控制器24以及一開關單元25。再則，該彩色影像產生單元4可包含：一RGB內插單元41、一合成單元42以及一收斂角控制器43。
本發明第二實施例不同於本發明第一實施例之處有：攝影單元1的光接收單元14之配置、以及該深度影像產生單元2、開關單元25以及多工器29，因此，說明將聚焦在與圖1第一實施例不同之處。、
該攝影單元1的第一與第二感測單元11、13分別取得該左、右RGB影像，或者左、右RGB及IR影像。在一正常照度下，該IR發射單元12係處於一OFF狀態，一旦當接收單元14所偵測到光的照度小於一預設照度時，IR發射單元將藉由控制器24的控制以改變為ON狀態。
該光接收單元14可接收在攝影單元1附近區域的光線，並且傳送一光強度(照度)至該深度影像產生單元2的控制器24。該光接收單元14可以是一光感測器或一照度感測器，但本發明不受限於此。
該控制器24可接收來自光接收單元14之光強度，當所接收光強度小於預設光強度時，啟動該IR發射單元12，當接收光強度大於預設光強度時，則控制該開關單元25關閉IR發射單元12。該開關25隨著該控制器24的控制反應，而切換IR發射單元12的ON以及OFF狀態。
根據本發明第二實施例，該同步單元21在正常照度下可接收來自該第一與第二感測單元11、13的RGB影像，當照度小於預設的照度時，其可接收該RGB影像以及IR影像。
所以，該同步單元21可進行同步動作，其中的左影像與右影像的接收時間同時調整，其中，在正常照度情況下(也就是說，僅RGB影像被接收時)，該同步單元21傳輸該RGB影像至該RGB內插單元41，且一旦小於預設照度標準時(也就是說，當該RGB影像以及IR影像被接收時)，該RGB影像被傳送到RGB內插單元41，且該IR影像被傳送到該IR內插單元28。
雖然本發明之第二實施例已說明該IR影像以及該RGB影像被分開以分別產生該深度影像與彩色影像，該IR影像與該RGB影像同時被提供用以產生深度影像也是可能的。
再則，在藉由第一與第二感測單元11、13所獲得的影像，進行影像內插以提供給該同步單元21時，該IR內插單元28以及該RGB內插單元41可不被包含在內，且在此情況下，該被同步單元進行同步化的左影像與右影像，可直接被提供至該合成單元42及該多工器(MUX)29。
也就是說，在一正常的照度下，被該同步單元21進行同步化的RGB影像可被提供至該MUX 29以產生深度影像，並可被提供至合成單元42以產生深度影像。再則，當照度小於一預設的照度時，該同步單元21可進行同步動作，且RGB影像可被提供至該合成單元42，且該IR影像可被提供至MUX 29，以分別產生彩色影像以及深度影像。
於此，根據本發明第二實施例，該3D影像處理系統之操作將說明如下。
在正常照度下，也就是說，當藉由光接收單元14所偵測到的照度在一正常亮度範圍時，根據本發明第二實施例，該影像處理系統之同步單元21對由該第一與第二感測單元11、13獲得的RGB影像進行同步化動作，並且該RGB內插單元41對被進行同步化的左影像以及該右影像進行RGB內插程序。
此時，一在RGB影像的黑白數據{如：亮度(Y)數據}可從該RGB內插單元41被提供至該MUX 29，並且該對準單元22可參照黑白數據以對準左及右影像，並且該產生單元23可在此產生一深度影像。因為僅黑白 影像可用以產生一深度影像，所以，該深度影像可藉此方法產生。
此外，經由該RGB內插單元41內插的影像，以彩色影像的方式被提供至合成單元42以進行同步化，並且該收斂角控制器43進行收斂角控制，該彩色影像由此被輸出。該輸出與該深度影像一起被提供至該編碼單元3，而深度影像係為產生單元23的輸出。此時，該IR發射單元12的電源係處於一OFF狀態。
然而，在藉由光接收單元所偵測到的光線，其照度小於預設的照度時，該控制器24控制切換單元12改變該IR發射單元12的電源至ON狀態，以發射一紅外線至一目標物，該第一與第二感測單元11、13則分別獲得該RGB影像以及該IR影像。
於下文中，該同步單元21對該左、右RGB影像以及該IR影像進行同步動作，其中該IR影像被傳送到IR內插單元28以及該RGB影像被傳送到該RGB內插單元41。最後，一用以分配IR影像及RGB影像的分配單元可被配置在該同步單元21的後端，該同步單元21已於前文中詳細說明。
該IR內插單元28對該被傳送的IR影像進行一內插程序，並且傳送該內插的IR影像至該MUX 29。在本例中，該MUX 29的一輸入係該內插的IR影像，且該MUX 29輸出內插的IR影像至該對準單元22。該對準單元22可對準該左影像與右影像(也就是說，IR影像)，其可被該產生單元23接收以產生一深度影像。
此外，該從同步單元21傳送到該RGB內插單元41的RGB影像，藉由RGB內插單元41進行內插動作，該被內插的影像再被提供至該合成單元42以彩色影像格式合成，其係為一3D格式，並且該收斂角控制器43 進行收斂角控制，其中一彩色影像可被輸出。該輸出與該深度影像一起被提供至該編碼單元3，而該深度影像係該產生單元23的輸出。
根據本發明第二實施例，在一正常亮度下，該影像處理系統可偵測到一低亮度，以獲得一除RGB影像以外的一IR影像，一真實的深度影像可由此產生。
圖3係根據本發明一第三實施例之影像處理系統之功能方塊圖。
請參考圖3，根據本發明之一第三實施例之影像處理系統可包含：一攝影單元1、一深度影像產生單元2以及一彩色產生單元4，其中一立體影像的深度影像擷取自該深度影像產生單元2，並且一輸出自彩色影像產生單元4的一彩色影像可被提供至一編碼單元3。
根據本發明第三實施例之攝影單元1包含：一第一感測單元11、一IR發射單元12以及一第二感測單元13，其中該深度影像產生單元2可包含：一同步單元21、一對準單元22、一IR內插單元28、一MUX 29、一產生單元23、一照度偵測器26以及一切換單元27。
就第三實施例結構而言，本發明第三實施例不同於如圖1之第一實施例，第三實施例包含：該深度影像產生單元2的照度偵測器26、該切換單元27以及該MUX 29，因此，以下說明將聚焦在與第一實施例的差異。此外，任何與第二實施例重複的說明將予以省略。
該攝影單元1的第一與第二感測單元11、13，其分別獲得左影像與右影像及/或IR影像。該IR發射單元12在一正常照度下係處於一OFF狀態，當該深度影像產生單元2的照度偵測器26照度小於預設照度時，該IR 發射單元12藉由該切換單元27改變為ON狀態。
該深度影像產生單元2的照度偵測器26接收RGB影像，藉由同步單元21進行同步動作以監測該影像的平均畫素(pixel)值，當該畫素平均值小於一臨界值時，其判定為一低照度，並使該切換單元27改變該IR發射單元12為ON狀態。
該切換單元27依該照度偵測器26的控制方式而切換IR發射單元12的ON及OFF狀態。
根據本發明第三實施例，在正常照度情況下，在該同步單元21中可接收來自第一及第二感測單元11、13的RGB影像，且當照度小於一預設照度時，該同步單元也可接收RGB影像以及IR影像。
於此，將根據本發明第三實施例，說明3D影像處理系統的操作方法。
在正常照度情況下，也就是說，藉由該照度偵測器26所偵測到的照度在一正常光線標準範圍內，根據本發明第三實施例，該影像處理系統係在該同步單元21對經由第一及第二感測單元11、13所獲得的RGB影像進行同步化的方式下操作，並且該RGB內插單元41對已同步化的左影像及右影像進行RGB內插程序。
此時，一來自RGB內插單元41的RGB影像{如：亮度(Y)數據}可被提供至該MUX 29，並且該對準單元22可依據該黑白數據對準該左影像及右影像，且該產生單元23可在此產生一深度影像。因此，只有在該黑白影像被用以產生深度影像時，該深度影像可藉由此種方法產生。
此外，被該RGB內插單元41進行內插的影像被提供至該合 成單元42，以合成為彩色影像，且該收斂角控制器43進行收斂角控制，藉此該彩色影像被輸出。該輸出循著深度影像被提供至該編碼單元3，而該深度影像係該產生單元23之一輸出。這時，該IR發射單元12的電源處於OFF狀態。
然而，在照度小於一預設照度的情況下，該照度偵測器26控制該切換單元27以改變該IR發射單元12為一ON狀態。在該IR發射單元12被改變為ON狀態以發射一IR至一目標物時，該第一及第二感測單元(11,13分別獲得該RGB影像及該IR影像。
於下文中，該同步單元21對該左影像及右影像以及該IR影像進行同步化，其中該IR影像被傳送至該IR內插單元28，且該RGB影像被傳送至該RGB內插單元41。最後，該用以分配IR影像及RGB影像的一分配單元，其可被配置在該同步單元21的後端，其說明於上述內容。
該IR內插單元28對該傳送的IR影像進行一內插程序，並且傳送該內插的IR影像至該MUX 29。在此情況下，該MUX的一輸入為該內插的IR影像，且該MUX 29輸出該內插的IR影像至該對準單元22。該對準單元22可對準左影像及右影像，其可由該產生單元23接收以產生一深度影像。
再則，藉由該RGB內插單元41，該從同步單元21被傳送到該RGB內插單元41的RGB影像進行內插程序，該被內插的影像再被提供至合成單元42以彩色影像格式被合成，其係一3D格式，且該收斂角控制器43進行收斂角控制，由此輸出一彩色影像。該輸出可與該深度影像一起被提供至該編碼單元3，而該深度影像係該產生單元23的輸出。
根據本發明第二實施例，在一正常亮度下進行一般性的操作 時，該影像處理系統能偵測一低亮度，以獲得除一RGB影像以外的一IR影像，藉此可產生一準確的深度影像。
於本發明上述第二及第三實施例中，該MUX 29可接收一來自RGB內插單元41及該IR內插單元28二者中任一影像，並傳送該影像至該對準單元22。此時，一影像傳送至對準單元22被判定優先於MUX 29步驟，則該影像可被直接傳送至該對準單元22。
此外，於本發明實施例中，若藉由第一與第二感測單元11、13內插的影像被輸出，明顯地，該IR內插單元28以及該RGB內插單元41可不包含於第一、第二及第三實施例中，係說明於上述內容。
雖然，參考許多說明性實施例來描述實施例，但應理解的是，可由熟習此項技術者設計的許多其它修改及實施例將落入本揭示案之原理之精神及範疇內。因此，理應理解的是前述說明係闡釋本發明，且不以此限制特殊實施例之揭示案。並且對於揭示案實施例之修改，及其它實施例，均包含在以下專利申請範圍及其等效內容範疇內。

Claims (20)

  1. 一種影像處理系統，該系統包含：一攝影單元，其配置係用以輸出一左RGB(紅-綠-藍)影像及一右RGB(紅-綠-藍)影像以及一IR(紅外線)影像；一第一產生單元，其配置係用以接收來自該攝影單元的該IR影像，以產生一深度影像；一第二產生單元，其配置係用以接收來自該攝影單元的該些RGB影像，以產生一彩色影像；以及一編碼單元，其接收來自該攝影單元的一第一感測單元與一第二感測單元的一校準數據，轉換該校準數據成為一對準參數並傳送至一對準單元，其中該第一感測單元，其配置係用以獲得該左RGB影像以及該左IR影像，該第二感測單元，其配置係用以獲得該右RGB影像以及該右IR影像，其中該第一產生單元包括該對準單元，其配置係用以接收自該編碼單元的對準參數來進行一校正，以使該左IR影像與右IR影像對準。
  2. 如專利申請範圍第1項所述之系統，其中該攝影單元包含：至少一發射單元，其配置係用以發射一紅外線。
  3. 如專利申請範圍第1項所述之系統，其中該第一產生單元包含：一同步單元，其配置係用以同步化該第一感測單元及第二感測單元的輸出，以及一第三產生單元，其配置係用以接收來自該同步單元的該左IR影像及該右IR影像，以產生一深度影像。
  4. 如專利申請範圍第1項所述之系統，其中該第一產生單元進一步包含一IR內插單元，其配置係用以對由同步單元接收的該IR影像進行內插程序。
  5. 如專利申請範圍第1項所述之系統，其中該第二產生單元包含：一合成單元，其配置係以將接收自該同步單元之該左RGB影像與該右RGB影像以一3D格式同步化，以及一收斂角控制器，其配置係用以控制由該合成單元合成之該些影像的一收斂角。
  6. 如專利申請範圍第5項所述之系統，其中該第二產生單元進一步包含一RGB內插單元，其配置係用以對由該合成單元接收的該RGB影像進行內插程序。
  7. 一種影像處理系統，該系統包含：一攝影單元，其配置係用以產生一左RGB及一右RGB影像，或RGB影像和IR影像(RGB/IR影像)； 一第一產生單元，其配置係用以：控制該攝影單元，以獲得該RGB影像及該RGB/IR影像中之任一者，以及從該攝影單元所接收的該些影像產生一深度影像；一第二產生單元，其配置係用以接收來自該攝影單元的該些RGB影像，以產生一彩色影像；以及一編碼單元，其接收來自該攝影單元的一第一感測單元與一第二感測單元的一校準數據，轉換該校準數據成為一對準參數並傳送至一對準單元，其中該第一感測單元，其配置係用以獲得該左RGB影像以及該左IR影像，該第二感測單元，其配置係用以獲得該右RGB影像以及該右IR影像，其中該第一產生單元包括該對準單元，其配置係用以接收自該編碼單元的對準參數來進行一校正，以使該左IR影像與右IR影像對準。
  8. 如專利申請範圍第7項所述之系統，其中該攝影單元包含：一光接收單元，其係用以偵測照度，以及至少一第一發射單元，其配置用以發射一紅外線。
  9. 如專利申請範圍第7項所述之系統，其中該第一產生單元包含：一第一控制器，其配置係依該光接收單元所偵測的該照度反應，以控制該發射單元的開(ON)及關(OFF)狀態，一第一同步單元，其配置係用以對該第一感測單元及該第二感測單元的輸出進行同步化程序，以及一第三產生單元，其配置係用以從該第一同步單元接收的該影像產生該深度影像。
  10. 如專利申請範圍第9項所述之系統，其中該第一生產單元進一步包含一第一內插單元，其配置係用以對由該第一合成單元接收之該IR影像進行內插程序。
  11. 如專利申請範圍第9項所述之系統，其中該第一產生單元進一步包含：一第一切換單元，其配置係依該第一控制器的控制反應，以切換該第一發射單元的ON及OFF狀態。
  12. 如專利申請範圍第7項所述之系統，其中該第二產生單元包含：一第一合成單元，其配置係以一3D格式合成接收自該第一同步單元的該左RGB影像及該右RGB影像，以及一第一收斂角控制器，其配置係用以控制由該合成單元合成之該些影像的一收斂角。
  13. 如專利申請範圍第12項所述之系統，其中該第二產生單元進一步包含一第二內插單元，其配置係用對由該第一合成單元接收之該RGB影像進行內插程序。
  14. 如專利申請範圍第9項所述之系統，其中當由該光接收單元所偵測的該照度小於一預設照度時，該第一控制器控該第一發射單元，使其改變為ON狀態。
  15. 如專利申請範圍第7項所述之系統，其中該攝影單元包含：一第三感測單元，其配置係用以獲得該左RGB影像或該RGB/IR影像，一第四感測單元，其配置係用以獲得該右RGB影像或該RGB/IR影像，以及至少一第二發射單元，其配置用以發射一紅外線。
  16. 如專利申請範圍第7項所述之系統，其中該第一產生單元包含：一第二同步單元，其配置係用以將一第一感測單元與一第二感測單元的輸出同步化，一第四產生單元，其配置係用以將接收自該第二同步單元輸出的影像中，產生該深度影影像，以及一第二控制器，其配置係用以依據該第二同步單元所輸出影像畫素的平均亮度反應，以控制該第二發射單元的ON及OFF狀態。
  17. 如專利申請範圍第16項所述之系統，其中該第一生產單元進一步包含一第三內插單元，其配置係用以對由該第二合成單元接收之該IR影像進行一內插程序。
  18. 如專利申請範圍第16項所述之系統，其中該第一產生單元進一步包含：一第二切換開關，其配置係依該第二控制器的控制反應，切換該第二發射單元的ON及OFF狀態。
  19. 如專利申請範圍第7項所述之系統，其中在第二產生單元包含：一第二合成單元，其配置係以一3D格式合成該左及該右RGB影像，以及一第二收斂角控制器，其配置係用以控制由該合成單元合成之該些影像的一收斂角。
  20. 如專利申請範圍第16項所述之系統，其中當該RGB影像的平均畫素小於一臨界值時，該第二控制器控制該第二發射單元，使其改變為ON狀態。
TW102131232A 2012-09-03 2013-08-30 影像處理系統 TWI623911B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120097102A KR101966976B1 (ko) 2012-09-03 2012-09-03 3차원 영상처리 시스템
??10-2012-0097102 2012-09-03

Publications (2)

Publication Number Publication Date
TW201413646A TW201413646A (zh) 2014-04-01
TWI623911B true TWI623911B (zh) 2018-05-11

Family

ID=50183874

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102131232A TWI623911B (zh) 2012-09-03 2013-08-30 影像處理系統

Country Status (5)

Country Link
US (1) US9860521B2 (zh)
KR (1) KR101966976B1 (zh)
CN (1) CN104604220B (zh)
TW (1) TWI623911B (zh)
WO (1) WO2014035128A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410465B2 (en) 2019-06-04 2022-08-09 Sigmastar Technology Ltd. Face identification system and method

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치
CN105635718A (zh) * 2014-10-27 2016-06-01 聚晶半导体股份有限公司 影像撷取装置
CN106210698B (zh) * 2015-05-08 2018-02-13 光宝电子(广州)有限公司 深度相机的控制方法
US9712809B2 (en) * 2015-05-22 2017-07-18 Intel Corporation Integrated digital camera platform with NIR apodization filter for enhanced depth sensing and image processing
WO2016192436A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种获取目标三维图像的方法及系统
CN105049829B (zh) * 2015-07-10 2018-12-25 上海图漾信息科技有限公司 滤光片、图像传感器、成像装置以及三维成像系统
US10055881B2 (en) 2015-07-14 2018-08-21 Microsoft Technology Licensing, Llc Video imaging to assess specularity
KR102446442B1 (ko) * 2015-11-24 2022-09-23 삼성전자주식회사 디지털 촬영 장치 및 그 동작 방법
CN105760870B (zh) * 2016-01-29 2019-12-17 北京农业信息技术研究中心 一种作物冠层半球图像处理方法及装置
TWI584634B (zh) 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
KR102537416B1 (ko) * 2016-06-03 2023-05-26 우트쿠 부육사힌 3d 이미지를 캡처 및 생성하기 위한 시스템 및 방법
CN106572340B (zh) * 2016-10-27 2019-05-10 深圳奥比中光科技有限公司 摄像系统、移动终端及图像处理方法
CN106572339B (zh) * 2016-10-27 2018-11-30 深圳奥比中光科技有限公司 一种图像采集器和图像采集系统
CN106534633A (zh) * 2016-10-27 2017-03-22 深圳奥比中光科技有限公司 一种组合摄像系统、移动终端及图像处理方法
CN106454287B (zh) * 2016-10-27 2018-10-23 深圳奥比中光科技有限公司 组合摄像系统、移动终端及图像处理方法
CN107277318B (zh) * 2017-06-26 2020-07-14 苏州佳世达电通有限公司 影像撷取装置及影像撷取方法
CN107343122A (zh) * 2017-08-02 2017-11-10 深圳奥比中光科技有限公司 3d成像装置
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN108093240A (zh) * 2017-12-22 2018-05-29 成都先锋材料有限公司 3d深度图获取方法及装置
CN109978929B (zh) * 2017-12-28 2021-04-23 舜宇光学（浙江）研究院有限公司 深度信息摄像模组的rgb-d图像合成优化系统及其方法
CN108510538B (zh) * 2018-03-30 2020-01-17 百度在线网络技术（北京）有限公司 三维图像合成方法、装置及计算机可读存储介质
US10827162B1 (en) * 2019-04-15 2020-11-03 Synaptive Medical (Barbados) Inc. Augmented optical imaging system for use in medical procedures
KR102143457B1 (ko) 2020-03-30 2020-08-11 김은경 촬영된 3차원 영상신호 처리 시스템
EP4006615A1 (en) * 2020-11-30 2022-06-01 Leica Instruments (Singapore) Pte. Ltd. Imaging system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201044863A (en) * 2009-04-07 2010-12-16 Dainippon Printing Co Ltd Image processing method, image processing apparatus, and recording medium
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
US20110175983A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for obtaining three-dimensional (3d) image
US20110286661A1 (en) * 2010-05-20 2011-11-24 Samsung Electronics Co., Ltd. Method and apparatus for temporally interpolating three-dimensional depth image
TW201142769A (en) * 2009-12-10 2011-12-01 Sony Corp Three-dimensional image display device, method of manufacturing the same, and three-dimensional image display method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531709B1 (ko) * 2008-10-17 2015-07-06 삼성전자 주식회사 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
KR101502372B1 (ko) 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
US20120050491A1 (en) 2010-08-27 2012-03-01 Nambi Seshadri Method and system for adjusting audio based on captured depth information
KR20120080939A (ko) 2011-01-10 2012-07-18 엘지전자 주식회사 영상 처리 장치 및 그 방법
KR20120084216A (ko) 2011-01-19 2012-07-27 삼성전자주식회사 깊이 정보에 대한 픽셀 노이즈를 제거하는 3차원 이미지 신호 처리 방법 및 상기 방법을 수행하는 3차원 이미지 신호 프로세서
KR20120091970A (ko) 2011-02-09 2012-08-20 연세대학교 산학협력단 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
KR101966975B1 (ko) * 2012-09-03 2019-04-08 엘지이노텍 주식회사 스테레오 매칭장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201044863A (en) * 2009-04-07 2010-12-16 Dainippon Printing Co Ltd Image processing method, image processing apparatus, and recording medium
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
TW201142769A (en) * 2009-12-10 2011-12-01 Sony Corp Three-dimensional image display device, method of manufacturing the same, and three-dimensional image display method
US20110175983A1 (en) * 2010-01-15 2011-07-21 Samsung Electronics Co., Ltd. Apparatus and method for obtaining three-dimensional (3d) image
US20110286661A1 (en) * 2010-05-20 2011-11-24 Samsung Electronics Co., Ltd. Method and apparatus for temporally interpolating three-dimensional depth image

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410465B2 (en) 2019-06-04 2022-08-09 Sigmastar Technology Ltd. Face identification system and method

Also Published As

Publication number Publication date
KR20140030659A (ko) 2014-03-12
US9860521B2 (en) 2018-01-02
KR101966976B1 (ko) 2019-04-08
WO2014035128A1 (en) 2014-03-06
CN104604220B (zh) 2018-11-23
TW201413646A (zh) 2014-04-01
CN104604220A (zh) 2015-05-06
US20150222881A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
TWI623911B (zh) 影像處理系統
TWI631849B (zh) 用於產生深度影像之裝置
JP4717728B2 (ja) ステレオ表示装置及びその制御方法
JP4657313B2 (ja) 立体画像表示装置および方法並びにプログラム
TWI525382B (zh) 包括至少一拜耳型攝影機的攝影機陣列系統及關聯的方法
US20130278738A1 (en) Image processing apparatus and image processing method
US20150009295A1 (en) Three-dimensional image acquisition apparatus and image processing method using the same
US20120314039A1 (en) 3d image acquisition apparatus employing interchangable lens
US9838667B2 (en) Image pickup apparatus, image pickup method, and non-transitory computer-readable medium
KR20120048242A (ko) 3차원 카메라
KR101641406B1 (ko) 스테레오 카메라
JP2012222641A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5356590B1 (ja) 画像処理装置及びその方法
WO2011142422A1 (ja) 立体撮像装置及び立体撮像装置の自動焦点調節方法
US20160034048A1 (en) Video display system, three-dimensional video pointing device and video display device
CN107155102A (zh) 3d自动对焦显示方法及其系统
KR20100134288A (ko) 입체 영상 시스템 및 입체 영상 처리 방법
KR102135372B1 (ko) 구조광 시스템
JP2017215851A (ja) 画像処理装置および画像処理方法、造形システム
JP5351878B2 (ja) 立体画像表示装置および方法並びにプログラム
CN207910876U (zh) 一种3d摄像头
KR100974351B1 (ko) 스테레오스코픽 카메라 모듈 및 이를 위한 영상신호의 처리방법
KR20190039052A (ko) 3차원 영상처리 시스템
KR20190140237A (ko) 스테레오 영상 생성 방법 및 장치
JP2014155126A (ja) 表示装置、表示方法およびプログラム