TW201318407A - 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體 - Google Patents

立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體 Download PDF

Info

Publication number
TW201318407A
TW201318407A TW100138860A TW100138860A TW201318407A TW 201318407 A TW201318407 A TW 201318407A TW 100138860 A TW100138860 A TW 100138860A TW 100138860 A TW100138860 A TW 100138860A TW 201318407 A TW201318407 A TW 201318407A
Authority
TW
Taiwan
Prior art keywords
image
value
region
feature
right image
Prior art date
Application number
TW100138860A
Other languages
English (en)
Other versions
TWI465105B (zh
Inventor
Li-Cheng Chiu
Original Assignee
Syntek Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Syntek Semiconductor Co Ltd filed Critical Syntek Semiconductor Co Ltd
Priority to TW100138860A priority Critical patent/TWI465105B/zh
Publication of TW201318407A publication Critical patent/TW201318407A/zh
Application granted granted Critical
Publication of TWI465105B publication Critical patent/TWI465105B/zh

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一種立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體，為呈現較佳之立體影像，並在硬體運算與成本考量下，立體影像自動校準方法特別採用統一顏色頻道、一維投影、畫素合併等作業簡化影像校準的過程，方法包括取得左影像與右影像與個別之興趣區域，再分別計算個別畫素值之一維投影值，即影像之特徵值，接著計算出左右影像對應不同位移量之複數個特徵關聯值，取得其中最小特徵關聯值，在根據最小特徵關聯值所代表的視差距離校準左影像與右影像之位置。

Description

立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體
本發明有關一種立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體，特別是指校準左右影像呈現立體影像位置誤差的自動校準方法與裝置。
立體影像(three-dimensional image)主要是模擬人類左右兩眼所見的視差產生具有景深的影像，而這類立體影像可透過一種立體顯示器顯示，原理是根據兩眼視差的設計在人類大腦視覺處理部份重建影像，產生視覺上影像之立體感。
在建立立體影像時，可透過左右有一段距離差異的兩個影像感測器拍攝同一物件或景色，之後透過影像處理而結合出一單張立體影像，其中要解決的問題是左右兩個影像間的校準問題。
兩個影像感測器(如攝影機)所取得不同角度的兩張影像，一般會執行影像處理，將同一時間的兩張影像作一校準的步驟，包括亮度(luminance)、顏色(color)與白平衡(white balance)等參數，另可包括系統上的校正、環境參數與像差，都可能是校準步驟的一部份。
習知技術在立體影像校準的實施上，通常是透過一電腦系統擷取各分頁的影像圖框(frame)，逐筆進行影像處理，各頁可先分別暫存於圖框緩衝器(frame buffer)，經左右影像對照後，執行校正。
有鑑於習知技術在立體影像處理上耗費硬體資源的問題，本揭露書提出一種立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體，技術涉及一個執行立體影像自動校準方法之硬體電路，並包括利用特定裝置執行自動校準的電腦程式，亦涉及記載程式之記錄媒體，藉此可提供有效且節省記憶體的立體影像校準技術。本發明之目的之一在於校準立體影像中不同位置取得的影像間的距離，使之可以在一適當範圍內呈現精準的立體影像。
根據發明實施例之一，立體影像自動校準方法包括先經左右兩個方向拍攝特定物件，透過影像感測器取得一左影像與一右影像，之後，選取左影像與右影像個別之興趣區域(ROI)，形成對應且具有一位移量之左影像區域與右影像區域。
方法接著參考硬體限制，如線暫存器之大小，取得左影像區域與右影像區域畫素值之一維投影值，即分別表示左影像區域與右影像區域之特徵值，再儲存至線暫存器。
接著計算左影像區域與右影像區域之複數個特徵關聯值，其中包括計算左影像區域與右影像區域之特徵值的平均值、計算左影像區域之特徵值與平均值之差異，並右影像區域之特徵值與平均值之差異、再將左影像區域與右影像區域之特徵值與平均值之差異相減，經加總此差異相減的值，加總值即為在不同的特定位移量的複數個特徵關聯值。
最後，經比對取得對應不同位移量的複數個特徵關聯值中的最小特徵關聯值，根據此最小特徵關聯值所代表的視差距離校準左影像與右影像之位置。藉此可以呈現出較佳的立體影像。
上述步驟更可包括將所取得之興趣區域的左影像區域與右影像區域中三原色之畫素值統一為單一顏色頻道的畫素值，較佳為綠色頻道的值，其中引用一雙線性內插法估計出畫素中紅色頻道對應為綠色頻道的畫素值，與藍色頻道對應為綠色頻道的畫素值。
為求運算的效率，並考慮硬體的限制與成本，可以引用一畫素合併(binning)的技術，將輸入較大畫素的影像有效降低實際執行畫素數量，以利維持在特定精確度的要求下，進行影像處理。
根據發明實施例之一，相關立體影像自動校準裝置包括有暫存立體影像自動校準裝置取得之左影像與右影像的記憶單元、將影像分別出紅色頻道、綠色頻道與藍色頻道的濾色單元，與執行取得影像之畫素值數值運算的數值運算單元。
其中，數值運算單元根據功能具有將取得之影像的不同顏色頻道的畫素值統一為特定顏色頻道的內插計算模組、降低取得的影像畫素的合併計算模組、將影像數據投影至一維座標上以取得影像之特徵值的一維投影計算模組，與一特徵關聯計算模組，此特徵關聯計算模組將分別計算左影像與右影像之特徵平均值，再取得個別之特徵值與分別之特徵平均值之差異，經加總後得出左右影像之特徵關聯值。
裝置特別包括一個使用線暫存單元的記憶體與比對加總得出的特徵關聯值，得出在不同位移下的一最小特徵關聯值，以及根據最小特徵關聯值所代表的視差距離進行左影像與右影像之校準的校正單元。
本發明實施例更涉及記載有執行上述立體影像自動校準方法的電腦程式的一種電腦可讀取之記錄媒體。
本揭露書提出的立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體涉及一個執行立體影像自動校準方法之硬體電路，其利用特定裝置執行自動校準的電腦程式，亦涉及記載程式之記錄媒體。發明之目的之一在於校準立體影像中不同位置取得的影像間的距離，使之可以在一適當範圍內呈現精準的立體影像。
圖1描述利用兩個不同角度拍攝同一物件之設施示意圖，其中示意有左右兩個影像擷取裝置101,102(如照相機或攝影機)，分別對同一物件103進行拍攝，取得如圖示之左右兩個影像(左影像L,右影像R)，拍攝之內容可為靜態影像或是可以逐幀(frame)處理的動態影片。
圖2(a)(b)(c)接著描述取得左右影像特徵曲線的示意圖。經利用特定裝置(如電腦系統)取得左右影像，如圖2(a)所示，可由一處理程式取得同一個物件或/與同一時間擷取的左影像L與右影像R的影像資料。執行立體影像自動校準的裝置經取得左右兩個影像(L,R)後，可計算兩個影像具有一定差異，特別是左右水平位移，為取得此位移量，可先設一基準線，依此為準得出兩個影像間的影像位移量。
根據本揭露書提出的立體影像自動校準方法實施例，可如圖2(b)所示，在左影像L與右影像R中各以方塊取得具有一定面積的興趣區塊(region of interest,ROI)，分別標示為左影像區域201與右影像區域202。
在執行影像處理時，先將各興趣區域的畫素值經一維投影的演算，逐欄累加(此例為垂直方向，同理可應用於橫向累加)的畫素值，得出一特徵值(signature)，經整個影像區域的累加值計算之後，可呈現如圖2(c)所示意顯示的一種分佈曲線，即為用興趣區域取得特徵值的示意圖。本發明即據特徵分佈估計兩張影像間的視差(parallax)距離。
立體影像自動校準方法係計算出左右影像間的視差距離，並據此校準兩張影像以取得符合一定需求的精準的立體影像，如圖3所示之流程，此流程接著描述本發明立體影像自動校準方法之步驟。
開始如步驟S301，透過影像感測器取得左右影像資料，實施例可以相距一定距離的兩個或以上數量的攝影機同時拍攝一個目標物件，另不排除利用一部攝影機分別在不同位置拍攝同一物件。左右影像數據則先暫存於記憶體中。
根據實施例，在硬體效能可應付的狀態下，整張取得的影像可直接進行後續演算與校準步驟，但仍可如步驟S303所述，利用軟體手段在左右影像中分別選擇興趣區域(ROI)，各興趣區域可以x,y等座標值所描述，並可以根據需要調整。
根據實施例，在執行立體影像位置校準的需要上，並不考慮影像顏色，因此可以執行如步驟S305，經取得特定座標範圍的興趣區域的影像數據後，從記憶體中取得由影像感測器所感測的各興趣區域內的影像顏色頻道(channel)，實施例可經一使用拜耳圖(Bayer pattern)的濾色片取得各畫素的三原色(R,G,B)畫素值，可參考圖4本發明採用之濾色片示意圖。根據實施例之一，若取得之影像非為彩色影像，則可忽略將影像經濾色片取得畫素值之步驟。
經取得彩色左右影像之三原色畫素值後，如步驟S307，各顏色頻道值可經週邊的數值取得之平均值所取代，以此方式統一顏色頻道，以利運算。舉例來說，可同時參考圖4內容，影像畫素由R(紅),G(綠),B(藍)等顏色頻道所組成，但可統一使用其中之一顏色頻道進行後續運算，此例以G(綠色)頻道為準進行校正。
根據實施例之一，為了方便從影像的原始資料(raw data)計算出用於計算視差距離的方塊特徵(block signature)，本揭露書所提之校準方法採用畫素中G(綠色)頻道值，並利用內插法用G頻道值取代R(紅色)與B(藍色)頻道值，如一種雙線性內插法(bilinear interpolation)。雙線性內插法應用一種拜耳顏色濾色陣列圖(Bayer CFA pattern，CFA: Color Filter Array)作為內插計算的基礎，也就是以雙線性內插法估計出畫素中紅色頻道對應為綠色頻道的畫素值，與藍色頻道對應為綠色頻道的畫素值。
舉例來說，請參閱圖4，若要以G值取代圖中R1值，也就是R1(G(R1))，此例使用畫素G1,G3,G4與G7值以內插法來估計R1的值，方程式如下：
G(R1)=(G1+G3+G4+G7)/4　-------------方程式(2)
再以畫素中B4值為例，若要以G值取代B4值，則以其周圍的G值進行內插，以估計出B4的值，方程式如下：
G(B4)=(G4+G7+G8+G10)/4　------------方程式(3)
經統一興趣區域的影像顏色頻道後，若影像大小過於硬體的處理能力，或是經過刻意設計，本發明將可進一步利用一種畫素合併(binning)的技術(步驟S309)。在面對輸入影像大於硬體可處理或是經過設計的範圍時，可使用一種畫素合併(binning)技術有效降低實際執行影像處理的數量，節省記憶體使用。畫素合併的技術是一種數據前置處理程序，可將感測器取得的影像畫素依據記憶體的大小進行畫素合併，將較大的輸入圖像縮成較小圖像，並可維持接近原影像的精準度。此畫素合併技術可以應用於任何畫素大小的輸入影像上，合併範圍則視實際硬體限制而定。此步驟視需要而定，若影像大小並非硬體無法處理，則可忽略此步驟。
參考硬體限制(如線暫存器大小)，畫素合併係將較大尺寸的影像縮為適合線暫存器的大小。舉例來說，若有一個4個畫素的影像，執行2x2畫素合併步驟，可成為一個畫素，有效降影像處理的硬體需要，特別是記憶體的使用。根據一實例，若線暫存器為640bit，影像為1280pixels，則可兩兩加總，將像素減少一半，再儲存至線暫存器。
經上述統一顏色頻道與畫素合併的步驟之後，接著方法將如步驟S311所述，根據硬體所提供的線緩衝器(line buffer)大小，利用演算法逐欄(此例為縱向)計算取得影像的一維投影值，較佳可直接引用興趣區域的影像資料。
相關運算如下。此例以線緩衝器為儲存影像各行畫素之全部或特定部份(如中間)64畫素(pixel,0～63)的大小為例，利用方程式(1)分別取得一維投影值，即分別表示ROI內之左影像區域之特徵值與右影像區域之特徵值，可反應出左右影像區域的特徵曲線。
上述由不同或相同的感測器取得左右兩個方向的影像，分別標示為左影像(L)與右影像(R)，可以在取得影像的同時，取得其中興趣區域作為後續運算，亦可於經上述初步處理之後，再根據其中興趣區域執行後續步驟。興趣區域的取得包括先設有一個方塊(比如是一個正方形、長方形)，也就是定義出一個興趣區域(ROI)，其中X與Y兩個方向為可調整，可參考圖2。兩個圖框分別以方塊標示，方塊中每一欄(如垂直畫素之加總)以曲線Cx所描述(此例為橫向i與縱向64畫素為例的影像)：
其中x係指水平座標方向；i索引指出所選取影像之橫向畫素之索引；j則為縱向的畫素索引，此例採用影像中間或其他部份64畫素之加總；P(i,j,L)與P(i,j,R)分別為在左右圖框內座標(i,j)的畫素值。透過加總運算，可將整個平面影像投影以一維數據來表示，也就是各影像的特徵值，以分佈來看，即形成一特徵曲線。
可同時參考圖5(a)(b)所示取得一維投影值的示意圖，圖5(a)描述一個影像範圍的垂直方向畫素值累加的示意圖，接著各欄的累加值將反映如圖5(b)的特徵曲線上，即方程式(1)所算出的特徵值的變化曲線(Cx)。
經一維投影之後，影像特徵可以一曲線表示，相關數值也可以符合一線緩衝器的大小，如步驟S313所描述，經計算的特徵值暫存於此線緩衝器中。利用此一方向投影在線暫存器上的方式可大幅減少所需的記憶體。
繼續參考圖3之步驟S315，計算最小特徵關聯值。
為了得到左圖框(L)與右圖框(R)間的視差距離，本揭露書所提出的方法係利用上述左右圖框的特徵值與平均值取得特徵關聯值，再得出一最小特徵關聯(minimum signature correlation)，相關的特徵關聯係由上述左右圖框分別取得的特徵曲線得出，如採用以下方程式(4)所計算的結果：
此例(但實際實施並不限於此例)同樣採用所選取的影像區域橫向(x方向)中全部或部份64個畫素(0～63)的畫素值，並藉此將經加總之一維投影值(特徵值)再計算影像區域的橫向特徵平均值(Averagex(L/R))；其中q值為左右兩個影像區域之間的一位移量，此範例中可為192畫素(0～191)的範圍，為表示一個區域內(如ROI)中兩個影像的水平方向特徵值(如Cx)的位移量，可為一位移向量(shift vector)，此位移向量即造成左右兩個影像間水平方向的視差。此方式係先分別得出左右圖框的特徵平均值(Averagex(L)與Averagex(R))，再由方程式計算得出各橫向畫素特徵值與特徵平均值之差異(Cx(i,L)-Averagex(L)與Cx(i+q,R)-Averagex(R))。
再將左影像區域與右影像區域之特徵值與特徵平均值差異相減，之後將此相減後的值加總，也就是加總左右圖框的特徵值與特徵平均值的差異相減的值，此加總值即為在不同的q值(位移量)得出多個特徵關聯值R(q)，此為在左影像區域(L)的特徵值與有一個距離以外的右影像區域(R)特徵值之間位移(shift)為q的關聯值，此例可有192個。
經比對對應不同的位移量的特徵關聯值，可得出一最小特徵關聯值，以Rmin(q)表示，由上述計算出的關聯值取出在一影像區域中之最小值，也就是原始左右圖框間設計具有一個位移q，但此位移q在水平方向產生此最小特徵關聯值所代表的視差距離(parallax distance)(步驟S317)，也就是在呈現立體影像時需要補償的視差距離，之後依據此最小特徵關聯值Rmin(q)代表的視差距離進行校準(步驟S319)。
以上所揭示本揭露書提出的立體影像自動校準方法，其目的之一是用以估計從兩個感測器取得的兩個影像的物件視差(parallax)距離，據此進行校準，其中引用的一維投影技術係將特定範圍內的畫素值投影為一特徵曲線上，其中步驟可參考圖6流程所描述之步驟。
若影像為彩色，可以如步驟S601所作，先輸入統一頻道之影像，比如將R,G,B顏色空間中的紅色與藍色畫素利用內插法來以綠色值表示；若為非彩色的影像，或可忽略此步驟。
接著，依據實際需要，可決定出左右影像中的特定興趣區域(步驟S603)，並對特定範圍內的畫素值逐行累加畫素值(步驟S605)，產生後續計算特徵關聯需用的一維投影值(步驟S607)。
圖7所示之流程則描述本發明計算特徵關聯值之步驟。步驟S701描述使用經計算得出的左右影像興趣區域之一維投影值，再如上述方程式(4)所示之範例，計算左右影像興趣區域之橫向特徵之平均值，可分別定義為左影像的第一平均值與右影像的第二平均值(Averagex(L/R)，步驟S703)，並與左右影像中橫向特徵值相減，取得各行左右影像中各一維投影值與其相對平均值之差異，可分別定義為左影像各投影值的第一差異與右影像各投影值的第二差異(步驟S705)。
之後如步驟S707，累加各橫向特徵值與特徵平均值的差異量(第一、第二差異)，依此取得各影像橫向位置上在不同的位移向量(q值)上的特徵關聯值(步驟S709)，經反覆計算後取得最小特徵關聯值(步驟S711)，此值被視為視差距離，也就是需要校準的值，相關左右影像拍攝的影像感測器或是相關設備應針對此需要校準的值調整裝置距離。
圖8則接著描述實現上述校準方法的立體影像自動校準裝置之功能方塊圖。
裝置本身特別包括有記憶單元803、濾色單元805、數值運算單元807、線暫存單元809、比對單元811與校正單元813，數值運算單元807則包括可以軟體或是硬體實現的畫素合併計算模組821、內插計算模組823、一維投影計算模組825與特徵關聯計算模組827，再包括一個連結於記憶單元803上用於採用影像中特定部份的資料的興趣區域模組831。
根據實施例，可分別由不同位置的影像感測器同時取得特定物件的左右兩個方向的影像，若拍攝靜態物件，則可以相同影像感測器在不同位置進行拍攝。如圖所示，立體影像自動校準裝置由影像感測器801取得左右影像，並暫存於裝置之記憶單元803，暫存之影像可經濾色單元805將畫素分別出其中紅色頻道(R)、綠色頻道(G)與藍色頻道(B)。其中在取得影像數據時，可利用軟體或硬體實現的興趣區域模組831將記憶單元803內儲存的影像在左右影像R中各以方塊取得具有一定面積的興趣區塊(ROI)，可以方便計算距離誤差，並節省運算資源。
由於本揭露書提出的校準方法並無利用彩色的特性，因此可以將畫素經統一頻道為同一顏色頻道上，比如上述經內插法將各顏色頻道統一為綠色頻道一般。經濾色單元805處理的畫素值再經數值運算單元807處理。
之後經數值運算單元807將取得影像之畫素值進行數值運算，根據本發明所需之功能主要區分為以軟體或硬體實現的多個模組，包括將取得之影像進行畫素合併的畫素合併計算模組821、計算影像單一顏色頻道的內插計算模組823、將影像畫素累加取得一維特徵值的一維投影計算模組825與根據左右影像之特徵計算特徵關聯值的特徵關聯計算模組827。
其中利用內插計算模組823將取得之影像的不同顏色頻道的畫素值統一為特定顏色頻道，如上述較佳轉換為綠色頻道，但實際運作根據需求也不排除統一至其他的顏色頻道。計算方式可參考上述方程式(2)(3)。
接著，因為硬體資源(特別是記憶體)的限制，或是為求節省硬體資源，可利用數值運算單元807內的畫素合併計算模組821將取得的影像數據經畫素合併(binning)步驟有效降低實際執行影像處理的畫素，也就是將較大的輸入圖像縮成較小圖像。
在處理左右影像時，可以利用數值運算單元807內的一維投影計算模組825將整個經選取的部份(如ROI)的影像數據投影至一維座標上的數據，藉此取得影像的一種特徵曲線(有一序列的特徵值)，計算方式如方程式(1)。裝置具有一暫存數值運算單元807之處理數據的暫存單元，如圖示之線暫存單元809，經投影的影像數據則可以儲存於一線暫存單元809上，不同於一般需要將整張影像暫存於特定記憶體中(如裝置內之同步動態隨機存取記憶體，Synchronous Dynamic Random Access Memory，SDRAM)，使用線暫存單元則更可節省內部運算用的記憶體使用。
經數值運算單元807取得在一維座標上的影像數據後，其中特徵關聯計算模組827再計算左右影像畫素橫向的特徵平均值，取得左右影像個別之特徵值與此平均值之差異(分別可定義為第一差異與第二差異)，此差異即兩者之特徵關聯值，可參考上述方程式(4)的計算。
之後，經比對單元811比對各特徵關聯值，得出左右影像相對之最小特徵關聯值，最小特徵關聯值即表示為一視差距離，也就是需要校準補償左右影像形成立體影像所需的值，透過校正單元813進行左右影像位置之校準，以取得較佳可以呈現立體影像的視差，影像經調整後，將輸出至外部裝置815。
本揭露書所提出執行立體影像自動校準的裝置即如上述圖8之描述，物件經影像感測器取得影像數據後，將透過濾色片取得各畫素的顏色頻道資料，再由興趣區域中計算並統一其中顏色頻道、計算一維投影值，以方便暫存於線暫存單元，最後算出最小特徵關聯值，依此為基準進行影像或是設備之校正。
綜上所述，本揭露書所提出的立體影像自動校準方法與相關裝置目的是透過估計兩個感應器得到的兩張影像的物件視差距離，以進行自動校準，其中特別透過統一顏色、畫素合併與最小特徵關聯的執行有效得出視差距離，再據此執行校準。自動校準方法有效使用線暫存器，透過投影為一維空間的方式進行誤差判斷，可以減少記憶體使用。
惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。
101,102．．．影像擷取裝置
103．．．物件
L．．．左影像
R．．．右影像
201．．．左影像區域
202．．．右影像區域
801．．．影像感測器
803．．．記憶單元
805．．．濾色單元
807．．．數值運算單元
809．．．線暫存單元
811．．．比對單元
813．．．校正單元
821．．．畫素合併計算模組
823．．．內插計算模組
825．．．一維投影計算模組
827．．．特徵關聯計算模組
831．．．興趣區域模組
815．．．外部裝置
步驟S301～步驟S319　立體影像自動校準流程
步驟S601～步驟S607　一維投影值計算流程
步驟S701～步驟S711　特徵關聯值計算流程
圖1描述利用兩個不同角度拍攝同一物件之設施示意圖；
圖2(a)(b)(c)所示為本發明利用興趣區域取得特徵值的示意圖；
圖3所示之流程描述本發明立體影像自動校準方法之步驟；
圖4所示為本發明採用之濾色片示意圖；
圖5(a)(b)所示為本發明取得一維投影值的示意圖；
圖6所示之流程描述本發明計算一維投影值之步驟；
圖7所示之流程描述本發明計算特徵關聯值之步驟；
圖8所示為本發明立體影像自動校準裝置之功能方塊圖。
S301．．．取得左右影像資料
S303．．．選擇興趣區域
S305．．．取得影像顏色頻道
S307．．．統一顏色頻道
S309．．．畫素合併
S311．．．逐欄取得一維投影值
S313．．．暫存於線暫存器
S315．．．計算最小特徵關聯值
S317．．．得出左右視差距離
S319．．．進行左右影像校準

Claims (10)

  1. 一種立體影像自動校準方法，包括：透過一影像感測器取得一物件之一左影像與一右影像；選取該左影像與該右影像個別之興趣區域，形成對應且具有一位移量之一左影像區域與一右影像區域；參考一線暫存器之大小，取得該左影像區域與該右影像區域畫素值之一維投影值，即分別為該左影像區域之特徵值與該右影像區域之特徵值；儲存該左影像區域與該右影像區域畫素值之一維投影值至該線暫存器，其中該一維投影值為該左影像區域與該右影像區域之特徵值；計算該左影像區域與該右影像區域之複數個特徵關聯值，其中包括：計算該左影像區域之特徵值的第一平均值，與該右影像區域之特徵值的第二平均值；計算該左影像區域之特徵值與該第一平均值之第一差異；與該右影像區域之特徵值與該第二平均值之第二差異；將該第一差異與該第二差異相減；加總該第一差異與該第二差異相減的值，此加總值即為在不同的該位移量的該複數個特徵關聯值；取得對應不同該位移量的該複數個特徵關聯值之一最小特徵關聯值；以及根據該最小特徵關聯值所代表的視差距離校準該左影像與該右影像之位置。
  2. 如申請專利範圍第1項所述之立體影像自動校準方法，其中若該左影像與該右影像所彩色影像，則將所取得之興趣區域的該左影像區域與該右影像區域之畫素統一為單一顏色頻道的畫素值。
  3. 如申請專利範圍第2項所述之立體影像自動校準方法，其中該左影像區域與該右影像區域之畫素係利用一拜耳圖的濾色片取得各畫素的三原色畫素值。
  4. 如申請專利範圍第3項所述之立體影像自動校準方法，其中將各畫素的畫素值統一為綠色頻道的畫素值。
  5. 如申請專利範圍第4項所述之立體影像自動校準方法，其中該統一顏色頻道的步驟係以一雙線性內插法估計出畫素中紅色頻道對應為綠色頻道的畫素值，與藍色頻道對應為綠色頻道的畫素值。
  6. 如申請專利範圍第1項所述之立體影像自動校準方法，其中於該選取該左影像與該右影像個別之興趣區域之步驟之後，更包括：以一畫素合併的技術降低實際執行該左影像區域與該右影像區域的畫素數量。
  7. 一種電腦可讀取之記錄媒體，其中儲存一電腦程式，該程式執行一立體影像自動校準方法，該方法包括：透過一影像感測器取得一物件之一左影像與一右影像；選取該左影像與該右影像個別之興趣區域，形成對應且具有一位移量之一左影像區域與一右影像區域；將所取得之興趣區域的該左影像區域與該右影像區域之畫素統一為單一顏色頻道的畫素值；以一畫素合併的技術降低實際執行該左影像區域與該右影像區域的畫素數量；參考一線暫存器之大小，取得該左影像區域與該右影像區域畫素值之一維投影值，即分別為該左影像區域之特徵值與該右影像區域之特徵值；儲存該左影像區域與該右影像區域畫素值之一維投影值至該線暫存器，其中該一維投影值為該左影像區域與該右影像區域之特徵值；計算該左影像區域與該右影像區域之複數個特徵關聯值，其中包括：計算該左影像區域之特徵值的第一平均值，與該右影像區域之特徵值的第二平均值；計算該左影像區域之特徵值與該第一平均值之第一差異；與該右影像區域之特徵值與該第二平均值之第二差異；將該第一差異與該第二差異相減；加總該第一差異與該第二差異相減的值，此加總值即為在不同的該位移量的該複數個特徵關聯值；取得對應不同該位移量的該複數個特徵關聯值之一最小特徵關聯值；以及根據該最小特徵關聯值所代表的視差距離校準該左影像與該右影像之位置。
  8. 一種立體影像自動校準裝置，包括：一記憶單元，暫存該立體影像自動校準裝置取得之一左影像與一右影像；一濾色單元，將影像分別出一紅色頻道、一綠色頻道與一藍色頻道；一數值運算單元，將取得影像之畫素值進行數值運算，包括：一內插計算模組，將取得之影像的不同顏色頻道的畫素值統一為特定顏色頻道；一合併計算模組，降低取得的影像的畫素；一一維投影計算模組，將影像數據投影至一維座標上，取得影像之特徵值；一特徵關聯計算模組，分別計算該左影像與該右影像之特徵平均值，再取得該左影像與該右影像個別之特徵值與分別之特徵平均值之差異，經加總後得出該左影像與該右影像之特徵關聯值；一線暫存單元，暫存該數值運算單元之數據，包括所得出的影像特徵值；一比對單元，比對該左影像與該右影像之特徵關聯值，得出一最小特徵關聯值；以及一校正單元，根據該最小特徵關聯值所代表的視差距離進行該左影像與該右影像之校準。
  9. 如申請專利範圍第8項所述的立體影像自動校準裝置，其中該裝置所處理之該左影像與該右影像於輸入時經一興趣區域模組取得興趣區域。
  10. 如申請專利範圍第8項所述的立體影像自動校準裝置，其中該線暫存單元為該立體影像自動校準裝置之一同步動態隨機存取記憶體。
TW100138860A 2011-10-26 2011-10-26 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體 TWI465105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW100138860A TWI465105B (zh) 2011-10-26 2011-10-26 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100138860A TWI465105B (zh) 2011-10-26 2011-10-26 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體

Publications (2)

Publication Number Publication Date
TW201318407A true TW201318407A (zh) 2013-05-01
TWI465105B TWI465105B (zh) 2014-12-11

Family

ID=48872152

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100138860A TWI465105B (zh) 2011-10-26 2011-10-26 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體

Country Status (1)

Country Link
TW (1) TWI465105B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581176B (zh) * 2013-06-26 2017-05-01 鴻海精密工業股份有限公司 圖像自適應調整系統及方法
TWI602420B (zh) * 2016-10-06 2017-10-11 晶睿通訊股份有限公司 立體視覺影像校正方法及其影像擷取裝置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI536313B (zh) 2015-06-30 2016-06-01 財團法人工業技術研究院 車用環景系統調校方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
KR100899422B1 (ko) * 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581176B (zh) * 2013-06-26 2017-05-01 鴻海精密工業股份有限公司 圖像自適應調整系統及方法
TWI602420B (zh) * 2016-10-06 2017-10-11 晶睿通訊股份有限公司 立體視覺影像校正方法及其影像擷取裝置
US10735710B2 (en) 2016-10-06 2020-08-04 Vivotek Inc. Stereo vision image calibration method and related image capturing device

Also Published As

Publication number Publication date
TWI465105B (zh) 2014-12-11

Similar Documents

Publication Publication Date Title
US11985293B2 (en) System and methods for calibration of an array camera
EP3163535B1 (en) Wide-area image acquisition method and device
JP5997645B2 (ja) 画像処理装置及び方法、及び撮像装置
TWI554976B (zh) 監控系統及其影像處理方法
US20150301351A1 (en) Image processing apparatus, image processing method, and program for generating a three dimensional image to be stereoscopically viewed
US10349040B2 (en) Storing data retrieved from different sensors for generating a 3-D image
US20110064298A1 (en) Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating
JP2009284188A (ja) カラー撮像装置
US11863888B2 (en) Image signal processing for reducing lens flare
WO2019054304A1 (ja) 撮像装置
RU2690757C1 (ru) Система синтеза промежуточных видов светового поля и способ ее функционирования
CN109785390B (zh) 一种用于图像矫正的方法和装置
TWI465105B (zh) 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體
US9538161B2 (en) System and method for stereoscopic photography
US10332269B2 (en) Color correction of preview images for plenoptic imaging systems
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
JP5446285B2 (ja) 画像処理装置及び画像処理方法
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
Shinozaki et al. Correction of color information of a 3D model using a range intensity image
JP2005346393A (ja) ステレオ画像認識装置及びその方法
TW201644271A (zh) 測試系統及測試方法
CN108230273A (zh) 一种基于几何信息的人工复眼相机三维图像处理方法
GB2555585A (en) Multiple view colour reconstruction
KR101823657B1 (ko) 이종 카메라를 위한 스테레오 영상 교정 방법
TWI474286B (zh) 以色彩為基礎之立體影像產生方法及裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees