TW201537949A - 立體攝影系統及其方法 - Google Patents

立體攝影系統及其方法 Download PDF

Info

Publication number
TW201537949A
TW201537949A TW103110908A TW103110908A TW201537949A TW 201537949 A TW201537949 A TW 201537949A TW 103110908 A TW103110908 A TW 103110908A TW 103110908 A TW103110908 A TW 103110908A TW 201537949 A TW201537949 A TW 201537949A
Authority
TW
Taiwan
Prior art keywords
image
data stream
image sensor
pixels
stereo
Prior art date
Application number
TW103110908A
Other languages
English (en)
Other versions
TWI538476B (zh
Inventor
Ling-Wei Liu
Hung-Chang Tsai
Original Assignee
Lips Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lips Inc filed Critical Lips Inc
Priority to TW103110908A priority Critical patent/TWI538476B/zh
Priority to US14/496,239 priority patent/US9538161B2/en
Publication of TW201537949A publication Critical patent/TW201537949A/zh
Application granted granted Critical
Publication of TWI538476B publication Critical patent/TWI538476B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明提供之立體攝影系統包含一第一影像感測器、一第二影像感測器、一同步模組、一結合模組、一校準模組及一立體匹配模組。該第一影像感測器用於擷取一第一影像。該第二影像感測器用於擷取一第二影像。該校準模組用於對該第一影像及該第二影像進行一影像校準及一水平校正。該立體匹配模組用於計算該第一影像中的一參考像素與該第二影像中的一對應像素的一距離差值，其中該立體匹配模組在該第二影像的一像素列上以間隔方式比較複數個像素相對於該參考像素的價值。本發明另提供一種立體攝影方法及其之立體匹配方法。

Description

立體攝影系統及其方法
本發明係關於一種立體攝影系統及其方法，尤指一種可減少運算量的立體攝影系統及其方法。
近年來，隨著立體顯示技術的發展，立體影像之處理亦愈來愈重要。一般而言，形成立體影像可藉由下列幾種方式，例如利用可得到深度資訊的深度攝影機進行拍攝、或由模擬人類雙眼視覺之雙攝影機進行拍攝，再將拍攝到的二維影像經過適當的影像處理以得到立體影像。
所謂的立體影像，即除了一般二維平面影像之外，還要對於影像對中的物件具有不同的視覺深度。而將二維影像轉換為立體影像的技術稱為立體匹配(stereo matching)技術。立體匹配是對某一場景拍攝兩個以上影像，通過精確地找出影像間的匹配像素來估計該場景的三維模型，並且將這些影像間的匹配像素的二維位置轉換為三維深度的處理。
在傳統的立體匹配的運算技術中，通常將分別由兩個相機獲取的兩個影像中的一個影像作為參考圖像、另一個影像作為目標圖像，並且輸出目標圖像相對於參考圖像的視差圖(disparity map)。而每一像素的視差與被拍攝物體的距離呈反比。故，視差圖可用來描述所拍攝圖像中的立 體深度。
然而，由於參考圖像中的每一像素均需計算出其視差，且現有的立體匹配的演算法極為複雜，故運算量極大。因此，在目前的半導體技術發展的限制之下，採用雙攝影機進行立體攝影的技術都還在研發的階段，還難以達到商品化的階段。
有鑑於此，本發明之目的在於提供一種立體攝影系統，其提供了實現立體攝影的具體架構，且可降低立體匹配的運算量，使得該立體攝影系統可實現商品化。
本發明之另一目的在於提供一種立體攝影方法，其採用間隔方式來計算視差，降低了運算量，以解決目前半導體發展限制的問題。
本發明之再另一目的在於提供一種用於立體攝影系統之立體匹配之方法，其採用間隔方式來計算視差，降低了運算量，達到該立體攝影系統可實現商品化的目的。
為達成上述目的，本發明提供之立體攝影系統包含一第一影像感測器、一第二影像感測器、一同步模組、一結合模組、一校準模組及一立體匹配模組。該第一影像感測器用於擷取一第一影像，以產生一第一資料串流。該第二影像感測器相距該第一影像感測器一水平距離設置，用於擷取一第二影像，以產生一第二資料串流。該同步模組電性連接於該第一影像感測器及第二影像感測器，用於同步化該第一資料串流及該第二資料串流，並同步化該第一影像感測器及該第二影像感測器的自動曝光及自動白平衡參數。該結合模組用於結合該第一資料串流及該第二資料串流以 輸出一結合影像資料，該結合影像資料包含該第一影像及該第二影像。該校準模組用於對該結合影像資料中的該第一影像及該第二影像進行一影像校準及一水平校正。該立體匹配模組用於計算該第一影像中的一參考像素與該第二影像中的一對應像素的一距離差值，其中該立體匹配模組在該第二影像的一像素列上以間隔方式比較複數個像素相對於該參考像素的價值。
在一較佳實施例中，該間隔方式係間隔一預定數量的像素。具體而言，該預定數量為一正整數。
在一較佳實施例中，該價值為亮度差異。
在一較佳實施例中，該立體匹配模組還包含一次像素內插單元，用於精確計算該距離差值，使得該距離差值的誤差小於0.1像素。
在一較佳實施例中，該些像素位於該像素列上的一搜尋區間。
在一較佳實施例中，該同步模組提供一控制時脈訊號至該第一影像感測器及該第二影像感測器。此外，該第一資料串流與該第二資料串流具有同步的資料行信號。
在一較佳實施例中，該立體匹配模組係利用軟體、韌體、或硬體其中之一或其組合來實施。
為達成上述目的，本發明提供之立體攝影方法包含下列步驟：分別透過一第一影像感測器及一第二影像感測器擷取一第一影像及一第二影像，以產生一第一資料串流及一第二資料串流；同步化該第一資料串流及該第二資料串流，並同步化該第一影像感測器及該第二影像感測器 的自動曝光及自動白平衡參數；結合該第一資料串流及該第二資料串流以輸出一結合影像資料，該結合影像資料包含該第一影像及該第二影像；對該結合影像資料中的該第一影像及該第二影像進行一影像校準及一水平校正；以及計算該第一影像中的一參考像素與該第二影像中的一對應像素的一距離差值，其中計算該距離差值還包含在該第二影像的一像素列上以間隔方式比較複數個像素相對於該參考像素的價值。
在一較佳實施例中，該間隔方式係間隔一預定數量的像素。具體而言，該預定數量為一正整數。
在一較佳實施例中，該價值為亮度差異。
在一較佳實施例中，計算該距離差值還包含進行次像素內插計算，以精確計算該距離差值，使得該距離差值的誤差小於0.1像素。
在一較佳實施例中，該些像素位於該像素列上的一搜尋區間。
在一較佳實施例中，計算該距離差值係利用軟體、韌體、或硬體其中之一或其組合來實施。
為達成上述目的，本發明提供了用於立體攝影系統之立體匹配之方法，該立體攝影系統包含擷取一第一影像的一第一影像感測器及擷取一第二影像的一第二影像感測器，該方法包含：計算該第一影像中的一參考像素與該第二影像中的一對應像素的一距離差值，其中計算該距離差值還包含在該第二影像的一像素列上以間隔方式比較複數個像素相對於該參考像素的價值。
在一較佳實施例中，該間隔方式係間隔一預定數量的像素， 且該預定數量為一正整數。
相較於習知技術，本發明採用的立體匹配模組不僅以間隔方式降低計算視差的運算量，且透過次像素內插的計算，還可提高計算立體深度的精準度。也就是說，本發明的立體攝影系統及方法不僅透過間隔方式減少了計算量，且也因具有次像素內插計算使得精確度提高，從而達到可實現商品化的目的。
為讓本發明之上述和其他目的、特徵、和優點能更明顯易懂，配合所附圖式，作詳細說明如下：
10‧‧‧立體攝影系統
120‧‧‧第一影像感測器
140‧‧‧第二影像感測器
150‧‧‧同步模組
160‧‧‧結合模組
170‧‧‧影像信號處理模組
180‧‧‧校準模組
190‧‧‧立體匹配模組
195‧‧‧次像素內插單元
220‧‧‧第一資料串流
222‧‧‧資料行信號
222(1)~222(N)‧‧‧第1行的資料行信號至第N行的資料行信號
240‧‧‧第二資料串流
242‧‧‧資料行信號
242(1)~242(N)‧‧‧第1行的資料行信號至第N行的資料行信號
260‧‧‧結合影像資料
310‧‧‧控制時脈訊號
420‧‧‧第一影像
440‧‧‧第二影像
450‧‧‧極線
460‧‧‧像素列
D‧‧‧資料點
P‧‧‧像素
PL‧‧‧參考像素
PR‧‧‧對應像素
R‧‧‧搜尋區間
XL、XR‧‧‧座標
f(x)‧‧‧價值函數
S10~S50‧‧‧步驟
第1圖繪示本發明之一較佳實施例之立體攝影系統之示意方塊圖。
第2圖繪示第一資料串流及第二資料串流的時序示意圖。
第3圖繪示結合模組的運作示意圖。
第4圖繪示立體匹配模組的運作示意圖。
第5圖繪示第一影像及該第二影像的示意圖。
第6圖繪示計算距離差值的示意圖。
第7圖繪示根據本發明實施例之價值函數示意圖。
第8圖繪示本發明一較佳實施例之立體攝影方法之流程圖。
本發明之數個較佳實施例藉由所附圖式與下面之說明作詳細描述，在不同的圖式中，相同的元件符號表示相同或相似的元件。
請參照第1圖，第1圖繪示本發明之一較佳實施例之立體攝影 系統之示意方塊圖。本實施例之立體攝影系統10包含一第一影像感測器120、一第二影像感測器140、一同步模組150、一結合模組160、一影像信號處理模組170、一校準模組180及一立體匹配模組190。
具體地，該第一影像感測器120用於擷取一第一影像，以產生一第一資料串流220。該第二影像感測器140相距該第一影像感測器120一水平距離設置，用於擷取一第二影像，以產生一第二資料串流240。較佳地，該水平距離介於4公分至8公分之間。詳細而言，該第一影像感測器120可為一左攝影機，並於擷取一左影像；而該第二影像感測器140可為一右攝影機，並於擷取一右影像。更近一步來說，本實施例的第一影像感測器120及第二影像感測器140是兩個RGB攝影機來實施，例如CMOS或CCD攝影機，且這兩個RGB攝影機具有相同或相似的性能(如解析度)。然而，本發明並不限制於此。
該第一影像感測器120及第二影像感測器140較佳係設置在一電路板(圖未示)上，且該同步模組150、結合模組160及影像信號處理模組170可配置在該電路板上。上述的同步模組150、結合模組160及影像信號處理模組170可各自為一晶片或是整合為一系統單晶片(System-on-a-Chip,SoC)，以減少體積與成本。
請參照第1圖及第2圖，第2圖繪示第一資料串流220及第二資料串流240的時序示意圖。該同步模組150電性連接於該第一影像感測器120及第二影像感測器140，用於同步化該第一資料串流220及該第二資料串流240。如第2圖所示，第一資料串流220具有複數個資料行信號222(1)~222(N)，每一資料行信號222包含每一資料行的資訊量，而該些資料 行組成第一感測器120擷取的該第一影像之圖框(或稱幀frame)的資料。類似地，第二資料串流240具有複數個資料行信號242(1)~242(N)，每一資料行信號242包含每一資料行的資訊量，而該些資料行組成第二感測器140擷取的該第二影像之圖框的資料。
該同步模組150提供一控制時脈訊號310至該第一影像感測器120及第二影像感測器140，用於控制該第一資料串流220與該第二資料串流240的時序，使得該第一資料串流220與該第二資料串流240具有同步的資料行訊號222、242及垂直同步信號(如虛線所示)。所謂垂直同步信號即該第一資料串流220輸出第一圖框F1與該第二資料串流240輸出第二圖框F2的時序同步。
另一方面，該同步模組150可與該影像信號處理模組170溝通，用以同步化該第一影像感測器120及該第二影像感測器140的自動曝光(Auto exposure)及自動白平衡參數(Auto white balance)，使得該第一影像感測器120及該第二影像感測器140兩者同時捕捉到的第一畫面及第二畫面的亮度、色澤相同，以利後續的影像處理。
請參照第1圖及第3圖，第3圖繪示結合模組的運作示意圖。該結合模組160用於結合該第一資料串流220及該第二資料串流240以輸出一結合影像資料260，該結合影像資料260包含該第一影像及該第二影像。較佳地，該結合影像資料260構成的圖框之面積為第一影像或該第二影像之圖框的兩倍。
接著，如第1圖所示，該結合影像資料260傳送至該影像信號處理模組170，進行影像處理(例如顏色處理)以供該校準模組180運用。 詳細來說，透過結合模組160將該第一影像感測器120及該第二影像感測器140的第一資料串流220及該第二資料串流240結合，因此可採用單一影像信號處理器(ISP)進行處理。
如第1圖所示，該校準模組180電性連接於該影像信號處理模組170，該校準模組180用於對該結合影像資料260中的該第一影像及該第二影像進行一影像校準(Calibration)及一水平校正(Rectification)。其中，影像校準是針對該第一影像及該第二影像的扭曲或鏡頭造成的變形作修正。例如，可根據鏡頭出廠的參數進行調整。而水平校正是對準該第一影像及該第二影像的水平，使得兩者所拍攝到的物體可位於該第一影像及該第二影像中的相同高度(即Y座標)。
請參照第4圖及第5圖，第4圖繪示立體匹配模組的運作示意圖、第5圖繪示第一影像及該第二影像的示意圖。該立體匹配模組190係用於計算第一影像420相對第二影像440的視差圖500。詳細而言，請參照第5圖，該立體匹配模組190計算該第一影像420中的一參考像素PL與該第二影像中的一對應像素PR的一距離差值，即視差(disparity)。其中該對應像素PR代表在第一影像420中參考像素PL所指的物體在第二影像440中的位置所表示的像素。此外，由於第一影像420相對第二影像440已進行過水平校準，因此，參考像素PL與對應像素PR係位於第一影像420及第二影像440的相同水平線上，該水平線又稱為極線(Epipolar line)450。由上可知，該距離差值也為水平距離差值，也就是參考像素PL在第一影像420的座標XL與對應像素PR在第二影像440的座標XR的差值，其中上述座標各以該第一影像感測器120及第二影像感測器140之影像平面中心點(虛線所示)為原點，往右為正， 往右為負。因此，該距離差值(視差)則為XR-XL。
以下將詳細說明計算該距離差值的方法。請參照第6圖，第6圖繪示計算距離差值的示意圖。該立體匹配模組190計算該距離差值還包含在該第二影像440的一像素列460(極線450)上以間隔方式比較複數個像素相對於該參考像素PL的價值(cost)。具體來說，該價值為該像素P與該參考像素PL的相關性。例如，像素P與該參考像素PL的亮度差異，或者顏色差異等。另一方面，該間隔方式係間隔一預定數量的像素P，其中該預定數量為一正整數。舉例來說，若該預定數量為1，則如第6圖所示為間隔一個像素P來減少運算量。可以理解的是，該預定數量為1，則可減少一半的運算量。
然而，本發明並不限於此，例如該預定數量可為2、3、4、5等其他正整數。或者，每次間隔非為固定值。值得一提的是，上述選取的多個像素P不需整個像素列460都進行運算，僅需從參考像素PL在第一影像420的座標XL為啟始的一搜尋區間R內進行間隔方式比較即可，藉此進一步減少運算量。
請參照第7圖，第7圖繪示根據本發明實施例之價值函數示意圖，其中縱軸為表示亮度差異，橫軸表示視差(單位為像素)。經過如第6圖的間隔方式為間隔一個像素P的統計後，可得複數個資料點D。如第4圖所示，該立體匹配模組190還包含一次像素內插單元195。該次像素內插單元195用於精確計算該距離差值。具體來說，該立體匹配模組190透過該些資料點D，經過數學運算可得到一價值函數(cost function)f(x)，如第7圖所示。該次像素內插單元195可對價值函數f(x)進行內插，而得到價值函數f(x)的最低點(三角形所示)，進而求得精確的視差，使得該距離差值的誤差小於0.1 像素。也就是說，透過次像素內插單元195計算的該距離差值可具有較高的解析度，以提高匹配的精確度。
經過該立體匹配模組190計算出每一像素P的視差後，即可得出該視差圖500。據此，物體深度與視差呈反比，且與焦距及該第二影像感測器140相距該第一影像感測器120之水平距離的乘機呈正比。因此可根據視差圖500求得物體的深度。
值得一提的是，該立體匹配模組190係利用軟體、韌體、或硬體其中之一或其組合來實施。該校準模組及該立體匹配模組190較佳可使用軟體來達成。此外，該同步模組150、該結合模組160及該影像信號處理模組170實施為微處理器、一或多個特殊應用積體電路(ASIC)、一或多個場可程式化閘陣列(FPGA)或其任何結合。
以下將詳細介紹採用本實施例之立體攝影系統10之立體攝影方法。請一併參照第1圖及第8圖，第8圖繪示本發明一較佳實施例之立體攝影方法之流程圖。本實施例之立體攝影方法是用於上述立體攝影系統10，以下所提到元件請參照上述說明，在此不再贅述。
本實施例之立體攝影方法開始於步驟S10。於步驟S10中，分別透過一第一影像感測器120及一第二影像感測器140擷取一第一影像及一第二影像，以產生一第一資料串流220及一第二資料串流240，然後執行步驟S20。
於步驟S20中，該同步模組150同步化該第一資料串流220及該第二資料串流240，並同步化該第一影像感測器120及該第二影像感測器140的自動曝光及自動白平衡參數，然後執行步驟S30。
於步驟S30中，該結合模組160結合該第一資料串流220及該第二資料串流240以輸出一結合影像資料260，然後執行步驟S40。該結合影像資料260包含該第一影像及該第二影像。
於步驟S40中，該校準模組180對該結合影像資料260中的該第一影像及該第二影像進行一影像校準及一水平校正，然後執行步驟S50。
於步驟S50中，該立體匹配模組190計算該第一影像420中的一參考像素PL與該第二影像440中的一對應像素PR的一距離差值，其中計算該距離差值還包含在該第二影像440的一像素列460上以間隔方式比較複數個像素P相對於該參考像素PL的價值。值得一提的是，該間隔方式係間隔一預定數量的像素P。具體而言，該預定數量為一正整數。
具體來說，於步驟S50中的計算該距離差值具體還包含進行次像素內插計算，以精確計算該距離差值，使得該距離差值的誤差小於0.1像素。類似地，於步驟S50中的計算該距離差值係利用軟體、韌體、或硬體其中之一或其組合來實施。
類似地，以下將詳細介紹採用本實施例之立體攝影系統10之立體攝影系統之立體匹配之方法。請參照第1圖及第5圖，該立體攝影系統10包含擷取一第一影像的一第一影像感測器120及擷取一第二影像的一第二影像感測器140。該立體匹配之方法包含：計算該第一影像420中的一參考像素PL與該第二影像440中的一對應像素PR的一距離差值，其中計算該距離差值還包含在該第二影像440的一像素列460上以間隔方式比較複數個像素P相對於該參考像素PL的價值。詳細來說，該間隔方式係間隔一預定數量的像素，且該預定數量為一正整數。
上述實施例所描述之方法或演算法的步驟可直接體現於硬體中、藉由處理器所執行之軟體模組中，或該兩者之結合中。軟體模組可駐留於隨機存取記憶體(RAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、抽取式磁碟、緊密光碟唯讀記憶體(CD-ROM)，或此項技術中已知之任何其他形式的非暫時性電腦可讀儲存媒體中。
綜上所述，本發明採用的立體匹配模組190不僅以間隔方式降低計算視差的運算量，且透過次像素內插的計算，還可提高計算立體深度的精準度。也就是說，本發明的立體攝影系統及方法不僅透過間隔方式減少了計算量，且也因具有次像素內插計算使得精確度提高，從而達到可實現商品化的目的。
雖然本發明以已一較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之變更和潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧立體攝影系統
120‧‧‧第一影像感測器
140‧‧‧第二影像感測器
150‧‧‧同步模組
160‧‧‧結合模組
170‧‧‧影像信號處理模組
180‧‧‧校準模組
190‧‧‧立體匹配模組
220‧‧‧第一資料串流
240‧‧‧第二資料串流
260‧‧‧結合影像資料
310‧‧‧控制時脈訊號

Claims (20)

  1. 一種立體攝影系統，包含：一第一影像感測器，用於擷取一第一影像，以產生一第一資料串流；一第二影像感測器，相距該第一影像感測器一水平距離設置，用於擷取一第二影像，以產生一第二資料串流；一同步模組，電性連接於該第一影像感測器及第二影像感測器，用於同步化該第一資料串流及該第二資料串流，並同步化該第一影像感測器及該第二影像感測器的自動曝光及自動白平衡參數；一結合模組，用於結合該第一資料串流及該第二資料串流以輸出一結合影像資料，該結合影像資料包含該第一影像及該第二影像；一校準模組，用於對該結合影像資料中的該第一影像及該第二影像進行一影像校準及一水平校正；以及一立體匹配模組，用於計算該第一影像中的一參考像素與該第二影像中的一對應像素的一距離差值，其中該立體匹配模組在該第二影像的一像素列上以間隔方式比較複數個像素相對於該參考像素的價值。
  2. 如申請專利範圍第1項所述之立體攝影系統，其中該間隔方式係間隔一預定數量的像素。
  3. 如申請專利範圍第1項所述之立體攝影系統，其中該預定數量為一正整數。
  4. 如申請專利範圍第1項所述之立體攝影系統，其中該價值為亮度差異。
  5. 如申請專利範圍第1項所述之立體攝影系統，其中該立體匹配模組還包含一次像素內插單元，用於精確計算該距離差值。
  6. 如申請專利範圍第5項所述之立體攝影系統，其中該距離差值的誤差小於0.1像素。
  7. 如申請專利範圍第1項所述之立體攝影系統，其中該些像素位於該像素列上的一搜尋區間。
  8. 如申請專利範圍第1項所述之立體攝影系統，其中該同步模組提供一控制時脈訊號至該第一影像感測器及該第二影像感測器。
  9. 如申請專利範圍第8項所述之立體攝影系統，其中該第一資料串流與該第二資料串流具有同步的資料行信號。
  10. 如申請專利範圍第1項所述之立體攝影系統，其中該立體匹配模組係利用軟體、韌體、或硬體其中之一或其組合來實施。
  11. 一種立體攝影方法，包含列步驟：分別透過一第一影像感測器及一第二影像感測器擷取一第一影像及一第二影像，以產生一第一資料串流及一第二資料串流；同步化該第一資料串流及該第二資料串流，並同步化該第一影像感測器及該第二影像感測器的自動曝光及自動白平衡參數；結合該第一資料串流及該第二資料串流以輸出一結合影像資料，該結合影像資料包含該第一影像及該第二影像；對該結合影像資料中的該第一影像及該第二影像進行一影像校準及一水平校正；以及計算該第一影像中的一參考像素與該第二影像中的一對應像素的一距離差值，其中計算該距離差值還包含在該第二影像的一像素列上以間隔方式比較複數個像素相對於該參考像素的價值。
  12. 如申請專利範圍第11項所述之立體攝影方法，其中該間隔方式係間隔一預定數量的像素。
  13. 如申請專利範圍第11項所述之立體攝影方法，其中該預定數量為一正整數。
  14. 如申請專利範圍第11項所述之立體攝影方法，其中該價值為亮度差異。
  15. 如申請專利範圍第11項所述之立體攝影方法，其中計算該距離差值還包含進行次像素內插計算，以精確計算該距離差值。
  16. 如申請專利範圍第5項所述之立體攝影方法，其中該距離差值的誤差小於0.1像素。
  17. 如申請專利範圍第11項所述之立體攝影方法，其中該些像素位於該像素列上的一搜尋區間。
  18. 如申請專利範圍第11項所述之立體攝影方法，其中計算該距離差值係利用軟體、韌體、或硬體其中之一或其組合來實施。
  19. 一種用於立體攝影系統之立體匹配之方法，該立體攝影系統包含擷取一第一影像的一第一影像感測器及擷取一第二影像的一第二影像感測器，該方法包含：計算該第一影像中的一參考像素與該第二影像中的一對應像素的一距離差值，其中計算該距離差值還包含在該第二影像的一像素列上以間隔方式比較複數個像素相對於該參考像素的價值。
  20. 如申請專利範圍第19項所述之方法，其中該間隔方式係間隔一預定數量的像素，且該預定數量為一正整數。
TW103110908A 2014-03-24 2014-03-24 立體攝影系統及其方法 TWI538476B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103110908A TWI538476B (zh) 2014-03-24 2014-03-24 立體攝影系統及其方法
US14/496,239 US9538161B2 (en) 2014-03-24 2014-09-25 System and method for stereoscopic photography

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103110908A TWI538476B (zh) 2014-03-24 2014-03-24 立體攝影系統及其方法

Publications (2)

Publication Number Publication Date
TW201537949A true TW201537949A (zh) 2015-10-01
TWI538476B TWI538476B (zh) 2016-06-11

Family

ID=54143309

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103110908A TWI538476B (zh) 2014-03-24 2014-03-24 立體攝影系統及其方法

Country Status (2)

Country Link
US (1) US9538161B2 (zh)
TW (1) TWI538476B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102362138B1 (ko) * 2015-07-23 2022-02-14 삼성전자주식회사 이미지 센서 모듈 및 그것을 포함하는 이미지 센서 장치
TWI553591B (zh) * 2015-12-28 2016-10-11 緯創資通股份有限公司 深度影像處理方法及深度影像處理系統
DE112018002572T5 (de) * 2017-05-19 2020-06-04 Movidius Ltd. Verfahren, systeme und vorrichtungen zur optimierung der pipeline-ausführung
CN116188558B (zh) * 2023-04-27 2023-07-11 华北理工大学 基于双目视觉的立体摄影测量方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
KR101419979B1 (ko) * 2008-01-29 2014-07-16 톰슨 라이센싱 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
JP4529010B1 (ja) * 2009-03-30 2010-08-25 シャープ株式会社 撮像装置
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9300946B2 (en) * 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
US9720506B2 (en) * 2014-01-14 2017-08-01 Microsoft Technology Licensing, Llc 3D silhouette sensing system
US9269018B2 (en) * 2014-01-14 2016-02-23 Microsoft Technology Licensing, Llc Stereo image processing using contours

Also Published As

Publication number Publication date
TWI538476B (zh) 2016-06-11
US9538161B2 (en) 2017-01-03
US20150271472A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
US11615546B2 (en) Systems and methods for depth estimation using generative models
US10477185B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
TWI567693B (zh) 產生深度資訊的方法及其系統
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
US8144974B2 (en) Image processing apparatus, method, and program
CN106875435B (zh) 获取深度图像的方法及系统
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
WO2016155110A1 (zh) 图像透视畸变校正的方法及系统
US10529081B2 (en) Depth image processing method and depth image processing system
US8922627B2 (en) Image processing device, image processing method and imaging device
JP2009284188A (ja) カラー撮像装置
TWI538476B (zh) 立體攝影系統及其方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
TW202013956A (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
US20140192163A1 (en) Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system
US20170155889A1 (en) Image capturing device, depth information generation method and auto-calibration method thereof
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
TWI595444B (zh) 影像擷取裝置及其產生深度資訊的方法與自動校正的方法
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
CN104977795A (zh) 立体摄影系统及其方法
CN110827230A (zh) 一种利用tof提升rgb图像质量的方法和装置
CN111080689B (zh) 确定面部深度图的方法和装置