TWI575928B - 在立體影像中用以消除雜訊的裝置及方法 - Google Patents

Description

在立體影像中用以消除雜訊的裝置及方法

本發明係主張關於2011年12月09日申請之韓國專利案號10-2011-0131659之優先權。藉以引用的方式併入本文用作參考。

本發明之非限制性示例實施例係有關一種在立體影像中用以消除雜訊的裝置及方法。

此段落部分係欲提供有關所附申請專利範圍敘述之本發明之背景。此處之說明可包括可實行之概念，但不一定為曾被構想、實施、或敘述者。因此，除非本文另有清楚指出，否則此段落部分所述者並非本說明書中所說明或主張者之習知技術，且並不因包含於此段落部分內而被認可為其習知技術。

一般而言，立體匹配演算法(stereo matching algorithm)係為一種技術，其係透過匹配兩影像之像素來估算物體深度、藉此以產生一像差圖(disparity map)。

舉例而言，當將一根手指置於兩眼間、且僅有左眼張開時，看見之手指僅位於右側；而當僅有右眼張開時，看見之手指僅位於左側。同時，當望向遠方一山頂時，不論是只有左眼張開或是只有右眼張開，看見之山頂均位於兩眼中間的位置。

在立體匹配演算法中，當使用一立體攝影裝置(stereo camera)來取得一影像時，由一攝影機所擷取之一物體之位置係隨著其一距離而變動，並使用此資訊來提取(extract)出一深度影像(depth image)。

在立體攝影裝置之設計中，重要的是排列、對準兩取得立體影像之感測器。在兩感測器間若出現錯位失準(misalignment)的情形，會使從立體影像提取出之一深度影像中產生一條狀雜訊(streaking noise)。

圖1a係繪示有一立體影像之一示例性概念圖；圖1b係繪示有自圖1a中立體影像提取出之一深度影像之一示例性概念圖。圖1a中之立體影像(左影像及右影像)係為一錯位影像(misaligned image)，其中一右影像相對一左影像係有錯位失準之情形，故在圖1b所示之深度影像中產生一條狀雜訊。

亦即，一傳統立體系統係具有缺陷在於，因用以取得立體影像之感測器彼此之間的傾斜或旋轉，會導致一深度影像中產生條狀雜訊，進而降低影像辨識率(image recognition rate)。

據此，本發明亟欲於解決上文所述之習知技藝之缺陷/問題，且本發明係提供：一種在立體影像中消除雜訊的裝置，其係經由應用一光學影像穩定裝置(Optical Image Stabilizer，OIS)於一立體攝影裝置之一感測單元，以使用該光學影像穩定器來校正立體影像中相對一影像之另一影像；以及一種方法，使用該在立體影像中消除雜訊之裝置。

此段落之說明係為非限制性、且為示例性的。

本發明之一方面係提供一種在立體影像中用以消除雜訊之裝置，其係包括：儲存部，儲存由一第一感測單元擷取取得之一第一影像與由一第二感測單元擷取取得之一第二影像間的一參考像素差(reference pixel difference)；一控制器(controller)，其係基於一預設參考點(predetermined reference point)，計算該第二影像相對該第一影像之一像素差，產生一驅動訊號，以驅動一光學影像穩定裝置致動器(OIS actuator)，以自該參考像素差判定待校正(to be calibrated)之像素數(pixel amount)；以及該OIS致動器，其係對該驅動訊號做出反應，進而校正該第二影像。

在一些示例實施例中，該裝置可進一步包括一提取器(extractor)，其係使用該第一影像及校正後之第二影像來提取一深度影像。

在一些示例實施例中，以等同待校正像素之像素數移動該第二影像，使該OIS致動器得以校正該第二影像。

在一些示例實施例中，該第一及第二感測單元可包括互補金氧半導體(Complementary Metal-Oxide Semiconductors，CMOSs)。

在一些示例實施例中，該第一及第二感測單元可包括電荷耦 合元件(Charge Coupled Devices，CCDs)。

在一些示例實施例中，可由該第一及第二感測單元間之一分隔距離(discrete distance)來預先決定該參考像素差。

本發明之另一方面係提供一種在立體影像中用以消除雜訊之方法，其係包括：由一第一感測單元擷取取得一第一影像、由一第二感測單元擷取取得一第二影像；基於一預設參考點，計算該第二影像相對該第一影像之一像素差；使用一參考像素差及該像素差來判定該第二影像之一待校正像素數；以及使用該待校正像素數產生一驅動訊號以驅動一光學影像穩定裝置(OIS)致動器。

在一些示例實施例中，該方法係進一步包括：對該驅動訊號做出反應，進而校正該第二影像。

在一些示例實施例中，該方法係進一步包括：使用該第一影像及該校正後第二影像來提取一深度影像。

在一些示例實施例中，可由該第一及第二感測單元間之一分隔距離來預先決定該參考像素差。

根據本發明之在立體影像中用以消除雜訊的裝置及方法係具有功效優點在於：可最小化立體影像之錯位失準，以使雜訊降到最低，並藉此以清晰地提取出立體影像之深度影像。

10‧‧‧第一感測單元

20‧‧‧第二感測單元

30‧‧‧光學影像穩定裝置(OIS)致動器

40‧‧‧控制器

50‧‧‧儲存部

60‧‧‧深度影像提取器

S51~S58‧‧‧步驟

圖1a係繪示有一立體影像之一示例性概念圖。

圖1b係繪示有自圖1a中立體影像提取出之一深度影像之一示例性概念圖。

圖2係根據本發明一示例實施例，繪示有一種在立體影像中用以消除雜訊之裝置之一概念方塊圖。

圖3a、3b係根據本發明一示例實施例，繪示有圖2中第一及第二感測單元所取得之影像；圖4係根據本發明一示例實施例，繪示有圖3b中校正之一概念圖。

圖5係根據本發明一示例實施例，繪示有一種在立體影像中用以消除雜訊之方法之一流程圖。

以下將配合圖示詳細描述本發明實施例。

在以下關於本發明之說明中，對習知結構或方法之較詳細描述將予以省略以求精簡及清晰，避免對已知的構造與功能等不需要的內容描述而模糊了熟知此技術者對本發明的理解。因此，特定用語的意義或使用在說明書和所附申請專利範圍的文句不應被限制在其字義上或一般性理解，但應被理解或可能不與使用者或操作者意圖一致及合乎習慣的用語。所以，特定用語或文句應依說明書內容而定。

據此，以下詳細敘述係提供以協助閱讀者理解說明之方法、裝置、及/或系統。因此，熟習此項技術者可想出落入本發明之原理的精神及範疇內的眾多其他變化、修改及實施例之可能。本說明書中所敘述之方法製程之步驟及/或操作僅係為舉例性；除部分特定步驟及/或操作必須具特定順序以外，步驟及/或操作之次序並不限定於所述者，而可在習知技術下變動。

以下，將配合所附圖式，詳細說明根據本發明之用以消除雜訊之裝置及方法。

圖2係根據本發明一示例實施例，繪示有一種在立體影像中用以消除雜訊之裝置之一概念方塊圖。

參閱圖2，根據本發明一示例實施例之在立體影像中用以消除雜訊之裝置係包括：一第一感測單元10；一第二感測單元20；一光學影像穩定裝置(OIS)致動器30；一控制器40；一儲存部50；及一深度影像提取器60。

第一及第二感測單元10、20係以一預設距離彼此相隔而設，藉此以分別取得立體影像其中之一。例如，第一感測單元10可取得一左影像，而第二感測單元20可取得一右影像。或者，第一感測單元10可取得一右影像，而第二感測單元20可取得一左影像。然而，為方便說明本發明，在此定義第一感測單元10係取得一左影像，而第二感測單元20係取得一右影像。

又，根據本發明一示例實施例之說明，由第二感測單元20所取得之一右影像之一位置係依據由第一感測單元10所取得之一左影像而 變。然而，對熟習此項技術者為顯而易見的是，由第一感測單元10所取得之一左影像係依據由第二感測單元20所取得之一右影像而變。

第一及第二感測單元10、20可為例如互補金氧半導體(CMOSs)及/或電荷耦合元件(CCDs)。然而，本發明並不限制於此，且第一及第二感測單元10、20可為其他能夠執行相似功能之裝置。

第一及第二感測單元10、20係以一預設距離彼此相隔而設，其分隔距離係為常數；因此，基於一預設參考點(以下稱之為「參考像素差」)，可預測由第一感測單元10所取得之左影像與由第二感測單元20所取得之右影像間有多遠(多少像素)。此距離可儲存於儲存部50中。同時，該參考點可為例如一影像之一中心點。

圖3a、3b係根據本發明一示例實施例，繪示有圖2中第一及第二感測單元所取得之影像；其中，第一感測單元10係取得一左影像，而第二感測單元20係取得一右影像。

參閱圖3a、3b，第二感測單元20所取得之右影像基於第一感測單元10所取得之左影像之一中心點A，必須對應分隔距離，於其一中心點B，以等同待校正像素之像素數移動；其中該影像係因錯位失準而扭曲，如圖3b所示。

控制器40係計算第二感測單元20所取得之右影像相對第一感測單元10所取得之左影像兩者間之一像素差，以自儲存於儲存部50中之參考像素差而判定一待校正像素數。又，控制器40將一驅動訊號傳至OIS致動器30，藉此以等同待校正像素之像素數來驅動OIS致動器30。

OIS致動器30係接收來自控制器40之驅動訊號，以將第二感測單元20所取得之右影像以等同待校正像素之像素數來移動，並校正影像。

圖4係根據本發明一示例實施例，繪示有圖3b中校正之一概念圖；其中，藉由使用根據本發明一示例實施例之OIS致動器30來校正一影像，可消除錯位失準之情況。

圖2中深度影像提取器60係自第一感測單元10接收左影像、並自第二感測單元20接收校正後之右影像，進而提取一深度影像，以執行立體匹配。用以提取深度影像之一演算法係為熟習此項技術者所熟 知，故其細節在此不再贅述。

圖5係根據本發明一示例實施例，繪示有一種在立體影像中用以消除雜訊之方法之一流程圖。

參閱圖5，在根據本發明一示例實施例之在立體影像中用以消除雜訊之方法中，一左影像及一右影像係由第一及第二感測單元10、20取得(步驟S51)。如上文所述，「第一感測單元10取得一左影像、第二感測單元20取得一右影像」之情形僅為示例性，以方便說明本發明。然而，本發明並不限制於此。

另，儘管本發明一示例實施例係以「第一感測單元10所取得之一左影像」作為一參考影像，但對熟習此項技術者而言，顯而易見的是，如前文所述，可基於第二感測單元20所取得之右影像，而改變第一感測單元10所取得之一左影像之一位置來校正一影像。

控制器40係基於一預設參考點來計算第二感測單元20所取得之右影像相對第一感測單元10所取得之左影像兩者間之一像素差(步驟S52)。儲存部50可儲存對應第一及第二感測單元10、20間一分隔距離之一參考像素差。

據此，控制器40係判定步驟S52中計算出之該像素差是否等於該參考像素差(步驟S53)。作為步驟S53中之結果，若判定步驟S52中計算出之該像素差係等於該參考像素差，則右影像係正確地對準了作為一參考影像之左影像。在此情況下，深度影像提取器60係使用該左、右影像來提取一深度影像(步驟S58)。

作為步驟S53中之結果，若判定步驟S52中計算出之該像素差不等於該參考像素差，則右影像相對作為一參考影像之左影像係有錯位失準之情況。在此情況下，控制器40係由步驟S52中計算出之該像素差及儲存部50中儲存之參考像素差來判定一待校正像素數(步驟S54)。

另，控制器40係產生一驅動訊號，傳至OIS致動器30，藉此以等同待校正像素之像素數來驅動OIS致動器30(步驟S55)。OIS致動器30係被控制器40所傳遞之驅動訊號所驅動(步驟S56)，而第二感測單元20可校正由第二感測單元20所取得之右影像。

接著，深度影像提取器60係使用第一感測單元10所取得之 左影像及第二感測單元20所取得之右影像(被OIS致動器30校正後)，以提取立體影像之一深度影像(步驟S58)。

同時，本發明之示例實施例可以有形媒體(tangible media)(如磁性記錄媒體(magnetic recording media)、光學記錄媒體(optical recording media)、固態記憶體(solid state memory)、軟碟片(floppy diskettes)、CD-ROMs、硬碟(hard drives)、或任何其他機器可讀非暫時性儲存媒體(non-transitory machine-readable storage medium))中之程式碼(program code)之形式來實施。當本發明示例實施例係使用軟體來實施時，本發明之構成可為執行所需程序之碼段(code segments)。其程式或者碼段亦可以程式碼之形式來實施；例如，不論是儲存於一機器可讀非暫時性儲存媒體、載入一機器及/或被一機器執行、或者由某資料傳輸媒體(transmission medium)或者承載體(carrier)所傳輸(如透過電線(electrical wiring)或纜線(cabling)、光纖(fiber optics)、或電磁輻射(electromagnetic radiation))，當程式碼載入一機器(如一電腦)並被執行時，該機器即成為可實際施行本發明內容之一裝置。

綜上所述，本發明實施例亦可使用電腦可讀取碼/指令/程式之形式而實現於電腦可讀記錄取媒體(computer-readable recording medium)上。電腦可讀取記錄媒體之實例包括：儲存媒體(storage media)，例如磁性儲存媒體(magnetic storage media)(如ROMs、軟碟、硬碟、磁帶等)；光學讀取媒體(optical reading media)，如CD-ROMs、DVDs；及載波(carrier waves)，如透過網際網路(the Internet)傳送之方法等等。電腦可讀取記錄媒體亦可分布於網路耦合的電腦(network coupled computer)，而電腦可讀碼由這些電腦來進行儲存與執行。

上述關於本發明之說明係被提供以使熟悉此項技術者能夠製造或使用本發明。關於本發明之各種修改與變化對於熟悉此項技術者而言是顯而易見的，且本發明可被應用於各種其他修改及實施例，而沒有悖離本發明原理的精神及範疇內。因此，本發明使用許多說明性實施例來描述實施例，但應理解，其並非用以限制本發明，而是能夠對本發明所揭示之原理及新穎功能之範疇作出最寬之主張。

根據本發明之在立體影像中用以消除雜訊之裝置及方法係具有產業利用性，其係可最小化立體影像之錯位失準情形，以使雜訊降到 最低，並藉此以清晰地提取出立體影像之深度影像。

10‧‧‧第一感測單元

20‧‧‧第二感測單元

30‧‧‧光學影像穩定裝置(OIS)致動器

40‧‧‧控制器

50‧‧‧儲存部

60‧‧‧深度影像提取器

Claims (8)

1. 一種消除雜訊的裝置，包括：儲存部，儲存由一第一感測單元擷取取得之一左影像與由一第二感測單元擷取取得之一右影像間的一參考像素差；一控制器，其係基於一預設參考點，計算該右影像相對該左影像之一像素差，產生一驅動訊號，以驅動一光學影像穩定裝置(OIS)致動器，以自該參考像素差判定一待校正像素數；以及該OIS致動器，其係對該驅動訊號做出反應，進而校正該右影像，其中係以等同該待校正像素之像素數來移動該右影像，使該OIS致動器得以校正該右影像。
2. 如申請專利範圍第1項所述之裝置，其進一步包括一提取器，其係使用該左影像及校正後之該右影像來提取一深度影像。
3. 如申請專利範圍第1項所述之裝置，其中該第一及第二感測單元係包括互補金氧半導體。
4. 如申請專利範圍第1項所述之裝置，其中該第一及第二感測單元係包括電荷耦合元件。
5. 如申請專利範圍第1項所述之裝置，其中係由該第一及第二感測單元間之一分隔距離來預先決定該參考像素差。
6. 一種消除雜訊的方法，包括：由一第一感測單元擷取取得一左影像以及由一第二感測單元擷取取得一右影像；基於一預設參考點，計算該右影像相對該左影像之一像素差；使用一參考像素差及該像素差來判定該右影像之一待校正像素數；以及使用該待校正像素數產生一驅動訊號以驅動一光學影像穩定裝置(OIS)致動器，對該驅動訊號做出反應，進而校正該右影像。
7. 如申請專利範圍第6項所述之方法，其進一步包括：使用該左影像及該校正後右影像來提取一深度影像。
8. 如申請專利範圍第6項所述之方法，其中係由該左及第二感測單元間之一分隔距離來預先決定該參考像素差。