TW202009868A

TW202009868A - 三維感測裝置及三維感測方法

Info

Publication number: TW202009868A
Application number: TW107128757A
Authority: TW
Inventors: 周宏隆; 林捷昇; 張文彥
Original assignee: 聚晶半導體股份有限公司
Priority date: 2018-08-17
Filing date: 2018-08-17
Publication date: 2020-03-01
Also published as: US20200059637A1

Abstract

一種三維感測裝置，包括一投光裝置、至少二影像擷取裝置以及一處理器。投光裝置用以投射一照明光束至一目標物件。至少二影像擷取裝置用以擷取目標物件的一擷取影像。處理器電性連接於投光裝置及至少二影像擷取裝置，用以提供一控制訊號至投光裝置以調整照明光束的強度。處理器依據一第一處理訊號調整擷取影像的對比度為一對比強化影像，且依據一第二處理訊號提取對比強化影像的特徵區域為一特徵提取影像。處理器依據一第三處理訊號將特徵提取影像的強度歸一化為一優化影像，且依據一感測訊號將優化影像形成為一深度影像。

Description

三維感測裝置及三維感測方法

本發明是有關於一種電子裝置及感測方法，且特別是有關於一種三維感測裝置及三維感測方法。

在一般的三維感測技術中，立體視覺（passive stereo）是最常被使用的方法，透過特徵比對與三角定位，即可估算出深度資訊。然而此方法的準確度依賴於待測物體的紋理是否豐富。一般而言，在低紋理、重覆紋理的場景中，較不易獲得有效深度資訊。

為了解決上述的問題，可在三維感測技術中運用結構光投射來輔助感測效果。以結構光為基礎的三維感測裝置是由一個攝像裝置及一個投影裝置所組成，投影裝置投射出事先設計好的圖樣（pattern），再由攝像裝置取得圖像並進行深度估測。一般而言，為了提高感測的精準度，投影裝置通常使用雷射光源（Laser diode）、準直鏡組（collimating lens）以及繞射光學元件（Diffractive Optical Element，DOE）經過精密的光學設計所組成。然而，為了保持光束平行射出，以及有良好的光學投射效果，會提高結構複雜度，使量產的難度提升許多。

除此之外，上述使用雷射光源及複雜的光學系統，還會進一步產生熱效應的問題。因此，為了減少熱效應的影響，另外提出了一種主動式立體視覺技術（active stereo）。然而，此種技術仍然具有成本過高且結構過於複雜而難以量產的問題。因此，如何設計出一種低成本、高精準度，且可高量產的三維感測裝置及其方法是本領域的重要課題。

本發明提供一種三維感測裝置及三維感測方法，具有較低的成本及良好的三維感測品質。

本發明的一實施例提出一種三維感測裝置適於感測一目標物件的一深度影像。三維感測裝置包括一投光裝置、至少二影像擷取裝置以及一處理器。投光裝置用以投射一照明光束至目標物件。至少二影像擷取裝置用以擷取目標物件的一擷取影像。處理器電性連接於投光裝置及至少二影像擷取裝置，用以提供一控制訊號至投光裝置以調整照明光束的強度。處理器依據一第一處理訊號調整擷取影像的對比度為一對比強化影像。處理器依據一第二處理訊號提取對比強化影像的特徵區域為一特徵提取影像。處理器依據一第三處理訊號將特徵提取影像的強度歸一化為一優化影像。處理器依據一感測訊號將優化影像形成為深度影像。

在本發明的一實施例中，上述的投光裝置包括一發光元件以及一投射元件。發光元件用以發出照明光束。投射元件配置於照明光束的傳遞路徑上，用以使照明光束通過並發散照明光束。

在本發明的一實施例中，上述的發光元件為發光二極體。

本發明的另一實施例提出一種三維感測裝置適於感測一目標物件的一深度影像。三維感測裝置包括一投光裝置、至少二影像擷取裝置以及一處理器。投光裝置用以投射一照明光束至目標物件。至少二影像擷取裝置用以擷取目標物件的一擷取影像。處理器電性連接於投光裝置及至少二影像擷取裝置，用以提供一控制訊號至投光裝置以調整照明光束的強度。處理器依據一處理訊號調整擷取影像為優化影像，且依據一感測訊號將優化影像形成為深度影像。

在本發明的一實施例中，上述的發光元件為發光二極體。

在本發明的一實施例中，上述的處理器用以提供一控制訊號至投光裝置以調整照明光束的強度。

在本發明的一實施例中，上述的處理訊號包括一第一處理訊號、一第二處理訊號以及一第三處理訊號，且處理器經配置以執行：依據第一處理訊號調整擷取影像的對比度為一對比強化影像；依據第二處理訊號提取對比強化影像的特徵區域為一特徵提取影像；以及依據第三處理訊號將特徵提取影像的強度歸一化為一優化影像。

本發明的另一實施例提出一種三維感測裝置適於感測一目標物件的一深度影像。三維感測裝置包括一投光裝置以及至少二影像擷取裝置。投光裝置用以投射一照明光束至目標物件。投光裝置包括一發光元件以及一投射元件。發光元件用以發出照明光束。投射元件配置於照明光束的傳遞路徑上，用以使照明光束通過並發散照明光束。至少二影像擷取裝置用以擷取目標物件的一擷取影像以形成深度影像。

在本發明的一實施例中，上述的發光元件為發光二極體。

在本發明的一實施例中，上述的三維感測裝置還包括一處理器，電性連接於投光裝置及至少二影像擷取裝置。

在本發明的一實施例中，上述的處理器依據一處理訊號調整擷取影像為優化影像，且依據一感測訊號將優化影像形成為深度影像。

本發明的另一實施例提出一種三維感測方法，用以感測一目標物件，包括：提供一三維感測裝置，包括一投光裝置、至少二影像擷取裝置以及電性連接投光裝置與至少二影像擷取裝置的一處理器；提供一照明光束至目標物件；擷取目標物件的影像表現為一擷取影像；依據一處理訊號調整擷取影像為一優化影像；以及依據一感測訊號將優化影像形成為深度影像。

在本發明的一實施例中，上述的投光裝置包括一發光元件以及一投射元件，其中發光元件用以發出照明光束，且投射元件配置於照明光束的傳遞路徑上以使照明光束通過並發散。

在本發明的一實施例中，上述的發光元件為發光二極體。

在本發明的一實施例中，上述的處理訊號包括一第一處理訊號、一第二處理訊號以及一第三處理訊號，且依據處理訊號調整擷取影像為優化影像的方法包括：依據第一處理訊號調整擷取影像的對比度為一對比強化影像；依據第二處理訊號提取對比強化影像的特徵區域為一特徵提取影像；以及依據第三處理訊號將特徵提取影像的強度歸一化為優化影像。

基於上述，在本發明的三維感測方裝置及三維感測方法中，三維感測方裝置包括簡易的投光裝置，並透過投光裝置的照射及至少二影像擷取裝置而獲得擷取影像，使處理器可依據處理訊號對擷取影像進行影像處理程序而獲得優化影像，進而進行感測以形成為具有三維資訊的深度影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1為本發明一實施例的三維感測裝置的示意圖。在本實施例中，三維感測裝置100適於感測一目標物件（未繪示）的一深度影像。三維感測裝置100包括一投光裝置110、至少二影像擷取裝置120以及一處理器130。在本實施例中，三維感測裝置100利用投光裝置110投射一照明光束（見如圖3的照明光束LB）至目標物件，再利用影像擷取裝置120擷取目標物件的影像表現為一擷取影像。最後，利用處理器130進行影像處理為可進行三維感測的優化影像，進而獲得一深度影像以完成三維感測。

在本實施例中，影像擷取裝置120的數量例如是兩個，但本發明並不限於此。此外，在本實施例中，影像擷取裝置120例如可以是單色光（mono）影像擷取裝置、彩色（color）影像擷取裝置、單色光-紅外光（mono-IR）影像擷取裝置、紅綠藍-紅外光（RGB-IR）影像擷取裝置、紅外光（IR）影像擷取裝置或上述之任意組合，本發明亦不限於此。換句話說，在本實施例中，至少二影像擷取裝置120可配置不同的類型，以進行不同的攝像或感測而達到不同的效用及作用，但本發明並不限於此。

圖2為本發明另一實施例的三維感測裝置的示意圖。請參考圖2，本實施例的三維感測裝置100A類似於圖1的三維感測裝置100。為兩者不同之處在於，本實施例的影像擷取裝置120的數量為三個，且這三個影像擷取裝置120可依種類不同而有不同功能。在一些實施例中，影像擷取裝置120的數量可依需求改變配置為三個以上，但本發明並不限於此。

圖3為圖1的投光裝置的示意圖。請參考圖1及圖3，在本實施例中，投光裝置110包括一發光元件112以及一投射元件114。發光元件112用以發出照明光束LB。在本實施例中，發光元件112例如使用發光二極體（LED）或其他簡易型發光元件。投射元件114配置於照明光束LB的傳遞路徑上，用以使照明光束LB通過並發散照明光束LB。投射元件114例如使用繞射光學元件（Diffractive Optical Element，DOE）等可產生圖案光或結構光的光學元件，以使照明光束LB通過以產生圖案光或結構光並發散傳遞。換句話說，本實施例是利用發光元件112所發出的光傳遞經過投射元件114而自然發散成可用來三維感測的照明光束LB。

詳細而言，本實施例相較於傳統的作法並不使用雷射光源以及複雜的光學系統。本實施例僅使用了簡易的發光元件112以發出照明光束LB並藉由單一個投射元件114以產生圖案光或結構光投射至目標物件，再藉由數量為兩個或以上的影像擷取裝置120從不同角度擷取畫面而進行後續的影像處理程序以完成三維感測。如此一來，可藉由簡單的投影架構達到相同於或優於傳統架構的感測效果，進而簡化投光裝置110架構及節省成本，並且可易於量產。

請再參考圖1及圖3，處理器130電性連接於投光裝置110及至少二影像擷取裝置120，用以提供控制訊號至投光裝置110以調整照明光束LB的強度，並控制至少二影像擷取裝置120對目標物件進行畫面擷取而獲得一擷取影像。並且，再進一步將所獲得的擷取影像進行影像處理程序以得到優化影像以進行三維感測。在一些實施例中，三維感測裝置100可進一步配置感測元件並電性連接於處理器130，此時，可利用感測元件所感測到的光強度以回饋至處理器130而進一步修正照明光束LB的強度，但本發明並不限於此。

在本實施例的影像處理程序中，處理器130依據一處理訊號調整擷取影像為優化影像，且依據一感測訊號感測優化影像以形成為深度影像。舉例而言，在本實施例中，處理訊號包括一第一處理訊號、一第二處理訊號以及一第三處理訊號，並且處理器130依據第一處理訊號調整擷取影像的對比度為一對比強化影像。如此一來，對比強化影像相較於擷取影像具有較佳的對比度，可進一步獲得更佳的感測效果。

除此之外，處理器130可依據第二處理訊號提取對比強化影像的特徵區域為一特徵提取影像。如此一來，可進一步針對深度變化較小的的區域作進一步的影像優化，使後續的三維感測有更佳的感測效果。更進一步地，處理器130可依據第三處理訊號將特徵提取影像的強度歸一化為一優化影像。如此一來，可進一步減少影像的失真以提高後續的三維感測精準度。

在本實施例的影像處理程序完成之後，處理器130可依據一感測訊號將優化影像形成為深度影像。詳細而言，三維感測裝置100可透過處理器130對上述所獲得的優化影像進行三維感測，進而獲得具有三維資訊的深度影像，已完成三維感測。在一些實施例中，上述的處理訊號可僅包含第一處理訊號、第二處理訊號、第三處理訊號或任意處理訊號之組合進行影像處理程序。換句話說，使用者可依照需求而調整處理訊號的組合以使處理器130進行影像處理程序。如此一來，可增加三維感測裝置100的三維感測自由度並適應各種不同類型的目標物件，但本發明並不限於此。

圖4為本發明一實施例的三維感測方法步驟流程圖。本實施例的三維感測方法至少可適用於圖1的三維感測裝置100或圖2的三維感測裝置100A，以下將以應用於圖1的三維感測裝置100為例，但本發明並不限於此。請同時參考圖1、圖3及圖4，在本實施例的三維感測方法中，首先，進行步驟S400，提供三維感測裝置100，包括投光裝置110、至少二影像擷取裝置120以及電性連接投光裝置110與至少二影像擷取裝置120的處理器130。接著，進行步驟S410，提供照明光束LB至目標物件。詳細而言，在此步驟中，利用投光裝置110產生照明光束LB並投射至目標物件，以產生可由至少二影像擷取裝置120擷取的影像表現。

接著，進行步驟S420，擷取目標物件的影像表現為一擷取影像。詳細而言，在此步驟中，利用至少二影像擷取裝置120對目標物件進行畫面擷取並整合為擷取影像，以進行後續的影像處理。接著，進行步驟S430，依據一處理訊號調整擷取影像為一優化影像。詳細而言，在此步驟中，利用處理器130對擷取影像進行影像處理程序，以得到可進行三維感測的優化影像。最後，進行步驟S440，依據一感測訊號將優化影像形成為深度影像，以完成三維感測。

圖5為本發明另一實施例的三維感測方法步驟流程圖。本實施例的三維感測方法至少可適用於圖1的三維感測裝置100或圖2的三維感測裝置100A，以下將以應用於圖1的三維感測裝置100為例，但本發明並不限於此。請同時參考圖1、圖3及圖5，本實施例的三維感測方法類似於圖4的三維感測方法，其兩者不同之處在於，本實施例的處理訊號包括第一處理訊號、第二處理訊號以及第三處理訊號，且依據處理訊號調整擷取影像為優化影像的方法包括：進行步驟S432，依據第一處理訊號調整擷取影像的對比度為一對比強化影像；進行步驟S434，依據第二處理訊號提取對比強化影像的特徵區域為特徵提取影像；以及進行步驟S436，依據第三處理訊號將特徵提取影像的強度歸一化為優化影像。其中得到對比強化影像、特徵提取影像以及優化影像的詳細步驟及方法可由上述的說明記載中獲得足夠的啟示，故不加以贅述。

綜上所述，在本發明的三維感測方裝置及三維感測方法中，三維感測方裝置包括簡易的投光裝置，並透過投光裝置的照射及至少二影像擷取裝置而獲得擷取影像，使處理器可依據處理訊號對擷取影像進行影像處理程序而獲得優化影像，進而進行感測以形成為具有三維資訊的深度影像。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、100A‧‧‧三維感測裝置110‧‧‧投光裝置120‧‧‧影像擷取裝置130‧‧‧處理器S400、S410、S420、S430、S432、S434、S436、S440‧‧‧步驟

圖1為本發明一實施例的三維感測裝置的示意圖。圖2為本發明另一實施例的三維感測裝置的示意圖。圖3為圖1的投光裝置的示意圖。圖4為本發明一實施例的三維感測方法步驟流程圖。圖5為本發明另一實施例的三維感測方法步驟流程圖。

100‧‧‧三維感測裝置

110‧‧‧投光裝置

120‧‧‧影像擷取裝置

130‧‧‧處理器

Claims

一種三維感測裝置，適於感測一目標物件的一深度影像，包括：一投光裝置，用以投射一照明光束至該目標物件；至少二影像擷取裝置，用以擷取該目標物件的一擷取影像；以及一處理器，電性連接於該投光裝置及該至少二影像擷取裝置，用以提供一控制訊號至該投光裝置以調整該照明光束的強度，其中該處理器依據一第一處理訊號調整該擷取影像的對比度為一對比強化影像，該處理器依據一第二處理訊號提取該對比強化影像的特徵區域為一特徵提取影像，且該處理器依據一第三處理訊號將該特徵提取影像的強度歸一化為一優化影像，該處理器依據一感測訊號將該優化影像形成為該深度影像。
如申請專利範圍第1項所述的三維感測裝置，其中該投光裝置包括：一發光元件，用以發出該照明光束；以及一投射元件，配置於該照明光束的傳遞路徑上，用以使該照明光束通過並發散該照明光束。
如申請專利範圍第2項所述的三維感測裝置，其中該發光元件為發光二極體。
一種三維感測裝置，適於感測一目標物件的一深度影像，包括：一投光裝置，用以投射一照明光束至該目標物件；至少二影像擷取裝置，用以擷取該目標物件的一擷取影像；以及一處理器，電性連接於該投光裝置及該至少二影像擷取裝置，其中該處理器依據一處理訊號調整該擷取影像為該優化影像，且依據一感測訊號將該優化影像形成為該深度影像。
如申請專利範圍第4項所述的三維感測裝置，其中該投光裝置包括：一發光元件，用以發出該照明光束；以及一投射元件，配置於該照明光束的傳遞路徑上，用以使該照明光束通過並發散該照明光束。
如申請專利範圍第5項所述的三維感測裝置，其中該發光元件為發光二極體。
如申請專利範圍第4項所述的三維感測裝置，其中該處理器用以提供一控制訊號至該投光裝置以調整該照明光束的強度。
如申請專利範圍第4項所述的三維感測裝置，其中該處理訊號包括一第一處理訊號、一第二處理訊號以及一第三處理訊號，且該處理器經配置以執行：依據該第一處理訊號調整該擷取影像的對比度為一對比強化影像；依據該第二處理訊號提取該對比強化影像的特徵區域為一特徵提取影像；以及依據該第三處理訊號將該特徵提取影像的強度歸一化為一優化影像。
一種三維感測裝置，適於感測一目標物件的一深度影像，包括：一投光裝置，用以投射一照明光束至該目標物件，該投光裝置包括：一發光元件，用以發出該照明光束；以及一投射元件，配置於該照明光束的傳遞路徑上，用以使該照明光束通過並發散該照明光束；以及至少二影像擷取裝置，用以擷取該目標物件的一擷取影像以形成該深度影像。
如申請專利範圍第9項所述的三維感測裝置，其中該發光元件為發光二極體。
如申請專利範圍第9項所述的三維感測裝置，還包括：一處理器，電性連接於該投光裝置及該至少二影像擷取裝置。
如申請專利範圍第11項所述的三維感測裝置，其中該處理器依據一處理訊號調整該擷取影像為該優化影像，且依據一感測訊號將該優化影像形成為該深度影像。
如申請專利範圍第11項所述的三維感測裝置，其中該處理訊號包括一第一處理訊號、一第二處理訊號以及一第三處理訊號，且該處理器經配置以執行：依據該第一處理訊號調整該擷取影像的對比度為一對比強化影像；依據該第二處理訊號提取該對比強化影像的特徵區域為一特徵提取影像；以及依據該第三處理訊號將該特徵提取影像的強度歸一化為一優化影像。
一種三維感測方法，用以感測一目標物件，包括：提供一三維感測裝置，包括一投光裝置、至少二影像擷取裝置以及電性連接該投光裝置與該至少二影像擷取裝置的一處理器；提供一照明光束至該目標物件；擷取該目標物件的影像表現為一擷取影像；依據一處理訊號調整該擷取影像為一優化影像；以及依據一感測訊號將該優化影像形成為該深度影像。
如申請專利範圍第14項所述的三維感測方法，其中該投光裝置包括一發光元件以及一投射元件，其中該發光元件用以發出該照明光束，且該投射元件配置於該照明光束的傳遞路徑上以使該照明光束通過並發散。
如申請專利範圍第15項所述的三維感測方法，其中該發光元件為發光二極體。
如申請專利範圍第14項所述的三維感測方法，其中該處理訊號包括一第一處理訊號、一第二處理訊號以及一第三處理訊號，且依據該處理訊號調整該擷取影像為該優化影像的方法包括：依據該第一處理訊號調整該擷取影像的對比度為一對比強化影像；依據該第二處理訊號提取該對比強化影像的特徵區域為一特徵提取影像；以及依據該第三處理訊號將該特徵提取影像的強度歸一化為該優化影像。