TW201225637A - A 3-D camera - Google Patents

Description

201225637 六、發明說明： 【發明所屬之技術領域】 本發明係有關三維（3-D )照相機 【先前技術】 度的快速提升，部 應用裝置包括互動 )。例如，網真應 度上，至少正改變 上，支援諸如互動 置、處理裝置、及 諸如3-D照相機的 •D系統需要兩個分 ，而另一個照相機 統也會需要用以使 照相機所產生之兩 是相當大的大小及 裝置係要被安裝於 像擷取裝置會是較 隨著資訊可透過網路而被轉移之速 署許多應用裝置已變成可行。一個此種 式計算（諸如，網真（tele-presence) 用裝置正變得愈來愈普及，且在某種程 人類使用網路而彼此互動的方式。典型 式運算的應用裝置之設備可包括通訊裝 影像擷取裝置。此影像擷取裝置可包括 三維（3-D)影像擷取系統。 使用不可見的結構光線之目前的3 開的照相機，一個照相機用於3D辨識 用於色彩紋理擷取。此類目前的3-D系 藉由分開的3-D辨識照相機及色彩紋理 個影像對齊之精巧的系統。此種配置會 成本。然而，特別而言，當此影像擷取 行動設備上時，具有小且較不昂貴的影 佳的。 【發明內容及實施方式】 下面的說明敘述三維照相機，其使用色彩影像感測器 201225637 。在下面的說明中，提及許多特定的細節（諸如’邏輯實 施、資源分割、或共用、或複製實施、系統組件的型式和 相互關聯、及邏輯分割或整合選擇）’以便提供本發明的 徹底瞭解。然而，熟習此項技術者將瞭解的是’本發明可 在沒有此類特定細節之下予以實施。在其他的情況中’未 詳細顯示控制結構、邏輯閘層級電路（gate level circuit )、及完整的軟體指令序列’以便不混淆本發明。使用所 包括的說明，一般熟習此項技術者將能在沒有過度的實驗 之下，實施適當的功能。 此說明書中之參考「―個實施例」、「實施例」、「 範例實施例」表示所述的實施例可包括特定的特性、結構 、或特徵，但是每個實施例不必然會包括此特定的特性、 結構、或特徵。此外，此類詞句不必然參照相同實施例。 另外，當與實施例有關之特定的特性、結構、或特徵被說 明時，認爲無論是否被詳盡地説明，其是在熟習此項技術 者知道會影響與其他實施例有關之此類的特性、結構、或 特徵之內。 本發明的實施例可以硬體、韌體、或其任何組合來予 以實施。本發明的實施例也可被實施爲機器可讀取媒體上 所儲存的指令，此機器可讀取媒體可由一個或多個處理器 來予以讀取及執行。機器可讀取儲存媒體可包括以由機器 (例如’計算裝置）可讀取的形式來儲存或發送資訊之任 何機制。

例如，機器可讀取儲存媒體可包括唯讀記憶體（ROM -6- 201225637 ):隨機存取記憶體（RAM):磁碟 媒體；快閃記憶體裝置；電氣，光學 韌體、軟體、常式、及指令在此可被 。然而，應該瞭解的是，此類說明僅 此類動作實際上起因於計算裝置、處 他裝置執行這些韌體、軟體、常式、 在一個實施例中，3-D照相機可 器，其可感測色彩資訊及近紅外線（ 個實施例中，此組合式影像感測器可 色彩資訊及NIR資訊，此NIR資訊 物件之深度資訊。在一個實施例中， 可包括色彩濾波器陣列（CFA)，其 ，用以包括四種不同的濾波器型式。 他實施例可包括4x4陣列（用以包招 ，及此類其他的NxN或ΝχΜ大小的 實施例中，此CFA之四種不同的濾 擷取色彩輻射的紅色濾波器型式、綠 色濾波器型式，以及用以擷取NIR 濾波器。在一個實施例中，除了完: NIR影像之外，使用3-D照相機中的 可產生紅色、綠色、藍色的完整影像 藉由構建，此色彩影像可與3-D深度 完整的色彩資訊及深度資訊之3-D影 本的組件來予以重建。在一個實施例 :儲存媒體；光學儲存 形式的訊號。另外’ 敘述爲實施某些動作 是爲了方便起見’且 理器、控制器、及其 及指令。 使用組合式影像感測 :NIR )輻射光。在一 產生影像，其可包括 可被使用來重建擷取 此組合式影像感測器 可依序包括2x2陣列 然而，此CFA的其 ί 1 6種濾波器型式） 陣列。例如，在一個 波器型式可包括用以 色濾波器型式、及藍 輻射光之額外的帶通 整或較低的解析度之 此組合式影像感測器 。在一個實施例中， 地圖對齊，因此具有 像可使用小型且低成 中，此種方法可允許 201225637 小型且低成本的3 -D照相機被便利地使用於特別是諸如膝 上型裝置、小筆電（net book )、智慧型電話、PDA、及 其他小的外觀尺寸（form factor )的裝置。 組合式影像感測器1 〇〇的實施例係繪示於圖1中。在 一個實施例中，組合式影像感測器100包括色彩影像感測 器1 1 0及NIR影像感測器1 40。在一個實施例中，組合式 影像感測器1 1 〇可產生影像，其可包括色彩資訊，及N IR 資訊，擷取物件之深度資訊可自此NIR資訊中取得。在 —個.實施例中，組合式影像感測器1 00可包括CFA，其可 包括用以擷取色彩資訊之不同的濾波器型式，及用以擷取 近紅外線（NIR)輻射光的帶通濾波器。 在一個實施例中，諸如210、240、260、及280(被 顯示於圖2中）的CFA之各者的周期性情況可包含四種 不同的濾波器型式，其可包括可代表第一種基本顏色（例 如，綠色（G))的第一種濾波器型式、可代表第二種基 本顏色（例如，紅色（R ))的第二種濾波器型式、可代 表第三種基本顏色（例如，藍色（B))的第三種濾波器 型式、及可代表允許NIR輻射的帶通濾波器之第四種濾 波器型式。在一個實施例中，CFA 210的第一種周期性情 況可包括四種不同的濾波器型式210-A、210-B、210-C、 及210-D。在一個實施例中，第一種濾波器型式210-A可 用作爲紅色（R)色彩的濾波器，第二種濾波器型式210-B可用作爲綠色（G)色彩的濾波器，第三種濾波器型式 210-C可用作爲藍色（B)色彩的濾波器，而第四種濾波 -8- 201225637

器型式210-D = 〜过'一 同樣地， 第三種周期性情況260、

包括濾波器型式（ 240-A、240-B、240-C、及240-D (260-A ' 260-B 、 260-C ' 及 B、280-C ' 及 280-D ) 及 260-D)、及（2 8 0-A、2 80- 在—個實施例中，濾波器型式 240-A、260-A及2 80-A可代表紅色濾波器，濾波器型式 240-B、260-B及28 0-B可代表綠色濾波器，濾波器型式 240-C、260-C及280-C可代表藍色濾波器，而濾波器型 式240-D、260-D及28 0-D可代表允許NIR輻射光的帶通 濾波器。 在一個實施例中，配置RGB及NIR濾波器型式於陣 列中可允許組合式色彩及NIR圖案能夠被擷取。在一個 實施例中’除了完整或較低的解析度之NIR影像之外， 組合式色彩及NIR圖案可導致紅色、綠色、及藍色的完 整影像。在一個實施例中，此種方法可允許R G B影像與 深度地圖（其自NIR圖案中予以取得）藉由此組合式影 像感測器的構建而彼此對齊》 包括三維（3 -D )照相機中所使用的組合式影像感測 器100之前端區塊3 00的實施例係繪示於圖3中。在一個 實施例中，前端區塊3 00可包括NIR投影機310及組合 式影像感測器350。在一個實施例中，NIR投影機310可 將結構光線投影於物件（object)上。在一個實施例中， 此結構光線可參照包括路線、其他圖案、及/或其組合的 201225637 光線圖案。 在一個實施例中，組合式影像感測器3 50可回應於擷 取物件、影像、或目標的色彩紋理及深度資訊，而感測色 彩資訊及近紅外線（NIR )輻射光。在一個實施例中，組 合式影像感測器350可包括一個或多個色彩濾波器陣列（ CFA )。在一個實施例中，在各者的周期性情況內之濾波 器型式也可感測色彩資訊及NIR輻射光。在一個實施例 中，除了完整或較低的解析度之NIR影像之外，組合式 影像感測器350可導致紅色、綠色、藍色的完整影像。在 一個實施例中，藉由組合式影像感測器350的構建，自此 色彩資訊所產生的色彩影像可與可自NIR輻射光中所產 生的3-D深度地圖對齊。因此，具有完整的色彩資訊及深 度資訊之3 - D影像可使用小型且低成本的組件來予以重建 。在一個實施例中，組合式影像感測器350可與以上所述 的組合式影像感測器1 1 〇類似。 3-D照相機400的實施例係繪示於圖4中。在一個實 施例中，3-D照相機400可包括光學系統410、前端區塊 43 0、處理器450、記憶體460、顯示器470、及使用者介 面480。在一個實施例中，光學系統410可包括光學透鏡 ，用以將光源（其可包括環境光及投影的NIR輻射光） 導引至感測器，且用以將來自此NIR投影機的光線聚焦 於此景象上。 在一個實施例中，前端區塊43 0可包括NIR投影機 43 2及組合式影像感測器434。在一個實施例中，NIR投 201225637 影機43 2可產生被投影於景象、影像、物件、或此 的目標之結構光線。在一個實施例中，NIR投影機 產生結構光線的一個或多個圖案。在一個實施例《4 投影機43 2可與以上所述的NIR投影機310類似 個實施例中，組合式影像感測器43 4可包括用以擷 標的色彩紋理之CFA，及擷取自NIR投影機432 出的結構光線之NIR資訊。在一個實施例中，組 像感測器434可產生影像，其可包括擷取物件的色 及NIR資訊（深度資訊/地圖可自此NIR資訊中取 在一個實施例中，包括色彩資訊及NIR資訊的此 及藉由此結構光線所構成的此一個或多個圖案可一 建此目標於3-D空間中成爲可能。在一個實施例中 式影像感測器434可與以上所述的組合式影像感測 類似。在一個實施例中，前端區塊43 0可將色彩影 些NIR圖案提供給處理器450。 在一個實施例中，處理器450可使用此色彩影 些NIR圖案而重建此目標影像於3-D空間中。在 施例中，處理器450可實施將此影像中的色彩資訊 資訊內插之解馬賽克操作，以分別產生「完整色彩 」及「NIR影像」。在一個實施例中，處理器450 使用由NIR投影機432所產生的此「一個或多個 及由此解馬賽克操作所產生的「NIR影像」來實施 建操作，而產生「深度地圖」。在一個實施例中， 45 0可藉由使用此「完整色彩的影像」及此「深度 類其他 432可 J > NIR 。在一 取此目 中所發 合式影 彩資訊 得）。 影像， 起使重 ，組合 器350 像及這 像及這 一個實 及NIR 的影像 可藉由 圖案」 深度重 處理器 地圖」 -11 - 201225637 來實施合成操作，而產生「完整的3-D加上色彩模型」。 在一個實施例中，當由於組合式影像感測器434的構建而 可使此色彩影像與此深度地圖彼此對齊時，處理器45 0可 實質上簡單地重建「完整的3-D加上色彩模型」。 在一個實施例中，處理器450可將此「完整的3-D加 上色彩模型」儲存於記憶體460中，且處理器45 0可允許 此「完整的3-D加上色彩模型」被呈現於顯示器470上。 在一個實施例中，處理器450可經由使用者介面480接收 來自使用者的輸入，且可實施諸如放大、縮小、儲存、刪 除、致能快閃記億體、記錄、致能夜視操作的操作。 在一個實施例中，使用前端區塊430的3-D照相機可 被使用於諸如例如膝上型電腦、筆記型電腦、數位照相機 、行動電話、手持式裝置、個人數位助理器的行動裝置中 。因爲前端區塊43 0包括用以擷取色彩及NIR資訊的組 合式影像感測器434，所以實質上可降低3-D照相機的大 小及成本。再者，因爲色彩資訊與深度資訊可彼此對齊， 所以諸如深度重建，及合成的處理操作之成本及複雜度可 以實質上容易且降低的成本來予以實施。在一個實施例中 ，這些處理操作可以硬體、軟體、或其硬體與軟體的組合 來予以實施。 藉由3-D照相機400的處理器45〇所實施之操作的實 施例係繪示於圖5中。在一個實施例中，處理器45 0可實 施重建操作，以產生完整的3-D加上色彩模型。在一個實 施例中，此重建操作可包括由解馬賽克區塊520所支援的 201225637 解馬賽克操作、由深度重建區塊540所代表的深度重建操 作、及由合成區塊570所實施的合成操作。 在一個實施例中，解馬賽克區塊520可回應接收來自 前端區塊430的組合式影像感測器434之色彩資訊，而產 生色彩影像及NIR影像。在一個實施例中，此色彩影像 可被提供爲合成區塊5 70的輸入，而此NIR影像可被提 供爲深度重建區塊540的輸入。 在一個實施例中，深度重建區塊540可回應接收這些 NIR圖案及此NIR影像，而產生深度地圖。在一個實施例 中，此深度地圖資訊可被提供爲合成區塊5 70的輸入。在 一個實施例中，合成區塊570可回應分別地接收此色彩影 像及此深度地圖，爲第一輸入及第二輸入而產生完整的 3-D色彩模型》 3-D照相機之操作的實施例係繪示於圖6的流程圖中. 。在方塊620中，組合式影像感測器434可擷取目標或物 件的色彩資訊及NIR圖案》 在方塊640中，處理器450可實施解馬賽克操作，以 回應接收藉由組合式影像感測器434所擷取的資訊，而產 生色彩影像及NIR影像》 在方塊660中，處理器450可實施深度重建操作，以 回應接收此NIR影像及這些NIR圖案，而產生深度地圖 〇 在方塊680中，處理器450可實施合成操作，以使用 此色彩影像及此深度地圖而產生完整的3-D色彩模型。 -13- 201225637 本發明的某些特性已參考範例實施例予以說明。然而 ，此說明並非以限制的意思來予以解釋。對於熟習此項技 術者而言，顯然可知的是，與本發明有關之這些範例實施 例的各種修改，以及本發明的其他實施例被視爲落入本發 明的精神及範圍內。 【圖式簡單說明】 在附圖中，在此所述的本發明被繪示作爲範例，而非 限制。爲了圖示的簡化及清楚起見，圖式中所繪示的元件 不必然按比例來予以繪製。例如，爲了清楚起見，某些元 件之尺寸可相對於其他元件而被誇大。另外，適當時，圖 式之中的參考標號已被重複，以表示對應或類似的元件。 圖1繪示依據一個實施例的組合式影像感測器100。 圖2繪示依據一個實施例的組合式影像感測器100中 所提供之濾波器的各者之像素分佈。 圖3繪示依據一個實施例之包括三維（3-D)照相機 中所使用的組合式影像感測器1 〇〇之前端區塊300。 圖4繪示3-D照相機，其使用依據一個實施例的前端 區塊3 0 0。 圖5繪示依據一個實施例之擷取影像後的3 -D照相機 中所實施之處理操作。 圖6係流程圖，其繪示依據一個實施例的3 -D照相機 之操作。 •14- 201225637 【主要元件符號說明】 100 :組合式影像感測器 1 1 0 :色彩影像感測器 140 : NIR影像感測器 2 1 0 :色彩濾波器陣列 210-A :濾波器型式 210-B :濾波器型式 210-C :濾波器型式 210-D :濾波器型式 240 :色彩濾波器陣列 240-A :濾波器型式 240-B :濾波器型式 240-C :濾波器型式 240-D :濾波器型式 260 :色彩濾波器陣列 260-A :濾波器型式 260-B :濾波器型式 260-C :濾波器型式 260-D :濾波器型式 2 80 :色彩濾波器陣列 280-A :濾波器型式 2 80-B :濾波器型式 2 8 0-C :濾波器型式 28 0-D :濾波器型式 -15 201225637 300 :前端區塊 3 10 : NIR投影機 3 50 :組合式影像感測器 400 : 3 -D照相機 4 1 0 :光學系統 430 :前端區塊 43 2 : NIR投影機 434 :組合式影像感測器 450 :處理器 460 :記憶體 470 :顯示器 480:使用者介面 520 :解馬賽克區塊 540 :深度重建區塊 5 70 :合成區塊 -16-

Claims (1)

1. 201225637 七、申請專利範圍： 1. 一種三維照相機中的方法，包含： 使用組合式影像感測器來產生影像，其中，該影像係 要包括擷取物件的色彩資訊及近紅外線資訊： 自該影像中產生色彩影像及近紅外線影像； 使用該近紅外線影像及來自近紅外線投影機的一個或 多個圖案而產生深度地圖；以及 根據該色彩影像及該深度地圖而產生完整的三維色彩 模型。 2 ·如申請專利範圍第1項之方法，另包含使用色彩 濾波器陣列的第一部分來擷取該色彩資訊，其中，該組合 式影像感測器包括該色彩濾波器陣列。 3. 如申請專利範圍第2項之方法，另包含使用該色 彩濾波器陣列的該第一部分來擷取該色彩影像，該色彩濾 波器陣列包括用以擷取該物件的紅色之第一濾波器型式、 用以擷取該物件的綠色之第二濾波器型式、及用以擷取該 物件的藍色之第三濾波器型式。 4. 如申請專利範圍第2項之方法，另包含使用該色 彩濾波器陣列的第二部分來擷取該近紅外線資訊。 5 .如申請專利範圍第4項之方法，另包含在該色彩 濾波器陣列的該第二部分中包括帶通濾波器，以擷取該近 紅外線資訊。 6.如申請專利範圍第2項之方法，其中，該色彩資 訊係與該深度地圖對齊。 -17- 201225637 7. 如申請專利範圍第1項之方法，另包含實施解馬 賽克操作’以自該影像中產生該色彩影像及該近紅外線影 像。 8. 如申請專利範圍第1項之方法，另包含實施深度 重建操作，以自該一個或多個圖案中產生該深度地圖。 9_如申請專利範圍第1項之方法，另包含實施合成 操作，以根據該色彩影像及該深度地圖而產生該完整的三 維色彩模型。 10. —種設備，包含： 近紅外線投影機，用以產生一個或多個圖案；以及 組合式影像感測器，其中，該組合式影像感測器係要 包括色彩濾波器陣列，其中，該色彩濾波器陣列係要產生 影像’該影像包括擷取物件的色彩資訊及近紅外線資訊， 其中，該色彩資訊被使用來產生色彩影像，且該近紅 外線資訊被使用來產生近紅外線影像， 其中，該近紅外線影像及該一個或多個圖案被使用來 產生深度地圖，並且 其中，該色彩影像及該深度地圖被使用來產生完整的 三維色彩模型。 11·如申請專利範圍第1 〇項之設備，其中，該色彩 濾波器陣列包含用以擷取該色彩資訊的第一部分。 I2.如申請專利範圍第1 1項之設備，其中，該色彩 濾波器陣列的該第一部分在產生該色彩影像之前，包括用 以擷取該物件的紅色之第一濾波器型式、用以擷取該物件 -18- 201225637 的綠色之第二濾波器型式、及用以擷取該物件的藍色之第 三濾波器型式。 13. 如申請專利範圍第11項之設備，其中，該色彩 濾波器陣列另包括第二部分，其中，該第二部分係要擷取 該近紅外線資訊。 14. 如申請專利範圍第13項之設備，其中，該色彩 濾波器陣列的該第二部分包括用以擷取該近紅外線資訊的 帶通濾波器。 15. 如申請專利範圍第10項之設備，其中，該色彩 濾波器陣列係要產生該色彩資訊，而該色彩資訊係與該近 紅外線資訊對齊。 16. —種三維照相機系統，包含： 光學系統，其中，該光學系統係要導引光源，該光源 可包括環境光及投影的近紅外線輻射光，且該光學系統係 要將該投影的近紅外線輻射光聚焦於物件上； 前端區塊，係耦接至該光學系統； 處理器，係親接至該前端區塊；以及 記憶體，係耦接至該處理器， 其中’該前端區塊另包括組合式影像感測器及近 紅外線投影機’其中，該組合式影像感測器係要產生影像 ’該影像包括擷取物件的色彩資訊及近紅外線資訊，且該 近紅外線投影機係要產生一個或多個圖案， 其中’該處理器係要自該影像中產生色彩影像及 近紅外線影像、使用該近紅外線影像及來自該近紅外線投 -19- 201225637 影機的該一個或多個圖案而產生深度地圖、及根據該色彩 影像及該深度地圖而產生完整的三維色彩模型。 17. 如申請專利範圍第1 6項之三維照相機系統，其 中，該組合式影像感測器另包含色彩濾波器陣列，其中， 該色彩濾波器陣列係要包含第一部分及第二部分，其中， 該色彩濾波器陣列的該第一部分係要擷取該色彩資訊。 18. 如申請專利範圍第1 7項之三維照相機系統，其 中，該色彩濾波器陣列的該第一部分係要包括用以擷取該 物件的紅色之第一濾波器型式、用以擷取該物件的綠色之 第二濾波器型式、及用以擷取該物件的藍色之第三濾波器 型式，以產生該色彩資訊。 19. 如申請專利範圍第1 7項之三維照相機系統，其 中，該色彩濾波器陣列的該第二部分係要擷取該近紅外線 資訊。 20. 如申請專利範圍第1 9項之三維照相機系統，其 中，該色彩濾波器陣列的該第二部分包括用以擷取該近紅 外線資訊的帶通濾波器。 2 1 .如申請專利範圍第1 7項之三維照相機系統，其 中，在該色彩濾波器陣列內的該第一部分及該第二部分之 配置係要使該色彩資訊與該深度地圖對齊。 22. 如申請專利範圍第1 6項之三維照相機系統，其 中，該處理器係要實施解馬賽克操作’以自該影像中產生 該色彩影像及該近紅外線影像。 23. 如申請專利範圍第1 6項之三維照相機系統，其 -20- 201225637 中，該處理器係要實施深度重建操作，以自該近紅外線影 像及該一個或多個圖案中產生該深度地圖。 24.如申請專利範圍第1 6項之三維照相機系統，其 中，該處理器係要實施合成操作，以根據該色彩影像及該 深度地圖而產生該完整的三維色彩模型。 -21 -