TW202213978A

TW202213978A - 影像感測裝置以及影像感測方法

Info

Publication number: TW202213978A
Application number: TW110120970A
Authority: TW
Inventors: 印秉宏; 王佳祥
Original assignee: 大陸商廣州印芯半導體技術有限公司
Priority date: 2020-09-28
Filing date: 2021-06-09
Publication date: 2022-04-01
Also published as: CN114339090B; US20220103770A1; CN114339090A; US11463643B2; TWI777685B; US20220103767A1; CN114338970A; TW202213979A

Abstract

本發明提出一種影像感測裝置以及影像感測方法。影像感測裝置適於操作在無環境光情境下感測目標物。影像感測裝置包括調變光源、影像感測器以及處理電路。調變光源包括多個光源。影像感測器包括多個感測像素。影像感測器為無色彩濾光器感測器。在一個圖框期間中，多個光源以不同時序發射多個感測光，並且多個感測像素以不同時序感測由多個感測光經由目標物反射的多個反射光。處理電路合成對應於多個反射光的一部分的多個第一影像，以產生一個完整感測影像。處理電路根據多個反射光的另一部分取得目標物的深度資訊。

Description

影像感測裝置以及影像感測方法

本發明是有關於一種感測裝置，且特別是有關於一種影像感測裝置以及影像感測方法。

目前，RGB-D影像感測器的應用越來越廣泛。然而，一般的RGB-D影像感測器具有影像解析度不佳的情況。從另一角度而言，一般的RGB-D影像感測器若要提升影像解析度，則必須增加感測像素的密度，進而會造成元件成本上升。並且，在另一方面，RGB-D影像感測器應用在醫療領域的無環境光情境下(例如手術內視鏡)，也是面臨影像解析度不佳以及元件成本過高的問題。有鑑於此，以下將提出幾個實施例的解決方案。

本發明提供一種影像感測裝置以及影像感測方法，可提供高解析度的影像及深度資訊的感測結果。

本發明的影像感測裝置，適於操作在無環境光情境下感測目標物。影像感測裝置包括調變光源、影像感測器以及處理電路。調變光源包括多個光源。影像感測器包括多個感測像素。影像感測器為無色彩濾光器感測器。處理電路耦接調變光源以及影像感測器，並且用以操作調變光源以及影像感測器。在一個圖框期間中，多個光源以不同時序發射多個感測光，並且多個感測像素以不同時序感測由多個感測光經由目標物反射的多個反射光。處理電路合成對應於多個反射光的一部分的多個第一影像，以產生一個完整感測影像。處理電路根據多個反射光的另一部分取得目標物的深度資訊。

本發明的影像感測方法適於影像感測裝置操作在無環境光情境下感測目標物。影像感測裝置包括調變光源以及影像感測器。影像感測方法包括：在一個圖框期間中，通過調變光源的多個光源以不同時序發射多個感測光；在所述圖框期間中，通過影像感測器的多個感測像素以不同時序感測由多個感測光經由目標物反射的多個反射光；以及合成對應於多個反射光的一部分的多個第一影像，以產生一個完整感測影像，並且根據多個反射光的另一部分取得目標物的深度資訊。

基於上述，本發明的影像感測裝置以及影像感測方法，可在一個圖框期間中，透過無色彩濾光器的影像感測器取得具有高影像解析度的目標物的完整感測影像以及目標物的深度資訊。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

為了使本發明之內容可以被更容易明瞭，以下提出多個實施例來說明本發明，然而本發明不僅限於所例示的多個實施例。又實施例之間也允許有適當的結合。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。

圖1是依照本發明的一實施例的一種影像感測裝置的電路示意圖。參考圖1，影像感測裝置100包括處理電路110、影像感測器120以及調變光源130。處理電路110耦接影像感測器120以及調變光源130。處理電路110可為影像感測器的內部影像處理單元或是影像感測器外部的終端裝置的處理單元，本發明並不加以限制。處理電路110可例如包括中央處理單元(Central Processing Unit，CPU)、圖形處理器(Graphics Processing Unit，GPU)或包括其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)、其他類似處理裝置或這些裝置的組合。處理電路110可用於產生驅動信號、進行信號處理以及執行相關運算功能。值得注意的是，本實施例的影像感測裝置100適於進行影像感測以及測距操作，因此處理電路110可進行相關影像處理及參數運算，以實現例如生成感測影像、合成感測影像及取得深度資訊(距離參數)的操作。

在本實施例中，影像感測器120可例如為一種RGB-D影像感測器，但本發明並不限於此。影像感測器120可包括感測陣列，並且感測陣列可包括陣列排列的N個感測像素，其中N為正整數。值得注意的是，影像感測器120為無色彩濾光器(Color filter-free)感測器。在本實施例中，調變光源130可包括多個光源，並且多個光源可分別對應於不同波長。多個光源可包括雷射光源。多個光源可包括可見光(Visible light)光源以及不可見光光源(Invisible light)。可見光光源可例如包括紅色(Red)光光源、綠色(Green)光光源以及藍色(Blue)光光源，並且不可見光光源例如為紅外光(Infrared)光源。然而，本發明並不限制可見光光源及不可見光光源的顏色類型或波長類型。另外，在本發明的一些實施例中，多個光源所提供的多個感測光的至少一部分可具有不同偏極化。調變光源130可依據不同感測或照明需求來調變多個感測光。

圖2是依照本發明的一實施例的影像感測的情境示意圖。參考圖1以及圖2，本實施例的影像感測裝置100適於操作在無環境光情境下感測目標物200，例如可應用於手術內視鏡。在本實施例中，處理電路110可控制調變光源130以不同時序朝目標物200發射多個感測光SL，並且可控制影像感測器120以不同時序感測由多個感測光SL經由目標物200的表面反射的多個反射光RL。值得注意的是，本實施例的多個反射光是指對應於影像感測器120在不同時間分別感測到的感測影像。本實施例的調變光源130可發射經調變的多個感測光SL，並且多個感測光SL可分別為不同顏色或具有不同波長的可見光。如此一來，多個反射光RL亦可分別為不同顏色或具有不同波長。處理電路110可依據多個反射光RL來生成多個感測影像，並且可接著將多個感測影像合成一個完整感測影像，其中多個感測影像的每一個的多個像素(pixel)可作為完整感測影像的多個像素中的多個子像素(sub-pixel)。因此，處理電路110可產生具有高影像解析度的完整感測影像。另外，多個感測光SL中的其中之一可為不可見光，並且處理電路110可將影像感測器120感測此多個感測光SL中的其中之一的感測結果作為距離感測結果，以取得具有高影像解析度的目標物200的深度資訊。

圖3A、圖3B及圖3C是依照本發明的一實施例的多個感測影像的示意圖。圖3D是依照本發明的一實施例的完整感測影像的示意圖。圖3E是依照本發明的一實施例的深度資訊的示意圖。先參考圖1至圖3C，舉例而言，處理電路110可操作調變光源130中的紅色光光源朝目標物200發射紅色光，並且操作影像感測器120的N個感測像素(例如400×400)進行感測，以產生如圖3A所示的感測影像301。對此，感測影像301同樣具有N個像素，並且影像解析度可為400×400。由於在無環境光情境下，目標物200被照射以紅色光，因此感測影像301的像素301_1~301_N的多個像素值可為全部對應於紅色光的感測結果。接著，處理電路110可操作調變光源130中的綠色光光源朝目標物200發射綠色光，並且操作影像感測器120的N個感測像素(例如400×400)進行感測，以產生如圖3B所示的感測影像302。對此，感測影像302同樣具有N個像素，並且影像解析度可為400×400。由於在無環境光情境下，目標物200被照射以綠色光，因此感測影像302的像素302_1~302_N的多個像素值可為全部對應於綠色光的感測結果。接著，處理電路110可操作調變光源130中的藍色光光源朝目標物200發射藍色光，並且操作影像感測器120的N個感測像素(例如400×400)進行感測，以產生如圖3C所示的感測影像303。對此，感測影像303同樣具有N個像素，並且影像解析度可為400×400。由於在無環境光情境下，目標物200被照射以藍色光，因此感測影像303的像素303_1~303_N的多個像素值可為全部對應於藍色光的感測結果。

搭配參考圖3D，在此範例中，處理電路110可將感測影像301~303(即多個第一影像)合成為如圖3D所示的一個完整感測影像304。值得注意的是，完整感測影像304同樣具有N個像素，並且影像解析度可為400×400。完整感測影像304的多個像素P_1~P_N的每一個可包括多個子像素304_1~304_3。對此，處理電路110可將感測影像301的像素301_1~301_N的多個像素值每一個作為完整感測影像304的多個像素P_1~P_N的每一個子像素304_1的像素值。處理電路110可將感測影像302的像素302_1~302_N的多個像素值每一個作為完整感測影像304的多個像素P_1~P_N的每一個子像素304_2的像素值。處理電路110可將感測影像303的像素303_1~303_N的多個像素值每一個作為完整感測影像304的多個像素P_1~P_N的每一個子像素304_3的像素值。因此，影像感測裝置100可取得具有高影像解析度的完整感測影像304。

搭配參考圖3E，在此範例中，處理電路110可操作調變光源130中的紅外光光源朝目標物200發射紅外光，並且操作影像感測器120的N個感測像素(例如400×400)進行感測，以產生如圖3E所示的深度資訊305。對此，深度資訊305可對應於N個感測像素的測距結果，並且深度資訊305的影像解析度可為400×400。由於在無環境光情境下，目標物200被照射以紅外光，因此深度資訊305可具有對應於N個感測像素的測距結果305_1~305_N。因此，影像感測裝置100可取得具有高影像解析度的深度資訊305。

值得注意的是，一般的具有色彩濾光器以及測距功能的影像感測器的感測陣列可例如具有400×400個感測像素。對此，一般的影像感測器的感測陣列中具有紅色濾光器的感測像素為100×100個，具有綠色濾光器的感測像素為100×100個，具有藍色濾光器的感測像素為100×100個，並且具有紅外色濾光器的感測像素為100×100個。如此一來，經上述感測影像合成後，一般的影像感測器生成的一個完整感測影像的影像解析度為100×100，並且一般的影像感測器生成的深度資訊的影像解析度為100×100。也就是說，相較於上述實施例說明，本發明的影像感測裝置100，在影像感測器的感測陣列的感測像素密度不變的條件下，可取得具有較高影像解析度的完整感測影像及深度資訊。並且，相較於上述實施例說明，本發明的影像感測裝置100由於無需設置色彩濾光器，因此還可具有降低影像感測器的製程成本的優點。

圖4是依照本發明的一實施例的一種影像感測方法的流程圖。參考圖1及圖4，圖1的影像感測裝置100可執行以下步驟S410~S440，以實現如上述實施例說明的影像感測功能。在步驟S410，在一個圖框期間中，影像感測裝置100可通過調變光源130的多個光源以不同時序發射多個感測光。在步驟S420，在所述圖框期間中，影像感測裝置100可通過影像感測器的多個感測像素以不同時序感測由所述多個感測光經由目標物反射的多個反射光。在步驟S430，影像感測裝置100可合成對應於所述多個反射光的一部分的多個第一影像，以產生一個完整感測影像。在步驟S440，影像感測裝置100可根據所述多個反射光的另一部分取得所述目標物的深度資訊。

圖5是依照本發明的一實施例的操作時序圖。參考圖1、圖2至圖3D及圖5，調變光源130的多個光源可包括多個可見光光源以及不可見光光源。在本實施例中，多個可見光光源包括紅色光光源、綠色光光源以及藍色光光源，並且不可見光光源為紅外光光源。在本實施例中，感測影像301~303的子感測期間VP1~VP3與紅色光光源、綠色光光源以及藍色光光源同步操作。深度資訊305的子感測期間IP與紅外光光源同步操作。在本實施例中，一個圖框期間FP包括可見光感測期間以及不可見光感測期間。可見光感測期間包括子感測期間VP1~VP3，並且不可見光感測期間包括子感測期間IP。調變光源130的多個可見光光源的每一個在子感測期間VP1~VP3的對應一個子感測期間中單獨開啟。

舉例而言，如圖5所示的發光時序SL_R，紅色光光源在影像感測器120的子感測期間VP1單獨開啟，以使影像感測器120取得感測影像301。如圖5所示的發光時序SL_G，綠色光光源在影像感測器120的子感測期間VP2單獨開啟，以使影像感測器120取得感測影像302。如圖5所示的發光時序SL_B，藍色光光源在影像感測器120的子感測期間VP3單獨開啟，以使影像感測器120取得感測影像303。

在本實施例中，影像感測裝置100可採用間接飛時測距(Indirect Time of Flight，I-ToF)感測技術。如圖5所示的發光時序SL_IR1，調變光源130的紅外光光源在影像感測器120的感測期間IP同步開啟，其中紅外光光源為間隔發光以依序發射多個脈衝光，以使影像感測器120取得深度資訊305。在一實施例中，影像感測裝置100可採用直接飛時測距(Direct Time of Flight，D-ToF)感測技術。如圖5所示的發光時序SL_IR2，調變光源130的紅外光光源在影像感測器120的感測期間IP同步開啟，其中紅外光光源發射一個脈衝光，以使影像感測器120取得深度資訊305。在另一實施例中，影像感測裝置100可採用結構光(Structured Light)測距感測技術。如圖5所示的發光時序SL_IR3，調變光源130的紅外光光源在影像感測器120的感測期間IP同步開啟，其中紅外光光源持續發射一個結構光，以使影像感測器120取得深度資訊305。

在本實施例中，子感測期間VP1~VP3、IP之間未時序重疊。特別是，影像感測器120的多個感測像素在可見光感測期間中的子感測期間VP1~VP3分別感測多個反射光，其中子感測期間VP1~VP3之間未時序重疊。另外，本實施例的可見光感測期間的時間長度(例如子感測期間VP1~VP3的時間長度總合)可小於

秒，以使感測過程中的觀看者可因視覺暫留效果而不會受到不同顏色光源的發光切換影響。

圖6是依照本發明的另一實施例的操作時序圖。參考圖1及圖6，在本發明的另一些實施例中，影像感測器120所取得的影像不限於RGB影像。在一些特殊應用情境中，例如內視鏡拍攝特定人體器官或腫瘤等，使用者需要拍攝具有特定顯影效果的影像時。調變光源130可發射不同顏色的感測光(照明光)，例如黃色光。因此，如圖6所示的發光時序SL_R’以及發光時序SL_G’，紅色光光源以及綠色光光源在影像感測器120的子感測期間VP1同時開啟，以使影像感測器120取得對應於整體像素值為黃色像素值的感測影像。如圖6所示的發光時序SL_G’，綠色光光源在影像感測器120的子感測期間VP2單獨開啟，以使影像感測器120取得對應於整體像素值為綠色像素值的感測影像。如圖6所示的發光時序SL_B’，藍色光光源在影像感測器120的子感測期間VP3單獨開啟，以使影像感測器120取得對應於整體為整體像素值為藍色像素值的感測影像。因此，本實施例的處理電路110可合成具有黃色子像素、綠色子像素以及藍色子像素的一個完整感測影像。然而，本發明的光源開啟方式並不限於上述實施例。本發明的多個可見光光源的至少兩個可在子感測期間VP1、VP2、VP3的其中之任一同時開啟。

綜上所述，本發明的影像感測裝置以及影像感測方法，可透過無色彩濾光器的影像感測器在不同時間感測由目標物被不同顏色的多個感測光照射所反射的多個反射光。本發明的影像感測裝置可將對應於多個反射光的影像感測結果的多個感測影像合成為具有高影像解析度的完整感測影像，並且依據多個反射光的距離感測結果來取得目標物的深度資訊。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:電子裝置 110:處理電路 120:影像感測器 130:調變光源 200:目標物 SL:感測光 RL:反射光 301、302、303:感測影像 301_1~301_N、302_1~302_N、303_1~303_N、P_1~P_N:像素 304:完整感測影像 304_1~304_3:子像素 305:深度資訊 305_1~305_N:測距結果 S410~S440:步驟 FP:圖框期間 SL_R、SL_G、SL_B、SL_R’、SL_G’、SL_B’、 SL_IR1、SL_IR2、SL_IR3:發光時序 VP1、VP2、VP3、IP:子感測期間

圖1是依照本發明的一實施例的一種影像感測裝置的電路示意圖。圖2是依照本發明的一實施例的影像感測的情境示意圖。圖3A、圖3B及圖3C是依照本發明的一實施例的多個感測影像的示意圖。圖3D是依照本發明的一實施例的完整感測影像的示意圖。圖3E是依照本發明的一實施例的深度資訊的示意圖。圖4是依照本發明的一實施例的一種影像感測方法的流程圖。圖5是依照本發明的一實施例的操作時序圖。圖6是依照本發明的另一實施例的操作時序圖。

100:影像感測裝置

110:處理電路

120:影像感測器

130:調變光源

Claims

一種影像感測裝置，適於操作在一無環境光情境下感測一目標物，所述影像感測裝置包括：一調變光源，包括多個光源；一影像感測器，包括多個感測像素，其中所述影像感測器為一無色彩濾光器感測器；以及一處理電路，耦接所述調變光源以及所述影像感測器，並且用以操作所述調變光源以及所述影像感測器，其中在一個圖框期間中，所述多個光源以不同時序發射多個感測光，並且所述多個感測像素以不同時序感測由所述多個感測光經由所述目標物反射的多個反射光，其中所述處理電路合成對應於所述多個反射光的一部分的多個第一影像，以產生一個完整感測影像，並且所述處理電路根據所述多個反射光的另一部分取得所述目標物的一深度資訊。
如請求項1所述的影像感測裝置，其中所述多個光源包括多個可見光光源以及一不可見光光源，並且所述多個第一影像以及所述深度資訊的多個感測期間與所述多個可見光光源以及所述不可見光光源同步操作。
如請求項2所述的影像感測裝置，其中所述多個感測光包括多個可見光以及一不可見光，並且所述多個感測像素在不同期間感測由所述多個可見光以及所述不可見光經由所述目標物反射的多個第一反射光以及一第二反射光，其中所述處理電路合成對應於所述多個第一反射光的所述多個第一影像，以產生所述完整感測影像，並且所述處理電路根據所述第二反射光取得所述目標物的所述深度資訊。
如請求項2所述的影像感測裝置，其中所述多個可見光光源包括一紅色光光源、一綠色光光源以及一藍色光光源，並且所述不可見光光源為一紅外光光源。
如請求項2所述的影像感測裝置，其中所述多個感測像素在所述圖框期間中的一個可見光感測期間感測所述多個第一反射光，並且所述多個感測像素在所述圖框期間中的一個不可見光感測期間感測所述第二反射光，其中所述可見光感測期間與所述不可見光感測期間未重疊。
如請求項5所述的影像感測裝置，其中所述多個感測像素在所述可見光感測期間中的多個子感測期間分別感測所述多個第一反射光，其中所述多個子感測期間未重疊。
如請求項5所述的影像感測裝置，其中所述可見光感測期間的時間長度小於
秒。
如請求項2所述的影像感測裝置，其中所述多個可見光光源的每一個在所述多個子感測期間的對應一個子感測期間中單獨開啟。
如請求項2所述的影像感測裝置，其中所述多個可見光光源的至少兩個在所述多個子感測期間的其中之一同時開啟。
如請求項1所述的影像感測裝置，其中所述多個感測光分別對應於不同波長。
如請求項1所述的影像感測裝置，其中所述多個感測光的至少一部分具有不同偏極化。
如請求項1所述的影像感測裝置，其中所述處理電路根據所述多個反射光的所述另一部分進行一直接飛時測距運算，以取得所述深度資訊。
如請求項1所述的影像感測裝置，其中所述處理電路根據所述多個反射光的所述另一部分進行一間接飛時測距運算，以取得所述深度資訊。
如請求項1所述的影像感測裝置，其中所述多個反射光的另一部分為結構光。
一種影像感測方法，適於一影像感測裝置操作在一無環境光情境下感測一目標物，所述影像感測裝置包括一調變光源以及一影像感測器，所述影像感測方法包括：在一個圖框期間中，通過所述調變光源的多個光源以不同時序發射多個感測光；在所述圖框期間中，通過所述影像感測器的多個感測像素以不同時序感測由所述多個感測光經由所述目標物反射的多個反射光；以及合成對應於所述多個反射光的一部分的多個第一影像，以產生一個完整感測影像，並且根據所述多個反射光的另一部分取得所述目標物的一深度資訊。
如請求項15所述的影像感測方法，其中所述多個光源包括多個可見光光源以及一不可見光光源，並且所述多個第一影像以及所述深度資訊的多個感測期間與所述多個可見光光源以及所述不可見光光源同步操作。
如請求項16所述的影像感測方法，其中所述多個感測光包括多個可見光以及一不可見光，並且所述多個感測像素在不同期間感測由所述多個可見光以及所述不可見光經由所述目標物反射的多個第一反射光以及一第二反射光，其中產生所述完整感測影像以及取得所述深度資訊的步驟包括：合成對應於所述多個第一反射光的所述多個第一影像，以產生所述完整感測影像；以及根據所述第二反射光取得所述目標物的所述深度資訊。
如請求項16所述的影像感測方法，其中所述多個感測像素在所述圖框期間中的一個可見光感測期間感測所述多個第一反射光，並且所述多個感測像素在所述圖框期間中的一個不可見光感測期間感測所述第二反射光，其中所述可見光感測期間與所述不可見光感測期間未重疊。
如請求項16所述的影像感測方法，其中所述多個可見光光源的每一個在所述多個子感測期間的對應一個子感測期間中單獨開啟。
如請求項16所述的影像感測方法，其中所述多個可見光光源的至少兩個在所述多個子感測期間的其中之一同時開啟。