TW201508339A - 用於提供三維彩色影像之多頻帶影像感測器 - Google Patents

用於提供三維彩色影像之多頻帶影像感測器 Download PDF

Info

Publication number
TW201508339A
TW201508339A TW103121084A TW103121084A TW201508339A TW 201508339 A TW201508339 A TW 201508339A TW 103121084 A TW103121084 A TW 103121084A TW 103121084 A TW103121084 A TW 103121084A TW 201508339 A TW201508339 A TW 201508339A
Authority
TW
Taiwan
Prior art keywords
filter
data
generating
light
dimensional color
Prior art date
Application number
TW103121084A
Other languages
English (en)
Other versions
TWI564593B (zh
Inventor
Hui Wei
chang-meng Liu
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201508339A publication Critical patent/TW201508339A/zh
Application granted granted Critical
Publication of TWI564593B publication Critical patent/TWI564593B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

本發明提供一種用於產生三維彩色影像之成像系統以及方法，其包含用於允許來自物件的光進入成像系統之開口。一感測器元件陣列中的每一感測器元件接收光的一部分，並產生指示光的所接收部分的強度之一信號。來自光學元件的光照射至包括多個濾光片區域之濾光片上，每一濾光片區域使一預定頻帶的光波長通過，且與感測器元件中之一者相關聯並配置成與之對準，使得穿過每一濾光片區域的光照射至與濾光片元件相關聯且對準的感測器上。濾光片區域中之至少一者經構造以使可見光彩色頻帶通過，且濾光片區域中之至少另一者經構造以使紅外線頻帶通過。

Description

用於提供三維彩色影像之多頻帶影像感測器
本發明是關於影像感測器，且更特定而言，是關於用於產生三維彩色影像之影像感測器。
產生彩色三維影像的當前傳統系統(例如，三維遊戲示意動作攝影機系統)通常使用兩個攝影機。這些攝影機可包含用於處理彩色影像資料的彩色攝影機，以及用於處理三維深度資訊的紅外線(IR)攝影機。在這些應用中使用多個攝影機會增加主機系統的大小以及成本。
根據一觀點，提供一種用於產生三維彩色影像之方法。所述方法包含：經由一開口接收來自一物件的光；在一感測器元件陣列處接收來自開口的光，感測器元件陣列中的每一感測器元件接收光之一部分，並產生指示光的所接收部分之一強度之一信號；以及在一光學元件與感測器元件陣列之間配置濾光片，使得來自光學元件的光照射至濾光片上，濾光片包括多個濾光片區域，每一濾光片區域經構造以使所述光之一預定頻帶的波長通過，每一濾光片區域與感測器元件中之一者相關聯，且配置成與感測器元件中之所述一者對準，使得穿過每一濾光片區域的光照射至與濾光片元件相關聯且與之對準的感測器上。濾光片區域中的至少一者經構造以允許通過的波長頻帶為一可見光彩色頻帶，且濾光片區域中之至少另一者經構造以允許通過的波長頻帶為一紅外線頻帶。
根據另一觀點，提供一種用於產生三維彩色影像之 成像系統。所述成像系統包含用於產生用於三維彩色影像的資料之成像器，以及耦合到成像器之後端處理電路，用於自成像器接收資料圖框並自資料圖框產生三維彩色影像。所述成像器包含：允許來自物件的光進入成像系統之開口；用於接收來自開口的光之一感測器元件陣列，感測器元件陣列中之每一感測器元件接收光的一部分，並產生指示光的所接收部分的強度之一信號；在光學元件與感測器元件陣列之間之一濾光片，使得來自光學元件的光照射至濾光片上，濾光片包括多個濾光片區域，每一濾光片區域經構造以使預定頻帶的光波長通過，每一濾光片區域與感測器元件中之一者相關聯且配置成與之對準，使得穿過每一濾光片區域的光照射至與濾光片元件相關聯且與之對準的感測器上；用於自感測器元件陣列接收信號並產生資料圖框(亦即，影像資料圖框)之影像信號處理器，以及配置於成像器內以用於儲存多個控制設定群組之一狀態機，狀態機控制影像信號處理器以及感測器元件陣列，使得根據由狀態機應用的控制設定之多個群組中之一者產生每一資料圖框。
10‧‧‧習知成像系統
12‧‧‧物件或場景
14‧‧‧紅外光源(IR源)
16‧‧‧IR成像器或攝影機
18‧‧‧光學成像器或攝影機
20‧‧‧影像處理電路
22‧‧‧處理和控制器
24‧‧‧記憶體裝置
26‧‧‧輸入/輸出(I/O)介面裝置
27‧‧‧通信匯流排
28‧‧‧其他周邊裝置
30‧‧‧外部裝置
100‧‧‧成像系統
114‧‧‧紅外光源(IR源)
116‧‧‧成像器或攝影機/RGB-IR攝影機
117‧‧‧控制以及資料線
119‧‧‧控制線
120‧‧‧後端影像處理電路
122‧‧‧處理和控制器
124‧‧‧記憶體裝置
126‧‧‧輸入/輸出(I/O)介面裝置
127‧‧‧通信匯流排
128‧‧‧其他周邊裝置
130‧‧‧外部裝置
132‧‧‧光
134‧‧‧開口或孔徑
136‧‧‧透鏡
138‧‧‧RGB-IR感測器裝配件
140‧‧‧二維感測器陣列
142‧‧‧RGB-IR濾光片陣列
142a‧‧‧RGB-IR濾光片陣列
142b‧‧‧RGB-IR濾光片陣列
152‧‧‧影像信號處理器(ISP)
153‧‧‧讀出電路
154‧‧‧控制電路或狀態機
155‧‧‧儲存裝置/暫存器
170‧‧‧彩色資料圖框
170-1‧‧‧彩色資料圖框
170-2‧‧‧彩色資料圖框
170-3‧‧‧彩色資料圖框
172‧‧‧IR資料圖框
172-1‧‧‧IR資料圖框
172-2‧‧‧IR資料圖框
172-3‧‧‧IR資料圖框
302、304‧‧‧步驟
306‧‧‧條件轉移區塊
308‧‧‧條件轉移區塊
310‧‧‧條件轉移區塊
e‧‧‧曝光時間參數
e0‧‧‧參數
e1‧‧‧參數
en‧‧‧參數
g‧‧‧類比增益參數
g0‧‧‧參數
g1‧‧‧參數
gn‧‧‧參數
S0‧‧‧狀態
S1‧‧‧狀態
Sn‧‧‧狀態
v‧‧‧垂直遮沒間隔參數
v0‧‧‧參數
v1‧‧‧參數
vn‧‧‧參數
自如隨附圖式中所說明的較佳實施例的較特定描述將顯而易見前述以及其他特徵以及優勢，在圖式中貫穿不同視圖，類似的參考字元是指相同部分。圖式未必是按比例繪製的，實情為強調說明本發明概念的原理。
圖1包含用於產生物件或場景的三維彩色影像的習知成像系統之示意性方塊圖。
圖2包含根據一些例示性實施例的用於產生物件或場景的三維彩色影像的成像系統之示意性方塊圖。
圖3包含根據一些例示性實施例的圖2中所說明的RGB-IR攝影機之示意性方塊圖。
圖4A包含根據一些例示性實施例的說明如圖3中所說明的，可與感測器陣列對齊/對準配置的例示性RGB-IR濾光片陣列之示意圖。
圖4B包含根據一些例示性實施例的說明如圖3中所說明的，可與感測器陣列對齊/對準配置的另一例示性RGB-IR濾光片陣列之示意圖。
圖5包含根據一些例示性實施例的說明經由RGB-IR攝影機與影像處理電路之間的介面傳送多個資料圖框(包含彩色資料圖框以及IR資料圖框)之示意圖。
圖6包含根據一些例示性實施例的說明本發明之成像系統可處理任何數目n個資料圖框之狀態圖。
圖1包含用於產生一物件或場景12之三維彩色影像之一習知成像系統10之示意性方塊圖。成像系統10可用作例如用於三維示意動作辨識系統之一攝影機的部分，這些例如是使用於一般的視訊遊戲系統中。參看圖1，成像系統10包含光學成像器或攝影機18，其自物件或場景12接收可見光並處理可見光。攝影機18通常產生物件或場景12的紅色(R)、綠色(G)以及藍色(B)彩色影像資料，且其在本文中亦稱為“RGB攝影機”。成像系統10還包含用IR光照明物件或場景12的紅外光源14(“IR源14”)，例如IR雷射。IR成像器或攝影機16接收並處理自物件或場景12返回之IR光，以產生物件或場景12之IR影像資料。
由RGB攝影機18以及IR攝影機16將來自攝影機18以及16兩者之影像資料的圖框傳輸至影像處理電路20，其處理所接收的資料以產生物件或場景12之三維彩色影像。影像處理電路20使用來自RGB攝影機18的資料以產生彩色影像，並使用來自IR攝影機16的資料以提供深度(景深)資訊，使得產生三維影像。
影像處理電路20可包含用於實施由成像系統10所需要的各種處理工作之各種裝置以及電路。此等裝置以及電路可包含至少一處理器或控制器22、一或多個記憶體裝置24、一或多個輸入/輸出(I/O)介面裝置26以及一或多個其他周邊裝置28。此等裝置22、24、26以及28可經由一通信匯流排27彼此通信。可 將由處理電路20產生的影像之影像資料轉遞至一外部裝置30，其可為例如用於儲存影像之一或多個記憶體以及用於顯示影像之一顯示器。
因此，圖1的習知成像系統10包含用於產生三維彩色影像之分離的RGB攝影機18以及IR攝影機16。多個攝影機以及多組資料及控制信號線導致成像系統10具有較大且複雜的外觀尺寸以及相對較高的成本。
圖2包含根據一些例示性實施例的用於產生物件或場景12的三維彩色影像之一成像系統100之一示意性方塊圖。成像系統100可用作例如用於三維示意動作辨識系統之一攝影機的部分，這些例如是使用於一般的視訊遊戲系統中。參看圖2，成像系統100包含用IR光照明物件或場景12的紅外光源114(“IR源114”)，例如IR雷射。成像系統100還包含一成像器或攝影機116，其自物件或場景12接收並處理可見光以及IR光兩者。攝影機116產生物件或場景12的紅色(R)、綠色(G)以及藍色(B)彩色影像資料，且亦產生用於物件或場景12的IR影像資料。因此，攝影機116在本文中被稱作“RGB-IR攝影機”。
由RGB-IR攝影機116經由控制及資料線117將彩色影像資料以及IR影像資料兩者的圖框傳輸至後端影像處理電路120，其處理所接收的資料以產生物件或場景12之一三維彩色影像。後端影像處理電路120使用來自RGB-IR攝影機116的RGB資料以產生彩色影像，並使用來自RGB-IR攝影機116的IR資料以提供深度資訊，使得產生三維影像。後端影像處理電路120亦經由控制線119控制IR源114之啟動。藉由控制在作用中的IR源，影像處理電路可確保當IR源114並非處於作用中時，可自物件或場景12收集彩色影像資料，使得IR光並不會不利地影響所產生的彩色影像。由後端影像處理電路120控制IR源114可能是困難且低效率的。
後端影像處理電路120可包含用於實施由成像系統100所要求的各種處理工作之各種裝置以及電路。此等裝置以及 電路可包含至少一處理器或控制器122、一或多個記憶體裝置124、一或多個輸入/輸出(I/O)介面裝置126以及一或多個其他周邊裝置128。此等裝置122、124、126以及128可經由一通信匯流排127彼此通信。可將由後端影像處理電路120所產生的影像之影像資料轉遞至一外部裝置130，其可為例如用於儲存影像之一或多個記憶體以及用於顯示影像之一顯示器。
圖3包含根據一些例示性實施例的圖2中所說明的RGB-IR攝影機116之一示意性方塊圖。參看圖3，根據例示性實施例的RGB-IR攝影機116包含來自物件或場景12的光132藉以進入RGB-IR攝影機116的開口或孔徑134。一透鏡136接收光，並將光聚焦於一RGB-IR感測器裝配件138上。RGB-IR感測器裝配件138包含一二維感測器陣列140(在下文中被稱作“感測器陣列140”)，其包含配置成二維陣列的多個感測器元件。感測器陣列140之每一感測器接收光，並產生指示由感測器所接收的光強度之一電信號。一RGB-IR一濾光片陣列142係配置於透鏡136與感測器陣列140之間。RGB-IR濾光片陣列142包含配置成二維陣列的多個濾光片部分。RGB-IR濾光片陣列142之濾光片部分中之每一個與感測器陣列140中之多個感測器元件中之一相關聯，且配置成與所述一者對齊/對準。每一濾光片部分過濾其所接收光的相關聯部分，使得感測器陣列140之相關聯感測器元件產生指示濾光片部分的通帶中的光強度之一電信號。
影像信號處理器(ISP)152在讀出電路153處接收來自感測器陣列140之感測器元件的電信號，並產生呈資料圖框形式的數位資料，以用於經由控制及資料線117傳輸至上文圖2所描述的後端影像處理電路120。根據例示性實施例，ISP 152可分離在讀出電路153處所接收的資料，並將資料格式化成個別彩色及IR資料圖框，以用於傳輸至後端影像處理電路120。
一控制電路或狀態機154控制RGB-IR攝影機116的操作。狀態機154控制IR源114的啟動。藉由控制在作用中的IR源114，RGB-IR攝影機116的狀態機154可確保可在IR源114 並不處於作用中時自物件或場景12收集彩色影像資料，使得IR光並不不利地影響所產生的彩色影像。狀態機154亦經由用於控制彩色以及IR資料至後端影像處理電路120的傳輸時序之控制信號而與ISP 152介接。
狀態機154亦與感測器陣列140介接，以控制由感測器陣列140所產生，且由ISP 152格式化並傳輸至後端影像處理電路120之資料的各種參數。舉例而言，在一些例示性實施例中，狀態機可包含儲存感測器陣列140之影像資料相關的參數之一或多個儲存裝置155，例如暫存器。在一些例示性實施例中，暫存器155所儲存的此等參數可包含，例如類比增益參數、曝光時間參數以及影像大小參數，所述參數可用於設定用於傳輸資料圖框之圖框速率。
在狀態機154的控制下，ISP 152安排RGB以及IR資料於資料圖框中。經由控制及資料線117將資料圖框傳輸至後端影像處理電路120。亦經由控制及資料線117將與資料圖框相關聯的時序信號(例如同步及選通信號)與來自ISP 152的資料信號同步地傳輸至後端影像處理電路120。
在一些例示性實施例中，ISP 152產生分離的彩色以及IR資料圖框，且因此，其根據一預定義處理方法將像素資料分裂成分離的資料圖框。舉例而言，在一些例示性實施例中，ISP 152自不同群組移除數個資料部分(component)。舉例而言，可藉由按以下公式自IR元件移除IR部分而處理(亦即，產生)彩色資料圖框。
彩色IMG=RGB IMG-r1 * IR IMG r1=f(AWB,AvgIR),其中r1為RGB與IR像素之間的比率，且r11.0。
圖4A包含根據一些例示性實施例的說明如圖3中所說明的，可與感測器陣列140對齊/對準配置的例示性RGB-IR濾光片陣列142a之一示意圖。圖4B包含根據一些例示性實施例的說明如圖3中所說明的，可與感測器陣列140對齊/對準配置的另 一例示性RGB-IR濾光片陣列142b之一示意圖。在一些例示性實施例中，感測器陣列140中之每一像素包含RGB-IR濾光片陣列142之四個濾光片部分，以及感測器陣列140之四個感測器元件。參看圖4A以及圖4B，如上文所描述，RGB-IR濾光片陣列142a以及142b包含配置成二維陣列的多個彩色以及IR濾光片部分二者。此等陣列說明來自感測器陣列140的像素的經過濾感測器元件資料，由來自感測器陣列140之四個對應感測器元件的資料定義每一像素。由ISP 152產生每一資料圖框的像素資料。
在一些特定例示性實施例中，將來自感測器陣列140的資料之每一例子分裂成兩個資料圖框，其中資料圖框中的一者為RGB(彩色)資料圖框，且另一資料圖框為IR資料圖框。對於RGB以及IR資料的每一例子而言，可將兩個資料圖框自RGB-IR攝影機116之ISP 152分離地傳輸至後端影像處理電路120。在一特定例示性實施例中，為了實現此雙視訊串流，其中一串流專用於彩色且另一串流專用於IR，使用一快速圖框速率。舉例而言，在一些特定例示性實施例中，使用大於大約每秒60圖框(fps)的圖框速率。又，使用相對較高的資料傳送速度以實施雙視訊串流。又，根據一些例示性實施例，狀態機154包含內部群組功能，例如群組A以及群組B，每一群組可經程式化以包含獨立群組設定，所述群組設定可為例如用於設定圖框速率、選通時序(strobe timing)以及其他功能的群組數目、圖框數目、曝光時間、增益、影像大小、靜態資訊、垂直總信號(VTS)中的一或多者。為此，由ISP 152產生並輸出的每一資料串流可包含嵌入式標籤資訊，其可包含用於資料圖框的此等資訊項目中的一或多者，且其可以同步化資料圖框影像。
圖5包含根據一些例示性實施例的說明經由RGB-IR攝影機116與後端影像處理電路120之間的介面傳送多個資料圖框，包含彩色資料圖框以及IR資料圖框，之一示意圖。在圖5中，RGB-IR攝影機116被指示為資料圖框之一傳輸器，且後端影像處理電路120被指示為資料圖框之接收器。
參看圖5，在一些特定例示性實施例中，將彩色資料圖框識別為偶數資料圖框，且將IR資料圖框識別為奇數資料圖框。在此等實施例中，以與IR資料圖框交替的方式傳輸彩色資料圖框。參看圖5，在一些例示性實施例中，分別使用圖4A以及圖4B中所說明的例示性RGB-IR濾光片陣列142a以及142b中之一者產生彩色資料圖框170以及IR資料圖框172，其中自對應的兩個彩色RGB以及兩個IR濾光片部分以及四個相關聯感測器元件而產生資料之每一像素。如圖5中所說明，藉由解碼圖框標頭，後端影像處理電路120可判定所收集的RGB以及IR資料之每一例子，在第一時間週期中以第一群組(在圖5中指示為“A”)傳輸彩色資料圖框170，且在第二時間週期中以在圖5中由“B”指示的第二群組傳輸IR資料圖框172。
除了轉遞彩色以及資料圖框以外，亦產生時序信號Vsync以及Strobe並將其傳輸至後端影像處理電路120。圖5中亦說明此等時序信號。如圖5中所說明，Vsync信號提供指示一資料圖框之末端以及下一資料圖框之開始的一同步脈衝。Strobe信號包含在IR資料收集週期期間所產生的脈衝。啟動此Strobe脈衝以指示啟動(亦即，開啟)IR源114(圖2)來用IR光照明物件或場景12，以確保高品質的IR影像資料。如上文所描述，狀態機154控制IR源114的啟動。藉由控制IR源處於作用中的時間，狀態機154可確保可在IR源114並非處於作用中時自物件或場景12收集彩色影像資料，使得IR光並不會不利地影響所產生的彩色影像。
圖5亦說明用於三個例示性資料收集例子(編號為1、2以及3)的三對所接收彩色以及IR資料圖框。亦即，所接收彩色資料圖框170-1是針對資料收集例子1之群組A(其由A1指示)而接收的；所接收彩色資料圖框170-2是針對資料收集例子2之群組A(其由A2指示)而接收的；且所接收彩色資料圖框170-3是針對資料收集例子3之群組A(其由A3指示)而接收的。類似地，所接收IR資料圖框172-1是針對資料收集例子1之群組B(其 由B1指示)而接收的；所接收IR資料圖框172-2是針對資料收集例子2之群組B(其由B2指示)而接收的；且所接收IR資料圖框172-3是針對資料收集例子3之群組B(其由B3指示)而接收的。
本文中已將成像系統100詳細描述為使用雙感測器陣列，並產生用於彩色(RGB)以及IR資料之資料圖框。將理解，可產生任何數目之不同資料圖框。舉例而言，可產生三色RGB資料圖框之彩色資料圖框。又，可針對每一個別色彩產生資料圖框，亦即，紅色資料圖框、綠色資料圖框、藍色資料圖框以及IR資料圖框。資料圖框的數目以及類型中的任何此變化屬於此詳細描述的範疇內。
圖6包含說明圖3中所說明的狀態機154之操作之一狀態圖。圖6說明根據一些例示性實施例的成像系統100可處理任何數目n個不同資料圖框類型。n個資料圖框類型對應於n個狀態，在圖6中識別為S0、S1......Sn。參看圖6，每一狀態S0、S1......Sn與資料圖框類型相關聯。舉例而言，狀態S0與RGB(彩色)資料圖框類型相關聯，狀態S1與IR資料圖框類型相關聯等。每一狀態亦與參數群組相關聯。舉例而言，每一狀態可與曝光時間參數e、類比增益參數g以及判定傳輸圖框速率的垂直遮沒間隔參數v相關聯。
參看圖6，根據例示性實施例的程序，將感測器陣列142設定為以預定數目N個最大狀態運作，如302中所說明。接著，在步驟304中設定在每一狀態中的運作條件。舉例而言，設定用於狀態S0的參數(e0、g0、v0)；設定用於狀態S1的參數(e1、g1、v1)；設定用於狀態Sn的參數(en、gn、vn)等。狀態機154保持處於其目前狀態，或經由由圖6中的306、308以及310指示的條件轉移區塊而推進至其下一狀態。條件轉移區塊306、308以及310判定在推進至下一狀態之前，狀態S0、S1以及Sn中之每一者重複的次數。
根據例示性實施例，RGB-IR攝影機116中之狀態機154可以與感測器陣列142局部地製造在“晶片上”。在RGB-IR 攝影機116內本端地且與感測器陣列142一起在晶片上進行上文詳細描述的由狀態機154藉由傳送感測器陣列控制參數群組所提供的控制。又，由狀態機154本端地控制對IR源114之開啟與斷開狀態的控制。無需由後端信號處理電路120遠端地執行此等功能。結果，簡化了系統100的外觀尺寸。又，系統100可以較高的圖框速率操作，從而允許以高資料速率傳送RGB以及IR資料串流，從而帶來大大改良的系統效率以及影像品質。
特徵組合
上文已詳細描述本發明的各種特徵。除非描述特定地排除特徵組合，否則本發明涵蓋本文中所描述的任何數目個特徵之任何以及所有組合。以下實例說明根據本發明的本文中所預期且揭露的特徵組合中的一些。
在本文中所詳細描述及/或所主張之實施例中的任一者中，濾光片區域可包括兩個圖案，兩個圖案中之第一圖案為彩色濾光片區域的圖案，且兩個圖案中之第二圖案為紅外線濾光片區域的圖案。
在本文中所詳細描述及/或所主張之實施例中的任一者中，彩色濾光片區域的圖案可包含紅色濾光片區域。
在本文中所詳細描述及/或所主張之實施例中的任一者中，彩色濾光片區域的圖案可包含藍色濾光片區域。
在本文中所詳細描述及/或所主張之實施例中的任一者中，彩色濾光片區域的圖案可包含綠色濾光片區域。
在本文中所詳細描述及/或所主張之實施例中的任一者中，濾光片區域中之至少一者經建構以允許通過的波長頻帶為可見光彩色頻帶，且濾光片區域中的至少另一者經建構以允許通過的波長頻帶為紅外線頻帶。
在本文中所詳細描述及/或所主張之實施例中的任一者中，可在第一系列的資料圖框中，將由與彩色濾光片區域相關聯之感測器元件所產生之資料傳送至影像處理器；且可在第二系列的資料圖框中將由與紅外線濾光片區域相關聯之感測器元件所 產生之資料傳送至影像處理器。
在本文中所詳細描述及/或所主張之實施例中的任一者中，可根據一控制設定群組以產生第一以及第二系列的資料圖框中之每一資料圖框。
在本文中所詳細描述及/或所主張之實施例中的任一者中，控制設定群組中之每一者可包含增益設定、曝光設定、圖框大小設定以及IR源接通/斷開控制設定中之至少一者。
在本文中所詳細描述及/或所主張之實施例中的任一者中，可藉由識別資料圖框之一圖框識別標籤以及與資料圖框相關聯之至少一預定參數，以產生第一以及第二系列之資料圖框中之每一資料圖框。
在本文中所詳細描述及/或所主張之實施例中的任一者中，預定參數可為圖框數目、彩色資料識別以及IR資料識別中之至少一者。
在本文中所詳細描述及/或所主張之實施例中的任一者中，可將第一系列的資料圖框中之資料圖框與第二系列的資料圖框中之資料圖框係交替地傳輸至影像處理器。
在本文中所詳細描述及/或所主張之實施例中的任一者中，狀態機經組態以按任何數目n個狀態進行操作。
在本文中所詳細描述及/或所主張之實施例中的任一者中，成像系統可為三維示意動作辨識系統的部分。
雖然已參考本發明概念的例示性實施例特定繪示以及描述本發明概念，但一般熟習此項技術者將理解，在不脫離以下申請專利範圍界定的本發明概念的精神以及範疇的情況下，可在本文中做出形式以及細節上的各種改變。
12‧‧‧物件或場景
114‧‧‧紅外光源(IR源)
116‧‧‧成像器或攝影機/RGB-IR攝影機
117‧‧‧控制以及資料線
132‧‧‧光
134‧‧‧開口或孔徑
136‧‧‧透鏡
138‧‧‧RGB-IR感測器裝配件
140‧‧‧二維感測器陣列
142‧‧‧RGB-IR濾光片陣列
152‧‧‧影像信號處理器(ISP)
153‧‧‧讀出電路
154‧‧‧控制電路或狀態機
155‧‧‧儲存裝置/暫存器

Claims (21)

  1. 一種用於產生三維彩色影像之方法，包括：經由一開口接收來自一物件的光；在一感測器元件陣列處接收來自所述開口的所述光，所述感測器元件陣列中之每一感測器元件接收所述光之一部分，並產生指示所述光之所接收部分之一強度之一信號；以及在一光學元件與所述感測器元件陣列之間配置一濾光片，使得來自所述光學元件之所述光照射至所述濾光片上，所述濾光片包括多個濾光片區域，每一濾光片區域係構造以使所述光之一預定頻帶的波長通過，每一濾光片區域與所述感測器元件中之一者相關聯，且配置成與所述感測器元件中之所述一者對準，使得穿過每一濾光片區域的光照射至與所述濾光片元件相關聯且與之對準之所述感測器上；其中所述濾光片區域中之至少一者係構造以允許通過的所述波長頻帶為一可見光彩色頻帶，且所述濾光片區域中之至少另一者係構造以允許通過的所述波長頻帶為一紅外線頻帶。
  2. 如請求項第1項所述之用於產生三維彩色影像之方法，其中所述濾光片區域包括兩個圖案，所述兩個圖案中之第一圖案為彩色濾光片區域之一圖案，且所述兩個圖案中之第二圖案為紅外線濾光片區域之一圖案。
  3. 如請求項第2項所述之用於產生三維彩色影像之方法，其中彩色濾光片區域之所述圖案包括紅色、藍色、綠色以及IR濾光片通過區域中之至少一者。
  4. 如請求項第2項所述之用於產生三維彩色影像之方法，其中： 在第一系列之資料圖框中，將由與彩色濾光片區域相關聯的所述感測器元件產生之該資料傳送至後端影像處理電路；以及在第二系列之資料圖框中，將由與紅外線濾光片區域相關聯的所述感測器元件產生之該資料傳送至所述後端影像處理電路。
  5. 如請求項第4項所述之用於產生三維彩色影像之方法，其中根據一控制設定的群組以產生所述第一以及第二系列資料圖框中之每一資料圖框。
  6. 如請求項第5項所述之用於產生三維彩色影像之方法，其中所述控制設定的群組中之每一者包含增益設定、曝光設定、圖框大小設定以及IR源接通/斷開控制設定中之至少一者。
  7. 如請求項第4項所述之用於產生三維彩色影像之方法，其中藉由識別所述資料圖框之一圖框識別標籤，以及與所述資料圖框相關聯之至少一預定參數，產生所述第一以及第二系列資料圖框中之每一資料圖框。
  8. 如請求項第7項所述之用於產生三維彩色影像之方法，其中所述預定參數為圖框數目、彩色資料識別以及IR資料識別中之至少一者。
  9. 如請求項第4項所述之用於產生三維彩色影像之方法，其中將所述第一系列的資料圖框中之所述資料圖框與所述第二系列之資料圖框中之所述資料圖框係交替地傳輸至一影像處理器。
  10. 一種用於產生三維彩色影像之成像系統，包括： 一成像器，用於產生所述三維彩色影像之資料，所述成像器包括：一開口，用於允許來自物件的光進入所述成像系統；一感測器元件陣列，用於接收來自所述開口之所述光，所述感測器元件陣列中之每一感測器元件接收所述光之一部分，並產生指示所述光之所接收部分之一強度之一信號；一濾光片，其在一光學元件與所述感測器元件陣列之間，使得來自所述光學元件之所述光照射至所述濾光片上，所述濾光片包括多個濾光片區域，每一濾光片區域係構造以使所述光之一預定頻帶的波長通過，每一濾光片區域與所述感測器元件中之一者相關聯，且配置成與所述感測器元件中之所述一者對準，使得穿過每一濾光片區域的光照射至與所述濾光片元件相關聯且與之對準之所述感測器上，一影像信號處理器，用於自所述感測器元件陣列接收所述信號，並產生影像資料之圖框；一狀態機，配置於所述成像器內以用於儲存多個控制設定群組，所述狀態機控制所述影像信號處理器以及所述感測器元件陣列，使得根據由所述狀態機應用之所述控制設定群組中之一者產生每一資料圖框；以及後端影像處理電路，耦合到所述成像器以用於自所述成像器接收所述資料圖框，並自所述資料圖框產生所述三維彩色影像。
  11. 如請求項第10項所述之用於產生三維彩色影像之成像系統，其中所述濾光片區域包括兩個圖案，所述兩個圖案中之第一 圖案為彩色濾光片區域之一圖案，且所述兩個圖案中之第二圖案為紅外線濾光片區域之一圖案。
  12. 如請求項第10項所述之用於產生三維彩色影像之成像系統，其中彩色濾光片區域之所述圖案包括紅色、藍色、綠色以及IR濾光片通過區域中之至少一者。
  13. 如請求項第10項所述之用於產生三維彩色影像之成像系統，其中所述濾光片區域中之至少一者係構造以允許通過的所述波長頻帶為可見光彩色頻帶，且所述濾光片區域中之至少另一者係構造以允許通過的所述波長頻帶為紅外線頻帶。
  14. 如請求項第13項所述之用於產生三維彩色影像之成像系統，其中：在第一系列之資料圖框中，將由與彩色濾光片區域相關聯的所述感測器元件產生之該資料傳送至一影像處理器；以及在第二系列之資料圖框中，將由與紅外線濾光片區域相關聯的所述感測器元件產生之該資料傳送至該影像處理器。
  15. 如請求項第14項所述之用於產生三維彩色影像之成像系統，其中根據一控制設定的群組以產生所述第一以及第二系列資料圖框中之每一資料圖框。
  16. 如請求項第15項所述之用於產生三維彩色影像之成像系統，其中所述控制設定群組中之每一者包含增益設定、曝光設定、圖框大小設定以及IR源接通/斷開控制設定中之至少一者。
  17. 如請求項第14項所述之用於產生三維彩色影像之成像系統，其中藉由識別所述資料圖框之一圖框識別標籤，以及與所述 資料圖框相關聯之至少一預定參數，產生所述第一以及第二系列資料圖框中之每一資料圖框。
  18. 如請求項第17項所述之用於產生三維彩色影像之成像系統，其中所述預定參數為圖框數目、彩色資料識別以及IR資料識別中之至少一者。
  19. 如請求項第14項所述之用於產生三維彩色影像之成像系統，其中將所述第一系列的資料圖框中之所述資料圖框與所述第二系列之資料圖框中之所述資料圖框係交替地傳輸至所述影像處理器。
  20. 如請求項第10項所述之用於產生三維彩色影像之成像系統，其中所述狀態機經組態以按任何數目n個狀態進行操作。
  21. 如請求項第10項所述之用於產生三維彩色影像之成像系統，其中所述成像系統為一三維示意動作辨識系統之部分。
TW103121084A 2013-07-01 2014-06-18 用於提供三維彩色影像之多頻帶影像感測器及其方法 TWI564593B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/932,736 US10148936B2 (en) 2013-07-01 2013-07-01 Multi-band image sensor for providing three-dimensional color images

Publications (2)

Publication Number Publication Date
TW201508339A true TW201508339A (zh) 2015-03-01
TWI564593B TWI564593B (zh) 2017-01-01

Family

ID=52115208

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103121084A TWI564593B (zh) 2013-07-01 2014-06-18 用於提供三維彩色影像之多頻帶影像感測器及其方法

Country Status (4)

Country Link
US (1) US10148936B2 (zh)
CN (1) CN104284179A (zh)
HK (1) HK1201393A1 (zh)
TW (1) TWI564593B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105991990A (zh) * 2015-01-23 2016-10-05 江苏南大五维电子科技有限公司 3d信息获取设备、3d信息获取方法、成像设备及电子设备
CN104918034A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种3d图像捕获装置、捕获方法及3d图像系统
US10003783B2 (en) * 2016-02-26 2018-06-19 Infineon Technologies Ag Apparatus for generating a three-dimensional color image and a method for producing a three-dimensional color image
CN108345845B (zh) * 2018-01-29 2020-09-25 维沃移动通信有限公司 图像传感器、镜头模组、移动终端、人脸识别方法及装置
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉系统及其使用方法
TWI669538B (zh) * 2018-04-27 2019-08-21 點晶科技股份有限公司 立體影像擷取模組及立體影像擷取方法
US11960008B2 (en) * 2018-05-17 2024-04-16 Cmos Sensor, Inc. Method and system for pseudo 3D mapping in robotic applications
US11475641B2 (en) * 2020-07-21 2022-10-18 Microsoft Technology Licensing, Llc Computer vision cameras for IR light detection
US11408767B1 (en) * 2021-04-12 2022-08-09 Viavi Solutions Inc. Optical filter for an optical sensor device

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017656A1 (en) * 2004-07-26 2006-01-26 Visteon Global Technologies, Inc. Image intensity control in overland night vision systems
US20060221218A1 (en) * 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
US7560679B1 (en) * 2005-05-10 2009-07-14 Siimpel, Inc. 3D camera
US8659698B2 (en) * 2007-05-17 2014-02-25 Ilya Blayvas Compact 3D scanner with fixed pattern projector and dual band image sensor
KR101409769B1 (ko) * 2007-08-01 2014-06-19 삼성전자주식회사 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법
US8462238B2 (en) * 2008-11-04 2013-06-11 Ecole Polytechnique Fëdërale de Lausanne (EPFL) Camera design for the simultaneous capture of near-infrared and visible images
DE102008043621A1 (de) * 2008-11-10 2010-05-12 Seereal Technologies S.A. Holografisches Farbdisplay
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US20120056988A1 (en) 2010-09-07 2012-03-08 David Stanhill 3-d camera
US20120188409A1 (en) * 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
US9177988B2 (en) * 2011-12-16 2015-11-03 Chromatra, Llc. Systems and methods for creating full-color image in low light

Also Published As

Publication number Publication date
US20150002629A1 (en) 2015-01-01
US10148936B2 (en) 2018-12-04
TWI564593B (zh) 2017-01-01
CN104284179A (zh) 2015-01-14
HK1201393A1 (zh) 2015-08-28

Similar Documents

Publication Publication Date Title
TWI564593B (zh) 用於提供三維彩色影像之多頻帶影像感測器及其方法
TWI545388B (zh) 產生全景圖像的系統和方法
CN103563350B (zh) 图像处理装置、图像处理方法以及数码相机
JP5701785B2 (ja) カメラモジュール
WO2016056279A1 (ja) 画像処理装置、撮像装置および撮像方法
JP6564409B2 (ja) イベントタイミング画像を処理するためのシステムおよび方法
CN103416067B (zh) 摄像装置
CN104025584B (zh) 彩色摄像元件及摄像装置
KR102197083B1 (ko) 카메라 모듈 및 이의 이미지 센싱 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
US10225468B2 (en) Imaging systems and methods with image data path delay measurement
US8830384B2 (en) Imaging device and imaging method
CN113489863B (zh) 一种移动拍摄系统和方法
CN103460704B (zh) 彩色摄像元件及摄像装置
US9088708B2 (en) Image processing device and method for controlling the same
US9866764B2 (en) Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
WO2015128908A1 (ja) 深さ位置検出装置、撮像素子、及び深さ位置検出方法
CN103444184A (zh) 彩色摄像元件、摄像装置及摄像装置的控制程序
KR20160148438A (ko) 영상 처리 장치, 영상 처리 방법, 및 촬영 장치
CN103430552B (zh) 摄像装置
KR20160143138A (ko) 카메라 및 그 제어 방법
CN103460702B (zh) 彩色摄像元件及摄像装置
KR102415061B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 촬영 장치
KR102099914B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN103139488A (zh) 高动态范围影像感测装置、方法、及装置制造方法
KR20190100833A (ko) Hdr 이미지 생성 장치