TW202143695A - 機械紅外濾光器 - Google Patents

機械紅外濾光器 Download PDF

Info

Publication number
TW202143695A
TW202143695A TW109144427A TW109144427A TW202143695A TW 202143695 A TW202143695 A TW 202143695A TW 109144427 A TW109144427 A TW 109144427A TW 109144427 A TW109144427 A TW 109144427A TW 202143695 A TW202143695 A TW 202143695A
Authority
TW
Taiwan
Prior art keywords
infrared
visible light
filter
mechanical
light data
Prior art date
Application number
TW109144427A
Other languages
English (en)
Inventor
勁 王
曉雲 江
莊尚其
家福 羅
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202143695A publication Critical patent/TW202143695A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本文揭示一種用於使用機械紅外截止開關產生圖像的裝置。一種包括用於產生圖像的光學系統的示例裝置包括可在第一位置和第二位置之間移動的機械紅外濾光器。該機械紅外濾光器可以配置為在處於第一位置時允許紅外光通過光學系統，並且可以配置為在處於第二位置時將來自光學系統的紅外光濾出。該示例裝置還包括成像感測器，其包括了成像像素和紅外像素，並且其可以配置為接收來自光學系統的光。另外，該示例裝置包括處理器，其配置為從圖像感測器接收可見光資料和紅外光資料。該處理器可以進一步配置為基於可見光資料和紅外光資料產生組合圖像。

Description

機械紅外濾光器
本案整體上涉及影像處理，並且更具體地，涉及用於產生圖像的裝置。
諸如數碼相機和行動設備（例如，智慧型電話、平板電腦、筆記型電腦等）的圖像擷取裝置包括成像系統，其包括位於一或多個光學元件的下游的成像感測器。典型的光學元件可包括一或多個透鏡和光圈。光學元件將圖像的光引導到成像感測器上，該感測器測量該光。處理器處理由成像感測器進行的測量以記錄圖像。為了記錄清晰的圖像，光學元件將來自圖像的光對焦到成像感測器上。
一些圖像擷取裝置使用不同的成像感測器來執行不同的功能。例如，為了擷取可見光圖像，圖像擷取裝置可以包括可見光成像感測器以收集可見光資料。另外地或替代地，為了擷取紅外光圖像，圖像擷取裝置可以包括紅外（或近紅外）光成像感測器以收集紅外光資料。一些圖像擷取裝置使用組合的成像感測器來執行不同的功能（例如，包括便於收集可見光資料的可見光成像感測器的各個態樣以及便於收集紅外光資料的紅外（或近紅外）光成像感測器的各個態樣的成像感測器）。當前需要改進色彩再現技術，包括利用組合成像感測器實現的技術。
下文提供了一或多個態樣的簡化概述，以便提供對這些態樣的基本理解。該概述不是對所有預期態樣的廣泛概述，並且既不旨在標識所有態樣的關鍵或重要元素，也不旨在圖示任何或所有態樣的範圍。其唯一目的是以簡化形式呈現一或多個態樣的一些概念，作為稍後呈現的更詳細描述的序言。
在本案的一態樣中，提供了一種方法、一種電腦可讀取媒體和一種裝置。包括用於產生圖像的光學系統的示例裝置包括在第一位置和第二位置之間可移動的機械紅外濾光器。示例機械紅外濾光器可以配置為在處於第一位置時允許紅外光通過光學系統，並且可以配置為在處於第二位置時從光學系統中濾掉紅外光。示例裝置還包括成像感測器，該成像感測器包括一組成像像素和一組紅外像素。示例成像感測器可以配置為接收來自光學系統的光。該示例裝置還包括處理器，該處理器耦接至成像感測器並且配置為從成像感測器接收可見光資料和紅外光資料。示例處理器還可被配置為基於可見光資料和紅外光資料產生組合圖像。
在另一態樣中，揭露的技術包括一種用於產生圖像的操作方法。該示例方法包括使機械紅外濾光器在第一位置和第二位置之間移動。在一些示例中，機械紅外濾光器可以被配置為在處於第一位置時允許紅外光通過光學系統，並且可以被配置為在處於第二位置時從光學系統中濾掉紅外光。另外，示例方法包括在處理器處並且從成像感測器接收可見光資料和紅外光資料。此外，該示例方法包括基於可見光資料和紅外光資料產生組合圖像。
在另一態樣中，揭露的技術包括一種裝置，其包括用於產生圖像的光學系統。該示例裝置包括用於在第一位置和第二位置之間移動機械紅外濾光器的構件。在一些示例中，機械紅外濾光器可以被配置為在處於第一位置時允許紅外光通過光學系統，並且可以被配置為在處於第二位置時從光學系統中濾掉紅外光。示例裝置還包括用於在包括一組成像像素和一組紅外像素的成像感測器處接收光的構件。在一些示例中，成像感測器可以被配置為接收來自光學系統的光。該示例裝置還包括用於從成像感測器接收可見光資料和紅外光資料的構件。另外，示例裝置包括用於基於可見光資料和紅外光資料產生組合圖像的構件。
為了實現前述和相關目的，一或多個態樣包括在下文中充分描述並且在請求項中特別指出的特徵。以下描述和附圖詳細闡述了一或多個態樣的某些說明性特徵。然而，這些特徵僅指示可以採用各個態樣的原理的各種方式中的幾種，並且該描述旨在包括所有該等態樣及它們的均等物。
下面結合附圖闡述的具體實施方式旨在作為各種配置的描述，並且並不意圖代表可以實踐本文描述的概念的唯一配置。為了提供對各種概念的透徹理解，具體實施方式包括特定細節。然而，對於本領域技藝人士而言顯而易見的是，可以在沒有這些特定細節的情況下實踐這些概念。在某些情況下，以方塊圖形式圖示眾所周知的結構和元件，以避免使這些概念模糊。
系統、裝置、電腦程式產品和方法的各個態樣在下文中參考附圖進行了更全面的描述。然而，本案可以以許多不同的形式實施，並且不應被解釋為限於貫穿本案呈現的任何特定結構或功能。相反地，提供這些態樣使得本案將是透徹和完整的，並將向本領域技藝人士充分傳達本案的範圍。基於本文的教導，本領域技藝人士應理解，本案的範圍旨在覆蓋本文所揭示的系統、裝置、電腦程式產品和方法的任何態樣，無論是獨立於本案的其他態樣還是與本案的其他態樣組合地實現。例如，可以使用本文闡述的任何數量的態樣來實現一種裝置或可以實踐一種方法。另外，本案的範圍旨在覆蓋此類裝置或方法，其使用附加於本文闡述的本案的各個態樣或在它們之外的其他結構、功能、或結構及功能來實踐。本文揭露的任何態樣可以經由請求項的一或多個要素來體現。
儘管本文描述了各個態樣，但是這些態樣的許多變化和置換都落入本案的範圍內。儘管提到了本案的態樣的一些潛在的利益和優點，但是本案的範圍並不旨在限於特定的利益、用途或目的。相反地，本案的各態樣旨在廣泛地適用於不同的無線技術、系統配置、網路和傳輸協定，其中一些以示例的方式在附圖和以下描述中示出。具體實施方式和附圖僅是對本案的說明而不是限制，本案的範圍由所附請求項及其均等物限定。
參照各種裝置和方法呈現了幾個態樣。在下面的具體實施方式中描述了這些裝置和方法，並且在附圖中經由各個框、元件、電路、程序、演算法等（統稱為「要素」）來示出這些裝置和方法。可以使用電子硬體、電腦軟體或它們的任意組合來實現這些要素。將這些要素實現為硬體還是軟體取決於特定的應用和施加在整個系統上的設計約束。
以示例的方式，一個要素或要素的任何部分或要素的任何組合可以被實現為包括一或多個處理器（也可以稱為處理單元）的「處理系統」。處理器的示例包括微處理器、微控制器、圖形處理單元（GPU）、通用GPU（GPGPU）、中央處理器（CPU）、應用處理器、數位訊號處理器（DSP）、圖像信號處理器（ISP）、精簡指令集計算（RISC）處理器、片上系統（SOC）、基頻處理器、專用積體電路（ASIC）、現場可程式化閘陣列（FPGA）、可程式化邏輯裝置（PLD）、狀態機、閘控邏輯、個別硬體電路，以及配置為執行貫穿本案描述的各種功能的其他合適的硬體。處理系統中的一或多個處理器可以執行軟體。軟體可以廣義地解釋為指指令、指令集、代碼、程式碼片段、程式碼、程式、副程式、軟體元件、應用程式、軟體應用程式、套裝軟體、常式、子常式、物件、可執行檔、執行執行緒、程序、函數等，無論是被稱為軟體、韌體、仲介軟體、微代碼、硬體描述語言或是其他。術語應用程式可以代表軟體。如本文所述，一或多個技術可以指被配置為執行一或多個功能的應用程式，即軟體。在此類示例中，應用程式可以被儲存在記憶體中，例如，處理器的片上記憶體、系統記憶體或任何其他記憶體。本文描述的硬體（諸如，處理器）可以被配置為執行應用程式。例如，該應用程式可以被描述為包括當由硬體執行時使硬體執行本文描述的一或多個技術的代碼。作為示例，硬體可以從記憶體存取碼並且執行從記憶體存取的代碼以執行本文描述的一或多個技術。在一些示例中，在本案中標識了元件。在此類示例中，元件可以是硬體、軟體或它們的組合。元件可以是單獨的元件或單個元件的子元件。
因此，在本文描述的一或多個示例中，描述的功能可以以硬體、軟體或它們的任何組合來實現。如果以軟體實現，則功能可以被儲存在電腦可讀取媒體上或作為一或多個指令或代碼被編碼。電腦可讀取媒體包括電腦儲存媒體。儲存媒體可以是電腦可以存取的任何可用媒體。作為示例而非限制，這種電腦可讀取媒體可以包含隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式化ROM（EEPROM）、光碟記憶體、磁碟記憶體、其他磁性儲存裝置、上述類型的電腦可讀取媒體的組合，或可以用於以電腦可以存取的指令或資料結構形式儲存電腦可執行代碼的任何其他媒體。
大體而言，本文揭露的示例技術針對於改善使用組合成像感測器產生的圖像的顏色再現的技術。例如，組合成像感測器可以包括可見光成像感測器的各態樣以便於收集可見光資料，並且還可以包括紅外（或近紅外）光成像感測器的各態樣以便於收集紅外光資料。諸如智慧型電話、平板電腦、筆記型電腦等的行動設備或可攜式設備可以包括可見光成像感測器（例如，紅、綠、藍（RGB）感測器）和紅外（或近紅外）光成像感測器。在一些示例中，紅外光成像感測器（或紅外相機）可用於促進生物辨識、3D映射、圖像散景等。圖1圖示行動設備150的示例圖像擷取裝置100。示例圖像擷取裝置100至少包括成像相機102、紅外相機104、泛光照明器106和點投射器108。成像相機102可以促進擷取可見光並用於產生可見光圖像。點投射器108可以促進將紅外點投射到環境內的表面（例如，面部、虹膜、物體等）上，以產生表面圖。泛光照明器106（有時稱為「紅外閃光燈」）可以促進提供紅外光，使得可以在相對弱光的環境中讀取表面。紅外相機104可以促進讀取點圖案和擷取紅外圖像。在一些示例中，紅外圖像可以用於認證人。儘管示出的示例可以對焦於使用結構光系統進行深度圖提取的示例圖像擷取裝置100，但是可以理解，在其他示例中，本文所述的概念可以適用於用於提取深度圖的另外的或替代的技術，諸如飛行時間系統。
在一些示例中，紅外相機104、泛光照明器106和點投射器108可用於促進擷取環境的深度資訊，其可用於促進環境的3D映射。在一些示例中，深度資訊可以經由去除例如在對焦物件和圖像的模糊部分的邊界處的可見偽影來改善圖像散景的效能。例如，圖2圖示了包括對焦的人202的可見光圖像200。可見光圖像200還包括模糊的背景204。在圖2所示的示例中，人202的頭髮與模糊的背景204之間的邊界區域206可以包括沒有深度資訊的偽影，該深度資訊例如由紅外相機104、泛光照明器106和點投射器108擷取。在圖2所示實例中，偽影208被圖示為在邊界區域206中的人202的頭髮的一部分中的點。
雖然包括專用的紅外光成像感測器可能是有用的，但是應當理解，如圖1中所示，存在與包括單獨的成像感測器相關的成本。例如，在行動設備中包括具有兩個單獨的成像感測器的兩個單獨的相機（例如，成像相機102和紅外相機104）使用物理空間並消耗處理資源以及其他成本用於校準。
因此，一些行動設備包括單個成像感測器，其可以用於擷取可見光及/或紅外光。例如，行動設備可以包括RGBIR感測器，以擷取可見波長及/或紅外波長的光並輸出RGB資訊（例如，可見光資料）及/或IR資訊（例如，紅外光資料）。RBGIR感測器可以包括雙帶通濾波器，其具有第一帶，其允許可見光通過該濾波器到達RGBIR感測器，並阻止紅外光到達RGBIR感測器（或RGBIR感測器的至少一部分）。雙帶通濾波器還包括第二帶，其允許紅外光通過濾波器到達RGBIR感測器，並阻止可見光到達RGBIR感測器（或RGBIR感測器的至少一部分）。在一些示例中，第二帶可以允許相對窄範圍的紅外波長通過。因此，可以使用單個成像感測器來擷取可見光和紅外波長的圖像資料，例如，產生RGB圖像和紅外圖像。然而，如下所述，在一些示例中，雙帶通濾波器的一個或兩個帶可能允許原本應被相應的帶阻擋的某些光通過濾波器並到達RGBIR感測器，從而沾染（或污染）RGBIR感測器輸出的某些RGB資訊及/或IR資訊。
圖3A圖示用於擷取可見光波長的示例成像感測器300。在圖3A所示的示例中，成像感測器300包括像素陣列302，其包括複數個成像像素304。根據與各個像素相關聯的濾色器，將成像像素304佈置成圖案。如本文中所用，基於與成像像素相關聯的各個濾色器，成像像素可以被稱為彩色成像像素。例如，「紅色」型成像像素（或「紅色」成像像素）可以是與允許紅色光通過的紅色濾色器相關聯的成像像素。在一些示例中，濾色器可以佈置成陣列（例如，濾色器陣列），並且其中像素陣列302的像素與濾色器陣列的相應濾色器相關聯。成像像素304可以被稱為紅色、綠色和藍色（分別在圖3A中為R、G和B）型的成像像素304及以拜耳模式佈置的它們的相應濾色器。在其他示例中，成像像素304可以按青色、黃色、綠色和品紅的模式（例如，與像素陣列302的像素相關聯的濾色器可以以青色、黃色、綠色和品紅的圖案佈置）；紅色、綠色、藍色和翠綠模式（例如，與像素陣列302的像素相關聯的濾色器可以按紅色、綠色、藍色和翠綠圖案佈置）；青色、品紅、黃色和白色模式（例如，與像素陣列302的像素相關聯的濾色器可以按青色、品紅、黃色和白色圖案佈置）；紅色、綠色、藍色和白色圖案（例如，與像素陣列302的像素相關聯的濾色器可以按紅色、綠色、藍色和白色圖案佈置）；或者與用於為每個成像像素304內插一組紅色、綠色和藍色值的解馬賽克演算法相對應的其他適當圖案來佈置。儘管為了便於查看，圖3A圖示具有四個感測元件（例如，像素）的成像感測器300，但是應當理解，成像感測器300可以具有數百萬個感測元件（例如，像素）。
然而，應當理解，雖然成像像素與收集RGB資訊相關聯，但是在一些示例中，成像像素還可以收集紅外資訊。例如，如果阻止了可見光波長到達成像感測器的像素，則由像素基於到達成像感測器的像素的光而產生的資訊可以對應於紅外資訊。因此，應當理解，儘管RGB感測器300的成像像素304可以被配置為基於例如與相應像素相關聯的濾色器來產生RGB資訊，但是在一些示例中，成像像素304可以產生紅外圖像。
圖3B圖示用於擷取可見光波長和紅外光波長的示例成像感測器350。在圖3B所示的示例中，成像感測器350包括像素陣列352，其包括複數個成像像素354（例如，與濾色器相關聯的像素）和複數個紅外像素356（例如，與紅外濾波器相關聯的像素）。如本文所用，當相應像素與濾色器相關聯以促進收集與相應可見光顏色相關聯的資訊時，像素陣列352的像素可以被稱為「成像像素」。例如，紅色成像像素是像素陣列352的與紅色像素相關聯的像素，並且被配置為產生紅色可見光資訊。如本文所使用的，當相應像素與被配置為允許紅外（或近紅外）光到達相應像素的濾波器相關聯時，像素陣列352的像素可以被稱為「紅外像素」。例如，紅外像素是像素陣列352的像素，該像素陣列與允許紅外光通過該濾波器並且阻擋（或試圖阻擋）可見光通過該濾波器的濾波器（例如，雙帶通濾波器的帶）相關聯。像素354、356根據它們的波長區域按圖案佈置。成像像素354可以是與紅外像素356一起按圖案佈置的紅色、綠色和藍色（分別在圖3B中為R、G和B）型成像像素354。然而，應當理解，另外的或替代的示例可以使用其他圖案來佈置成像像素354和紅外像素356。儘管為了便於觀看，圖3B圖示具有十六個感測元件（例如，以4×4圖案的像素）的成像感測器350，但是應當理解，成像感測器350可以具有數百萬個感測元件。
如本文所用，紅外是指從大約800 nm到900 nm（奈米）的波長範圍的電磁光譜。然而應當理解，紅外（或近紅外）可以指的是從750 nm和800 nm的波長到大約2500 nm的波長的區域。如本文所用，RGB圖像資料的紅色、綠色和藍色通道是指大致跟隨人眼中的顏色受體的波長範圍。雖然通常沒有定義確切的開始和結束波長，其中所述開始和結束波長定義了可見光（或紅外光）的顏色，但是應該理解，通常將範圍在750 nm至380 nm之間的波長視為「可見」光譜。例如，RGB圖像的紅色通道可以包括從大約625 nm到740 nm的波長。RGB圖像的綠色通道可以包括從大約520 nm至565 nm的波長。RGB圖像的藍色通道可以包括從大約430nm至500nm的波長。
圖4圖示示例圖400，其圖示了相對於波長（nm）的可見光402和紅外光404的區域。
圖5圖示示例圖500，其圖示了多少光可以在不同的波長下通過RGBIR感測器的雙帶通濾波器。例如，圖500圖示與允許可見光通過雙帶通濾波器到達RGBIR感測器的區域相對應的可見光區域502，以及與允許紅外光通過雙帶通濾波器到達RGBIR感測器的區域相對應的紅外光區域504。
但是如圖4和圖5中所示，應當理解，在一些示例中，RGBIR感測器的RGB成像像素可以收集紅外信號。在一些示例中，可能難以決定例如藍色通道的多少能量來自RGBIR感測器的藍色像素，並且藍色通道的多少能量來自紅外像素。在一些此類示例中，由RGBIR感測器產生的RGB圖像中的顏色可能被紅外信號「污染」，從而導致RGB圖像在再現場景顏色的準確性比由RBG感測器產生的RGB圖像要低。
本文揭露的示例技術描述了一種圖像擷取裝置，其包括用於在擷取圖像時選擇紅外濾光器的機械紅外截止開關。如本文中所用，紅外濾光器是阻擋紅外光通過光學系統的透射同時允許可見光通過光學系統的濾波器。例如，紅外濾光器（有時稱為「紅外截止濾波器」）可以位於（諸如在行動設備中）圖像擷取裝置的光學系統的透鏡和RGBIR感測器之間。紅外濾光器可以經由致動器來控制，其可以使紅外濾光器在第一位置和第二位置之間移動。例如，當致動器將紅外濾光器位於第一位置（或「啟動」位置）時，紅外濾光器可允許紅外光通過光學系統並到達RGBIR感測器。當紅外濾光器位於第二位置（或「停用」位置）時，紅外濾光器可以濾除（或阻擋）來自光學系統的紅外光，並從而防止紅外光到達RGBIR感測器。由於紅外濾光器可以在第一位置和第二位置之間移動，因此應當理解，紅外濾光器可以用作機械快門。儘管以上描述提供了其中紅外光濾光器在允許可見光通過光學系統的同時阻止紅外光通過光學系統的透射的示例，但是應當理解，在其他示例中，紅外濾光器允許紅外光的透射通過光學系統，同時阻擋可見光通過光學系統。
在一些示例中，圖像擷取裝置可以基於致使產生圖像的應用類型（或示例用途）來選擇紅外濾光器的位置。例如，當顏色有益於圖像時（例如，當顏色敏感的應用致使產生RGB圖像時），圖像擷取裝置可以定位紅外濾光器以濾除來自光學系統的紅外光（例如，使紅外濾光器位於第二位置（或停用位置））。在紅外信號可能有益於圖像的其他示例中（例如，當使用深度資訊的顏色不可知的應用時），圖像擷取裝置可以定位紅外濾光器以允許紅外光通過光學系統（例如，紅外濾光器位於第一位置（或啟動位置））。
在一些示例中，收集可見光和收集紅外光可能是有益的。在一些此類示例中，揭露的技術可以執行多訊框融合以渲染RGB圖像和紅外圖像。例如，使用RGBIR感測器產生視訊或動畫的應用可能會收集可見光。在一些此類示例中，圖像擷取裝置可以組合兩訊框或更多訊框的RGB圖像以產生全解析度的視訊或動畫。在應用使用RGBIR感測器執行生物特徵認證（例如，臉孔辨識、虹膜辨識等）的其他示例中，圖像擷取裝置可以促進收集紅外光並結合兩訊框或更多訊框紅外圖像來執行生物特徵認證。
應當理解，在一些示例中，當紅外濾光器定位為阻擋紅外光通過光學系統時（例如，當紅外濾光器處於停用位置時），RGBIR感測器的紅外像素將不會提供RGB資料。在一些此類示例中，圖像擷取裝置可以在紅外像素的位置處執行RGB內插以產生全解析度RGB圖像。此外，應當理解，當紅外濾光器定位為允許紅外光通過光學系統時（例如，當紅外濾光器處於停用位置時），RGBIR感測器的相應像素收集相應資料（例如，RGBIR感測器的成像像素可以收集可見光資料，而RGBIR感測器的紅外像素可以收集紅外光資料）。在一些此類示例中，圖像擷取裝置可以使用由RGBIR感測器的紅外像素收集的紅外光資料，然後執行放大以產生全解析度紅外圖像。例如，對於圖3B的示例4x4成像感測器350，圖像擷取裝置可以首先基於由四個紅外像素356提供的紅外光資料來產生四分之一尺寸的紅外圖像，然後使用四分之一尺寸的紅外圖像和全解析度RGB圖像來執行放大以產生全解析度紅外圖像。例如，圖像擷取裝置可以將四分之一尺寸的紅外圖像的點與全解析度的RGB圖像的點對準，以產生全解析度的紅外圖像。圖像擷取裝置還可例如經由基於例如全解析度RGB圖像中的顏色變化以辨識全解析度紅外圖像的邊緣和其他部分來增強及/或校正全解析度紅外圖像的邊緣，從而使用全解析度RGB圖像來放大全解析度紅外圖像。
在一些示例中，圖像擷取裝置可以包括至少兩個濾光器。例如，圖像擷取裝置可以包括紅外濾光器和可見光濾光器。在一些此類示例中，兩個濾光器都可以位於圖像擷取裝置的光學系統內，並且可以在允許一些光通過光學系統和阻擋一些光通過光學系統的相應位置之間移動。例如，當紅外濾光器處於啟動位置（或第一位置）時，紅外濾光器可允許紅外光通過光學系統並阻止可見光通過光學系統。當紅外濾光器處於停用位置（或第二位置）時，紅外濾光器可以阻擋紅外光通過光學系統，並允許可見光通過光學系統。類似地，當可見光濾光器處於啟動位置（或第三位置）時，可見光濾光器可允許可見光通過光學系統並阻擋紅外光通過光學系統。當可見光濾光器處於停用位置（或第四位置）時，可見光濾光器可以阻擋可見光通過光學系統，並允許紅外光通過光學系統。
在其中圖像擷取裝置包括至少兩個濾光器（例如，紅外光濾光器和可見光濾光器）的一些此類示例中，圖像擷取裝置可以定位紅外光濾光器和可見光濾光器以產生相應的紅外圖像和RGB圖像。例如，當擷取RGB圖像可能是有益的時，圖像擷取裝置可以將可見光濾光器移動到啟動位置（例如，允許可見光通過光學系統），然後將紅外光濾光器移動到停用位置（例如，阻止紅外光通過光學系統）。在當擷取紅外圖像可能是有益的時的示例中，圖像擷取裝置可以將可見光濾光器移動到停用位置（例如，以阻止可見光通過光學系統），並將紅外光濾光器移動到啟動位置（例如，允許紅外光通過光學系統）。
應當理解，當圖像擷取裝置包括兩個濾光器（例如，可見光濾光器和紅外濾光器）時，成像感測器可以是RGB感測器（如圖3A中所示）或RGBIR感測器（如圖3B中所示）。例如，RGB感測器的成像像素可以收集紅外光。在一些此類示例中，圖像擷取裝置可以產生全解析度RGB圖像和全解析度紅外圖像。如本文所用，全解析度圖像是使用從成像感測器的所有像素收集的資訊來產生圖像的圖像。例如，對於4x4 RGB感測器，當RGB感測器的十六個像素產生可見光資料並且所產生的可見光資料用於產生RGB圖像時，圖像擷取裝置可以產生全解析度RGB圖像。類似地，當RGB感測器的十六個像素產生紅外光資料並且所產生的紅外光資料用於產生紅外圖像時，圖像擷取裝置可以產生全解析度紅外圖像。
圖6是示例圖像擷取裝置600的方塊圖。示例圖像擷取裝置600包括至少一個處理器602以促進擷取圖像。在圖6所示的示例中，處理器602與記憶體604、儲存裝置606、顯示器608、輸入裝置610、光學系統612和致動器620通訊。
儘管圖6的示例圖像擷取裝置600圖示用於實現處理器602、記憶體604和儲存裝置606的單獨的組件，但是應當理解，在其他示例中，處理器602、記憶體604及/或儲存裝置606中的一或多個可以以多種方式進行組合。例如，記憶體604及/或儲存裝置606可以與片上系統（SOC）中的處理器602組合。
圖像擷取裝置600可以是能夠執行成像和非成像應用的專用相機或多功能設備。例如，圖像擷取裝置600可以是可攜式個人計算設備，諸如蜂巢式電話、智慧型電話、筆記型電腦、個人數位助理（PDA）、多媒體設備、視訊設備、相機、遊戲控制台、平板電腦、智慧設備、可穿戴設備、車輛、自動駕駛車輛、醫療保健設備、機器人等。在一些示例中，圖像擷取裝置600可以包括用作程式和處理器602之間的仲介的作業系統。在一些示例中，作業系統可以包括用於管理諸如圖像擷取裝置600的硬體資源的裝置驅動程式。
應當理解，圖像擷取裝置600可以包括一或多個附加的光學元件，其安裝在圖像擷取裝置600的殼體內部及/或定位在殼體或光學系統612上。例如，附加的光學元件可以包括：運動感測器（例如，加速度計、陀螺儀等）、光圈、快門、反射鏡、濾波器、塗層等。
處理器602可以包括多個處理器，諸如通用處理器及/或圖像信號處理器（ISP）。在一些示例中，處理器602可以包括執行圖像信號處理、多訊框融合和其他操作的單個中央處理單元。處理器602可以包括一或多個專用處理器或在通用處理器上程式化的軟體實現。在一些示例中，處理器602可以在專用積體電路（ASIC）或可程式化閘陣列（PGA）中實現。
在一些示例中，處理器602促進控制圖像擷取功能，諸如自動對焦、自動白平衡及/或自動曝光。在一些示例中，處理器602還可以促進執行後處理功能，諸如深度映射及/或散景效果。在一些示例中，處理器602還可以促進執行裁剪、縮放（例如，至不同的解析度）、圖像拼接、圖像格式轉換、顏色內插、顏色處理、圖像過濾濾波（例如，空間圖像濾波）、透鏡偽影或缺陷校正、銳化等。
在圖6所示的示例中，處理器602與記憶體604通訊，其可以包括用於儲存指令的指令記憶體和工作記憶體。示例記憶體604可以包括配置處理器602以執行各種影像處理和設備管理任務的各種元件。在一些示例中，記憶體604可以包括用於特定類型的操作或資料的專用記憶體元件。例如，記憶體604可以包括包含快閃記憶體的指令記憶體和包含動態隨機存取記憶體（DRAM）的工作記憶體。
示例處理器602可以將資料寫入儲存裝置606。該資料可以包括表示擷取的圖像的資料、在融合期間產生的資料及/或元資料（例如，可交換影像檔格式（EXIF）資料）。示例儲存裝置606可以被配置為任何類型的電腦可讀取媒體。例如，儲存裝置606可以包括諸如硬碟（HDD）、光碟機或磁光碟機的磁碟機，或者諸如快閃記憶體、隨機存取記憶體（RAM）、唯讀記憶體（ROM）及/或電子可抹除可程式化ROM（EEPROM）的固態記憶體。示例儲存裝置606可以另外地或替代地包括多個儲存單元。
如本文所用，術語電腦可讀取媒體被明確地定義為包括任何類型的電腦可讀儲存裝置及/或儲存碟，並且排除傳播信號並且排除傳輸媒體。如本文所用，「電腦可讀取媒體」、「機器可讀取媒體」、「電腦可讀記憶體」和「機器可讀記憶體」可互換地使用。
在圖6所示的示例中，處理器602可以配置為控制顯示器608向使用者顯示擷取的圖像或擷取的圖像的預覽。示例顯示器608可以在圖像擷取裝置600的外部或者可以是圖像擷取裝置600的一部分。在一些示例中，顯示器608可以配置為在擷取圖像之前提供顯示預覽圖像的取景器。示例顯示器608可以包括液晶顯示器（LCD）、發光二極體（LED）或有機發光二極體（OLED）螢幕，並且可以是觸敏的並且用作輸入裝置。在一些示例中，圖像擷取裝置600可以另外地或替代地包括輸入610，諸如按鈕、操縱桿等。
在圖6所示的示例中，處理器602與光學系統612通訊。圖6的示例光學系統612包括透鏡614、成像感測器616和機械濾波器618。透鏡614可以促進將入射光對焦到成像感測器616的像素上。應該理解，透鏡614可以包括任何數量的光學元件。
示例成像感測器616可以是互補金屬氧化物半導體（CMOS）成像感測器或電荷耦合裝置（CCD）感測器。圖6的示例成像感測器616可以包括用於擷取可見光資料的複數個成像像素。在一些示例中，成像感測器616可以包括成像像素354和紅外像素356，諸如圖3B的示例成像感測器350。在一些示例中，成像感測器616可以包括成像像素304，諸如圖3A的示例成像感測器300。圖6的示例成像感測器616可以基於由成像感測器616收集的可見光來產生可見光資料622。示例成像感測器616可以基於由成像感測器616收集的紅外光來另外地或替代地產生紅外光資料624。
在圖6所示的示例中，光學系統612包括配置為在第一位置（例如，啟動位置）和第二位置（例如，停用位置）之間移動的機械濾波器618。如圖6中所示，處理器602與致動器620通訊，致動器620可以調節機械濾波器618的位置。致動器620可以是可以由處理器602控制的開關、電機等，並且促進機械濾波器618的移動。
在一些示例中，機械濾波器618包括可在第一位置（例如，啟動位置）和第二位置（例如，停用位置）之間移動的紅外濾光器。例如，圖7A圖示光學系統700的前視圖，其包括處於啟動位置710（或允許紅外光通過光學系統700的第一位置）的機械濾波器702。圖7B圖示光學系統700的前視圖，其包括處於停用位置720（或阻止紅外光通過光學系統700的第二位置）的機械濾波器702。應當理解，光學系統700的各態樣可以由圖6的光學系統612實現。示例光學系統700還包括透鏡704和成像感測器706。在所示的示例中，機械濾波器702位於透鏡704和成像感測器706之間。
在圖7A和圖7B所示的示例中，機械濾波器702包括可在第一位置710和第二位置720之間移動的機械紅外濾光器。紅外濾光器可以是玻璃（或其它材料，諸如染料），其被配置為阻擋紅外光通過光學系統700的透射並且允許可見光通過光學系統700。例如，當紅外濾光器702位於成像感測器706前面（例如，經由圖6的致動器620）處於第二位置720（如圖7B中所示）時，紅外濾光器702可以配置成濾除（或阻止）紅外光到達成像感測器706，並且允許可見光到達成像感測器706。因此，成像感測器706的成像像素（例如，圖3B的示例成像像素354）可以收集可見光並產生可見光資料。當紅外濾光器702（例如，經由致動器620）定位於第一位置710（如圖7A所示）時，紅外濾光器702在到達成像感測器706之前不會濾除紅外光（例如，紅外光被允許到達成像感測器706）。因此，成像感測器706的成像像素（例如，示例成像像素354）可以收集可見光並產生可見光資料，並且成像感測器706的紅外像素（例如，圖3B的示例紅外像素356））可以收集紅外光並產生紅外光資料。
例如，圖8圖示其中在光學系統（諸如圖7A和圖7B的示例光學系統700）處接收至少包括可見光和紅外光的光802的示例。
在圖8所示的示例中，第一序列810圖示第一光資料812的產生，其用於由諸如圖3B的示例RGBIR感測器350的成像感測器來產生RGB圖像。在圖8所示的示例中，第一序列810對應於位於第二位置720（如圖7B中所示）的機械濾波器702。例如，紅外濾光器702可以定位成阻擋紅外光到達RGBIR感測器350，並允許可見光通過光學系統並到達RGBIR感測器350。如圖8中所示，第一光資料812由RGBIR感測器350的成像像素354產生，因此第一光資料812包括可見光資料。在示出的示例中，RGBIR感測器350的紅外像素356可以不產生紅外光資料，因此第一光資料812可以不包括紅外光資料。應當理解，在一些示例中，紅外像素356可以提供在例如由圖6的處理器602的處理期間丟棄的一些光資料（例如，可見光資料或紅外光資料）。
在圖8所示的示例中，第二序列820圖示由圖3B的示例RGBIR感測器350產生的用於產生紅外圖像的第二光資料822。在圖8所示的示例中，第二序列820對應於位於第一位置710（如圖7A中所示）的機械濾波器702。例如，機械濾波器702的定位可以允許可見光和紅外光到達RGBIR感測器350。如圖8中所示，RGBIR感測器350的成像像素354可以產生第二光資料822的可見光資料，並且RGBIR感測器350的紅外像素356可以產生第二光資料822的紅外光資料。
如圖8中所示，經由第一序列810產生的第一光資料812（例如，當機械濾波器702處於第二位置時）包括可能不提供可見光資料的像素。例如，紅外像素356可以不產生可見光資料或可以提供被丟棄的可見光資料。因此，應當理解，第一光資料812可能不促進產生全解析度RGB圖像。此外，經由第二序列820產生的第二光資料822（例如，當機械濾波器702處於第一位置時）包括提供可見光資料和紅外光資料的像素。例如，成像像素354可以產生可見光資料，而紅外像素356可以產生紅外光資料。然而，應當理解，第二光資料822可能不促進產生全解析度紅外圖像。
圖9圖示用於基於圖8的第一光資料812和第二光資料822產生全解析度RGB圖像和產生全解析度紅外圖像的示例方法的示例流程圖900。該方法可以由諸如圖6的示例圖像擷取裝置600的裝置及/或諸如圖6的示例處理器602的該裝置的元件執行。
在902處，裝置可以接收第一光資料812。例如，當機械濾波器702位於第二位置720（例如，停用位置）以在到達圖7的成像感測器706之前濾出（或阻擋）紅外光時，裝置可以接收第一光資料812。
在904處，該裝置可以使用第一光資料812執行RGB內插，以決定不提供可見光資料的像素（例如，RGBIR感測器350的紅外像素356）的可見光資料。例如，該裝置可以使用由與紅外像素356相鄰的成像像素354提供的可見光資料來計算紅外像素356的可見光資料。該裝置可以組合由成像像素354提供的可見光資料和用於紅外像素356的計算可見光資料，以產生用於產生全解析度RGB圖像的全解析度可見光資料。
在906處，裝置可以接收第二光資料822。例如，當機械濾波器702位於第一位置710（例如，啟動位置）以允許可見光和紅外光到達圖7的成像感測器706時，裝置可以接收第二光資料822。
在908處，該裝置可以使用第二光資料822的紅外光資料來產生低解析度紅外光資料。例如，該裝置可以使用由紅外像素356提供的紅外光資料，並丟棄由RGBIR感測器350的成像像素354提供的可見光資料。在圖9所示的示例中，由十六個像素354、356中的四個紅外像素356提供紅外光資料，因此低解析度紅外光資料對應於四分之一尺寸的紅外光資料。
在910處，該裝置可以執行低解析度紅外光資料的引導上採樣（或放大）以產生全解析度紅外光資料。例如，該裝置可以使用全解析度可見光資料來執行引導上採樣並產生全解析度紅外光資料。在一些示例中，該裝置可以經由比較全解析度可見光資料和低解析度紅外光資料的點以及將全解析度可見光資料的點與低解析度紅外光資料的對應部分對準來執行引導上採樣。因此，可以基於全解析度可見光資料和低解析度紅外光資料來建立全解析度紅外光資料。此外，該裝置可以例如經由使用全解析度可見光資料來增強及/或校正全解析度紅外光資料的邊緣來上採樣全解析度紅外光資料。例如，全解析度可見光資料的顏色可以用於決定全解析度紅外光資料的一部分的邊緣和其他部分的開始。用於執行引導上採樣的示例技術包括引導雙邊技術和引導濾波技術。
應當理解，該裝置可以使用全解析度可見光資料來渲染全解析度RGB圖像，並且該裝置可以使用全解析度紅外光資料來渲染全解析度紅外圖像。
返回圖6的圖像擷取裝置600，在一些示例中，機械濾波器618可以包括可在第一位置和第二位置之間移動的紅外光濾光器和可在第三位置和第四位置之間移動的可見光濾光器。例如，圖10A圖示位於第一位置1010的機械濾波器1002，包括紅外濾光器1002a和可見光濾光器1002b。圖10B圖示包括位於第二位置1020的機械濾波器1002的光學系統1000。應當理解，光學系統1000的各態樣可以由圖6的光學系統612實現。示例光學系統1000還可以包括透鏡1004和成像感測器1006。在所示示例中，機械濾波器1002位於透鏡1004和成像感測器1006之間。
在圖10A和圖10B所示的示例中，當機械濾波器1002處於第一位置1010（如圖10A中所示）時，紅外濾光器1002a處於啟動位置（或第一位置）以允許紅外光通過成像感測器1006，並且可見光濾光器1002b處於停用位置（或第四位置）以阻止可見光通過到達成像感測器1006。當機械濾波器1002處於第二位置1020時（如圖10B中所示），紅外濾光器1002a處於停用位置（或第二位置），以阻止紅外光通過到達成像感測器1006，並且可見光濾光器1002b處於啟動位置（或第三位置）以允許可見光通過到達成像感測器1006。經由允許可見波長的光到達成像感測器1006，與成像感測器1006的相應成像像素相關聯的濾色器隨後可以產生RGB資訊。
在圖10A和圖10B所示的示例中，機械濾波器1002包括紅外濾光器1002a和可見光濾光器1002b，它們可各自在相應的啟動位置和停用位置之間移動。紅外濾光器1002a可以是玻璃，其配置為阻擋紅外光通過光學系統1000的透射，並且允許可見光通過光學系統1000（例如，紅外濾光器1002a可以配置為阻擋位於紅外波長的光並允許可見波長的光）。可見光濾光器1002b可以是玻璃，其配置為阻擋可見光通過光學系統1000的透射，並且允許紅外光通過光學系統1000（例如，可見光濾光器1002b可以配置為阻擋可見波長的光並允許紅外波長的光）。然而應當理解，任何其他合適的材料，諸如染料、凝膠等，可以用於濾波器1002，其配置為允許某些部分的光通過並阻擋其他部分的光。
在圖10A和圖10B所示的示例中，機械濾波器1002配置為使得紅外濾光器1002a或可見光濾光器1002b中的至少一個位於成像感測器1006的前方（例如，處於停用位置以阻擋一部分光）。應當理解，當濾波器位於成像感測器1006的前方時，相應濾波器可以被稱為處於「開啟位置」，而當濾波器沒有位於成像感測器1006的前方時，則相應濾波器可以被稱為處於「關閉位置」。應當理解，其他示例可以在處於開啟位置和處於關閉位置時使用另外的或替代的技術來佈置機械濾波器1002的濾波器1002a、1002b。
例如，在圖10A中，可見光濾光器1002b位於成像感測器1006的前方（例如，處於停用位置或第四位置）並且紅外濾光器1002a位於成像感測器1006的側面（例如，處於啟動位置或第一位置）。即，在圖10A的示例中，可見光濾光器1002b處於「開啟位置」，而紅外濾光器1002a處於「關閉位置」。在圖10B中，紅外濾光器1002a位於成像感測器1006的前方（例如，處於啟動位置或第二位置）並且可見光濾光器1002a位於成像感測器1006的側面（例如，處於停用位置或第三位置）。即，在圖10B的示例中，紅外濾光器1002a處於「開啟位置」，可見光濾光器1002b處於「關閉位置」。
如前述，在一些示例中，成像感測器的成像像素可以擷取可見光並且還可以擷取紅外光。例如，雖然圖3A的RGB感測器300包括配置為擷取可見光的成像像素304，但是成像像素304也可以配置為擷取紅外光。例如，如果濾光器阻止可見光到達成像感測器的像素（並允許紅外光到達成像感測器的像素），則相應像素可能無法產生RGB資料，但可能能夠產生紅外資料。因此，當紅外濾光器1002a處於開啟位置時（如圖10B中所示），紅外濾光器1002a定位成阻擋紅外光到達成像感測器1006並且允許可見光到達成像感測器1006。因此，成像感測器1006的像素可以配置為擷取可見光並產生可見光資料。此外，當可見光濾光器1002b處於開啟位置時（如圖10A中所示），可見光濾光器1002b定位成阻擋可見光到達成像感測器1006並且允許紅外光到達成像感測器1006。因此，成像感測器1006的成像像素可以配置為擷取紅外光並產生紅外光資料。儘管以上描述提供了示例，其中成像感測器是圖3A的RGB感測器300，但是應當理解在其他示例中，成像感測器可以是圖3B的RGBIR感測器350。
例如，圖11圖示示例，其中在光學系統（諸如圖10A和圖10B的示例光學系統1000）處接收至少包括可見光和紅外光的光1102。儘管以下描述可以集中於包括RGB感測器的光學系統1000，但是應當理解在其他示例中，本文所述的概念可以適用於包括RGBIR感測器的光學系統。
在圖11所示的示例中，第一序列1110圖示第一光資料1112的產生，其用於由諸如圖3A的示例RGB感測器300的成像感測器產生RGB圖像。在圖11所示的示例中，第一序列1110對應於位於第二位置1020中的機械濾波器1002（如圖10B中所示）。例如，紅外濾光器1002a可以處於開啟位置（例如，停用位置），並且配置為阻擋紅外光到達RGB感測器300，並允許可見光通過光學系統並到達RGB感測器300。在一些此類示例中，可見光濾光器1002b可以處於關閉位置（例如，啟動位置），因此可以不影響光（例如，可見光及/或紅外光）到達RGB感測器300。
如圖11中所示，第一光資料1112由RGB感測器300的成像像素304產生，因此第一光資料1112包括可見光資料。應當理解在所示的示例中，RGB感測器300可以產生可以由例如圖6的處理器602使用的全解析度可見光資料來渲染全解析度RGB圖像。
在圖11所示的示例中，第二序列1120圖示由圖3A的示例RGB感測器300產生的用於產生紅外圖像的第二光資料1122。在圖11所示的示例中，第二序列1120對應於位於第一位置1010中的機械濾波器1002（如圖10A中所示）。例如，可見光濾光器1002b可以處於開啟位置（例如，停用位置），並且配置為阻擋可見光到達RGB感測器300，並允許紅外光通過光學系統並到達RGB感測器300。在一些此類示例中，紅外濾光器1002a可以處於關閉位置（例如，啟動位置），因此可以不影響光（例如，可見光及/或紅外光）到達RGB感測器300。
如圖11中所示，第二光資料1122由能夠擷取紅外光的RGB感測器300的成像像素304產生。如前述，在一些示例中，成像像素可能能夠產生紅外資訊。例如，當來自可見光波長的光被阻止到達RGB感測器時，成像像素可以將在成像像素處接收的非可見光波長的光轉換為與紅外資訊相對應的資訊。因此，第二光資料1112包括由成像像素304擷取的紅外光資料。應該理解，在所示的示例中，RGB感測器300可以產生可以由例如圖6的處理器602使用的全解析度紅外光資料來渲染全解析度紅外圖像。
如所示的示例中所示，在機械濾波器中包括紅外濾光器和可見光濾光器可能是有益的。例如，經由包括紅外光濾光器和可見光濾光器，可以在不執行內插及/或上採樣的情況下渲染相應的全解析度圖像，如以上結合圖7至圖9所揭示的。然而應當理解，包括紅外濾光器和可見光濾光器可能導致另外的或替代的成本，諸如包括兩個濾波器的成本、包括兩個可移動濾波器的成本、用於決定將相應濾波器移動到哪個位置的處理資源等。
返回圖6的圖像擷取裝置600，在一些示例中，處理器602可以配置為執行融合以將可見光資料與紅外光資料組合在一起。例如，對於在渲染圖像時（諸如在執行3D渲染、提供散景效果等時）可以使用深度資訊的應用程式，處理器602可以將來自一或多個訊框的可見光資料與來自一或多個訊框的紅外光資料進行組合，以產生例如具有深度資訊的RGB圖像。
圖12圖示用於產生具有深度資訊的RGB圖像的示例方法的示例等時線1200。該方法可以由諸如圖6的示例圖像擷取裝置600及/或諸如圖6的示例處理器602的該裝置的元件的裝置執行。在圖12所示的示例中，該裝置包括單個濾波器（例如，紅外濾光器），諸如圖7的示例光學系統700包括紅外濾光器702。然而應當理解，以下概念可以應用於包括兩個濾光器（例如，紅外濾光器和可見光濾光器）的裝置，諸如圖10的示例光學系統1000。
在1202處，該裝置可以利用處於關閉位置（例如，如圖7A中所示的啟動位置）的紅外濾光器來收集光資料。例如，該裝置可以接收包括可見光資料和紅外光資料（例如，RGBIR訊框）的第二光資料822。
在1204處，該裝置可以觸發紅外截止過濾開關。例如，該裝置可以使紅外濾光器從關閉位置（例如，圖7A的啟動位置710）移動到開啟位置（例如，圖7B的停用位置720）。
在1206處，該裝置可以利用處於開啟位置（例如，如圖7B中所示的停用位置）的紅外濾光器來收集光資料。例如，該裝置可以接收第一光資料812，其包括可見光資料，並且與紅外濾光器處於關閉位置相比不包括紅外光資料或相對較少的紅外光資料（或可以丟棄的紅外光資料）（例如，RGB訊框）。
在1208處，該裝置可以使用第二光資料822和第一光資料812執行光資料的融合以渲染包括深度資訊的RGB圖像。例如，該裝置可以將第一光資料812的可見光資料與第二光資料822的紅外光資料組合以渲染包括深度資訊的RGB圖像。在一些示例中，為了渲染包括深度資訊的RGB圖像，該裝置可以將第一光資料812和第二光資料822的幾何形狀對準。例如，該裝置可以將第一光資料812的點與第二光資料822相應的點對準。因此，該裝置可以使用第二光資料822的紅外光資料向與第一光資料812的可見光資料相對應的RGB圖像提供深度資訊。
在一些示例中，在執行融合之前，裝置可以處理光資料812、822以產生全解析度光資料。例如，如以上結合圖9所述，該裝置可以執行內插以產生全解析度的可見光資料，並且可以執行引導上採樣以產生全解析度的紅外光資料。
在一些示例中，該裝置可以在執行融合之前組合來自兩個或更多個訊框的可見光資料。例如，該裝置可以在RGB串流模式下操作，其中對於一系列連續的RGB訊框（例如，圖12所示的示例中的訊框n至訊框1），紅外濾光器處於開啟位置。在一些此類示例中，該裝置可以擷取一系列連續的RGB訊框的可見光資料，然後將兩個或更多個RGB訊框組合成組合的RGB訊框。在一些示例中，該裝置可以選擇性地組合兩個或更多個RGB訊框。例如，該裝置可以基於諸如清晰度或對比度之類的圖像品質度量從一系列連續的RGB訊框中選擇基本訊框、將來自一系列連續的RGB訊框中的一或多個其他RGB訊框的可見光資料與基本訊框對準，然後將兩個或多個RGB訊框（例如，基本訊框和一或多個其他RGB訊框）組合在一起，以產生具有更高細節水平的組合RGB訊框。
返回到圖6的圖像擷取裝置600，在一些示例中，處理器602可以配置為選擇機械濾波器618的位置及/或保持機械濾波器618的位置的歷時（例如，持續時間）。在一些示例中，處理器602可以基於使圖像擷取裝置600產生（或渲染）圖像（例如，回應於圖像擷取觸發）的應用程式的類型來選擇機械濾波器618的位置。應當理解，圖像擷取觸發可以在執行時間期間經由應用程式接收，或者可以經由使用者介面間接接收。此外，在一些示例中，機械濾波器618的位置可以由使用者請求（例如，可以經由使用者介面請求）。例如，使用者可以經由使用使用者介面選擇位置來請求機械濾波器618處於該位置。
在一些示例中，使圖像擷取裝置600產生圖像的應用的類型可以是顏色敏感應用程（例如，顏色敏感應用類型的應用）。例如，當產生RGB圖像或RGB視訊時，良好的色彩還原可能是有益的。在一些此類示例中，處理器602可以使致動器620定位機械濾波器618，從而將紅外濾光器定位在開啟位置。在一些此類示例中，圖像擷取裝置600可以收集可見光資料的一系列連續的RGB訊框（例如，一或多個RGB訊框），其中紅外濾光器定位成阻擋紅外光通過光學系統612到達成像感測器616。示例處理器602然後可以處理收集的可見光資料以產生全解析度可見光資料來渲染全解析度RGB圖像。
在一些示例中，致使圖像擷取裝置600產生圖像的應用類型可以是顏色不可知應用（例如顏色不可知應用類型的應用）。例如，當在其中顏色再現可能不是有益的低光環境中產生圖像時，處理器602可以使致動器620定位機械濾波器618，使得紅外濾光器位於關閉位置。在一些此類示例中，圖像擷取裝置600可以收集一訊框或多訊框光資料，包括可見光資料及/或紅外光資料，然後處理收集的光資料以產生用於渲染全解析度紅外圖像的全解析度紅外光資料。
應當理解，在其中機械濾波器618包括紅外濾光器和可見光濾光器（如圖10A和圖10B中所示）的示例中，收集的光資料可以用於產生全解析度可見光資料及/或全解析度紅外光資料，而不用執行內插及/或引導式上採樣。
在一些示例中，處理器602可以回應於圖像擷取觸發使致動器620定位機械濾波器618以收集兩訊框或更多訊框可見光資料。例如，當產生動畫或視訊時，處理器602可以使機械濾波器618處於第二位置（例如，停用位置），以阻止紅外光通過光學系統612並允許可見光通過光學系統612（如圖7B和圖10B中所示）。
在一些示例中，處理器602可以回應於圖像擷取觸發使致動器620定位機械濾波器618以收集兩訊框或更多訊框紅外光資料。例如，當在弱光環境下產生動畫或視訊時，處理器602可以使機械濾波器618處於第一位置（例如，啟動位置）以允許紅外光通過光學系統612（如圖7A中所示），或者允許紅外光通過光學系統612，並阻止可見光通過光學系統612（如圖10A中所示）。
在一些示例中，處理器602可以回應於圖像擷取觸發來組合兩個或更多個訊框以產生組合訊框。例如，處理器602可以組合兩個或更多個RGB訊框以產生具有更高細節水平的組合RGB訊框。
在一些示例中，處理器602可以回應於圖像擷取觸發而將可見光資料與紅外光資料組合。例如，處理器602可以將一或多個RGB訊框與一或多個紅外訊框組合以渲染具有深度資訊的RGB圖像（例如，經由將可見光資料的點與紅外光資料的對應點對準來產生圖像，其組合了來自一或多個RGB訊框的可見光資料和來自一或多個紅外訊框的紅外光資料）。在一些此類示例中，處理器602可以使致動器620將機械濾波器618定位在第二位置以收集一或多個RGB訊框的可見光資料，並且使機械濾波器618處於第一位置以收集一或多個紅外訊框的紅外光資料。在一些示例中，處理器602可以使致動器620將機械濾波器618定位在第一位置，然後移動至第二位置，而在其他示例中，處理器602可以使致動器620將機械濾波器618定位在第二位置，然後移動至第一位置。
在一些示例中，處理器602可以使致動器620在第一位置和第二位置之間移動（例如，週期性地移動、不定期地移動或作為一次事件）機械濾波器618。例如，當產生RGB動畫（例如，顏色敏感應用）時，處理器602可以使致動器620將機械濾波器618定位在第二位置（例如，以收集可見光資料，同時阻止紅外光資料通過光學系統612到達成像感測器616）以獲得一系列訊框，並週期性地使致動器620將機械濾波器618定位到第一位置（例如，以收集紅外光資料）以獲得一或多個訊框。例如，處理器602可以使致動器620在第二位置和第一位置之間移動機械濾波器618以收集五個RGB訊框、收集一個紅外訊框、收集五個RGB訊框等。以這種方式，在第二位置收集的訊框的數量（例如，五個RGB訊框）和在第一位置收集的訊框的數量（例如，一個紅外訊框）提供具有週期性深度資訊的有益色彩重現。然而應當理解，在將機械濾波器618從第一位置移動到第二位置之間可以收集任何數量的訊框。
在一些示例中，當在弱光環境下產生動畫（例如，顏色不可知動畫）時，處理器602可以使致動器620將機械濾波器618定位在第一位置（例如，以收集紅外光資料）以獲得一系列訊框，並且週期性地將機械濾波器618定位到第二位置（例如，以收集可見光資料）以獲得一或多個訊框。例如，處理器602可以使致動器620在第二位置和第一位置之間移動機械濾波器618以收集五個紅外訊框、收集一個RGB訊框、收集五個紅外訊框等。以這種方式，在第一位置收集的訊框的數量（例如，五個紅外訊框）和在第二位置收集的訊框的數量（例如，一個RGB訊框）提供顏色不可知動畫（例如，黑白動畫），其中動畫的品質對精確的顏色再現不敏感。
因此，應當理解在一些示例中，當機械濾波器618處於第一位置時收集的訊框的數量（例如，收集的紅外訊框的數量）和當機械濾波器618處於第二位置時收集的訊框的數量（例如，收集的RGB訊框的數量）可以取決於請求產生組合圖像的應用（或用例）的類型。例如，對於其中組合圖像的品質可能對顏色再現的品質敏感的顏色敏感應用，處理器602可以使致動器620將機械濾波器618移動到第二位置以收集更多訊框（例如，RGB訊框），比將機械濾波器618定位在第一位置時（例如，以收集紅外訊框）收集的訊框更多。相反地，對於其中組合圖像的品質可能對顏色再現的品質不敏感的顏色不可知應用，處理器602可以使致動器620將機械濾波器618移動到第一位置以收集更多訊框（例如，紅外訊框），比將機械濾波器618定位在第二位置時（例如，以收集RGB訊框）收集的訊框更多。
返回到圖6的圖像擷取裝置600，在一些示例中，圖像擷取裝置600可以是常開相機。常開相機是指可以以給定的取樣速率連續擷取圖像或始終可用於擷取圖像的相機，其可以在各種應用中使用。應當理解在一些示例中，由常開相機擷取的許多圖像可能幾乎沒有價值。例如，當圖像擷取裝置600在睡眠模式下操作時，由常開相機擷取的圖像可能具有很小的價值或沒有價值。
在一些示例中，當圖像擷取裝置600以睡眠模式操作時，處理器602可以使致動器620將機械濾波器618移動到第一位置以收集紅外訊框。在一些此類示例中，收集的紅外訊框可以是低解析度紅外訊框。例如，如果成像感測器616是圖3B的RGBIR感測器350，則紅外訊框可以是四分之一尺寸的紅外訊框。但是，應當理解在其他示例中，低解析度紅外訊框可以是較低解析度。在一些示例中，可以丟棄收集的低解析度紅外訊框。
在一些示例中，當圖像擷取裝置600偵測到運動時（例如，經由圖像擷取裝置600的諸如加速度計、陀螺儀等的感測器），圖像擷取裝置600可以轉變為收集可見光資料和紅外光資料。例如，處理器602可以使致動器620將機械濾波器618保持在第一位置以收集可見光資料和紅外光資料。在一些示例中，圖像擷取裝置600可以使用可見光資料及/或紅外光資料來例如解鎖設備。例如，基於圖像擷取裝置600採用的不同的使用者認證技術，處理器602可以配置為產生彩色圖像及/或紅外圖像。在一些示例中，處理器602可以產生全解析度彩色圖像及/或全解析度紅外圖像。在一些示例中，處理器602可以產生低解析度彩色圖像（例如，經由不用於與缺失像素（例如，與紅外像素相關聯的成像感測器的像素）相關聯的成像像素的位置產生可見光資料）及/或低解析度紅外圖像（例如，經由丟棄可見光資料並使用四分之一尺寸的紅外圖像）。
在一些示例中，在圖像擷取裝置600被解鎖之後，當圖像擷取裝置600偵測到請求圖像的顏色敏感應用時，處理器602可以使致動器620將機械濾波器從第一位置移動到第二位置以阻止紅外光通過光學系統612並到達成像感測器616。然後圖像擷取裝置600可基於本文揭露的技術產生組合圖像及/或全解析度RGB圖像。
圖13圖示根據本文揭露的一或多個技術的示例方法的示例流程圖1300。該方法可以由諸如圖6的示例圖像擷取裝置600及/或該裝置的元件的裝置執行，諸如圖6的示例處理器602。在圖13所示的示例中，該裝置配置為包括紅外濾光器，諸如圖7A和圖7B的示例光學系統700。可選態樣以虛線示出。
在1302處，該裝置可以使機械紅外濾光器處於第二位置以濾出紅外光，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以使機械濾波器612移動到開啟位置（例如，經由致動器620）以阻擋紅外光通過光學系統612並允許可見光通過光學系統612（如圖7B中所示）。在一些示例中，基於觸發圖像產生的應用的類型，處理器602可以使致動器620將機械濾波器612移動到開啟位置並持續一段時間。例如，對於顏色敏感應用，處理器602可以使機械濾波器612在第二位置處比在第一位置處為相對更長的時間（例如，以收集比紅外訊框相對更多的RGB訊框）。
在1304處，該裝置可以在機械紅外濾光器處於第二位置時接收由成像感測器收集的可見光資料，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以接收第一光資料812，其包括由RGBIR感測器350的成像像素354收集的可見光資料。
在1306處，該裝置可以產生用於與缺失像素相關聯的成像感測器的位置的可見光資料，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以執行內插，以基於經由成像像素354收集的可見光資料來產生用於與紅外像素356相關聯的RGBIR感測器350的位置的可見光資料。
在1308處，該裝置可以基於收集的可見光資料和所產生的可見光資料來產生全解析度彩色圖像，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以將經由成像像素354收集的可見光資料與用於缺失像素產生的可見光資料進行組合，並產生全解析度可見光資料。在一些示例中，該裝置可以組合兩個或更多個全解析度可見光資料訊框以產生組合的全解析度可見光資料。例如，該裝置可以對準全解析度可見光資料的兩個或更多個訊框的對應點，以提高所產生的全解析度彩色圖像的穩健性。
在1310處，該裝置可以使機械紅外濾光器處於第一位置以允許紅外光通過，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以使機械濾波器612移動到關閉位置（例如，經由致動器620）以允許紅外光通過光學系統612（如圖6中所示）。在一些示例中，基於觸發圖像產生的應用的類型，處理器602可以使機械濾波器612移動到關閉位置並持續一段時間。例如，對於顏色不可知應用，處理器602可以使機械濾波器612在第一位置處比在第二位置處相對更長的時間（例如，以收集比RGB訊框相對更多的紅外訊框）。
在1312處，該裝置可以在機械紅外濾光器處於第一位置時接收收集的紅外光資料，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以接收第二光資料822，其包括由成像像素354收集的可見光資料和由紅外像素356收集的紅外光資料。
在1314處，該裝置可以基於紅外光資料產生低解析度紅外光資料，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以丟棄經由成像像素354收集的可見光資料，並使用經由紅外像素356收集的紅外光資料來產生低解析度紅外光資料。
在1316處，該裝置可以經由放大低解析度紅外光資料來產生全解析度紅外圖像，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以使用全解析度可見光資料來執行低解析度紅外光資料的引導上採樣，以產生全解析度紅外光資料。在一些示例中，該裝置可以將全解析度彩色圖像的點與低解析度紅外光資料的對應點對準，以產生全解析度紅外圖像。在一些示例中，該裝置可以例如經由基於例如全解析度彩色圖像中的顏色變化以標識全解析度紅外圖像的邊緣和其他部分來增強及/或校正全解析度紅外圖像的邊緣，從而放大全解析度紅外圖像。
在1318處，該裝置可以基於可見光資料和紅外光資料來產生組合圖像，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以組合一或多個RGB訊框和一或多個紅外訊框以產生組合圖像。在一些示例中，該裝置可以將一或多個RGB訊框的點與一或多個紅外訊框的對應點對準以產生組合圖像。在一些此類示例中，組合圖像可以是具有深度資訊的RGB圖像。
圖14圖示根據本文揭露的一或多個技術的示例方法的示例流程圖1400。該方法可以由諸如圖6的示例圖像擷取裝置600及/或該裝置的元件的裝置執行，諸如圖6的示例處理器602。在圖13所示的示例中，該裝置配置為包括紅外濾光器和可見光濾光器，諸如圖10A和圖10B的示例光學系統1000。可選態樣以虛線示出。
在1402處，該裝置可以使機械紅外濾光器處於第二位置以濾出紅外光，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以使機械濾波器612移動到一個位置，其使得紅外濾光器1002a處於開啟位置（例如，第二位置），而可見光濾光器1002b處於關閉位置（例如，第三位置）（如圖10B中所示）。在一些示例中，基於觸發圖像產生的應用的類型，處理器602可以使機械濾波器612移動到第一位置並持續一段時間。例如，對於顏色敏感應用，處理器602可以使機械濾波器612在第二位置處比在第一位置處為相對更長的時間（例如，以收集比紅外訊框相對更多的RGB訊框）。
在1404處，該裝置可以在機械紅外濾光器處於第二位置時接收由成像感測器收集的可見光資料，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以接收第一光資料1112，其包括由RGB感測器300的成像像素304收集的可見光資料。
在1406處，該裝置可以基於收集的可見光資料來產生全解析度彩色圖像，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以使用由成像像素304收集的可見光資料來產生全解析度彩色圖像。在一些示例中，該裝置可以例如經由對準兩個或更多個全解析度可見光資料的訊框的相應點來組合兩個或更多個全解析度可見光資料的訊框以產生組合的全解析度彩色圖像。
在1408處，該裝置可以使機械紅外濾光器處於第一位置以允許紅外光通過，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以使機械濾波器612移動到一個位置，其使得紅外濾光器1002a處於關閉位置（例如，第一位置），而可見光濾光器1002b處於開啟位置（例如，第四位置）（如圖10A中所示）。在一些示例中，基於觸發圖像產生的應用的類型，處理器602可以使機械濾波器612移動到第一位置並持續一段時間。例如，對於顏色不可知應用，處理器602可以使機械濾波器612在第一位置處比在第二位置處為相對更長的時間（例如，以收集比RGB訊框相對更多的紅外訊框）。
在1410處，該裝置可以在機械紅外濾光器處於第一位置時接收收集的紅外光資料，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以接收第二光資料1122，其包括由成像像素304收集的紅外光資料。
在1412處，該裝置可以基於收集的紅外光資料來產生全解析度紅外圖像，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以使用由成像像素304收集的紅外光資料來產生全解析度紅外圖像。
在1414處，該裝置可以基於可見光資料和紅外光資料來產生組合圖像，如結合圖1至圖11及/或圖12中的示例所描述的。例如，處理器602可以組合一或多個RGB訊框和一或多個紅外訊框以產生融合圖像。在一些示例中，該裝置可以將一或多個RGB訊框的點與一或多個紅外訊框的對應點對準以產生組合圖像。在一些此類示例中，組合圖像可以是具有深度資訊的RGB圖像。
如前述，本案可以改善圖像的顏色再現。例如，揭露的技術可以使用在開啟位置和關閉位置之間可移動的機械濾波器，以改變成像感測器是否收集可見光資料及/或紅外光資料。揭露的技術還描述了處理收集的可見光資料及/或紅外光資料以產生相應的全解析度可見光資料及/或全解析度紅外光數據。在一些示例中，可以將全解析度可見光資料和全解析度紅外光資料融合以產生融合圖像。在一些示例中，機械濾波器的位置以及機械位置在相應位置中的持續時間可以基於應用程式而變化。例如，對於顏色敏感應用，揭露的技術可以使機械濾波器處於開啟位置，而對於顏色不可知應用，揭露的技術可以使機械濾波器處於關閉位置。
根據本案，在上下文沒有另外指示的情況下，術語「或」可以被理解為「及/或」。另外，儘管諸如「一或多個」或「至少一個」之類的短語可能已經用於本文揭露的一些特徵，而沒有使用這種語言的特徵可以被理解為在上下文沒有另行規定的情況下隱含了這種含義。
在一或多個示例中，本文描述的功能可以以硬體、軟體、韌體或它們的任何組合來實現。例如，儘管在整個本案中已經使用了術語「處理單元」，但是此類處理單元可以以硬體、軟體、韌體或它們的任何組合來實現。如果在軟體中實現了本文描述的任何功能、處理單元、技術或其他模組，則本文描述的功能、處理單元、技術或其他模組可以作為一或多個指令或代碼儲存在電腦上或在電腦可讀取媒體上傳輸。電腦可讀取媒體可以包括電腦資料儲存媒體或通訊媒體，包括促進將電腦程式從一個地方轉移到另一地方的任何媒體。以這種方式，電腦可讀取媒體通常可以對應於（1）非暫時性的有形電腦可讀取儲存媒體，或者（2）諸如信號或載波的通訊媒體。資料儲存媒體可以是可由一台或多台電腦或一或多個處理器存取以擷取指令、代碼及/或資料結構以實現本案中描述的技術的任何可用媒體。作為示例而非限制，這種電腦可讀取媒體可以包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁性儲存裝置。本文使用的磁碟和光碟包括CD碟（CD）、鐳射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟則經由鐳射光學方式再現資料。上述的組合也應包括在電腦可讀取媒體的範圍內。電腦程式產品可以包括電腦可讀取媒體。
該代碼可由一或多個處理器執行，諸如一或多個數位訊號處理器（DSP）、通用微處理器、專用積體電路（ASIC）、算數邏輯單位（ALU）、現場可程式化邏輯陣列（FPGA），或其他等效的集成或個別邏輯電路。因此，如本文所用，術語「處理器」可以指任何前述結構或適合於實現本文描述的技術的任何其他結構。同樣，該等技術可以在一或多個電路或邏輯元件中完全實現。
本案的技術可以在各種各樣的設備或裝置中實現，包括無線手持機、積體電路（IC）或一組IC，例如晶片組。在本案中描述了各種元件、模組或單元以強調被配置為執行所揭示的技術的設備的功能態樣，但是不一定需要由不同的硬體單元來實現。而是如前述，各種單元可以組合在任何硬體單元中，或者由交互動操作的硬體單元的集合來提供，包括與合適的軟體及/或韌體結合的如前述的一或多個處理器。
已經描述了各種示例。這些和其他示例在所附請求項的範圍內。
100:示例圖像擷取裝置 102:成像相機 104:紅外相機 106:泛光照明器 108:點投射器 150:行動設備 200:可見光圖像 202:人 204:背景 206:邊界區域 208:偽影 300:成像感測器 302:像素陣列 304:成像像素 350:成像感測器 352:像素陣列 354:成像像素 356:紅外像素 400:示例圖 402:可見光 404:紅外光 500:示例圖 502:可見光區域 504:紅外光區域 600:圖像擷取裝置 602:至少一個處理器 604:記憶體 606:儲存裝置 608:顯示器 610:輸入裝置 612:光學系統 614:透鏡 616:成像感測器 618:機械濾波器 620:致動器 622:可見光資料 624:紅外光資料 700:光學系統 702:機械濾波器 704:透鏡 706:成像感測器 710:第一位置 720:第二位置 802:光 810:第一序列 812:第一光資料 820:第二序列 822:第二光資料 900:示例流程圖 902:步驟 904:步驟 906:步驟 908:步驟 910:步驟 1000:光學系統 1002a:紅外濾光器 1002b:可見光濾光器 1004:透鏡 1006:成像感測器 1010:第一位置 1020:第二位置 1102:光 1110:第一序列 1112:第一光資料 1120:第二序列 1122:第二光資料 1200:示例等時線 1202:步驟 1204:步驟 1206:步驟 1208:步驟 1300:示例流程圖 1302:步驟 1304:步驟 1306:步驟 1308:步驟 1310:步驟 1312:步驟 1314:步驟 1316:步驟 1318:步驟 1400:示例流程圖 1402:步驟 1404:步驟 1406:步驟 1408:步驟 1410:步驟 1412:步驟 1414:步驟
圖1圖示根據本案的某些態樣的行動設備的示例圖像擷取裝置。
圖2圖示了根據本案的某些態樣的包括聚集中的人的可見光圖像。
圖3A圖示根據本案的某些態樣的用於擷取可見光波長的示例成像感測器。
圖3B圖示根據本案的某些態樣的用於擷取可見光波長和紅外光波長的示例成像感測器。
圖4圖示根據本案的某些態樣的示例曲線圖，其圖示了相對於波長（nm）的可見光和紅外光的區域。
圖5圖示示例曲線圖，其圖示了多少光可以以不同波長通過RGBIR感測器的雙帶通濾波器。
圖6是根據本案的某些態樣的示例圖像擷取裝置的方塊圖。
圖7A圖示根據本案的某些態樣的包括處於第一位置的機械濾波器的光學系統的前視圖。
圖7B圖示根據本案的某些態樣的包括處於第二位置的機械濾波器的圖7A的光學系統的前視圖。
圖8圖示根據本案的某些態樣的示例，其中在光學系統處接收至少包括可見光和紅外光的光。
圖9圖示根據本案的某些態樣的用於基於第一光資料和第二光資料產生全解析度RGB圖像和產生全解析度紅外圖像的示例方法的示例流程圖。
圖10A圖示根據本案的某些態樣的機械濾波器，其包括處於第一位置的紅外光濾波器和可見光濾波器。
圖10B圖示根據本案的某些態樣的包括處於第二位置的機械濾波器的圖10A的光學系統的前視圖。
圖11圖示根據本案的某些態樣的示例，其中在光學系統處接收至少包括可見光和紅外光的光。
圖12圖示根據本案的某些態樣的用於產生具有深度資訊的RGB圖像的示例方法的示例等時線。
圖13和圖14圖示根據本案的某些態樣的示例方法的示例流程圖。
600:圖像擷取裝置
602:至少一個處理器
604:記憶體
606:儲存裝置
608:顯示器
610:輸入裝置
612:光學系統
614:透鏡
616:成像感測器
618:機械濾波器
620:致動器
622:可見光資料
624:紅外光資料

Claims (30)

  1. 一種包括用於產生圖像的一光學系統的裝置，包含： 一機械紅外濾光器，其可在一第一位置和一第二位置之間移動，該機械紅外濾光器被配置為在處於該第一位置時允許紅外光通過該光學系統，並且該機械紅外濾光器被配置為在處於該第二位置時濾除來自該光學系統的紅外光； 一成像感測器，包括一成像像素組和一紅外像素組，該成像感測器被配置為接收來自該光學系統的光；及 一處理器，其耦接至該成像感測器並被配置為： 從該成像感測器接收可見光資料和紅外光資料；並且 基於該可見光資料和該紅外光資料產生一組合圖像。
  2. 根據請求項1之裝置，其中該處理器被配置為： 使該機械紅外濾光器在接收該可見光資料時處於該第二位置；並且 使該機械紅外濾光器在接收該紅外光資料時處於該第一位置。
  3. 根據請求項1之裝置，其中該處理器被配置為： 產生用於與該紅外像素組相關聯的該成像感測器的位置的可見光資料，該可見光資料與一第一訊框相關聯；並且 基於產生的可見光資料和接收到的可見光資料，產生一全解析度彩色圖像。
  4. 根據請求項3之裝置，其中該處理器被配置為經由接收到的可見光資料的內插來產生該可見光資料，該接收到的可見光資料與該紅外像素組相關聯的該成像感測器的位置鄰近的位置相關聯。
  5. 根據請求項3之裝置，其中該處理器被配置為： 基於從該成像感測器接收的該紅外光資料產生一紅外圖像，該紅外光資料與一第二訊框相關聯；並且 基於該全解析度彩色圖像放大產生的紅外圖像，以產生一全解析度紅外圖像。
  6. 根據請求項5之裝置，其中該處理器被配置為經由以下方式產生該紅外圖像： 接收與該第二訊框相關聯的第二可見光資料和該紅外光資料，並且 丟棄與該第二訊框相關聯的該第二可見光資料。
  7. 根據請求項5之裝置，其中該處理器被配置為經由將該全解析度彩色圖像的點與該全解析度紅外圖像的對應點對準來產生該組合圖像。
  8. 根據請求項1之裝置，其中該處理器被配置為基於觸發產生該組合圖像的應用的類型，使該機械紅外濾光器移動至該第一位置或該第二位置。
  9. 根據請求項8之裝置，其中該處理器被配置為基於該應用的類型，收集與可見光資料相關聯的多個圖像訊框，並收集與紅外光資料相關聯的多個圖像訊框。
  10. 根據請求項1之裝置，進一步包含： 一機械可見光濾光器，其可在一第三位置和一第四位置之間移動，該機械可見光濾光器被配置為在處於該第三位置時允許可見光通過該光學系統，並且該機械可見光濾光器被配置為在處於該第四位置時濾除來自該光學系統的可見光。
  11. 根據請求項10之裝置，其中該處理器被配置為： 使該機械紅外濾光器處於該第二位置，並使該機械可見光濾光器處於該第三位置； 當該機械紅外濾光器處於該第二位置並且該機械可見光濾光器處於該第三位置時，基於通過該光學系統的該可見光產生一全解析度彩色圖像； 使該機械紅外濾光器處於該第一位置，並使該機械可見光濾光器處於該第四位置；並且 當該機械紅外濾光器處於該第一位置並且該機械可見光濾光器處於該第四位置時，基於通過該光學系統的該紅外光產生一全解析度紅外圖像。
  12. 根據請求項11之裝置，其中產生該組合圖像包括經由將該該全解析度彩色圖像的點與該全解析度紅外圖像的對應點對準，來組合該全解析度彩色圖像和該全解析度紅外圖像。
  13. 一種用於產生圖像的操作方法，包含： 使一機械紅外濾光器在一第一位置和一第二位置之間移動，該機械紅外濾光器被配置為在處於該第一位置時允許紅外光通過並到達一成像感測器，並且該機械紅外濾光器被配置為在處於該第二位置時濾出紅外光從而不能到達該成像感測器，該成像感測器包括一成像像素組和一紅外像素組； 在一處理器處並從該成像感測器接收可見光資料和紅外光資料；並且 基於該可見光資料和該紅外光資料產生一組合圖像。
  14. 根據請求項13之方法，進一步包含： 使該機械紅外濾光器在接收該可見光資料時處於該第二位置；及 使該機械紅外濾光器在接收該紅外光資料時處於該第一位置。
  15. 根據請求項13之方法，進一步包含： 產生用於與該紅外像素組相關聯的該成像感測器的位置的可見光資料，該可見光資料與一第一訊框相關聯；並且 基於產生的可見光資料和接收到的可見光資料，產生一全解析度彩色圖像。
  16. 根據請求項15之方法，其中經由接收到的可見光資料的內插，來執行產生該可見光資料，該接收到的可見光資料與該紅外像素組相關聯的該成像感測器的位置鄰近的位置相關聯。
  17. 根據請求項15之方法，進一步包含： 基於從該成像感測器接收的該紅外光資料產生一紅外圖像，該紅外光資料與一第二訊框相關聯；並且 基於該全解析度彩色圖像放大產生的紅外圖像，以產生一全解析度紅外圖像。
  18. 根據請求項17之方法，其中產生該紅外圖像包含： 接收與該第二訊框相關聯的第二可見光資料和該紅外光資料，以及 丟棄與該第二訊框相關聯的該第二可見光資料。
  19. 根據請求項17之方法，其中產生該組合圖像包括將該全解析度彩色圖像的點與該全解析度紅外圖像的對應點對準。
  20. 根據請求項13之方法，其中基於觸發產生該組合圖像的應用的類型使該機械紅外濾光器移動到該第一位置或該第二位置。
  21. 根據請求項20之方法，進一步包含基於該應用的類型，收集與可見光資料相關聯的多個圖像訊框，並收集與紅外光資料相關聯的多個圖像訊框。
  22. 根據請求項13之方法，進一步包含： 使該機械紅外濾光器處於該第二位置並且使該機械可見光濾光器處於一第三位置，其中該機械可見光濾光器被配置為在處於該第三位置時允許可見光通過並到達該成像感測器； 當該機械紅外濾光器處於該第二位置並且該機械可見光濾光器處於該第三位置時，基於通過並到達該成像感測器的該可見光產生一全解析度彩色圖像； 使該機械紅外濾光器處於該第一位置並且使該機械可見光濾光器處於一第四位置，其中該機械可見光濾光器被配置為在處於該第四位置時濾除可見光從而不可到達該成像感測器；並且 當該機械紅外濾光器處於該第一位置而該機械可見光濾光器處於該第四位置時，基於通過並到達該成像感測器的該紅外光產生一全解析度紅外圖像。
  23. 根據請求項22之方法，其中產生該組合圖像包括通過將該全解析度彩色圖像的點與該全解析度紅外圖像的對應點對準，來組合該全解析度彩色圖像和該全解析度紅外圖像。
  24. 一種包括用於產生圖像的一光學系統的裝置，包含： 用於在一第一位置和一第二位置之間移動一機械紅外濾光器的構件，該機械紅外濾光器被配置為在處於該第一位置時允許紅外光通過該光學系統，並且該機械紅外濾光器被配置為在處於該第二位置時濾除來自該光學系統的紅外光； 用於在包括一成像像素組和一紅外像素組的一成像感測器處接收光的構件，該成像感測器被配置為接收來自該光學系統的光； 用於從該成像感測器接收可見光資料和紅外光資料的構件；及 用於基於該可見光資料和該紅外光資料產生一組合圖像的構件。
  25. 根據請求項24之裝置，進一步包含： 用於在接收該可見光資料時使該機械紅外濾光器處於該第二位置的構件；及 用於在接收該紅外光資料時使該機械紅外濾光器處於該第一位置的構件。
  26. 根據請求項24之裝置，進一步包含： 用於產生用於與該紅外像素組相關聯的該成像感測器的位置的可見光資料的構件，該可見光資料與一第一訊框相關聯；及 用於基於產生的可見光資料和接收到的可見光資料產生一全解析度彩色圖像的構件。
  27. 根據請求項26之裝置，進一步包含： 用於基於從該成像感測器接收的該紅外光資料產生一紅外圖像的構件，該紅外光資料與一第二訊框相關聯；及 用於基於該全解析度彩色圖像放大產生的紅外圖像以產生一全解析度紅外圖像的構件。
  28. 根據請求項27之裝置，其中用於產生該組合圖像的構件包含將該全解析度彩色圖像的點與該全解析度紅外圖像的對應點對準。
  29. 根據請求項24之裝置，進一步包含： 用於使該機械紅外濾光器處於該第二位置並且使該機械可見光濾光器處於一第三位置的構件，其中該機械可見光濾光器被配置為在處於該第三位置時允許可見光通過該光學系統； 用於當該機械紅外濾光器處於該第二位置並且該機械可見光濾光器處於該第三位置時，基於通過該光學系統的該可見光產生一全解析度彩色圖像的構件； 用於使該機械紅外濾光器處於該第一位置並且使該機械可見光濾光器處於一第四位置的構件，其中該機械可見光濾光器被配置為在處於該第四位置時濾除來自該光學系統的可見光；及 用於當該機械紅外濾光器處於該第一位置而該機械可見光濾光器處於該第四位置時，基於通過該光學系統的該紅外光產生一全解析度紅外圖像的構件。
  30. 根據請求項29之裝置，其中用於產生該組合圖像的構件被配置為經由將該全解析度彩色圖像的點與該全解析度紅外圖像的對應點對準，來組合該全解析度彩色圖像和該全解析度紅外圖像。
TW109144427A 2020-01-02 2020-12-16 機械紅外濾光器 TW202143695A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/733,056 2020-01-02
US16/733,056 US11595625B2 (en) 2020-01-02 2020-01-02 Mechanical infrared light filter

Publications (1)

Publication Number Publication Date
TW202143695A true TW202143695A (zh) 2021-11-16

Family

ID=74141972

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109144427A TW202143695A (zh) 2020-01-02 2020-12-16 機械紅外濾光器

Country Status (5)

Country Link
US (1) US11595625B2 (zh)
EP (1) EP4085608A1 (zh)
CN (1) CN114846784A (zh)
TW (1) TW202143695A (zh)
WO (1) WO2021138033A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240015260A1 (en) * 2022-07-07 2024-01-11 Snap Inc. Dynamically switching between rgb and ir capture

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070081773A (ko) 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
US7606484B1 (en) 2006-03-23 2009-10-20 Flir Systems, Inc. Infrared and near-infrared camera hyperframing
WO2011111567A1 (ja) * 2010-03-09 2011-09-15 株式会社資生堂 照明装置、画像解析装置、画像解析方法及び評価方法
US8408821B2 (en) * 2010-10-12 2013-04-02 Omnivision Technologies, Inc. Visible and infrared dual mode imaging system
EP3049895A4 (en) * 2013-09-24 2017-06-07 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
US20150245767A1 (en) * 2014-02-28 2015-09-03 Lrs Identity, Inc. Dual iris and color camera in a mobile computing device
US10237458B2 (en) 2015-03-16 2019-03-19 Micro Actuator Co., Ltd. Filter switching device used for camera module and mobile device including camera module
JP6247795B2 (ja) * 2015-04-23 2017-12-13 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10764515B2 (en) * 2016-07-05 2020-09-01 Futurewei Technologies, Inc. Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
US10180615B2 (en) * 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
EP3422700B1 (en) * 2017-06-29 2021-03-10 Axis AB A method for enhancing color images, and an assembly performing such method
US10275855B2 (en) * 2017-01-11 2019-04-30 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
CN108986036B (zh) * 2017-06-01 2022-01-28 中兴通讯股份有限公司 处理文件的方法、终端
US10327308B2 (en) 2017-09-13 2019-06-18 Essential Products, Inc. Display and a light sensor operable as an infrared emitter and infrared receiver
CN109756713B (zh) * 2017-11-08 2021-12-21 超威半导体公司 图像捕获装置、执行处理的方法以及计算机可读介质
CN110519489B (zh) 2019-06-20 2021-04-06 杭州海康威视数字技术股份有限公司 图像采集方法及装置

Also Published As

Publication number Publication date
EP4085608A1 (en) 2022-11-09
US20210211616A1 (en) 2021-07-08
CN114846784A (zh) 2022-08-02
WO2021138033A1 (en) 2021-07-08
US11595625B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
KR102240659B1 (ko) 시야의 가리움에 기초한 카메라 선택
US10003731B2 (en) Image element, and imaging device and imaging method using the same for achieving improved image quality regardless of an incident angle of light
JP4671133B2 (ja) 画像処理装置
JP5937767B2 (ja) 撮像装置及び撮像方法
JP5749403B2 (ja) 撮像装置及び画像処理方法
US20170094210A1 (en) Mask-less phase detection autofocus
JP5563166B2 (ja) 固体撮像装置及びデジタルカメラ
US20120293706A1 (en) Image pickup device, digital photographing apparatus using the image pickup device, auto-focusing method, and computer-readable medium for performing the auto-focusing method
US11394902B2 (en) Sparse infrared pixel design for image sensors
JP2009532993A (ja) 改良型プレノプティック・カメラ
JP6863284B2 (ja) 検出装置、検出方法、検出プログラムおよび撮像装置
US10095941B2 (en) Vision recognition apparatus and method
JP2013013061A (ja) 撮像装置
JP7060634B2 (ja) 撮像装置及び画像処理方法
US20130076968A1 (en) Image sensing device
JP2009094946A (ja) 撮像装置及び撮像装置における肖像権保護方法
JP5615756B2 (ja) 撮像装置及び撮像プログラム
JP5749406B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP5525109B2 (ja) 撮像装置
JP2011223294A (ja) 撮像装置
TW202143695A (zh) 機械紅外濾光器
JP5310076B2 (ja) 画像処理装置、および画像処理プログラム
JP5702891B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP6482247B2 (ja) 焦点調節装置、撮像装置、焦点調節装置の制御方法、及びプログラム
JP2012233954A (ja) 電子機器