TW202129313A - 攝像裝置 - Google Patents

攝像裝置 Download PDF

Info

Publication number
TW202129313A
TW202129313A TW109132438A TW109132438A TW202129313A TW 202129313 A TW202129313 A TW 202129313A TW 109132438 A TW109132438 A TW 109132438A TW 109132438 A TW109132438 A TW 109132438A TW 202129313 A TW202129313 A TW 202129313A
Authority
TW
Taiwan
Prior art keywords
pixel
unit
wavelength region
pixels
region
Prior art date
Application number
TW109132438A
Other languages
English (en)
Other versions
TWI842952B (zh
Inventor
佐藤泰史
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202129313A publication Critical patent/TW202129313A/zh
Application granted granted Critical
Publication of TWI842952B publication Critical patent/TWI842952B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本發明提供一種可提高使用彩色濾光片拍攝之圖像之品質的攝像裝置(1)。像素陣列(110)具有各自包含6個×6個像素之複數個像素區塊(130)，像素區塊包含第1、第2、第3及第4像素，其等分別設有分別使第1、第2、第3及第4波長區域之光透過之第1、第2、第3及第4光學濾光片。於排列之列方向及行方向之各者，隔開1個配置第1像素；排列之各列及各行分別配置各一個之第2、第3及第4像素；像素區塊進而包含以下排列：於排列之與像素區塊之對角平行之方向即第1傾斜方向，至少包含各一個之第2、第3及第4像素的排列；及於與像素區塊之對角平行之方向、且與第1傾斜方向不同之第2傾斜方向，至少包含各一個之第2、第3及第4像素的排列。

Description

攝像裝置
本揭示係關於一種攝像裝置。
已知有一種二維影像感測器，其使用R(紅色)、G(綠色)及B(藍色)各色之彩色濾光片、及使可見光區域之大致全域之光透過之濾光片(稱為W色(白色)之彩色濾光片)。
該二維影像感測器中，例如以4像素×4像素之像素區塊為單位，於區塊之垂直及水平方向各隔開1個地配置設有W色之彩色濾光片之8個像素。又，設有R色之彩色濾光片之2個像素、設有B色之彩色濾光片之2個像素及設有G色之彩色濾光片之4個像素以設有同色彩色濾光片之像素彼此不於傾斜方向相接之方式配置。
此種使用R、G、B各色之彩色濾光片與W色之彩色濾光片之二維影像感測器可基於透過R、G、B各色之彩色濾光片之光獲得全色之圖像，且可基於透過W色之彩色濾光片之光獲得高感度。又，此種二維感測器可利用信號處理進行可見圖像與IR(Infrared：紅外線)圖像之分離等，而期望作為監視相機或車載相機使用。 [先前技術文獻] [專利文獻]
專利文獻1：國際公開第13/145487號 專利文獻2：日本專利第6530751號公報
[發明所欲解決之問題]
上述之分別設有R、G、B、W各色之彩色濾光片、且以4像素×4像素之排列配置各像素之現有技術之二維影像感測器中，易產生顏色偽影(偽色)，難以獲得高品質之圖像。
本揭示之目的在於提供一種可提高使用彩色濾光片拍攝之圖像之品質的攝像裝置。 [解決問題之技術手段]
本揭示之攝像裝置具備像素陣列，其包含以矩陣狀之排列配置之像素；像素陣列具有各自包含6個×6個像素之複數個像素區塊，像素區塊包含：第1像素，其設有使第1波長區域之光透過之第1光學濾光片；第2像素，其設有使第2波長區域之光透過之第2光學濾光片；第3像素，其設有使第3波長區域之光透過之第3光學濾光片；及第4像素，其設有使第4波長區域之光透過之第4光學濾光片；且於排列之列方向及行方向之各者，隔開1個配置第1像素，排列之各列及各行分別配置各一個之第2像素、第3像素及第4像素，像素區塊進而包含以下之排列：於排列之與像素區塊之對角平行之方向即第1傾斜方向，至少包含至少一個之第2像素、第3像素及第4像素額排列；及於與像素區塊之對角平行之方向、且與第1傾斜方向不同之第2傾斜方向，至少包含各一個之第2像素、第3像素及第4像素之排列。
以下，針對本揭示之實施形態，基於圖式詳細地進行說明。另，以下之實施形態中，藉由對同一部位標註同一符號而省略重複之說明。
以下，針對本揭示之實施形態，按照下述順序進行說明。 1.本揭示之第1實施形態 1-1.可適用於第1實施形態之構成 1-2.現有技術之說明 1-3.第1實施形態之說明 1-4.第1實施形態之第1變化例 1-5.第1實施形態之第2變化例 2.第2實施形態 2-1.可適用於第2實施形態之構成 2-2.可適用於第2實施形態之IR分離處理 3.第3實施形態 3-0.對移動體之應用例
[1.本揭示第1實施形態] 以下，針對本發明之第1實施形態進行說明。第1實施形態係如下者：於對各像素設置例如R(紅)、G(綠)、B(藍)、W(白)各色之彩色濾光片之情形時，藉由對各彩色濾光片之排列及對自各像素輸出之像素信號之信號處理下功夫，而抑制偽色之產生。
此處，R(紅)、G(綠)、B(藍)各色之彩色濾光片分別為使紅色之波長區域、綠色之波長區域、藍色之波長區域之光分別選擇性透過之光學濾光片。又，W(白)色之彩色濾光片係例如使可見光之大致全域之波長區域之光以特定透過率以上透過之光學濾光片。
另，所謂使某波長區域之光選擇性透過，是指使該波長區域之光以特定透過率以上透過，將該波長區域以外之波長區域設為未達該特定透過率之透過率。
(1-1.可適用於第1實施形態之構成) 首先，針對可適用於本揭示之第1實施形態之技術進行說明。圖1係用以說明可適用於第1實施形態之攝像裝置之功能之一例之功能方塊圖。圖1中，攝像裝置1包含攝像部10、光學部11、圖像處理部12、輸出處理部13、及控制部14。
攝像部10具有將各自包含1個以上之受光元件之複數個像素矩陣狀排列之像素陣列。像素陣列中，對於各像素，分別一對一設置使特定波長區域之光選擇性透過之光學濾光片(彩色濾光片)。又，光學部11包含透鏡或光圈機構、聚焦機構等，將來自被攝體之光導光至像素陣列之受光面。
攝像部10自指定之曝光時間曝光之各像素讀出像素信號，對讀出之像素信號實施雜訊去除或增益調整等信號處理，且轉換成數位方式之像素資料。攝像部10輸出基於該像素信號之像素資料。將該攝像部10之曝光及自曝光之像素讀出像素信號，並作為像素資料輸出之一連串動作稱為攝像。
圖像處理部12對自攝像部10輸出之像素資料實施特定之信號處理並輸出。圖像處理部12對像素資料實施之信號處理包含同步化處理，即使一對一設有例如R(紅)、G(綠)、B(藍)各色之彩色濾光片之各像素之像素資料具有R、G、B各色之資訊。圖像處理部12輸出實施信號處理後之各像素資料。
輸出處理部13輸出自圖像處理部12輸出之圖像資料，作為例如訊框單位之圖像資料。此時，輸出處理部13將輸出之圖像資料轉換成適於自攝像裝置1輸出之格式。將自輸出處理部13輸出之輸出圖像資料供給於例如未圖示之顯示器，並作為圖像顯示。不限於此，亦可將輸出圖像資料供給於其他裝置，例如對輸出圖像資料進行辨識處理之裝置、或基於輸出圖像資料進行控制之控制裝置。
控制部14控制該攝像裝置1全體之動作。控制部14包含例如CPU(Central Processing Unit：中央處理單元)、及用以與攝像裝置1之各部進行通信之介面電路，CPU根據特定程式進行動作而產生各種控制信號，藉由所產生之控制信號控制攝像裝置1之各部。
另，上述之圖像處理部12及輸出處理部13可由例如根據特定程式進行動作之DSP(Digital Signal Processor：數位信號處理器)或ISP(Image Signal Processor：影像信號處理器)構成。不限於此，亦可藉由與控制部14一起於CPU上進行動作之程式實現圖像處理部12及輸出處理部13中之一者或兩者。該等程式可預先記憶於攝像裝置1具有之非揮發性記憶體，亦可自外部供給於攝像裝置1，並寫入至該記憶體。
圖2係顯示可適用於各實施形態之攝像部10之一例之構成之方塊圖。圖2中，攝像部10包含像素陣列部110、垂直掃描部20、水平掃描部21、及控制部22。
像素陣列部110包含各自具有產生對應於接受到之光之電壓的受光元件之複數個像素100。作為受光元件，可使用光電二極體。像素陣列部110中，複數個像素100於水平方向(列方向)及垂直方向(行方向)矩陣狀排列。像素陣列部110中，將像素100之列方向之排列稱為線。該像素陣列部110中基於自特定數之線讀出之像素信號，形成1訊框之圖像(圖像資料)。例如，以3000個像素×2000條線形成1訊框之圖像之情形時，像素陣列部110至少包含2000條至少包含3000個像素100之線。
又，於像素陣列部110，對於各像素100之列及行，對每列連接像素信號線HCTL，對每行連接垂直信號線VSL。
像素信號線HCTL之未與像素陣列部110連接之端部連接於垂直掃描部20。垂直掃描部20根據例如自控制部14供給之控制信號，將自像素100讀出像素信號時之驅動脈衝等複數個控制信號經由像素信號線HCTL傳送至像素陣列部110。垂直信號線VSL之未與像素陣列部110連接之端部連接於水平掃描部21。
水平掃描部21包含AD(Analog to Digital：類比轉數位)轉換部、輸出部及信號處理部。將自像素100讀出之像素信號經由垂直信號線VSL傳送至水平掃描部21之AD轉換部。
針對來自像素100之像素信號之讀出控制概略地進行說明。自像素100讀出像素信號係藉由將因曝光而蓄積於受光元件之電荷傳送至浮動擴散層(FD；Floating Diffusion)，於浮動擴散層中將傳送之電荷轉換成電壓而進行。浮動擴散層中經電荷轉換而得之電壓經由放大器輸出至垂直信號線VSL。
更具體而言，像素100中，曝光時，將受光元件與浮動擴散層間設為斷開(開路)狀態，受光元件中，蓄積根據藉由光電轉換入射之光產生之電荷。曝光結束後，根據經由像素信號線HCTL供給之選擇信號，將浮動擴散層與垂直信號線VSL連接。再者，根據經由像素信號線HCTL供給之重設脈衝，短期間內將浮動擴散層與電源電壓VDD或黑階電壓之供給線連接，重設浮動擴散層。對垂直信號線VSL輸出浮動擴散層之重設位準之電壓(設為電壓P)。其後，藉由經由像素信號線HCTL供給之傳送脈衝，將受光元件與浮動擴散層間設為接通(閉合)狀態，將蓄積於受光元件之電荷傳送至浮動擴散層。對垂直信號線VSL輸出對應於浮動擴散層之電荷量之電壓(設為電壓Q)。
水平掃描部21中，AD轉換部包含對每條垂直信號線VSL設置之AD轉換器，將經由垂直信號線VSL自像素100供給之像素信號藉由AD轉換器實施AD轉換處理，產生進行雜訊降低之相關雙重取樣(CDS：Correlated Double Sampling)處理所使用之2個數位值(分別對應於電壓P及電壓Q之值)。
將由AD轉換器產生之2個數位值藉由信號處理部實施CDS處理，產生數位信號之像素信號(像素資料)。將產生之像素資料自攝像部10輸出。
水平掃描部21於控制部22之控制下，進行依特定順序選擇每條垂直信號線VSL之AD轉換器之選擇掃描，而將各AD轉換器暫時保持之各數位值依序輸出至信號處理部。水平掃描部21藉由包含例如移位暫存器或位址解碼器等之構成而實現該動作。
控制部22進行垂直掃描部20、水平掃描部21等之驅動控制。控制部22產生成為垂直掃描部20及水平掃描部21之動作基準之各種驅動信號。控制部22基於自外部(例如控制部14)供給之垂直同步信號或外部觸發信號、及水平同步信號，產生用於由垂直掃描部20經由像素信號線HCTL供給至各像素100之控制信號。控制部22將產生之控制信號供給至垂直掃描部20。
垂直掃描部20基於自控制部22供給之控制信號，將像素陣列部110中選擇之像素列之像素信號線HCTL中包含驅動脈衝之各種信號按照每條線供給至各像素100，自各像素100對垂直信號線VSL輸出像素信號。垂直掃描部20係使用例如移位暫存器或位址解碼器等構成。
如此構成之攝像部10為對每行配置AD轉換器之行AD方式之CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)影像感測器。
圖3係顯示可適用於第1實施形態之攝像裝置1之硬體構成之例之方塊圖。圖3中，攝像裝置1包含分別藉由匯流排2020連接之CPU2000、ROM(Read Only Memory：唯讀記憶體)2001、RAM(Random Access Memory：隨機存取記憶體)2002、攝像部2003、儲存器2004、資料I/F(interface：介面)2005、操作部2006、及顯示控制部2007。又，攝像裝置1包含分別藉由匯流排2020連接之圖像處理部2010及輸出I/F2012。
CPU2000根據預先記憶於ROM2001之程式，使用RAM2002作為工作記憶體，控制該攝像裝置1全體之動作。
攝像部2003對應於圖1之攝像部10，輸出進行攝像之像素資料。將自攝像部2003輸出之像素資料供給至圖像處理部2010。圖像處理部2010對應於圖1之圖像處理部12，且包含輸出處理部13之一部分功能。圖像處理部2010對自攝像部10供給之像素資料實施特定信號處理，並依序寫入至訊框記憶體2011。將寫入至訊框記憶體2011之1訊框量之像素資料作為訊框單位之圖像資料，自圖像處理部2010輸出。
輸出I/F2012係用以將自圖像處理部2010輸出之圖像資料輸出至外部之介面。輸出I/F2012包含例如圖1之輸出處理部13之一部分功能，可將自圖像處理部2010供給之圖像資料轉換成特定形式之圖像資料而輸出。
儲存器2004為例如快閃記憶體，可記憶、蓄積自圖像處理部2010輸出之圖像資料。又，儲存器2004亦可記憶用以使CPU2000動作之程式。再者，儲存器2004不限於內置於攝像裝置1之構成，亦可為可對攝像裝置1裝卸之構成。
資料I/F2005係攝像裝置1用以與外部機器進行資料收發之介面。作為資料I/F2005，可適用例如USB(Universal Serial Bus：通用串列匯流排)。又，作為資料I/F2005，亦可適用Bluetooth(藍牙)(註冊商標)等進行近距離無線通信之介面。
操作部2006受理針對攝像裝置1之使用者操作。操作部2006包含撥盤或按鈕等操作件，作為受理使用者輸入之輸入器件。操作部2006亦可包含輸出對應於接觸之位置之信號之觸控面板，作為輸入器件。
顯示控制部2007基於藉由CPU2000傳遞之顯示控制信號，產生顯示器2008可顯示之顯示信號。顯示器2008使用例如LCD(Liquid Crystal Display：液晶顯示器)作為顯示器件，顯示對應於藉由顯示控制部2007產生之顯示信號之畫面。另，根據攝像裝置1之用途，可省略顯示控制部2007及顯示器2008。
(1-2.現有技術之說明) 此處，於第1實施形態之詳細說明之前，為容易理解，針對與本揭示關聯之現有技術進行說明。圖4係顯示現有技術之使用R、G、B、W各色之彩色濾光片之像素排列之例的模式圖。圖4之例中，以4像素×4像素之像素區塊120為單位，將設有W色之彩色濾光片之8個像素配置成馬賽克狀，即，於像素區塊120之垂直及水平方向各隔開1個。又，設有R色之彩色濾光片之2個像素、設有B色之彩色濾光片之2個像素及設有G色之彩色濾光片之4個像素以設有同色之彩色濾光片之像素彼此不於傾斜方向相接之方式配置。
另，於以下，將設有R色之彩色濾光片之像素稱為像素R。關於設有G、B及W各色之彩色濾光片之像素亦同樣。
更具體而言，圖4之例中，對於以4像素×4像素之矩陣上之排列配置像素之像素區塊120，於上端之列即第1列，自左端側起依像素R、像素W、像素B、像素W之順序配置各像素，於第2列，自左端側起依像素W、像素G、像素W、像素W、像素G之順序配置各像素。第3列及第4列係重複第1列及第2列。
此種像素排列中，對像素R、像素G及像素B實施同步化處理，使該等像素R、像素G及像素B各者之位置處之像素具有R、G及B各色之成分。同步化處理於例如關注像素(設為像素R)中，R色之成分使用該關注像素之像素值。又，像素R以外之色(例如G色)之成分係自關注像素附近之像素G之像素值推測。對於B色之成分亦同樣地，自關注像素附近之像素B之像素值推測。各色之成分推測可使用例如低通濾波器進行。
藉由將以上之處理適用於像素陣列所含之所有像素R、像素G及像素B，而可使像素R、像素G及像素B各者具有R色、G色及B色之成分。對於像素W亦可適用同樣方法。又，圖4之像素排列中，藉由將像素W馬賽克狀配置而可獲得高感度。
圖5係顯示使用圖4所示之像素陣列具有現有技術之像素排列之攝像裝置，拍攝CZP(Circular Zone Plate：圓形波帶片)之攝像圖像之例的圖。圖5係顯示包含拍攝CZP之攝像圖像中之垂直方向之中心線Hcnt與水平方向之中心線Vcnt之全體的大致1/4之區域。另，圖5中，值fs表示取樣頻率，與像素陣列之像素間距對應。以下，將值fs作為頻率fs進行說明。
根據圖5可知，於垂直方向之中心線Hcnt上對應於頻率fs/2之位置121、及水平方向之中心線Vcnt上對應於頻率fs/2之位置122，產生偽色。又，可知於中心位置與垂直及水平方向之頻率fs/4對應之傾斜方向的位置123亦產生偽色。即，對於垂直方向及水平方向，在對應於頻率fs/2之頻帶產生強偽色。又，對於傾斜方向，在對應於頻率fs/4之頻帶產生強偽色。
此處，若參照圖4之像素排列，則例如僅包含像素R、G及B中之像素G之列及行隔開1列及1行出現。其他之列及行中，包含像素R、G及B中之像素R及B，不包含像素G。又，對於傾斜方向之排列，成為包含像素R、G及B中之像素R及G，不包含像素B之排列、及包含像素R、G及B中之像素G及B，不包含像素R之排列。
如此，現有之像素排列中，存在於列方向、行方向及傾斜方向，不包含特定色之像素之排列。因此，同步化處理中產生偏差，相對於例如垂直及水平方向上對應於頻率fs/2之頻帶、及傾斜方向上對應於頻率fs/4之頻帶，產生強偽色。又，考慮藉由信號處理應對因現有技術之像素排列產生之偽色之情形時，需要複雜之電路，進而，有產生有彩色之被攝體無彩色化等副作用之虞。
(1-3.第1實施形態之說明) 接著，針對第1實施形態進行說明。第1實施形態中，使用像素R、G、B與像素W之像素排列中，提案對於列方向、行方向及傾斜方向之各者，皆包含所有像素R、G及B之像素排列。再者，藉由針對自像素R、G及B讀出之像素信號之簡易信號處理，抑制偽色之產生。
圖6A及圖6B係顯示可適用於第1實施形態之像素排列之例之模式圖。第1實施形態中，如圖6A所示，以6像素×6像素之像素區塊130為單位。圖6A中，像素區塊130包含：使第1波長區域之光透過之第1光學濾光片、使第2波長區域之光選擇性透過之第2光學濾光片、使第3波長區域之光選擇性透過之第3光學濾光片、及使第4波長區域之光選擇性透過之第4光學濾光片。
第1光學濾光片係例如使可見光區域之大致全域之光透過之彩色濾光片，可適用上述之W色之彩色濾光片。第2光學濾光片係例如使紅色波長區域之光選擇性透過之R色之彩色濾光片。第3光學濾光片係例如使綠色波長區域之光選擇性透過之G色之彩色濾光片。同樣地，第4光學濾光片係例如使藍色波長區域之光選擇性透過之B色之彩色濾光片。
圖6A之例中，設有W色之彩色濾光片之像素W相對於像素區塊130配置成馬賽克狀，即於列方向及行方向各隔開1個。設有R色之彩色濾光片之像素R、設有G色之彩色濾光片之像素G、及設有B色之彩色濾光片之像素B於像素區塊130中配置成各列及各行包含各一個之像素R、G及B。
此處，圖6A之例中，像素區塊130之各列包含所有像素R、G及B之順列。即，逐一選擇像素R、G及B而排列時之順列數為3！=6，像素區塊130所含之6列之像素R、G及B之順序互不相同。具體而言，若將像素區塊130之上端設為第1列，將像素R、G及B分別表示為R、G、B，則圖6A之例中，自左端側起第1列為(R, G, B)之順序，第2列為(G, R, B)之順序，第3列為(B, R, G)之順序，第4列為(R, B, G)之順序，第5列為(G, B, R)之順序，第6列為(B, G, R)之順序。
又，對於傾斜方向，像素區塊130包含：於與像素區塊130之對角平行之方向即第1傾斜方向，至少包含各一個之像素R、G及B之排列；及於與像素區塊130之對角平行之方向且不同於該第1傾斜方向之第2傾斜方向，至少包含各一個之像素R、G及B之排列。
圖6B係顯示重複配置圖6A所示之像素區塊130之例之模式圖。此處可知，圖6B所示之配置有複數個像素區塊130之例中，自全體之中任意指定6像素×6像素之像素區塊之情形時，於指定之像素區塊中，亦滿足上述之「各列及各行包含各一個之像素R、G及B」之條件。又，任意指定之像素區塊之各列包含所有像素R、G及B之順列。
該圖6A及圖6B所示之像素排列中，擷取2個系列，對該等2個系列分別獨立執行同步化處理。圖7A及圖7B係用以說明第1實施形態之執行同步化處理用之2個系列之模式圖。圖7A係用以說明執行同步化處理用之2個系列中之第1系列之圖，圖7B係用以說明該等2個系列中之第2系列之圖。
圖7A中，作為第1系列擷取之像素於表示像素R、G及B之「R」、「G」及「B」標註「(A)」顯示。如圖7A中分別以「R(A)」、「G(A)」及「B(A)」顯示，擷取像素區塊130之第2列、第4列及第6列所含之像素R、G及B作為第1系列所含之像素。以下，將作為第1系列擷取之像素R、G及B之像素組群稱為A系列之像素組群。
另一方面，圖7B中，作為第2系列擷取之像素於表示像素R、G及B之「R」、「G」及「B」標註「(D)」而顯示。如圖7B中分別以「R(D)」、「G(D)」及「B(D)」顯示，擷取圖7A中未作為第1系列擷取之像素區塊130之第1列、第3列及第5列所含之像素R、G及B作為第2系列。以下，將作為第2系列擷取之像素R、G及B之像素組群稱為D系列之像素組群。
此處，圖7A所示之A系列之像素組群中，於箭頭a所示之像素區塊130之自左上方向右下方之傾斜方向，以特定順序重複配置像素R、G及B。同樣地，圖7B所示之D系列之像素組群中，於箭頭d所示之像素區塊130之自右上方向左下方之傾斜方向，以特定順序重複配置像素R、G及B。
圖8A及圖8B係自圖7A及圖7B分別抽取A系列之像素組群及D系列之像素組群而顯示之模式圖。如圖8A所示，A系列之像素組群中，對於箭頭a所示之傾斜方向之各個排列，像素R、G及B以相同色之像素不連續之特定順序重複配置。同樣地，D系列之圖元組群中，如圖8B所示，對於箭頭d所示之傾斜方向之各個排列，像素R、G及B以相同色之像素不連續之特定順序重複配置。
另，例如圖8A中，與箭頭a之方向正交之方向之箭頭a’所示之傾斜方向之各個排列中，相同色之像素連續配置。同樣地，圖8B中，與箭頭d之方向正交之方向之箭頭d’所示之傾斜方向之各個排列中，相同色之像素連續配置。
如此，A系列之像素組群及D系列之像素組群分別於各列及各行大致均等地包含像素R、G及B。又，對於傾斜方向，分別於特定之方向大致均等地包含像素R、G及B。因此，對A系列之像素組群及D系列之像素組群之各者獨立執行同步化處理，基於其結果決定各像素R、G及B各色之值，藉此可獲得抑制偽色之圖像。
圖9係用以說明可適用於第1實施形態之圖像處理部12之功能之一例之功能方塊圖。圖9中，圖像處理部12包含白平衡增益(WBG)部1200、低頻成分同步化部1201、高頻成分擷取部1202、偽色抑制處理部1203、及高頻成分復原部1204。
自攝像部10輸出之R、G、B及W各色之像素資料被輸入至WBG部1200。WBG部1200視需要對R、G及B各色之像素資料進行白平衡處理。例如，WBG部1200藉由對應於經設定之色溫的增益，調整像素R、像素G及像素B之各像素資料之增益平衡。經WBG部1200調整白平衡增益之各像素R、G、B及W之像素資料分別被輸入至低頻成分同步化部1201、與高頻成分擷取部1202。
高頻成分擷取部1202使用例如高通濾波器，擷取經輸入之像素W之像素資料之高頻成分。高頻成分擷取部1202將擷取出之高頻成分值供給於高頻成分復原部1204。
低頻成分同步化部1201對經輸入之像素R、G及B各者之像素資料，使用例如低通濾波器執行同步化處理。此時，低頻成分同步化部1201將經輸入之像素R、G及B各者之像素資料，分成使用圖7A及圖7B以及圖8A及圖8B說明之A系列之像素組群所含之像素資料(以下，稱為A系列之像素資料)、及D系列之像素組群所含之像素資料(以下，稱為D系列之像素資料)。低頻成分同步化部1201分別獨立執行基於A系列之像素資料之同步化處理、及基於D系列之像素資料之同步化處理。
更具體而言，低頻成分同步化部1201藉由基於A系列之像素資料之同步化處理，輸出表示針對對象像素而產生之R、G及B各色之成分值之資料Ra、Ga及Ba。同樣地，低頻成分同步化部1201藉由基於D系列之像素資料之同步化處理，輸出表示針對對象像素而產生之R、G及B各色之成分值之資料Rd、Gd及Bd。
再者，低頻成分同步化部1201對於對象像素，亦執行使用A系列之像素資料與D系列之像素資料之同步化處理。例如，低頻成分同步化部1201針對上述資料a、Ga及Ba、與資料Rd、Gd及Bd，按各色算出成分值之平均值。R、G及B各色之成分之平均資料Rave、Gave及Bave例如分別藉由Rave=(Ra-Rd)/2、Gave=(Ga-Gd)/2、Bave=(Ba-Bd)/2算出。
將自低頻成分同步化部1201輸出之針對對象像素之資料Ra、Ga及Ba、資料Rd、Gd及Bd、及資料Rave、Gave及Bave輸入至偽色抑制處理部1203。
偽色抑制處理部1203使用色差最小算法，決定採用資料Ra、Ga及Ba之組(稱為A系列組)、資料Rd、Gd及Bd之組(稱為D系列組)、資料Rave、Gave及Bave之組(稱為平均值組)中之哪一組作為低頻成分同步化部1201之輸出。
更具體而言，偽色抑制處理部1203於A系列組、D系列組及平均組各者中，如下式(1)、(2)及(3)所示，算出色差之平方和。 Cda=(Ra-Ga)2 +(Ba-Ga)2 …(1) Cdd=(Rd-Gd)2 +(Bd-Gd)2 …(2) Cdave=(Rave-Gave)2+(Bave-Gave)2 …(3)
偽色抑制處理部1203選擇藉由式(1)～(3)算出之值Cda、Cdd及Cdave中之最小值，決定算出所選擇之值之組之R、G及B各色之值，作為表示對象像素之R、G及B各色之成分值的資料Rout、Gout及Bout。偽色抑制處理部1203輸出該資料Rout、Gout及Bout。
將自偽色抑制處理部1203輸出之資料Rout、Gout及Bout輸入至高頻成分復原部1204。高頻成分復原部1204使用自高頻成分擷取部1202輸入之高頻成分值，藉由現有方法，將自偽色抑制處理部1203輸入之資料Rout、Gout及Bout之高頻成分復原。高頻成分復原部1204輸出將資料Rout、Gout及Bout之高頻成分復原後之資料R、G及B，作為表示對象像素之像素資料之R、G及B各色之成分值之資料。
圖10係用以針對第1實施形態之像素排列及信號處理之效果進行說明之模式圖。圖10之部分(a)係對應於上述之圖5之圖，係顯示使用現有技術之像素陣列具有4像素×4像素之像素區塊120(參照圖4)之像素排列的攝像裝置拍攝CZP之攝像圖像之例之圖。又，圖10之部分(b)及部分(c)分別係顯示使用第1實施形態之像素陣列具有圖6A所示之6像素×6像素之像素區塊130之像素排列的攝像裝置1拍攝CZP之攝像圖像之例之圖。
圖10之部分(b)係顯示偽色抑制處理部1203中，選擇上述式(3)之平均值組之R、G及B各色之成分資料，作為分別表示對象像素之R色成分、G色成分及B色成分之值的資料Rout、Gout及Bout時之例之圖。該部分(b)之圖之例中可知，如位置121a及122a所示，部分(a)之例中產生之垂直及水平方向各者之頻率fs/2所對應之偽色大致消除。又，部分(b)之例中，如位置123a所示，對應於垂直及水平方向之頻率fs/4，產生分支成4個之偽色。
圖10之部分(c)係顯示偽色抑制處理部1203中，使用上述色差最小算法求得對象像素之R色成分、G色成分及B色成分之資料Rout、Gout及Bout時之例之圖。該部分(c)之例中可知，如位置121b及122b所示，部分(a)之例中產生之垂直及水平方向各者之頻率fs/2所對應之偽色與部分(a)之例相比，得到抑制。又，部分(c)之例中可知，如位置123a所示，垂直及水平方向之頻率fs/4所對應之偽色與部分(a)及(b)之例相比，得到抑制。
如此，可藉由適用第1實施形態之像素排列，而藉由簡易之信號處理，抑制對像素陣列使用R、G、B各色之彩色濾光片外，還使用W色之彩色濾光片時之攝像圖像之偽色之產生。
(1-4.第1實施形態之第1變化例) 接著，針對第1實施形態之第1變化例進行說明。第1實施形態之變化例中，針對可適用於本揭示之像素排列之另一例進行說明。圖11A、圖11B及圖11C係顯示可適用於本揭示之像素排列之另一例之模式圖。
圖11A所示之像素區塊131係將使用圖6A說明之第1實施形態之像素區塊130中之像素W置換成使黃色區域之光選擇性透過之Ye(黃)色之彩色濾光片之例。使用像素Ye代替像素W之像素區塊131之像素排列具有不易受透鏡像差影響之特性。可對適用該圖11A所示之像素排列之像素區塊131之攝像元件10，適用使用圖9說明之信號處理。
圖11B所示之像素區塊132係將使用圖6A說明之第1實施形態之像素區塊130中之像素W置換成使紅外區域之光選擇性透過之IR濾光片，而可檢測紅外光之例。將該圖11B所示之像素排列之像素區塊132適用於攝像部10之情形時，可省略例如圖9中之高頻成分擷取部1202及高頻成分復原部1204之處理。
圖11C係以設有同一色之彩色濾光片之2像素×2像素點陣狀排列之小像素區塊為單位之像素排列之例。該圖11C之像素區塊133將小像素區塊視為1個像素，將各色之小像素區塊R、G、B及W分別設為像素R、G、B及W，以與圖6之像素區塊130相同之排列配置。根據該像素區塊133，藉由將小區塊所含之4個像素之像素資料相加，作為1個像素之像素資料使用，而可實現更高感度。可對適用該圖11C所示之像素排列之像素區塊133之攝像部10，可將小像素區塊視為1個像素而適用使用圖9說明之信號處理。
本揭示不限於上述圖11A～圖11C之例，只要為使用4色之彩色濾光片，以6像素×6像素之像素區塊為單位之像素排列，則亦可適用於其他像素排列。
(1-5.第1實施形態之第2變化例) 接著，針對第1實施形態之第2變化例進行說明。上述第1實施形態中，由於偽色抑制處理部1203中使用簡易之偽色抑制處理，故如圖10之部分(c)之位置121b及122b所示，產生垂直及水平方向之頻率fs/2所對應之偽色。另一方面可知，圖10之部分(b)所示之例相對於圖10之部分(c)所示之例，有效地抑制垂直及水平方向之頻率fs/2所對應之偽色。
如此，藉由使用平均值組之R、G及B各色之值，而可有效抑制垂直及水平方向各者之頻率fs/2所對應之偽色。因此，第1實施形態之第2變化例中，根據輸入之像素資料決定用於偽色抑制之處理。
例如，偽色抑制處理部1203於高頻成分擷取部1202中，自輸入之像素資料擷取出特定以上位準之頻率fs/2之成分之情形時，對該像素資料執行使用上述式(3)之平均值之偽色抑制處理。
不限於此，偽色抑制處理部1203亦可於上述式(1)～(3)之計算中，對式(3)之算出結果設置偏移，增加執行使用平均值之偽色抑制處理之比例。
該第1實施形態之第2變化例中，由於優先執行使用式(3)之平均值之偽色抑制處理，故可更有效抑制垂直及水平方向各者之頻率fs/2所對應之偽色。
[2.第2實施形態] 接著，針對本揭示之第2實施形態進行說明。第2實施形態係適用圖9A所示之6像素×6像素之像素區塊130之像素排列作為像素排列，將IR成分自實施過偽色抑制處理之R、G及B各色之像素資料去除之例。
(2-1.可適用於第2實施形態之構成) 首先，針對可適用於第2實施形態之構成進行說明。圖12係用以說明可適用於第2實施形態之攝像裝置之功能之一例之功能方塊圖。圖12中，攝像裝置1’相對於使用圖1說明之第1實施形態之攝像裝置1，於攝像部10與光學部11間追加雙通濾波器(DPF)30，且圖像處理部12’之功能與攝像裝置1之圖像處理部12不同。
圖13係顯示可適用於第2實施形態之雙通濾波器30之透過特性之例之圖。圖13中，縱軸表示雙通濾波器30之分光透過率，橫軸表示光之波長。如圖13所例示，雙通濾波器30透過例如380～650[nm]波長域之可見光、及波長更長之紅外光。對攝像部10入射透過該雙通濾波器30之光。
圖14係用以說明可適用於第2實施形態之圖像處理部12’之功能之一例之功能方塊圖。圖14中，圖像處理部12’包含白平衡增益(WBG)部1200、低頻成分同步化部1201’、高頻成分擷取部1202、偽色抑制處理部1203’、IR分離處理部300、及高頻成分復原部1204。
將自攝像部10輸出之R、G、B及W各色之像素資料藉由WBG部1200視需要實施白平衡處理，並分別輸入至低頻成分同步化部1201’與高頻成分擷取部1202。高頻成分擷取部1202擷取輸入之像素W之像素資料之高頻成分，將擷取出之高頻成分值供給至高頻成分復原部1204。
低頻成分同步化部1201’與圖9所示之低頻成分同步化部1201同樣地，對輸入之像素R、G及B各者之像素資料執行同步化處理。與上述同樣地，低頻成分同步化部1201將輸入之像素R、G及B各者之像素資料分成A系列之像素資料與D系列之像素資料，分別獨立執行基於A系列之像素資料之同步化處理與基於D系列之像素資料之同步化處理。
即，低頻成分同步化部1201’與圖9所示之低頻成分同步化部1201同樣地，藉由基於A系列之像素資料之同步化處理，輸出表示就對象像素產生之R、G及B各色之成分值之資料Ra、Ga及Ba。同樣地，低頻成分同步化部1201藉由基於D系列之像素資料之同步化處理，輸出表示就對象像素產生之R、G及B各色之成分值之資料Rd、Gd及Bd。又，低頻成分同步化部1201’針對上述資料Ra、Ga及Ba與資料Rd、Gd及Bd，對各色算出平均資料Rave、Gave及Bave，並輸出。
再者，低頻成分同步化部1201’對W色之像素資料實施例如低通濾波處理，產生W色之像素資料之平均值之資料Wave。該資料Wave算出例如對象像素周邊之像素W之平均像素值(對象像素為像素W之情形時，亦包含該對象像素之像素值)並輸出。
將自低頻成分同步化部1201’輸出之針對對象像素之資料Ra、Ga及Ba、資料Rd、Gd及Bd、資料Rave、Gave及Bave、及資料Wave輸入至偽色抑制處理部1203’。偽色抑制處理部1203’與第1實施形態同樣地，使用例如色差最小算法，決定採用資料Ra、Ga及Ba之組(A系列組)、資料Rd、Gd及Bd之組(D系列組)、資料Rave、Gave及Bave之組(平均值組)中之哪一組，作為低頻成分同步化部1201之輸出。偽色抑制處理部1203’輸出表示決定採用之組之R、G及B各色之成分之值，作為對象像素之資料Rout、Gout及Bout。
另一方面，偽色抑制處理部1203’不對輸入之資料Wave適用例如任何處理，而作為資料Wout輸出。
將自偽色抑制處理部1203’輸出之資料Rout、Gout、Bout及Wout輸入至IR分離處理部300。IR分離處理部300基於輸入之資料Rout、Gout、Bout及Wout，將紅外區域之成分自資料Rout、Gout及Bout分離。將已分離(去除)紅外區域成分之資料Rout’、Gout’及Bout’自偽色抑制處理部1203’輸出。
又，IR分離處理部300可將表示自資料Rout、Gout及Bout分離出之紅外區域成分值之資料IR輸出至例如圖像處理部12’之外部。
將自IR分離處理部300輸出之資料Rout’、Gout’及Bout’輸入至高頻成分復原部1204。高頻成分復原部1204使用自高頻成分擷取部1202輸入之高頻成分值，使用現有方法，將自偽色抑制處理部1203’輸入之資料Rout’、Gout’及Bout’之高頻成分復原。高頻成分復原部1204輸出將Rout’、Gout’及Bout’之高頻成分復原後之資料R、G及B，作為對象像素之像素資料之R、G及B各色之資料。
(2-2.可適用於第2實施形態之IR分離處理) 針對可適用於第2實施形態之IR分離處理部300之處理，更詳細地進行說明。第2實施形態中，可對IR分離處理部300之處理適用專利文獻2所記載之技術。
圖15係用以說明可適用於第2實施形態之IR分離處理部300之功能之一例之功能方塊圖。圖15中，IR分離處理部300具備紅外光成分產生部310、可見光成分產生部320及飽和像素檢測部350。另，於以下，假設輸入至IR分離處理部300之資料Rout、Gout、Bout及Wout各自包含紅外區域之成分，且描述為如資料R+IR 、G+IR 、B+IR 及W+IR 。
紅外光成分產生部310係產生表示紅外區域成分之值即資料IR者。該紅外光成分產生部310產生將各資料R+IR 、G+IR 、B+IR 及W+IR 藉由互不相同之係數K11 、K12 、K13 及K14 加權和計算之值作為資料IR。例如，藉由下式(4)進行加權和計算。 IR=K41 ×R+IR +K42 ×G+IR +K43 ×B+IR +K44 ×W+IR …(4)
此處，對K41 、K42 、K43 及K44 設定以下值：將像素R、G、B及W各者對可見光之感度以該等係數進行加權和計算而得之加算值為容許值以下。但，K41 、K42 及K43 之符號相同，K44 之符號與K41 、K42 及K43 不同。對該容許值設定未達將K41 、K42 、K43 及K44 分別設為0.5、0.5、0.5及-0.5時之加算值之值。
另，更期望對該等係數設定以下之值：將像素R、G、B及W各者之感度進行加權和計算而得之值、與像素對紅外光之特定目標感度間之誤差為特定設定值以下。對該設定值設定未達將K41 、K42 、K43 及K44 分別設為0.5、0.5、0.5及-0.5時之誤差之值。又，進而期望對K41 、K42 、K43 及K44 設定上述誤差成為最小之值。
可見光成分產生部320產生R、G及B各色之可見光成分之資料R、G及B。該可見光成分產生部320產生藉由互不相同之係數K11 、K12 、K13 及K14 將各資料R+IR 、G+IR 、B+IR 及W+IR 進行加權和計算而得之值，作為表示R色成分值之資料R。又，可見光成分產生部320產生藉由互不相同之係數K21 、K22 、K23 及K24 將該等各資料進行加權和計算而得之值，作為顯示G色成分值之資料G。又，可見光成分產生部320產生藉由互不相同之係數K31 、K32 、K33 及K34 將各像素資料進行加權和計算而得之值，作為顯示B色成分值之資料B。例如，藉由下式(5)～(7)進行加權和計算。
R=K11 ×R+IR +K12 ×G+IR +K13 ×B+IR +K14 ×W+IR …(5) G=K21 ×R+IR +K22 ×G+IR +K23 ×B+IR +K24 ×W+IR …(6) B=K31 ×R+IR +K32 ×G+IR +K33 ×B+IR +K34 ×W+IR …(7)
此處，對K11 ～K14 設定以下之值：將像素R、像素G、像素B及像素W各者之感度藉由該等係數進行加權和計算而得之值、與像素R對可見光之目標感度間之誤差成為特定設定值以下。對該設定值設定未達將K11 、K12 、K13 及K14 分別設為0.5、-0.5、-0.5及0.5時之誤差之值。另，更期望將誤差成為最小之值設定為K11 ～K14 。
又，對K21 ～K24 設定以下之值：將像素R、像素G、像素B及像素W各者之感度藉由該等係數進行加權和計算而得之值、與G像素對可見光之目標感度間之誤差成為特定設定值以下。對該設定值設定未達將K21 、K22 、K23 及K24 分別設為-0.5、0.5、-0.5及0.5時之誤差之值。另，更期望將誤差成為最小之值設定為K21 ~K24 。
又，對K31 ～K34 設定以下之值：將像素R、像素G、像素B及像素W各者之感度藉由該等係數進行加權和計算而得之值，與B像素對可見光之目標感度間之誤差成為特定之設定值以下。對該設定值設定未達將K31 、K32 、K33 及K34 分別設為-0.5、-0.5、0.5及0.5時之誤差之值。另，更期望將誤差成為最小之值設定為K31 ～K34 。
可見光成分產生部320將產生之表示R、G及B各色之成分值之各資料R、G及B供給至飽和像素檢測部350。
飽和像素檢測部350檢測表示R、G及B各色之成分值之成分之信號位準是否高於特定閾值Th2。該飽和像素檢測部350於信號位準高於特定閾值Th2之情形時，該位準愈高而將愈小之「0」～「1」之值設定為係數α，於信號位準為閾值Th2以下之情形時，將「１」設定為係數α。且，飽和像素檢測部350使用下式(8)～(11)，對紅外光成分之資料IR、可見光成分之資料R、G及B、及資料R+IR 、G+IR 及B+IR 進行處理。 R=α×R+(1-α)×R+IR …(8) G=α×G+(1-α)×G+IR …(9) B=α×B+(1-α)×B+IR …(10) IR=α×IR…(11)
藉由該處理，檢測出信號位準超出閾值Th2之飽和像素之情形時，亦求得正確之可見光成分及紅外光成分。飽和像素檢測部350將處理後之可見光成分之各資料R、G及B自IR分離處理部300輸出。又，飽和像素檢測部350將處理後之可見光成分之資料IR輸出至圖像處理部12’之外部。
圖16係用以說明可適用於第2實施形態之紅外光成分產生部310之功能之一例之功能方塊圖。紅外光成分產生部310具備乘法器311、315、316及317與加法器312、313及314。
乘法器311係對資料R+IR 乘以係數K41 ，並將相乘結果供給至加法器312者。乘法器315對資料G+IR 乘以係數K42 ，並將相乘結果供給至加法器312。乘法器316係對資料B+IR 乘以係數K43 ，並將相乘結果供給至加法器313者。乘法器317對資料W+IR 乘以係數K44 ，並將相乘結果供給至加法器314。
加法器312將來自乘法器311及315各者之相乘結果相加，並將相加結果供給至加法器313。加法器313將來自乘法器316之相乘結果與來自加法器312之相加結果相加，並將相加結果供給至加法器314。加法器314將來自乘法器317之相乘結果與來自加法器313之相加結果相加，將相加結果作為紅外光成分IR，供給至飽和像素檢測部350。
圖17係用以說明可適用於第2實施形態之可見光成分產生部320之功能之一例之功能方塊圖。可見光成分產生部320具備：乘法器321、325、326、327、331、335、336、337、341、345、346及347；加法器322、323、324、332、333、334、342、343及344。
乘法器321、325、326及327分別係將R+IR 、G+IR 、B+IR 及W+IR 與係數K11 、K12 、K13 及K14 相乘者。加法器322、323及324係將乘法器321、325、326及327各者之相乘結果相加，並將相加值作為表示R色成分值之資料R供給至飽和像素檢測部350者。
乘法器331、335、336及337分別係將R+IR 、G+IR 、B+IR 及W+IR 與係數K21 、K22 、K23 及K24 相乘者。加法器332、333及334係將乘法器331、335、336及337各者之相乘結果相加，並將相加值作為表示G色成分值之資料G供給至飽和像素檢測部350者。
乘法器341、345、346及347分別係將R+IR 、G+IR 、B+IR 及W+IR 與係數K31 、K32 、K33 及K34 相乘者。加法器342、343及344係將乘法器341、345、346及347各者之相乘結果相加，並將相加值作為表示B色成分值之資料B供給至飽和像素檢測部350者。
將第2實施形態之IR分離處理部300中使用之計算式之一例顯示於下式(12)及(13)。
[數1]
Figure 02_image001
[數2]
Figure 02_image003
式(12)係使用矩陣表示上述式(4)～(7)之式。藉由包含資料R+IR 、G+IR 、B+IR 及W+IR 之矢量與4列×4行之矩陣之積，算出包含表示R、G及B各色之成分值之各資料R、G及B、與表示紅外線區域之成分值之資料IR之矢量。另，式(13)顯示設定於式(12)之K11 ～K44 之各者之係數之一例。
圖18A係用以說明可適用於第2實施形態之飽和像素檢測部350之功能之一例之功能方塊圖。飽和像素檢測部350具備：乘法器351、353、354、356、357、359及360；加法器352、355及358；及α值控制部361。
α值控制部361係控制係數α之值者。該α值控制部361對每像素檢測像素資料之信號位準是否高於特定閾值Th2。且，α值控制部361於信號位準高於閾值Th2之情形時，該位準愈高而將愈小之「0」以上且未達「1」之值設定為係數α，並非如此之情形時，將「1」設定為係數α。且，α值控制部361將設定之係數α供給至乘法器351、354、357及360，將係數(1-α)供給至乘法器353、356及359。
乘法器351係對表示R色之成分值之資料R乘以係數α，並供給至加法器352者。乘法器353對像素資料R+IR 乘以係數(1-α)，並供給至加法器352。加法器352將乘法器351及353各者之相乘結果相加，並作為資料R自IR分離處理部300輸出。
乘法器354係對表示G色成分值之資料G乘以係數α，並供給至加法器355者。乘法器356對像素資料G+IR 乘以係數(1-α)，並供給至加法器355。加法器355將乘法器354及356各者之相乘結果相加，並作為資料G自IR分離處理部300輸出。
乘法器357係對表示B色成分值之資料B乘以係數α，並供給至加法器358者。乘法器359對資料B+IR 乘以係數(1-α)，並供給至加法器358。加法器358將乘法器357及359各者之相乘結果相加，並作為資料B自IR分離處理部300輸出。
乘法器360對表示紅外區域之成分值之資料IR乘以係數α，並自IR分離處理部300輸出。
圖18B係顯示可適用於第2實施形態之每信號位準之係數α的值之設定例之模式圖。該圖之橫軸表示自偽色抑制處理部1203’供給之像素資料之信號位準。縱軸表示係數α。信號位準為閾值Th2以下之情形時，例如對係數α設定為「1」之值，信號位準超出閾值Th2之情形時，信號位準愈大而將愈小之值設定為係數α。
圖19係顯示可適用於第2實施形態之像素R、G、B及W各者之感度特性之一例之模式圖。圖19中，橫軸表示光之波長，縱軸表示像素對該波長之光之感度。又，實線表示像素W之感度特性，細虛線表示像素R之感度特性。又，一點鏈線表示像素G之感度特性，粗虛線表示像素B之感度特性。
像素W之感度對白(W)的可見光顯示峰值。又，像素R、G及B各者之感度對紅(R)、綠(G)及藍(B)各者之可見光顯示峰值。像素R、G、B及W對紅外光之感度為相同程度。
將紅、綠及藍進行加法混色則變為白。因此，像素R、G及B之感度之合計成為接近像素W之感度之值。但，如圖19所例示，該等之合計並不限於與像素W之感度一致。又，雖各像素對紅外光之感度為相同程度，但嚴密而言並不一致。
因此，假設進行求得將資料R+IR 、G+IR 及B+IR 之各者以同一係數「0.5」進行加權和計算而得之值與將像素資料W+IR 以係數「0.5」進行加權而得之值的差之運算，則無法將紅外區域之成分正確分離。
圖20係顯示第2實施形態之紅外成分分離後之感度特性之一例之模式圖。如圖20所示，藉由加權和計算產生之紅外區域之成分(IR)於可見光區域中接近「0」，相對於圖19所例示之比較例，誤差變少。
如此，根據第2實施形態，由於以係數將表示各色之成分值之資料進行加權和計算，故可將紅外光成分正確分離，上述係數為將像素R、G及B相對於可見光之感度進行加權和計算而得之值、與將像素W之感度加權而得之值的差量縮小者。藉此，第2實施形態之攝像裝置1’可提高可見光之色再現性，提高像素之畫質。又，藉此，可實現無需IR插拔機構之晝夜(Day-Night)相機。
[3.第3實施形態] 接著，針對適用本揭示之技術之攝像裝置之使用例進行說明。圖21係顯示上述本揭示之攝像裝置1或攝像裝置1’之使用例之圖。以下，為了說明而以攝像裝置1代表攝像裝置1及攝像裝置1’進行說明。
上述之攝像裝置1例如可如下般用於感測可見光、紅外光、紫外光、X射線等光之各種實例。
•數位相機、或附照相機功能之攜帶式機器等拍攝供鑒賞用之圖像之裝置。 •為了自動停止等安全駕駛、或辨識駕駛者之狀態等，而拍攝汽車之前方或後方、周圍、車內等之車載用感測器、監視行駛車輛或道路之監視相機、進行車輛間等之測距之測距感測器等供交通用之裝置。 •為了拍攝使用者之姿勢而進行依據該姿勢之機器操作，而供TV、冰箱、空調等家電之裝置。 •內視鏡、或藉由接收紅外光而進行血管拍攝之裝置等供醫療或保健用之裝置。 •防盜用途之監視相機、或人物認證用途之相機等供保全用之裝置。 •拍攝皮膚之皮膚檢測器、或拍攝頭皮之顯微鏡等供美容用之裝置。 •適於運動用途等之運動相機或穿戴式相機等供運動用之裝置。 •用以監視農田或作物之狀態之相機等供農業用之裝置。
(3-0.對移動體之應用例) 本揭示之技術(本技術)如上所述，可應用於各種製品。例如，本揭示之技術亦可作為搭載於汽車、電動汽車、油電混合汽車、機車、自行車、個人行動載具、飛機、無人機、船舶、機器人等任一種類之移動體之裝置而實現。
(將本揭示之攝像裝置搭載於車輛之情形更具體之例) 作為本揭示之攝像裝置1之應用例，針對將該攝像裝置1搭載於車輛使用之情形更具體之例進行說明。
(第1搭載例) 首先，針對本揭示之攝像裝置1之第1搭載例進行說明。圖22係顯示可搭載本揭示之攝像裝置1之車輛之系統構成例之方塊圖。圖22中，車輛系統13200包含對設置於車輛13000之CAN(Controller Area Network：控制器區域網路)連接之各單元。
前感測相機(Front Sensing camera)13001係拍攝車輛行進方向之前方之相機。一般而言，不使用於圖像顯示，而係專用於感測之相機。前感測相機13001配置於例如擋風玻璃內側之車內後視鏡附近。
前相機ECU(Front camera ECU)13002接收以前感測相機13001拍攝之圖像資料，執行包含畫質提高、物體檢測等圖像辨識處理之圖像信號處理。將前相機ECU之圖像辨識結果發送至CAN通信。
另，ECU為「Electronic Control Unit：電子控制單元」之簡稱。
自動駕駛ECU(Self-driving ECU)13003為負責自動駕駛之ECU，以例如CPU、ISP、GPU(Graphics Processing Unit：圖形處理單元)等構成。將以GPU進行圖像辨識後之結果發送至伺服器，伺服器執行深度神經網路等之深度學習並將學習結果回饋至該自動駕駛ECU13003。
GPS(Global Positioning System：全球定位系統)13004為接收GPS之電波，求得目前位置之位置資訊取得部。將以GPS13004取得之位置資訊發送至CAN通信。
顯示器(Display)13005係配置於車輛13000內之顯示裝置。顯示器13005配置於車輛13000之儀表板之中央部、或車內後視鏡內部等。顯示器13005亦可與車輛13000所搭載之汽車導航裝置一體構成。
通信單元(Communication Unit)13006於車車間通信、行人與車間通信、道路與車間通信中，負責資料之收發。通信單元13006亦進行與伺服器之收發。通信單元13006可適用各種無線通信。
集成ECU(Integrated ECU)13007係各種ECU彙集之整合ECU。該例中，集成ECU13007包含ADAS(Advanced Driving Assistance System：先進駕駛輔助系統)ECU13008、自動駕駛ECU13003、及電池ECU(Battery ECU)13010。電池ECU13010控制電池(200 V電池13023、12 V電池13024等)。集成ECU13007配置於例如車輛13000之中央部。
轉向信號(Turn Signal)13009為方向指示器，且藉由集成ECU13007控制而點亮。
ADAS(Advanced Driver Assistance System)13008根據駕駛者操作或圖像辨識結果等，產生用以控制車輛系統13200之組件之控制信號。ADAS ECU13008通過CAN通信與各部進行信號收發。
車輛系統13200中，驅動源(引擎、馬達)之控制係藉由未圖示之動力系統ECU(Power Train ECU)進行。動力系統ECU於m巡航控制時，根據圖像辨識結果控制驅動源。
若轉向裝置(Steering)13011因圖像辨識而自白線偏離，則根據藉由ADAS ECU13008產生之控制信號，驅動電子動力轉向馬達。
速度感測器(Speed sensor)13012檢測車輛13000之行駛速度。速度感測器13012自行駛速度算出加速度或加速度之微分(加加速度)。加速度資訊用於算出直至與物體碰撞為止之推斷時間。加加速度係對乘客之乘坐舒適度帶來影響之指數。
雷達(Radar)13013係使用毫米波等長波長之電磁波進行測距之感測器。光達(Lidar)13014係使用光進行測距之感測器。
頭燈(Head lamp)13015包含燈與燈之驅動電路，根據藉由圖像辨識檢測之對向車有無頭燈，進行遠光燈與近光燈之切換。或者，頭燈13015照射遠光燈以避開對向車。
側視相機(Side View camera)13016係配置於側視鏡之殼體內或側視鏡附近之相機。自側視相機13016輸出之圖像資料用於m圖像之顯示。側視相機13016拍攝例如駕駛者之死角區域。又，側視相機13016拍攝使用於環視監視器之左右區域之圖像。
側視相機ECU(Side View camera ECU)13017進行以側視相機13016拍攝圖像之信號處理。側視相機ECU13017提高白平衡等之畫質。經側視相機ECU13017信號處理之圖像資料以不同於CAN之纜線發送。
前視相機(Front View camera)13018係配置於前格柵附近之相機。以前視相機13018拍攝之圖像資料使用於圖像之顯示。前視相機13018拍攝車輛前方之死角區域。又，前視相機13018拍攝使用於環視監視器之上方區域之圖像。前視相機13018與上述前感測相機13001之作用不同。
前視相機ECU(Front View camera ECU)13019進行以前視相機13018拍攝之圖像之信號處理。前視相機ECU13019提高白平衡等之畫質。經前視相機ECU13019信號處理之圖像資料以不同於CAN之纜線發送。
車輛系統13200包含引擎(ENG)13020、發電機(GEN)13021及驅動用馬達(MOT)13022。引擎13020、發電機13021及驅動用馬達13022係藉由未圖示之動力系統ECU控制。
200 V電池(200V Battery)13023係驅動用及空調用之電源。12 V電池(12V Battery)13024係驅動用與空調用以外之電源。12 V電池13024供給搭載於車輛13000之各相機或各ECU之電源。
後視相機(Rear View camera)13025係配置於例如尾門之車牌附近之相機。以後視相機13025拍攝之圖像資料使用於圖像之顯示。後視相機13025拍攝後方之死角區域。又，後視相機13025拍攝使用於環視監視器之下方區域之圖像。後視相機13025藉由例如將變速桿推入「Ｒ(後退)」檔而啟動。
後視相機ECU(Rear View camera ECU)13026進行以後視相機13025拍攝之圖像之信號處理。後視相機ECU13026提高白平衡等之畫質。經後視相機ECU13026信號處理之圖像資料以不同於CAN之纜線發送。
圖23係顯示車輛系統13200之前感測相機13001之一例之構成之方塊圖。
前相機模組(Front Camera Module)13100包含透鏡(Lens)13101、影像儀(Imager)13102、前相機ECU13002、及MCU(Micro Controller Unit：微控制器單元)13103。由透鏡13101及影像儀13102構成上述前感測相機13001。前相機模組13100配置於例如擋風玻璃內側之車內後視鏡附近。
影像儀13102可適用本揭示之攝像部10，藉由像素所含之受光元件拍攝前方圖像，輸出像素資料。像素之彩色濾光片排列使用例如使用圖6A說明之以6像素×6像素之像素區塊為單位之排列。前相機ECU13002包含例如本揭示之圖像處理部12、輸出處理部13及控制部14。即，包含影像儀13102與前相機ECU13002在內構成本揭示之攝像裝置1。
另，影像儀13102、前相機ECU13002間之資料傳送可適用串列傳送及並列傳送之任一者。又，較佳為影像儀13102具有檢測影像儀13102自身之故障之功能。
MCU13103具有與CAN匯流排(CAN Bus)13104介接之功能。對CAN匯流排13104連接有圖22所示之各部(自動駕駛ECU13003、通信單元13006、ADAS ECU13008、轉向器13011、頭燈13015、引擎13020、驅動用馬達13022、…)。又，亦對CAN匯流排13040連接有制動系統(Brake)13030。
前相機模組13100使用例如使用圖6A說明之以6像素×6像素之像素區塊為單位之像素排列之攝像部10。且，前相機模組13100於圖像處理部12中，對該像素排列之A系列及D系列之各者獨立執行同步化處理。再者，前相機模組13100於圖像處理部12中，基於針對A系列之同步化處理結果、針對D系列之同步化處理結果、同時使用A系列及D系列之同步化處理結果，執行偽色抑制處理。
因此，前相機模組13100可輸出垂直及水平方向各者之頻率fs/2、以及垂直及水平方向之頻率fs/4之偽色得到抑制之更高畫質之攝像圖像。
另，上述中，已說明本揭示之攝像裝置1適用於前感測相機13001，但其不限定於該例。例如，亦可將本揭示之攝像裝置1適用於前視相機13018或側視相機13016、後視相機13025。
(第2搭載例) 接著，針對本揭示之攝像裝置1之第2搭載例進行說明。圖24係顯示可適用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略構成例之方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖24所示之例中，車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040、及整合控制單元12050。又，作為整合控制單元12050之功能構成，圖示微電腦12051、聲音圖像輸出部12052、及車載網路I/F(interface：介面)12053。
驅動系統控制單元12010根據各種程式，控制與車輛之驅動系統關聯之裝置之動作。例如，驅動系統控制單元12010作為內燃機或驅動用馬達等之用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛舵角之轉向機構、及產生車輛之制動力之制動裝置等之控制裝置發揮功能。
車體系統控制單元12020根據各種程式，控制車體所裝備之各種裝置之動作。例如，車體系統控制單元12020作為無鑰匙啟動系統、智慧型鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、方向燈或霧燈等各種燈之控制裝置發揮功能。該情形時，可對車體系統控制單元12020輸入自代替鑰匙之攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入，控制車輛之門鎖裝置、電動窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛外部之資訊。例如，於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像，且接收拍攝到之圖像。車外資訊檢測單元12030亦可基於接收到之圖像，進行人、車、障礙物、標識或路面上之文字等之物體檢測處理或距離檢測處理。
攝像部12031係接受光且輸出對應於該光之受光量的電性信號之光感測器。攝像部12031可將電性信號作為圖像輸出，亦可作為測距資訊輸出。又，攝像部12031接受到之光可為可見光，亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040，連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機，車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊，算出駕駛者之疲勞程度或精神集中程度，亦可判斷駕駛者是否在打瞌睡。
微電腦12051可基於以車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外資訊，運算驅動力產生裝置、轉向機構或制動裝置之控制目標值，且對驅動系統控制單元12010輸出控制指令。例如，微電腦12051可進行以實現包含避開車輛碰撞或緩和衝擊、基於車間距離之追隨行駛、車速維持行駛、車輛之碰撞警告或車輛偏離車道警告等之ADAS(Advanced Driver Assistance System)之功能為目的的協調控制。
又，微電腦12051藉由基於以車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍資訊，控制驅動力產生裝置、轉向機構或制動裝置等，而進行以不依據駕駛者之操作而自控行駛之自動駕駛等為目的之協調控制。
又，微電腦12051可基於以車外資訊檢測單元12030取得之車外資訊，對車體系統控制單元12020輸出控制指令。例如，微電腦12051可根據以車外資訊檢測單元12030檢測到之前方車或對向車之位置而控制頭燈，進行以將遠光燈切換成近光燈等以謀求防眩為目的之協調控制。
聲音圖像輸出部12052向可對車輛之搭乘者或車外視覺性或聽覺性通知資訊之輸出裝置發送聲音及圖像中之至少任一者之輸出信號。於圖24之例中，作為輸出裝置，例示擴音器12061、顯示部12062及儀表板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。
圖25係顯示攝像部12031之設置位置之例之圖。
於圖25中，車輛12100具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、12105例如設置於車輛12100之前保險桿、側視鏡、後保險桿、尾門及車廂內之擋風玻璃之上部等位置。前保險桿所裝備之攝像部12101及車廂內之擋風玻璃之上部所裝備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所裝備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或尾門所裝備之攝像部12104主要取得車輛12100後方之圖像。以攝像部12101及12105取得之前方圖像主要使用於檢測前方車輛或行人、障礙物、號誌機、交通標識或車道線等。
另，圖25中顯示攝像部12101至12104之攝像範圍之一例。攝像範圍12111表示設於前保險桿之攝像部12101之攝像範圍，攝像範圍12112、12113分別表示設於側視鏡之攝像部12102、12103之攝像範圍，攝像範圍12114表示設於後保險桿或尾門之攝像部12104之攝像範圍。例如，藉由使以攝像部12101至12104拍攝之圖像資料重疊，而獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少一者亦可具有取得距離資訊之功能。例如，攝像部12101至12104之至少一者可為包含複數個攝像元件之立體相機，亦可為具有相位差檢測用之像素之攝像元件。
例如，微電腦12051基於自攝像部12101至12104取得之距離資訊，求得攝像範圍12111至12114內與各立體物之距離、及該距離之時間變化(相對於車輛12100之相對速度)，藉此可擷取尤其於車輛12100之行進路上某最近之立體物且在與車輛12100大致相同之方向以特定速度(例如為0 km/h以上)行駛之立體物，作為前方車。再者，微電腦12051可設定前方車於近前應預先確保之車間距離，進行自動剎車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起動控制)等。可如此地進行不依據駕駛者之操作而自控行駛之自動駕駛等為目的之協調控制。
例如，微電腦12051可基於自攝像部12101至12104獲得之距離資訊，將關於立體物之立體物資料分類成2輪車、普通車輛、大型車輛、行人、電線桿等其他立體物而擷取，使用於自動避開障礙物。例如，微電腦12051可將車輛12100周邊之障礙物識別為車輛12100之駕駛者可視認之障礙物與難以視認之障礙物。且，微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞風險，碰撞風險為設定值以上，有可能碰撞之狀況時，經由擴音器12061或顯示部12062對駕駛者輸出警報，或經由驅動系統控制單元12010進行強制減速或避開轉向，藉此可進行用以避免碰撞之駕駛支援。
攝像部12101至12104之至少一者亦可為檢測紅外線之紅外線相機。例如，微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在行人而辨識行人。該行人之辨識係根據例如擷取作為紅外線相機之攝像部12101至12104之攝像圖像之特徵點之順序、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為行人之順序而進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人，且辨識為行人，則聲音圖像輸出部12052以對該經辨識出之行人重疊顯示用以強調之方形輪廓線之方式，控制顯示部12062。又，聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。
以上，已針對可適用本揭示之技術之車輛控制系統之一例進行說明。本揭示之技術可適用於以上說明之構成中之例如攝像部12031。具體而言，可將本揭示之第1及第2實施形態、以及該等之各變化例之任一攝像裝置1適用於攝像部12031而作為攝像部12031。即，攝像部12031包含例如使用圖6A說明之以6像素×6像素之像素區塊為單位之像素排列之像素陣列、例如本揭示之圖像處理部12、輸出處理部13及控制部14。
攝像部12031於圖像處理部12中，對該像素排列之A系列及D系列之各者獨立執行同步化處理。再者，攝像部12031於圖像處理部12中，基於針對A系列之同步化處理結果、針對D系列之同步化處理結果、同時使用A系列及D系列之同步化處理結果，執行偽色抑制處理。
因此，攝像部12031可輸出垂直及水平方向各者之頻率fs/2、以及垂直及水平方向之頻率fs/4之偽色得到抑制之更高畫質之攝像圖像。
另，本說明書所記載之效果僅為例示，並非限定者，又，亦可有其他效果。
另，本技術亦可採取如下之構成。 (1) 一種攝像裝置，其具備： 像素陣列，其包含以矩陣狀之排列配置之像素； 上述像素陣列具有： 複數個像素區塊，其等各自包含6個×6個像素； 上述像素區塊包含：： 第1像素，其設有使第1波長區域之光透過之第1光學濾光片； 第2像素，其設有使第2波長區域之光透過之第2光學濾光片； 第3像素，其設有使第3波長區域之光透過之第3光學濾光片；及 第4像素，其設有使第4波長區域之光透過之第4光學濾光片；且 於上述排列之列方向及行方向之各者，隔開1個配置上述第1像素， 上述排列之各列及各行分別配置各一個之上述第2像素、上述第3像素及上述第4像素， 上述像素區塊進而包含以下之排列： 於上述排列之與該像素區塊之對角平行之方向即第1傾斜方向，至少包含各一個之上述第2像素、上述第3像素及上述第4像素的排列；及於與該像素區塊之對角平行之方向、且與該第1傾斜方向不同之第2傾斜方向，至少包含各一個之上述第2像素、上述第3像素及上述第4像素的排列。 (2) 如上述(1)記載之攝像裝置，其進而具備： 信號處理部，其對自上述像素陣列所含之像素各者讀出之像素信號，執行信號處理； 上述信號處理部對以下之像素信號分別獨立執行上述信號處理： 上述像素區塊所含之上述第2像素、上述第3像素及上述第4像素中， 自上述排列隔開1個而選擇之列及行所含之上述第2像素、上述第3像素及上述第4像素所組成之第1像素群讀出的上述像素信號；及 自與該第1像素群不同之上述第2像素、上述第3像素及上述第4像素所組成之第2像素群讀出的上述像素信號。 (3) 如上述(2)記載之攝像裝置，其中 上述信號處理部 基於自上述第1像素群所含之上述第2像素、上述第3像素及上述第4像素讀出之上述像素信號，執行第1同步化處理， 基於自上述第2像素群所含之上述第2像素、上述第3像素及上述第4像素讀出之上述像素信號，與第1同步化處理獨立地執行第2同步化處理。 (4) 如上述(3)記載之攝像裝置，其中 上述信號處理部 基於自上述第1像素群及上述第2像素群各自所含之上述第2像素、上述第3像素及上述第4像素讀出之上述像素信號，進而執行第3同步化處理， 決定將上述第1同步化處理之處理結果、上述第2同步化處理之處理結果、上述第3同步化處理之處理結果中何者之處理結果輸出至後段。 (5) 如上述(4)記載之攝像裝置，其中 上述信號處理部 執行求得上述第1同步化處理之處理結果與上述第2同步化處理之處理結果之平均值的處理，作為上述第3同步化處理。 (6) 如上述(4)或(5)記載之攝像裝置，其中 上述信號處理部 選擇基於上述第1同步化處理之處理結果之色差、基於上述第2同步化處理之處理結果之色差、基於上述第3同步化處理之處理結果之色差中最小之色差所對應之處理結果，作為輸出至後段之處理結果。 (7) 如上述(1)至(6)中任一項記載之攝像裝置，其中 上述第1波長頻帶為對應於可見光區域之全域之波長區域， 上述第2波長區域、上述第3波長區域及上述第4波長區域分別為對應於紅色光區域、綠色光區域及藍色光區域之波長區域。 (8) 如上述(1)至(6)中任一項記載之攝像裝置，其中 上述第1波長區域為對應於黃色區域之波長區域， 上述第2波長區域、上述第3波長區域及上述第4波長區域分別為對應於紅色光區域、綠色光區域及藍色光區域之波長區域。 (9) 如上述(1)至(6)中任一項記載之攝像裝置，其中 上述第1波長區域為對應於紅外區域之波長區域， 上述第2波長區域、上述第3波長區域及上述第4波長區域分別為對應於紅色光區域、綠色光區域及藍色光區域之波長區域。 (10) 如上述(4)至(6)中任一項記載之攝像裝置，其中 上述第1波長頻帶為對應於可見光區域之全域之波長區域， 上述第2波長區域、上述第3波長區域及上述第4波長區域分別為對應於紅色光區域、綠色光區域及藍色光區域之波長區域， 上述信號處理部 基於上述選擇之上述處理結果、與自上述第1像素讀出之像素信號，將對應於紅外區域之成分自該處理結果去除。
1:攝像裝置 1’:攝像裝置 10:攝像部 11:光學部 12:圖像處理部 12’:圖像處理部 13:輸出處理部 14:控制部 20:垂直掃描部 21:水平掃描部 22:控制部 30:雙通濾波器 100:像素 110:像素陣列部 120:像素區塊 121:位置 121a:位置 121b:位置 122:位置 122a:位置 122b:位置 123:位置 123a:位置 123b:位置 130:像素區塊 131:像素區塊 132:像素區塊 133:像素區塊 300:IR分離處理部 310:紅外光成分產生部 311:乘法器 312:加法器 313:加法器 314:加法器 315:乘法器 316:乘法器 317:乘法器 320:可見光成分產生部 321:乘法器 322:加法器 323:加法器 324:加法器 325:乘法器 326:乘法器 327:乘法器 331:乘法器 332:加法器 333:加法器 334:加法器 335:乘法器 336:乘法器 337:乘法器 341:乘法器 342:加法器 343:加法器 344:加法器 345:乘法器 346:乘法器 347:乘法器 350:飽和像素檢測部 351:乘法器 352:加法器 353:乘法器 354:乘法器 355:加法器 356:乘法器 357:乘法器 358:加法器 359:乘法器 360:乘法器 361:α值控制部 1200:WBG部 1201:低頻成分同步化部 1201’低頻成分同步化部 1202:高頻成分擷取部 1203:偽色抑制處理部 1203’:偽色抑制處理部 1204:高頻成分復原部 2000:CPU 2001:ROM 2002:RAM 2003:攝像部 2004:儲存器 2005:資料I/F 2006:操作部 2007:顯示控制部 2008:顯示器 2010:圖像處理部 2011:訊框記憶體 2012:輸出I/F 2020:匯流排 12000:車輛控制系統 12001:通信網路 12010:驅動系統控制單元 12020:車體系統控制單元 12030:車外資訊檢測單元 12031:攝像部 12040:車內資訊檢測單元 12041:駕駛者狀態檢測部 12050:整合控制單元 12051:微電腦 12052:聲音圖像輸出部 12053:車載網路I/F 12061:擴音器 12062:顯示部 12063:儀表板 12100:車輛 12101:攝像部 12102:攝像部 12103:攝像部 12104:攝像部 12105:攝像部 12111:攝像範圍 12112:攝像範圍 12113:攝像範圍 12114:攝像範圍 13000:車輛 13001:前感測相機 13002:前相機ECU 13003:自動駕駛ECU 13004:GPS 13005:顯示器 13006:通信單元 13007:集成ECU 13008:ADAS ECU 13009:轉向信號 13010:電池ECU 13011:轉向器 13012:速度感測器 13013:雷達 13014:光達 13015:頭燈 13016:側視相機 13017:側視相機ECU 13018:前視相機 13019:前視相機ECU 13020:引擎(ENG) 13021:發電機(GEN) 13022:驅動用馬達(MOT) 13023:200 V電池 13024:12 V電池 13025:後視相機 13026:後視相機ECU 13030:制動系統 13040:CAN匯流排 13100:前相機模組 13101:透鏡 13102:影像儀 13103:MCU 13200:車輛系統 a:箭頭 a’:箭頭 Ba:資料 Bave:平均資料 Bd:資料 Bout:資料 Bout’:資料 B+I R :資料 d:箭頭 d’:箭頭 Ga:資料 Gave:平均資料 Gd:資料 Gout:資料 Gout’:資料 G+I R :資料 Hcnt:中心線 HCTL:像素信號線 IR:資料 K11 ~K14 :係數 K21 ~K24 :係數 K31 ~K34 :係數 K41 ~K44 :係數 Ra:資料 Rave:平均資料 Rd:資料 Rout:資料 Rout’:資料 R+I R :資料 Th2:閾值 Vcnt:中心線 VSL:垂直信號線 Wave:資料 Wout:資料 W+I R :資料 α:係數
圖1係用以說明可適用於第1實施形態之攝像裝置之功能之一例之功能方塊圖。 圖2係顯示可適用於各實施形態之攝像部之一例之構成之方塊圖。 圖3係顯示可適用於第1實施形態之攝像裝置之硬體構成之例之方塊圖。 圖4係顯示現有技術之使用R、G、B、W各色之彩色濾光片之像素排列之例的模式圖。 圖5係顯示使用像素陣列具有現有技術之像素排列之攝像裝置，拍攝CZP之攝像圖像之例的圖。 圖6A係顯示可適用於第1實施形態之像素排列之例之模式圖。 圖6B係顯示可適用於第1實施形態之像素排列之例之模式圖。 圖7A係用以說明第1實施形態之用以執行同步化處理之2個系列之模式圖。 圖7B係用以說明第1實施形態之用以執行同步化處理之2個系列之模式圖。 圖8A係抽取A系列之像素組群而顯示之模式圖。 圖8B係抽取D系列之像素組群而顯示之模式圖。 圖9係用以說明可適用於第1實施形態之圖像處理部之功能之一例之功能方塊圖。 圖10(a)～(c)係用以針對第1實施形態之像素排列及信號處理之效果進行說明之模式圖。 圖11A係顯示可適用於本揭示之像素排列之另一例之模式圖。 圖11B係顯示可適用於本揭示之像素排列之另一例之模式圖。 圖11C係顯示可適用於本揭示之像素排列之另一例之模式圖。 圖12係用以說明可適用於第2實施形態之攝像裝置之功能之一例之功能方塊圖。 圖13係顯示可適用於第2實施形態之雙通濾波器之透過特性之例之圖。 圖14係用以說明可適用於第2實施形態之圖像處理部之功能之一例之功能方塊圖。 圖15係用以說明可適用於第2實施形態之IR分離處理部之功能之一例之功能方塊圖。 圖16係用以說明可適用於第2實施形態之紅外光成分產生部之功能之一例之功能方塊圖。 圖17係用以說明可適用於第2實施形態之可見光成分產生部之功能之一例之功能方塊圖。 圖18A係用以說明可適用於第2實施形態之飽和像素檢測部之功能之一例之功能方塊圖。 圖18B係顯示可適用於第2實施形態之每信號位準之係數α之值的設定例之模式圖。 圖19係顯示可適用於第2實施形態之像素R、G、B及W各者之感度特性之一例之模式圖。 圖20係顯示第2實施形態之紅外成分分離後之感度特性之一例之模式圖。 圖21係顯示本揭示之攝像裝置之使用例之圖。 圖22係顯示可搭載本揭示之攝像裝置之車輛之系統構成例之方塊圖。 圖23係顯示車輛系統之前感測相機之一例之構成之方塊圖。 圖24係顯示可適用本揭示之技術之移動體控制系統之一例即車輛控制系統之概略構成例之方塊圖。 圖25係顯示攝像部之設置位置之例之圖。
1:攝像裝置
10:攝像部
11:光學部
12:圖像處理部
13:輸出處理部
14:控制部

Claims (10)

  1. 一種攝像裝置，其具備： 像素陣列，其包含以矩陣狀之排列配置之像素； 上述像素陣列具有： 各自包含6個×6個像素之複數個像素區塊； 上述像素區塊包含： 第1像素，其設有使第1波長區域之光透過之第1光學濾光片； 第2像素，其設有使第2波長區域之光透過之第2光學濾光片； 第3像素，其設有使第3波長區域之光透過之第3光學濾光片；及 第4像素，其設有使第4波長區域之光透過之第4光學濾光片；且 於上述排列之列方向及行方向之各者，隔開1個地配置上述第1像素， 上述排列之各列及各行分別配置各一個之上述第2像素、上述第3像素及上述第4像素， 上述像素區塊進而包含以下排列： 於上述排列之與該像素區塊之對角平行之方向即第1傾斜方向，至少包含各一個之上述第2像素、上述第3像素及上述第4像素的排列；及於與該像素區塊之對角平行之方向、且與該第1傾斜方向不同之第2傾斜方向，至少包含各一個之上述第2像素、上述第3像素及上述第4像素的排列。
  2. 如請求項1之攝像裝置，其進而具備： 信號處理部，其對自上述像素陣列所含之像素各者讀出之像素信號，執行信號處理； 上述信號處理部對以下之像素信號分別獨立執行上述信號處理： 上述像素區塊所含之上述第2像素、上述第3像素及上述第4像素中， 自上述排列隔開1個而選擇之列及行所含之上述第2像素、上述第3像素及上述第4像素所組成之第1像素群讀出的上述像素信號；及 自與該第1像素群不同之上述第2像素、上述第3像素及上述第4像素所組成之第2像素群讀出的上述像素信號。
  3. 如請求項2之攝像裝置，其中 上述信號處理部 基於自上述第1像素群所含之上述第2像素、上述第3像素及上述第4像素讀出之上述像素信號，執行第1同步化處理， 基於自上述第2像素群所含之上述第2像素、上述第3像素及上述第4像素讀出之上述像素信號，與第1同步化處理獨立地執行第2同步化處理。
  4. 如請求項3之攝像裝置，其中 上述信號處理部 基於自上述第1像素群及上述第2像素群各自所含之上述第2像素、上述第3像素及上述第4像素讀出之上述像素信號，進而執行第3同步化處理， 決定將上述第1同步化處理之處理結果、上述第2同步化處理之處理結果、及上述第3同步化處理之處理結果中何者之處理結果輸出至後段。
  5. 如請求項4之攝像裝置，其中 上述信號處理部 執行求得上述第1同步化處理之處理結果與上述第2同步化處理之處理結果之平均值的處理，作為上述第3同步化處理。
  6. 如請求項4之攝像裝置，其中 上述信號處理部 選擇基於上述第1同步化處理之處理結果之色差、基於上述第2同步化處理之處理結果之色差、及基於上述第3同步化處理之處理結果之色差中最小之色差所對應的處理結果，作為輸出至後段之處理結果。
  7. 如請求項1之攝像裝置，其中 上述第1波長區域為對應於可見光區域之全域之波長區域， 上述第2波長區域、上述第3波長區域及上述第4波長區域分別為對應於紅色光區域、綠色光區域及藍色光區域之波長區域。
  8. 如請求項1之攝像裝置，其中 上述第1波長區域為對應於黃色區域之波長區域， 上述第2波長區域、上述第3波長區域及上述第4波長區域分別為對應於紅色光區域、綠色光區域及藍色光區域之波長區域。
  9. 如請求項1之攝像裝置，其中 上述第1波長區域為對應於紅外區域之波長區域， 上述第2波長區域、上述第3波長區域及上述第4波長區域分別為對應於紅色光區域、綠色光區域及藍色光區域之波長區域。
  10. 如請求項4之攝像裝置，其中 上述第1波長區域為對應於可見光區域之全域之波長區域， 上述第2波長區域、上述第3波長區域及上述第4波長區域分別為對應於紅色光區域、綠色光區域及藍色光區域之波長區域， 上述信號處理部 基於上述選擇之上述處理結果、與自上述第1像素讀出之像素信號，將對應於紅外區域之成分自該處理結果去除。
TW109132438A 2019-09-26 2020-09-18 攝像裝置 TWI842952B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019175596 2019-09-26
JP2019-175596 2019-09-26

Publications (2)

Publication Number Publication Date
TW202129313A true TW202129313A (zh) 2021-08-01
TWI842952B TWI842952B (zh) 2024-05-21

Family

ID=

Also Published As

Publication number Publication date
KR20220068996A (ko) 2022-05-26
EP4036617A1 (en) 2022-08-03
EP4036617A4 (en) 2022-11-16
CN114270798B (zh) 2023-10-24
US20220368867A1 (en) 2022-11-17
WO2021060118A1 (ja) 2021-04-01
JPWO2021060118A1 (zh) 2021-04-01
CN114270798A (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
JP6795030B2 (ja) 撮像制御装置及び撮像制御方法、並びに撮像装置
WO2017179295A1 (ja) 信号処理装置および撮像装置
WO2018190126A1 (ja) 固体撮像装置、及び電子機器
WO2018163725A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN114270798B (zh) 摄像装置
WO2020230636A1 (ja) 画像認識装置および画像認識方法
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11394913B2 (en) Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element
TW202101960A (zh) 圖像辨識裝置、固體攝像裝置及圖像辨識方法
WO2018207666A1 (ja) 撮像素子及びその駆動方法、並びに、電子機器
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
JP6803989B2 (ja) 固体撮像装置及びその駆動方法
US11889206B2 (en) Solid-state imaging device and electronic equipment
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
JP7038050B2 (ja) 固体撮像装置、補正方法、および電子装置
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
WO2019207927A1 (ja) アレイアンテナ、固体撮像装置および電子機器
US20200402206A1 (en) Image processing device, image processing method, and program
TWI742636B (zh) 攝像裝置及攝像方法
TWI842952B (zh) 攝像裝置
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2018211985A1 (ja) 撮像素子、および撮像素子の制御方法、撮像装置、並びに電子機器
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
WO2018135208A1 (ja) 撮像装置と撮像システム