JP6595161B2 - 画像処理装置、画像処理方法、及び、撮像装置 - Google Patents

画像処理装置、画像処理方法、及び、撮像装置 Download PDF

Info

Publication number
JP6595161B2
JP6595161B2 JP2014155662A JP2014155662A JP6595161B2 JP 6595161 B2 JP6595161 B2 JP 6595161B2 JP 2014155662 A JP2014155662 A JP 2014155662A JP 2014155662 A JP2014155662 A JP 2014155662A JP 6595161 B2 JP6595161 B2 JP 6595161B2
Authority
JP
Japan
Prior art keywords
filter
image
color
color filter
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014155662A
Other languages
English (en)
Other versions
JP2016034055A5 (ja
JP2016034055A (ja
Inventor
隆一 唯野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2014155662A priority Critical patent/JP6595161B2/ja
Priority to US15/328,241 priority patent/US10593717B2/en
Priority to PCT/JP2015/003640 priority patent/WO2016017107A1/en
Publication of JP2016034055A publication Critical patent/JP2016034055A/ja
Publication of JP2016034055A5 publication Critical patent/JP2016034055A5/ja
Application granted granted Critical
Publication of JP6595161B2 publication Critical patent/JP6595161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Description

本技術は、画像処理装置、画像処理方法、及び、撮像装置に関し、特に、受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減することができるようにした画像処理装置、画像処理方法、及び、撮像装置に関する。
従来、イメージセンサを使用して、被写体の画像を取得しつつ、パッシブに奥行き情報を得る方法として、レンズ部の開口部にカラーフィルタを設けたColor-Filtered Apertureと呼ばれる技術が提案されている（例えば、非特許文献１参照）。特許文献１には、Color-Filtered Apertureの原理を利用して、シーンの奥行きを推定する方法が開示されている。
特開２００９−２７６２９４号公報
Extracting Depth and Matte using a Color-Filtered Aperture by Yosuke Bando, Bing-yu Chen, Tomoyuki Nishita
ところで、従来の技術であると、レンズ部に入射した光が、当該レンズ部の開口部に設けられたカラーフィルタの４分割された領域のうち、１つの領域しか透過しないため、その光量が１／４となって、Ｓ／Ｎ比（Signal to Noise Ratio）が悪化していた。同様にまた、レンズ部に入射した光が、カラーフィルタの１つの領域しか透過しないため、その解像度が縦横で半分になって、モアレが発生する恐れがあった。
そのため、Color-Filtered Apertureの原理を利用した場合において、受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減するための技術が求められていた。
本技術はこのような状況に鑑みてなされたものであり、受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減することができるようにするものである。
本技術の一側面の画像処理装置は、被写体からの光を集光するレンズ部と、前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、前記イメージセンサから出力される前記画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する画像処理部とを備え、前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタからなるフィルタであり、前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、前記観測画像は、前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像とを含む画像処理装置である。
前記画像処理部は、前記イメージセンサから出力される画像信号に対して所定の画像処理を施すことで得られる視差情報を用いて、奥行き情報を算出することができる。
前記画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本技術の一側面の画像処理方法は、画像処理装置の画像処理方法において、前記画像処理装置が、所定の特性を有する第１のカラーフィルタが開口部に配置されるレンズ部であって被写体からの光を集光する前記レンズ部からの光が、前記第１のカラーフィルタと異なる特性を有するとともに各色がランダムに配列された第２のカラーフィルタが前面に配置されるイメージセンサにより光電変換されることで得られる画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元するステップを含み、前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲパスフィルタからなるフィルタであり、前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、前記観測画像は、前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像とを含む画像処理方法である。
本技術の一側面の撮像装置は、被写体からの光を集光するレンズ部と、前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、前記イメージセンサから出力される前記画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する画像処理部とを備え、前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲパスフィルタからなるフィルタであり、前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、前記観測画像は、前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像とを含む撮像装置である
。
本技術の一側面の画像処理装置、画像処理方法、及び、撮像装置においては、所定の特性を有する第１のカラーフィルタが開口部に配置されるレンズ部であって被写体からの光を集光する前記レンズ部からの光が、前記第１のカラーフィルタと異なる特性を有するとともに各色がランダムに配列された第２のカラーフィルタが前面に配置されるイメージセンサにより光電変換されることで得られる画像信号に対して圧縮センシングを適用することで、前記被写体の画像が復元される。また、前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタとされ、前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタからなるフィルタとされる。さらに、前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、前記観測画像には、前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像とが含まれる。
本技術の一側面によれば、受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した画像処理装置の一実施の形態の構成を示す図である。 レンズ部の開口部に配置される１次カラーフィルタの構成例を示す図である。 イメージセンサの前面に配置される２次カラーフィルタの構成例を示す図である。 各経路を透過した光から得られる観測画像を模式的に表した図である。 波長域ごとのＣＭＹの各フィルタを透過する光の光量を示す図である。 波長域ごとのＲＧＢの各フィルタを透過する光の光量を示す図である。 本技術を適用したカラーフィルタの配置により得られる観測画像を説明する図である。 従来のカラーフィルタの配置により得られる観測画像を説明する図である。 圧縮センシングを利用した被写体画像の復元処理の原理を説明する図である。 圧縮センシングを利用した被写体画像の復元処理の原理を説明する図である。 Ｒチャンネルに注目した場合の１次カラーフィルタを透過する色成分を模式的に表した図である。 Ｒチャンネルに注目した場合の２次カラーフィルタを透過する色成分を模式的に表した図である。 画像処理装置により実行される画像処理の流れを説明するフローチャートである。 本技術を適用した撮像装置の一実施の形態の構成を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．画像処理装置の構成
２．入射光量確保の原理
３．圧縮センシングを利用した復元処理
４．画像処理の流れ
５．撮像装置の構成
＜１．画像処理装置の構成＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成を示す図である。
図１の画像処理装置１０は、レンズ部の開口部にカラーフィルタを配置して、Color-Filtered Apertureの原理を利用した構成を採用している。図１において、画像処理装置１０は、レンズ部１１１、１次カラーフィルタ１１２、イメージセンサ１１３、２次カラーフィルタ１１４、及び、画像処理部１１５から構成される。なお、図１においては、説明の都合上、レンズ部１１１と１次カラーフィルタ１１２は別々に図示されているが、実際には、１次カラーフィルタ１１２は、レンズ部１１１の内部に設けられる。また、２次カラーフィルタ１１４は、イメージセンサ１１３と一体になって構成される。
レンズ部１１１は、１又は複数のレンズ群等から構成され、背景２の手前に位置する被写体１からの光（像光）を、イメージセンサ１１３の受光面上に入射させる。また、レンズ部１１１の内部には、１次カラーフィルタ１１２が配置されている。
ここで、図２には、レンズ部１１１の外観が示されている。図２において、レンズ部１１１の開口部（絞りの部分）には、１次カラーフィルタ１１２が配置されており、被写体１からの光は、１次カラーフィルタ１１２を介して、後段のイメージセンサ１１３に入射されることになる。また、図２において、１次カラーフィルタ１１２は、その菱形形状が４つの領域に分割されており、各領域はそれぞれ、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、又は白（Ｗ）の各色のフィルタからなる。
図１の説明に戻り、イメージセンサ１１３は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサやCCD（Charge Coupled Device）イメージセンサ等の固体撮像装置である。イメージセンサ１１３は、光電変換素子（フォトダイオード）を有する複数の画素が行列状に２次元配置される画素アレイ部と、画素の駆動やA/D（Analog/Digital）変換などを行う周辺回路部から構成される。
イメージセンサ１１３は、レンズ部１１１からの光を光電変換して、画像信号として画像処理部１１５に出力する。また、イメージセンサ１１３の前面には、２次カラーフィルタ１１４が配置されている。
ここで、図３には、２次カラーフィルタ１１４の外観が示されている。図３において、２次カラーフィルタ１１４は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタからなる。また、２次カラーフィルタ１１４には、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタ（ＩＲ）が含まれている。この２次カラーフィルタ１１４においては、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色からなるフィルタと、ＩＲパスフィルタ（ＩＲ）がランダムに配列されている。
すなわち、レンズ開口部に配置される１次カラーフィルタ１１２と、センサ画素上に配置される２次カラーフィルタ１１４は、異なる特性を有しており、１次カラーフィルタ１１２が透過させる色（減法混合の場合における三原色である、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ））は、２次カラーフィルタ１１４が透過させる色（加法混合の場合における三原色である、赤（Ｒ）、緑（Ｇ）、青（Ｂ））と、補色の関係にある。
なお、以下の説明では、１次カラーフィルタ１１２における、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各フィルタをそれぞれ、Ｃｙフィルタ、Ｍｇフィルタ、Ｙｅフィルタ、Ｗフィルタと称する。また、２次カラーフィルタ１１４における、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各フィルタをそれぞれ、Ｒフィルタ、Ｇフィルタ、Ｂフィルタと称する。
さらに、以下の説明では、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）からなるカラーフィルタを、ＣＭＹフィルタとも称する。また、赤（Ｒ）、緑（Ｇ）、青（Ｂ）からなるカラーフィルタを、ＲＧＢフィルタとも称する。
図１の説明に戻り、画像処理部１１５は、イメージセンサ１１３から出力される画像信号に対する所定の画像処理を行う。この画像処理としては、例えば、イメージセンサ１１３から出力される画像信号に対して圧縮センシングを適用して、被写体１の画像（被写体画像）を復元する処理が行われる。なお、圧縮センシングを利用した被写体１の画像（被写体画像）の復元処理の詳細な内容は後述する。
図１の画像処理装置１０は、以上のように構成される。この画像処理装置１０においては、その開口部に１次カラーフィルタ１１２が配置されるレンズ部１１１により集光された被写体１からの光が、その前面に２次カラーフィルタ１１４が配置されるイメージセンサ１１３により光電変換されて、それにより得られる画像信号が、画像処理部１１５により処理される。
＜２．入射光量確保の原理＞
次に、図１の画像処理装置１０において、イメージセンサ１１３の受光面が、十分な入射光量を確保する原理について説明する。
図４に示すように、図１の画像処理装置１０において、イメージセンサ１１３は、画像信号として、レンズ部１１１の開口部に配置される１次カラーフィルタ１１２の各色のフィルタを透過する光の経路に応じた観測画像を出力することになる。
ここでは、１次カラーフィルタ１１２の各色のフィルタを透過する光の経路ごとに、Ｙｅフィルタを透過した光から得られる経路Ｙｅの観測画像、Ｃｙフィルタを透過した光から得られる経路Ｃｙの観測画像、Ｍｇフィルタを透過した光から得られる経路Ｍｇの観測画像、及び、Ｗフィルタを透過した光から得られる経路Ｗの観測画像の４つの観測画像が出力されることになる。なお、実際には、画像処理部１１５においては、これらの４つの観測画像を、重ね合わせて（足し合わせて）得られる画像が観測されることになる。また、以下の説明では、この観測結果を、ｙとして説明するものとする。
具体的には、１次カラーフィルタ１１２において、Ｙｅフィルタを透過する経路を通った光が、２次カラーフィルタ１１４を介してイメージセンサ１１３により受光されて得られる観測画像（図４の経路Ｙｅの観測画像）は、２次カラーフィルタ１１４にランダムに配置されたＲ、Ｇフィルタを透過した光から得られる赤（Ｒ）、緑（Ｇ）の画素と、ＩＲパスフィルタを透過した光から得られる黄（Ｙｅ）の画素とから構成される。
ここで、図５は、減法混合の場合における三原色である、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、及び、黄（Ｙｅ）の各フィルタの特性を示している。一方、図６には、加法混合の場合における三原色である、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各フィルタの特性を示している。ただし、図５及び図６においては、横軸は各色の波長を示し、縦軸は各色のフィルタを透過する光量を示している。
これらのフィルタの特性によれば、図５の黄（Ｙｅ）の波長域と、図６の赤（Ｒ）及び緑（Ｇ）の波長域とが対応する関係となっている。したがって、１次カラーフィルタ１１２のＹｅフィルタが、赤（Ｒ）の成分と、緑（Ｇ）の成分を透過するフィルタとしても機能して、２次カラーフィルタ１１４にランダムに配列されたＲ、Ｇフィルタを透過した光から、赤（Ｒ）、緑（Ｇ）の画素が得られる。一方、１次カラーフィルタ１１２のＹｅフィルタは、青（Ｂ）の成分を透過するフィルタとしては機能しないので、図中の黒い四角で表すように、青（Ｂ）の画素は得られない。
また、これらのフィルタの特性によれば、図５のシアン（Ｃｙ）の波長域と、図６の緑（Ｇ）及び青（Ｂ）の波長域とが対応する関係となっているので、１次カラーフィルタ１１２のＣｙフィルタは、緑（Ｇ）の成分と、青（Ｂ）の成分を透過するフィルタとしても機能することになるが、赤（Ｒ）の成分を透過するフィルタとしては機能しないことになる。
このようなＣｙフィルタの特性から、経路Ｃｙの観測画像（図４）は、２次カラーフィルタ１１４にランダムに配列されたＧ、Ｂフィルタを透過した光から得られる緑（Ｇ）、青（Ｂ）の画素と、ＩＲパスフィルタを透過した光から得られるシアン（Ｃｙ）の画素とから構成される。なお、経路Ｃｙの観測画像（図４）の場合、Ｃｙフィルタが赤（Ｒ）の成分を透過させないため、図中の黒い四角で表すように、赤（Ｒ）の画素は得られない。
また、これらのフィルタの特性によれば、図５のマゼンタ（Ｍｇ）の波長域と、図６の赤（Ｒ）及び青（Ｂ）の波長域とが対応する関係となっているので、１次カラーフィルタ１１２のＭｇフィルタは、赤（Ｒ）の成分と、青（Ｂ）の成分を透過するフィルタとしても機能することになるが、緑（Ｇ）の成分を透過するフィルタとしては機能しないことになる。
このようなＭｇフィルタの特性から、経路Ｍｇの観測画像（図４）は、２次カラーフィルタ１１４にランダムに配列されたＲ、Ｂフィルタを透過した光から得られる赤（Ｒ）、青（Ｂ）の画素と、ＩＲパスフィルタを透過した光から得られるマゼンタ（Ｍｇ）の画素とから構成される。なお、経路Ｍｇの観測画像（図４）の場合、Ｍｇフィルタが緑（Ｇ）の成分を透過させないため、図中の黒い四角で表すように、緑（Ｇ）の画素は得られない。
さらに、１次カラーフィルタ１１２の白（Ｗ）のフィルタは、赤（Ｒ）、緑（Ｇ）、及び、青（Ｂ）の全ての成分を透過するフィルタとして機能するので、経路Ｗの観測画像（図４）は、２次カラーフィルタ１１４にランダムに配列されたＲ、Ｇ、Ｂフィルタを透過した光から得られる赤（Ｒ）、緑（Ｇ）、及び、青（Ｂ）の画素と、ＩＲパスフィルタを透過した光から得られる画素とから構成される。
このように、レンズ部１１１の開口部に、減法混合の場合の三原色（シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ））の各色からなる１次カラーフィルタ１１２を配置し、イメージセンサ１１３の前面に、加法混合の場合の三原色（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の各色からなる２次カラーフィルタ１１４を配置する構成を採用することで、図４に示すような、４つの観測画像（観測結果ｙ）が得られることになる。
以上をまとめると、図７の上段に示すように、レンズ部１１１から、イメージセンサ１１３の受光面に入射される被写体１からの光は、１次カラーフィルタ１１２のＹｅフィルタによって、赤（Ｒ）の成分と緑（Ｇ）の成分が透過され、さらに、２次カラーフィルタ１１４のＲフィルタにより赤（Ｒ）の成分が、Ｇフィルタにより緑（Ｇ）の成分がそれぞれ透過される。これにより、経路Ｙｅの観測画像（図４）として、赤（Ｒ）及び緑（Ｇ）の画素を含む画像が得られる。
また、図７の中段に示すように、被写体１からの光は、１次カラーフィルタ１１２のＣｙフィルタによって、緑（Ｇ）の成分と青（Ｂ）の成分が透過され、さらに、２次カラーフィルタ１１４のＧフィルタにより緑（Ｇ）の成分が、Ｂフィルタにより青（Ｂ）の成分がそれぞれ透過される。これにより、経路Ｃｙの観測画像（図４）として、緑（Ｇ）と青（Ｂ）の画素を含む画像が得られる。
また、図７の下段に示すように、被写体１からの光は、１次カラーフィルタ１１２のＭｇフィルタによって、赤（Ｒ）の成分と青（Ｂ）の成分が透過され、さらに、２次カラーフィルタ１１４のＲフィルタにより赤（Ｒ）の成分が、Ｂフィルタにより青（Ｂ）の成分がそれぞれ透過される。これにより、経路Ｍｇの観測画像（図４）として、赤（Ｒ）及び青（Ｂ）の画素を含む画像が得られる。
なお、ここで、比較のために、レンズ部１１１の開口部と、イメージセンサ１１３の前面の両方に、加法混合の場合の三原色（赤（Ｒ）、緑（Ｇ）、青（Ｂ））の各色からなるカラーフィルタが配置される構成を採用した場合に取得される観測画像についてまとめると、図８に示すようになる。
すなわち、図８の上段に示すように、レンズ部１１１から、イメージセンサ１１３の受光面に入射される被写体１からの光は、レンズ部１１１の開口部に配置された１次カラーフィルタ１１２のＲフィルタによって、赤（Ｒ）の成分のみが透過され、さらに、イメージセンサ１１３の前面に配置された２次カラーフィルタ１１４のＲフィルタにより赤（Ｒ）の成分のみが透過される。これにより、経路Ｒの観測画像として、赤（Ｒ）の画素のみを含む画像が得られる。
また、図８の中段に示すように、被写体１からの光は、１次カラーフィルタ１１２のＧフィルタによって、緑（Ｇ）の成分のみが透過され、さらに、２次カラーフィルタ１１４のＧフィルタにより緑（Ｇ）の成分のみが透過される。これにより、経路Ｇの観測画像として、緑（Ｇ）の画素のみを含む画像が得られる。
また、図８の下段に示すように、被写体１からの光は、１次カラーフィルタ１１２のＢフィルタにより青（Ｂ）の成分のみが透過され、さらに、２次カラーフィルタ１１４のＢフィルタにより青（Ｂ）の成分のみが透過される。これにより、経路Ｂの観測画像として、青（Ｂ）の画素のみを含む画像が得られる。
このように、１次カラーフィルタ１１２と２次カラーフィルタ１１４として、共にＲＧＢフィルタを用いてその特性を同一にした場合、各色のフィルタごとに、単一の色成分しか透過されないため、ＲＧＢフィルタと補色の関係にあるＣＭＹフィルタを用いてその特性を異ならせた場合と比べて、イメージセンサ１１３の受光面で受光される光量が減少してしまい、Ｓ／Ｎ比が悪化することになる。
これに対して、図１の画像処理装置１０においては、レンズ部１１１の開口部に配置される１次カラーフィルタ１１２として、ＲＧＢフィルタと補色の関係のあるＣＭＹフィルタを用いる一方、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４としてＲＧＢフィルタを用いることで、１次カラーフィルタと２次カラーフィルタの特性を異ならせている。このような構成を採用した場合、ＣＭＹフィルタは、ＲＧＢフィルタに対して複数の色成分を透過させることができるので、ＲＧＢフィルタのみを用いている場合と比べて、フィルタの組み合わせによる光量のロスを低減して、イメージセンサ１１３の受光面で受光される光量を確保し、Ｓ／Ｎ比を改善させることができる。
＜３．圧縮センシングを利用した復元処理＞
次に、図１の画像処理装置１０により実行される、圧縮センシングを利用した復元処理について説明する。
上述したように、図１の画像処理装置１０においては、画像処理部１１５によって、イメージセンサ１１３から出力される画像信号（観測画像）に対して圧縮センシングが適用されることで、被写体１の画像（被写体画像（自然画像））を復元する処理が行われる。
圧縮センシング（Compressed Sensing, Compressive Sampling）とは、スパース性（零要素が多いという性質）を有する高次元の信号を、少ない観測数から復元する枠組みである。ここでは、復元される高次元の信号が、被写体１の画像（被写体画像）に相当し、観測数が、観測画像を重ね合わせて得られる観測結果ｙに相当している。
すなわち、図９に示すように、イメージセンサ１１３から出力される画像信号（図４の４つの観測画像を重ね合わせて得られる画像）を観測結果ｙとし、被写体１の画像（被写体画像）を原信号ｘとし、レンズ部１１１の開口部に配置された１次カラーフィルタ１１２と、イメージセンサ１１３の前面に配置された２次カラーフィルタ１１４を通る過程を観測行列Ａとすると、下記の式（１）が成立することになる。
Figure 0006595161
 ・・・（１）
この式（１）の連立方程式を解くことで、観測結果ｙと観測行列Ａから、原信号ｘを求めることができる。
なお、図１０に示すように、観測結果ｙの観測数Ｍは、Ｎ次元の原信号ｘよりも低次元となるため、一般に解を一意に定めることはできないが、ここでは、Ｎ次元の原信号ｘが、ｋ−スパースであって、非零要素の個数がｋ個とされることを利用する。つまり、自然画像の特性として、零要素が多いことが知られており、例えば、観測結果ｙの次元よりも、原信号ｘの非零要素の数が小さいときに、ランダム性を有する観測行列Ａを用いてＬ１復元法（Ｌ１再構成法）を適用することにより、ある確率で、原信号ｘが復元されることになる。換言すれば、自然画像は、空間周波数方向に対して冗長であるため、サンプリング量を間引いたとしても復元することが可能であるので、ここではそれを利用している。
ここで、Ｒチャンネルに注目した場合、図１１に示すように、レンズ部１１１の開口部に配置される１次カラーフィルタ１１２において、Ｍｇフィルタ、Ｙｅフィルタ、及びＷフィルタは、赤（Ｒ）の成分を透過するが、Ｃｙフィルタは、図中の黒い四角で表すように、赤（Ｒ）の成分は透過させないことになる。ここでは、この１次カラーフィルタ１１２を光が透過する過程をＢＲと定義する。ただし、このＢＲは、フォーカス位置に依存することになる。
また、図１２に示すように、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４において、Ｒチャンネルに注目した場合には、Ｒフィルタは、赤（Ｒ）の成分を透過するが、図中の黒い四角で表すように、ＧフィルタとＢフィルタは、赤（Ｒ）の成分は透過させないことになる。ここでは、この２次カラーフィルタ１１４を光が透過する過程をＣＲと定義する。
このようにして、ＢＲとＣＲを定義すれば、１次カラーフィルタ１１２と２次カラーフィルタ１１４を通る過程を表す観測行列Ａは、ＢＲとＣＲにより表すことができるので、Ｒチャンネルにおける被写体画像の復元処理は、下記の式（２）の連立方程式を解くことで実現される。
Figure 0006595161
 ・・・（２）
なお、図１２の２次カラーフィルタ１１４の配列からも明らかなように、Ｒチャンネルに注目した場合に、Ｒフィルタがランダムに配列されているため、サンプリングにランダム性を持たせることが可能となる。また、この復元処理は、局所的な情報を用いるのではなく、画像全体の情報を用いて行われるため、通常のデモザイク処理を行った場合と比べて、モアレを軽減することができる。
また、ここでは、Ｒチャンネルに注目した場合を説明したが、Ｇチャンネル又はＢチャンネルに注目した場合も同様に、観測行列Ａを、ＢＧとＣＧ又はＢＢとＣＢにより表すことができる。
すなわち、Ｇチャンネルにおける被写体画像の復元処理は、下記の式（３）の連立方程式を解くことで表現される。
Figure 0006595161
 ・・・（３）
また、Ｂチャンネルにおける被写体画像の復元処理は、下記の式（４）の連立方程式を解くことで表現される。
Figure 0006595161
 ・・・（４）
以上のように、図１の画像処理装置１０は、レンズ部１１１の開口部に１次カラーフィルタ１１２を設けたColor-Filtered Apertureの原理を利用した構成を採用しているが、当該１次カラーフィルタ１１２として、ＲＧＢフィルタと補色の関係のあるＣＭＹフィルタを用いる一方、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４としてＲＧＢフィルタを用いることで、１次カラーフィルタと２次カラーフィルタの特性を異ならせている。このようなＣＭＹフィルタとＲＧＢフィルタの組み合わせを用いることで、ＲＧＢフィルタのみを用いる場合と比べて、フィルタの組み合わせによる光量のロスを低減することができるため、イメージセンサ１１３の受光面への十分な入射光量を確保して、Ｓ／Ｎ比を改善させることができる。
また、画像処理装置１０において、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色からなるフィルタと、ＩＲパスフィルタ（ＩＲ）がランダムに配列されているため、復元処理により復元される被写体画像におけるモアレを軽減することができる。その結果、画像処理装置１０では、イメージセンサ１１３の受光面への十分な入射光量を確保してＳ／Ｎ比を改善しつつ、モアレを軽減することができる。
なお、上述した説明では、１次カラーフィルタ１１２と２次カラーフィルタ１１４の組み合わせとして、ＣＭＹフィルタとＲＧＢフィルタの組み合わせを説明したが、カラーフィルタの組み合わせはこれに限らず、例えば、同一の色で波長域を異ならせるなど、特性の異なるカラーフィルタの組み合わせであれば、他の組み合わせを採用するようにしてもよい。
また、イメージセンサ１１３の前面に配置される２次カラーフィルタ１１４には、赤外線光を透過させることが可能なＩＲパスフィルタが含まれているため、例えば暗い場所等においては、赤外線画像が生成されるようにして、切り替えるようにしてもよい。ただし、２次カラーフィルタ１１４において、ＲＧＢフィルタ以外に、ＩＲパスフィルタを含めるかどうかは任意である。
＜４．画像処理の流れ＞
次に、図１３のフローチャートを参照して、図１の画像処理装置１０により実行される画像処理の流れについて説明する。
ステップＳ１０１において、画像処理部１１５は、イメージセンサ１１３から出力される画像信号を取得する。
ステップＳ１０２において、画像処理部１１５は、イメージセンサ１１３からの画像信号に対する所定の画像処理を行う。上述したように、この画像処理としては、イメージセンサ１１３からの画像信号（観測画像）に対して圧縮センシングを適用することで、被写体１の画像（被写体画像）を復元する処理が行われる。
なお、画像処理としては、被写体画像の復元処理のみならず、例えば、Color-Filtered Apertureの原理を利用して得られる視差情報（色ごとのずれ量）を用いて、奥行き情報などが求められるようにしてもよい。また、奥行き情報は、上述した圧縮センシングを利用して算出されるようにしてもよい。
ステップＳ１０３において、画像処理部１１５は、ステップＳ１０２の画像処理の結果を、後段の回路等に出力する。ステップＳ１０３の処理が終了すると、図１３の画像処理は終了する。
以上、図１の画像処理装置１０により実行される画像処理について説明した。この画像処理においては、その開口部に１次カラーフィルタ１１２が配置されるレンズ部１１１により集光された被写体からの光が、その前面に２次カラーフィルタ１１４が配置されるイメージセンサ１１３により光電変換されて、それにより得られる画像信号が、画像処理部１１５によって、処理されることになる。
＜５．撮像装置の構成＞
図１４は、本技術を適用した撮像装置の一実施の形態を示す図である。
図１４において、撮像装置３００は、レンズ部３０１、イメージセンサ３０２、画像処理部３０３、フレームメモリ３０４、表示部３０５、記録部３０６、操作部３０７、及び、電源部３０８から構成される。また、撮像装置３００において、画像処理部３０３、フレームメモリ３０４、表示部３０５、記録部３０６、操作部３０７、及び、電源部３０８は、バスライン３０９を介して相互に接続されている。
レンズ部３０１は、上述したレンズ部１１１（図１）に相当するものである。レンズ部３０１は、１又は複数のレンズ群等から構成され、被写体からの光（像光）を、イメージセンサ３０２の受光面上に入射させる。なお、図示はしていないが、レンズ部３０１の開口部には、４つの領域に分割された各領域がそれぞれ、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、又は白（Ｗ）の各色のフィルタからなる１次カラーフィルタ（図１の１次カラーフィルタ１１２）が配置されている。
イメージセンサ３０２は、例えばCMOSイメージセンサ等からなる上述のイメージセンサ１１３（図１）に相当するものである。イメージセンサ３０２は、光電変換素子を有する複数の画素が行列状に２次元配置される画素アレイ部とその周辺回路部とを有する。イメージセンサ３０２は、レンズ部３０１によって受光面上に結像された入射光の光量を、画素単位で電気信号に変換して、画像信号として、画像処理部３０３に出力する。なお、図示はしていないが、イメージセンサ３０２の前面には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタからなる２次カラーフィルタ（図１の２次カラーフィルタ１１４）が配置されている。
画像処理部３０３は、上述した画像処理部１１５（図１）に相当するものである。画像処理部３０３は、イメージセンサ１１３から出力される画像信号に対する所定の画像処理を行う。この画像処理としては、例えば、イメージセンサ１１３から出力される画像信号に対して圧縮センシングを適用することで、被写体画像を復元する処理が行われる。
また、画像処理部３０３は、イメージセンサ３０２から出力される画像信号に対してカメラ信号処理を施す。当該信号処理により得られる画像データは、フレームメモリ３０４に一時的に格納され、表示部３０５又は記録部３０６に供給される。
表示部３０５は、例えば、液晶パネルや有機EL（Electro Luminescence）パネル等から構成され、イメージセンサ３０２で撮像された動画又は静止画を表示する。記録部３０６は、イメージセンサ３０２で撮像された動画又は静止画の画像データを、半導体メモリやビデオテープ等の記録媒体に記録する。
操作部３０７は、ユーザからの操作に従い、撮像装置３００が有する各種の機能についての操作指令を発する。電源部３０８は、画像処理部３０３、フレームメモリ３０４、表示部３０５、記録部３０６、及び、操作部３０７の動作に必要となる電力を、これらの供給対象に対して適宜供給する。
なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやデジタルビデオカメラだけでなく、携帯電話機、スマートフォン、タブレット型デバイス、又はパーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、本技術を適用した撮像装置は、他の情報処理装置に装着して使用される（又は組み込みデバイスとして搭載される）カメラモジュールであってもよい。
また、上述した一連の処理（例えば、図１３の画像処理）は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。当該一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等よりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや記録部等で構成される。
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本技術は、以下のような構成をとることができる。
（１）
被写体からの光を集光するレンズ部と、
前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、
前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、
前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、
前記イメージセンサから出力される前記画像信号を処理する画像処理部と
を備える画像処理装置。
（２）
前記第１のカラーフィルタが透過させる色は、前記第２のカラーフィルタが透過させる色と補色の関係にある
（１）に記載の画像処理装置。
（３）
前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）の各色からなるフィルタであり、
前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色からなるフィルタである
（２）に記載の画像処理装置。
（４）
前記第２のカラーフィルタは、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタを含んでいる
（３）に記載の画像処理装置。
（５）
前記画像処理部は、前記イメージセンサから出力される画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する
（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われる
（５）に記載の画像処理装置。
（７）
画像処理装置の画像処理方法において、
前記画像処理装置が、
その開口部に所定の特性を有する第１のカラーフィルタが配置され、被写体からの光を集光するレンズ部からの光が、その前面に前記第１のカラーフィルタと異なる特性を有するとともに各色がランダムに配列された第２のカラーフィルタが配置されるイメージセンサにより光電変換されることで得られる画像信号を処理する
ステップを含む画像処理方法。
（８）
被写体からの光を集光するレンズ部と、
前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、
前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、
前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、
前記イメージセンサから出力される前記画像信号を処理する画像処理部と
を備える撮像装置。
１０ 画像処理装置， １１１ レンズ部， １１２ １次カラーフィルタ， １１３ イメージセンサ， １１４ ２次カラーフィルタ， １１５ 画像処理部， ３００ 撮像装置， ３０１ レンズ部， ３０２ イメージセンサ， ３０３ 画像処理部

Claims (4)

  1. 被写体からの光を集光するレンズ部と、
    前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、
    前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、
    前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、
    前記イメージセンサから出力される前記画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する画像処理部と
    を備え、
    前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、
    前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲ（Infrared Ray）パスフィルタからなるフィルタであり、
    前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、
    前記観測画像は、
    前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、
    前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、
    前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、
    前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像と
    を含む
    画像処理装置。
  2. 前記画像処理部は、前記イメージセンサから出力される画像信号に対して所定の画像処理を施すことで得られる視差情報を用いて、奥行き情報を算出する
    請求項１に記載の画像処理装置。
  3. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    所定の特性を有する第１のカラーフィルタが開口部に配置されるレンズ部であって被写体からの光を集光する前記レンズ部からの光が、前記第１のカラーフィルタと異なる特性を有するとともに各色がランダムに配列された第２のカラーフィルタが前面に配置されるイメージセンサにより光電変換されることで得られる画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する
    ステップを含み、
    前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、
    前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲパスフィルタからなるフィルタであり、
    前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、
    前記観測画像は、
    前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、
    前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、
    前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、
    前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像と
    を含む
    画像処理方法。
  4. 被写体からの光を集光するレンズ部と、
    前記レンズ部の開口部に配置され、所定の特性を有する第１のカラーフィルタと、
    前記レンズ部からの光を光電変換して、画像信号として出力するイメージセンサと、
    前記イメージセンサの前面に配置され、前記第１のカラーフィルタと異なる特性を有するとともに、各色がランダムに配列された第２のカラーフィルタと、
    前記イメージセンサから出力される前記画像信号に対して圧縮センシングを適用することで、前記被写体の画像を復元する画像処理部と
    を備え、
    前記第１のカラーフィルタは、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、白（Ｗ）の各色からなるフィルタであり、
    前記第２のカラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色と、赤外線光を透過させることが可能なＩＲパスフィルタからなるフィルタであり、
    前記圧縮センシングにおいては、前記第１のカラーフィルタと前記第２のカラーフィルタを通る過程が観測行列とされ、色チャンネルごとの前記観測行列と観測画像を用いて、各色チャンネルにおける前記被写体の画像の復元処理が行われ、
    前記観測画像は、
    前記シアン（Ｃｙ）のフィルタを透過した光が、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第１の観測画像と、
    前記マゼンタ（Ｍｇ）のフィルタを透過した光が、前記赤（Ｒ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第２の観測画像と、
    前記黄（Ｙｅ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第３の観測画像と、
    前記白（Ｗ）のフィルタを透過した光が、前記赤（Ｒ）、前記緑（Ｇ）、前記青（Ｂ）のフィルタと前記ＩＲパスフィルタをさらに透過することで得られる第４の観測画像と
    を含む
    撮像装置。
JP2014155662A 2014-07-31 2014-07-31 画像処理装置、画像処理方法、及び、撮像装置 Active JP6595161B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014155662A JP6595161B2 (ja) 2014-07-31 2014-07-31 画像処理装置、画像処理方法、及び、撮像装置
US15/328,241 US10593717B2 (en) 2014-07-31 2015-07-21 Image processing apparatus, image processing method, and imaging apparatus
PCT/JP2015/003640 WO2016017107A1 (en) 2014-07-31 2015-07-21 Image processing apparatus, image processing method, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014155662A JP6595161B2 (ja) 2014-07-31 2014-07-31 画像処理装置、画像処理方法、及び、撮像装置

Publications (3)

Publication Number Publication Date
JP2016034055A JP2016034055A (ja) 2016-03-10
JP2016034055A5 JP2016034055A5 (ja) 2017-09-07
JP6595161B2 true JP6595161B2 (ja) 2019-10-23

Family

ID=53801133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014155662A Active JP6595161B2 (ja) 2014-07-31 2014-07-31 画像処理装置、画像処理方法、及び、撮像装置

Country Status (3)

Country Link
US (1) US10593717B2 (ja)
JP (1) JP6595161B2 (ja)
WO (1) WO2016017107A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6655790B2 (ja) * 2016-06-16 2020-02-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像システム
KR102543392B1 (ko) 2017-12-05 2023-06-13 애어리3디 인크. 깊이 획득을 위한 명시야 이미지 처리 방법
US11721031B2 (en) * 2020-10-28 2023-08-08 Stmicroelectronics (Research & Development) Limited Scalable depth sensor

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03289293A (ja) * 1990-04-04 1991-12-19 Mitsubishi Electric Corp 撮像装置
JP4027441B2 (ja) * 1995-12-18 2007-12-26 オリンパス株式会社 カラー画像撮像装置
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
TW448340B (en) * 2000-12-12 2001-08-01 Ind Tech Res Inst Single-lens instantaneous three-dimensional image taking apparatus
US7426271B2 (en) * 2003-04-25 2008-09-16 Palo Alto Research Center Incorporated System and method for establishing secondary channels
JP2005354610A (ja) * 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
SE0402576D0 (sv) * 2004-10-25 2004-10-25 Forskarpatent I Uppsala Ab Multispectral and hyperspectral imaging
JP4949806B2 (ja) 2006-11-10 2012-06-13 オンセミコンダクター・トレーディング・リミテッド 撮像装置及び画像信号処理装置
US20090124037A1 (en) * 2007-11-13 2009-05-14 United Microelectronics Corp. Method of preventing color striation in fabricating process of image sensor and fabricating process of image sensor
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
US8761525B2 (en) * 2009-11-20 2014-06-24 Tripurari Singh Method and system for compressive color image sampling and reconstruction
JP5227368B2 (ja) * 2010-06-02 2013-07-03 パナソニック株式会社 ３次元撮像装置
JP5507362B2 (ja) * 2010-06-30 2014-05-28 パナソニック株式会社 ３次元撮像装置および光透過板
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
US9628776B2 (en) * 2011-04-07 2017-04-18 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional imaging device, image processing device, image processing method, and image processing program
FR2974449A1 (fr) 2011-04-22 2012-10-26 Commissariat Energie Atomique Circuit integre imageur et dispositif de capture d'images stereoscopiques
US8902281B2 (en) * 2012-06-29 2014-12-02 Alcatel Lucent System and method for image stabilization in videoconferencing
CN102801984B (zh) * 2012-07-31 2016-04-20 陶霖密 彩色图像传感器及获取彩色数字图像的方法
US9343491B2 (en) * 2013-05-06 2016-05-17 Gonzalo Arce Spectral imaging sensors and methods

Also Published As

Publication number Publication date
WO2016017107A1 (en) 2016-02-04
US10593717B2 (en) 2020-03-17
US20170214890A1 (en) 2017-07-27
JP2016034055A (ja) 2016-03-10

Similar Documents

Publication Publication Date Title
WO2022088311A1 (zh) 图像处理方法、摄像头组件及移动终端
US20110228097A1 (en) Image Sensor Including Color and Infrared Pixels
US20120154596A1 (en) Reducing noise in a color image
JP5493054B2 (ja) 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置
WO2017104411A1 (ja) 撮像素子、画像処理装置および方法、並びにプログラム
US8111298B2 (en) Imaging circuit and image pickup device
US9219894B2 (en) Color imaging element and imaging device
CN210143059U (zh) 图像传感器集成电路、图像传感器以及成像系统
JP4968527B2 (ja) 撮像装置
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
US11275296B2 (en) Signal processing apparatus and imaging apparatus
US9185375B2 (en) Color imaging element and imaging device
US20150116554A1 (en) Color imaging element and imaging device
JP2011176710A (ja) 撮像装置
JP2019103129A (ja) 固体撮像装置、固体撮像装置の駆動方法、および電子機器
JP6595161B2 (ja) 画像処理装置、画像処理方法、及び、撮像装置
JP2015185943A (ja) フィルタアレイ付マイクロレンズおよび固体撮像装置
JPWO2015133130A1 (ja) 映像撮影装置、信号分離装置および映像撮影方法
US10075687B2 (en) Imaging apparatus and imaging method to obtain high quality luminance images
JP2015103971A (ja) 固体撮像装置及びデジタルカメラ
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
JP2012169705A (ja) 撮像装置
US11218679B2 (en) Image processing device, image processing method, and imaging device
RU2579003C1 (ru) Устройство компьютерной системы для панорамного сканирования цветного изображения
JP2008035090A (ja) 信号処理方法およびカメラ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190926

R150 Certificate of patent or registration of utility model

Ref document number: 6595161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150