WO2021166450A1 - 画像処理方法、センサ装置 - Google Patents

Abstract

複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、カラーフィルタ配置画素によって色彩情報取得点が形成されたアレイセンサを用いた撮像により得られた画像について物体検出を行う。そして検出した物体の画素範囲内に該当する色彩情報取得点で得られる色情報を参照して、検出した物体の画素範囲の着色処理を行う。

Description

画像処理方法、センサ装置

　本技術は画像処理方法及びセンサ装置に関し、特にアレイセンサで得た画像信号に対しての着色処理を想定する技術に関する。

　撮像素子を配列したイメージセンサでは、いわゆるベイヤー配列として知られるように、緑のカラーフィルタが赤と青の各フィルタの２倍の数で、Ｒ（赤）－Ｇ（緑）フィルタが並んだ列と、Ｇ（緑）－Ｂ（青）フィルタが並んだ列が交互になる様な配列を行っているものがある。
　また、下記特許文献１には、ベイヤー配列とは異なる色（イエローやシアン等）を含む配列を用いたカラーフィルタ配列が開示されている。

特開２０１９－１２２０４５号公報

　イメージセンサの分野では、高感度化、高解像度化という要求が存在する。
　まず高感度化という点については、撮像素子への入射光子数を上げることが必要になるが、このためには、画素（撮像素子）のサイズを大きくすることや、入射光子ロスを削減するという考え方がある。

　入射光子数のロスに着目すると、その大きな要因としてはカラーフィルタによる吸収がある。カラーフィルタでは約６６％のロスが生じる。しかしながらカラーフィルタを用いない色分離三板方式などはコスト面で合理的でなく、一方、カラーフィルタを用いる方式はコスト面の優位性と、色再現性が比較的良いことから広く用いられており、カラーフィルタによる入射光子数のロスが余儀なくされているケースが多い。このため例えば画素サイズの拡大により入射光子数を増加させることが困難な小型のイメージセンサは、感度向上の点で不利となっている。

　またベイヤー配列のカラーフィルタが用いられる場合、解像度は実際の画素数の１／４になり、高解像度化には不利である。さらに色モアレや偽色に対するローパスフィルタ処理により解像度が低下するということもある。

　このような状況に鑑みて本開示では、高感度化、高解像度化を実現できる技術を提案する。

　本技術に係る画像処理方法は、複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されたアレイセンサを用いた撮像により得られた画像について物体検出を行い、検出した物体の画素範囲内に該当する前記色彩情報取得点で得られる色情報を参照して、検出した物体の画素範囲の着色処理を行う。
　撮像を行うイメージセンサとしてのアレイセンサは、一部にカラーフィルタが配置され、他はカラーフィルタが配置されていない画素とする。従って当該他の画素からは輝度情報のみが得られるが、これに対して着色処理を行うことでカラー画像を生成する。この場合に、物体検出を行うとともに、その物体の画素範囲の着色のためにカラーフィルタを配置した画素による色彩情報取得点の情報を用いるようにする。

　上記した本技術に係る画像処理方法においては、前記着色処理では、検出した物体について学習データに基づく色推定処理により候補色を設定し、前記色彩情報取得点から得られた色情報に基づいて候補色の選定を行って、検出した物体の画素範囲の着色を行うことが考えられる。
　即ち着色処理では、まず画像内の物体検出を行い、物体のクラス（種別）に応じて候補色を設定する。候補色の中で、色彩情報取得点で得られた色情報を用いることで実際の色に近い候補色を選定する。

　本技術に係るセンサ装置は、複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されたアレイセンサと、前記アレイセンサでの撮像により得られた画像について物体検出を行い、検出した物体の画素範囲内に該当する前記色彩情報取得点で得られる色情報を参照して、検出した物体の画素範囲の着色処理を行う演算部と、を備える。
　演算部は、カラーフィルタが配置された画素により形成される色彩情報取得点を有するアレイセンサで撮像された画像（画像信号）について処理を行う。この場合に、物体検出を行うとともに、その物体の画素範囲の着色のためにカラーフィルタを配置した画素による色彩情報取得点の情報を用いるようにする。

　上記した本技術に係るセンサ装置においては、前記演算部は、検出した物体について学習データに基づく色推定処理により候補色を設定し、前記色彩情報取得点から得られた色情報に基づいて候補色の選定を行って、検出した物体の画素範囲の着色処理を行うことが考えられる。
　演算部は、アレイセンサで得られた画像内の物体検出を行い、物体のクラス（種別）に応じて候補色を設定する。候補色の中で、色彩情報取得点で得られた色情報を用いることで実際の色に近い候補色を選定する。

　上記した本技術に係るセンサ装置においては、前記演算部は、前記色彩情報取得点から得られた色情報に基づいて選定した候補色に基づいてカラーレイヤーを生成し、カラーレイヤーを前記アレイセンサから得られた輝度情報画像と合成することでカラー画像を生成することが考えられる。
　即ち着色処理では、カラーレイヤーと輝度情報画像の合成を行ってカラー画像を生成する。

　上記した本技術に係るセンサ装置においては、前記演算部は、前記アレイセンサから得られる輝度情報画像に対して、前記色彩情報取得点に該当する画素の輝度補正を行ったうえで、輝度情報画像とカラーレイヤーの合成を行うことが考えられる。
　輝度情報画像において色彩情報取得点とされている画素は、カラーフィルタが配置された画素であるため、他の画素に比べて低感度になっている。そこで輝度補正を行う。

　上記した本技術に係るセンサ装置においては、前記色彩情報取得点を形成しない画素の総面積は、前記アレイセンサ上の全有効画素の総面積のうちの２５％を超えるようにされていることが考えられる。
　アレイセンサにおいては、カラーフィルタが配置されて色彩情報取得点を構成する画素（以下「カラー画素」ともいう）と、カラーフィルタが配置されていない画素（以下「クリア画素」ともいう）が設けられることになるが、全有効画素のうちで、クリア画素の総面積が２５％を越えるものとする。

　上記した本技術に係るセンサ装置においては、前記アレイセンサにおいて、前記色彩情報取得点は離散的に配置されているようにすることが考えられる。
　色彩情報取得点の一単位は、１又は複数のカラー画素で形成される。この一単位の色彩情報取得点は、１次元または２次元に配列された画素のうちで離散的に配置されるようにする。

　上記した本技術に係るセンサ装置においては、前記アレイセンサにおいて、前記色彩情報取得点は一定間隔で配置されているようにすることが考えられる。
　一単位の色彩情報取得点は、１次元または２次元に配列された画素のうちで一定間隔で配置されるようにする。

　上記した本技術に係るセンサ装置においては、前記アレイセンサにおいて、前記色彩情報取得点は非一定間隔で配置されているようにすることが考えられる。
　一単位の色彩情報取得点は、１次元または２次元に配列された画素のうちで一定間隔とはせずに、ランダムに配置したり、中央に集中配置したり、拡散的に配置したり、ライン型に配置したりする。

　上記した本技術に係るセンサ装置においては、前記色彩情報取得点の一単位は、隣接した複数画素で構成されることが考えられる。
　例えば一単位の色彩情報取得点は、アレイセンサの垂直方向、水平方向、又は斜め方向に隣接した２以上の画素で構成されるものとする。

　上記した本技術に係るセンサ装置においては、前記色彩情報取得点の一単位は、隣接した複数画素で構成されるとともに、Ｒ画素、Ｇ画素、Ｂ画素を含むようにすることが考えられる。
　例えば一単位の色彩情報取得点は、アレイセンサの垂直方向、水平方向、又は斜め方向に隣接したＲ（赤）画素、Ｇ（緑）画素、Ｂ（青）画素で構成されるものとする。

　上記した本技術に係るセンサ装置においては、前記色彩情報取得点の一単位は、隣接した複数画素で構成されるとともに、Ｒ画素、Ｇ画素、Ｂ画素、及び他の色の画素を含むようにすることが考えられる。
　例えば一単位の色彩情報取得点は、アレイセンサの垂直方向、水平方向、又は斜め方向に隣接したＲ画素、Ｇ画素、Ｂ画素及び他の色の画素で構成されるものとする。

　上記した本技術に係るセンサ装置においては、前記色彩情報取得点の一単位は１つの画素で構成され、前記アレイセンサにおいて前記色彩情報取得点は離散的に配置されているようにすることが考えられる。
　例えば一単位の色彩情報取得点は、或る色を透過するカラーフィルタが配置された１画素で構成され、このような画素が離散的に配置されている。

　本技術に係るセンサ装置は、複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されており、前記色彩情報取得点を形成しない画素の総面積は、アレイセンサ上の全有効画素の総面積のうちの２５％を超えるアレイセンサを有する。
　即ちカラーフィルタが配置されていない画素（クリア画素）の面積が少なくとも１／４を超えるように確保する。

　本技術に係るセンサ装置は、複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されており、前記色彩情報取得点が離散的に配置されているアレイセンサを有する。
　１又は複数のカラー画素で形成される一単位の色彩情報取得点は、１次元または２次元に配列された画素のうちで離散的に配置されるようにする。

本技術の実施の形態のセンサ装置を示すブロック図である。 機械学習による色生成と着色の説明図である。 機械学習によるカラー化の説明図である。 機械学習によるカラー化の説明図である。 実施の形態の色彩情報取得点の説明図である。 実施の形態の色彩情報取得点の構成の説明図である。 実施の形態の色彩情報取得点と撮像画像の説明図である。 実施の形態の画像処理のフローチャートである。 実施の形態のカラーレイヤーの合成の説明図である。 実施の形態の色彩情報取得点の説明図である。 実施の形態の色彩情報取得点の非一定間隔配置例の説明図である。 実施の形態の色彩情報取得点の非一定間隔配置例の説明図である。 実施の形態の色彩情報取得点の一定間隔配置例の説明図である。 実施の形態の色彩情報取得点の一定間隔配置例の説明図である。 実施の形態の色彩情報取得点の一定間隔配置例の説明図である。 実施の形態の色彩情報取得点の非一定間隔配置例の説明図である。 実施の形態の色彩情報取得点の非一定間隔配置例の説明図である。 実施の形態の色彩情報取得点の非一定間隔配置例の説明図である。 実施の形態の色彩情報取得点の複数画素による構成例の説明図である。 実施の形態の色彩情報取得点の複数画素による構成例の説明図である。 実施の形態の色彩情報取得点の複数画素による構成例の説明図である。 実施の形態の色彩情報取得点の単一の画素による構成例の説明図である。 実施の形態に適用できる他の構成例のブロック図である。 実施の形態に適用できるさらに他の構成例のブロック図である。

　以下、実施の形態を次の順序で説明する。
<１．センサ装置の構成>
<２．機械学習による着色>
<３．実施の形態のセンサ構造と着色処理>
<４．色彩情報取得点の配置及び構成>
<５．センサ装置の他の構成例>
<６．まとめ及び変形例>

　なお以下の説明する実施の形態としては、撮像素子アレイを有し、検出信号として画像信号を出力するイメージセンサとしてのセンサ装置１を例に挙げる。特に実施の形態のセンサ装置１は画像解析による物体検出機能を備えるものとし、インテリジェントアレイセンサと呼ぶことのできる装置である。

<１．センサ装置の構成>
　センサ装置１の構成例を図１に示す。なお図１にはセンサ装置１とデータ通信を行う外部装置としてプロセッサ１１、外部センサ１２も示している。プロセッサ１１はセンサ装置１と通信接続されるあらゆるプロセッサが想定される。

　センサ装置１は、ハードウェアとしては、イメージセンサデバイス、ＤＲＡＭ（Dynamic Random Access Memory）等の記憶領域、ＡＩ（artificial intelligence）機能プロセッサとしての構成部位を有している。そしてこれら３つが３レイヤー積層構造とされたり、１レイヤーでいわゆる平置き構成とされたり、或いは２レイヤー（例えばＤＲＡＭとＡＩ機能プロセッサが同一レイヤー）積層構造とされたりするなどとして一体型のデバイスとされる。

　図１のようにセンサ装置１は、アレイセンサ２、ＡＤＣ（Analog to Digital Converter）／ピクセルセレクタ３、バッファ４、ロジック部５、メモリ６、インターフェース部７、演算部８を有する。
　ＡＤＣ／ピクセルセレクタ３、バッファ４、ロジック部５は、アレイセンサ２で得られる検出信号を外部への出力のために信号処理する信号処理部３０となる。

　アレイセンサ２は、検出素子が可視光または非可視光の撮像素子とされ、複数の撮像素子が１次元または２次元に配列されて構成されている。例えば行方向及び列方向の２次元に多数の撮像素子が配列され、各撮像素子における光電変換により二次元画像信号を出力する構成とされる。

　ＡＤＣ／ピクセルセレクタ３は、アレイセンサ２によって光電変換された電気信号をデジタルデータ化し、デジタルデータとしての画像信号を出力する。
　なおＡＤＣ／ピクセルセレクタ３は、アレイセンサ２の画素（撮像素子）に対するピクセル選択の機能を持つことで、アレイセンサ２において選択した画素のみについて、光電変換信号を読み出しでデジタルデータ化して出力できるようにしてもよい。つまりＡＤＣ／ピクセルセレクタ３は、通常は１フレームの画像を構成する有効な画素の全てについて光電変換信号のデジタルデータ化出力を行うが、選択した画素のみについての光電変換信号のデジタルデータ化出力を行うこともできる。

　ＡＤＣ／ピクセルセレクタ３によって、フレーム単位で画像信号が読み出されるが、この各フレームの画像信号はバッファ４に一時記憶され、適切なタイミングで読み出されてロジック部５の処理に供される。

　ロジック部５では、入力される各フレーム画像信号に対して各種必要な信号処理（画像処理）を行う。
　例えばロジック部５では、色補正、ガンマ補正、色階調処理、ゲイン処理、輪郭強調処理、コントラスト調整処理、シャープネス調整処理、グレーレベル調整処理等の処理により画質調整を行うことが想定される。
　またロジック部５ではデータ圧縮処理、解像度変換、フレームレート変換、縦横比率変換、サンプリングレート変更など、データサイズを変更する処理を行うことも想定される。
　これらロジック部５で行われる各処理については、それぞれの処理に用いるパラメータが設定される。例えば色や輝度の補正係数、ゲイン値、圧縮率、フレームレート、解像度、処理対象の領域、サンプリングレートなどの設定値がある。ロジック部５では、それぞれの処理について設定されたパラメータを用いて必要な処理を行う。本実施の形態では、これらのパラメータを演算部８が設定する場合がある。

　ロジック部５で処理された画像信号はメモリ６に記憶される。
　メモリ６に記憶された画像信号は、必要なタイミングでインターフェース部７によりプロセッサ１１等に送信出力される。
　なお、メモリ６としてはＤＲＡＭ、ＳＲＡＭ（Static Random Access Memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory ：磁気抵抗メモリ）などが想定される。
　なおＭＲＡＭは磁気によってデータを記憶するメモリであり、磁気コアの代わりにＴＭＲ素子（Tunneling Magnetoresistive）を使用するものが知られている。ＴＭＲ素子は数原子分という極めて薄い絶縁物の層を磁性体ではさんだもので、磁性体の層の磁化の方向によって電気抵抗が変化する。ＴＭＲ素子の磁化の方向は電源が切られても変化せず、不揮発性のメモリとなる。微細化すればするほど書き込み電流を大きくする必要があるため、メモリセルを微細化するためには、磁界を使わず、スピンがそろった電子を流して書き込むスピン注入磁化反転方式（ＳＴＴ：Spin Torque Transfer）を用いたＳＴＴ－ＭＲＡＭが知られている。
　もちろんメモリ６の具体例としては、これら以外の記憶素子でもよい。

　センサ装置１の外部のプロセッサ１１では、センサ装置１から送信されてきた画像信号について、画像解析、画像認識処理を行って、必要な物体検出等を実行することができる。或いはプロセッサ１１は、画像信号の記憶、通信、表示等のための信号処理を行うものとしてもよい。
　プロセッサ１１は外部センサ１２の検出情報を参照することもできる。
　なお、プロセッサ１１は、有線又は無線でセンサ装置１と接続されることが考えられる。
　このプロセッサ１１は、センサ装置１と共通の筐体に設けられることが考えられる。例えばセンサ装置１を装備する撮像装置や端末装置内のプロセッサとされることが想定される。
　或いはまた、プロセッサ１１は、センサ装置１とは別体の装置に設けられるものでも良い。例えばセンサ装置１を装備する撮像装置や端末装置とケーブルや無線通信等で接続される情報処理装置、端末装置、画像編集装置、モニタ装置、通信装置等に内蔵されるものでもよい。
　さらにプロセッサ１１は、例えばクラウドコンピューティングシステムにおけるプロセッサとされ、センサ装置１或いはセンサ装置１を内蔵する機器との間でネットワーク通信が行われるものでもよい。

　演算部８は例えば１つのＡＩプロセッサとして構成される。そして実行可能な演算機能として図示するようにキーフレーム選択部８１、物体領域認識部８２、クラス識別部８３、パラメータ選択部８４、色彩処理部８５を備える。なおこれらの演算機能が複数のプロセッサにより構成されてもよい。

　キーフレーム選択部８１は、所定のアルゴリズム又は指示に応じて、動画としての画像信号のフレームの内でキーフレームを後述するアルゴリズムにより選択する処理を行う。

　物体領域認識部８２は、アレイセンサ２で光電変換され、ＡＤＣ／ピクセルセレクタ３によって読み出される画像信号のフレームに対して、検出の候補となる物体の領域の検出や、検出対象の物体について画像（フレーム）内での当該物体の面積の認識処理を行う。
　画像信号から検出される物体とは、画像からの認識を目的として検出対象となりうる物体のことをいう。センサ装置１やプロセッサ１１の検出の目的、処理能力、アプリケーション種別などに応じて、どのような物体が検出対象とされるかは異なるが、あらゆる物体が、ここでいう検出対象の物体とされる可能性がある。あくまで一部であるが例示すると、動物、移動体（自動車、自転車、航空機等）、自然物（野菜、植物等）、工業製品／部品、建造物、施設、山、海、川、星、太陽、雲などが該当する可能性がある。

　クラス識別部８３は、物体領域認識部８２は検出した物体についてクラス分類を行う。
　クラスとは、画像認識を用いて認識された物体のカテゴリーである。例えば「人」「自動車」「飛行機」「船」「トラック」「鳥」「猫」「犬」「鹿」「蛙」「馬」などのように検出すべき物体をクラス分けするものである。

　パラメータ選択部８４は、各クラスに応じた信号処理用のパラメータを記憶しており、クラス識別部８３が識別した検出物体のクラスやその面積等を用いて、対応する１又は複数のパラメータを選択する。そしてその１又は複数のパラメータをロジック部５に設定する。

　色彩処理部８５は、詳しくは後述するが、アレイセンサ２で得られた画像信号について着色処理を行う機能である。
　本実施の形態の場合、アレイセンサ２からは白黒画像としての各フレームの画像信号が取得される。その画像信号に対して着色処理をおこなってカラー画像を生成する。そのために機械学習に基づく候補色の設定や、後述する色彩情報取得点９０による色情報を用いた候補色の選定を行い、着色された画像信号を生成する。
　なお本開示でいう白黒画像とは、単に白と黒の２階調のみの画像を指すのではなく、多階調の輝度情報による画像、いわゆるグレースケールも含むものである。

　演算部８によるこれらの機能は、通常アレイセンサ内では行わなかった処理であり、本実施の形態では、物体検出やクラス認識、着色処理等をアレイセンサ内で実行する。これにより、プロセッサ１１へ供給する画像信号を、高品質なものとする。

　なおインターフェース部７は、プロセッサ１１へ画像信号を出力する他、演算部８で検出された物体の情報、クラスの情報、検出物体数、選択したパラメータの情報などを、例えばメタデータとして画像信号とともに出力することや、或いは画像信号とは独立して出力することができる。また例えばクラスの情報のみを出力するなどといったことも可能である。
　また例えばプロセッサ１１側が、インターフェース部７に対して必要な情報を指示し、インターフェース部７がそれに応じた情報を出力することも考えられる。

　ここで、キーフレーム選択部８１、物体領域認識部８２、クラス識別部８３、パラメータ選択部８４による物体検出及びパラメータ制御について簡単に説明しておく。

　キーフレーム選択部８１は、キーフレーム選択アルゴリズムに応じたタイミングでキーフレームを選択する処理を行う。
　センサ装置１はアレイセンサ２のピクセルアレイ出力信号であるフレーム単位の画像信号から、キーフレームを選択し、画像認識を行うことで、撮像対象の被写体のクラスを認識することになる。キーフレームの選択はキーフレーム選択アルゴリズムにより行われ、これにより静止画像（ある１フレーム）が選択される。
　キーフレーム選択アルゴリズムの例を挙げる。
　まず、指定した時間の間隔ごとに１フレーム選択するという手法がある。例えば３０秒間隔で１フレームをキーフレームとするなどである。もちろん３０秒というのは一例である。
　またセンサ装置１の外部（プロセッサ１１等）からの命令によるタイミングとしてキーフレームを選択することも考えられる。例えばセンサ装置１が搭載されているデバイス、機器側からの指示に応じたものとする。例えばセンサ装置１が自動車に搭載されているケースで、駐車場に停止していたが、走行を開始したタイミングなどでキーフレームを選択するなどである。
　またキーフレームの選択手法を状況に応じて変化させてもよい。例えばセンサ装置１が自動車に搭載される場合に、停車時、通常走行時、高速走行時でキーフレームの間隔を変更するなどである。

　キーフレームが選択されたら、物体領域認識部８２は、キーフレーム内の物体の候補となる位置の検出を行う。
　即ち物体領域認識部８２はキーフレームの画像において検出すべき物体の候補を探索し、１又は複数の候補の位置（画像内の位置座標）を求める。

　クラス識別部８３は、検出物体のクラス分類を行う。即ち物体の候補のそれぞれについてクラス識別を行い、分類する。
　上述のようにクラスとは画像認識を使って認識された物体のカテゴリーである。例えば検出した物体について「人」「花」といったクラス識別が行われる。

　パラメータ選択部８４はクラス識別結果として得られたクラスに応じたパラメータ制御を行う。

　例えばパラメータ選択部８４は、物体のクラス、数、面積等を元に パラメータセットを選択する。
　画像内に例えば１つのクラスが存在する場合は、パラメータ選択部８４はそのクラスに対応するパラメータセットを選択する。例えば識別されたクラスのうちに「人」が存在した場合、パラメータ選択部８４は、人の画像に適したパラメータセットを選択する。
　画面内に複数種類のクラスの物体が存在する場合は、以下の例が考えられる。
　例えば、各クラスのうち最も物体の数の多いクラスに対応するパラメータセットを選択することが考えられる。
　又は、画面内に複数種類のクラスの物体が存在する場合は、最も面積が大きい物体のクラスに対応するパラメータセットを選択することが考えられる。
　又は、画面内に複数種類のクラスの物体が存在する場合は、クラス毎に面積の総計が最も大きくなるクラスに対応するパラメータセットを選択することが考えられる。
　又は、画面内に複数種類のクラスの物体が存在する場合は、クラス毎の物体の数と面積の総計（又は最大値）から、最優先のクラスを求め、そのクラスに対応するパラメータセットを選択することが考えられる。
　もちろん他にもパラメータセットの選択手法は各種存在するが、いずれにしても画面内で支配的な物体、もしくは優先して検出すべき物体のクラスに応じたパラメータセットが選択されるようにすればよい。

　そしてパラメータ選択部８４は、選択したパラメータセットをロジック部５に設定する処理を行う。
　これによりロジック部５では以降、順次入力される各フレームの画像信号について、設定されたパラメータセットを用いて各種の画像処理を行う。
　処理された画像信号や設定されたパラメータ、或いは識別されたクラスの情報などはＤＲＡＭ６に一時的に記憶される。

　センサ装置１は、プロセッサ１１の要求に応じて画像信号（静止画、動画）、クラス識別情報（クラス、オブジェクト数等）、使用されたパラメータセット等の情報の全て、または少なくともいずれかを出力することになる。
　つまりメモリ６に一時記憶された情報のいずれかが、プロセッサ１１の要求に応じてインターフェース部７により読み出されて送信される。
　なお、この処理は、演算部８の制御によるものとしてもよいが、インターフェース部７を介したプロセッサ１１によるメモリ６に対するアクセスにより実行されるものでもよい。

　以上の処理により、プロセッサ１１には、画像に含まれる物体としてのクラスの存在に応じてパラメータ設定がなされた画像信号が供給される。その画像信号は、当該クラスに適した画質となるように画像処理が行われた画像信号であったり、当該クラスの物体検出に適した画像処理が行われた画像信号であったりすることになる。
　また、以上では演算部８がクラスに応じてロジック部５のパラメータを設定するとしたが、この処理は行われなくてもよい。

<２．機械学習による着色>
　ここで本開示の技術に至る事情について説明する。
　上述したようにイメージセンサの分野では、高感度化、高解像度化という要求が存在する。

　まず高感度化という点については、撮像素子への入射光子数を増加させることが必要になる。
　入射光子数を増加させるには、画素サイズを大きくするか、入射光子ロスを減らすことが考えられる。画素サイズを固定とする場合は、入射光子ロスの低減が重要となる。

　ここで入射光子ロスの要因としては以下がある。
・マイクロレンズの表面反射
・カラーフィルタによる吸収
・配線層における反射・吸収
・絶縁膜／シリコン界面における反射

　これらのうち入射光ロスの要因としては、カラーフィルタが最も大きい。カラーフィルタでは約６６％のロスが生ずる。しかしながら、コスト的な面や色再現性の優位性により、カラーフィルタ方式は広く採用されている。

　また高解像度化（高精細化）という点で考えると、カラーイメージセンサでは、同画素数の白黒イメージセンサと比較して解像度が１／４に下がる。
　多くのイメージセンサにはベイヤー配列でＲ／Ｇ／Ｂ／Ｇのカラーフィルタが用いられている。
　もともと色情報ではなく輝度のみを取得する画素にＲ，Ｇ，Ｂのフィルタを付けており、隣接する各Ｒ，Ｇ，Ｂの輝度値を合成してカラー化を行っている。
　結果的に、ベイヤー配列を適用したセンサの解像度は、元のセンサの１／４にしかならないという構造上の問題を持つ。

　またこのことにより、被写体には実際に無い色が発生して、偽色が現れたり、繰り返し模様とイメージセンサの画素配列が干渉して色モアレを発生したりすることもおきる。
　その為、ローパスフィルタ処理を行って画像をぼかすことにより上記の問題を軽減しているが、このことが更に解像度を下げる原因にもなっている。

　ここで視点を変えると、カラーフィルタを設けず、イメージセンサから輝度情報画像を取得し、これによる白黒画像（グレースケール画像を含む）に着色処理を施すことで、高感度、高解像度のカラー画像信号を得ることが可能と考えることができる。

　近年の画像処理では、機械学習による白黒写真のカラー化が実現されている。
　即ち機械学習による物体検出を用いて、白黒写真の着色を行う。物体検出では大量に事物を事前に学習しておくことにより、入力画像の中から物体の位置とカテゴリー（即ち上述の「クラス」）検出を行う。この物体検出の為の学習時に物体の形状と同時に色についても予め学習を行っておく。
　白黒画像を入力にして物体検出を行い、まず物体のクラスを推定することで、該当クラスの持つ色についても同様に学習データから推測することが可能となる。
　尚、この機械学習には、多層ニューラルネットワークを用いた、深層学習、いわゆるディープラーニングによる物体検出方法も含む。この着色のための機械学習及び自動着色については多様なアルゴリズムが知られている。

　ところが現状、機械学習による着色には限界がある。
　例えば図２Ａは白黒画像を模式的に示し、図２Ｂ、図２Ｃ、図２Ｄはそれぞれ機械学習に基づいて自動着色された画像を模式的に示している。これらの図ではハッチングや濃淡などにより異なる色を表現しているものとする。

　機械学習に基づく自動着色では、例えば深層学習の物体検出により画像の画素（ピクセル）単位で部位認識を行う。そして部位毎に学習データから候補色を推定し、全域を着色する。このときに、例えば図２Ｂ、図２Ｃ、図２Ｄのように異なる複数の候補色が導かれ、所定のアルゴリズムで最も確からしい候補色が選択され、着色処理されたカラー画像として出力される。
　ところが、このように候補色が必ずしも一意に決まるものではなく、また選択アルゴリズムも限界があるため、出力されるカラー画像は、実際の色とは大きく異なる状態となることがある。

　例えば図３Ａは実際の画像、図３Ｂは図３Ａの輝度情報のみで白黒化した画像、図３Ｃは機械学習による自動着色した画像を模式的に示している。
　図３Ｃの画像は、ネクタイや背景のカーテンの色が、実際とは異なる色になっている。

　また、学習による色の推定が極めて困難な画像もある。例えば図４Ａはカラーパレットの実際の画像、図４Ｂは図４Ａの輝度情報のみで白黒化した画像、図４Ｃは機械学習による自動着色した画像を模式的に示している。カラーパレットの色の配置は機械学習で推定することが極めて困難である。このため、自動着色でカラー化した画像を実際の画像と一致させることは難しい。

　これらのことから機械学習に基づく自動着色では色の再現性に限界があると言わざるを得ない。

　そこで本実施の形態では次の考え方を採る。
　アレイセンサ２においてカラーフィルタを除去するか、またはクリア（無色）フィルタとすることで、入射光子数を増加させて、高感度化を行い、白黒画像を得るようにする。またこれにより高解像度化を図り、さらに色モアレや偽色を解消することにより、ローパスフィルタ処理による解像度低下が生じないようにする。
　また白黒画像からカラー画像を得るために機械学習に基づく着色処理を行うが、その際に、一部の画素からは実際の色情報を取得し、それを反映させることで、より再現性の高い自動着色を実現する。
　実際の色情報を取得するためには、アレイセンサ２は、カラーフィルタを全く設けないとするのではなく、画素の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、このカラーフィルタ配置画素によって色彩情報取得点を形成されるようにする。
　このような考え方で、通常用いられているベイヤー配列や、他の有色カラーフィルタ配列を用いたイメージセンサと比べて高感度化、高解像度化を実現するとともに、色の再現性を確保する。

<３．実施の形態のセンサ構造と着色処理>
　実施の形態のセンサ装置１におけるアレイセンサ２の画素配列上に形成される色彩情報取得点９０の例を図５に示す。
　図５はアレイセンサ２の画素アレイ面２Ａを示しており、マス目の１つ１つが、輝度情報を得る１つの画素（ピクセル）であるとする。
　なお、実際のイメージセンサでは、輝度情報の取得に用いられる有効画素だけでなく、周囲縁部などにダミー画素が設けられる場合もあるが、本開示では説明上ダミー画素を無視し、有効画素の範囲で説明を行うものとしている。

　図５では有効画素とされる全画素範囲内において、垂直方向及び水平方向に一定間隔で色彩情報取得点９０（斜線を付した画素）が設けられている状態を示している。
　図５の破線領域ＡＸを拡大したものが図６Ａである。
　図６Ａは、ベイヤー配列のＲ画素、Ｇ画素、Ｂ画素、Ｇ画素の４つの画素で一単位の色彩情報取得点９０が形成されている例である。
　斜線及び“Ｒ”を付したマス目がＲ画素である。斜線及び“Ｇ”を付したマス目がＧ画素である。斜線及び“Ｂ”を付したマス目がＢ画素である。
　Ｒ画素とは入射光路にＲ光のみを透過するカラーフィルタが配置された画素、Ｇ画素とは入射光路にＧ光のみを透過するカラーフィルタが配置された画素、Ｂ画素とは入射光路にＢ光のみを透過するカラーフィルタが配置された画素である。

　斜線を付していないマス目で示す画素はクリア画素である。
　クリア画素とは、カラーフィルタを配置していない画素である。より具体的にはフィルタ部分がクリア（無色）であってカラーフィルタとして機能していない画素か、或いはフィルタ自体が存在しない画素を指す。
　なおクリア画素に対して、カラーフィルタを配置した画素を、カラー画素と呼ぶ。本実施の形態の場合、カラー画素とは、色彩情報取得点９０を構成する、カラーフィルタが配置された画素という意味となる。
　図６ＡのＲ画素、Ｇ画素、Ｂ画素はそれぞれカラー画素である。カラー画素は、他の色のフィルタを配置した画素も含む。

　なお図６Ｂは、Ｒ画素、Ｇ画素、Ｂ画素の３つの画素で一単位の色彩情報取得点９０が形成されている例である。このように色彩情報取得点９０は、ベイヤー配列の４つの画素により構成されるものに限定されるものではない。色彩情報取得点９０を各種の構成例は後述する。

　図５、図６からわかるように、画素アレイ面２Ａには、離散的に色彩情報取得点９０が形成されている。
　色彩情報取得点９０とは、カラーフィルタを任意の配列で配置した最少単位で、カラー情報を取得する機能を持つ。イメージセンサ内で色彩情報取得点９０の占める領域をカラーエリア、それ以外の領域の透明フィルタまたはフィルタが配置されていない領域（クリア画素の領域）をクリアエリアと定義する。
　アプリケーションによって色彩情報取得点９０の配置場所や数は異なる。バリエーションについては後述する。
　またアプリケーションによってイメージセンサの有効画素領域全体に占めるカラーエリアとクリアエリアの割合も異なる。
　本実施の形態の高感度化と高精細化が効果として現れる割合として、クリアエリアは全体の２５％を超える面積で配置される。
　図５の例では、明らかにクリアエリアの割合は全体の２５％を越えるものとなっている。図６Ａの例で言えば、６４画素の内、６０画素がクリア画素であるので、クリアエリアは９３．７５％である。

　図７Ａはアレイセンサ２により撮像される被写体画像を示し、図７Ｂは、これを図５のような色彩情報取得点９０の配置状態と重ねて示したものである。
　この場合、被写体としてコーヒーカップと背景の木が写されているが、コーヒーカップの画素範囲に該当するエリアにいくつかの色彩情報取得点９０が存在し、また背景の木の画素範囲に該当するエリアにいくつかの色彩情報取得点９０が存在することがわかる。
　１つの色彩情報取得点９０は、図６Ａ，図６ＢのようにＲ画素、Ｇ画素、Ｂ画素を含んで構成されるため、色彩情報取得点９０を構成する画素から得られる色情報として、実際のカップの色や背景の木の色を判定できることになる。

　センサ装置１では、このような色彩情報取得点９０を配置したアレイセンサ２を用いるとともに、演算部８では図８のような着色処理を実行する。

　図８のステップＳ１００としてアレイセンサ２から１フレーム単位の画像信号の出力が開始された後において、演算部８で実行される処理を示している。
　なお、アレイセンサ２から得られる１フレームの画像信号は、輝度情報のみの白黒（グレースケール）としての輝度情報画像信号である。但し、色彩情報取得点９０については、その部分の実際の色を示す色情報が取得できることになる。

　この図８の演算部８の処理は、ステップＳ１０１が主に図１に示したキーフレーム選択部８１、物体領域認識部８２、クラス識別部８３としての各機能により実行される処理であり、ステップＳ１０２以降は主に色彩処理部８５の機能により実行される処理となる。

　ステップＳ１０１で演算部８は物体検出を行う。即ちアレイセンサ２から出力された１フレームの画像について上述したように物体検出し、該当するクラスを判定する。

　ステップＳ１０２で演算部８は色推定を行う。即ち物体毎に判定したクラスと、学習データを用いた機械学習の処理により当該物体についての色を推定する。例えば人の顔であれば顔に適した色を機械学習に基づいて推定する。

　ステップＳ１０３で演算部８は画像内の各エリア、即ち画像内で検出された物体のエリア毎に、それぞれ機械学習の結果を用いて推定した複数の候補色を設定する。
　例えば図７Ａのような画像であれば、コーヒーカップが写されている画素範囲としてのエリアにおいて、いくつかの候補色を設定し、背景が写されている画素範囲としてのエリアにおいて、いくつかの候補色を設定するというようになる。

　ステップＳ１０４で演算部８は、画像内の各エリアのうちの１つのエリアを処理対象とし、そのエリア内に色彩情報取得点９０が存在するか否かを確認する。例えば図７Ｂのコーヒーカップに該当する画素範囲としてのエリアに色彩情報取得点９０が存在するか否かを確認する。
　処理対象としたエリアに色彩情報取得点９０が存在すれば、演算部８はステップＳ１０５に進み、当該エリア内に該当する色彩情報取得点９０による色情報を確認する。この色情報は、例えばＲ、Ｇ、Ｂのカラー画素により実際に撮像した色情報となる。そして実際の色情報を参照して、そのエリアの候補色の中で最も近い色の候補色を選定する。
　この場合、候補色の選定だけでなく、候補色とされた色の補正を行うようにしてもよい。

　もし処理対象としたエリアに色彩情報取得点９０が存在しなければ、演算部８はステップＳ１０６に進み、最も可能性が高い色とされた候補色を選定する。
　またステップＳ１０６では、物体検出ができなかったエリアであって候補色が設定できなかったエリアについて、可能性が高い色を選定する処理を行うようにしてもよい。

　ステップＳ１０７で演算部８は、画像内の各エリアについて、以上のステップＳ１０５又はステップＳ１０６の処理を終えたか否かを確認し、まだ未処理のエリアがあれば、ステップＳ１０４に戻って、そのエリアについて上記処理を行う。
　なお物体認識ができないエリアについては、輝度値などに基づいて１つのエリアの範囲を決め、そのエリア内については色彩情報取得点９０の有無をステップＳ１０４で判定する。そして存在する場合はステップＳ１０５で色彩情報取得点９０による色情報に基づいて色設定を行うようにすればよい。また色彩情報取得点９０が存在しなければステップＳ１０６で可能性が高い色を推定するという処理を行えば良い。
　全てのエリアについてステップＳ１０５又はステップＳ１０６の処理を終えたら、演算部８はステップＳ１０７からステップＳ１０８に進み、カラーレイヤーの生成を行う。

　カラーレイヤーとは、各画素の彩度情報を有する画像レイヤー情報である。即ち演算部８は各エリアについてステップＳ１０５，Ｓ１０６で選定した色により、１フレームの各画素の彩度情報を有するカラーレイヤーを生成する。

　ステップＳ１０９で演算部８は、アレイセンサ２で得られた輝度情報画像信号について色彩情報取得点９０を構成する画素の輝度情報の補正を行う。
　色彩情報取得点９０を構成する画素はカラーフィルタが配置されたカラー画素であり、入射光子数がクリア画素に比較して低下している。
　従って輝度情報画像の画素値（画素毎の輝度値）で比較した場合、色彩情報取得点９０を構成する画素は周囲のクリア画素に比べて輝度値が低下していることになる。
　そこで１フレームの輝度情報画像信号において、色彩情報取得点９０を構成する画素についての輝度値を上昇させるように補正する。これはクリア画素と同等の条件で入射光子数が得られた状態に補正することになる。
　例えばカラーフィルタによる入射光子数のロスが６６％であり、本来の輝度値の３４％となっているとする場合、その６６％のロスが生じていない値となるように輝度値を補正する。
　また周囲のクリア画素の輝度値を用いた補間処理によりカラー画素の輝度値を補正してもよい。

　ステップＳ１１０で演算部８は、白黒画像信号に対してカラーレイヤーを合成し、着色処理されたカラー画像を生成する。
　図９に合成のイメージを示す。アレイセンサ２から出力される輝度情報画像を白黒レイヤーとし、これをカラーレイヤーに合成することで、着色画像を得る。

　ステップＳ１１１で演算部８は、生成したカラー画像としての画像信号を出力する。例えば演算部８はバッファ４にカラー画像信号を転送する。
　このカラー画像信号はロジック部５で処理されて、メモリ６、インターフェース部７を介してプロセッサ１１に送信される。

　このようなカラー画像信号は、単に機械学習に基づいて輝度情報画像を着色したものではなく、色彩情報取得点９０で得られる実際の色を確認し、それを反映した色を選定して着色処理したものとなるため、極めて色再現性が優れたものとなる。

<４．色彩情報取得点の配置及び構成>
　以下では、色彩情報取得点９０の配置例や構成のバリエーションについて説明する。
　色彩情報取得点９０の配置例として図５には、画素アレイ面２Ａ内で一定間隔で配置する例を示したが、色彩情報取得点９０の配置は、アプリケーションに応じて、即ちセンサ装置の用途、使用目的、カラー画像要求精度などに応じて設定されることが望ましい。
　また、一単位の色彩情報取得点９０の構成も多様である。

　図１０には色彩情報取得点９０が非一定間隔で配置された一例を示している。
　またこの例では、一単位の色彩情報取得点９０は、図６Ｂに示したようにＲ画素、Ｇ画素、Ｂ画素の隣接した３つの画素で構成されるものとした。
　いずれにしても、色彩情報取得点９０の配置や構成は、色彩情報取得点９０を形成する画素を有しながら、クリアエリアの総面積は、アレイセンサ２の全有効画素の総面積のうちの２５％を超えるものとしつつ、アプリケーションに応じた配置となるようにすることが望ましい。
　また色彩情報取得点９０の配置や構成は、アレイセンサ２の画素アレイ面２Ａ上で離散的に配置されることが望ましい。

　各種の例を挙げていく。
　図１１は、センサ装置１が住宅の玄関等に取り付けられるドアカメラに用いられることを想定した例である。
　図は模式的に画素アレイ面２Ａにおいて色彩情報取得点９０を構成するカラー画素の位置を示している。ここでは例えば図６Ａのように４画素で一単位の色彩情報取得点９０が形成されるとしている。
　なお、あくまで説明のための模式図であるため、４画素による色彩情報取得点９０を拡大して示している。実際の一単位の色彩情報取得点９０の面積は、図示する面積よりもはるかに小さいことが想定される。

　ドアカメラの場合、顔の画像が重要となる。室内の人にとって訪問者等の顔が色を含めて正確に得られることが求められる。またセキュリティゲートなどの顔認証のためのカメラを考えると、顔認識／照合のために、同様に顔の部分の画像が重要である。
　そこでそのような用途の場合、図示のように、顔が写る中央部分に重点的に色彩情報取得点９０を配置することが考えられる。

　図１２は車載用カメラを想定している。車載用カメラとして５台のカメラを搭載しているとする。図では、前方中央を撮像するカメラのセンサ装置１の画素アレイ面２Ａ１、前方を広い視野で撮像するカメラのセンサ装置１の画素アレイ面２Ａ２、左側方を撮像するカメラのセンサ装置１の画素アレイ面２Ａ３、右側方を撮像するカメラのセンサ装置１の画素アレイ面２Ａ４、後方カメラのセンサ装置１の画素アレイ面２Ａ５を示している。

　前方中央を撮像するカメラのセンサ装置１の画素アレイ面２Ａ１では、中央に集中して色彩情報取得点９０を配置し、進行方向の物体の色再現機能を強化している。
　前方を広い視野で撮像するカメラのセンサ装置１の画素アレイ面２Ａ２では、垂直方向の数本のライン状に色彩情報取得点９０を配置し、左右方向から接近する物体について色再現機能を強化している。
　左右方向の画素アレイ面２Ａ３、２Ａ４では垂直方向の数本のライン状に色彩情報取得点９０を配置し、左側や右側で走行する物体や通過する物体について色再現機能を強化している。
　後方カメラのセンサ装置１の画素アレイ面２Ａ５では、全体的に色彩情報取得点９０を配置し、全体の色再現機能を広く維持できるようにしている。

　以上の図１１、図１２の例のようにアプリケーションに応じて、配置する位置や密度を設定することで、目的に適った色再現性を実現できる。

　このように色彩情報取得点９０は、一定間隔で配置する例や、非一定間隔で配置する例があり、さらにそれぞれアプリケーションに応じて多様な配置が考えられる。

　例えば色彩情報取得点９０を一定間隔で配置する場合、その配置間隔はアプリケーションに応じて多様に考えられる。図１３，図１４，図１５は、間隔が異なることで色彩情報取得点９０の密度が異なる例を示している。

　図１３Ａは、いわゆる４Ｋ、８Ｋなどの大判イメージセンサを採用するカメラの場合や、遠景を写すカメラ、監視カメラ等に用いられるセンサ装置１を想定し、色彩情報取得点９０を高い密度で配置した例である。
　例えば図１３Ｂは監視カメラの画像を例示しているが、このような場合、対象となる人が小さく写り、色も多様であることから、色彩情報取得点９０を高密度で配置することが望ましい。

　図１４Ａは、一般的な民生用カメラ等に用いられるセンサ装置１を想定し、色彩情報取得点９０を中程度の密度で配置した例である。
　図１４Ｂは一般的な風景の画像を例示しているが、上記の監視カメラ等と比較すると、同等の密度である必要はあまりない。そこである程度の色再現性が確保できる程度の密度で色彩情報取得点９０を配置する。

　図１５Ａは、ウエブカメラ等に用いられるセンサ装置１を想定し、色彩情報取得点９０を低密度で配置した例である。
　図１５Ｂはウエブカメラで撮像される画像を例示している。ウエブカメラでそれほどの色再現性を求められないような用途の場合、必要最低限の色再現性が確保できる低密度で色彩情報取得点９０を配置することが考えられる。

　また色彩情報取得点９０を非一定間隔で配置する場合、その配置例は例えば図１６，図１７，図１８のように各種考えられる。
　図１６は中央集中型の配置例を示し、上述のドアカメラなどに好適である。
　図１７は拡散型の配置例を示し、例えば車載カメラの正面方向のカメラなどに適用できる。
　図１８はライン型の配置例を示し、例えば車載カメラの横方向のカメラなどに適用できる。

　次に色彩情報取得点９０の構成について各種の例を挙げる。
　まず一単位の色彩情報取得点９０が複数画素で形成される例を示す。
　図１９Ａは、一単位の色彩情報取得点９０を、ベイヤー配列の４つの画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素）で形成した例である。

　図１９Ｂは、一単位の色彩情報取得点９０を、隣接する１６個の画素で形成した例である。この場合、４つのＲ画素、４つのＧ画素、４つのＢ画素、４つのＧ画素で色彩情報取得点９０を形成している。

　図１９Ｃは、一単位の色彩情報取得点９０を、隣接する３つの画素（Ｒ画素、Ｇ画素、Ｂ画素）で形成した例である。
　図１９Ｄは、一単位の色彩情報取得点９０を、隣接する１２個の画素で形成した例である。この場合、３つのＲ画素、３つのＧ画素、３つのＢ画素、３つのＧ画素で色彩情報取得点９０を形成している。斜線を付していないクリア画素は、色彩情報取得点９０に含まないと考えればよい。

　図１９Ｅは、一単位の色彩情報取得点９０を垂直方向に隣接して並ぶ３つの画素（Ｒ画素、Ｇ画素、Ｂ画素）で形成した例である。
　図１９Ｆは、一単位の色彩情報取得点９０を水平方向に隣接して並ぶ３つの画素（Ｒ画素、Ｇ画素、Ｂ画素）で形成した例である。
　図１９Ｇは、一単位の色彩情報取得点９０を水平方向に隣接して並ぶ９つの画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｂ画素、Ｒ画素、Ｇ画素、Ｂ画素）で形成した例である。

　図２０Ｂ、図２０Ｃ、図２０Ｄは、例えば図２０Ａのベイヤー配列の４つの画素（Ｒ画素、Ｇ画素、Ｂ画素、Ｇ画素）を基本として、一単位の色彩情報取得点９０の面積を拡大した例を示している。
　図２０Ｂは、ベイヤー配列の４つの画素のグループを水平垂直方向に４個隣接させて、一単位の色彩情報取得点９０を形成する例である。
　図２０Ｃは、ベイヤー配列の４つの画素のグループを水平垂直方向に９個隣接させて、一単位の色彩情報取得点９０を形成する例である。
　図２０Ｄは、ベイヤー配列の４つの画素のグループを水平垂直方向に１６個隣接させて、一単位の色彩情報取得点９０を形成する例である。

　また、一単位の色彩情報取得点９０は、必ずしもＲ画素、Ｇ画素、Ｂ画素の全てを含むものでなくてもよい。
　図２１Ａは、斜め方向に隣接する２個のＧ画素で一単位の色彩情報取得点９０が形成される例である。
　図２１Ｂは、斜め方向に隣接する８個のＧ画素で一単位の色彩情報取得点９０が形成される例である。
　なおもちろん、図２１Ａ、図２１Ｂの例で、Ｂ画素、或いはＲ画素を用いる例も考えられる。

　図２１ＣはＲ画素、Ｇ画素、Ｂ画素に加えて他の色の画素を含む例である。
　なお、他の色の画素とは入射光路に当該他の色の光を透過するカラーフィルタが配置された画素である。ここではＹ（イエロー）画素を例としている。
　図のようにＲ画素、Ｇ画素、Ｂ画素、Ｙ画素の４画素で一単位の色彩情報取得点９０が形成される。
　図２１Ｄは、図２１Ｃの構造の画素グループを４つ隣接させ、１６個のカラー画素で一単位の色彩情報取得点９０を形成した例である。

　ここではＹ画素を例に挙げたが、他の色の画素としてはマゼンタ画素、シアン画素など、他の色の画素を用いてもよい。
　また他の色としてＹ画素とマゼンタ画素など２種類以上の色の画素を用いてもよい。
　またＲ画素、Ｇ画素、Ｂ画素の全てを含まなくてもよい。例えばＲ画素、Ｇ画素、Ｙ画素で一単位の色彩情報取得点９０が構成される例や、Ｂ画素とＹ画素で一単位の色彩情報取得点９０が構成される例なども考えられる。
　色彩情報取得点９０に用いるカラー画素の色の組み合わせは、センサ装置１の用途、目的等に応じて決定されればよい。例えば再現性を確保したい色が特定の色である場合は、その色に合わせて色彩情報取得点９０の構造を決めれば良い。

　ここまで一単位の色彩情報取得点９０が複数の画素で構成される例を示したが、一単位の色彩情報取得点９０が１つの画素で構成されてもよい。
　図２２Ａは、色彩情報取得点９０が１つのＲ画素で構成される例を示している。
　この場合、画素アレイ面２Ａにおいて、図２２Ｂのように１画素による色彩情報取得点９０が離散的に配置される。

　もちろん色彩情報取得点９０は、Ｇ画素で構成することや、Ｂ画素で構成することも有り得る。
　また１つの画素による色彩情報取得点９０として、図２２Ｃに示すように、各色の画素を配置してもよい。即ちＲ画素による色彩情報取得点９０、Ｇ画素による色彩情報取得点９０、Ｂ画素による色彩情報取得点９０を、それぞれ離散的に配置する。

　以上の各例のように、色彩情報取得点９０の配置例や、色彩情報取得点９０の構成例は多様であり、例示した以外にも各種考えられる。

<５．センサ装置の他の構成例>
　センサ装置１の構成例としては、図１に限らず他の例が考えられる。
　図２３は、端末装置１００として、センサ装置１とは別体に演算部８が設けられている構成例である。なお端末装置１００としては、情報処理端末、撮像装置端末等、各種が考えられる。
　演算部８は、センサ装置１とは別チップとされて端末装置１００内に設けられ、センサ装置１とインターフェース部７を介して通信可能とされる。
　そして演算部８は色彩処理部８５としてのＤＮＮエンジンを備えることで、上記図１の場合と同様の処理を行うことができる。

　図２４の構成例は、色彩処理部８５としてのＤＮＮエンジンを、センサ装置１や演算部８とは独立したプロセッサ等により形成される場合の例である。
　例えば端末装置１００として、センサ装置１（演算部８を含む）、プロセッサ１１、外部センサ１２、及び色彩処理部８５を有する構成である。
　この場合も色彩処理部８５は、センサ装置１とはインターフェース部７を介して通信可能とされ、演算部８と連携して上記図１の構成の場合と同様の処理を行うことができる。

　さらに図示は省略するが、図２３のようにセンサ装置１と演算部８が別体の構成において、さらに色彩処理部８５が別体のプロセッサなどにより構成されてもよい。

　なお、キーフレーム選択部８１、物体領域認識部８２、クラス識別部８３、パラメータ選択部８４などについても、色彩処理部８５と同様に、センサ装置１の外、或いは演算部８の外に配置される構成とすることも考えられる。この点は図１の構成の変形例としても適用できる。

<６．まとめ及び変形例>
　以上の実施の形態では、次のような効果が得られる。
　実施の形態のセンサ装置１は、複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、カラーフィルタ配置画素によって色彩情報取得点９０が形成されたアレイセンサ２と、演算部８を備える。
　そして演算部８は、色彩情報取得点９０を有するアレイセンサ２を用いた撮像により得られた画像について物体検出を行い、検出した物体の画素範囲内に該当する色彩情報取得点９０で得られる色情報を参照して、検出した物体の画素範囲の着色処理を行う画像処理方法を実行する。

　この場合、アレイセンサ２としては、色彩情報取得点９０とされた画素以外は、カラーフィルタが設けられていないクリア画素であるため、入射光子ロスを減らし、入射光子数を増加させることができ、イメージセンサ全体として大幅な感度向上を実現できる。

　また、一般にカラーイメージセンサの場合は、白黒のイメージセンサに比較して解像度が下がる（例えばベイヤー配列の場合１／４に下がる）が、アレイセンサ２の各画素は白黒画素として輝度検出に用いられ、演算部８の処理で着色するものであるため、カラー画素による解像度低下は生じない。つまりカラー画像を出力するイメージセンサとして、高解像度化、高精細化を実現できる。

　また、一般にカラーイメージセンサの場合は偽色や色モアレが発生し、その対処のためにローパスフィルタ処理を行う場合があるが、本実施の形態の場合、そのような問題も発生しないため、ローパスフィルタ処理による解像度低下も発生しない。

　その上で着色処理は、物体検出を行って、物体の画素範囲に該当する色彩情報取得点９０の色情報を用いて行う。この場合、現実の色情報を参照することになるため、画像内で検出した物体について再現性の高い着色処理を行うことができる。

　実施の形態では、演算部８は、アレイセンサ２で得られた画像内で検出した物体について学習データに基づく色推定処理を行うことで機械学習に基づく着色が可能である。但し、機械学習による色推定では複数の候補が作成される。また学習データ内容や或いは図４で例示したような色が特定しにくいデザインの物体などでは、再現性に限界が生ずる。そこで色彩情報取得点９０による実際の色情報を参照し、機械学習で得られた候補色のうちで実際の色に近い候補色を選定する。これにより機械学習に基づく再現性の高い着色に加えて機械学習による着色の限界をカバーするような着色処理が可能となり、結果として、極めて再現性の高いカラー画像を生成することができる。
　つまり、本実施の形態では、高感度、高解像度でかつ再現性の高いカラー画像を生成できる。

　実施の形態では、色彩情報取得点９０から得られた色情報に基づいて選定した候補色に基づいてカラーレイヤーを生成し、カラーレイヤーを前記アレイセンサから得られた輝度情報画像と合成するこことでカラー画像を生成する（図８、図９参照）。
　これによりアレイセンサ２で得られる輝度情報、即ち白黒画像について機械学習及び色彩情報取得点９０の情報を用いた着色を反映させることができる。

　実施の形態では、アレイセンサ２から得られる輝度情報画像に対して輝度補正を行う例を挙げた（図８のステップＳ１０９）。
　色彩情報取得点９０の画素は、カラーフィルタを介しているため、クリア画素に比べて入射光子ロスが大きく、輝度が低下していることになる。すると、白黒レイヤーを構成する輝度情報画像では、色彩情報取得点９０の画素の輝度が通常画素よりも低いことになってしまい、画像全体として輝度の不均一性が生ずる。そこで色彩情報取得点９０の画素の輝度値を、カラーフィルタでロスする分だけ上昇させるように補正する。これにより白黒レイヤーの画像品質を向上させ、ひいては着色後のカラー画像の品質も向上させることになる。
　この場合、色彩情報取得点９０の画素の輝度補正を、周囲の画素の輝度情報から補間することなどで、より正確に実現できるようにもなる。

　実施の形態では、アレイセンサ２において、色彩情報取得点９０を形成しない画素の総面積は、前記アレイセンサ上の全有効画素の総面積のうちの２５％を超えるものとした。
　即ちクリア画素によるクリアエリアの総面積とカラー画素によるカラーエリアの総面積を比較したときに、
　（クリアエリア総面積）／（クリアエリア総面積＋カラーエリア総面積）
　が０．２５を超えるものとしている。
　また全ての画素が同面積であれば、
　（クリア画素数）／（クリア画素数＋カラー画素数）
　が０．２５を超えるものとしている。
　クリアエリアは高感度化、高精細化のために設けられるものであり、クリアエリア面積とカラーエリア面積の比率をこのようにすることは、上述した高感度化、高精細化の効果を良好に発揮させるものとなる。

　なお、高感度化、高精細化を重視する場合は、望ましくはクリアエリア面積が全有効画素の総面積の５０％を超えるものとしたり、７５％を超えるものとしたりするとよい。
　例えばクリアエリア面積が７５％を超えるものとする場合、クリア画素が支配的であり、色彩情報取得点９０を構成するカラー画素は少数であることになる。このようにクリア画素が支配的となる画素配置を実現すると、入射光子ロスの削減に極めて有効で、上述した高感度化、高精細化の効果がより良好に現れる。

　実施の形態では、アレイセンサ２において、色彩情報取得点９０は離散的に配置されているものとした。
　即ち一単位の色彩情報取得点９０は、連続しておらず、２次元に配置された画素アレイ上で離散的に配置されている（図６、図１０、図１３から図１８参照）。
　色彩情報取得点９０を離散的に配置することで、色彩情報取得点９０の数をなるべく多くせずに、画像内の各部について実際の色情報を取得できるようにすることができる。
　従って画像内の各所で検出された物体について、それぞれ実際の色情報を参照して再現性の高い着色処理が可能となる。
　なお画素が１次元に配置される場合も、離散的に配置することが想定される。

　実施の形態では、アレイセンサ２において、色彩情報取得点９０は一定間隔で配置されているものとした（図１３、図１４、図１５参照）。
　色彩情報取得点９０を一定間隔で配置することで、画像内でまんべんなく各部の実際の色情報を取得できるようになる。
　また要求される画像品質や、センサ装置１の使用目的などに応じて、一定間隔の密度を設定することで、使用目的等に基づく要求精度に応じた画像撮像、即ちアプリケーションに応じた画像撮像及びカラー画像生成が可能となる。例えば図１３、図１４、図１５では、色彩情報取得点９０の密度が異なる例を示したが、これらは使用目的、要求精度に応じた色彩情報取得点９０の配置例となる。
　特に感度上昇、高解像度化の点では、カラーフィルタが配置されたカラー画素の数は、少ないほどよい。一方で色彩情報取得点９０は多く配置した方が、色再現には有利となる。そこで、色彩情報取得点９０の配置は、使用目的、要求精度に応じてできるだけ少なくしつつ、色再現のために必要な数を確保するという考え方で、配置密度を設定することが望ましい。

　なお、色彩情報取得点９０を一定間隔で配置する場合、水平方向及び垂直方向ともに同じ間隔で配置してもよいが、水平方向に第１の一定間隔で配置し、垂直方向に第２の一定間隔で配置するというように、水平垂直方向で配置間隔を異なるようにしてもよい。
　また画素が１次元に配置される場合も、配列方向に一定間隔で色彩情報取得点９０を配置することが想定される。

　実施の形態では、アレイセンサ２において、色彩情報取得点９０は非一定間隔で配置されているものとした（図１０、図１１、図１２、図１６、図１７、図１８参照）。
　色彩情報取得点９０を非一定間隔で配置することで、撮像目的に応じた画像内での重要度を考慮して実際の色情報を取得できるようになる。
　センサ装置１が用いられる状況、即ち監視カメラ、車載カメラ、ウエブカメラなどのアプリケーションの違いにより、画像内での重要度の要求は異なる。そこで重要度の要求に合致するように色彩情報取得点９０を配置することで、アプリケーションに応じた画像撮像及びカラー画像生成が可能となる。例えば図１０、図１１、図１２、図１６、図１７、図１８では、色彩情報取得点９０が非一定間隔とされた配置例を示したが、これらは使用目的に適した色彩情報取得点９０の配置例となる。
　上述のように感度上昇、高解像度化の点では、カラーフィルタが配置されたカラー画素の数は少ないほどよいが、色彩情報取得点９０は多く配置した方が、色再現には有利となる。そこで、使用目的に応じて重要なエリアに高い密度で色彩情報取得点９０を配置することで、より望ましいカラー画像生成ができることになる。
　なお画素が１次元に配置される場合も、配列方向に非一定間隔で色彩情報取得点９０を配置することが想定される。

　実施の形態では、アレイセンサ２において、色彩情報取得点９０の一単位は、隣接した複数画素で構成される例を挙げた（図１９、図２０、図２１参照）。これらの図では、色彩情報取得点９０の一単位は、アレイセンサ２において垂直方向、水平方向、又は斜め方向に隣接した２以上の画素で構成されている。複数画素で構成することで、色情報をより正確に取得できる可能性を高めることができる。

　実施の形態では、アレイセンサ２において、色彩情報取得点９０の一単位は、隣接した複数画素で構成され、Ｒ画素、Ｇ画素、Ｂ画素を含む例を挙げた（図１９、図２０参照）。これらの図では、色彩情報取得点９０の一単位において三原色の画素が含まれることで、一単位の色彩情報取得点９０で多様な色情報を得ることができる。これにより色情報をより正確に取得できる可能性を高めることができる。

　実施の形態では、アレイセンサ２において、色彩情報取得点９０の一単位は、隣接した複数画素で構成され、Ｒ画素、Ｇ画素、Ｂ画素、他の色の画素（例えばＹ画素）を含む例を挙げた（図２１Ｃ、図２１Ｄ参照）。
　この場合も、一単位の色彩情報取得点９０で多様な色情報を得ることができる。特に特定の色の物体を検出したい要求がある場合には、その物体の検出に適した色の画素を配置することで、検出精度を向上させることができる。
　なお他の色の画素はイエローに限られない。例えばシアン、マゼンタなど各種の色が想定される。さらに他の色として２種類以上の色の画素が設けられても良い。

　実施の形態では、色彩情報取得点９０の一単位は１つの画素で構成され、アレイセンサ２において色彩情報取得点９０は離散的に配置されている例を挙げた（図２２参照）。
　このように或る１つの色情報を得るための色彩情報取得点９０を配置することでも、センサ装置１の撮像目的によっては、十分な色再現を行うことができる。
　図２２Ｂのように全ての色彩情報取得点９０を同じ色の画素とすることで、特定の色の物体検出の目的には適したものとなる。
　図２２Ｃのように、それぞれの色彩情報取得点９０で異なる色の画素とすることで、画像内の各部で多様な色検出ができる。
　そしてこれらのように一単位の色彩情報取得点９０を１画素で形成することで、カラーフィルタによる入射光子数の低下画素をより離散的にできる。

　実施の形態のセンサ装置１は、複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、カラーフィルタ配置画素によって色彩情報取得点９０が形成されており、色彩情報取得点９０を形成しない画素の総面積は、前記アレイセンサ上の全有効画素の総面積のうちの２５％を超えるアレイセンサ２を有するものとした。
　色彩情報取得点９０を構成するクリアエリア面積が２５％を超えるようにすることで、クリア画素による入射光子ロスの削減に有効になる。
　そのうえで色彩情報取得点９０を配置することで、センサ装置１内の演算部８、もしくはセンサ装置１外のプロセッサ１１等での着色処理の再現性向上を実現させることができる。

　実施の形態のセンサ装置１は、複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、カラーフィルタ配置画素によって色彩情報取得点９０が形成されており、色彩情報取得点９０が離散的に配置されているアレイセンサ２を有するものとした。
　色彩情報取得点９０を離散的に配置することで、色彩情報取得点９０の数をなるべく多くせずに、画像内の各部について実際の色情報を取得できるようにすることができる。従ってセンサ装置１内の演算部８、もしくはセンサ装置１外のプロセッサ１１等での着色処理の再現性向上を実現させることができる。

　本開示の技術は実施の形態の構成例に限らず各種の変形例が想定される。
　センサ装置１の構成は図１、図２３、図２４に例示したものに限られない。
　アレイセンサ２は可視光を受光する画素に限られず、非可視光の撮像素子が複数もうけられるものでもよい。
　色彩情報取得点９０の配置や構成は例示したものに限らず、さらに多様な例が考えられる。少なくとも一部の画素が用いられて色彩情報取得点９０が構成されればよい。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されたアレイセンサを用いた撮像により得られた画像について物体検出を行い、
　検出した物体の画素範囲内に該当する前記色彩情報取得点で得られる色情報を参照して、検出した物体の画素範囲の着色処理を行う
　画像処理方法。
　（２）
　前記着色処理では、
　検出した物体について学習データに基づく色推定処理により候補色を設定し、
　前記色彩情報取得点から得られた色情報に基づいて候補色の選定を行って、検出した物体の画素範囲の着色を行う
　上記（１）に記載の画像処理方法。
　（３）
　複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されたアレイセンサと、
　前記アレイセンサでの撮像により得られた画像について物体検出を行い、検出した物体の画素範囲内に該当する前記色彩情報取得点で得られる色情報を参照して、検出した物体の画素範囲の着色処理を行う演算部と、を備えた
　センサ装置。
　（４）
　前記演算部は、
　検出した物体について学習データに基づく色推定処理により候補色を設定し、前記色彩情報取得点から得られた色情報に基づいて候補色の選定を行って、検出した物体の画素範囲の着色処理を行う
　上記（３）に記載のセンサ装置。
　（５）
　前記演算部は、
　前記色彩情報取得点から得られた色情報に基づいて選定した候補色に基づいてカラーレイヤーを生成し、カラーレイヤーを前記アレイセンサから得られた輝度情報画像と合成するこことでカラー画像を生成する
　上記（４）に記載のセンサ装置。
　（６）
　前記演算部は、
　前記アレイセンサから得られる輝度情報画像に対して、前記色彩情報取得点に該当する画素の輝度補正を行ったうえで、輝度情報画像とカラーレイヤーの合成を行う
　上記（５）に記載のセンサ装置。
　（７）
　前記色彩情報取得点を形成しない画素の総面積は、前記アレイセンサ上の全有効画素の総面積のうちの２５％を超える
　上記（３）から（６）のいずれかに記載のセンサ装置。
　（８）
　前記アレイセンサにおいて、前記色彩情報取得点は離散的に配置されている
　上記（３）から（７）のいずれかに記載のセンサ装置。
　（９）
　前記アレイセンサにおいて、前記色彩情報取得点は一定間隔で配置されている
　上記（３）から（８）のいずれかに記載のセンサ装置。
　（１０）
　前記アレイセンサにおいて、前記色彩情報取得点は非一定間隔で配置されている
　上記（３）から（８）のいずれかに記載のセンサ装置。
　（１１）
　前記色彩情報取得点の一単位は、隣接した複数画素で構成される
　上記（３）から（１０）のいずれかに記載のセンサ装置。
　（１２）
　前記色彩情報取得点の一単位は、隣接した複数画素で構成されるとともに、Ｒ画素、Ｇ画素、Ｂ画素を含む
　上記（３）から（１１）のいずれかに記載のセンサ装置。
　（１３）
　前記色彩情報取得点の一単位は、隣接した複数画素で構成されるとともに、Ｒ画素、Ｇ画素、Ｂ画素、及び他の色の画素を含む
　上記（３）から（１２）のいずれかに記載のセンサ装置。
　（１４）
　前記色彩情報取得点の一単位は１つの画素で構成され、前記アレイセンサにおいて前記色彩情報取得点は離散的に配置されている
　上記（３）から（１０）のいずれかに記載のセンサ装置。
　（１５）
　複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されており、前記色彩情報取得点を形成しない画素の総面積は、アレイセンサ上の全有効画素の総面積のうちの２５％を超えるアレイセンサを有する
　センサ装置。
　（１６）
　複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されており、前記色彩情報取得点が離散的に配置されているアレイセンサを有する
　センサ装置。

１　センサ装置
２　アレイセンサ
３　ＡＤＣ／ピクセルセレクタ
４　バッファ
５　ロジック部
６　メモリ
７　インターフェース部
８　演算部
１１　プロセッサ
１２　外部センサ
３０　信号処理部
８１　キーフレーム選択部
８２　物体領域認識部
８３　クラス識別部
８４　パラメータ選択部
８５　色彩処理部
９０　色彩情報検知点
１００　端末装置

Claims (16)

1. 　複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されたアレイセンサを用いた撮像により得られた画像について物体検出を行い、
   　検出した物体の画素範囲内に該当する前記色彩情報取得点で得られる色情報を参照して、検出した物体の画素範囲の着色処理を行う
   　画像処理方法。
2. 　前記着色処理では、
   　検出した物体について学習データに基づく色推定処理により候補色を設定し、
   　前記色彩情報取得点から得られた色情報に基づいて候補色の選定を行って、検出した物体の画素範囲の着色を行う
   　請求項１に記載の画像処理方法。
3. 　複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されたアレイセンサと、
   　前記アレイセンサでの撮像により得られた画像について物体検出を行い、検出した物体の画素範囲内に該当する前記色彩情報取得点で得られる色情報を参照して、検出した物体の画素範囲の着色処理を行う演算部と、を備えた
   　センサ装置。
4. 　前記演算部は、
   　検出した物体について学習データに基づく色推定処理により候補色を設定し、前記色彩情報取得点から得られた色情報に基づいて候補色の選定を行って、検出した物体の画素範囲の着色処理を行う
   　請求項３に記載のセンサ装置。
5. 　前記演算部は、
   　前記色彩情報取得点から得られた色情報に基づいて選定した候補色に基づいてカラーレイヤーを生成し、カラーレイヤーを前記アレイセンサから得られた輝度情報画像と合成するこことでカラー画像を生成する
   　請求項４に記載のセンサ装置。
6. 　前記演算部は、
   　前記アレイセンサから得られる輝度情報画像に対して、前記色彩情報取得点に該当する画素の輝度補正を行ったうえで、輝度情報画像とカラーレイヤーの合成を行う
   　請求項５に記載のセンサ装置。
7. 　前記色彩情報取得点を形成しない画素の総面積は、前記アレイセンサ上の全有効画素の総面積のうちの２５％を超える
   　請求項３に記載のセンサ装置。
8. 　前記アレイセンサにおいて、前記色彩情報取得点は離散的に配置されている
   　請求項３に記載のセンサ装置。
9. 　前記アレイセンサにおいて、前記色彩情報取得点は一定間隔で配置されている
   　請求項３に記載のセンサ装置。
10. 　前記アレイセンサにおいて、前記色彩情報取得点は非一定間隔で配置されている
    　請求項３に記載のセンサ装置。
11. 　前記色彩情報取得点の一単位は、隣接した複数画素で構成される
    　請求項３に記載のセンサ装置。
12. 　前記色彩情報取得点の一単位は、隣接した複数画素で構成されるとともに、Ｒ画素、Ｇ画素、Ｂ画素を含む
    　請求項３に記載のセンサ装置。
13. 　前記色彩情報取得点の一単位は、隣接した複数画素で構成されるとともに、Ｒ画素、Ｇ画素、Ｂ画素、及び他の色の画素を含む
    　請求項３に記載のセンサ装置。
14. 　前記色彩情報取得点の一単位は１つの画素で構成され、前記アレイセンサにおいて前記色彩情報取得点は離散的に配置されている
    　請求項３に記載のセンサ装置。
15. 　複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されており、前記色彩情報取得点を形成しない画素の総面積は、アレイセンサ上の全有効画素の総面積のうちの２５％を超えるアレイセンサを有する
    　センサ装置。
16. 　複数の撮像素子が１次元または２次元に配列されるとともに、撮像素子の一部は入射光路にカラーフィルタが配置されたカラーフィルタ配置画素とされ、前記カラーフィルタ配置画素によって色彩情報取得点が形成されており、前記色彩情報取得点が離散的に配置されているアレイセンサを有する
    　センサ装置。

Images