JPWO2018179671A1 - 画像処理装置と画像処理方法および撮像装置 - Google Patents

Abstract

視差検出部３６ａは、白画素と色成分画素を含む第１視点の第１撮像信号ＰＳ-Hと、第１撮像信号よりも白画素を少なくして色成分画素の割合を多くした第１視点と異なる第２視点の第２撮像信号ＰＳ-Cに基づき、第１視点に対する第２視点の視差を検出する。視差補償部３７は、視差検出部３６ａで検出された視差に基づき第２視点の撮像信号に対して視差補償を行い、第１視点の視差補償色差信号を生成する。フォールバック判定部３８と信号選択部４１は、第１視点の色差信号に対して視差補償第２色差信号を用いるフュージョン処理での画質性能の低下のリスクに応じて、視差補償第２色差信号または第１視点の色差信号を選択して画質性能の低下を抑制しつつ高感度の撮像画を得る。

Description

この技術は、画像処理装置と画像処理方法および撮像装置に関し、複数の撮像部で取得された撮像画を用いて画質性能の低下を抑制しつつ高感度の撮像画を得られるようにする。

従来、携帯型の電子機器例えばスマートフォン等の情報処理端末では、小型化・薄型化のために撮像部の画質が一眼レフカメラ等に比べて低下している。このため、例えば特許文献１では、情報処理端末に対して着脱可能なカメラで生成された撮像画を、無線通信で情報処理端末に供給することが行われている。また、特許文献２では、複数の撮像部を設けて、画質の異なる複数の画像例えば第１の画角と第１の画角よりも狭い第２の画角の画像を同時に生成することが開示されている。

特開２０１５−０８８８２４号公報 特開２０１３−２１９５２５号公報

ところで、着脱可能なカメラは、情報処理端末の撮像部に比べてサイズが大きく、着脱可能なカメラを利用する場合には情報処理端末との通信を確立する必要がある。このため良好な撮像画を得るための操作が煩雑で携帯性も低下する。また、複数の撮像部を設けても、取得できる画像はそれぞれの撮像部の性能に応じた画像である。

そこで、この技術では複数の撮像部で取得された撮像画を用いて画質性能の低下を抑制しつつ高感度の撮像画を得ることができる画像処理装置と画像処理方法および撮像装置を提供することを目的とする。

この技術の第１の側面は、
第１視点の第１撮像信号と、前記第１視点と異なる第２視点であって第２撮像信号に基づき、前記第１視点に対する前記第２視点の視差を検出する視差検出部と、
前記第１撮像信号と、前記視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を生成する画像生成部とを備え、
前記第１撮像信号は白画素と色成分画素を含み、前記第２撮像信号は前記第１撮像信号よりも白画素が少なく色成分画素が多い画像処理装置にある。

この技術において、視差検出部は、例えば２画素×２画素の画素ブロック内において白画素を色成分画素以上に設けた第１視点の第１撮像信号と、第１撮像信号よりも白画素を少なくして色成分画素を多くした第１視点と異なる第２視点の第２撮像信号に基づき、第１視点に対する第２視点の視差を検出する。画像生成部は、視差検出部で検出された視差に基づき第２撮像信号に対して視差補償を行い、視差補償第２撮像信号を生成する。画像生成部は、所定の条件を満たす場合、すなわち第１撮像信号と視差補償第２撮像信号を用いてカラー画像を生成した場合に第１撮像信号から生成したカラー画像よりも画質性能の低下のリスクが閾値よりも低い場合、第１撮像信号と視差補償第２撮像信号を用いてカラー画像を生成して、所定の条件を満たさない場合に第１撮像信号からカラー画像を生成する。画像生成部は、例えば第１撮像信号と視差補償第２撮像信号に基づき、画質性能の低下のリスクを判別して、判別したリスクに応じた合成比で第１撮像信号に対して視差補償第２撮像信号を合成してカラー画像を生成する。

また、画像生成部は、第１撮像信号から第１輝度信号と第１色信号の生成と、第２撮像信号から第２輝度信号と第２色信号の生成と、第２色信号と前記視差検出部で検出された視差に基づき視差補償第２色信号の生成を行い、視差補償第２撮像信号を用いてカラー画像を生成した場合に第１撮像信号から生成したカラー画像よりも画質性能の低下を生じるリスクに応じて、第１色信号と前記視差補償第２色信号の何れかの選択または合成を行う。また、画像生成部は、リスクに応じて撮像画単位で第１色信号と視差補償第２色信号の何れかの選択または画素単位で第１色信号と視差補償第２色信号の合成を行う。

視差検出部は、第１輝度信号と第２輝度信号、または第１輝度信号と第２輝度信号と第１色信号と第２色信号を用いて視差検出を行う。また、第１撮像信号に基づき周波数検出を行い、検出結果に応じて視差検出部の制御を行う視差検出制御部を有し、視差検出部は、第１輝度信号と第２輝度信号に基づいて算出したコスト値と第１色信号と第２色信号に基づいて算出したコスト値を用いて視差検出を行い、視差検出制御部は、周波数検出結果に応じた合成比で２つのコスト値を統合した統合コスト値に基づき視差検出を行わせる。

また、画像生成部は、第１輝度信号に基づき周波数検出を行い、第１色信号に対して周波数検出結果に応じて画質改善処理を行う。また、画像生成部は、第２輝度信号の視差補償を行い視差補償第２輝度信号を生成して、第１輝度信号に視差補償第２輝度信号を合成して第１輝度信号の画質改善を行う。例えば、輝度画質改善部は、第１撮像信号を生成する撮像部のノイズ強度に応じて、第１輝度信号と視差補償第２輝度信号の合成比を設定する。

また、画像生成部は、第１撮像信号における白画素信号の補間処理と、色成分画素の画素信号と補間処理が行われた白画素信号を用いたデモザイク処理とデモザイク処理後の信号に対する色空間変換によって、第１色信号を生成する。例えば、画像生成部は、補間処理後の白画素信号と色成分画素の画素信号に基づく色比と処理対象画素の白画素信号を用いて処理対象画素の色成分毎の画素信号を生成する。また、画像生成部は、第１撮像信号における白画素信号の補間処理によって第１輝度信号を生成して、視差検出部は、信号生成部で白画素信号の補間処理によって生成された第１撮像信号を用いて視差検出を行う。

この技術の第２の側面は、
白画素と色成分画素を含む第１視点の第１撮像信号と、前記第１撮像信号よりも白画素を少なくして色成分画素の割合を多くした前記第１視点と異なる第２視点の第２撮像信号に基づき、前記第１視点に対する前記第２視点の視差を視差検出部で検出することと、
前記第１撮像信号と、前記視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を画像生成部で生成することと
を含む画像処理方法にある。

この技術の第３の側面は、
白画素と色成分画素を含む第１視点の第１撮像信号を生成する第１撮像部と、
前記第１撮像部よりも白画素を少なくして色成分画素の割合を多くした前記第１視点と異なる第２視点の第２撮像信号を生成する第２撮像部と、
前記第１撮像信号と前記第２撮像信号に基づき、前記第１視点に対する前記第２視点の視差を検出する視差検出部と、
前記第１撮像信号と、前記視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を生成する画像生成部と
を備える撮像装置にある。

この技術によれば、第１視点の第１撮像信号と、第１視点と異なる第２視点であって第２撮像信号に基づき、第１視点に対する前記第２視点の視差が視差検出部で検出される。また、第１撮像信号と、視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像が画像生成部で生成される。さらに、第１撮像信号は白画素と色成分画素を含み、第２撮像信号は前記第１撮像信号よりも白画素が少なく色成分画素が多くされる。したがって、白画素が第２撮像信号より多い第１撮像信号を基準に第２撮像信号を第１撮像信号にフュージョンするため、画質性能の低下を抑制しつつ高感度の撮像画を得ることができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像装置を適用した機器の外観を例示した図である。 情報処理端末の構成を例示した図である。 フュージョン処理によって得られる画質を説明するための図である。 オクルージョンを示した図である。 撮像部２１-Hの画素構成を例示した図である。 撮像部２１-cの画素構成を例示した図である。 画像処理部の第１の実施の形態の構成を例示した図である。 補間部の動作を説明するための図である。 デモザイク処理部３２-Hの構成を例示した図である。 フォールバック判定処理部の構成を例示した図である。 画像特徴量の算出対象領域を例示した図である。 視差ヒストグラムを例示した図である。 視差差分絶対値を説明するための図である。 視差ギャップヒストグラムを例示した図である。 画素値ヒストグラムを例示した図である。 画像処理部の第１の実施の形態の動作を例示したフローチャートである。 前処理を例示したフローチャートである。 画像処理部の第２の実施の形態の構成を例示した図である。 信号合成部の構成を例示した図である。 周波数検出部の動作を説明するための図である。 コアリング処理部４２２に記憶されているコアリングカーブを例示した図である。 コアリング処理部４２７に記憶されているコアリングカーブを例示した図である。 画像処理部の第２の実施の形態の動作を例示したフローチャートである。 画像処理部の第３の実施の形態の構成を例示した図である。 視差検出部の構成を例示した図である。 画像処理部の第４の実施の形態の構成を例示した図である。 画像処理部の第５の実施の形態の構成を例示した図である。 画像処理部の第６の実施の形態の構成を例示した図である。 画像処理部の第７の実施の形態の構成を例示した図である。 画像処理部の第８の実施の形態の構成を例示した図である。 色画質改善部の構成を例示した図である。 画像処理部の第９の実施の形態の構成を例示した図である。 画像処理部の第１０の実施の形態の構成を例示した図である。 信号合成部の構成を例示した図である。 コアリングカーブと判別情報の関係を例示した図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置を適用した機器の構成
２．画像処理の概要
３．第１の実施の形態
４．第２の実施の形態
５．第３の実施の形態
６．第４の実施の形態
７．第５の実施の形態
８．第６の実施の形態
９．第７の実施の形態
１０．第８の実施の形態
１１．第９の実施の形態
１２．第１０の実施の形態
１３．応用例

＜１．画像処理装置を適用した機器の構成＞
図１は、この技術の撮像装置を適用した機器の外観を例示している。なお、以下の説明では、例えば情報処理端末に撮像装置を適用している。図１の（ａ）は情報処理端末１０の表側を示しており、表示部５３および操作部５５が表側に設けられている。図１の（ｂ）は情報処理端末１０の裏側を示しており、複数の撮像部例えば２つの撮像部２１-BW，２１-CRが裏側に設けられている。

図２は、情報処理端末の構成を例示している。情報処理端末１０は、複数の撮像部例えば２つの撮像部２１-H，２１-C、画像処理部３０、センサ部５１、通信部５２、表示部５３、タッチパネル５４、操作部５５、記憶部５６、および制御部６０を有している。撮像部２１-H，２１-Cと画像処理部３０は、この技術の撮像装置を構成する機能ブロックであり、画像処理部３０はこの技術の画像処理装置に相当する。

撮像部２１-H，２１-Cは、図１の（ｂ）に示すように情報処理端末１０の同一面側に設けられている。撮像部２１-H，２１-Cは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部３０へ出力する。

画像処理部３０は、撮像部２１-Hと撮像部２１-Cで取得された撮像画を用いて、画質性能の低下を抑制しつつ高感度の撮像画を得る。すなわち、画像処理部３０は、撮像部２１-Hと撮像部２１-Cで取得された撮像画を用いて画像処理を行い、撮像部２１-Hや撮像部２１-Cで個々に取得される撮像画よりも画質性能の低下を抑制しつつ高感度の撮像画を生成して、表示部５３や記憶部５６へ出力する。なお、画像処理部３０の構成および動作の詳細については後述する。

センサ部５１はジャイロセンサなどを用いて構成されており、情報処理端末１０に生じた揺れを検出する。センサ部５１は、検出した揺れの情報を制御部６０へ出力する。

通信部５２は、ＬＡＮ(Local Area Network)やインターネットなどのネットワーク上の機器と通信を行う。

表示部５３は、画像処理部３０から供給された画像データに基づき撮像画の表示、制御部６０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。また、表示部５３の表示面側にはタッチパネル５４が載置されており、ＧＵＩ機能利用できるように構成されている。

操作部５５は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部６０へ出力する。

記憶部５６は、情報処理端末１０で生成された情報例えば画像処理部３０から供給された画像データや、情報処理端末１０で通信やアプリケーションを実行するために用いられる各種情報を記憶する。

制御部６０は、ＣＰＵ（Central Processing Unit），ＲＯＭ（Read Only Memory），ＲＡＭ（Random Access Memory）（図示せず）などで構成されている。制御部６０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、タッチパネル５４や操作部５５に対するユーザ操作に応じた動作が情報処理端末１０で行われるように各部の動作を制御する。

なお、情報処理端末１０は、図２に示す構成に限られず、例えば画像データを符号化して記憶部５６に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。

＜２．画像処理の概要＞
画像処理部３０は、撮像部２１-Hと撮像部２１-Cで取得された撮像画を用いてフュージョン処理を行う。図３は、フュージョン処理によって得られる画質を説明するための図である。例えば撮像部２１-Hで白黒撮像画を取得して撮像部２１-Cでカラー撮像画を取得している場合、白黒撮像画を基準としたフュージョン処理によって、カラー撮像画を白黒撮像画の視点に視差補償して色情報を用いることで高感度のフュージョン画像を生成できる。このため、画質性能を単眼画質（撮像部２１-Cのみを用いた場合の画質）よりも高められる。しかし、撮像部２１-Hと撮像部２１-Cでは視点が異なることから、視差の検出精度が低いと色ずれや色の欠落を生じるリスクが高くなり、色ずれや色の欠落によって画質性能は単眼画質（撮像部２１-Cのみを用いた場合の画質）よりも低下してしまう。また、白黒撮像画を基準としたフュージョン処理では、オクルージョンによって色の欠落が生じてしまう。図４は、オクルージョンを示している。撮像部２１-Hと撮像部２１-Cの視差によってオクルージョンが生じると、撮像部２１-Cで取得されたカラー撮像画ではオクルージョン領域に対応する色情報がない。このため、フュージョン処理によって生成されたフュージョン画像ではオクルージョン領域で色が欠落した画像となり画質性能が低下する。

そこで、本技術では、撮像部２１-Hは白画素と色成分画素を含む構成として第１視点の第１撮像信号を生成する。また、撮像部２１-Cは撮像部２１-Hよりも白画素を少なくして色成分画素の割合を多くして第１視点と異なる第２視点の第２撮像信号を生成する。すなわち、撮像部２１-Hは撮像部２１-Cよりも高感度である第１撮像信号を生成して、撮像部２１-Cは撮像部２１-Hよりも色解像度の高い第２撮像信号を生成する。さらに、撮像部２１-Hは色成分画素を含む構成であり、撮像部２１-Cよりも色解像度は低下しているが、撮像部２１-Cと同様に色成分画像を生成して、視差の違いによる色ずれや色の欠落等の画質性能の低下のリスクに応じて、撮像部２１-Hで取得した第１撮像信号から生成した色成分信号と撮像部２１-Cで取得した第２撮像信号から生成した視差補償後の色信号の選択または合成（ブレンド）を行い、画質性能の高いフュージョン画像を生成する。

図５は、撮像部２１-Hの画素構成を例示している。なお、図５および図６では、撮像領域の一部領域である５画素×５画素の領域を図示している。図５の（ａ）は、２画像×２画素の画素ブロックを赤画素（Ｒ）と青画素（Ｂ）と２つの白画素（Ｗ）で構成した場合を例示している。また、図５の（ｂ）は、２画像×２画素の画素ブロックを赤画素（Ｒ）または青画素（Ｂ）と３つの白画素（Ｗ）で構成した場合を例示している。図５の（ｃ）は、２画像×２画素の画素ブロックが赤画素（Ｒ）または青画素（Ｂ）と３つの白画素（Ｗ）で構成されたブロックと４つの白画素（Ｗ）で構成されたブロックを垂直方向または水平方向に交互に設けた構成を例示している。さらに、図５の（ｄ）は、２画像×２画素の画素ブロックを赤画素（Ｒ），青画素（Ｂ），緑画素（Ｇ）のいずれか１つと３つの白画素（Ｗ）で構成した場合を例示している。なお、図５の（ａ）乃至図５の（ｃ）では、緑画素（Ｇ）が設けられていないことから、後述するように、デモザイク処理によって生成した輝度画像と赤色画像と青色画像から緑色画像を生成する。

図６は、撮像部２１-cの画素構成を例示している。図６の（ａ）は、赤画素（Ｒ）と青画素（Ｂ）と緑画素（Ｇ）の三原色画素をベイヤー配列として設けた場合を例示している。また、図６の（ｂ）は、２画像×２画素の画素ブロックを赤画素（Ｒ）と青画素（Ｂ）と緑画素（Ｇ）の三原色画素とカラーフィルタが配されていない白画素（Ｗ）で構成した場合を例示している。

また、撮像部２１-Hの色毎の画素と撮像部２１-Cの色毎の画素は、分光感度差が所定よりも小さければ同一でなくともよい。また、撮像部２１-Hと撮像部２１-Cの画素構成は、図５および図６に示す画素構成に限られない。例えばカラーフィルタとして原色系フィルタを用いる場合に限らず補色系フィルタを用いてもよい。また、色配列はベイヤー配列に限らずストライブ配列やモザイク配列等のような他の色配列であってもよい。

画像処理部３０は、上述の第１撮像信号と第２撮像信号に基づき、第１視点に対する第２視点の視差を視差検出部で検出する。また、画像処理部３０は、第１撮像信号と、視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を画像生成部で生成する。画像生成部は、所定の条件を満たす場合、すなわち第１撮像信号と視差補償第２撮像信号を用いてカラー画像を生成した場合に第１撮像信号から生成したカラー画像よりも画質性能の低下のリスクが閾値よりも低い場合、第１撮像信号と視差補償第２撮像信号を用いてカラー画像を生成して、所定の条件を満たさない場合に第１撮像信号からカラー画像を生成する。例えば、画像処理部３０は、第１撮像信号から第１輝度信号と第１色信号の生成と、第２撮像信号から第２輝度信号と第２色信号の生成と、第２色信号と視差検出部で検出された視差に基づき視差補償第２色信号の生成を行い、視差補償第２撮像信号を用いてカラー画像を生成した場合に第１撮像信号から生成したカラー画像よりも画質性能の低下を生じるリスクに応じて、第１色信号と視差補償第２色信号の何れかの選択または合成等を行いカラー画像の色信号を生成する。また、カラー画像の輝度信号は、第１輝度信号または第２輝度信号を用いて画質改善がなされた第１輝度信号を用いる。

画像処理部３０は、このようなフュージョン処理を行い、撮像部２１-Hまたは撮像部２１-Cで取得される撮像画よりも画質性能の高い撮像画を表示または記録できるようにする。以下の実施の形態では、撮像部２１-Hで生成された第１撮像信号から輝度信号と色差信号を生成して、撮像部２１-Cで生成された第２撮像信号から輝度信号と色差信号を生成して、撮像部２１-Hの視点を基準とするフュージョン処理を色差信号または色差信号と輝度信号を用いて行う場合について説明する。

＜３．第１の実施の形態＞
次に画像処理部の第１の実施の形態について説明する。図７は、画像処理部の第１の実施の形態の構成を例示している。画像処理部３０-1は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ａ、視差補償部３７、フォールバック判定部３８、信号選択部４１を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて白画素の補間処理を行い、輝度画像の画像信号（以下「輝度信号」という）ＳＤｗを生成する。図８は、補間部の動作を説明するための図であり、撮像部２１-Hが例えば図６の（ｂ）に示す画素構成で赤画素または青画素の位置における白画素ＷCの画素値を補間処理によって算出する場合について説明する。

補間処理では、例えば上下左右の白画素の画素値を用いて式（１）の演算を行い、白画素Ｗ_Ｃの画素値ＤＷ_Ｃを算出する。なお、白画素Ｗ_Ｃの上側に隣接する白画素Ｗ_Ｔの画素値をＤＷ_Ｔ、白画素Ｗ_Ｃの下側に隣接する白画素Ｗ_Ｂの画素値をＤＷ_Ｂ、白画素Ｗ_Ｃの右側に隣接する白画素Ｗ_Ｒの画素値をＤＷ_Ｒ、白画素Ｗ_Ｃの左側に隣接する白画素Ｗ_Ｌの画素値をＤＷ_Ｌとする。
ＤＷ_Ｃ＝１／４（ＤＷ_Ｔ＋ＤＷ_Ｂ＋ＤＷ_Ｌ＋ＤＷ_Ｒ）・・・（１）

また、補間処理では、方向毎に補間コスト値を算出して、補間コスト値が最小となる補間画素の画素値を白画素Ｗ_Ｃの画素値としてもよい。式（２）は垂直補間の補間コスト値diff_ｖの算出式を示している。また、式（３）は水平補間の補間コスト値diff_ｈの算出式、式（４）（５）は斜め補間の補間コスト値diff_ｓ１，diff_ｓ２の算出式を示している。

ここで、垂直補間の補間コスト値diff_ｖが最小となった場合、式（６）に基づき垂直補間画素の画素値ＤＷ_ｖを算出して、算出した画素値ＤＷ_ｖを白画素Ｗ_Ｃの画素値ＤＷ_Ｃとする。水平補間の補間コスト値diff_ｈが最小となった場合、式（７）に基づき水平補間画素の画素値ＤＷ_ｈを算出して、算出した画素値ＤＷ_ｈを白画素Ｗ_Ｃの画素値ＤＷ_Ｃとする。斜め補間の補間コスト値diff_ｓ１が最小となった場合、式（８）に基づき斜め補間画素の画素値ＤＷ_ｓ１を算出して、算出した画素値ＤＷ_ｓ１を白画素Ｗ_Ｃの画素値ＤＷ_Ｃとする。また、斜め補間の補間コスト値diff_ｓ２が最小となった場合、式（９）に基づき斜め補間画素の画素値ＤＷ_ｓ２を算出して、算出した画素値ＤＷ_ｓ２を白画素Ｗ_Ｃの画素値ＤＷ_Ｃとする。なお、白画素Ｗ_Ｃの左上に隣接する白画素Ｗ_ＴＬの画素値をＤＷ_ＴＬ、白画素Ｗ_Ｃの右上に隣接する白画素Ｗ_ＴＲの画素値をＤＷ_ＴＲ、白画素Ｗ_Ｃの左下に隣接する白画素Ｗ_ＢＬの画素値をＤＷ_ＢＬ、白画素Ｗ_Ｃの右下に隣接する白画素Ｗ_ＢＲの画素値をＤＷ_ＢＲとする。
ＤＷ_ｖ＝１／２（ＤＷ_Ｔ＋ＤＷ_Ｂ） ・・・（６）
ＤＷ_ｈ＝１／２（ＤＷ_Ｌ＋ＤＷ_Ｒ） ・・・（７）
ＤＷ_ｓ１＝１／２（ＤＷ_ＴＬ＋ＤＷ_ＢＲ）・・・（８）
ＤＷ_ｓ２＝１／２（ＤＷ_ＴＲ＋ＤＷ_ＢＬ）・・・（９）

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して輝度信号ＳＤｗを生成する。補間部３１-Hは、生成した輝度信号ＳＤｗをデモザイク処理部３２-Hとフォールバック判定部３８、および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号、例えば三原色信号を生成する。図９は、デモザイク処理部３２-Hの構成を例示している。デモザイク処理部３２-Hは、赤色補間係数算出部３２１ｒ、青色補間係数算出部３２１ｂ、赤成分画像生成部３２２ｒ、青成分画像生成部３２２ｂおよび緑成分画像生成部３２２ｇを有している。

赤色補間係数算出部３２１ｒは、所定サイズ（図９では例えば５画素×５画素の場合を示す）のブロック範囲Ｊにおいて白画素Ｗの画素信号の和と赤画素Ｒの画素信号の和の比率である色比を式（１０）に基づき算出して、赤色補間係数ＲＴｒとして赤成分画像生成部３２２ｒへ出力する。

青色補間係数算出部３２１ｂは、所定サイズ（図９では例えば５画素×５画素の場合を示す）のブロック範囲Ｊにおいて白画素Ｗの画素信号の和と青画素Ｒの画素信号の和の比率である色比を式（１１）に基づき算出して、青色補間係数ＲＴｂとして青成分画像生成部３２２ｂへ出力する。

赤成分画像生成部３２２ｒは、式（１２）に示すように、補間部３１-Hで生成された輝度画像における補間画素位置（ｘ，ｙ）の画素値ＤＷ(x,y)に赤色補間係数算出部３２１ｒで算出された赤色補間係数ＲＴｒを乗算して、補間画素位置（ｘ，ｙ）における赤色画素の画素値ＤＲ(x,y)を算出する。
ＤＲ(x,y)＝ＲＴｒ×ＤＷ(x,y) ・・・（１２）

青成分画像生成部３２２ｂは、式（１３）に示すように、補間部３１-Hで生成された輝度画像における補間画素位置（ｘ，ｙ）の画素値ＤＷ(x,y)に青色補間係数算出部３２１ｂで算出された青色補間係数ＲＴｂを乗算して、補間画素位置（ｘ，ｙ）における青色画素の画素値ＤＢ(x,y)を算出する。
ＤＢ(x,y)＝ＲＴｂ×ＤＷ(x,y) ・・・（１３）

緑成分画像生成部３２２ｇは、式（１４）に示すように、補間部３１-Hで生成された輝度画像における補間画素位置（ｘ，ｙ）の画素値ＤＷ(x,y)から赤成分画像生成部３２２ｒで算出された補間画素位置（ｘ，ｙ）の画素値ＤＲ(x,y)と青成分画像生成部３２２ｂで算出された補間画素位置（ｘ，ｙ）の画素値ＤＢ(x,y)を減算して、補間画素位置（ｘ，ｙ）における緑色画素の画素値ＤＧ(x,y)を算出する。
ＤＧ(x,y)＝ＤＷ(x,y)−ＤＲ(x,y)−ＤＢ(x,y) ・・・（１４）

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて三原色画像信号を生成してＹＵＶ変換部３３-Hへ出力する。

デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、三原色画像信号をＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｈｙと色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した輝度信号Ｈｙを視差検出部３６ａ、色差信号Ｈｕｖを信号選択部４１へそれぞれ出力する。なお、色差信号Ｈｕｖは、輝度と青の差を示す色差信号Ｈｕと輝度と赤の差を示す色差信号Ｈｖを示している。

ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ａとフォールバック判定部３８、色差信号Ｃｕｖを視差補償部３７へそれぞれ出力する。なお、色差信号Ｃｕｖは、輝度と青の差を示す色差信号Ｃｕと輝度と赤の差を示す色差信号Ｃｖを示している。

視差検出部３６ａは、ＹＵＶ変換部３３-Hからの輝度信号ＨｙとＹＵＶ変換部３３-Cからの輝度信号Ｃｙを用いて、撮像部２１-Hで取得された撮像画を基準撮像画として撮像部２１-Cで取得された撮像画の視差を検出する。

視差検出部３６ａは、ブロックマッチングの対応点検出処理によって視差情報を生成する。例えば、基準撮像画上の注目位置を基準とした基準ブロック領域に最も類似する他方の撮像画上のブロック領域を、ＳＳＤ（Sum of Squared Difference）またはＳＡＤ（Sum of Absolute Difference）などのコスト値を用いて検出する。視差検出部３６ａは、検出したブロック領域と基準ブロック領域の位置の差を示す視差ベクトルを算出する。また、視差検出部３６ａは、基準撮像画上の各画素を注目位置として視差の算出を行い、画素毎に算出した視差ベクトルを示す視差情報を生成する。なお、視差情報の生成ではブロックマッチングに限らず他の手法例えばＫＬＴ（Kanade-Lucas-Tomasi）法等を用いてもよい。視差検出部３６ａは、生成した視差情報ＤＴａを視差補償部３７とフォールバック判定部３８へ出力する。

視差補償部３７は、視差検出部３６ａから供給された視差情報ＤＴａに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行う。視差補償部３７は、色差信号Ｃｕｖに対して視差検出部３６ａで生成された視差情報に基づき画素位置の移動を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号選択部４１へ出力する。

フォールバック判定部３８は、補間部３１-Hから供給された輝度信号ＳＤｗとＹＵＶ変換部３３-Cから供給された輝度信号Ｃｙ、および視差検出部３６ａから供給された視差情報ＤＴａに基づき画質性能の低下のリスクを判定する。さらに、フォールバック判定部３８は、画質性能の低下のリスクがない場合はＹＵＶ変換部３３-Hで生成された色差信号Ｈｕｖよりも色解像度の高い視差補償色差信号ＣＰｕｖを選択して、画質性能の低下のリスクがある場合、色差信号Ｈｕｖを選択するように信号選択制御信号ＥＴを生成する。

図１０は、フォールバック判定処理部の構成を例示している。フォールバック判定部３８は、画像特徴量算出部３８１と信号選択判定部３８２を有している。

画像特徴量算出部３８１は、視差および画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する。画像特徴量算出部３８１は、視差に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、視差ヒストグラム生成部３８１１、視差分布特徴量算出部３８１２、サーチ範囲超え特徴量算出部３８１３、視差ギャップヒストグラム生成部３８１４、視差ギャップ特徴量算出部３８１５を有している。また、画像特徴量算出部３８１は、画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、飽和判定ヒストグラム生成部３８１６、飽和特徴量算出部３８１７を有している。なお、画像特徴量算出部３８１は、撮像画全体を画像特徴量の算出対象領域としてもよく、図１１に示すように、撮像画において上下左右の端部側の領域（斜線で示す領域）を除いて算出対象領域を設定してもよい。このように、端部側の領域を除いて算出対象領域を設定すれば、例えば注目画素が側端の位置であるために視差や後述する視差ギャップ距離等の算出ができなくなってしまうことを防止することが可能となり、精度よく画像特徴を算出できるようになる。また、ヒストグラムの生成等の演算コストも低減できる。

視差ヒストグラム生成部３８１１は、算出対象領域の各画素について算出されている視差ベクトルを用いてヒストグラムを生成する。なお、図１２は、視差ヒストグラムを例示しており、図１２の（ａ）は、被写体が同一平面に近い状態であるの撮像画の視差ヒスグラム、図１２の（ｂ）は、被写体までの距離が異なる撮像画の視差ヒストグラムを例示している。この視差ヒストグラムでは、距離の違いにより視差「０」からマイナス方向に離れた位置にピークを生じている。図１２の（ｃ）は、被写体までの距離が異なり複数の視差を生じており、被写体が接近していることで大きな視差を生じる状態である撮像画の視差ヒストグラムを例示している。この視差ヒストグラムでは、図１２の（ｂ）に比べて被写体が接近して大きさ視差を生じていることから、図１２の（ｂ）よりもマイナス方向にさらに離れた位置にピークを生じている。

視差分布特徴量算出部３８１２は、視差ヒストグラム生成部３８１１で生成された視差ヒストグラムから視差分布の特徴を示す統計量を視差分布特徴量として算出する。視差分布特徴量算出部３８１２は、視差分布の特徴を示す統計量として例えば標準偏差を算出して、算出した標準偏差を視差分布特徴量ＦＶfsdとする。例えば図１２の（ａ）のヒストグラムから算出した視差分布特徴量を「ＦＶfsd-a」、図１２の（ｂ）のヒストグラムから算出した視差分布特徴量「ＦＶfsd-b」、図１２の（ｃ）のヒストグラムから算出した視差分布特徴量「ＦＶfsd-c」とする。この場合、視差分布特徴量は「ＦＶfsd-a＜ＦＶfsd-b，ＦＶfsd-c」となる。このように、視差分布特徴量算出部３８１２で視差ヒストグラムの標準偏差を視差分布特徴量ＦＶfsdとして算出すれば、後述する信号選択判定部３８２は、視差分布特徴量ＦＶfsdに基づき、被写体が同一平面に近いかあるいは複数の視差があるか判定できる。

サーチ範囲超え特徴量算出部３８１３は、視差ヒストグラム生成部３８１１で生成された視差ヒストグラムから予め設定されているサーチ範囲以上の視差を生じている度数（over_search_range_counter）の全度数（counter）に対する割合を示すサーチ範囲超え特徴量ＦＶosrを算出する。サーチ範囲超え特徴量算出部３８１３は、視差ヒストグラムを用いて式（１５）の演算を行い、サーチ範囲超え特徴量ＦＶosrを算出する。
ＦＶosr＝over_search_range_counter / counter *100 ・・・（１５）

視差ギャップヒストグラム生成部３８１４は、視差ギャップヒストグラムを生成する。図１３は、視差ギャップヒストグラムを生成に用いる視差差分絶対値を説明するための図である。視差ギャップヒストグラム生成部３８１４は、図１３に示すように、算出対象領域の注目画素の位置から水平に「−(PARALLAX_DIFF_DISTANCE/2)」の画素分だけ離れた位置の視差ＰＶ1を算出する。また、視差ギャップヒストグラム生成部３８１４は、注目画素位置から水平に「(PARALLAX_DIFF_DISTANCE/2)」の画素分だけ離れた位置の視差ＰＶ2を算出して、式（１６）に示す視差差分絶対値ＰＶapdを算出する。なお、視差ギャップ距離(PARALLAX_DIFF_DISTANCE)は予め設定されている。
ＰＶapd＝ＡＢＳ（ＰＶ1−ＰＶ2） ・・・（１６）

視差差分絶対値ＰＶapdは、例えば被写体が同一平面に近い状態である場合、視差ＰＶ1と視差ＰＶ2の差は小さいことから視差差分絶対値ＰＶapdの値は小さくなる。また、視差差分絶対値ＰＶapdは、例えば被写体までの距離が異なり、注目画素が距離の異なる被写体の境界であると、視差ＰＶ1と視差ＰＶ2の差が大きいことから視差差分絶対値ＰＶapdの値は大きくなる。視差ギャップヒストグラム生成部３８１４は、算出対象領域の各画素を注目画素として算出した視差差分絶対値ＰＶapdのヒストグラムである視差ギャップヒストグラムを生成する。なお、図１４は視差ギャップヒストグラムを例示している。

視差ギャップ特徴量算出部３８１５は、視差ギャップヒストグラム生成部３８１４で生成された視差ギャップヒストグラムから視差ギャップ特徴量ＦＶpdを算出する。視差ギャップ特徴量算出部３８１５は、視差ギャップヒストグラムから予め設定されている最大視差ギャップ距離以上の視差ギャップを生じている度数（large_parallax_diff_counter）の全度数（counter）に対する割合を示す視差ギャップ特徴量ＦＶpdを算出する。視差ギャップ特徴量算出部３８１５は、視差ギャップヒストグラムを用いて式（１７）の演算を行い、視差ギャップ特徴量ＦＶpdを算出する。
ＦＶpd = large_parallax_diff_counter / counter * 100 ・・・（１７）

このように、視差ギャップ特徴量算出部３８１５で算出された視差ギャップ特徴量ＦＶpdは、最大視差ギャップ距離を生じる画素の割合を示している。ここで、同一平面にある被写体は視差ギャップが小さく、距離が異なる被写体の画像境界部分では視差ギャップが大きいことから、距離が大きく異なる被写体の画像境界の発生状況を判定することが可能となる。

飽和判定ヒストグラム生成部３８１６は、補間部３１-Hから供給された輝度信号ＳＤｗに基づき画素値毎の度数（画素数）を示す画素値ヒストグラムを生成する。また、ＹＵＶ変換部３３-Cから供給された輝度信号Ｃｙに基づき画素値毎の度数(画素数)を示す画素値ヒストグラムを生成する。

図１５は画素値ヒストグラムを例示している。なお、図１５の（ａ）は輝度信号ＳＤｗに基づく画素値ヒストグラム、図１５の（ｂ）は輝度信号Ｃｙに基づく輝度値ヒストグラムを示している。上述のように、撮像部２１-Hは、可視光の全波長領域の入射光量に基づく電気信号を出力する白画素が撮像部２１-Cよりも多く設けられていることから、撮像部２１-Cに比べて感度が高い。したがって、同一輝度の被写体を撮像した場合、撮像部２１-Hで取得された撮像画に基づく画素値ヒストグラムは、撮像部２１-Cで取得された撮像画に基づく輝度値ヒストグラムに比べて信号値の高い領域での度数が高くなる。

飽和特徴量算出部３８１７は、飽和判定ヒストグラム生成部３８１６で生成された輝度値ヒストグラムに基づき飽和特徴量ＦＶsatを算出する。飽和特徴量算出部３８１７は、撮像部２１-Hで取得された撮像画に基づく画素値ヒストグラムにおける予め設定されている飽和判定設定値（SATURATION_AREA_W）以上の画素値の度数（saturation_counter_W）と、撮像部２１-Cで取得された撮像画に基づく画素値ヒストグラムにおける予め設定されている飽和判定設定値（SATURATION_AREA_Y）以上の画素値の度数（saturation_counter_Y）を算出する。また、飽和特徴量算出部３８１７は、度数（saturation_counter_W）と度数（saturation_counter_Y）の差分の全度数（counter）に対する割合を示す飽和特徴量ＦＶsatを算出する。飽和特徴量算出部３８１７は、撮像部２１-Hで取得された撮像画に基づく画素値ヒストグラムと撮像部２１-Cで取得された撮像画に基づく画素値ヒストグラムを用いて式（１８）の演算を行い、飽和特徴量ＦＶsatを算出する。
ＦＶsat＝(saturation_counter_W−saturation_counter_Y)/ counter * 100)
・・・（１８）

このように、飽和特徴量算出部３８１７で算出された飽和特徴量ＦＶsatは、画素飽和状況の相違を示している。したがって、例えば飽和特徴量の値が大きい場合、撮像部２１-Hで取得された撮像画を基準としたフュージョン処理において画素の飽和に起因する画質の劣化を生じる撮像画であることを判定することが可能となる。

信号選択判定部３８２は、画像特徴量算出部３８１で算出された画像特徴量と、制御部６０等から取得したカメラ特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判別する。信号選択判定部３８２は、判別結果に基づき信号選択制御信号ＥＴを生成して信号選択部４１へ出力する。信号選択判定部３８２は、画質の劣化を生じるか否かを判定する機能ブロックとして、個別判定部３８２１〜３８２５と統合判定処理部３８２８を有している。

個別判定部３８２１は、視差分布特徴量算出部３８１２で算出された視差分布特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８２１は、視差分布特徴量ＦＶfsdと視差分布特徴量に対して予め設定されている判定閾値Ｔｈfsdを比較する。個別判定部３８２１は、視差分布特徴量ＦＶfsdが判定閾値Ｔｈfsdよりも大きい場合、すなわち視差のばらつきが大きい場合に画質の劣化を生じると判定する。個別判定部３８２１は、個別判定結果を統合判定処理部３８２８へ出力する。

個別判定部３８２２は、サーチ範囲超え特徴量算出部３８１３で算出されたサーチ範囲超え特徴量ＦＶosrに基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８２２は、サーチ範囲超え特徴量ＦＶosrとサーチ範囲超え特徴量に対して予め設定されている判定閾値Ｔｈosrを比較する。個別判定部３８２２は、サーチ範囲超え特徴量ＦＶosrが判定閾値Ｔｈosrよりも大きい場合、オクルージョンの領域が多いことを判別できる。個別判定部３８２２は、個別判定結果を統合判定処理部３８２８へ出力する。

個別判定部３８２３は、視差ギャップ特徴量算出部３８１５で算出された視差ギャップ特徴量ＦＶpdに基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。個別判定部３８２３は、視差ギャップ特徴量ＦＶpdと視差ギャップ特徴量に対して予め設定されている判定閾値Ｔｈpdを比較する。個別判定部３８２３は、視差ギャップ特徴量ＦＶpdが判定閾値Ｔｈpdより大きい場合、距離が大きく異なる被写体の画像境界が多いことを判別できる。距離が大きく異なる被写体の画像境界はオクルージョンを生じやすいことから、距離が大きく異なる被写体の画像境界が多くなる場合に画質の劣化を生じると判定する。個別判定部３８２３は、個別判定結果を統合判定処理部３８２８へ出力する。

個別判定部３８２４は、飽和特徴量算出部３８１７で算出された飽和特徴量ＦＶsatに基づき、フュージョン画像が画質の劣化を生じるか否か判定する。個別判定部３８２４は、飽和特徴量ＦＶsatと飽和特徴量に対して予め設定されている判定閾値Ｔｈsatを比較する。個別判定部３８２４は、飽和特徴量ＦＶsatが判定閾値Ｔｈsatよりも大きい場合、すなわち、飽和している画素が撮像部２１-Cで取得された撮像画に比べて撮像部２１-Hで取得された撮像画で多くなる場合に画質の劣化を生じると判定する。個別判定部３８２４は、個別判定結果を統合判定処理部３８２８へ出力する。

個別判定部３８２５は、カメラ特徴量に基づき、フュージョン画像が画質の劣化を生じるか否かを判定する。カメラ特徴量としては、撮像時における明るさに関連した撮像設定情報や被写体距離に関連した撮像設定情報を用いる。被写体が明るい場合は撮像部２１-CRで感度の高い画像を取得できることからフュージョン処理の効果は被写体が暗い場合に比べて少ない。したがって、撮像時における明るさに関連した撮像設定情報をカメラ特徴量として用いる。また、撮像部２１-Hと撮像部２１-Cの視点の違いによって生じるオクルージョンは、被写体が離れている場合には少なく被写体が近い場合には多くなる。したがって、被写体距離に関連した撮像設定情報をカメラ特徴量として用いる。撮像時における明るさに関連した撮像設定情報としては例えば撮像部２１-H，２１-CのＩＳＯ感度や露光時間等の設定情報を用いる。被写体距離に関連した撮像設定情報としてはフォーカス位置やズーム倍率等の設定情報を用いる。個別判定部３８２５は、撮像部２１-H，２１-Cや制御部６０からカメラ情報を取得する。個別判定部３８２５は、カメラ特徴量とカメラ特徴量に対して予め設定されている判定閾値を比較して、フュージョン処理が画質の劣化を生じるか否か判定する。個別判定部３８２５は、個別判定結果を統合判定処理部３８２８へ出力する。

統合判定処理部３８２８は、個別判定部３８２１〜３８２５から供給された個別判定結果を用いて撮像画毎例えばフレーム単位でフォールバック判定を行い、フォールバック判定結果に応じて信号選択制御信号を生成して信号選択部４１へ出力する。例えば、統合判定処理部３８２８は、画質性能の低下のリスクが閾値よりも低い場合、すなわち個別判定部３８２１〜３８２５から供給された個別判定結果のいずれにおいても画質の劣化を生じないと判定されている場合、フォールバック判定ではフュージョン処理で画質性能の劣化なしと判定する。また、統合判定処理部３８２８は、画質性能の低下のリスクが閾値以上である場合、すなわち個別判定部３８２１〜３８２５から供給された個別判定結果のいずれかで画質の劣化を生じる判定されている場合、フォールバック判定ではフュージョン処理で画質性能の劣化有りと判定する。統合判定処理部３８２８は、例えば画質性能の劣化無しと判定されている場合はＹＵＶ変換部３３-Hで生成された色差信号Ｈｕｖよりも色解像度の高い視差補償色差信号ＣＰｕｖを選択して、画質性能の劣化有りと判定されている場合は色差信号Ｈｕｖを選択するように信号選択制御信号ＥＴを生成する。

信号選択部４１は、フォールバック判定部３８からの信号選択制御信号ＥＴに基づき、ＹＵＶ変換部３３-Hで生成された色差信号ＨｕｖまたはＹＵＶ変換部３３-Cで生成されて視差補償が行われた視差補償色差信号ＣＰｕｖのいずれかを色差信号ＳＤｕｖとして出力する。

画像処理部３０-1は、補間部３１-Hから出力された輝度信号ＳＤｗと信号選択部４１から出力された色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。なお、図７では、輝度信号と色差信号を表示部５３や記録部５６へ出力する構成を示しているが、輝度信号と色差信号の色空間変換部を設けて、例えば三原色の画像信号を表示部５３や記録部５６へ出力する構成としてもよい。

図１６は、画像処理部の第１の実施の形態の動作を例示したフローチャートである。ステップＳＴ１で画像処理部３０-1は前処理を行う。図１７は前処理を例示したフローチャートである。ステップＳＴ１１で画像処理部３０-1は補間処理を行う。画像処理部３０-1は、撮像部２１-Hで生成された撮像画の白画素を用いて補間処理を行い、輝度信号ＳＤｗを生成してステップＳＴ１２に進む。

ステップＳＴ１２で画像処理部３０-1はデモザイク処理を行う。画像処理部３０-1は、ステップＳＴ１１で生成した輝度信号ＳＤｗと撮像部２１-Hからの例えば赤画素と青画素の画素信号を用いてデモザイク処理を行い、赤成分画像と青成分画像と緑成分画像のそれぞれの画像信号を生成する。また、画像処理部３０-1は、撮像部２１-Cからの赤画素と青画素と緑画素の画素信号を用いてデモザイク処理を行い、赤成分画像と青成分画像と緑成分画像のそれぞれの画像信号を生成してステップＳＴ１３に進む。

ステップＳＴ１３で画像処理部３０-1はＹＵＶ変換を行う。画像処理部３０-1は、ステップＳＴ１２で輝度信号ＳＤｗと撮像部２１-Hからの画素信号を用いたデモザイク処理で生成した画像信号の色空間変換を行い、輝度信号Ｈｙと色差信号Ｈｕｖを生成する。また、画像処理部３０-1は、ステップＳＴ１２で撮像部２１-Cからの赤画素と青画素と緑画素の画素信号を用いたデモザイク処理で生成した画像信号の色空間変換を行い、輝度信号Ｃyと色差信号Ｃｕｖを生成して図１６のステップＳＴ２に戻る。

ステップＳＴ２で画像処理部３０-1は視差検出を行う。画像処理部３０-1はステップＳＴ１の前処理で生成した輝度信号Ｈｙと輝度信号Ｃｙを用いて視差検出を行い、視差検出結果を示す視差情報ＤＴａを生成してステップＳＴ３に進む。

ステップＳＴ３で画像処理部３０-1は視差補償を行う。画像処理部３０-1は、ステップＳＴ２で生成された視差情報ＤＴａを用いてステップＳＴ１で生成された撮像部２１-Cの視点の色差信号Ｃｕｖの視差補償を行い、撮像部２１-Hの視点である視差補償色差信号ＣＰｕｖを生成してステップＳＴ４に進む。

ステップＳＴ４で画像処理部３０-1はフォールバック判定を行う。画像処理部３０-1は、ステップＳＴ１の前処理で生成された輝度信号ＳＤｗ，Ｃｙ、およびステップＳＴ２で生成された視差情報ＤＴａに基づき画質性能の低下のリスクを判定してステップＳＴ５に進む。

ステップＳＴ５で画像処理部３０-1は信号選択処理を行う。画像処理部３０-1は、ステップＳＴ４のフォールバック判定によって画質性能の低下のリスクがないと判定された場合はステップＳＴ１の前処理で生成された色差信号Ｈｕｖよりも色解像度の高いステップＳＴ３で生成された視差補償色差信号ＣＰｕｖを選択する。また、画像処理部３０-1は、画質性能の低下のリスクがあると判定された場合、色差信号Ｈｕｖを選択する。さらに、画像処理部３０-1は、ステップＳＴ１の前処理で生成した輝度信号ＳＤｗと視差補償色差信号ＣＰｕｖまたは色差信号Ｈｕｖを、表示部や記録部等へ出力する。

このような、第１の実施の形態によれば、画像処理部３０-1では、画質性能の低下のリスクがない場合は色解像度の高い第２視点の色差信号から視差補償を行い、生成した視差補償色差信号を選択する処理と、画質性能の低下のリスクがある場合は第１視点の色差信号を選択する処理が撮像画単位で行われる。また、画像処理部３０-1は、選択された色差信号と高解像度である第１視点の輝度信号を表示部５３や記録部５６へ出力する。したがって、画像処理部３０-1を用いることで、撮像部２１-Hまたは撮像部２１-Cで取得される撮像画よりも画質性能の高い撮像画を表示または記録できるようになる。また、撮像部２１-Hには色成分画素が設けられており、撮像部２１-Hで生成された第１視点の第１撮像信号から色差信号を生成して、画質性能の低下のリスクがある場合は、第１視点の色差信号を選択するのでフュージョン処理後のカラー画像において色ずれや色の欠落を防止できる。

＜４．第２の実施の形態＞
上述の画像処理部の第１の実施の形態では、撮像部２１-Hからの信号に基づき生成した色差信号Ｈｕｖと撮像部２１-Cからの信号に基づき生成されて視差補償が行われた色解像度の高い視差補償色差信号ＣＰｕｖを、画質性能の低下を抑制しつつ高感度の撮像画が得られるように撮像画単位で選択する場合について説明した。次に、第２の実施の形態では、撮像部２１-Hからの信号に基づき生成した色差信号Ｈｕｖと撮像部２１-Cからの信号に基づき生成されて視差補償が行われた色解像度の高い視差補償色差信号ＣＰｕｖを、画質性能の低下を抑制しつつ高感度の画質性能の低下を生じないように画素単位で合成する場合について説明する。

図１８は、画像処理部の第２の実施の形態の構成を例示している。なお、上述の実施の形態との対応部分については同一符号を付している。画像処理部３０-2は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ａ、視差補償部３７、信号合成部４２を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-Hと信号合成部４２、および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｈｙと色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した輝度信号Ｈｙを視差検出部３６ａ、色差信号Ｈｕｖを信号合成部４２へそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ａ、色差信号Ｃｕｖを視差補償部３７へそれぞれ出力する。

視差検出部３６ａは、ＹＵＶ変換部３３-Hからの輝度信号ＨｙとＹＵＶ変換部３３-Cからの輝度信号Ｃｙを用いて、撮像部２１-Hで取得された撮像画を基準撮像画として撮像部２１-Cで取得された撮像画の視差を検出する。視差検出部３６ａは、視差の検出結果を示す視差情報を信号合成部４２へ出力する。

視差補償部３７は、視差検出部３６ａから供給された視差情報ＤＴａに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号合成部４２へ出力する
信号合成部４２は、画質性能が低下しないように、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖを合成して、合成後の色差信号ＳＤｕｖを表示部５３や記録部５６へ出力する。

図１９は、信号合成部の構成を例示している。信号合成部４２は、周波数検出部４２１、コアリング処理部４２２、低域通過フィルタ４２３，４２４、差分算出部４２５、絶対値算出部４２６、コアリング処理部４２７、合成比設定部４２８および合成処理部４２９を有している。

周波数検出部４２１は、補間部３１-Hで生成された輝度信号ＳＤｗを用いて、画素毎に検出対象画素がどのような周波数特性の画像における画素であるか検出する。図２０は、周波数検出部の動作を説明するための図である。周波数検出部４２１は、例えば輝度信号ＳＤｗで示される輝度画像の画素位置（ｘ，ｙ）に対して式（１９）に示す演算を行い、水平方向の周波数特性を示すアクティビティａｃｔ_ＨＯＲを算出する。なお、式（１９）において、「ｉ」は計測範囲内における移動位置を示すパラメータであり、図２０の場合は「ｉ＝１〜４」の値であり計測範囲は９画素である。また、式（１９）において、ダイナミックレンジＤＭＲは式（２０）に示すように、計測範囲内における画素値ＤＷの最大値と最小値の差分値である。

なお、撮像部２１-Hでは、撮像素子で生じたノイズによって画質性能が低下することからダイナミックレンジＤＭＲが撮像部２１-Hのノイズ強度σ以下である場合、アクティビティａｃｔ_ＨＯＲ＝０とする。

周波数検出部４２１は、水平方向と同様にして垂直方向のアクティビティａｃｔ_ＶＥＲを算出して、水平方向のアクティビティａｃｔ_ＨＯＲと垂直方向のアクティビティａｃｔ_ＶＥＲとの加算値を式（２１）に示すように、画素位置（ｘ，ｙ）のアクティビティａｃｔとする。周波数検出部４２１は、画素毎にアクティビティａｃｔを算出してコアリング処理部４２２へ出力する。
ａｃｔ＝ａｃｔ_ＨＯＲ ＋ ａｃｔ_ＶＥＲ ・・・（２１）

コアリング処理部４２２は、アクティビティａｃｔに応じた合成比（ブレンド比）αaを画素毎に設定する。コアリング処理部４２２では、アクティビティａｃｔに対する合成比αaを示すコアリングカーブが記憶されており、周波数検出部４２１で検出されたアクティビティａｃｔに対する合成比αaをコアリングカーブから求める。図２１は、コアリング処理部４２２に記憶されているコアリングカーブを例示している。例えばコアリングカーブは、アクティビティａｃｔが閾値Ｔｈa0以下である場合は合成比を「αa＝１」とする。アクティビティａｃｔが閾値Ｔｈa0よりも大きく閾値Ｔｈa1以下である場合は、アクティビティａｃｔが大きくなるに伴い合成比を「αa＝１」から「αa＝０」に順次低下させる。さらに、アクティビティａｃｔが閾値Ｔｈa1よりも大きい場合は合成比を「αa＝０」とする。コアリング処理部４２２は、アクティビティａｃｔに応じた合成比αaを設定して合成比設定部４２８へ出力する。なお、図２１および後述するコアリングカーブは例示であって、アクティビティａｃｔに応じて合成比がリニアに変化する場合に限られない。

低域通過フィルタ４２３は色差信号Ｈｕｖの低域通過フィルタ処理を行い、低域通過フィルタ４２４は視差補償色差信号ＣＰｕｖの低域通過フィルタ処理を行うことで、それぞれの色差信号の帯域を等しくする。また、低域通過フィルタ４２３，４２４は、低域通過フィルタ処理を行うことで色差信号の偽色等のノイズ成分を除去する。低域通過フィルタ４２３，４２４は、フィルタ処理後の色差信号を差分算出部４２５へ出力する。

差分算出部４２５は、低域通過フィルタ４２３から供給された低域通過フィルタ処理後の色差信号Ｈｕｖと、低域通過フィルタ４２３から供給された低域通過フィルタ処理後の視差補償色差信号ＣＰｕｖの差分を画素毎に算出して絶対値算出部４２６へ出力する。

絶対値算出部４２６は、差分算出部４２５で画素毎に算出された差分絶対値ａｂｓを算出してコアリング処理部４２７へ出力する。

コアリング処理部４２７は、差分絶対値ａｂｓに応じた合成比αbを設定する。コアリング処理部４２７では、差分絶対値ａｂｓに対する合成比αbを示すコアリングカーブが記憶されており、絶対値算出部４２６で算出された差分絶対値ａｂｓに対する合成比αb２をコアリングカーブから求める。図２２は、コアリング処理部４２７に記憶されているコアリングカーブを例示している。例えばコアリングカーブは、差分絶対値ａｂｓが閾値Ｔｈb0以下である場合は合成比を「αb＝０」とする。差分絶対値ａｂｓが閾値Ｔｈb0よりも大きく閾値Ｔｈb1以下である場合は、差分絶対値ａｂｓが大きくなるに伴い合成比を「αb＝０」から「αb＝１」に順次低下させる。さらに、差分絶対値ａｂｓが閾値Ｔｈb1よりも大きい場合は合成比を「αb＝１」とする。コアリング処理部４２７は、差分絶対値ａｂｓに応じた合成比αbを設定して合成比設定部４２８へ出力する。

合成比設定部４２８は、コアリング処理部４２２から供給された合成比αaとコアリング処理部４２７から供給された合成比αbを用いて式（２２）の処理を行い、合成比αa，αbのいずれか値の大きい合成比を、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖの合成比に設定して合成処理部４２９へ出力する。
α＝ｍａｘ（αa，αb） ・・・（２２）

合成処理部４２９は、合成比設定部４２８で設定された合成比αを用いて式（２３）の演算を画素毎に行い、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖが合成された色差信号ＳＤｕｖを生成する。すなわち、高域領域では偽色によって画質性能の低下を生じることから、画質性能の低下のリスクが閾値よりも低い場合、画質性能の低下のリスクに応じた合成比で色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖを合成して画質性能を色差信号Ｈｕｖのみを用いた場合以上の画質性能とする。また、画質性能の低下のリスクが閾値以上である場合は合成比α＝１として、色差信号Ｈｕｖを用いるようにする。
ＳＤｕｖ＝α×Ｈｕｖ＋（１−α）×ＣＰｕｖ ・・・（２３）

画像処理部３０-2は、補間部３１-Hから出力された輝度信号ＳＤｗと信号合成部４２から出力された色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

図２３は、画像処理部の第２の実施の形態の動作を例示したフローチャートである。ステップＳＴ２１で画像処理部３０-2は前処理を行う。画像処理部３０-2は、図１７に例示したフローチャートの処理を行い、輝度信号ＳＤｗと色差信号Ｈｕｖ、輝度信号Ｃｙと色差信号Ｃｕｖを生成してステップＳＴ２２に進む。

ステップＳＴ２２で画像処理部３０-2は視差検出を行う。画像処理部３０-2はステップＳＴ２１の前処理で生成した輝度信号Ｈｙと輝度信号Ｃｙを用いて視差検出を行い、視差検出結果を示す視差情報ＤＴａを生成してステップＳＴ２３に進む。

ステップＳＴ２３で画像処理部３０-2は視差補償を行う。画像処理部３０-2は、ステップＳＴ２２で生成された視差情報ＤＴａを用いてステップＳＴ２１で生成された撮像部２１-Cの視点の色差信号Ｃｕｖの視差補償を行い、撮像部２１-Hの視点である視差補償色差信号ＣＰｕｖを生成してステップＳＴ２４に進む。

ステップＳＴ２４で画像処理部３０-2は信号合成処理を行う。画像処理部３０-2では、画質性能が低下しないように、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖを合成して色差信号ＳＤｕｖを生成する。さらに、画像処理部３０-2は、ステップＳＴ２１の前処理で生成した輝度信号ＳＤｗと信号合成処理で生成された色差信号ＳＤｕｖを表示部や記録部等へ出力する。なお、画像処理部３０-2では、ステップ順に処理を行う順序処理に限らず、パイプライン処理で画素毎に順次処理を行うようにしてもよい。

このような、第２の実施の形態によれば、画像処理部３０-2では、色解像度の高い第２視点の色差信号から視差補償を行い、生成した視差補償色差信号と第２視点の色差信号よりも色解像度の低い第１視点の色差信号を、画質性能の低下のリスクに応じて画素単位で合成する処理が行われる。また、画像処理部３０-2は、高解像度である第１視点の輝度信号と合成処理で生成した色差信号を表示部５３や記録部５６へ出力する。したがって、画像処理部３０-2を用いることで、撮像部２１-Hまたは撮像部２１-Cで取得される撮像画よりも画質性能の高い撮像画を表示または記録できるようになる。また、画質性能の低下を生じないように画素単位で色差信号の合成する処理が行われるので色ずれや色の欠落等を画素単位で防止できる。

＜５．第３の実施の形態＞
次に、画像処理部の第３の実施の形態について説明する。第３の実施の形態では、視差検出精度を向上させることで視差補償色差信号ＣＰｕｖの視差補償を高精度に行い、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖの撮像画単位での選択に起因する画質劣化の低減や、フォールバック判定の判定精度の向上を図る。

図２４は、画像処理部の第３の実施の形態の構成を例示している。画像処理部３０-3は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ｂ、視差補償部３７、フォールバック判定部３８、信号選択部４１を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-Hとフォールバック判定部３８、および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｈｙと色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した輝度信号Ｈｙを視差検出部３６ｂ、色差信号Ｈｕｖを視差検出部３６ｂと信号選択部４１へそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ｂとフォールバック判定部３８、色差信号Ｃｕｖを視差検出部３６ｂと視差補償部３７へそれぞれ出力する。

視差検出部３６ｂは、輝度信号Ｈｙ，Ｃｙおよび色差信号Ｈｕｖ，Ｃｕｖを用いて視差検出を行う。図２５は、視差検出部の構成を例示している。視差検出部３６ｂは、コスト算出部３６１，３６２，３６３、コスト統合部３６４、コスト最小ベクトル判定部３６５を有している。

コスト算出部３６１，３６２，３６３は、撮像部２１-Hで取得された撮像画における視差検出対象画素位置を基準とした基準画像と、撮像部２１-Cで取得された撮像画における参照画像を用いてコストを算出する。

コスト算出部３６１は輝度信号Ｈｙにおける基準画像の信号と輝度信号Ｃｙにおける参照画像の信号を用いてコスト値（例えばＳＡＤ）ＣＯＳＴｙを算出してコスト統合部３６４へ出力する。コスト算出部３６２は色差信号Ｈｕにおける基準画像の信号と色差信号Ｃｕにおける参照画像の信号を用いてコスト値（例えばＳＡＤ）ＣＯＳＴｕを算出してコスト統合部３６４へ出力する。コスト算出部３６２は色差信号Ｈｖにおける基準画像の信号と色差信号Ｃｖにおける参照画像の信号を用いてコスト値（例えばＳＡＤ）ＣＯＳＴｖを算出してコスト統合部３６４へ出力する。

コスト統合部３６４は、コスト算出部３６１，３６２，３６３で算出されたコスト値を統合する。例えば、コスト統合部３６４は、コスト値の加算値を参照画像のコスト値ＣＯＳＴ（＝ＣＯＳＴｙ＋ＣＯＳＴｕ＋ＣＯＳＴｖ）をする。

また、コスト算出部３６１，３６２，３６３は、探索範囲内で参照画像を移動してコスト値を算出して、コスト統合部３６４は、順次移動した参照画像毎にコスト値ＣＯＳＴを算出して、コスト最小ベクトル判定部３６５へ出力する。

コスト最小ベクトル判定部３６５は、基準画像に対してコスト値ＣＯＳＴが最小となる参照画像の位置を示すベクトル情報を視差情報ＤＴｂとして用いる。なお、コスト値はＳＳＤを用いてもよく、ブロックマッチングに限らず他の手法を用いてもよい。

視差補償部３７は、視差検出部３６ｂから供給された視差情報ＤＴｂに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行う。視差補償部３７は、色差信号Ｃｕｖに対して視差検出部３６ｂで生成された視差情報に基づき画素位置の移動を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号選択部４１へ出力する。

フォールバック判定部３８は、補間部３１-Hから供給された輝度信号ＳＤｗとＹＵＶ変換部３３-Cから供給された輝度信号Ｃｙ、および視差検出部３６ｂから供給された視差情報ＤＴｂに基づき画質性能の低下のリスクを判定する。さらに、フォールバック判定部３８は、画質性能の低下のリスクがない場合はＹＵＶ変換部３３-Hで生成された色差信号Ｈｕｖよりも色解像度の高い視差補償色差信号ＣＰｕｖを選択して、画質性能の低下のリスクがある場合は色差信号Ｈｕｖを選択するように信号選択制御信号ＥＴを生成して信号選択部４１へ出力する。

信号選択部４１は、フォールバック判定部３８からの信号選択制御信号ＥＴに基づき、ＹＵＶ変換部３３-Hで生成された色差信号ＨｕｖまたはＹＵＶ変換部３３-Cで生成されて視差補償が行われた視差補償色差信号ＣＰｕｖのいずれかを色差信号ＳＤｕｖとして出力する。

画像処理部３０-3は、補間部３１-Hから出力された輝度信号ＳＤｗと信号選択部４１から出力された色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

なお、画像処理部の第３の実施の形態では、図１６に示す動作を行い、ステップＳＴ２の視差検出において、上述のように、輝度信号Ｈｙ，Ｃｙおよび色差信号Ｈｕｖ，Ｃｕｖを用いて視差検出を行えばよい。

このように、画像処理部の第３の実施の形態によれば、第１の実施の形態と同様に、撮像部２１-Hまたは撮像部２１-Cで取得される撮像画よりも画質性能の高い撮像画を表示または記録できるようになる。また、フュージョン処理で画質性能の低下のリスクがある場合でも、画質性能の低下を防止できる。さらに、高精度な視差補償が行われるので、第１視点の色差信号と色解像度の高い視差補償色差信号が撮像画単位で選択されることに起因する画質劣化を、第１の実施の形態に比べて低減できる。また、フォールバック判定の判定精度を第１の実施の形態よりも向上させることができる。

＜６．第４の実施の形態＞
次に、画像処理部の第４の実施の形態について説明する。第４の実施の形態では、視差検出精度を向上させることで視差補償色差信号ＣＰｕｖの視差補償を高精度に行うことで、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖの画素単位の合成処理に起因する画質劣化を低減させる。

図２６は、画像処理部の第４の実施の形態の構成を例示している。なお、上述の実施の形態との対応部分については同一符号を付している。画像処理部３０-4は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ｂ、視差補償部３７、信号合成部４２を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-Hと信号合成部４２、および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｈｙと色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した輝度信号Ｈｙを視差検出部３６ｂ、色差信号Ｈｕｖを視差検出部３６ｂと信号合成部４２へそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ａ、色差信号Ｃｕｖを視差検出部３６ｂと視差補償部３７へそれぞれ出力する。

視差検出部３６ｂは、ＹＵＶ変換部３３-Hからの輝度信号Ｈｙ色差信号ＨｕｖとＹＵＶ変換部３３-Cからの輝度信号Ｃｙと色差信号Ｃｕｖを用いて、撮像部２１-Hで取得された撮像画を基準撮像画として撮像部２１-Cで取得された撮像画の視差を検出する。視差検出部３６ｂは、視差の検出結果を示す視差情報ＤＴｂを視差補償部３７へ出力する。

視差補償部３７は、視差検出部３６ｂから供給された視差情報ＤＴｂに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号合成部４２へ出力する
信号合成部４２は、画質性能が低下しないように、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖを合成する。

画像処理部３０-4は、補間部３１-Hから出力された輝度信号ＳＤｗと信号合成部４２で生成された合成後の色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

なお、画像処理部の第４の実施の形態では、図２３に示す動作を行い、ステップＳＴ２２の視差検出において、上述のように、輝度信号Ｈｙ，Ｃｙおよび色差信号Ｈｕｖ，Ｃｕｖを用いて視差検出を行えばよい。

このように、画像処理部の第４の実施の形態によれば、第２の実施の形態と同様に、撮像部２１-Hまたは撮像部２１-Cで取得される撮像画よりも画質性能の高い撮像画を表示または記録できるようになる。また、第１視点の色差信号と色解像度の高い視差補償色差信号との画素単位の合成処理に起因する画質劣化を、第２の実施の形態よりも低減できる。

＜７．第５の実施の形態＞
次に、画像処理部の第５の実施の形態について説明する。第５の実施の形態では、第３の実施の形態と同様に、視差検出精度を向上させることで視差補償色差信号ＣＰｕｖの視差補償を高精度に行うことで、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖの撮像画単位の選択に起因する画質劣化の低減や、フォールバック判定の判定精度の向上を図る。また、第５の実施の形態では、輝度信号ＳＤｗを用いて視差検出を行う。

図２７は、画像処理部の第５の実施の形態の構成を例示している。画像処理部３０-5は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ｂ、視差補償部３７、フォールバック判定部３８、信号選択部４１を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-H、視差検出部３６ｂ、フォールバック判定部３８、および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した色差信号Ｈｕｖを視差検出部３６ｂと信号選択部４１２へそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ｂとフォールバック判定部３８、色差信号Ｃｕｖを視差検出部３６ｂと視差補償部３７へそれぞれ出力する。

視差検出部３６ｂは、輝度信号ＳＤｗ，Ｃｙおよび色差信号Ｈｕｖ，Ｃｕｖを用いて視差検出を行い、検出した視差を示す視差情報ＤＴｂを生成して視差補償部３７とフォールバック判定部３８へ出力する。

視差補償部３７は、視差検出部３６ｂから供給された視差情報ＤＴｂに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行う。視差補償部３７は、色差信号Ｃｕｖに対して視差検出部３６ｂで生成された視差情報に基づき画素位置の移動を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号選択部４１へ出力する。

フォールバック判定部３８は、補間部３１-Hから供給された輝度信号ＳＤｗとＹＵＶ変換部３３-Cから供給された輝度信号Ｃｙ、および視差検出部３６ｂから供給された視差情報ＤＴｂに基づき画質性能の低下のリスクを判定する。さらに、フォールバック判定部３８は、画質性能の低下のリスクがない場合はＹＵＶ変換部３３-Hで生成された色差信号Ｈｕｖよりも色解像度の高い視差補償色差信号ＣＰｕｖを選択して、画質性能の低下のリスクがある場合は色差信号Ｈｕｖを選択するように信号選択制御信号ＥＴを生成して信号選択部４１へ出力する。

信号選択部４１は、フォールバック判定部３８からの信号選択制御信号ＥＴに基づき、ＹＵＶ変換部３３-Hで生成された色差信号ＨｕｖまたはＹＵＶ変換部３３-Cで生成されて視差補償が行われた視差補償色差信号ＣＰｕｖのいずれかを色差信号ＳＤｕｖとして出力する。

画像処理部３０-3は、補間部３１-Hから出力された輝度信号ＳＤｗと信号選択部４１から出力された色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

なお、画像処理部の第５の実施の形態では、図１６に示す動作を行い、ステップＳＴ２の視差検出において、上述のように、輝度信号ＳＤｗ，Ｃｙおよび色差信号Ｈｕｖ，Ｃｕｖを用いて視差検出を行えばよい。

このように、画像処理部の第５の実施の形態によれば、第３の実施の形態と同様な作用効果を得ることができる。なお、第５の実施の形態では、色差信号と輝度信号も用いて視差検出を行うことから、色差信号を用いて視差検出を行う第３の実施の形態よりも、視差検出を高精度に行うことができる。

＜８．第６の実施の形態＞
次に、画像処理部の第６の実施の形態について説明する。第６の実施の形態では、第４の実施の形態と同様に、視差検出精度を向上させることで視差補償色差信号ＣＰｕｖの視差補償を高精度に行うことで、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖの合成処理に起因する画質劣化を防止する。また、第６の実施の形態では、輝度信号ＳＤｗを用いて視差検出を行う。

図２８は、画像処理部の第６の実施の形態の構成を例示している。なお、上述の実施の形態との対応部分については同一符号を付している。画像処理部３０-4は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ｂ、視差補償部３７、信号合成部４２を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-H、視差検出部３６ｂ、信号合成部４２、および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した色差信号Ｈｕｖを視差検出部３６ｂと信号合成部４２へそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ｂ、色差信号Ｃｕｖを視差検出部３６ｂと視差補償部３７へそれぞれ出力する。

視差検出部３６ｂは、補間部３１-Hからの輝度信号ＳＤｗとＹＵＶ変換部３３-Hからの色差信号ＨｕｖとＹＵＶ変換部３３-Cからの輝度信号Ｃｙおよび色差信号Ｃｕｖを用いて、撮像部２１-Hで取得された撮像画を基準撮像画として撮像部２１-Cで取得された撮像画の視差を検出する。視差検出部３６ｂは、視差の検出結果を示す視差情報ＤＴｂを視差補償部３７へ出力する。

視差補償部３７は、視差検出部３６ｂから供給された視差情報ＤＴｂに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号合成部４２へ出力する。

信号合成部４２は、画質性能が低下しないように、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖを合成する。

画像処理部３０-6は、補間部３１-Hから出力された輝度信号ＳＤｗと信号合成部４２で生成された合成後の色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

なお、画像処理部の第６の実施の形態では、図２３に示す動作を行い、ステップＳＴ２２の視差検出において、上述のように、輝度信号ＳＤｗ，Ｃｙおよび色差信号Ｈｕｖ，Ｃｕｖを用いて視差検出を行えばよい。

このように、画像処理部の第６の実施の形態によれば、第４の実施の形態と同様な作用効果を得ることができる。なお、第６の実施の形態では、色差信号と輝度信号も用いて視差検出を行うことから、色差信号を用いて視差検出を行う第４の実施の形態よりも、視差検出を高精度に行うことができる。

＜９．第７の実施の形態＞
次に、画像処理部の第７の実施の形態について説明する。上述の第１乃至第７の実施の形態では、撮像部２１-Cで取得された撮像画よりも色画素が少ない撮像部２１-Hで取得された撮像画の信号を用いて色差信号Ｈｕｖを生成している。すなわち、撮像部２１-Hで取得された撮像画は、色画素のサンプリングレートが低いため色差信号Ｈｕｖに例えば偽色（エリアシングノイズ）が発生しているおそれがある。このため、第７の実施の形態では、色差信号Ｈｕｖを用いて視差検出を行う場合に、偽色等によって視差検出精度が低下することを防止する。

図２９は、画像処理部の第７の実施の形態の構成を例示している。画像処理部３０-7は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、周波数検出部３４、コアリング処理部３５、視差検出部３６ｃ、視差補償部３７、フォールバック判定部３８、信号選択部４１を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-H、視差検出部３６ｂ、フォールバック判定部３８、および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した色差信号Ｈｕｖを視差検出部３６ｂと信号選択部４１２へそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ｂとフォールバック判定部３８、色差信号Ｃｕｖを視差検出部３６ｂと視差補償部３７へそれぞれ出力する。

周波数検出部３４は、図１９に示す第２の実施の形態の信号合成部４２における周波数検出部４２１と同様な動作を行う。すなわち、周波数検出部３４は、補間部３１-Hで生成された輝度信号ＳＤｗを用いて、画素毎に検出対象画素がどのような周波数特性の画像における画素であるかの検出結果であるアクティビティａｃｔを算出してコアリング処理部３５へ出力する。

コアリング処理部３５は、図１９に示す第２の実施の形態の信号合成部４２におけるコアリング処理部４２２と同様な動作を行う。すなわち、コアリング処理部３５は、アクティビティａｃｔに応じた合成比αaを画素毎に設定する。コアリング処理部３５では、アクティビティａｃｔに対する合成比αaを示すコアリングカーブが記憶されており、周波数検出部３４で検出されたアクティビティａｃｔに対する合成比αaをコアリングカーブから求める。コアリング処理部３５は、アクティビティａｃｔに応じた合成比αaを設定して視差検出部３６ｃへ出力する。

視差検出部３６ｃは、輝度信号ＳＤｗ，Ｃｙと色差信号Ｈｕｖ，Ｃｕｖおよびコアリング処理部３５で設定された合成比αaを用いて視差検出を行い、検出した視差を示す視差情報ＤＴｃを生成して視差補償部３７とフォールバック判定部３８へ出力する。視差検出部３６ｃは、例えば図２５に示す視差検出部３６ｂと同様な構成として、コスト統合部３６４は、コスト算出部３６１，３６２，３６３で算出されたコスト値の統合を、式（２４）に示すように合成比αaを用いて行う。このようにして統合コスト値に基づき視差検出を行うようにすれば、輝度信号が高域領域であるときは色差信号に基づくコストを使わないようにすることで、例えば色差信号に偽色が含まれても、偽色の影響を受けることなく視差検出を行えるようになる。
ＣＯＳＴ ＝ＣＯＳＴｙ ＋ αa×（ＣＯＳＴｕ＋ＣＯＳＴｖ） ・・・（２４）

視差補償部３７は、視差検出部３６ｃから供給された視差情報ＤＴｃに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行う。視差補償部３７は、色差信号Ｃｕｖに対して視差検出部３６ｃで生成された視差情報に基づき画素位置の移動を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号選択部４１へ出力する。

フォールバック判定部３８は、補間部３１-Hから供給された輝度信号ＳＤｗとＹＵＶ変換部３３-Cから供給された輝度信号Ｃｙ、および視差検出部３６ｃから供給された視差情報ＤＴｃに基づき画質性能の低下のリスクを判定する。さらに、フォールバック判定部３８は、画質性能の低下のリスクがない場合はＹＵＶ変換部３３-Hで生成された色差信号Ｈｕｖよりも色解像度の高い視差補償色差信号ＣＰｕｖを選択して、画質性能の低下のリスクがある場合は色差信号Ｈｕｖを選択するように信号選択制御信号ＥＴを生成して信号選択部４１へ出力する。

信号選択部４１は、フォールバック判定部３８からの信号選択制御信号ＥＴに基づき、ＹＵＶ変換部３３-Hで生成された色差信号ＨｕｖまたはＹＵＶ変換部３３-Cで生成されて視差補償が行われた視差補償色差信号ＣＰｕｖのいずれかを色差信号ＳＤｕｖとして出力する。

画像処理部３０-3は、補間部３１-Hから出力された輝度信号ＳＤｗと信号選択部４１から出力された色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

なお、画像処理部の第７の実施の形態では、図１６に示す動作を行い、ステップＳＴ２の視差検出において、上述のように、輝度信号ＳＤｗ，Ｃｙと色差信号Ｈｕｖ，Ｃｕｖおよび合成比αaを用いて視差検出を行えばよい。

このように、画像処理部の第７の実施の形態によれば、第５の実施の形態と同様な作用効果を得ることができる。さらに、第７の実施の形態では、画素毎に検出対象画素がどのような周波数特性の画像における画素であるかの検出結果に基づいて設定された合成比を用いて視差検出が行われることから、偽色等の影響を受けることなく視差検出を行えるようになる。

＜１０．第８の実施の形態＞
次に、画像処理部の第８の実施の形態について説明する。上述の第１乃至第７の実施の形態では、撮像部２１-Cで取得された撮像画よりも色画素が少ない撮像部２１-Hで取得された撮像画の信号を用いて色差信号Ｈｕｖを生成している。すなわち、撮像部２１-Hで取得された撮像画は、色画素のサンプリングレートが低いため色差信号Ｈｕｖに例えば偽色（エリアシングノイズ）が発生しているおそれがある。そこで、第８の実施の形態では、色差信号Ｈｕｖの選択や色差信号Ｈｕｖを用いた合成処理が行われても、色画素のサンプリングレートが低いことによる画質性能の低下を防止する。

図３０は、画像処理部の第８の実施の形態の構成を例示している。画像処理部３０-8は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ａ、視差補償部３７、フォールバック判定部３８、色画質改善部３９、信号選択部４１を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-H、フォールバック判定部３８、色画質改善部３９および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｈｙと色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した輝度信号Ｈｙを視差検出部３６ａ、生成した色差信号Ｈｕｖを色画質改善部３９へそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ａとフォールバック判定部３８、色差信号Ｃｕｖを視差補償部３７へそれぞれ出力する。

視差検出部３６ａは、輝度信号Ｈｙ，Ｃｙを用いて視差検出を行い、検出した視差を示す視差情報ＤＴａを生成して視差補償部３７とフォールバック判定部３８へ出力する。

視差補償部３７は、視差検出部３６ａから供給された視差情報ＤＴａに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行う。視差補償部３７は、色差信号Ｃｕｖに対して視差検出部３６ａで生成された視差情報に基づき画素位置の移動を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号選択部４１へ出力する。

フォールバック判定部３８は、補間部３１-Hから供給された輝度信号ＳＤｗとＹＵＶ変換部３３-Cから供給された輝度信号Ｃｙ、および視差検出部３６ａから供給された視差情報ＤＴａに基づき画質性能の低下のリスクを判定する。さらに、フォールバック判定部３８は、画質性能の低下のリスクがない場合は色差信号Ｈｕｖよりも色解像度の高い視差補償色差信号ＣＰｕｖを選択して、画質性能の低下のリスクがある場合は色画質改善部３９で画質改善処理が行われている画質改善色差信号ＨＱｕｖを選択するように信号選択制御信号ＥＴを生成して信号選択部４１へ出力する。

色画質改善部３９は、補間部３１-Hで生成された輝度信号ＳＤｗに基づきＹＵＶ変換部３３-Hで生成された色差信号Ｈｕｖの画質改善処理を行い、画質改善色差信号ＨＱｕｖを生成して信号選択部４１へ出力する。

図３１は、色画質改善部の構成を例示している。色画質改善部３９は、周波数検出部３９１、コアリング処理部３９２、低域通過フィルタ３９３、合成処理部３９４を有している。

周波数検出部３９１は、図１９に示す第２の実施の形態の信号合成部４２における周波数検出部４２１と同様な動作を行う。すなわち、周波数検出部３９１は、補間部３１-Hで生成された輝度信号ＳＤｗを用いて、画素毎に検出対象画素がどのような周波数特性の画像における画素であるかの検出結果であるアクティビティａｃｔを算出してコアリング処理部３９２へ出力する。

コアリング処理部３９２は、図１９に示す第２の実施の形態の信号合成部４２におけるコアリング処理部４２２と同様な動作を行う。すなわち、コアリング処理部３９２は、アクティビティａｃｔに応じた合成比αaを画素毎に設定する。コアリング処理部３９２では、アクティビティａｃｔに対する合成比αaを示すコアリングカーブが記憶されており、周波数検出部３９１で検出されたアクティビティａｃｔに対する合成比αaをコアリングカーブから求める。コアリング処理部３９２は、アクティビティａｃｔに応じた合成比αaを設定して合成処理部３９４へ出力する。

低域通過フィルタ３９３は、色差信号Ｈｕｖの低域通過フィルタ処理を行い、高域成分例えば偽色等の成分を除去して、フィルタ処理後の色差信号Ｈｕｖ_ＬＰＦを合成処理部３９４へ出力する。

合成処理部３９４は、コアリング処理部３９２で設定された合成比αaで色差信号Ｈｕｖとフィルタ処理後の色差信号Ｈｕｖ_ＬＰＦを合成する。式（２５）（２６）は、合成処理部３９４で行われる処理を示している。合成処理部３９４は、合成後である画質改善色差信号ＨＱｕｖを信号選択部４１へ出力する。
ＨＱｕ ＝ （１−αa）Ｈｕ_ＬＰＦ ＋ αaＨｕ ・・・（２５）
ＨＱｖ ＝ （１−αa）Ｈｖ_ＬＰＦ ＋ αaＨｖ ・・・（２６）

信号選択部４１は、フォールバック判定部３８からの信号選択制御信号ＥＴに基づき、色画質改善部３９から供給された画質改善色差信号ＨＱｕｖまたはＹＵＶ変換部３３-Cで生成されて視差補償が行われた視差補償色差信号ＣＰｕｖのいずれかを色差信号ＳＤｕｖとして出力する。

画像処理部３０-8は、補間部３１-Hから出力された輝度信号ＳＤｗと信号選択部４１から出力された色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

なお、画像処理部の第８の実施の形態では、図１６に示す動作を行い、ステップＳＴ１の前処理において、上述のように、輝度信号ＳＤｗを用いて色差信号Ｈｕｖの画質改善を行うようにすればよい。

このように、画像処理部の第８の実施の形態によれば、第１の実施の形態と同様な作用効果を得ることができる。また、第８の実施の形態では、画素毎に検出対象画素がどのような周波数特性の画像における画素であるかの検出結果に基づいて第１視点の色差信号Ｈｕｖの画質改善が行われるので、第１視点の色差信号の選択や合成処理が行われても、撮像部２１-Hにおける色画素のサンプリングレートが低いことによる画質性能の低下を防止できる。

＜１１．第９の実施の形態＞
上述の第１乃至第８の実施の形態では、色差信号に対して画質性能の低下を生じないようにフュージョン処理を行う場合について説明したが、第９の実施の形態では、輝度信号の画質性能を向上させる処理について説明する。

図３２は、画像処理部の第９の実施の形態の構成を例示している。画像処理部３０-9は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ａ、視差補償部３７、フォールバック判定部３８、信号選択部４１、輝度画質改善部４３を有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-H、フォールバック判定部３８、色画質改善部３９および表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｈｙと色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した輝度信号Ｈｙを視差検出部３６ａ、生成した色差信号Ｈｕｖを色画質改善部３９へそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ａと視差補償部３７、色差信号Ｃｕｖを視差補償部３７へそれぞれ出力する。

視差検出部３６ａは、輝度信号Ｈｙ，Ｃｙを用いて視差検出を行い、検出した視差を示す視差情報ＤＴａを生成して視差補償部３７とフォールバック判定部３８へ出力する。

視差補償部３７は、視差検出部３６ａから供給された視差情報ＤＴａに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行う。視差補償部３７は、色差信号Ｃｕｖに対して視差検出部３６ａで生成された視差情報に基づき画素位置の移動を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号選択部４１へ出力する。

また、視差補償部３７は、視差検出部３６ａから供給された視差情報ＤＴａに基づきＹＵＶ変換部３３-Cで生成された輝度信号Ｃｙの視差補償を行う。視差補償部３７は、輝度信号Ｃｙに対して視差検出部３６ａで生成された視差情報に基づき画素位置の移動を行い、撮像部２１-Hで取得された撮像画の視点である視差補償輝度信号ＣＰｙを生成する。視差補償部３７は、生成した視差補償輝度信号ＣＰｙを輝度画質改善部４３へ出力する。

フォールバック判定部３８は、補間部３１-Hから供給された輝度信号ＳＤｗとＹＵＶ変換部３３-Cから供給された輝度信号Ｃｙ、および視差検出部３６ａから供給された視差情報ＤＴａに基づき画質性能の低下のリスクを判定する。さらに、フォールバック判定部３８は、画質性能の低下のリスクがない場合は色差信号Ｈｕｖよりも色解像度の高い視差補償色差信号ＣＰｕｖを選択して、画質性能の低下のリスクがある場合は色画質改善部３９で画質改善処理が行われている画質改善色差信号ＨＱｕｖを選択するように信号選択制御信号ＥＴを生成して信号選択部４１へ出力する。

信号選択部４１は、フォールバック判定部３８からの信号選択制御信号ＥＴに基づき、色画質改善部３９から供給された画質改善色差信号ＨＱｕｖまたはＹＵＶ変換部３３-Cで生成されて視差補償が行われた視差補償色差信号ＣＰｕｖのいずれかを色差信号ＳＤｕｖとして出力する。

輝度画質改善部４３は、補間部３１-Hで生成された輝度信号ＳＤｗと視差補償部３７から供給された視差補償輝度信号ＣＰｙを撮像部２１-Hのノイズ強度に応じて合成して、撮像部２１-Hのノイズの影響を低減して輝度画質を改善する。輝度画質改善部４３は、式（２７）に示すように、画素毎に輝度信号ＳＤｗと視差補償輝度信号ＣＰｙとノイズ強度σに基づいて合成比αｙを算出する。また、輝度画質改善部４３は、式（２８）に示すように、画素毎に輝度信号ＳＤｗと視差補償輝度信号ＣＰｙを合成比αｙで合成して輝度信号ＳＤｙを生成する。

画像処理部３０-9は、輝度画質改善部４３から出力された輝度信号ＳＤｙと信号選択部４１から出力された色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

なお、画像処理部の第９の実施の形態では、図１６に示す動作を行い、ステップＳＴ３の後のタイミングで輝度信号ＳＤｗと視差補償輝度信号ＣＰｙの合成を行い、輝度画質が改善された輝度信号ＳＤｙを生成すればよい。

このように、画像処理部の第９の実施の形態によれば、第１の実施の形態と同様な作用効果を得ることができる。また、第９の実施の形態では、輝度信号の合成処理が行われることから、第１の実施の形態に比べて輝度信号の画質性能を向上させることができる。

＜１２．第１０の実施の形態＞
上述の第２の実施の形態では、色差信号Ｈｕｖと色解像度の高い視差補償色差信号ＣＰｕｖを、画質性能の低下を生じないように輝度信号ＳＤｗに基づいて選択する場合を説明したが、第１０の実施の形態では、撮像画単位のフォールバック判定結果を用いて、画質性能の低下を生じないように色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖを合成処理する場合について説明する。

図３３は、画像処理部の第１０の実施の形態の構成を例示している。画像処理部３０-10は、補間部３１-H、デモザイク処理部３２-H、ＹＵＶ変換部３３-H、デモザイク処理部３２-C、ＹＵＶ変換部３３-C、視差検出部３６ａ、視差補償部３７、フォールバック判定部３８、信号合成部４２ａを有している。

撮像部２１-Hから出力された撮像信号ＰＳ-Hは、補間部３１-Hとデモザイク処理部３２-Hに入力される。また、撮像部２１-Cから出力された撮像信号ＰＳ-Cは、デモザイク処理部３２-Cに入力される。

補間部３１-Hは、撮像信号ＰＳ-Hを用いて補間処理を行い、赤画素や青画素の位置における白画素の画素値を算出して、輝度信号ＳＤｗを生成して、デモザイク処理部３２-H、フォールバック判定部３８、信号合成部４２ａおよび表示部５３や記録部５６へ出力する。

デモザイク処理部３２-Hは、撮像部２１-Hから出力された撮像信号ＰＳ-Hと補間部３１-Hで生成された輝度信号ＳＤｗを用いて色成分毎の画像信号を生成してＹＵＶ変換部３３-Hへ出力する。デモザイク処理部３２-Cは、撮像部２１-Cから出力された撮像信号ＰＳ-Cを用いて、従来と同様なデモザイク処理を行い、色成分毎の画像信号を生成してＹＵＶ変換部３３-Cへ出力する。

ＹＵＶ変換部３３-Hは、デモザイク処理部３２-Hで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｈｙと色差信号Ｈｕｖを生成する。ＹＵＶ変換部３３-Hは、生成した輝度信号Ｈｙを視差検出部３６ａ、生成した色差信号Ｈｕｖを信号合成部４２ａへそれぞれ出力する。ＹＵＶ変換部３３-Cは、デモザイク処理部３２-Cで生成された三原色の画像信号の色空間変換を行い、輝度信号Ｃｙと色差信号Ｃｕｖを生成する。ＹＵＶ変換部３３-Cは、生成した輝度信号Ｃｙを視差検出部３６ａとフォールバック判定部３８、色差信号Ｃｕｖを視差補償部３７へそれぞれ出力する。

視差検出部３６ａは、輝度信号Ｈｙ，Ｃｙを用いて視差検出を行い、検出した視差を示す視差情報ＤＴａを生成して視差補償部３７とフォールバック判定部３８へ出力する。

視差補償部３７は、視差検出部３６ａから供給された視差情報ＤＴａに基づきＹＵＶ変換部３３-Cで生成された色差信号Ｃｕｖの視差補償を行う。視差補償部３７は、色差信号Ｃｕｖに対して視差検出部３６ａで生成された視差情報に基づき画素位置の移動を行い、撮像部２１-Hで取得された撮像画の視点である視差補償色差信号ＣＰｕｖを生成する。視差補償部３７は、生成した視差補償色差信号ＣＰｕｖを信号選択部４１へ出力する。

フォールバック判定部３８は、補間部３１-Hから供給された輝度信号ＳＤｗとＹＵＶ変換部３３-Cから供給された輝度信号Ｃｙ、および視差検出部３６ａから供給された視差情報ＤＴａに基づき画質性能の低下のリスクを撮像画単位で判定する。さらに、フォールバック判定部３８は、判定した画質性能の低下のリスクを撮像画単位でスコア化して判別情報ＥＳとする。図１０に示すフォールバック判定部３８の統合判定処理部３８２８は、個別判定部３８２１〜３８２５から供給された個別判定結果を用いてフォールバック判定を行い、例えば画質の劣化を生じると判定された判定結果の数を判別情報ＥＳとしてもよく、画質の劣化を生じると判定された判定結果を個々にスコア化して、各判定結果のスコア加算値を判別情報ＥＳとしてもよい。

信号合成部４２ａは、フォールバック判定部３８からの判別情報ＥＳに基づき、ＹＵＶ変換部３３-Hから供給された色差信号ＨｕｖまたはＹＵＶ変換部３３-Cで生成されて視差補償が行われた視差補償色差信号ＣＰｕｖを合成して色差信号ＳＤｕｖを生成する。

図３４は、信号合成部の構成を例示している。なお、図１９に示す第２の実施の形態における信号合成部４２と対応する部分については同一符号を付している。

信号合成部４２ａは、周波数検出部４２１、コアリング処理部４２２ａ、低域通過フィルタ４２３，４２４、差分算出部４２５、絶対値算出部４２６、コアリング処理部４２７ａ、合成比設定部４２８および合成処理部４２９を有している。

周波数検出部４２１は、補間部３１-Hで生成された輝度信号ＳＤｗを用いて、画素毎に検出対象画素がどのような周波数特性の画像における画素であるか検出して、画素毎にアクティビティａｃｔを算出してコアリング処理部４２２ａへ出力する。

コアリング処理部４２２ａは、アクティビティａｃｔに応じた合成比αaをコアリングカーブに基づいて画素毎に設定する。コアリングカーブは、アクティビティａｃｔに対する合成比αaを示している。また、コアリング処理部４２２ａは、判別情報ＥＳに応じたコアリングカーブを用いる。コアリングカーブはコアリング処理部４２２ａに予め記憶されていてもよく、判別情報ＥＳに応じてコアリングカーブをコアリング処理部４２２ａで生成してもよい。なお、判別情報ＥＳに応じたコアリングカーブについては後述する。

低域通過フィルタ４２３は色差信号Ｈｕｖの低域通過フィルタ処理を行い、低域通過フィルタ４２４は視差補償色差信号ＣＰｕｖの低域通過フィルタ処理を行うことで、それぞれの色差信号の帯域を等しくする。また、低域通過フィルタ４２３，４２４は、低域通過フィルタ処理を行うことで色差信号の偽色等のノイズ成分を除去する。低域通過フィルタ４２３，４２４は、フィルタ処理後の色差信号を差分算出部４２５へ出力する。

差分算出部４２５は、低域通過フィルタ４２３から供給された低域通過フィルタ処理後の色差信号Ｈｕｖと、低域通過フィルタ４２３から供給された低域通過フィルタ処理後の視差補償色差信号ＣＰｕｖの差分を画素毎に算出して絶対値算出部４２６へ出力する。

絶対値算出部４２６は、差分算出部４２５で画素毎に算出された差分絶対値ａｂｓを算出してコアリング処理部４２７ａへ出力する。

コアリング処理部４２７ａは、差分絶対値ａｂｓに応じた合成比αbをコアリングカーブに基づいて設定する。コアリングカーブは、差分絶対値ａｂｓに対する合成比αbを示している。また、コアリング処理部４２７ａは、判別情報ＥＳに応じたコアリングカーブを用いる。

図３５は、コアリングカーブと判別情報の関係を例示している。なお、図３５の（ａ）と（ｃ）はコアリング処理部４２２ａで用いられるコアリングカーブを例示しており、図３５の（ｂ）と（ｄ）はコアリング処理部４２７ａで用いられるコアリングカーブを例示している。

コアリング処理部４２２ａは、判別情報ＥＳに基づき画質性能の低下のリスクが高くなるに伴い閾値Ｔｈa0，Ｔｈa1を小さくして、アクティビティａｃｔに対する合成比αaが小さくなるようにする。

また、コアリング処理部４２７ａは、判別情報ＥＳに基づき画質性能の低下のリスクが高くなるに伴い閾値Ｔｈb0，Ｔｈb1を大きくして、差分絶対値ａｂｓ対する合成比αbが大きくなるようにする。

合成比設定部４２８は、コアリング処理部４２２ａから供給された合成比αaとコアリング処理部４２７ａから供給された合成比αbを用いて上述の式（２２）の処理を行い、合成比αa，αbのいずれか値の大きい合成比を、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖの合成比に設定して合成処理部４２９へ出力する。

合成処理部４２９は、合成比設定部４２８で設定された合成比αを用いて上述の式（２３）の演算を画素毎に行い、色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖが合成された色差信号ＳＤｕｖを生成する。

画像処理部３０-10は、補間部３１-Hから出力された輝度信号ＳＤｗと信号合成部４２ａから出力された色差信号ＳＤｕｖを、フュージョン画像の画像信号として表示部５３や記録部５６へ出力する。

なお、画像処理部の第１０の実施の形態では、図１６に示す動作を行い、ステップＳＴ５の後のタイミングで図２３のステップＳＴ２４の処理を行い、ステップＳＴ５で生成された判別情報ＥＳに応じたコアリングカーブを用いて色差信号Ｈｕｖと視差補償色差信号ＣＰｕｖの合成を行い、色差信号ＳＤｕｖを生成すればよい。

このように、画像処理部の第１０の実施の形態によれば、第２の実施の形態と同様な作用効果を得ることができる。また、第１０の実施の形態では、撮像画単位のフォールバック判定結果も用いて合成比の設定が行われるので、第１視点の色差信号と色解像度の高い視差補償色差信号との画素単位の合成処理に起因する画質劣化を、第２の実施の形態よりも効果的に防止できる。

＜１３．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、情報処理端末に限らず、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３６に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３６では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３７は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３７には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図３６に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３６の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図３６に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

以上説明した車両制御システム７０００において、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８は、必要に応じて複数の撮像部例えば図２に示す撮像部２１-H，２１-Cを用いる構成とする。また、図３６に示した応用例の統合制御ユニット７６００に画像処理部３０を設ける。このような構成とすれば、撮像部７４１０，７９１０，７９１２，７９１４，７９１６，７９１８を小型・薄型化しても画質性能の高い撮像画を取得できるので、取得した撮像画を運転支援や運転制御等に利用できる。なお、画像処理部３０は、図３６に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 第１視点の第１撮像信号と、前記第１視点と異なる第２視点であって第２撮像信号に基づき、前記第１視点に対する前記第２視点の視差を検出する視差検出部と、
前記第１撮像信号と、前記視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を生成する画像生成部とを備え、
前記第１撮像信号は白画素と色成分画素を含み、前記第２撮像信号は前記第１撮像信号よりも白画素が少なく色成分画素が多い画像処理装置。
（２） 前記画像生成部は、所定の条件を満たす場合に前記第１撮像信号と前記視差補償第２撮像信号を用いて前記カラー画像を生成して、所定の条件を満たさない場合に前記第１撮像信号から前記カラー画像を生成する（１）に記載の画像処理装置。
（３） 前記所定の条件を満たす場合とは、前記第１撮像信号と前記視差補償第２撮像信号を用いて前記カラー画像を生成した場合に前記第１撮像信号から生成した前記カラー画像よりも画質性能の低下のリスクが閾値よりも低い場合である（２）に記載の画像処理装置。
（４） 前記画像生成部は、前記第１撮像信号と前記視差補償第２撮像信号に基づき、前記画質性能の低下のリスクを判別して、判別したリスクに応じた合成比で前記第１撮像信号に対して前記視差補償第２撮像信号を合成する（３）に記載の画像処理装置。
（５） 前記画像生成部は、前記第１撮像信号から第１輝度信号と第１色信号の生成と、前記第２撮像信号から第２輝度信号と第２色信号の生成と、前記第２色信号と前記視差検出部で検出された視差に基づき視差補償第２色信号の生成を行い、前記視差補償第２撮像信号を用いて前記カラー画像を生成した場合に前記第１撮像信号から生成した前記カラー画像よりも画質性能の低下を生じるリスクに応じて、前記第１色信号と前記視差補償第２色信号の何れかの選択または合成を行い、
前記視差検出部は、前記第１輝度信号と前記第２輝度信号を用いて視差検出を行う（１）乃至（４）のいずれかに記載の画像処理装置。
（６） 前記画像生成部は、前記リスクに応じて撮像画単位で前記第１色信号と前記視差補償第２色信号の何れかの選択または画素単位で前記第１色信号と前記視差補償第２色信号の合成を行う（５）に記載の画像処理装置。
（７） 前記視差検出部は、前記第１輝度信号と前記第２輝度信号と前記第１色信号と前記第２色信号を用いて視差検出を行う（５）または（６）に記載の画像処理装置。
（８） 前記第１撮像信号に基づき周波数検出を行い、検出結果に応じて前記視差検出部の制御を行う視差検出制御部を有し、
前記視差検出部は、前記第１輝度信号と前記第２輝度信号に基づいて算出したコスト値と前記第１色信号と前記第２色信号に基づいて算出したコスト値を用いて視差検出を行い、
前記視差検出制御部は、前記周波数検出結果に応じた合成比で前記２つのコスト値を統合した統合コスト値に基づき前記視差検出を行わせる（７）に記載の画像処理装置。
（９） 前記画像生成部は、前記第１輝度信号に基づき周波数検出を行い、前記第１色信号に対して前記周波数検出結果に応じて画質改善処理を行う（５）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記画像生成部は、前記第２輝度信号の視差補償を行い視差補償第２輝度信号を生成して、前記第１輝度信号に前記視差補償第２輝度信号を合成して前記第１輝度信号の画質改善を行う（５）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記画像生成部は、前記第１撮像信号を生成する撮像部のノイズ強度に応じて、前記第１輝度信号と前記視差補償第２輝度信号の合成比を設定する（１０）に記載の画像処理装置。
（１２） 前記画像生成部は、前記第１撮像信号における白画素信号の補間処理と、前記色成分画素の画素信号と前記補間処理が行われた白画素信号を用いたデモザイク処理とデモザイク処理後の信号に対する色空間変換によって、前記第１色信号を生成する（５）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 前記画像生成部は、補間処理後の白画素信号と前記色成分画素の画素信号に基づく色比と処理対象画素の白画素信号を用いて前記処理対象画素の色成分毎の画素信号を生成する（１２）に記載の画像処理装置。
（１４） 前記画像生成部は、前記第１撮像信号における白画素信号の補間処理によって前記第１輝度信号を生成して、
前記視差検出部は、前記画像生成部で白画素信号の補間処理によって生成された前記第１撮像信号を用いて視差検出を行う（５）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記第１撮像信号は、２画素×２画素の画素ブロック内において前記白画素を前記色成分画素以上に設けた信号である（１）乃至（１４）のいずれかに記載の画像処理装置。

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 白画素と色成分画素を含む第１視点の第１撮像信号を生成する第１撮像部と、
前記第１撮像部よりも白画素を少なくして色成分画素の割合を多くした前記第１視点と異なる第２視点の第２撮像信号を生成する第２撮像部と、
前記第１撮像信号と前記第２撮像信号に基づき、前記第１視点に対する前記第２視点の視差を検出する視差検出部と、
前記第１撮像信号と、前記視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を生成する画像生成部と
を備える撮像装置。
（２） 前記第１撮像部では、２画素×２画素の画素ブロック内において前記白画素を前記色成分画素以上設けた（１）に記載の撮像装置。
（３） 前記第１撮像部における前記色成分画素は、三原色内の二色の色成分画素である（１）または（２）に記載の撮像装置。
（４） 前記第２撮像部は、三原色成分画素または前記三原色成分画素と白画素で構成した（１）乃至（３）のいずれかに記載の撮像装置。

この技術の画像処理装置と画像処理方法および撮像装置では、第１視点の第１撮像信号と、第１視点と異なる第２視点であって第２撮像信号に基づき、第１視点に対する前記第２視点の視差が検出される。また、第１撮像信号と、視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像が画像生成部で生成される。さらに、第１撮像信号は白画素と色成分画素を含み、第２撮像信号は前記第１撮像信号よりも白画素が少なく色成分画素が多くされる。このように、白画素が第２撮像信号より多い第１撮像信号を基準に第２撮像信号を第１撮像信号にフュージョンするため、画質性能の低下を抑制しつつ高感度の撮像画を得ることができるようになる。したがって、低背化を保持しつつ高い画質性能が要求される機器、例えばスマートフォン等の携帯機器および車載機器等に適している。

１０・・・情報処理端末
２１，２１-BW，２１-CR，２１-H，２１-C・・・撮像部
３０，３０-1〜３１-10・・・画像処理部
３１-H・・・補間部
３２，３２-H，３２-C・・・デモザイク処理部
３３-C，３３-H・・・ＹＵＶ変換部
３４・・・周波数検出部
３５，３９２，４２２，４２２ａ，４２７，４２７ａ・・・コアリング処理部
３６ａ，３６ｂ，３６ｃ・・・視差検出部
３７・・・視差補償部
３８・・・フォールバック判定部
３９・・・色画質改善部
４１・・・信号選択部
４２，４２ａ・・・信号合成部
４３・・・輝度画質改善部
５１・・・センサ部
５２・・・通信部
５３・・・表示部
５４・・・タッチパネル
５５・・・操作部
５６・・・記憶部
５６・・・記録部
６０・・・制御部
３２１ｂ・・・青色補間係数算出部
３２１ｒ・・・赤色補間係数算出部
３２２ｂ・・・青成分画像生成部
３２２ｇ・・・緑成分画像生成部
３２２ｒ・・・赤成分画像生成部
３６１，３６２，３６３・・・コスト算出部
３６４・・・コスト統合部
３６５・・・コスト最小ベクトル判定部
３８１・・・画像特徴量算出部
３８２・・・信号選択判定部
３９１・・・周波数検出部
３９３・・・低域通過フィルタ
３９４・・・合成処理部
４１２・・・信号選択部
４２１・・・周波数検出部
４２３，４２４・・・低域通過フィルタ
４２５・・・差分算出部
４２６・・・絶対値算出部
４２８・・・合成比設定部
４２９・・・合成処理部

Claims (20)

1. 第１視点の第１撮像信号と、前記第１視点と異なる第２視点であって第２撮像信号に基づき、前記第１視点に対する前記第２視点の視差を検出する視差検出部と、
   前記第１撮像信号と、前記視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を生成する画像生成部とを備え、
   前記第１撮像信号は白画素と色成分画素を含み、前記第２撮像信号は前記第１撮像信号よりも白画素が少なく色成分画素が多い画像処理装置。
2. 前記画像生成部は、所定の条件を満たす場合に前記第１撮像信号と前記視差補償第２撮像信号を用いて前記カラー画像を生成して、所定の条件を満たさない場合に前記第１撮像信号から前記カラー画像を生成する
   請求項１に記載の画像処理装置。
3. 前記所定の条件を満たす場合とは、前記第１撮像信号と前記視差補償第２撮像信号を用いて前記カラー画像を生成した場合に前記第１撮像信号から生成した前記カラー画像よりも画質性能の低下のリスクが閾値よりも低いと判定される場合である
   請求項２に記載の画像処理装置。
4. 前記画像生成部は、前記第１撮像信号と前記視差補償第２撮像信号に基づき、前記画質性能の低下のリスクを判別して、判別したリスクに応じた合成比で前記第１撮像信号に対して前記視差補償第２撮像信号を合成する
   請求項３に記載の画像処理装置。
5. 前記画像生成部は、前記第１撮像信号から第１輝度信号と第１色信号の生成と、前記第２撮像信号から第２輝度信号と第２色信号の生成と、前記第２色信号と前記視差検出部で検出された視差に基づき視差補償第２色信号の生成を行い、前記視差補償第２撮像信号を用いて前記カラー画像を生成した場合に前記第１撮像信号から生成した前記カラー画像よりも画質性能の低下を生じるリスクに応じて、前記第１色信号と前記視差補償第２色信号の何れかの選択または合成を行い、
   前記視差検出部は、前記第１輝度信号と前記第２輝度信号を用いて視差検出を行う
   請求項１に記載の画像処理装置。
6. 前記画像生成部は、前記リスクに応じて撮像画単位で前記第１色信号と前記視差補償第２色信号の何れかの選択または画素単位で前記第１色信号と前記視差補償第２色信号の合成を行う
   請求項５に記載の画像処理装置。
7. 前記視差検出部は、前記第１輝度信号と前記第２輝度信号と前記第１色信号と前記第２色信号を用いて視差検出を行う
   請求項５に記載の画像処理装置。
8. 前記第１撮像信号に基づき周波数検出を行い、検出結果に応じて前記視差検出部の制御を行う視差検出制御部を有し、
   前記視差検出部は、前記第１輝度信号と前記第２輝度信号に基づいて算出したコスト値と前記第１色信号と前記第２色信号に基づいて算出したコスト値を用いて視差検出を行い、
   前記視差検出制御部は、前記周波数検出結果に応じた合成比で前記２つのコスト値を統合した統合コスト値に基づき前記視差検出を行わせる
   る請求項７に記載の画像処理装置。
9. 前記画像生成部は、前記第１輝度信号に基づき周波数検出を行い、前記第１色信号に対して前記周波数検出結果に応じて画質改善処理を行う
   請求項５に記載の画像処理装置。
10. 前記画像生成部は、前記第２輝度信号の視差補償を行い視差補償第２輝度信号を生成して、前記第１輝度信号に前記視差補償第２輝度信号を合成して前記第１輝度信号の画質改善を行う
    請求項５に記載の画像処理装置。
11. 前記画像生成部は、前記第１撮像信号を生成する撮像部のノイズ強度に応じて、前記第１輝度信号と前記視差補償第２輝度信号の合成比を設定する
    請求項１０に記載の画像処理装置。
12. 前記画像生成部は、前記第１撮像信号における白画素信号の補間処理と、前記色成分画素の画素信号と前記補間処理が行われた白画素信号を用いたデモザイク処理とデモザイク処理後の信号に対する色空間変換によって、前記第１色信号を生成する
    請求項５に記載の画像処理装置。
13. 前記画像生成部は、補間処理後の白画素信号と前記色成分画素の画素信号に基づく色比と処理対象画素の白画素信号を用いて前記処理対象画素の色成分毎の画素信号を生成する
    請求項１２に記載の画像処理装置。
14. 前記画像生成部は、前記第１撮像信号における白画素信号の補間処理によって前記第１輝度信号を生成して、
    前記視差検出部は、前記画像生成部で白画素信号の補間処理によって生成された前記第１撮像信号を用いて視差検出を行う
    請求項５に記載の画像処理装置。
15. 前記第１撮像信号は、２画素×２画素の画素ブロック内において前記白画素を前記色成分画素以上に設けた信号である
    請求項１に記載の画像処理装置。
16. 白画素と色成分画素を含む第１視点の第１撮像信号と、前記第１撮像信号よりも白画素を少なくして色成分画素の割合を多くした前記第１視点と異なる第２視点の第２撮像信号に基づき、前記第１視点に対する前記第２視点の視差を視差検出部で検出することと、
    前記第１撮像信号と、前記視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を画像生成部で生成することと
    を含む画像処理方法。
17. 白画素と色成分画素を含む第１視点の第１撮像信号を生成する第１撮像部と、
    前記第１撮像部よりも白画素を少なくして色成分画素の割合を多くした前記第１視点と異なる第２視点の第２撮像信号を生成する第２撮像部と、
    前記第１撮像信号と前記第２撮像信号に基づき、前記第１視点に対する前記第２視点の視差を検出する視差検出部と、
    前記第１撮像信号と、前記視差検出部で検出された視差に基づいて視差補償された視差補償第２撮像信号を用いてカラー画像を生成する画像生成部と
    を備える撮像装置。
18. 前記第１撮像部では、２画素×２画素の画素ブロック内において前記白画素を前記色成分画素以上設けた
    請求項１７に記載の撮像装置。
19. 前記第１撮像部における前記色成分画素は、三原色内の二色の色成分画素である
    請求項１７に記載の撮像装置。
20. 前記第２撮像部は、三原色成分画素または前記三原色成分画素と白画素で構成した
    請求項１７に記載の撮像装置。

Images