JP6724982B2 - 信号処理装置および撮像装置 - Google Patents

Description

本開示は、信号処理装置および撮像装置に関する。

従来から、２つの撮像装置を用いて、高視野かつ高解像度の画像を撮像する撮像システムが提案されている（例えば、特許文献１参照）。従来の撮像システムでは、例えば、相対的に画角の広い撮像データにおいて、高周波成分を、相対的に画角の狭い撮像データの高周波成分に置き換えることにより、高視野かつ高解像度の画像が得られるとしている。

特開２００３−１３４３７５号公報

しかし、従来の撮像システムでは、相対的に画角の狭い撮像データにボケがあるために、相対的に画角の広い撮像データにおいて、高周波成分を、相対的に画角の狭い撮像データの高周波成分に置き換えたことによって、かえって解像度が低下してしまう虞があった。従って、そのような画像合成に起因する解像度の低下を簡易な方法で避けることの可能な信号処理装置および撮像装置を提供することが望ましい。

本開示の一実施の形態の第１の信号処理装置は、画角の互いに異なる２つの撮像データのうち相対的に画角の広い撮像データである第１撮像データの低周波成分と、第１撮像データの高周波成分と、２つの撮像データのうち相対的に画角の狭い撮像データである第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成する合成部を備えている。

本開示の一実施の形態の第１の撮像装置は、各々で画角の互いに異なる撮像データを生成する２つの撮像デバイスを備えている。この撮像装置は、さらに、一方の撮像デバイスによって生成された相対的に画角の広い撮像データである第１撮像データの低周波成分と、第１撮像データの高周波成分と、他方の撮像デバイスによって生成された相対的に画角の狭い撮像データである第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成する合成部を備えている。

本開示の一実施の形態の第１の信号処理装置および第１の撮像装置では、相対的に画角の広い第１撮像データの低周波成分と、第１撮像データの高周波成分と、相対的に画角の狭い第２撮像データにおける高周波成分とを互いに足し合わせることにより、第１合成撮像データが生成される。これにより、相対的に画角の広い第１撮像データにおいて、高周波成分を、相対的に画角の狭い第２撮像データの高周波成分に置き換えた場合と比べて、第２撮像データにボケがあったときのボケの影響が緩和される。

本開示の一実施の形態の第２の信号処理装置は、画角の互いに異なる２つの撮像データのうち相対的に画角の広い撮像データである第１撮像データの高周波成分が、２つの撮像データのうち相対的に画角の狭い撮像データである第２撮像データの高周波成分よりも大きい場合に、第１撮像データの低周波成分と、第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成する合成部を備えている。この合成部は、さらに、第１撮像データの高周波成分が、第２撮像データの高周波成分よりも小さい場合に、第１撮像データの低周波成分と、第１撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成する。

本開示の一実施の形態の第２の撮像装置は、各々で画角の互いに異なる撮像データを生成する２つの撮像デバイスを備えている。この撮像装置は、一方の撮像デバイスによって生成された相対的に画角の広い撮像データである第１撮像データの高周波成分が、他方の撮像デバイスによって生成された相対的に画角の狭い撮像データである第２撮像データの高周波成分よりも大きい場合に、第１撮像データの低周波成分と、第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成する合成部を備えている。この合成部は、さらに、第１撮像データの高周波成分が、第２撮像データの高周波成分よりも小さい場合に、第１撮像データの低周波成分と、第１撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成する。

本開示の一実施の形態の第２の信号処理装置および第２の撮像装置では、相対的に画角の広い撮像データである第１撮像データの高周波成分が、相対的に画角の狭い撮像データである第２撮像データの高周波成分よりも大きい場合に、第１撮像データの低周波成分と、第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データが生成される。さらに、第１撮像データの高周波成分が、第２撮像データの高周波成分よりも小さい場合に、第１撮像データの低周波成分と、第１撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データが生成される。これにより、相対的に画角の広い第１撮像データにおいて、高周波成分を、相対的に画角の狭い第２撮像データの高周波成分に置き換えた場合と比べて、第２撮像データにボケがあったときのボケの影響が緩和される。

本開示の一実施の形態の第１の信号処理装置および第１の撮像装置によれば、相対的に画角の広い第１撮像データの低周波成分と、第１撮像データの高周波成分と、相対的に画角の狭い第２撮像データにおける高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成するようにしたので、第２撮像データにボケがあったときのボケの影響を緩和することができる。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

本開示の一実施の形態の第２の信号処理装置および第２の撮像装置によれば、相対的に画角の広い撮像データである第１撮像データの高周波成分が、相対的に画角の狭い撮像データである第２撮像データの高周波成分よりも大きい場合に、第１撮像データの低周波成分と、第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成するとともに、第１撮像データの高周波成分が、第２撮像データの高周波成分よりも小さい場合に、第１撮像データの低周波成分と、第１撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成するようにしたので、第２撮像データにボケがあったときのボケの影響を緩和することができる。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

なお、本開示の効果は、ここに記載された効果に必ずしも限定されず、本明細書中に記載されたいずれの効果であってもよい。

本開示の第１の実施の形態に係る撮像装置の概略構成の一例を表す図である。 撮像装置の概略構成の一例を表す図である。 図１，図２の撮像装置の機能ブロックの一例を表す図である。 図３の撮像素子における画素配列の一例を表す図である。 図３の合成処理部における信号処理の概念の一例を表す図である。 図３の合成処理部の機能ブロックの一例を表す図である。 図６の合成処理部における信号処理手順の一例を表す図である。 画素補間の一例を表す図である。 中心画素がＧ画素のときの補間フィルタの一例を表す図である。 中心画素がＲ画素，Ｂ画素のときの補間フィルタの一例を表す図である。 図６のフュージョン部における信号処理手順の概要の一例を表す図である。 図６のフュージョン部の内部構成の一例を表す図である。 図１１のフュージョン部におけるマップ作成手順の一例を表す図である。 図１１のフュージョン部における信号処理手順の一例を表す図である。 図６のＬＰＦ部の内部構成の一例を表す図である。 図１５のＬＰＦ部の内部に並列配置された複数のＬＰＦ部のうちの１つのフィルタの一例を表す図である。 図１５のＬＰＦ部の内部に並列配置された複数のＬＰＦ部のうちの１つのフィルタの一例を表す図である。 図６の相関処理部における相関処理の一例を表す図である。 図６の相関処理部における相関処理の一例を表す図である。 図６のフュージョン部における信号処理手順の概要の一例を表す図である。 図６のフュージョン部の内部構成の一例を表す図である。 図２０のフュージョン部におけるマップ作成手順の一例を表す図である。 図２０のフュージョン部における信号処理手順の一例を表す図である。 図６のフュージョン部における信号処理手順の概要の一例を表す図である。 図６のフュージョン部の内部構成の一例を表す図である。 図２４のフュージョン部におけるマップ作成手順の一例を表す図である。 図２４のフュージョン部におけるマップ作成手順の一例を表す図である。 図２４のフュージョン部における信号処理手順の一例を表す図である。 本開示の第２の実施の形態に係る撮像装置の機能ブロックの一例を表す図である。 図２８の合成処理部の機能ブロックの一例を表す図である。 図２９のフュージョン部における信号処理手順の概要の一例を表す図である。 図２９のフュージョン部における信号処理手順の概要の一例を表す図である。 図２９のフュージョン部における信号処理手順の概要の一例を表す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行います。

１．第１の実施の形態
ＲＡＷデータ同士を合成する例
２．第１の実施の形態の変形例
３．第２の実施の形態
カラー画像データ同士を合成する例
４．第２の実施の形態の変形例
５．共通の変形例

＜１．第１の実施の形態＞
[構成]
図１、図２は、本開示の第１の実施の形態に係る撮像装置１の概略構成の一例を表したものである。撮像装置１は、２つの撮像デバイス１０，２０を用いて、画角の広い、高解像度の画像を得たり、機械的なズーム機構を用いずに光学ズームを行ったりするものである。

２つの撮像デバイス１０，２０は、例えば、物理的な配置が互いに水平となるように配置されている。撮像デバイス１０の光軸ＡＸ１と、撮像デバイス２０の光軸ＡＸ２とは、例えば、図１に示したように、互いに平行となっている。光軸ＡＸ１と、光軸ＡＸ２とは、例えば、図２に示したように、互いに非平行となっていてもよい。このとき、光軸ＡＸ１および光軸ＡＸ２は、撮像装置１から離れるにつれて光軸ＡＸ１と光軸ＡＸ２との間隙が狭まる方向を向いていることが好ましい。

図１，図２に示したように、撮像デバイス２０は、撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域を撮像領域Ｒ２としている。２つの撮像デバイス１０，２０は、各々で画角の互いに異なるＲＡＷデータＩｒａｗ１，Ｉｒａｗ２（撮像データ）を生成する。撮像デバイス１０は、相対的に画角の広いＲＡＷデータＩｒａｗ１（第１撮像データ）を撮像により生成する。撮像デバイス２０は、ＲＡＷデータＩｒａｗ１よりも画角の狭いＲＡＷデータＩｒａｗ２（第２撮像データ）を撮像により生成する。ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２については、後に詳述する。

図３は、撮像装置１の機能ブロックの一例を表したものである。撮像装置１は、例えば、２つの撮像デバイス１０，２０、信号処理部３０および制御部４０を備えている。制御部４０は、２つの撮像デバイス１０，２０および信号処理部３０を制御する。

（撮像デバイス１０）
撮像デバイス１０は、例えば、撮像素子１１および光学レンズ１２を有している。光学レンズ１２は、被写体光Ｌ１を集光して、撮像素子１１の光入射面に入射させる。光学レンズ１２は、例えば、撮像デバイス１０において固定されている。このとき、撮像デバイス１０の焦点距離が一定値で固定されている。撮像デバイス１０は、さらに、例えば、アイリスや可変光学ＬＰＦを、撮像素子１１の光入射面側に有していてもよい。撮像素子１１については後述する。

（撮像デバイス２０）
撮像デバイス２０は、例えば、撮像素子２１および光学レンズ２２を有している。光学レンズ１２は、被写体光Ｌ２を集光して、撮像素子２１の光入射面に入射させる。光学レンズ２２は、例えば、撮像デバイス２０において固定されている。このとき、撮像デバイス２０の焦点距離が一定値で固定されている。撮像デバイス２０は、さらに、例えば、アイリスや可変光学ＬＰＦを、撮像素子２１の光入射面側に有していてもよい。

（撮像素子１１，２１）
次に、撮像素子１１，２１について説明する。撮像素子１１，２１は、例えば、複数の光電変換素子が所定の間隔で２次元配置された受光部と、受光部の光入射面に配置されたカラーフィルタアレイとを有している。撮像素子１１，２１は、単板式の固体撮像素子であり、例えば、単板式のＣＣＤ（charge Coupled Device）イメージセンサや、単板式のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサによって構成されている。撮像素子１１，２１において、カラーフィルタアレイは、例えば、図４に示したように、ＲＧＢ配列からなるベイヤ配列となっている。なお、カラーフィルタアレイは、例えば、ＲＧＢＷ配列となっていてもよいし、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の配列となっていてもよい。なお、以下では、カラーフィルタアレイが、ＲＧＢ配列からなるベイヤ配列となっている場合を例にして説明する。

撮像素子１１，２１は、例えば、光学レンズ１２，２２等を経由して入射してきた被写体光Ｌ１，Ｌ２を、受光部およびカラーフィルタアレイで離散的にサンプリングすることにより、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を生成する。撮像素子１１は、相対的に画角の広いＲＡＷデータＩｒａｗ１を生成する。例えば、撮像デバイス１０の焦点距離を相対的に短くすることにより、画角が相対的に広いＲＡＷデータＩｒａｗ１が得られる。撮像素子２１は、ＲＡＷデータＩｒａｗ１よりも画角の狭いＲＡＷデータＩｒａｗ２を生成する。例えば、撮像デバイス１０の焦点距離を相対的に長くすることにより、画角の相対的に狭いＲＡＷデータＩｒａｗ２が得られる。

ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、それぞれ、カラーフィルタアレイに含まれる複数種類の色情報のうちのいずれか１種類の色情報が画素ごとに設定されたモザイクデータである。カラーフィルタアレイが、ＲＧＢ配列からなるベイヤ配列となっている場合には、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、カラーフィルタアレイに含まれる赤色情報、緑色情報および青色情報のうちのいずれか１種類の色情報が画素ごとに設定されたモザイクデータとなっている。ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２からカラー画像データＩｃｏｌを生成するためには、全ての画素について全ての色情報を、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２から生成するデモザイク処理が必要となる。本実施の形態では、デモザイク処理を行う前のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２において合成が行われる。ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の合成については、後に詳述する。

（信号処理部３０）
次に、信号処理部３０について説明する。信号処理部３０は、例えば、図３に示したように、合成処理部３１およびカメラ信号処理部３２を有している。合成処理部３１は、各々の撮像デバイス１０，２０によって生成された２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を互いに合成することにより、合成ＲＡＷデータＩｒａｗを生成する。カメラ信号処理部３２は、合成処理部３１で生成された合成ＲＡＷデータＩｒａｗに対してデモザイク処理を行うことにより、カラー画像データＩｃｏｌを生成する。カラー画像データＩｃｏｌは、例えば、カラーフィルタアレイに含まれる全ての種類の色情報を画素ごとに含んで構成されている。カラーフィルタアレイがＲＧＢのベイヤ配列となっている場合には、カラー画像データＩｃｏｌは、例えば、画素ごとにＲＧＢの色情報を含んで構成されている。

図５は、合成処理部３１における信号処理の概念の一例を表したものである。図５は、合成処理部３１における信号処理の分かりやすさが優先されている関係で、簡潔な説明となっている。そのため、図５では、上記の符号とは異なる符号が用いられている。

合成処理部３１は、撮像デバイス１０からワイド画像データＩｗｉｄｅを取得し、撮像デバイス２０からテレ画像データＩｔｅｌｅを取得する。テレ画像データＩｔｅｌｅでは、ワイド画像データＩｗｉｄｅと比べて、画角が小さくなっている。テレ画像データＩｔｅｌｅは、ワイド画像データＩｗｉｄｅの外縁を除く所定の領域αと対応している。合成処理部３１は、撮像デバイス１０，２０の倍率と、ワイド画像データＩｗｉｄｅおよびテレ画像データＩｔｅｌｅの画像サイズとに基づいて、所定の領域αを設定する。

合成処理部３１は、ワイド画像データＩｗｉｄｅから、所定の領域αを切り出すことにより、ワイド画像データＩｗｉｄｅ’を生成する。合成処理部３１は、撮像デバイス１０，２０の倍率に基づいて、テレ画像データＩｔｅｌｅを縮小することにより、テレ画像データＩｔｅｌｅ’を生成する。合成処理部３１は、ワイド画像データＩｗｉｄｅ’とテレ画像データＩｔｅｌｅ’とを互いに合成することにより、合成画像データＩｆｕｓｉｏｎを生成する。撮像デバイス１０の倍率が１倍となっており、撮像デバイス２０の倍率が２倍となっているとする。このとき、合成処理部３１は、例えば、ユーザによって指定された倍率が１倍のときには、ワイド画像データＩｗｉｄｅを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が２倍以上のときには、テレ画像データＩｔｅｌｅをユーザによって指定された倍率に拡大したものを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が１倍〜２倍のときには、ワイド画像データＩｗｉｄｅにおいて、所定の領域αを合成画像データＩｆｕｓｉｏｎに置き換えたもの（合成画像データＩｍｅｒｇｅ）を、合成ＲＡＷデータＩｒａｗとして出力する。

なお、実際には、ワイド画像データＩｗｉｄｅ’と、テレ画像データＩｔｅｌｅ’とには、視差に起因する位置ずれや、撮像デバイス１０，２０間の感度違いおよび露光違いがある場合がある。合成画像データＩｆｕｓｉｏｎには、撮像デバイス１０，２０のナイキスト周波数を超える高周波成分が含まれている場合もある。そもそも、ワイド画像データＩｗｉｄｅ’やテレ画像データＩｔｅｌｅ’はモザイクデータであるので、ワイド画像データＩｗｉｄｅ’とテレ画像データＩｔｅｌｅ’とを互いに精度よく合成するためには、ワイド画像データＩｗｉｄｅ’やテレ画像データＩｔｅｌｅ’に対して画素補間を行うことが好ましい。従って、合成処理部３１は、ワイド画像データＩｗｉｄｅ’やテレ画像データＩｔｅｌｅ’に対して、以下に示したような各種の信号処理を行うことが好ましい。

図６は、合成処理部３１の機能ブロックの一例を表したものである。図７は、合成処理部３１における信号処理手順の一例を表したものである。

合成処理部３１は、位置合わせ部１３０および合成部１４０を有している。位置合わせ部１３０は、各々の撮像デバイス１０，２０によって生成された２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて、２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の位置合わせデータを生成する。合成部１４０は、位置合わせ部１３０によって生成された位置合わせデータに基づいて２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を互いに合成する。

位置合わせ部１３０は、例えば、切出部１３１、ゲイン補正部１３２、画素補正部１３３，１３４、縮小部１３５および視差算出部１３６を有している。

切出部１３１は、ＲＡＷデータＩｒａｗ１において、ＲＡＷデータＩｒａｗ２との合成を行うフュージョン領域β（図５の領域αに相当）を指定する。具体的には、切出部１３１は、撮像デバイス１０，２０の倍率と、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の画像サイズとに基づいて、フュージョン領域βを指定する。切出部１３１は、例えば、撮像デバイス１０，２０の倍率と、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の画像サイズとに基づいて、ＲＡＷデータＩｒａｗ１における、フュージョン領域βの座標を指定する。切出部１３１は、例えば、指定した座標に基づいて、フュージョン領域βに対応するＲＡＷデータＩｒａｗ１ａを、ＲＡＷデータＩｒａｗ１から切り出す（ステップＳ１０１）。

なお、合成処理部３１は、ＲＡＷデータＩｒａｗ１ａおよびＲＡＷデータＩｒａｗ２に対して、ＯＰＢ（Optical Black）減算を行ってもよい。ＯＰＢ減算とは、暗電流などに起因して生じるノイズ成分を除外することを指している。合成処理部３１は、例えば、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２から、撮像デバイス１０，２０が遮光されているときに生じるノイズ成分を除外してもよい。このとき、ノイズ成分の除外により、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２において値が負となる画素がある場合には、合成処理部３１は、その画素の座標を記憶しておく。

ゲイン補正部１３２は、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２における色情報ごとのゲイン比（例えば、ＲＧＢゲイン比）を算出する。ゲイン補正部１３２は、例えば、ＲＡＷデータＩｒａｗ１ａ内の平均値を色情報ごとに算出するとともに、ＲＡＷデータＩｒａｗ２内の平均値を色情報ごとに算出する。ゲイン補正部１３２は、例えば、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２における、色情報ごとの平均値の比から、補正ゲインを色情報ごとに算出する。ゲイン補正部１３２は、算出した補正ゲインに基づいて、ＲＡＷデータＩｒａｗ２を補正し（ステップＳ１０２）、これにより、ＲＡＷデータＩｒａｗ２ａを生成する。

画素補正部１３３は、ＲＡＷデータＩｒａｗ１ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ１ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ１ｂを生成する（ステップＳ１０３）。画素補正部１３４は、ＲＡＷデータＩｒａｗ２ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ２ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ２ｂを生成する。

画素補正部１３３は、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ１ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ１ｂを生成する。画素補正部１３３は、さらに、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ２ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ２ｂを生成する。このとき、中心画素（補間対象の画素）がＧ画素のときには、画素補正部１３３は、例えば、図９に示したような補間フィルタＦを用いて、中心画素の緑色情報を補正する。また、中心画素（補間対象の画素）がＲ画素またはＢ画素のときには、画素補正部１３３は、中心画素の色情報を、例えば、図１０に示したような補間フィルタＦを用いて生成した緑色情報に置き換える。

縮小部１３５は、撮像デバイス１０，２０の倍率に基づいて、補間ＲＡＷデータＩｒａｗ２ｂを縮小する（ステップＳ１０４）。視差算出部１３６は、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐを算出する（ステップＳ１０５）。視差情報Ｄｉｓｐは、撮像デバイス１０と撮像デバイス２０との位置が互いに一致していないことから生じる画像上の位置ずれ量に相当するものである。視差算出部１３６は、例えば、２つの画像間での動きベクトル推定法などを用いて、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃから視差情報Ｄｉｓｐを生成する。

合成部１４０は、例えば、フュージョン部１４１、ＬＰＦ部１４２、相関処理部１４３、マージ部１４４および選択部１４５を有している。

フュージョン部１４１は、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ１０６）。具体的には、フュージョン部１４１は、視差情報Ｄｉｓｐに基づいて２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。

図１１は、フュージョン部１４１における信号処理手順の概要の一例を表わしたものである。フュージョン部１４１は、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きいか否か判定する（ステップＳ２０１）。その結果、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい場合には、フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａ（第２合成撮像データ）を生成する（ステップＳ２０２）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと等しい場合には、例えば、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ２０２）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと等しい各画素において、例えば、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい場合には、フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａ（第１合成撮像データ）を生成する（ステップＳ２０３）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

図１２は、フュージョン部１４１の内部構成の一例を表わしたものである。フュージョン部１４１は、例えば、ＬＰＦ部１４１Ａ、ＨＰＦ１４１Ｂ、視差補正部１４１Ｃ、ボケ補正部１４１Ｄおよび重畳部１４１Ｅを有している。ＬＰＦ部１４１Ａは、補間ＲＡＷデータＩｒａｗ１ｂにおける低周波成分を抽出することにより、補間ＲＡＷデータＩｒａｗ１ｃを生成する。ＨＰＦ１４１Ｂは、補間ＲＡＷデータＩｒａｗ２ｃにおける高周波成分を抽出することにより、補間ＲＡＷデータＩｒａｗ２ｄを生成する。視差補正部１４１Ｃは、視差情報Ｄｉｓｐ基づいて補間ＲＡＷデータＩｒａｗ２ｄを補正することにより、補間ＲＡＷデータＩｒａｗ２ｅを生成する。ボケ補正部１４１Ｄは、補間ＲＡＷデータＩｒａｗ１ｂと、補間ＲＡＷデータＩｒａｗ２ｅとに基づいて、補間ＲＡＷデータＩｒａｗ４を生成する。重畳部１４１Ｅは、補間ＲＡＷデータＩｒａｗ１ｃに、補間ＲＡＷデータＩｒａｗ４を足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

補間ＲＡＷデータＩｒａｗ４は、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈ、または、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせたものに相当する。補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい場合には、補間ＲＡＷデータＩｒａｗ４は、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈに相当する。補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい場合には、補間ＲＡＷデータＩｒａｗ４は、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせたものに相当する。

ボケ補正部１４１Ｄは、例えば、ＨＰＦ部１４１Ｆ、絶対値化部１４１Ｇ，１４１Ｈ、マップ作成部１４１Ｊおよび選択部１４１Ｍを有している。

ＨＰＦ部１４１Ｆは、補間ＲＡＷデータＩｒａｗ１ｂにおける高周波成分を抽出することにより、補間ＲＡＷデータＩｒａｗ１ｄを生成する。絶対値化部１４１Ｇは、補間ＲＡＷデータＩｒａｗ１ｄに含まれる各データの符号をプラスに書き換えることにより、補間ＲＡＷデータＩｒａｗ１ｅを生成する。絶対値化部１４１Ｈは、補間ＲＡＷデータＩｒａｗ２ｅに含まれる各データの符号をプラスに書き換えることにより、補間ＲＡＷデータＩｒａｗ２ｆを生成する。マップ作成部１４１Ｊは、補間ＲＡＷデータＩｒａｗ１ｅと、補間ＲＡＷデータＩｒａｗ２ｆとに基づいて、マップＩｍａｐ１を生成する。選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｄと、補間ＲＡＷデータＩｒａｗ２ｅと、マップＩｍａｐ１とに基づいて、補間ＲＡＷデータＩｒａｗ４を生成する。

図１３は、マップ作成部１４１Ｊにおけるマップ作成手順の一例を表したものである。なお、図１３中のＮは、補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）、補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）におけるｘの上限値である。図１３中のＭは、補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）、補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）におけるｙの上限値である。

マップ作成部１４１Ｊは、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈ（補間ＲＡＷデータＩｒａｗ１ｄ）を合成に使用するか否かを選択するためのマップを作成する。マップ作成部１４１Ｊは、補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ），Ｉｒａｗ２ｆ（ｘ，ｙ）にて、ｘ＝０，ｙ＝１を設定する（ステップＳ３０１）。次に、マップ作成部１４１Ｊは、ｘに１を加える（ステップＳ３０２）。次に、マップ作成部１４１Ｊは、ｘがＮを超えているか否か判定する（ステップＳ３０３）。その結果、ｘがＮを超えていない場合には、マップ作成部１４１Ｊは、設定されたｘ、ｙ座標において、補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）が補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）以上となっているか否か判定する（ステップＳ３０４）。その結果、補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）が補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）以上となっている場合には、マップ作成部１４１Ｊは、設定されたｘ、ｙ座標において、マップＩｍａｐ１（ｘ，ｙ）に０を書き込む（ステップＳ３０５）。補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）が補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）よりも小さい場合には、マップ作成部１４１Ｊは、設定されたｘ、ｙ座標において、マップＩｍａｐ１（ｘ，ｙ）に１を書き込む（ステップＳ３０６）。マップ作成部１４１Ｊは、ステップＳ３０５，Ｓ３０６を実行した後、ステップＳ３０２に戻る。

ステップＳ３０３において、ｘがＮを超えている場合には、マップ作成部１４１Ｊは、ｙがＭを超えているか否か判定する（ステップＳ３０７）。その結果、ｙがＭを超えている場合には、マップ作成部１４１Ｊは、マップＩｍａｐ１（ｘ，ｙ）の作成を終了する。ｙがＭを超えていない場合には、マップ作成部１４１Ｊは、ｙに１を加えるとともに、ｘを０にして、ステップＳ３０２に戻る（ステップＳ３０８）。マップ作成部１４１Ｊは、ＭｘＮ行列の全ての座標において、ステップＳ３０２〜Ｓ３０８を繰り返し行うことにより、マップＩｍａｐ１（ｘ，ｙ）を作成する。

図１４は、選択部１４１Ｍにおけるフュージョン対象データの選択手順の一例を表したものである。なお、図１４中のＮは、マップＩｍａｐ１（ｘ，ｙ）におけるｘの上限値である。図１４中のＭは、マップＩｍａｐ１（ｘ，ｙ）におけるｙの上限値である。

選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分に足し合わせるデータを、画素ごとに、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分（補間ＲＡＷデータＩｒａｗ１ｄ）、および補間ＲＡＷデータＩｒａｗ２ｃの高周波成分（補間ＲＡＷデータＩｒａｗ２ｅ）のいずれかから選択することにより、補間ＲＡＷデータＩｒａｗ４を生成する。選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｄ（ｘ，ｙ），補間ＲＡＷデータＩｒａｗ２ｅ（ｘ，ｙ），マップＩｍａｐ１（ｘ，ｙ）にて、ｘ＝０，ｙ＝１を設定する（ステップＳ４０１）。次に、選択部１４１Ｍは、ｘに１を加える（ステップＳ４０２）。次に、選択部１４１Ｍは、ｘがＮを超えているか否か判定する（ステップＳ４０３）。その結果、ｘがＮを超えていない場合には、選択部１４１Ｍは、設定されたｘ、ｙ座標において、補間ＲＡＷデータＩｒａｗ１ｄ（ｘ，ｙ）とマップＩｍａｐ１（ｘ，ｙ）とを互いにかけ合わせたものと、補間ＲＡＷデータＩｒａｗ２ｅ（ｘ，ｙ）とを互いに足し合わせる（ステップＳ４０４）。選択部１４１Ｍは、ステップＳ４０４を実行した後、ステップＳ４０２に戻る。ｘがＮを超えている場合には、選択部１４１Ｍは、ｙがＭを超えているか否か判定する（ステップＳ４０５）。その結果、ｙがＭを超えている場合には、選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）の作成を終了する。ｙがＭを超えていない場合には、選択部１４１Ｍは、ｙに１を加えるとともに、ｘを０にして、ステップＳ４０２に戻る（ステップＳ４０６）。選択部１４１Ｍは、ＭｘＮ行列の全ての座標において、ステップＳ４０２〜Ｓ４０６を繰り返し行うことにより、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）を作成する。

なお、フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ１ｃに、補間ＲＡＷデータＩｒａｗ４を足し合わせる際に、補間ＲＡＷデータＩｒａｗ４に対してマップ処理を行うマップ処理部を有していてもよい。マップとしては、例えば、フュージョン結果や入力信号、視差情報Ｄｉｓｐからフュージョンの失敗しやすい箇所を検出して、フュージョン信頼度を生成する。本マップを使用して信頼度の低い箇所はフュージョン効果を弱めることでフュージョンの失敗を最終結果にて検知しづらくすることができる。また、後述の相関処理部１４３によって生成されるＲＡＷデータＩｒａｗ３ｃと、ＲＡＷデータＩｒａｗ１とを互いに合成した際に、ＲＡＷデータＩｒａｗ３ｃと、ＲＡＷデータＩｒａｗ１との境界で解像度の変化を滑らかにするためにもマップを利用してもよい。この場合、マップの形状は合成データの外縁に近づくに従って段階的にフュージョン効果を弱めるような形状をもつ。

ＬＰＦ部１４２は、合成ＲＡＷデータＩｒａｗ３ａに含まれる、各撮像デバイス１０，２０のナイキスト周波数を超える高周波成分を減衰させることにより、合成ＲＡＷデータＩｒａｗ３ｂを生成する（ステップＳ１０７）。これにより、偽色の発生が抑制される。図１５は、ＬＰＦ部１４２の内部構成の一例を表したものである。ＬＰＦ部１４２は、例えば、カットオフ周波数の互いに異なる複数のＬＰＦが並列配置された構成となっている。ＬＰＦ部１４２は、例えば、ＬＰＦ１４２Ａおよびゲイン部１４２Ｄが直列接続されてなる第１パスＰ１と、ＬＰＦ１４２Ｂおよびゲイン部１４２Ｅが直列接続されてなる第２パスＰ２と、ゲイン部１４２Ｃだけが設けられた第３パスＰ３とを有している。ＬＰＦ１４２Ａは、例えば、図１６に示したように、撮像デバイス１０のナイキスト周波数Ｎｙｑ１をカットオフ周波数とするとともに、カットオフ周波数に近づくにつれて減衰率が高くなるフィルタ特性となっている。ＬＰＦ１４２Ｂは、例えば、図１７に示したように、撮像デバイス１０のナイキスト周波数Ｎｙｑ１と、撮像デバイス２０のナイキスト周波数Ｎｙｑ２との間の周波数をカットオフ周波数とするとともに、カットオフ周波数に近づくにつれて減衰率が高くなるフィルタ特性となっている。これにより、ＬＰＦ部１４２では、ＬＰＦ部１４２ＡおよびＬＰＦ１４２Ｂの選択により、高域の減衰に対して強弱を調整することができる。

第１パスＰ１、第２パスＰ２および第３パスＰ３は、互いに並列に接続されている。ＬＰＦ部１４２は、制御部４０からの制御信号に従って、ゲイン部１４２Ｃ，１４２Ｄ、１４２Ｅの各々のゲインが互いに独立に設定されるように構成されている。従って、例えば、ゲイン部１４２Ｃ，１４２Ｄのゲインがゼロとなり、ゲイン部１４２Ｅのゲインが１となるように、ＬＰＦ部１４２に対して制御信号が入力された場合には、ＬＰＦ部１４２は、ＬＰＦ部１４２Ｂとして機能する。また、例えば、ゲイン部１４２Ｃのゲインがゼロとなり、ゲイン部１４２Ｄ，１４２Ｅのゲインが１となるように、ＬＰＦ部１４２に対して制御信号が入力された場合には、ＬＰＦ部１４２は、互いに並列配置されたＬＰＦ部１４２Ａ，１４２Ｂとして機能する。

相関処理部１４３は、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ａに所定の処理を行ったもの（合成ＲＡＷデータＩｒａｗ３ｂ）に対して、相関処理を行う（ステップＳ１０８）。相関処理部１４３は、例えば、図１８Ａに示したように、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、ＲＡＷデータＩｒａｗ１と補間ＲＡＷデータＩｒａｗ１ｂとの差分である色差成分（Ｉｒａｗ１−Ｉｒａｗ１ｂ）を付加する。相関処理には色比を用いることも可能である。相関処理部１４３は、例えば、図１８Ｂに示したように、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、ＲＡＷデータＩｒａｗ１と補間ＲＡＷデータＩｒａｗ１ｂとの比である色比成分（Ｉｒａｗ１／Ｉｒａｗ１ｂ）を乗じてもよい。これにより、相関処理部１４３は、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の配列に対応する配列のＲＡＷデータＩｒａｗ３ｃを生成する。

マージ部１４４は、ＲＡＷデータＩｒａｗａ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成することにより、デモザイク処理用のＲＡＷデータＩｒａｗ３ｄ（第４ＲＡＷデータ）を生成する（ステップＳ１０９）。このとき、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗ３ｃの周縁に、色情報ゼロの額縁状の領域を設けることにより、ＲＡＷデータＩｒａｗ３ｃの画像サイズを、ＲＡＷデータＩｒａｗａ１の画像サイズに揃える。続いて、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗａ１のうちのフュージョン領域αの色情報をゼロにする。さらに、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗａ１に、ＲＡＷデータＩｒａｗａ１の画像サイズに揃えたＲＡＷデータＩｒａｗ３ｃを足し合わせる。つまり、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗａ１のうちのフュージョン領域αを、ＲＡＷデータＩｒａｗ３ｃに置き換える。

なお、合成処理部３１がＯＰＢ減算を行った場合には、マージ部１４４は、合成処理を行う前に、ＯＰＢ減算によって除外したノイズ成分を、符号も考慮した上で、ＲＡＷデータＩｒａｗ３ｃに加算してもよい。

選択部１４５は、ユーザによって指定される倍率に応じて、出力する合成ＲＡＷデータＩｒａｗを選択する。撮像デバイス１０の倍率が１倍となっており、撮像デバイス２０の倍率が２倍となっているとする。このとき、選択部１４５は、例えば、ユーザによって指定された倍率が１倍のときには、ＲＡＷデータＩｒａｗ１を、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が２倍以上のときには、ＲＡＷデータＩｒａｗ２をユーザによって指定された倍率に拡大したものを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が１倍〜２倍のときには、ＲＡＷデータＩｒａｗ３ｄを、合成ＲＡＷデータＩｒａｗとして出力する。

[効果]
次に、撮像装置１の効果について説明する。

従来から、２つの撮像装置を用いて、高視野かつ高解像度の画像を撮像する撮像システムが提案されている。従来の撮像システムでは、例えば、相対的に画角の広い撮像データにおいて、高周波成分を、相対的に画角の狭い撮像データの高周波成分に置き換えることにより、高視野かつ高解像度の画像が得られるとしている。しかし、従来の撮像システムでは、相対的に画角の狭い撮像データにボケがあるために、相対的に画角の広い撮像データにおいて、高周波成分を、相対的に画角の狭い撮像データの高周波成分に置き換えたことによって、かえって解像度が低下してしまう虞があった。

一方、本実施の形態では、相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。これにより、相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂにおいて、高周波成分を、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分に置き換えた場合と比べて、補間ＲＡＷデータＩｒａｗ２ｃにボケがあったときのボケの影響を緩和することができる。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

また、本実施の形態では、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。このときは、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

また、本実施の形態では、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。このときは、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈには、合成に影響を与えるボケがあると推定される。しかし、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈも、合成に使用されているので、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈに存在すると推定されるボケによる影響を低減することができる。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

また、本実施の形態では、撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域が撮像デバイス２０の撮像領域Ｒ２となっている。さらに、本実施の形態では、相対的に画角の広いＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ１よりも画角の狭いＲＡＷデータＩｒａｗ２が撮像デバイス１０，２０によって生成される。これにより、合成ＲＡＷデータＩｒａｗのうち外縁を除く所定の領域（フュージョン領域β）と、ＲＡＷデータＩｒａｗ２とが互いに合成される。言い換えると、枠状のＲＡＷデータＩｒａｗ１に、ＲＡＷデータＩｒａｗ２が嵌め込まれる。その結果、２つの撮像デバイス１０，２０を用いて、画角の広い、高解像度の画像を得たり、機械的なズーム機構を用いずに光学ズームを行ったりすることができる。

また、本実施の形態では、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に含まれる所定種類の色情報に基づいて、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に含まれる全ての画素の補間が行われる。これにより、ＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に対してデモザイク処理を行った上で合成処理を行うときと同程度の精度で、合成処理を行うことができる。

また、本実施の形態では、２つのＲＡＷデータＩｒａｗ１，Ｉｒａｗ２から生成した２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｂに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐが生成される。これにより、視差情報Ｄｉｓｐを用いることにより、補間ＲＡＷデータＩｒａｗ１ｂと補間ＲＡＷデータＩｒａｗ２ｃとの合成精度を高くすることができる。

また、本実施の形態では、合成ＲＡＷデータＩｒａｗ３ａに含まれる、各撮像デバイス１０，２０のナイキスト周波数を超える高周波成分がＬＰＦ１４２によって減衰される。これにより、ＲＡＷデータＩｒａｗａ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成したときに、偽色の発生を抑えることができる。さらに、本実施の形態では、ＬＰＦ部１４２ＡおよびＬＰＦ１４２Ｂが並列配置されており、かつ、ＬＰＦ部１４２ＡおよびＬＰＦ１４２Ｂのいずれか一方を選択することができる。これにより、ＬＰＦ部１４２ＡおよびＬＰＦ１４２Ｂの選択により、高域の減衰に対して強弱を調整することができる。

また、本実施の形態では、合成ＲＡＷデータＩｒａｗ３ｃまたは合成ＲＡＷデータＩｒａｗ３ａに所定の処理を行ったもの（合成ＲＡＷデータＩｒａｗ３ｂ）に対して、色差成分（Ｉｒａｗ１-Ｉｒａｗ１ｂ)が付加される。このように、本実施の形態では、色情報を少なくして合成処理が行われた後に、合成ＲＡＷデータＩｒａｗ３ｃまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、失われた色情報が戻される。従って、本実施の形態では、合成処理に要する処理コストや消費電力を低減しつつ、合成精度を高くすることができる。

また、本実施の形態では、ＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成することにより生成したＲＡＷデータＩｒａｗ３ｄに対してデモザイク処理が行われる。このように、本実施の形態では、ＲＡＷデータでの合成がなされた後にデモザイク処理が行われるので、デモザイク処理が行われた後に合成がなされる場合と比べて、処理コストや消費電力を低減することができる。

＜２．第１の実施の形態の変形例＞
次に、上記実施の形態に係る撮像装置１の変形例について説明する。

[変形例Ａ]
図１９は、本変形例に係るフュージョン部１４１における信号処理手順の概要の一例を表わしたものである。フュージョン部１４１は、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きいか否か判定する（ステップＳ２０１）。その結果、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい場合には、フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ２０２）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと等しい場合には、例えば、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ２０２）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと等しい各画素において、例えば、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい場合には、フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ２０４）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

図２０は、本変形例に係るフュージョン部１４１の内部構成の一例を表わしたものである。フュージョン部１４１は、例えば、ＬＰＦ部１４１Ａ、ＨＰＦ１４１Ｂ、視差補正部１４１Ｃ、ボケ補正部１４１Ｄおよび重畳部１４１Ｅを有している。本変形例において、マップ作成部１４１Ｊは、補間ＲＡＷデータＩｒａｗ１ｄ、および補間ＲＡＷデータＩｒａｗ２ｅのいずれか一方を選択するためのマップＩｍａｐ１を作成する。選択部１４１Ｍは、マップＩｍａｐ１に基づいて、補間ＲＡＷデータＩｒａｗ１ｄ、および補間ＲＡＷデータＩｒａｗ２ｅのいずれか一方を選択することにより、補間ＲＡＷデータＩｒａｗ４を生成する。

図２１は、マップ作成部１４１Ｊにおけるマップ作成手順の一例を表したものである。なお、図２１中のＮは、補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）、補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）におけるｘの上限値である。図２１中のＭは、補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）、補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）におけるｙの上限値である。

マップ作成部１４１Ｊは、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈ（補間ＲＡＷデータＩｒａｗ１ｄ）を合成に使用するか否かを選択するためのマップを作成する。マップ作成部１４１Ｊは、補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ），Ｉｒａｗ２ｆ（ｘ，ｙ）にて、ｘ＝０，ｙ＝１を設定する（ステップＳ３０１）。次に、マップ作成部１４１Ｊは、ｘに１を加える（ステップＳ３０２）。次に、マップ作成部１４１Ｊは、ｘがＮを超えているか否か判定する（ステップＳ３０３）。その結果、ｘがＮを超えていない場合には、マップ作成部１４１Ｊは、設定されたｘ、ｙ座標において、補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）が補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）以上となっているか否か判定する（ステップＳ３０４）。その結果、補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）が補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）以上となっている場合には、マップ作成部１４１Ｊは、設定されたｘ、ｙ座標において、マップＩｍａｐ１（ｘ，ｙ）にｔｒｕｅを書き込む（ステップＳ３０９）。補間ＲＡＷデータＩｒａｗ２ｆ（ｘ，ｙ）が補間ＲＡＷデータＩｒａｗ１ｅ（ｘ，ｙ）よりも小さい場合には、マップ作成部１４１Ｊは、設定されたｘ、ｙ座標において、マップＩｍａｐ１（ｘ，ｙ）にｆａｌｓｅを書き込む（ステップＳ３１０）。マップ作成部１４１Ｊは、ステップＳ３０９，Ｓ３１０を実行した後、ステップＳ３０２に戻る。

ステップＳ３０３において、ｘがＮを超えている場合には、マップ作成部１４１Ｊは、ｙがＭを超えているか否か判定する（ステップＳ３０７）。その結果、ｙがＭを超えている場合には、マップ作成部１４１Ｊは、マップＩｍａｐ１（ｘ，ｙ）の作成を終了する。ｙがＭを超えていない場合には、マップ作成部１４１Ｊは、ｙに１を加えるとともに、ｘを０にして、ステップＳ３０２に戻る（ステップＳ３０８）。マップ作成部１４１Ｊは、ＭｘＮ行列の全ての座標において、ステップＳ３０２〜Ｓ３０８を繰り返し行うことにより、マップＩｍａｐ１（ｘ，ｙ）を作成する。

図２２は、選択部１４１Ｍにおけるフュージョン対象データの選択手順の一例を表したものである。なお、図２２中のＮは、マップＩｍａｐ１（ｘ，ｙ）におけるｘの上限値である。図２２中のＭは、マップＩｍａｐ１（ｘ，ｙ）におけるｙの上限値である。

選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分に足し合わせるデータを、画素ごとに、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分（補間ＲＡＷデータＩｒａｗ１ｄ）、および補間ＲＡＷデータＩｒａｗ２ｃの高周波成分（補間ＲＡＷデータＩｒａｗ２ｅ）のいずれかから選択することにより、補間ＲＡＷデータＩｒａｗ４を生成する。選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｄ（ｘ，ｙ），補間ＲＡＷデータＩｒａｗ２ｅ（ｘ，ｙ），マップＩｍａｐ１（ｘ，ｙ）にて、ｘ＝０，ｙ＝１を設定する（ステップＳ４０１）。次に、選択部１４１Ｍは、ｘに１を加える（ステップＳ４０２）。次に、選択部１４１Ｍは、ｘがＮを超えているか否か判定する（ステップＳ４０３）。

その結果、ｘがＮを超えていない場合には、選択部１４１Ｍは、マップＩｍａｐ１（ｘ，ｙ）がｔｒｕｅとなっているか否か判定する（ステップＳ４１０）。その結果、マップＩｍａｐ１（ｘ，ｙ）がｔｒｕｅとなっている場合には、選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ２ｅを、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）に書き込む（ステップＳ４１１）。マップＩｍａｐ１（ｘ，ｙ）がｔｒｕｅとなってない場合には、選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｄ（ｘ，ｙ）を、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）に書き込む（ステップＳ４１２）。選択部１４１Ｍは、ステップＳ４１１，Ｓ４１２を実行した後、ステップＳ４０２に戻る。

ステップＳ４０３において、ｘがＮを超えている場合には、選択部１４１Ｍは、ｙがＭを超えているか否か判定する（ステップＳ４０５）。その結果、ｙがＭを超えている場合には、選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）の作成を終了する。ｙがＭを超えていない場合には、選択部１４１Ｍは、ｙに１を加えるとともに、ｘを０にして、ステップＳ４０２に戻る（ステップＳ４０６）。選択部１４１Ｍは、ＭｘＮ行列の全ての座標において、ステップＳ４０２，Ｓ４０３，Ｓ４０５，Ｓ４０６，Ｓ４１０〜Ｓ４１２を繰り返し行うことにより、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）を作成する。

本変形例では、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい場合には、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。さらに、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい場合には、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。つまり、本変形例では、補間ＲＡＷデータＩｒａｗ２ｃのボケが小さいときに限り、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが画像合成に使用される。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

また、本変形例では、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。このときは、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

また、本変形例では、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。このときは、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

[変形例Ｂ]
図２３は、本変形例に係るフュージョン部１４１における信号処理手順の概要の一例を表わしたものである。フュージョン部１４１は、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きいか否か判定する（ステップＳ２０１）。その結果、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい場合には、フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ２０２）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと等しい場合には、例えば、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ２０２）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈと等しい各画素において、例えば、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい場合には、フュージョン部１４１は、補間ＲＡＷデータＩｒａｗ１ｂにおいて画素値の変化が平坦なエリアがあるか否か判定する（ステップＳ２０５）。その結果、補間ＲＡＷデータＩｒａｗ１ｂにおいて画素値の変化が平坦なエリアがある場合には、フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さいエリアであって、かつ、補間ＲＡＷデータＩｒａｗ１ｂにおける画素値の変化が平坦なエリアにおいて、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ２０２）。

補間ＲＡＷデータＩｒａｗ１ｂにおいて画素値の変化が平坦ではないエリアがある場合には、フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さいエリアであって、かつ、補間ＲＡＷデータＩｒａｗ１ｂにおける画素値の変化が平坦ではないエリアにおいて、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ２０４）。フュージョン部１４１は、例えば、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さいエリアであって、かつ、補間ＲＡＷデータＩｒａｗ１ｂにおける画素値の変化が平坦ではないエリアにおける各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａを生成する。

ところで、画素値の変化が平坦なエリアか否かの判定には、例えば、以下の分散（ｘ，ｙ）が画素ごとに算出される。なお、Ｉ（ｘ，ｙ）は、座標（ｘ，ｙ）における補間ＲＡＷデータＩｒａｗ１ｂの画素値である。また、Ａｖｅは、座標（ｘ，ｙ）を中心とした、所定の領域（例えば、５×５の領域）における補間ＲＡＷデータＩｒａｗ１ｂの画素値の平均値である。フュージョン部１４１は、例えば、以下の分散（ｘ，ｙ）が所定の閾値よりも小さい場合には、座標（ｘ，ｙ）は平坦なエリアであると判定し、以下の分散（ｘ，ｙ）が所定の閾値以上の値となっている場合には、座標（ｘ，ｙ）は平坦ではないエリアであると判定する。

図２４は、本変形例に係るフュージョン部１４１の内部構成の一例を表わしたものである。フュージョン部１４１は、例えば、ＬＰＦ部１４１Ａ、ＨＰＦ１４１Ｂ、視差補正部１４１Ｃ、ボケ補正部１４１Ｄおよび重畳部１４１Ｅを有している。本変形例において、ボケ補正部１４１Ｄは、例えば、ＨＰＦ部１４１Ｆ、絶対値化部１４１Ｇ，１４１Ｈ、マップ作成部１４１Ｊ，１４１Ｋ、マップ合成部１４１Ｌおよび選択部１４１Ｍを有している。

マップ作成部１４１Ｊは、補間ＲＡＷデータＩｒａｗ１ｄ、および補間ＲＡＷデータＩｒａｗ２ｅのいずれか一方を選択するためのマップＩｍａｐ１を作成する。マップ作成部１４１Ｋは、補間ＲＡＷデータＩｒａｗ１ｂに基づいて、マップＩｍａｐ２を生成する。マップ合成部１４１Ｌは、マップＩｍａｐ１とマップＩｍａｐ２とに基づいて、マップＩｍａｐ３を生成する。選択部１４１Ｍは、マップＩｍａｐ３に基づいて、補間ＲＡＷデータＩｒａｗ１ｄ、および補間ＲＡＷデータＩｒａｗ２ｅのいずれか一方を選択することにより、補間ＲＡＷデータＩｒａｗ４を生成する。

図２５は、のマップ作成部１４１Ｋにおけるマップ作成手順の一例を表したものである。なお、図２５中のＮは、補間ＲＡＷデータＩｒａｗ１ｂ（ｘ，ｙ）におけるｘの上限値である。図２５中のＭは、補間ＲＡＷデータＩｒａｗ１ｂ（ｘ，ｙ）におけるｙの上限値である。

マップ作成部１４１Ｋは、マップＩｍａｐ１においてｆａｌｓｅとなっているエリアにおいて、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ１ｂ＿Ｈ（補間ＲＡＷデータＩｒａｗ２ｅ）を合成に用いた方が良いエリアを規定するためのマップを作成する。マップ作成部１４１Ｋは、補間ＲＡＷデータＩｒａｗ１ｂ（ｘ，ｙ）にて、ｘ＝０，ｙ＝１を設定する（ステップＳ５０１）。次に、マップ作成部１４１Ｋは、ｘに１を加える（ステップＳ５０２）。次に、マップ作成部１４１Ｋは、ｘがＮを超えているか否か判定する（ステップＳ５０３）。その結果、ｘがＮを超えていない場合には、マップ作成部１４１Ｋは、設定されたｘ、ｙ座標が画素値の変化が平坦なエリアに該当するか否かを判定する（ステップＳ５０４）。その結果、設定されたｘ、ｙ座標が平坦なエリアに該当する場合には、マップ作成部１４１Ｋは、設定されたｘ、ｙ座標において、マップＩｍａｐ２（ｘ，ｙ）にｔｒｕｅを書き込む（ステップＳ５０５）。設定されたｘ、ｙ座標が平坦なエリアに該当しない場合には、マップ作成部１４１Ｋは、設定されたｘ、ｙ座標において、マップＩｍａｐ２（ｘ，ｙ）にｆａｌｓｅを書き込む（ステップＳ５０６）。マップ作成部１４１Ｋは、ステップＳ５０５，Ｓ５０６を実行した後、ステップＳ５０２に戻る。

ステップＳ５０３において、ｘがＮを超えている場合には、マップ作成部１４１Ｋは、ｙがＭを超えているか否か判定する（ステップＳ５０７）。その結果、ｙがＭを超えている場合には、マップ作成部１４１Ｋは、マップＩｍａｐ２（ｘ，ｙ）の作成を終了する。ｙがＭを超えていない場合には、マップ作成部１４１Ｋは、ｙに１を加えるとともに、ｘを０にして、ステップＳ４０２に戻る（ステップＳ５０８）。マップ作成部１４１Ｋは、ＭｘＮ行列の全ての座標において、ステップＳ５０２〜Ｓ５０８を繰り返し行うことにより、マップＩｍａｐ２（ｘ，ｙ）を作成する。

図２６は、マップ合成部１４１Ｌにおけるマップ合成手順の一例を表したものである。なお、図２６中のＮは、マップＩｍａｐ１（ｘ，ｙ），Ｉｍａｐ２（ｘ，ｙ）におけるｘの上限値である。図２６中のＭは、マップＩｍａｐ１（ｘ，ｙ），Ｉｍａｐ２（ｘ，ｙ）におけるｙの上限値である。

マップ合成部１４１Ｌは、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈ（補間ＲＡＷデータＩｒａｗ２ｅ）を合成に使用するか否かを選択するためのマップを作成する。マップ合成部１４１Ｌは、マップＩｍａｐ１（ｘ，ｙ），Ｉｍａｐ２（ｘ，ｙ）にて、ｘ＝０，ｙ＝１を設定する（ステップＳ６０１）。次に、マップ合成部１４１Ｌは、ｘに１を加える（ステップＳ６０２）。次に、マップ合成部１４１Ｌは、ｘがＮを超えているか否か判定する（ステップＳ６０３）。

その結果、ｘがＮを超えていない場合には、マップ合成部１４１Ｌは、マップＩｍａｐ１（ｘ，ｙ）がｔｒｕｅとなっているか否か判定する（ステップＳ６０４）。その結果、マップＩｍａｐ１（ｘ，ｙ）がｔｒｕｅとなっている場合には、マップ合成部１４１Ｌは、マップＩｍａｐ３（ｘ，ｙ）にｔｒｕｅを書き込む（ステップＳ６０５）。マップＩｍａｐ１（ｘ，ｙ）がｔｒｕｅとなってない場合には、マップ合成部１４１Ｌは、マップＩｍａｐ２（ｘ，ｙ）がｔｒｕｅとなっているか否か判定する（ステップＳ６０６）。その結果、マップＩｍａｐ２（ｘ，ｙ）がｔｒｕｅとなっている場合には、マップ合成部１４１Ｌは、マップＩｍａｐ３（ｘ，ｙ）にｔｒｕｅを書き込む（ステップＳ６０５）。マップＩｍａｐ２（ｘ，ｙ）がｔｒｕｅとなってない場合には、マップ合成部１４１Ｌは、マップＩｍａｐ３（ｘ，ｙ）にｆａｌｓｅを書き込む（ステップＳ６０７）。マップ合成部１４１Ｌは、ステップＳ６０５，Ｓ６０７を実行した後、ステップＳ６０２に戻る。

ステップＳ６０３において、ｘがＮを超えている場合には、マップ合成部１４１Ｌは、ｙがＭを超えているか否か判定する（ステップＳ６０８）。その結果、ｙがＭを超えている場合には、マップ合成部１４１Ｌは、マップＩｍａｐ３（ｘ，ｙ）の作成を終了する。ｙがＭを超えていない場合には、マップ合成部１４１Ｌは、ｙに１を加えるとともに、ｘを０にして、ステップＳ６０２に戻る（ステップＳ６０９）。マップ合成部１４１Ｌは、ＭｘＮ行列の全ての座標において、ステップＳ６０２〜Ｓ６０９を繰り返し行うことにより、マップＩｍａｐ３（ｘ，ｙ）を作成する。

図２７は、選択部１４１Ｍにおけるフュージョン対象データの選択手順の一例を表したものである。なお、図２７中のＮは、マップＩｍａｐ３（ｘ，ｙ）におけるｘの上限値である。図２７中のＭは、マップＩｍａｐ３（ｘ，ｙ）におけるｙの上限値である。

選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分に足し合わせるデータを、画素ごとに、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分（補間ＲＡＷデータＩｒａｗ１ｄ）、および補間ＲＡＷデータＩｒａｗ２ｃの高周波成分（補間ＲＡＷデータＩｒａｗ２ｅ）のいずれかから選択することにより、補間ＲＡＷデータＩｒａｗ４を生成する。選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｄ（ｘ，ｙ），補間ＲＡＷデータＩｒａｗ２ｅ（ｘ，ｙ），マップＩｍａｐ３（ｘ，ｙ）にて、ｘ＝０，ｙ＝１を設定する（ステップＳ７０１）。次に、選択部１４１Ｍは、ｘに１を加える（ステップＳ７０２）。次に、選択部１４１Ｍは、ｘがＮを超えているか否か判定する（ステップＳ７０３）。

その結果、ｘがＮを超えていない場合には、選択部１４１Ｍは、マップＩｍａｐ３（ｘ，ｙ）がｔｒｕｅとなっているか否か判定する（ステップＳ７０４）。その結果、マップＩｍａｐ３（ｘ，ｙ）がｔｒｕｅとなっている場合には、選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ２ｅを、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）に書き込む（ステップＳ７０５）。マップＩｍａｐ３（ｘ，ｙ）がｔｒｕｅとなってない場合には、選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ１ｄ（ｘ，ｙ）を、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）に書き込む（ステップＳ７０６）。選択部１４１Ｍは、ステップＳ７０５，Ｓ７０６を実行した後、ステップＳ７０２に戻る。

ステップＳ７０３において、ｘがＮを超えている場合には、選択部１４１Ｍは、ｙがＭを超えているか否か判定する（ステップＳ７０７）。その結果、ｙがＭを超えている場合には、選択部１４１Ｍは、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）の作成を終了する。ｙがＭを超えていない場合には、選択部１４１Ｍは、ｙに１を加えるとともに、ｘを０にして、ステップＳ７０２に戻る（ステップＳ７０８）。選択部１４１Ｍは、ＭｘＮ行列の全ての座標において、ステップＳ７０２〜Ｓ７０８を繰り返し行うことにより、補間ＲＡＷデータＩｒａｗ４（ｘ，ｙ）を作成する。

本変形例では、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい場合には、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。さらに、相対的に画角の狭い補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが相対的に画角の広い補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい場合には、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。つまり、本変形例では、補間ＲＡＷデータＩｒａｗ２ｃのボケが小さいときに限り、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが画像合成に使用される。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

また、本変形例では、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも大きい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。このときは、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

また、本変形例では、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈが補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈよりも小さい各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。このときは、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

また、本変形例では、補間ＲＡＷデータＩｒａｗ１ｂの高周波成分Ｉｒａｗ１ｂ＿Ｈが補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈよりも大きい各画素のうち、画素値の変化が平坦なエリアに含まれる各画素において、補間ＲＡＷデータＩｒａｗ１ｂの低周波成分Ｉｒａｗ１ｂ＿Ｌと、補間ＲＡＷデータＩｒａｗ２ｃの高周波成分Ｉｒａｗ２ｃ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。これにより、高視野かつ高解像度の画像を得ることができる。

＜３．第２の実施の形態＞
[構成]
次に、本開示の第２の実施の形態に係る撮像装置２について説明する。図２８は、撮像装置２の機能ブロックの一例を表したものである。撮像装置２は、２つの撮像デバイス１０，２０を用いて、画角の広い、高解像度の画像を得たり、機械的なズーム機構を用いずに光学ズームを行ったりするものである。撮像装置２は、例えば、２つの撮像デバイス１０，２０、信号処理部３０および制御部４０を備えている。本実施の形態では、信号処理部３０は、２つのカメラ信号処理部３３，３４と、１つの合成処理部３５とを有している。合成処理部３３は、撮像デバイス１０によって生成されたＲＡＷデータＩｒａｗ１に対してデモザイク処理を行うことにより、カラー画像データＩｃｏｌ１を生成する。合成処理部３４は、撮像デバイス２０によって生成されたＲＡＷデータＩｒａｗ２に対してデモザイク処理を行うことにより、カラー画像データＩｃｏｌ２を生成する。合成処理部３５は、２つの合成処理部３３，３４で生成された２つのカラー画像データＩｃｏｌ１，Ｉｃｏｌ２を互いに合成することにより、カラー画像データＩｃｏｌを生成する。

図２９は、合成処理部３５の機能ブロックの一例を表したものである。

合成処理部３５は、位置合わせ部１５０および合成部１６０を有している。位置合わせ部１５０は、２つのカラー画像データＩｃｏｌ１，Ｉｃｏｌ２に基づいて、２つのカラー画像データＩｃｏｌ１，Ｉｃｏｌ２の位置合わせデータを生成する。合成部１６０は、位置合わせ部１５０によって生成された位置合わせデータに基づいて２つのカラー画像データＩｃｏｌ１，Ｉｃｏｌ２を互いに合成する。

位置合わせ部１５０は、例えば、切出部１５１、ゲイン補正部１５２、輝度演算部１５３，１５４、縮小部１５５および視差算出部１５６を有している。

切出部１５１は、カラー画像データＩｃｏｌ１において、カラー画像データＩｃｏｌ２との合成を行うフュージョン領域β（図５の領域αに相当）を指定する。具体的には、切出部１５１は、撮像デバイス１０，２０の倍率と、カラー画像データＩｃｏｌ１，Ｉｃｏｌ２の画像サイズとに基づいて、フュージョン領域βを指定する。切出部１５１は、例えば、撮像デバイス１０，２０の倍率と、カラー画像データＩｃｏｌ１，Ｉｃｏｌ２の画像サイズとに基づいて、カラー画像データＩｃｏｌ１における、フュージョン領域βの座標を指定する。切出部１５１は、例えば、指定した座標に基づいて、フュージョン領域βに対応するカラー画像データＩｃｏｌ１ａを、カラー画像データＩｃｏｌ１から切り出す。

ゲイン補正部１５２は、カラー画像データＩｃｏｌ１ａ，Ｉｃｏｌ２における色情報ごとのゲイン比（例えば、ＲＧＢゲイン比）を算出する。ゲイン補正部１５２は、例えば、カラー画像データＩｃｏｌ１ａ内の平均値を色情報ごとに算出するとともに、カラー画像データＩｃｏｌ２内の平均値を色情報ごとに算出する。ゲイン補正部１５２は、例えば、カラー画像データＩｃｏｌ１ａ，Ｉｃｏｌ２における、色情報ごとの平均値の比から、補正ゲインを色情報ごとに算出する。ゲイン補正部１５２は、算出した補正ゲインに基づいて、カラー画像データＩｃｏｌ２を補正し、これにより、カラー画像データＩｃｏｌ２ａを生成する。

輝度演算部１５３は、カラー画像データＩｃｏｌ１ａに含まれる各色情報に基づいて、カラー画像データＩｃｏｌ１ａにおける各画素の輝度データを算出する。これにより、輝度演算部１５３は、画素ごとに輝度データを有する輝度データＩｃｏｌ１ｂを得る。輝度演算部１５４は、カラー画像データＩｃｏｌ２ａに含まれる各色情報に基づいて、カラー画像データＩｃｏｌ２ａにおける各画素の輝度データを算出する。これにより、輝度演算部１５４は、画素ごとに輝度データを有する輝度データＩｃｏｌ２ｂを得る。

縮小部１５５は、撮像デバイス１０，２０の倍率に基づいて、カラー画像データＩｃｏｌ２ａおよび輝度データＩｃｏｌ２ｂを縮小する。これにより、縮小部１５５は、カラー画像データＩｃｏｌ２ｃおよび輝度データＩｃｏｌ２ｄを得る。視差算出部１５６は、輝度データＩｃｏｌ１ｂ，Ｉｃｏｌ２ｄに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐを算出する。視差算出部１５６は、例えば、２つの画像間での動きベクトル推定法などを用いて、輝度データＩｃｏｌ１ｂ，Ｉｃｏｌ２ｄから視差情報Ｄｉｓｐを生成する。

合成部１６０は、例えば、フュージョン部１６１、ＬＰＦ部１６２、マージ部１６３および選択部１６４を有している。

フュージョン部１６１は、２つのカラー画像データＩｃｏｌ１ａ，Ｉｃｏｌ２ｃを合成することによりカラー画像データＩｃｏｌ３ａを生成する。具体的には、フュージョン部１６１は、視差情報Ｄｉｓｐに基づいて２つのカラー画像データＩｃｏｌ１ａ，Ｉｃｏｌ２ｃを合成することによりカラー画像データＩｃｏｌ３ａを生成する。

本実施の形態では、フュージョン部１６１における信号処理は、上記実施の形態に係るフュージョン部１４１における信号処理と実質的に等しくなっている。

図３０は、フュージョン部１６１における信号処理手順の概要の一例を表わしたものである。フュージョン部１６１は、相対的に画角の狭いカラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、相対的に画角の広いカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きいか否か判定する（ステップＳ８０１）。その結果、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい場合には、フュージョン部１６１は、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａ（第２合成撮像データ）を生成する（ステップＳ８０２）。フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ａの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと等しい場合には、例えば、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する（ステップＳ８０２）。フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと等しい各画素において、例えば、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい場合には、フュージョン部１６１は、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａ（第１合成撮像データ）を生成する（ステップＳ８０３）。フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

[効果]
次に、撮像装置２の効果について説明する。

本実施の形態では、相対的に画角の広いカラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、相対的に画角の狭いカラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。これにより、相対的に画角の広いカラー画像データＩｃｏｌ１ａにおいて、高周波成分を、相対的に画角の狭いカラー画像データＩｃｏｌ２ｃの高周波成分に置き換えた場合と比べて、カラー画像データＩｃｏｌ１ａにボケがあったときのボケの影響を緩和することができる。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

また、本実施の形態では、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。このときは、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

また、本実施の形態では、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。このときは、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈには、合成に影響を与えるボケがあると推定される。しかし、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈも、合成に使用されているので、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈに存在すると推定されるボケによる影響を低減することができる。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる

また、本実施の形態では、撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域が撮像デバイス２０の撮像領域Ｒ２となっている。さらに、本実施の形態では、相対的に画角の広いカラー画像データＩｃｏｌ１と、カラー画像データＩｃｏｌ１よりも画角の狭いカラー画像データＩｃｏｌ２が撮像デバイス１０，２０およびカメラ信号処理部３３，３４によって生成される。これにより、カラー画像データＩｃｏｌ１のうち外縁を除く所定の領域（フュージョン領域β）と、カラー画像データＩｃｏｌ２とが互いに合成される。言い換えると、枠状のカラー画像データＩｃｏｌ１に、カラー画像データＩｃｏｌ２が嵌め込まれる。その結果、２つの撮像デバイス１０，２０およびカメラ信号処理部３３，３４を用いて、画角の広い、高解像度の画像を得たり、機械的なズーム機構を用いずに光学ズームを行ったりすることができる。

＜４．第２の実施の形態の変形例＞
次に、上記第２の実施の形態に係る撮像装置２の変形例について説明する。以下の変形例Ｃおよび変形例Ｄに係るフュージョン部１６１における信号処理は、上記第１の実施の形態の変形例Ａおよび変形例Ｂに係るフュージョン部１４１における信号処理と実質的に等しくなっている。

[変形例Ｃ]
図３１は、本変形例に係るフュージョン部１６１における信号処理手順の概要の一例を表わしたものである。フュージョン部１６１は、相対的に画角の狭いカラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、相対的に画角の広いカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きいか否か判定する（ステップＳ８０１）。その結果、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい場合には、フュージョン部１６１は、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する（ステップＳ８０２）。フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ａの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと等しい場合には、例えば、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する（ステップＳ８０２）。フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと等しい各画素において、例えば、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい場合には、フュージョン部１６１は、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する（ステップＳ８０４）。フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

本変形例では、相対的に画角の狭いカラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが相対的に画角の広いカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい場合には、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。さらに、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい場合には、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。つまり、本変形例では、カラー画像データＩｃｏｌ２ｃのボケが小さいときに限り、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが画像合成に使用される。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

また、本変形例では、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。このときは、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

また、本変形例では、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。このときは、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

[変形例Ｄ]
図３２は、本変形例に係るフュージョン部１６１における信号処理手順の概要の一例を表わしたものである。フュージョン部１６１は、相対的に画角の狭いカラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、相対的に画角の広いカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きいか否か判定する（ステップＳ８０１）。その結果、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい場合には、フュージョン部１６１は、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する（ステップＳ８０２）。フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ａの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと等しい場合には、例えば、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する（ステップＳ８０２）。フュージョン部１６１は、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈと等しい各画素において、例えば、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい場合には、フュージョン部１６１は、カラー画像データＩｃｏｌ１ａにおいて画素値の変化が平坦なエリアがあるか否か判定する（ステップＳ８０５）。その結果、カラー画像データＩｃｏｌ１ａにおいて平坦なエリアがある場合には、フュージョン部１６１は、例えば、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さいエリアであって、かつ、カラー画像データＩｃｏｌ１ａにおける平坦なエリアにおいて、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する（ステップＳ８０２）。

カラー画像データＩｃｏｌ１ａにおいて画素値の変化が平坦ではないエリアがある場合には、フュージョン部１６１は、例えば、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さいエリアであって、かつ、カラー画像データＩｃｏｌ１ａにおける画素値の変化が平坦ではないエリアにおいて、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する（ステップＳ８０４）。フュージョン部１６１は、例えば、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さいエリアであって、かつ、カラー画像データＩｃｏｌ１ａにおける画素値の変化が平坦ではないエリアにおける各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａを生成する。

ところで、画素値の変化が平坦なエリアか否かの判定には、例えば、上述の分散（ｘ，ｙ）が画素ごとに算出される。なお、Ｉ（ｘ，ｙ）は、座標（ｘ，ｙ）におけるカラー画像データＩｃｏｌ１ａの画素値である。また、Ａｖｅは、座標（ｘ，ｙ）を中心とした、所定の領域（例えば、５×５の領域）におけるカラー画像データＩｃｏｌ１ａの画素値の平均値である。フュージョン部１６１は、例えば、上述の分散（ｘ，ｙ）が所定の閾値よりも小さい場合には、座標（ｘ，ｙ）は画素値の変化が平坦なエリアであると判定し、以下の分散（ｘ，ｙ）が所定の閾値以上の値となっている場合には、座標（ｘ，ｙ）は画素値の変化が平坦ではないエリアであると判定する。

本変形例では、相対的に画角の狭いカラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが相対的に画角の広いカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい場合には、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。さらに、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい場合には、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。つまり、本変形例では、カラー画像データＩｃｏｌ２ｃのボケが小さいときに限り、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈが画像合成に使用される。従って、画像合成に起因する解像度の低下を簡易な方法で避けることができる。

また、本変形例では、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。このときは、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

また、本変形例では、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも小さい各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈとを互いに足し合わせることにより、合成ＲＡＷデータＩｒａｗ３ａが生成される。このときは、カラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈには、合成に影響を与えるボケがないので、高視野かつ高解像度の画像を得ることができる。

また、本変形例では、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈがカラー画像データＩｃｏｌ１ａの高周波成分Ｉｃｏｌ１ａ＿Ｈよりも大きい各画素のうち、画素値の変化が平坦なエリアに含まれる各画素において、カラー画像データＩｃｏｌ１ａの低周波成分Ｉｃｏｌ１ａ＿Ｌと、カラー画像データＩｃｏｌ２ｃの高周波成分Ｉｃｏｌ２ｃ＿Ｈとを互いに足し合わせることにより、カラー画像データＩｃｏｌ３ａが生成される。これにより、高視野かつ高解像度の画像を得ることができる。

＜５．共通の変形例＞
次に、上記各実施の形態およびその変形例に係る撮像装置１，２に共通する変形例について説明する。

上記各実施の形態およびその変形例では、撮像装置１，２は２つの撮像デバイス１０，２０を備えていたが、３つ以上の撮像デバイスを備えていてもよい。３つ以上の撮像デバイスは、例えば、物理的な配置が互いに水平となるように配置されている。各撮像デバイス１０の光軸は、互いに非平行となっている。このとき、各撮像デバイス１０の光軸は、撮像装置１，２から離れるにつれて各撮像デバイス１０の光軸のそれぞれの間隙が互いに狭まる方向を向いていることが好ましい。各撮像デバイス１０の光軸は、互いに平行となっていてもよい。

以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。

＜６．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図３４は、撮像部１２０３１の設置位置の例を示す図である。

図３４では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。

撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１に適用され得る。撮像部１２０３１に本開示に係る技術を適用することにより、高解像度の合成画像を得ることができる。

また、例えば、本開示は以下のような構成を取ることができる。
（１）
各々で画角の互いに異なる撮像データを生成する２つの撮像デバイスと、
一方の前記撮像デバイスによって生成された相対的に画角の広い前記撮像データである第１撮像データの低周波成分と、前記第１撮像データの高周波成分と、他方の前記撮像デバイスによって生成された相対的に画角の狭い前記撮像データである第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成する合成部と
を備えた
撮像装置。
（２）
前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも小さい場合に、前記第１合成撮像データを生成する
（１）に記載の撮像装置。
（３）
前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも小さい各画素において、前記第１撮像データの低周波成分と、前記第１撮像データの高周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成する
（２）に記載の撮像装置。
（４）
前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも大きい場合には、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成する
（２）または（３）に記載の撮像装置。
（５）
前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも大きい各画素において、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、前記第２合成撮像データを生成する
（４）に記載の撮像装置。
（６）
各前記撮像データは、画素ごとに１つの色情報が設定されたＲＡＷデータである
（１）ないし（５）のいずれか１つに記載の撮像装置。
（７）
各前記撮像データは、画素ごとに複数種類の色情報が設定されたカラー画像データである
（１）ないし（５）のいずれか１つに記載の撮像装置。
（８）
２つの前記撮像デバイスのうちの一方の第１撮像デバイスは、撮像により前記第１撮像データを生成し、
２つの前記撮像デバイスのうちの他方の第２撮像デバイスは、前記第１撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第２撮像データを生成する
（１）ないし（７）のいずれか１つに記載の撮像装置。
（９）
前記合成部は、前記第１撮像データのうち外縁を除く所定の領域と、前記第２撮像データにおける高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成する
（８）に記載の撮像装置。
（１０）
各々で画角の互いに異なる撮像データを生成する２つの撮像デバイスと、
一方の前記撮像デバイスによって生成された相対的に画角の広い前記撮像データである第１撮像データの高周波成分が、他方の前記撮像デバイスによって生成された相対的に画角の狭い前記撮像データである第２撮像データの高周波成分よりも大きい場合に、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成し、前記第１撮像データの高周波成分が、前記第２撮像データの高周波成分よりも小さい場合に、前記第１撮像データの低周波成分と、前記第１撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成する合成部と
を備えた
撮像装置。
（１１）
前記合成部は、前記第１撮像データの高周波成分が、前記第２撮像データの高周波成分よりも大きい各画素において、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成し、前記第１撮像データの高周波成分が、前記第２撮像データの高周波成分よりも小さい各前記画素において、前記第１撮像データの低周波成分と、前記第１撮像データの高周波成分とを互いに足し合わせることにより、前記第２合成撮像データを生成する
（１０）に記載の撮像装置。
（１２）
前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも小さい各画素のうち、画素値の変化が平坦なエリアに含まれる各前記画素において、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成する
（１１）に記載の撮像装置。
（１３）
各前記撮像データは、画素ごとに１つの色情報が設定されたＲＡＷデータである
（１０）ないし（１２）のいずれか１つに記載の撮像装置。
（１４）
各前記撮像データは、画素ごとに複数種類の色情報が設定されたカラー画像データである
（１０）ないし（１２）のいずれか１つに記載の撮像装置。
（１５）
２つの前記撮像デバイスのうちの一方の第１撮像デバイスは、撮像により前記第１撮像データを生成し、
２つの前記撮像デバイスのうちの他方の第２撮像デバイスは、前記第１撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第２撮像データを生成する
（１０）ないし（１４）のいずれか１つに記載の撮像装置。
（１６）
前記合成部は、前記第１撮像データのうち外縁を除く所定の領域と、前記第２撮像データにおける高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成する
（１５）に記載の撮像装置。
（１７）
画角の互いに異なる２つの撮像データのうち相対的に画角の広い前記撮像データである第１撮像データの低周波成分と、前記第１撮像データの高周波成分と、前記２つの撮像データのうち相対的に画角の狭い前記撮像データである第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成する合成部を備えた
信号処理装置。
（１８）
画角の互いに異なる２つの撮像データのうち相対的に画角の広い前記撮像データである第１撮像データの高周波成分が、前記２つの撮像データのうち相対的に画角の狭い前記撮像データである第２撮像データの高周波成分よりも大きい場合に、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成し、前記第１撮像データの高周波成分が、前記第２撮像データの高周波成分よりも小さい場合に、前記第１撮像データの低周波成分と、前記第１撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成する合成部を備えた
信号処理装置。

本出願は、日本国特許庁において２０１６年４月１３日に出願された日本特許出願番号第２０１６−０８０１３２号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (18)

1. 各々で画角の互いに異なる撮像データを生成する２つの撮像デバイスと、
   一方の前記撮像デバイスによって生成された相対的に画角の広い前記撮像データである第１撮像データの低周波成分と、前記第１撮像データの高周波成分と、他方の前記撮像デバイスによって生成された相対的に画角の狭い前記撮像データである第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成する合成部と
   を備えた
   撮像装置。
2. 前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも小さい場合に、前記第１合成撮像データを生成する
   請求項１に記載の撮像装置。
3. 前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも小さい各画素において、前記第１撮像データの低周波成分と、前記第１撮像データの高周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成する
   請求項２に記載の撮像装置。
4. 前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも大きい場合には、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成する
   請求項２に記載の撮像装置。
5. 前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも大きい各画素において、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、前記第２合成撮像データを生成する
   請求項４に記載の撮像装置。
6. 各前記撮像データは、画素ごとに１つの色情報が設定されたＲＡＷデータである
   請求項１に記載の撮像装置。
7. 各前記撮像データは、画素ごとに複数種類の色情報が設定されたカラー画像データである
   請求項１に記載の撮像装置。
8. ２つの前記撮像デバイスのうちの一方の第１撮像デバイスは、撮像により前記第１撮像データを生成し、
   ２つの前記撮像デバイスのうちの他方の第２撮像デバイスは、前記第１撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第２撮像データを生成する
   請求項１に記載の撮像装置。
9. 前記合成部は、前記第１撮像データのうち外縁を除く所定の領域と、前記第２撮像データにおける高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成する
   請求項８に記載の撮像装置。
10. 各々で画角の互いに異なる撮像データを生成する２つの撮像デバイスと、
    一方の前記撮像デバイスによって生成された相対的に画角の広い前記撮像データである第１撮像データの高周波成分が、他方の前記撮像デバイスによって生成された相対的に画角の狭い前記撮像データである第２撮像データの高周波成分よりも大きい場合に、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成し、前記第１撮像データの高周波成分が、前記第２撮像データの高周波成分よりも小さい場合に、前記第１撮像データの低周波成分と、前記第１撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成する合成部と
    を備えた
    撮像装置。
11. 前記合成部は、前記第１撮像データの高周波成分が、前記第２撮像データの高周波成分よりも大きい各画素において、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成し、前記第１撮像データの高周波成分が、前記第２撮像データの高周波成分よりも小さい各前記画素において、前記第１撮像データの低周波成分と、前記第１撮像データの高周波成分とを互いに足し合わせることにより、前記第２合成撮像データを生成する
    請求項１０に記載の撮像装置。
12. 前記合成部は、前記第２撮像データの高周波成分が前記第１撮像データの高周波成分よりも小さい各画素のうち、画素値の変化が平坦なエリアに含まれる各前記画素において、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成する
    請求項１１に記載の撮像装置。
13. 各前記撮像データは、画素ごとに１つの色情報が設定されたＲＡＷデータである
    請求項１０に記載の撮像装置。
14. 各前記撮像データは、画素ごとに複数種類の色情報が設定されたカラー画像データである
    請求項１０に記載の撮像装置。
15. ２つの前記撮像デバイスのうちの一方の第１撮像デバイスは、撮像により前記第１撮像データを生成し、
    ２つの前記撮像デバイスのうちの他方の第２撮像デバイスは、前記第１撮像デバイスの撮像領域のうち外縁を除く領域を撮像領域としており、撮像により前記第２撮像データを生成する
    請求項１０に記載の撮像装置。
16. 前記合成部は、前記第１撮像データのうち外縁を除く所定の領域と、前記第２撮像データにおける高周波成分とを互いに足し合わせることにより、前記第１合成撮像データを生成する
    請求項１４に記載の撮像装置。
17. 画角の互いに異なる２つの撮像データのうち相対的に画角の広い前記撮像データである第１撮像データの低周波成分と、前記第１撮像データの高周波成分と、前記２つの撮像データのうち相対的に画角の狭い前記撮像データである第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成する合成部を備えた
    信号処理装置。
18. 画角の互いに異なる２つの撮像データのうち相対的に画角の広い前記撮像データである第１撮像データの高周波成分が、前記２つの撮像データのうち相対的に画角の狭い前記撮像データである第２撮像データの高周波成分よりも大きい場合に、前記第１撮像データの低周波成分と、前記第２撮像データの高周波成分とを互いに足し合わせることにより、第１合成撮像データを生成し、前記第１撮像データの高周波成分が、前記第２撮像データの高周波成分よりも小さい場合に、前記第１撮像データの低周波成分と、前記第１撮像データの高周波成分とを互いに足し合わせることにより、第２合成撮像データを生成する合成部を備えた
    信号処理装置。

Images