JP6100089B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。具体的には、画角の異なる複数の撮像画像データを基に別の画角の画像データを生成する画像処理装置、画像処理方法およびプログラムに関する。

従来、撮像画像の所望の領域を拡大することにより画像処理によってズームを実現する技術（電子ズーム）が知られている。この方法ではズーム倍率を大きくするほど拡大倍率も大きくなり、次第に解像感が損なわれてしまうという問題があった。そこで、画角の異なる複数のカメラを用いることで解像感を損なわずに画像処理によるズームを行う技術（例えば、特許文献１）が知られている。特許文献１は、画角の広いカメラと画角の狭いカメラからなる撮像装置を用いる。ズーム倍率が小さい場合は画角の広いカメラを用いて電子ズーム処理を行い、ズーム倍率が所定の値よりも大きくなったら使用するカメラを切り替えて画角の狭いカメラを用いて電子ズーム処理を行う。

特許第４３４１０１９号公報

しかしながら、特許文献１では、使用するカメラが切り替わる際に解像感が大きく変化してしまうという課題があった。

そこで本発明では、解像感を損なわないとともに、解像感の変化が滑らかな電子ズームを実現することを目的とする。

本発明に係る画像処理装置は、撮像によって取得された第一の画角を有する第一の画像データと、前記第一の画角よりも小さい第二の画角を有し、前記第一の画像データの視点に対応する視点を持つ第二の画像データであって、それぞれ前記第二の画角を有し、それぞれ互いに異なる視点から撮像された第四の画像データと第五の画像データとを用いて生成された前記第二の画像データと、を取得する取得手段と、ユーザ指示に応じて決定される第三の画角を有し、前記第一の画像データおよび前記第二の画像データの視点に対応する視点を持つ第三の画像データであって、前記第一の画角よりも小さく、前記第二の画角よりも大きい前記第三の画角を有する前記第三の画像データを、前記第一の画像データと前記第二の画像データとを重みづけ合成することで生成する生成手段と、前記生成手段は、前記第三の画角が前記第二の画角に近づくほど、前記第一の画像データに対する前記第二の画像データの重みが大きくなるように、前記重みづけ合成に用いられる前記第一の画像データの重みと前記第二の画像データの重みとを決定し、決定された前記第一の画像データの重みと前記第二の画像データの重みとを用いて、前記第一の画像データと前記第二の画像データとの重みづけ合成を行うことを特徴とする。

本発明は、解像感を損なわずに滑らかな電子ズームを実現することができる。

本発明の実施例１に係る複数の撮像部を備えた多眼方式の撮像装置の一例を示す図である。 多眼方式の撮像装置の内部構成の一例を示すブロック図である。 撮像部の内部構成の一例を示す図である。 本発明の実施例１に係る概要機能構成を示す図である。 本発明の実施例１に係る処理全体の動作を示すフローチャートである。 本発明の実施例１に係る仮想画角画像生成処理の動作を示すフローチャートである。 本発明の実施例１に係る仮想画角と重みの関係を示す図である。 本発明の実施例１に係る撮像画像１と撮像画像２の対応関係を示す図である。 本発明の実施例１に係る撮像画像１と仮想画角画像の対応関係を示す図である。 画像合成処理における撮像画像１、撮像画像２、仮想画角画像の対応関係を示す図である。 画像合成処理時でブレンド処理を行う際の撮像画像１、撮像画像２、仮想画角画像の対応関係を示す図である。 本発明の実施例４に係る複数の撮像部を備えた多眼方式の撮像装置の一例を示す図である。 本発明の実施例１に係る仮想画角画像生成処理の動作を示すフローチャートである。 本発明の実施例５に係る複数の撮像部を備えた多眼方式の撮像装置の一例を示す図である。 本発明の実施例５に係る仮想画角画像生成処理の動作を示すフローチャートである。 本発明の実施例５における仮想画角と重みの関係を示す図である。 本発明の実施例５における仮想視点画像Ｉ１‘と仮想視点画像Ｉ２’の対応関係を示す図である。 本発明の実施例５における仮想視点画像Ｉ１‘と仮想画角画像の対応関係を示す図である。 本発明の画像合成処理における仮想視点画像Ｉ１‘仮想視点画像Ｉ２‘と仮想視点画像Ｉ３’、仮想画角画像の対応関係を示す図である。

以下に図面を参照して、発明の実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

本実施例では、画角の異なる２つの撮像画像データとユーザの指定した仮想画角とを基に、仮想画角に対応する仮想画角画像データを生成する。この際、仮想画角を大きくすることでズーム倍率の小さな仮想画角画像データが得られ、仮想画角を小さくすることでズーム倍率の大きな仮想画角画像データが得られる。すなわち、ユーザは仮想画角を変えることで、仮想画角画像データのズーム倍率を変えることができる。本実施例は、撮像の際のプレビュー画像データを生成する処理として、あるいは撮像後に任意のズーム倍率の画像データを生成する処理として利用可能である。

図１は、複数の撮像部を備えた多眼方式による多視点撮像装置の一例を示す図である。図１（ａ）に示すように、撮像装置１００はカラー画像データを取得する２個の撮像部１０１〜１０２及び撮像ボタン１０３を備えている。図１（ｂ）に示すように撮像部１０１と撮像部１０２は、それぞれの光軸１０４、１０５が平行になるように配置されている。本実施例では、撮像部１０１と撮像部１０２の水平方向の間隔をＲ、垂直方向の間隔をＴ、撮像部１０１の水平画角をθ１、垂直画角をφ１、撮像部１０２の水平画角をθ２、垂直画角をφ２とする。なお、θ１＞θ２かつφ１＞φ２とし、撮像部１０２よりも撮像部１０１の方が画角が広いものとする。ユーザが撮像ボタン１０３を押下すると、撮像部１０１〜１０２が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換され、複数のデジタルデータ（撮像画像データ）が同時に得られる。撮像画像データには、撮像時のフォーカス設定などに基づき導出された撮像装置１００から被写体までの距離Ｌがタグ情報として付与されるものとする。

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像した撮像画像データ群を得ることができる。なお、ここでは撮像部の数を２個としたが撮像部の数は２個に限定されず、撮像装置が複数の撮像部を有する限りにおいてその数によらず本実施例は適用可能である。

図２は、撮像装置１００の内部構成を示すブロック図である。中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プラグラム等を格納している。

バス２０４は、各種データの転送経路となる。例えば、撮像部１０１〜１０２によって取得された撮像画像データは、このバス２０４を介して所定の処理部に送られる。操作部２０５はユーザの指示を受け取る。具体的にはボタンやモードダイヤルなどが含まれ、撮像指示やズーム指示を受け取ることができる。表示部２０６は撮像画像や文字の表示を行い、例えば、液晶ディスプレイが用いられる。また、表示部２０６はタッチスクリーン機能を有していても良い。その場合はタッチスクリーンを用いた撮像指示やズーム指示などのユーザ指示を操作部２０５の入力として扱うことも可能である。

表示制御部２０７は、表示部２０６に表示される画像や文字の表示制御を行う。撮像制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像部の制御を行う。デジタル信号処理部２０９は、バス２０４を介して受け取った撮像画像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。

エンコード部２１０は、撮像画像データをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１１は、撮像装置１００を、外部メモリ２１３（例えば、ＰC、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に結合するためのインターフェースである。画像処理部２１２は、撮像部１０１〜１０２で取得された撮像画像データ群或いは、デジタル信号処理部２０９から出力される撮像画像データ群を用いて画像合成などの画像処理を行う。例えば、画角の異なる複数の画像データとユーザのズーム指示によって設定された仮想画角とを用いて、仮想画角に対応した仮想画角画像データを生成する。

なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。

図３は、撮像部１０１の内部構成を示す図である。撮像部１０１は、レンズ３０１〜３０２、絞り３０３、シャッター３０４、光学ローパスフィルタ３０５、ｉＲカットフィルタ３０６、カラーフィルタ３０７、センサ３０８及びＡ／Ｄ変換部３０９で構成される。レンズ３０１〜３０２は夫々、フォーカスレンズ３０１、ぶれ補正レンズ３０２である。センサ３０８は、例えばＣＭＯＳやＣＣＤなどのセンサであり、上記の各レンズでフォーカスされた被写体の光量を検知する。検知された光量はアナログ値としてセンサ３０８から出力され、Ａ／Ｄ変換部３０９によってデジタル値に変換されて、デジタルデータとなってバス２０４に出力される。なお、撮像部１０２についても同様の構成とすることができる。

次に、本実施形態に係る一連の処理を行う際の概要機能構成について、図４を用いて説明する。ＣＰＵ２０１の機能部としての撮像データ入力部４０１は撮像部１０１、１０２によって撮像された複数の撮像画像データ４０４を撮像部１０１、１０２から取得する。あるいは撮像データ入力部４０１は、あらかじめＲＡＭ２０２や外部メモリ２１３等に記憶されていた撮像画像データ４０４を取得するなどしてもよい。また、撮像データ入力部４０１は、撮像部１０１の画角θ１、φ１、撮像部１０２の画角θ２、φ２、及び撮像部１０１と撮像部１０２との間隔Ｒを含む撮像情報４０５をＲＯＭ２０３や外部メモリ２１３などの記憶装置から取得する。

ＣＰＵ２０１の機能部としての画像処理パラメータ入力部４０２は仮想画角θ’を含む画像処理パラメータ４０６をＲＯＭ２０３や外部メモリ２１３などの記憶装置から取得する。なお、仮想画角θ’は操作部２０５などで受け取ったユーザのズーム指示に従い決定され、記憶装置に記憶されているものとする。画像処理部２１２は、複数の撮像画像データ４０４と撮像情報４０５と画像処理パラメータ４０６に含まれる仮想画角θ’とを基に、仮想画角θ’に対応する仮想画角画像データ４０７を生成する。最後にＣＰＵ２０１の機能部としての出力部４０５は、仮想画角画像データ４０７を表示部２０６や外部メモリ２１３へ出力する。

図５は、本実施例の画像処理装置における一連の処理の動作手順を示すフローチャートである。詳細には、図５のフローチャートに示す手順を記述したプログラムを、ＲＯＭ２０３からＲＡＭ２０２上に読み込んだ後に、ＣＰＵ２０１によって該プログラムを実行することによって当該処理が実施される。

以下、図５に示す各処理について説明する。まず、ステップS５０１の画像データ取得処理において、撮像データ入力部４０１は撮像部１０１、１０２によって撮像された複数の撮像画像データ４０４を撮像部１０１、１０２から取得する。取得した撮像画像データ４０４はＲＡＭ２０２などに記憶される。あるいは、あらかじめ外部メモリ２１３などに撮像画像データ４０４を保持しておき、これを撮像データ入力部４０１が取得するようにしてもよい。また、撮像データ入力部４０１は撮像部１０１の画角θ１、φ１と、撮像部１０２の画角θ２、φ２と、撮像部１０１と撮像部１０２との間隔Ｒと、を含む撮像情報４０５をＲＯＭ２０３や外部メモリ２１３などの記憶装置から取得する。

次にステップＳ５０２の画像処理パラメータ取得処理（仮想画角取得処理）において、画像処理パラメータ入力部４０２は仮想画角θ’を含む画像処理パラメータ４０６をＲＯＭ２０３や外部メモリ２１３などの記憶装置から取得する。

次にステップＳ５０３において、画像処理部２１２はステップＳ５０１で記憶された撮像画像データ４０４および撮像情報４０５と、ステップＳ５０２で取得された画像処理パラメータ４０６とを用い、仮想画角画像データ４０７の生成を行う。生成した仮想画角画像データ４０７はRAM２０２などに記憶される。ステップＳ５０３の処理については後に詳述する。

最後にステップＳ５０４において、出力部４０５はステップＳ５０３で記憶した仮想画角画像データ４０７を表示部２０６や外部メモリ２１３に出力する。表示部２０６に出力することにより、仮想画角画像データ４０７が示す画像を表示できる。外部メモリ２１３に出力することにより、仮想画角画像データ４０７を外部メモリに記憶できる。

＜仮想画角画像データ生成処理＞
ここでは、ステップＳ５０３で行う仮想画角画像データ生成処理について説明する。仮想画角画像データ生成処理ではステップＳ５０１で記憶された撮像画像データおよび撮像情報４０５と、ステップＳ５０２で取得された画像処理パラメータ４０６とを用い、仮想画角画像データ４０７の生成を行う。以下、図６に示すフローチャートを用い、仮想画角画像データ生成処理の詳細を説明する。

まず、ステップＳ６０１において、画像処理部２１２は、撮像情報４０５に含まれる撮像部１０１の画角θ１、撮像部１０２の画角θ２、および画像処理パラメータ４０６に含まれる仮想画角θ’を基に、重みを決定する。決定される重みは、生成する仮想画角画像データ４０７に対する撮像画像データ４０４の重みである。以下、撮像部１０１、１０２で撮像した撮像画像データが示す撮像画像をそれぞれＩ１、Ｉ２とする。先に説明したように、撮像部１０１の方が撮像部１０２よりも画角が広い。したがって、撮像画像Ｉ１の方が撮像画像Ｉ２よりも画角が広い。また、撮像画像Ｉ１、Ｉ２に対する重みをｗ１、ｗ２とする。仮想画角θ’と重みｗ１、ｗ２との関係の例を図７（ａ）に示す。図７（ａ）では、重みｗ１、ｗ２は仮想画角θ’の値が大きくなるほど重みｗ１の値を大きくする。すなわち、仮想画角θ’に近い画角を有する撮像画像の重みを大きくする。具体的には下記の式で表される。

決定した重みｗ１、ｗ２はＲＡＭ２０２などの記憶装置に記憶される。

次に、ステップＳ６０２では、画像処理部２１２は、撮像画像Ｉ１と撮像画像Ｉ２との位置合わせを行う。具体的には、撮像画像Ｉ１に写っている被写体と、撮像画像Ｉ２に写っている被写体とが重なるように、撮像画像Ｉ１の各画素（ｘ、ｙ）と撮像画像Ｉ２の各画素（ｘ’、ｙ’）とをアフィンパラメータａ１〜ａ６を用いて対応付ける。画素（ｘ、ｙ）、画素（ｘ’、ｙ’）およびアフィンパラメータａ１〜ａ６の関係は以下の式のようになる。

以下、アフィンパラメータａ１〜ａ６の決定方法の例を説明する。ここでは、撮像部１０１の画角θ１、φ１、撮像部１０２の画角θ２、φ２、被写体までの距離Ｌ、撮像部の間隔Ｒを基に下記の式に従いアフィンパラメータａ１〜ａ６を決定する。

ここでｓ１、ｔ１は図８に示すように、撮像画像Ｉ１において、位置合わせ後の撮像画像Ｉ２に対応する領域から撮像画像Ｉ１の端部までの距離にあたり、下記の式で求められる。なお、図（ｂ）も併せて参照されたい。

ここで、ＷとＨとは、撮像画像Ｉ１における幅と高さとを示す。また、ΔＳ、ΔＴは見切れている被写体の長さであり、下記の式で求められる。

以上のようにして決定されたアフィンパラメータａ１〜ａ６はRＡM２０２などの記憶装置に記憶される。

次に、ステップＳ６０３では、画像処理部２１２は、画像処理パラメータ４０６に含まれる仮想画角θ’を基に、撮像画像Ｉ１に対する仮想画角領域を設定する。具体的には、図９に示すように撮像画像Ｉ１の画素（ｘ、ｙ）と仮想画角画像４０７の画素（ｘ”、ｙ”）との関係を表すアフィンパラメータｂ１〜ｂ６を決定する。以下にその式を示す。

以下、アフィンパラメータｂ１〜ｂ６の決定方法の例を説明する。ここでは、撮像画像Ｉ１の画角と、仮想画角画像の画角と、撮像画像Ｉ１のサイズとを基に下記の式に従いアフィンパラメータｂ１〜ｂ６を決定する。

ここで、Ｗ’とＨ’とは、撮像画像Ｉ１における仮想画角領域の幅と高さとを示す。また、ｓ２、ｔ２は図９に示す仮想画角領域から撮像画像Ｉ１の端部までの距離であり、例えば下記の式で求められる。

以上のようにして決定されたアフィンパラメータｂ１〜ｂ６はＲＡＭ２０２などの記憶装置に記憶される。

最後に、ステップＳ６０４で画像処理部２１２は、撮像画像データ４０４から仮想画角画像データ４０７を生成する。ステップＳ６０４では、ステップＳ６０１で記憶した重みｗ１、ｗ２とステップＳ６０２で記憶したアフィンパラメータａ１〜ａ６とステップＳ６０３で記憶したアフィンパラメータｂ１〜ｂ６とを用いて仮想画角画像データ４０７を生成する。具体的には、以下の式に従い撮像画像Ｉ１、Ｉ２を加重平均することで仮想画角画像データ４０７を生成する。

ここで、Ｉ”は仮想画角画像データ４０７が示す仮想画角画像である。図１０は、画像合成処理における撮像画像Ｉ１、Ｉ２と仮想画角画像Ｉ”との対応関係を示す図である。仮想画角画像Ｉ”の画素（ｘ”、ｙ”）は、撮像画像Ｉ１にある画素（ｘ、ｙ）とアフィンパラメータｂ１〜ｂ６とから決定する。また、仮想画角画像Ｉ”の画素（ｘ”、ｙ”）に対応する撮像画像Ｉ２にある画素（ｘ’、ｙ’）は撮像画像Ｉ１の画素（ｘ、ｙ）とアフィンパラメータａ１〜６とから決定する。これらの関係を用いることにより、撮像画像Ｉ１とＩ２から仮想合成画像Ｉ”を示す仮想画角画像データ４０７を生成する。生成された仮想画角画像データ４０７はＲＡＭ２０２などの記憶装置に記憶される。以上で仮想画角画像生成処理を終了する。

以上説明した処理制御を行うことで、任意の仮想画角に対応する仮想画角画像データを生成することができる。ユーザのズーム指示に応じて仮想画角画像データを生成し表示することにより解像感の変化が滑らかな電子ズームを実現できる。

なお、本実施例では重みｗ１、ｗ２を仮想画角θ’の値に応じて図７（ａ）に従うように線形に変化させていたが、重みと仮想画角の関係はこれに限らない。例えば、図７（ｂ）に示すように、重みｗ１、ｗ２を仮想画角θ’の値に応じて変化させてもよい。具体的には下記の式で表される。

図７（ｂ）のような非線形な重みを用いることにより、ユーザのズーム指示に対してより滑らかに解像感を変化させることが出来る。あるいは、図７（ｃ）に示すように、仮想画角θ’の値に応じて重みｗ１、ｗ２を０あるいは１に切り替えてもよい。

図７（ｃ）のような重みを用いることにより、撮像画像データ４０４の一部である解像感の高い撮像画像Ｉ２を優先的に使用することができるため、仮想画角画像データ４０７の解像感を向上させることができる。

また、本実施例では光軸１０４と光軸１０５とが平行であるとしたが、厳密に平行でない場合でも適用可能である。ただし、この場合はアフィンパラメータａ１〜ａ６の決定方法を変える必要がある。例えば、撮像画像１と撮像画像２から領域毎の動きベクトルを決定し、それを基に最小二乗法などを用いてアフィンパラメータをａ１〜ａ６を決定すればよい。あるいは、アフィンパラメータの代わりに動きベクトルを基に射影変換パラメータを求めることで、撮像画像Ｉ１と撮像画像Ｉ２とを対応付けるなどしても構わない。

また、図１１（ａ）に示すように、撮像画像Ｉ２の端部からの距離がＤ以下の領域を新たにブレンド用の領域とし、撮像画像Ｉ１との境界が目立たないようにブレンド処理を施してもよい。具体的には以下の式に従い撮像画像Ｉ１、Ｉ２を加重平均することで仮想画角画像データ４０７を生成する。

ここでｗ３は、図１１（ｂ）に示すように、撮像画像Ｉ２の画素（ｘ’、ｙ’）から撮像画像Ｉ２の画像端部までの距離ｄによって定められる重み値であり、ｄが大きいほど大きくなるように設定される。上式に従い撮像画像Ｉ１、Ｉ２を合成することにより、撮像画像Ｉ１、Ｉ２の境界部分が滑らかになるよう合成できる。

実施例１では図７（ａ）〜（ｃ）に示す重みのうちいずれかを用いて仮想画角画像データ４０７を生成した。実施例２では、ユーザが設定したモードに応じて重みを切り換える。これにより撮像モードに応じた仮想画角画像データ４０７を生成することが可能となる。

実施例２では撮像モードとしてノイズ低減優先モードと解像度優先モードとが切り換え可能であるとする。モードは操作部２０５から得られるユーザ操作によって切り換えられる。各モードにおける重みの例を以下に述べる。ノイズ低減優先モードでは図７（ａ）あるいは図７（ｂ）に示す重みを用いて合成を行い、解像度優先モードでは図７（ｃ）に示す重みを用いて合成を行う。これにより、ノイズ低減優先モードでは撮像画像Ｉ１と撮像画像Ｉ２を平均化することでノイズ低減効果を得られる。また、解像度優先モードでは、θｔ＝θ１とすることによりθ１≦θ’≦θ２の範囲で撮像画像Ｉ１よりも解像感の高い撮像画像Ｉ２を優先的に使用することができる。これにより、仮想画角画像データ４０７の解像感を向上させることができる。

以上、説明した処理を行うことで撮像モードに応じた仮想画角画像データ４０７を生成することが可能となる。

実施例１および実施例２では、画像全体に対して一組の重みｗ１、ｗ２を用いて仮想画角画像データ４０７を生成した。実施例３では、領域毎に計算した撮像画像Ｉ１と撮像画像Ｉ２と画像データ間の差分を基に重みｗ１、ｗ２を補正することにより、領域毎に異なる重みを用いて仮想画角画像データ４０７を生成する。これにより、位置合わせ誤差による解像感の劣化を抑制することができる。

具体的には、まず仮想画角画像データ４０７が示す仮想画角画像を複数の矩形領域に分割する。そして、この矩形領域毎に対応する撮像画像Ｉ１の画素（ｘ、ｙ）と撮像画像Ｉ２の画素（ｘ’、ｙ’）の差分絶対値の和を計算する。そして、求めた差分に基づき重みｗ１、ｗ２に対して補正処理を施す。具体的には、差分の大きな領域では、重みｗ２を大きくしｗ１の値を小さくするように補正をかける。これにより、差分の大きな領域では撮像画像２と同等の解像感となり、位置合わせ誤差による仮想画角画像の解像感の劣化を抑制することができる。

なお、本実施例では重みｗ２を大きくしｗ１の値を小さくするように補正をかけたが、逆に重みｗ１を大きくしｗ２の値を小さくするように補正をかけても構わない。この場合は差分の大きな領域では撮像画像Ｉ１と同等の解像感となるが、位置合わせ誤差による仮想画角画像の解像感の劣化は抑制することができる。

なお、本実施例では撮像画像Ｉ１の画素（ｘ、ｙ）と撮像画像Ｉ２の画素（ｘ’、ｙ’）との差分絶対値の和を基に重みを設定したが重みの決め方はこれに限らない。撮像画像Ｉ１と撮像画像Ｉ２との差分を表す値であれば本実施例を適用可能である。

以上、説明した処理を行うことで位置合わせ誤差による解像感の劣化を抑制することができる。

実施例１〜３では、主に平面被写体を対象とし、異なる位置から撮像した画角の異なる撮像画像データを加重平均することにより仮想画角画像データ４０７を生成する例を説明した。実施例４では、画角θ２の複数の撮像画像データから画角θ１の撮像画像データと同じ視点に対応する画角θ１の仮想視点画像データを生成する。そして、画角θ１の撮像画像データと生成した画角θ１の仮想視点画像データとを足し合わせることより仮想画角画像データを生成する。これにより、奥行のある被写体に対しても良好な仮想画角画像データを生成することが可能となる。

実施例１〜３と比べて、実施例３では撮像装置１００と仮想画角画像生成処理Ｓ５０３とが異なる。図１２（ａ）に実施例４における撮像装置の一例を示す。撮像装置の筐体１２００は撮像画像データを取得する３個の撮像部１２０１〜１２０３及び撮像ボタン１２０４を備えている。図１２（ｂ）に示すように撮像部１２０１〜１２０３は、それぞれの光軸が平行になるように配置されている。本実施例では、各撮像部１２０１〜１２０３の間隔をＲとする。撮像部１２０１の水平画角をθ１、垂直画角をφ１とする。撮像部１２０２、１２０３の水平画角をθ２、垂直画角をφ２とする。すなわち、撮像部１２０２と撮像部１２０３とは同一の画角を有する。なお、θ１＞θ２かつφ１＞φ２とし、撮像部１２０２、１２０３よりも撮像部１２０１の方が画角が広いものとする。ユーザが撮像ボタン１２０４を押下すると、撮像部１２０１〜１２０３が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換され、複数の撮像画像データが同時に撮像される。撮像画像データには、撮像時のフォーカス設定などに基づき導出された撮像装置１２００から被写体までの距離Ｌがタグ情報として付与されるものとする。以下、撮像部１２０１、１２０２、１２０３で撮像した撮像画像データが示す撮像画像をそれぞれＩ１、Ｉ２、Ｉ３とする。

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。なお、ここでは撮像部の数を３個としたが撮像部の数は３個に限定されない。以上が実施例４における撮像装置の一例である。

次に図１３に示すフローチャートを用いて、実施例４における仮想画角画像データ生成処理の詳細を説明する。

まず、ステップＳ１３０１において画像処理部２１２は、撮像画像データ４０４が示す撮像画像Ｉ２および撮像画像Ｉ３から視差補間処理によって撮像部１２０２と撮像部１２０３との間の位置の視点に対応する画像データを生成する。すなわち、同じ画角を有する撮像画像データから仮想視点画像データを生成する。具体的には、撮像部１２０１の位置の視点に対応する仮想視点画像Ｉ’を示す仮想視点画像データを生成する。視差補間処理には既存の方法を利用する。例えば、撮像画像Ｉ２と撮像画像Ｉ３の２画像を用いてブロックマッチングを行い決定した各画素の視差量を基に、撮像部１２０１の位置の視点に対応する仮想視点画像Ｉ’を生成してもよい。あるいは２画像から抽出した特徴点を対応付け、各特徴点の対応関係を基にモーフィング処理を行うことで撮像部１２０１の位置の視点に対応する仮想視点画像Ｉ’を生成することもできる。

次に、ステップＳ１３０２で画像処理部２１２は、生成する仮想画角画像データ４０７に対する撮像画像データ４０４及び仮想視点画像データの重みを決定する。すなわち、撮像情報４０５に含まれる画角θ１、画角θ２および画像処理パラメータに含まれる仮想画角θ’を基に重みを決定する。実施例４では、撮像画像Ｉ１と仮想視点画像Ｉ’に対する重みを決定する。なお、具体的な処理はステップＳ６０１と同様である。

次に、ステップＳ１３０３では、撮像画像Ｉ１と仮想視点画像Ｉ’との位置合わせを行う。具体的には、ステップＳ６０２と同様に、撮像画像Ｉ１の画素（ｘ、ｙ）と第１の仮想視点画像Ｉ’の画素（ｘ’、ｙ’）との位置関係を表すアフィンパラメータａ１〜６を決定する。ステップＳ６０２との違いは、ΔＳ、ΔＴの決定方法であり、ここでは下記の式で求める。

以上のようにして決定されたアフィンパラメータａ１〜ａ６はRＡM２０２などの記憶装置に記憶される。

次に、ステップＳ１３０４では、画像処理部２１２は、画像処理パラメータ４０６に含まれる仮想画角θ’を基に、撮像画像Ｉ１に対する仮想画角領域を設定する。具体的な処理はステップＳ６０３と同様である。

最後に、ステップＳ１３０５では、画像処理部２１２は、撮像画像Ｉ１と仮想視点画像Ｉ’から仮想画角画像を示す仮想画角画像データ４０７を生成する。ステップＳ１３０５では、ステップＳ１３０２で記憶した重みｗ１、ｗ２とステップＳ１３０３で記憶したアフィンパラメータａ１〜ａ６とステップＳ１３０４で記憶したアフィンパラメータｂ１〜ｂ６を用いて、像を示す仮想画角画像データ４０７を生成する。具体的な処理はステップＳ６０４のＩ２をＩ’に置き換えたものと同様である。

以上、説明した処理を行うことで奥行のある被写体に対しても良好な仮想画角画像データ４０７を生成することが可能となる。

実施例４では、撮像画像と同じ視点に対応する仮想視点画像を生成して、撮像画像と仮想視点画像とを用いることで奥行きのある被写体に対して良好に仮想画角画像データを生成する例を説明した。

実施例５では、まず撮像画像から所定の視点における画角の異なる仮想視点画像を複数生成する。そして、生成した複数の仮想視点画像のうち、所望の仮想画角に近い画角を有する仮想視点画像を優先的に使用して仮想画角画像を生成する。これにより、仮想視点画像に対して行なう画像拡大処理の拡大倍率を小さくできるので、画像の解像度の低下を抑えつつ、奥行きのある被写体に対して、実施例４よりも高倍率な電子ズームが可能になる。

実施例１〜４と比べて、実施例５では撮像装置１００と仮想画角画像生成処理Ｓ５０３が異なる。

図１４（ａ）に実施例５における撮像装置の一例を示す。撮像装置１４００は、カラー画像を取得する６個の撮像部１４０２〜１４０７及び撮像ボタン１４０８を備えている。図１４（ｂ）に示すように撮像部１４０２〜１４０７は、それぞれの光軸が平行になるように配置されている。本実施例では、撮像部１４０２、１４０３の間隔をＲ１、撮像部１４０４、１４０５の間隔をＲ２、撮像部１４０６、１４０７の間隔をＲ３とする。また、撮像部１４０２、１４０３の水平画角をθ３、垂直画角をφ３、撮像部１４０４、１４０５の水平画角をθ２、垂直画角をφ２、撮像部１４０６、１４０７の水平画角をθ１、垂直画角をφ１、とする。なお、θ１＞θ２＞θ３かつφ１＞φ２＞φ３とし、最も画角が広いのは撮像部１４０６、撮像部１４０７であり、最も画角が狭いのは撮像部１４０２、１４０３である。また、同じ画角を有する撮像部は仮想視点位置１４０１を中心に対称となるように配置されている。

ユーザが撮像ボタン１４０８を押下すると、撮像部１４０２〜１４０７が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換され、複数のカラー画像データ（デジタルデータ）が同時撮像される。カラー画像データには、撮像時のフォーカス設定などに基づき算出された撮像装置１４００から被写体までの距離Ｌがタグ情報として付与されるものとする。以下、撮像部１４０２、１４０３、１４０４、１４０５、１４０６、１４０７で撮像した撮像画像をそれぞれＩ２、Ｉ３、Ｉ４、Ｉ５、Ｉ６、Ｉ７とする。

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。なお、ここでは撮像部の数を６個としたが撮像部の数は６個に限定されない。以上が実施例５における撮像装置の一例である。

次に図１５に示すフローチャートを用いて、実施例５における仮想画角画像生成処理の詳細を説明する。概要としては、まず撮像画像データ４０４から視差補間処理により、図１４に示す仮想視点位置１４０１に対応する画角の異なる３つの仮想視点画像データを生成する。その後、３つの仮想視点画像データを基に仮想画角画像データを生成する。以下、説明を簡便にするため、仮想視点画像データが生成されることを、単に仮想視点画像が生成される、として説明する。同様に、仮想画角画像データが生成されることを、単に、仮想画角画像が生成される、として説明する。フローチャートを参照しながら詳細に説明する。

まず、ステップＳ１５０１において画像処理部２１２は、撮像画像データ４０４に含まれる撮像画像Ｉ２、Ｉ３から視差補間処理によって撮像部１４０２と撮像部１４０３との間の位置に対応する画像を生成する。具体的には、仮想視点位置１４０１の位置に対応する仮想視点画像Ｉ１’を生成する。視差補間処理には実施例４同様に既存の方法を利用する。

次に、ステップＳ１５０２において画像処理部２１２は、撮像画像データ４０４に含まれる撮像画像Ｉ４、Ｉ５から視差補間処理によって撮像部１４０４と撮像部１４０５との間の位置に対応する画像を生成する。具体的には、仮想視点位置１４０１の位置に対応する仮想視点画像Ｉ２’を生成する。視差補間処理には実施例４同様に既存の方法を利用する。

次に、ステップＳ１５０３において画像処理部２１２は、撮像画像データ４０４に含まれる撮像画像Ｉ６、Ｉ７から視差補間処理によって撮像部１４０６と撮像部１４０７との間の位置に対応する画像を生成する。具体的には、仮想視点位置１４０１の位置に対応する仮想視点画像Ｉ３’を生成する。視差補間処理には実施例４同様に既存の方法を利用する。

次に、ステップＳ１５０４で画像処理部２１２は、撮像情報４０５に含まれる画角θ１、画角θ２、画角θ３および仮想画角θ’を基に、生成する仮想画角画像４０７に対する、仮想視点画像Ｉ１’、Ｉ２’、Ｉ３’の重みを算出する。仮想視点画像Ｉ１’、Ｉ２’、Ｉ３’に対する重みをそれぞれｗ１、ｗ２、ｗ３とする。仮想画角θ’と重みｗ１、ｗ２、ｗ３との関係の例を図１６（ａ）に示す。図１６（ａ）において、重みｗ１、ｗ２、ｗ３は、θ１＞θ’≧θ２の範囲において、ｗ１とｗ２を適応的に変化させてｗ３は０に固定して変化させない。具体的には下記の式で表される。

また、θ２＞θ’≧θ３の範囲において、ｗ１は０に固定して変化させず、ｗ２とｗ３を適応的に変化させる。具体的には下記の式で表される。

上記のように重みを設定することにより、仮想画角に近い画角を有する仮想視点画像により重い重みを付けて仮想画角画像を生成することが可能になる。したがって、仮想視点画像に対して行なう画像拡大処理の拡大倍率を小さくできるので、画像の解像度の低下を抑えつつ、奥行きのある被写体に対して、高倍率な電子ズームが可能になる。

なお、重みｗ１、ｗ２、ｗ３を算出方法については上記に限らず、図１６（ｂ）に示すように、仮想画角に対して設定する閾値θτ１と閾値θτ２を用いて重みｗ１、ｗ２、ｗ３を算出するようにしてもよい。閾値θτ１と閾値θτ２は、ＲＯＭ２０３に予め記録されており、本画像処理装置の開始時にＲＡＭ２０２に読み込み利用する。閾値θτ１と閾値θτ２を用いた重みｗ１、ｗ２、ｗ３の算出は、具体的には下記の式で表される。

上記の式において、θ１＞θτ１≧θ２であり、θ２＞θτ２≧θ３である。図１６（ｂ）で示される重み付けは実施例２における解像度優先モードに対応する。すなわち、θτ１＝θ１とすることによりθ１＞θ’≧θ２の範囲でＩ１’よりも解像感の高いＩ２’を優先的に使用することができる。同様に、θτ２＝θ２とすることによりθ２＞θ’≧θ３の範囲でＩ２’よりも解像感の高いＩ３’を優先的に使用することができる。これにより、仮想画角画像４０７の解像感を向上させることができる。算出した重みｗ１、ｗ２、ｗ３はRＡM２０２などの記憶装置に記憶される。

なお、本実施例においても実施例２に記載したように、ユーザが設定したモードに応じて上記に示したような重みの算出方法を切り替えることが可能である。すなわち、解像度優先モードの場合には図１６（ｂ）の重みを用い、ノイズ低減優先モードの場合には図１６（ａ）に示すような重みを用いることができる。

次に、ステップＳ１５０５で画像処理部２１２は、仮想視点画像Ｉ１’とＩ２’とＩ３’の位置合わせを行なう。これは複数の２画像間の位置合わせであり、具体的には仮想視点画像Ｉ１’とＩ２’との位置合わせと、仮想視点画像Ｉ２’とＩ３’との位置合わせと、を組み合わせることにより実現される。

仮想視点画像Ｉ１’とＩ２’との位置合わせにおいて、仮想視点画像Ｉ１’に写っている被写体と、仮想視点画像Ｉ２’に写っている被写体とが重なるように、対応付ける。具体的には、位置あわせでは、仮想視点画像Ｉ１’の各画素（ｘ１’、ｙ１’）と仮想視点画像Ｉ２’の各画素（ｘ２’、ｙ２’）とをアフィンパラメータａ１〜ａ６を用いて対応付ける。画素（ｘ１’、ｙ１’）、画素（ｘ２’、ｙ２’）およびアフィンパラメータａ１〜ａ６の関係は以下の式のようになる。

以下、アフィンパラメータａ１〜ａ６の決定方法の例を説明する。ここでは、仮想視点画像Ｉ１’の画角と仮想視点画像Ｉ２’の画角と、被写体までの距離Ｌとを基に下記の式に従いアフィンパラメータａ１〜ａ６を算出する。

ここでｓ１、ｔ１は図１７に示すように、仮想視点画像Ｉ１’において、位置合わせ後の仮想視点画像Ｉ２’に対応する領域から仮想視点画像Ｉ１’の端部までの距離にあたり、下記の式で求められる。

ここでＷとＨとは、仮想視点画像Ｉ１’のサイズを示す。また、ΔＳ、ΔＴは見切れている被写体の長さであり、下記の式で求められる。

次に、仮想視点画像Ｉ２’と仮想視点画像Ｉ３’の位置合わせについて説明する。仮想視点画像Ｉ２’に写っている被写体と、仮想視点画像Ｉ３’に写っている被写体が重なるように、Ｉ２’の各画素（ｘ２’、ｙ２’）とＩ３’の各画素（ｘ３’、ｙ３’）をアフィンパラメータａ’１〜ａ’６を用いて対応付ける。画素（ｘ２’、ｙ２’）、画素（ｘ３’、ｙ３’）およびアフィンパラメータａ’１〜ａ’６の関係は以下の式のようになる。

以下、アフィンパラメータａ’１〜ａ’６の決定方法の例を説明する。ここでは、仮想視点画像Ｉ２’の画角と仮想視点画像Ｉ３’の画角と、被写体までの距離Ｌとを基に下記の式に従いアフィンパラメータａ’１〜ａ’６を算出する。

ここでｓ２、ｔ２は図示しない、仮想視点画像Ｉ２’において、位置合わせ後の仮想視点画像Ｉ３’に対応する領域から仮想視点画像Ｉ２’の端部までの距離にあたり、下記の式で求められる。

ここでＷ２とＨ２とは、仮想視点画像Ｉ２’のサイズを示す。また、ΔＳ、ΔＴは見切れている被写体の長さであり、下記の式で求められる。

以上、算出されたアフィンパラメータａ１〜ａ６、ａ’１〜ａ’６はRＡM２０２などの記憶装置に記憶される。

次に、ステップＳ１５０６で画像処理部２１２は、画像処理パラメータ４０６に含まれる仮想画角θ’を基に、仮想視点画像Ｉ１’に対する仮想画角領域を設定する。具体的には、図１８に示すように仮想視点画像Ｉ１’の画素（ｘ１’、ｙ１’）と仮想画角画像４０７の画素（ｘ”、ｙ”）との関係を表すアフィンパラメータｂ１〜６を決定する。以下にその式を示す。

以下、アフィンパラメータｂ１〜ｂ６の決定方法の例を説明する。ここでは、仮想視点画像Ｉ１’の画角と、仮想画角画像の画角と、仮想視点画像Ｉ１’のサイズとを基に下記の式に従いアフィンパラメータｂ１〜６を算出する。

ここで、ＷとＨとは、仮想視点画像Ｉ１’の幅と高さとを示し、Ｗ’とＨ’とは、仮想視点画像Ｉ１’における仮想画角領域の幅と高さとを示す。ここで、ｓ３、ｔ３は図１８に示す仮想画角領域から仮想視点画像Ｉ１’の端部までの距離であり、例えば下記の式で求められる。

以上、決定されたアフィンパラメータｂ１〜ｂ６はＲＡＭ２０２などの記憶装置に記憶される。

最後に、ステップＳ１５０７で画像処理部２１２は、仮想視点画像Ｉ１’、Ｉ２’、Ｉ３’から仮想画角画像データ４０７を生成する。ステップＳ１５０７では、ステップＳ１５０４で記憶した重みｗ１、ｗ２、ｗ３とステップＳ１５０５で記憶したアフィンパラメータａ１〜ａ６およびａ’１〜ａ’６とステップＳ１５０６で記憶したアフィンパラメータｂ１〜ｂ６を用いて生成する。具体的には、以下の式に従いＩ１’、Ｉ２’、Ｉ３’を加重平均することで仮想画角画像４０７を生成する。

ここで、Ｉ”は仮想画角画像データ４０７である。図１９にて、アフィン変換処理による仮想画角画像と仮想視点画像の対応関係を模式的に示す。仮想画角画像の画素（ｘ”、ｙ”）は、仮想視点画像Ｉ１’の画素（ｘ１’、ｙ１’）とアフィンパラメータｂ１〜ｂ６とから決定する。また、仮想画角画像の画素（ｘ”、ｙ”）に対応する、仮想視点画像Ｉ２’にある画素（ｘ２’、ｙ２’）は、仮想視点画像Ｉ１’の対応する画素（ｘ１’、ｙ１’）とアフィンパラメータａ１〜ａ６とから決定する。また、仮想画角画像の画素（ｘ”、ｙ”）に対応する、仮想視点画像Ｉ３’にある画素（ｘ３’、ｙ３’）は、仮想視点画像Ｉ２’の対応する画素（ｘ２’、ｙ２’）とアフィンパラメータａ’１〜ａ’６とから決定する。生成された仮想画角画像データ４０７はＲＡＭ２０２などの記憶装置に記憶される。以上で仮想画角画像生成処理を終了する。

以上、説明した処理を行なうことで、奥行きのある被写体に対しても奥行のある被写体に対しても良好な仮想画角画像データ４０７を生成することが可能となる。

また、本実施例では画角θ１から画角θ３までの範囲において、仮想画角θ’を基に仮想画角画像を生成することが可能である。これにより、実施例４に示すように撮像画像と仮想視点画像を用いて画角θ１から画角θ２までの範囲において、仮想画角θ’を基に仮想画角画像を生成するよりも高倍率な電子ズームが可能になる。

尚、図１５において、ステップＳ１５０１からステップＳ１５０３までにおいて、仮想視点画像Ｉ１’、Ｉ２’、Ｉ３’を生成したが、生成する仮想視点画像の数は３つに限定されない。これに伴い、図１４（ｂ）において、画角θ１から図示しない画角θ４までの範囲において、仮想画角θ’を基に仮想画角画像を生成することが可能となる。

このように画角の異なる仮想視点画像を複数用いることで、拡大処理による仮想視点画像の解像度劣化を所定の程度に抑えた上で、高倍率な電子ズームを行なえることが、本実施例の特長である。

尚、本実施例においても実施例４に示すように、撮像画像と仮想視点画像を用いて仮想画角画像を生成してもよい。具体的には、仮想視点位置１４０１に新たな撮像部を設置して、仮想視点位置１４０１から取得した画像Ｉ１と仮想視点画像Ｉ１’を用いて仮想画角画像を生成するようにしてもよい。

尚、Ｉ１’、Ｉ２’、Ｉ３’の全てを用いて仮想画角画像を生成することも可能である。これは例えばステップ１５０４において、重みｗ１、ｗ２、ｗ３をそれぞれ１／３に設定することで実現される。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (16)

1. 撮像によって取得された第一の画角を有する第一の画像データと、前記第一の画角よりも小さい第二の画角を有し、前記第一の画像データの視点に対応する視点を持つ第二の画像データであって、それぞれ前記第二の画角を有し、それぞれ互いに異なる視点から撮像された第四の画像データと第五の画像データとを用いて生成された前記第二の画像データと、を取得する取得手段と、
   ユーザ指示に応じて決定される第三の画角を有し、前記第一の画像データおよび前記第二の画像データの視点に対応する視点を持つ第三の画像データであって、前記第一の画角よりも小さく、前記第二の画角よりも大きい前記第三の画角を有する前記第三の画像データを、前記第一の画像データと前記第二の画像データとを重みづけ合成することで生成する生成手段と、
   前記生成手段は、
   前記第三の画角が前記第二の画角に近づくほど、前記第一の画像データに対する前記第二の画像データの重みが大きくなるように、前記重みづけ合成に用いられる前記第一の画像データの重みと前記第二の画像データの重みとを決定し、
   決定された前記第一の画像データの重みと前記第二の画像データの重みとを用いて、前記第一の画像データと前記第二の画像データとの重みづけ合成を行うこと
   を特徴とする画像処理装置。
2. 前記生成手段は、前記第二の画像データの各画素について、前記第二の画像データが表す画像の端部からの距離に応じた重み値を与え、前記重み値をさらに用いて前記重みづけ合成を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記端部からの距離が大きくなるほど、前記重み値が大きくなるように、前記重み値を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記第一の画像データおよび前記第二の画像データの対応する画素を位置あわせして、前記重みづけ合成を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記生成手段は、前記第三の画角と、前記第一の画角と、前記第二の画角と、前記第一の画像データおよび前記第二の画像データを撮像した撮像手段の位置と、被写体までの距離と、に基づいて前記位置あわせを行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、前記第一の画像データおよび前記第二の画像データの対応する画素に、前記決定した重みを適用することによって前記重みづけ合成を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、前記重みを用いて複数の前記画像データの少なくとも一部を足し合わせることにより前記第三の画像データを生成することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記生成手段は、モードに応じて前記重みの決定基準を変更することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記生成手段は、前記第三の画角に応じて前記重みが連続的に変化する第一のモードと、前記第三の画角に閾値を設定し、前記閾値の前後で重みを不連続に切り替える第二のモードとを備えることを特徴とする請求項８に記載の画像処理装置。
10. 前記生成手段は、前記第三の画像データの領域毎に前記重みを補正する補正手段を有し、前記生成手段は前記補正手段で補正された重みを用いて前記第三の画像データを生成することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記補正手段は前記第一の画像データと前記第二の画像データとの間の差分に基づき前記重みを補正することを特徴とする請求項１０に記載の画像処理装置。
12. 第一の画角を有する第一の画像データを撮像する第一の撮像手段と、
    前記第一の画角よりも小さい第二の画角を有する第四の画像データを撮像する第二の撮像手段と、
    前記第二の画角を有する第五の画像データを撮像する第三の撮像手段と、
    前記第二の撮像手段および前記第三の撮像手段は、それぞれ互いに異なる視点を持ち、
    前記第一の画像データと、前記第一の画像データの視点に対応する視点を持つ第二の画像データであって、前記第四の画像データと前記第五の画像データとを用いて生成された前記第二の画像データと、を取得する取得手段と、
    ユーザ指示に応じて決定される第三の画角を有し、前記第一の画像データおよび前記第二の画像データの視点に対応する視点を持つ第三の画像データであって、前記第一の画角よりも小さく、前記第二の画角よりも大きい前記第三の画角を有する前記第三の画像データを、前記第一の画像データと前記第二の画像データとを重みづけ合成することで生成する生成手段と、
    前記生成手段は、
    前記第三の画角が前記第二の画角に近づくほど、前記第一の画像データに対する前記第二の画像データの重みが大きくなるように、前記重みづけ合成に用いられる前記第一の画像データの重みと前記第二の画像データの重みとを決定し、
    決定された前記第一の画像データの重みと前記第二の画像データの重みとを用いて、前記第一の画像データと前記第二の画像データとの重みづけ合成を行うこと
    を特徴とする撮像装置。
13. 撮像によって取得された第一の画角を有する第一の画像データと、前記第一の画角よりも小さい第二の画角を有し、前記第一の画像データの視点に対応する視点を持つ第二の画像データであって、それぞれ前記第二の画角を有し、それぞれ互いに異なる視点から撮像された第四の画像データと第五の画像データとを用いて生成された前記第二の画像データと、を取得する取得工程と、
    ユーザ指示に応じて決定される第三の画角を有し、前記第一の画像データおよび前記第二の画像データの視点に対応する視点を持つ第三の画像データであって、前記第一の画角よりも小さく、前記第二の画角よりも大きい前記第三の画角を有する前記第三の画像データを、前記第一の画像データと前記第二の画像データとを重みづけ合成することで生成する生成工程と、
    前記生成工程において、
    前記第三の画角が前記第二の画角に近づくほど、前記第一の画像データに対する前記第二の画像データの重みが大きくなるように、前記重みづけ合成に用いられる前記第一の画像データの重みと前記第二の画像データの重みとが決定され、
    決定された前記第一の画像データの重みと前記第二の画像データの重みとを用いて、前記第一の画像データと前記第二の画像データとの重みづけ合成が行われること
    を特徴とする画像処理方法。
14. 第一の画角を有する第一の画像データを撮像する第一の撮像工程と、
    前記第一の画角よりも小さい第二の画角を有する第四の画像データを撮像する第二の撮像工程と、
    前記第二の画角を有する第五の画像データを撮像する第三の撮像工程と、
    前記第二の撮像工程および前記第三の撮像工程は、それぞれ互いに異なる視点で行われ、
    前記第一の画像データと、前記第一の画像データの視点に対応する視点を持つ第二の画像データであって、前記第四の画像データと前記第五の画像データとを用いて生成された前記第二の画像データと、を取得する取得工程と、
    ユーザ指示に応じて決定される第三の画角を有し、前記第一の画像データおよび前記第二の画像データの視点に対応する視点を持つ第三の画像データであって、前記第一の画角よりも小さく、前記第二の画角よりも大きい前記第三の画角を有する前記第三の画像データを、前記第一の画像データと前記第二の画像データとを重みづけ合成することで生成する生成工程と、
    前記生成工程において、
    前記第三の画角が前記第二の画角に近づくほど、前記第一の画像データに対する前記第二の画像データの重みが大きくなるように、前記重みづけ合成に用いられる前記第一の画像データの重みと前記第二の画像データの重みとが決定され、
    決定された前記第一の画像データの重みと前記第二の画像データの重みとを用いて、前記第一の画像データと前記第二の画像データとの重みづけ合成が行われること
    を特徴とする撮像方法。
15. コンピュータを、請求項１から請求項１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１２に記載の撮像装置の各手段として機能させるためのプログラム。

Images