JP6291595B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本発明は、光学特性が異なる複数種類の光学系を使って撮影を行う撮像装置、撮像方法及びプログラムに係り、特に光学系間における撮影光の干渉（クロストーク）によって低下しうる撮影画像の画質を改善する技術に関する。

撮像装置の技術分野では、複数の特性を有する光学系を用いて撮影を行うことにより、複数種類の画像を同時に取得する技術が知られている。

例えば特許文献１は、多彩な光学特性を有する多様レンズと指向性センサとが組み合わされた撮像装置を開示する。この撮像装置によれば、瞳分割が利用されて焦点距離及び合焦距離のうち少なくともいずれか一方が異なる複数の撮影画像を取得することができる。

このような多様レンズと指向性センサとが組み合わされた撮像装置では、光学特性の異なるレンズ（光学系）間で撮影光が干渉（クロストーク）してしまい、本来意図されている画像上に意図していない画像成分が重畳してしまうことがある。例えば多様レンズが広角レンズと望遠レンズとを含む場合に、広角画像成分と望遠画像成分とが混ざってしまい、その結果広角画像上に望遠画像が重なったり、望遠画像上に広角画像が重なったりする。

光学特性の異なるレンズ（光学系）間におけるこのような撮影光の干渉（クロストーク）に関し、特許文献３に開示の撮像装置では、各レンズの光学特性に応じた画像処理を行うことにより混信成分が低減されている。

国際公開第２０１３／１４６５０６号

上述のように、多様レンズと指向性センサとが組み合わされた撮像装置によって撮像された画像における混信成分を、画像処理によって低減することができる。しかしながら、被写体、多様レンズ及び指向性センサの特性、及びその他の撮影条件によっては、そのような混信成分を画像から効果的に除去することが難しい場合がある。

特に、実際に使用される指向性センサのサンプリング密度が低くチャンネル間の空間位相の差が無視できないケース、使用する指向性センサの線形性が悪いケース、指向性センサによって受光される撮影光の強度が強過ぎたり又は弱過ぎたりするケース、指向性センサの隣接画素に画像光（撮像信号）が漏れているケース、或いは被写体像が鋭いエッジ（輪郭）成分を持つケースでは、特許文献３に開示されているような画像処理の処理強度を強くすると、混入した撮影光が却って強調されてしまい画質が十分に改善されないことがある。このように、多様レンズと指向性センサとが組み合わされた撮像装置によって撮像された画像における混信成分を画像処理によって低減する場合には、画像品質上の弊害が生じる懸念があり、とりわけ混信の度合いが大きい指向性センサを使用した場合には良質な画像を得ることが困難であった。

また光学系間における撮影光の干渉（クロストーク）の影響を低減する画像処理を行う際には、そのような画像処理に必要な演算時間（処理時間）、コスト及び画像処理回路や画像処理プログラムの実装に伴うシステム上の影響を考慮する必要がある。例えば演算処理に長時間を要したり、画像処理を実現するためのコストが高かったり、画像処理回路や画像処理プログラムの実装が面倒だったりすることは、そのような画像処理の実現を阻害する要因となり好ましくない。

したがって光学系間における撮影光の干渉の影響を低減するための新たな技術が、従来の技術とは異なる観点から提案されることが望まれている。特に、実際の撮影状況が好ましくない場合であっても、複数種類の画像を同時に取得することが可能であるという撮像装置の特性を損なうことなく、高品質の所望画像を提供可能な簡素な処理構成の新たな画質改善技術の提案が望まれている。

本発明は上述の事情に鑑みてなされたものであり、簡素な処理構成によって、光学系間における撮影光の干渉の影響を低減して高品質の画像を取得することができる撮像手法及びその応用技術を提供することを目的とする。

本発明の一態様は、共通の光軸を有する第１光学系及び第２光学系であって、相互に異なる焦点距離を有する第１光学系及び第２光学系を含む撮影光学系と、第１光学系を通過した光を選択的に受光する第１センサ群と、第２光学系を通過した光を選択的に受光する第２センサ群とを含む撮像素子と、第１センサ群から出力される第１撮影画像に基づいて第１生成画像を生成し、第２センサ群から出力される第２撮影画像に基づいて第２生成画像を生成する画像生成部と、を備え、画像生成部は画像合成部を有し、画像合成部は、第１光学系の光軸が異なる状態において撮像される複数の第１撮影画像の位置合わせを行い、位置合わせされた複数の第１撮影画像を合成することにより第１生成画像を生成し、第２光学系の光軸が異なる状態において撮像される複数の第２撮影画像の位置合わせを行い、位置合わせされた複数の第２撮影画像を合成することにより第２生成画像を生成する撮像装置に関する。

本態様によれば、位置合わせされた複数の第１撮影画像が合成されて第１生成画像が生成される。したがって第２光学系を通過した光による混信像が第１撮影画像に含まれていても、第１生成画像では、そのような混信像の影響が弱められ、第１光学系を通過した光による所望像の鮮明度を良好にすることができる。同様に、位置合わせされた複数の第２撮影画像が合成されて第２生成画像が生成されるため、第２生成画像では、第１光学系を通過した光による混信像の影響が弱められ、第２光学系を通過した光による所望像の鮮明度を良好にすることができる。このように画像処理によって第１撮影画像から第１生成画像が生成され第２撮影画像から第２生成画像を生成されるため、特別なハードウェアを追加する必要が無く簡素な処理構成によって、光学系間における撮影光の干渉の影響を低減して高品質の画像を取得することができる。

望ましくは、複数の第１撮影画像は、第１光学系の光軸の方向が異なる状態において撮像されて第１センサ群から出力され、複数の第２撮影画像は、第２光学系の光軸の方向が異なる状態において撮像されて第２センサ群から出力される。

本態様によれば、複数の第１撮影画像間において、第１光学系を通過した光による所望像と第２光学系を通過した光による混信像との相対位置を変えることができ、第１生成画像において混信像の影響を効果的に弱めることができる。同様に、複数の第２撮影画像間において、第２光学系を通過した光による所望像と第１光学系を通過した光による混信像との相対位置を変えることができ、第２生成画像において混信像の影響を効果的に弱めることができる。

望ましくは、複数の第１撮影画像は、被写体に対する第１光学系の光軸の相対位置が異なる状態において撮像されて第１センサ群から出力され、複数の第２撮影画像は、被写体に対する第２光学系の光軸の相対位置が異なる状態において撮像されて第２センサ群から出力される。

本態様によれば、複数の第１撮影画像間で、第１光学系を通過した光による所望像と第２光学系を通過した光による混信像との相対位置を変えることができ、第１生成画像において混信像の影響を効果的に弱めることができる。同様に、複数の第２撮影画像間において、第２光学系を通過した光による所望像と第１光学系を通過した光による混信像との相対位置を変えることができ、第２生成画像において混信像の影響を効果的に弱めることができる。

望ましくは、画像合成部は、第１光学系の光軸の状態及び第１光学系の焦点距離に基づいて、複数の第１撮影画像の位置合わせを行い、第２光学系の光軸の状態及び第２光学系の焦点距離に基づいて、複数の第２撮影画像の位置合わせを行う。

本態様によれば、第１光学系の焦点距離に基づいて複数の第１撮影画像の位置合わせを能動的に行うことができ、第２光学系の焦点距離に基づいて複数の第２撮影画像の位置合わせを能動的に行うことができる。

画像合成部が第１光学系の焦点距離及び第２光学系の焦点距離を取得する手法は特に限定されない。例えば撮影光学系（第１光学系及び第２光学系）が交換可能な場合には、撮影光学系が交換される度に、画像合成部は第１光学系の焦点距離及び第２光学系の焦点距離を取得することが好ましい。一方、撮影光学系（第１光学系及び第２光学系）が交換不可能な場合、画像合成部は、予め第１光学系の焦点距離及び第２光学系の焦点距離を記憶保持していてもよい。また画像合成部は、第１撮影画像に付随するデータから第１光学系の焦点距離を取得してもよいし、第２撮影画像に付随するデータから第２光学系の焦点距離を取得してもよい。

望ましくは、画像合成部は、複数の第１撮影画像を解析して複数の第１撮影画像の各々における第１基準像部の位置を取得し、第１基準像部の位置に基づいて複数の第１撮影画像の位置合わせを行い、複数の第２撮影画像を解析して複数の第２撮影画像の各々における第２基準像部の位置を取得し、第２基準像部の位置に基づいて複数の第２撮影画像の位置合わせを行う。

本態様によれば、第１光学系の焦点距離及び第２光学系の焦点距離を取得することなく、複数の第１撮影画像の位置合わせ及び複数の第２撮影画像の位置合わせを行うことができる。

望ましくは、画像合成部は、位置合わせされた複数の第１撮影画像のデータを加算して加算後のデータの平均を算出することにより、複数の第１撮影画像の合成を行い、位置合わせされた複数の第２撮影画像のデータを加算して加算後のデータの平均を算出することにより、複数の第２撮影画像の合成を行う。

本態様によれば、加算平均演算処理によって、複数の第１撮影画像の合成及び複数の第２撮影画像の合成を行うことができる。

望ましくは、画像合成部は、撮像の際の第１光学系の光軸の状態に応じて定められる重みに基づいて複数の第１撮影画像のデータの重み付き平均を算出することにより、複数の第１撮影画像の合成を行い、撮像の際の第２光学系の光軸の状態に応じて定められる重みに基づいて複数の第２撮影画像のデータの重み付き平均を算出することにより、複数の第２撮影画像の合成を行う。

本態様によれば、重み付き平均演算処理によって、複数の第１撮影画像の合成及び複数の第２撮影画像の合成を行うことができる。

望ましくは、第１光学系の光軸の状態に応じて定められる重みは、第１光学系の光軸の状態に基づくガウス分布によって定められ、第２光学系の光軸の状態に応じて定められる重みは、第２光学系の光軸の状態に基づくガウス分布によって定められる。

本態様によれば、光軸の状態に基づくガウス分布によって定められる重みを使った重み付き平均演算処理により、複数の第１撮影画像の合成及び複数の第２撮影画像の合成を行うことができ、第１生成画像及び第２生成画像における混信像を滑らかにぼかすことができる。

望ましくは、複数の第１撮影画像は、第１光学系の光軸が基準状態に近い程、密に撮像され、基準状態から離れる程、疎に撮像されて第１センサ群から出力され、複数の第２撮影画像は、第２光学系の光軸が基準状態に近い程、密に撮像され、基準状態から離れる程、疎に撮像されて第２センサ群から出力される。

本態様によれば、第１光学系の光軸の状態と基準状態との関係に応じて複数の第１撮影画像の分布密度が変えられ、第１生成画像において混信像を効果的にぼかすことができる。同様に、第２光学系の光軸の状態と基準状態との関係に応じて複数の第２撮影画像の分布密度が変えられ、第２生成画像において混信像を効果的にぼかすことができる。

望ましくは、複数の第１撮影画像を撮像する際の第１光学系の光軸の状態の分布密度は、ガウス分布に基づいて定められ、複数の第２撮影画像を撮像する際の第２光学系の光軸の状態の分布密度は、ガウス分布に基づいて定められる。

本態様によれば、光軸の状態の分布密度がガウス分布に基づいて定められるため、第１生成画像及び第２生成画像における混信像を滑らかにぼかすことができる。

望ましくは、画像生成部は、第１撮影画像及び第２撮影画像の補正を行う画像補正部であって、第１撮影画像における第２光学系を通過した光の影響を低減し、第２撮影画像における第１光学系を通過した光の影響を低減する画像補正部を更に有する。

本態様によれば、第１撮影画像における第２光学系を通過した光の影響が低減され、第２撮影画像における第１光学系を通過した光の影響が低減されるため、混信像が効果的に低減された第１生成画像及び第２生成画像を生成することができる。

望ましくは、画像補正部は、第１撮影画像及び第２撮影画像の検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づいて補正を行う。

本態様によれば、行列を使った演算処理によって、簡便に、第１撮影画像における第２光学系を通過した光の影響を低減することができ、第２撮影画像における第１光学系を通過した光の影響を低減することができる。

望ましくは、画像補正部は、更に、第１撮影画像を補正して第１光学系の収差の影響を低減し、第２撮影画像を補正して第２光学系の収差の影響を低減する。

本態様によれば、第１撮影画像及び第２撮影画像における収差の影響が低減され、第１生成画像及び第２生成画像の画質を向上させることができる。

望ましくは、複数の第１撮影画像は、第１光学系の光軸が１次元的に異なる状態において撮像されて第１センサ群から出力され、複数の第２撮影画像は、第２光学系の光軸が１次元的に異なる状態において撮像されて第２センサ群から出力される。

本態様によれば、第１光学系の光軸が１次元的に異なる状態において複数の第１撮影画像が撮像され、第２光学系の光軸が１次元的に異なる状態において複数の第２撮影画像が撮像される。「光軸が１次元的に異なる状態」は、例えば、光軸の方向（角度）や被写体に対する光軸の相対位置を直線的に変化させることにより実現可能である。

望ましくは、複数の第１撮影画像は、第１光学系の光軸が２次元的に異なる状態において撮像されて第１センサ群から出力され、複数の第２撮影画像は、第２光学系の光軸が２次元的に異なる状態において撮像されて第２センサ群から出力される。

本態様によれば、第１光学系の光軸が２次元的に異なる状態において複数の第１撮影画像が撮像され、第２光学系の光軸が２次元的に異なる状態において複数の第２撮影画像が撮像される。「光軸が２次元的に異なる状態」は、例えば、光軸の方向（角度）や被写体に対する光軸の相対位置を平面状に変化させることにより実現可能である。

望ましくは、撮像装置は、撮影光学系を移動して第１光学系及び第２光学系の光軸の状態を変えられる光学系アクチュエータを更に備える。

本態様によれば、第１光学系及び第２光学系の光軸の状態を光学系アクチュエータによって能動的に変えることができる。

望ましくは、光学系アクチュエータは、撮影光学系をパン及びチルトするパンチルト装置である。

本態様によれば、パンチルト装置によって第１光学系及び第２光学系の光軸の状態（特に方向）を簡便に変えることができる。

望ましくは、撮像装置は、被写体を保持する被写体保持部と、被写体保持部を移動させる被写体アクチュエータとを更に備える。

本態様によれば、被写体を移動させて、被写体に対する第１光学系及び第２光学系の光軸の状態を変えることができる。

本発明の他の態様は、共通の光軸を有する第１光学系及び第２光学系であって、相互に異なる焦点距離を有する第１光学系及び第２光学系を含む撮影光学系と、第１光学系を通過した光を選択的に受光する第１センサ群と、第２光学系を通過した光を選択的に受光する第２センサ群とを含む撮像素子と、第１センサ群から出力される第１撮影画像に基づいて第１生成画像を生成し、第２センサ群から出力される第２撮影画像に基づいて第２生成画像を生成する画像生成部とを備える撮像装置における撮像方法であって、画像生成部において、第１光学系の光軸が異なる状態において撮像される複数の第１撮影画像の位置合わせを行うステップと、位置合わせされた複数の第１撮影画像を合成することにより第１生成画像を生成するステップと、第２光学系の光軸が異なる状態で撮像される複数の第２撮影画像の位置合わせを行うステップと、位置合わせされた複数の第２撮影画像を合成することにより第２生成画像を生成するステップと、を含む撮像方法に関する。

本発明の他の態様は、共通の光軸を有する第１光学系及び第２光学系であって、相互に異なる焦点距離を有する第１光学系及び第２光学系を含む撮影光学系と、第１光学系を通過した光を選択的に受光する第１センサ群と、第２光学系を通過した光を選択的に受光する第２センサ群とを含む撮像素子と、第１センサ群から出力される第１撮影画像に基づいて第１生成画像を生成し、第２センサ群から出力される第２撮影画像に基づいて第２生成画像を生成する画像生成部とを備える撮像装置における撮像方法の手順をコンピュータに実行させるためのプログラムであって、画像生成部において、第１光学系の光軸が異なる状態において撮像される複数の第１撮影画像の位置合わせを行う手順と、位置合わせされた複数の第１撮影画像を合成することにより第１生成画像を生成する手順と、第２光学系の光軸が異なる状態において撮像される複数の第２撮影画像の位置合わせを行う手順と、位置合わせされた複数の第２撮影画像を合成することにより第２生成画像を生成する手順と、をコンピュータに実行させるためのプログラムに関する。

本発明によれば、位置合わせされた複数の第１撮影画像が合成されて第１生成画像が生成され、第１生成画像では、第２光学系を通過した光による混信像の影響は弱められ、第１光学系を通過した光による所望像の鮮明度を良好にすることができる。また本発明によれば、位置合わせされた複数の第２撮影画像が合成されて第２生成画像が生成され、第２生成画像では、第１光学系を通過した光による混信像の影響は弱められ、第２光学系を通過した光による所望像の鮮明度を良好にすることができる。このように画像処理によって第１撮影画像から第１生成画像が生成され第２撮影画像から第２生成画像を生成されるため、特別なハードウェアを追加する必要が無く簡素な処理構成によって、光学系間における撮影光の干渉の影響を低減して高品質の画像を取得することができる。

図１は、本発明を適用可能なデジタルカメラ（撮像装置）の一例を示す斜視図である。 図２は、本発明を適用可能な自動追尾撮像装置（撮像装置）の一例を示す斜視図である。 図３は、第１実施形態に係る撮影光学系及び撮像素子の断面構成を示す図である。 図４は、図３に示す撮像素子の詳細な断面構成例を示す図である。 図５は、図３に示す撮影光学系（特に第１光学系）及び撮像素子（特に第１センサ群（図４参照））に入射する広角画像光の光路を示す図である。 図６は、図３に示す撮影光学系（特に第２光学系）及び撮像素子（特に第２センサ群（図４参照））に入射する望遠画像光の光路を示す図である。 図７は、第１実施形態に係る撮像装置の機能構成例を示すブロック図である。 図８は、画像合成部の機能構成例を示すブロック図である。 図９は、アライメントデータ取得部及び合成処理部の処理の一例を示すブロック図である。 図１０は、アライメントデータ取得部及び合成処理部の処理の他の例を示すブロック図である。 図１１は、第１実施形態に係る画像生成部における生成画像データ（第１生成画像データ及び第２生成画像データ）の生成フローを示すフローチャートである。 図１２は、撮像本体部が光学系アクチュエータによって移動可能であるケースの一例を示すブロック図である。 図１３は、撮影画像データの加算平均を利用した合成手法により生成画像データを取得するケースの一例を示すフローチャートである。 図１４は、撮影画像データの重み付き平均を利用した合成手法により生成画像データを取得するケースの一例を示すフローチャートである。 図１５（ａ）〜（ｃ）は、「２次元の空間分布を持つ信号」に「ずらし合成の分布」を畳み込む演算を説明するための概念図であり、図１５（ａ）は位置に応じた輝度分布を持つ「信号（画像データ）」を例示し、図１５（ｂ）は位置に応じた重みを規定する「ずらし合成の分布（畳み込みカーネル）」を例示し、図１５（ｃ）は図１５（ａ）に示す信号に対して図１５（ｂ）に示すずらし合成の分布を畳み込む演算を行った結果を例示する。 図１６は、ずらし合成の分布を構成する複数のデルタ関数の強度分布の一例を示す図であり、特に複数のデルタ関数の強度分布（重み）をガウス分布に従って設定する例を説明するための図である。 図１７（ａ）〜（ｂ）は、ずらし合成の分布を構成する複数のデルタ関数の強度分布の他の例を示す図であり、図１７（ａ）は位置に基づく強度分布に密度差を設ける例を説明するための図であり、図１７（ｂ）はその密度差をガウス分布に従って設定する例を説明するための図である。 図１８は、パン動作による望遠画像のズレ量を説明するための図であり、（ａ）は第１のパン位置で撮像された第２撮影画像（望遠画像）を示し、（ｂ）は第２のパン位置で撮像された第２撮影画像（望遠画像）を示す。 図１９は、パン動作による広角画像のズレ量を説明するための図であり、（ａ）は第１のパン位置で撮像された第１撮影画像（広角画像）を示し、（ｂ）は第２のパン位置で撮像された第１撮影画像（広角画像）を示す。 図２０は、混信像（広角画像）を含む望遠画像（所望像）のズレ量を説明するための図であり、（ａ）は第１のパン位置で撮像された第２撮影画像（望遠画像）を示し、（ｂ）は第２のパン位置で撮像された第２撮影画像（望遠画像）を示す。 図２１は、混信像（望遠画像）を含む広角画像（所望像）のズレ量を説明するための図であり、（ａ）は第１のパン位置で撮像された第１撮影画像（広角画像）を示し、（ｂ）は第２のパン位置で撮像された第１撮影画像（広角画像）を示す。 図２２は、第１実施形態における撮影画像の合成メカニズムを説明するための図であり、（ａ）は第１のパン位置で取得された「混信像（広角画像）を含む望遠画像（所望像）」を示し、（ｂ）は（ａ）に示す望遠画像（所望像）の一部と混信像（広角画像）との位置関係の概略を示し、（ｃ）は（ｂ）に示す位置関係を簡略的に示し、（ｄ）は第２のパン位置で取得された「混信像（広角画像）を含む望遠画像（所望像）」を示し、（ｅ）は（ｄ）に示す望遠画像（所望像）の一部と混信像（広角画像）との位置関係の概略を示し、（ｆ）は（ｅ）に示す位置関係を簡略的に示し、（ｇ）は（ｂ）に示す概略図と（ｅ）に示す概略図とに基づく合成表示例を示し、（ｈ）は（ｃ）に示す簡略図と（ｆ）に示す簡略図とに基づく合成に関する概念図を示す。 図２３（ａ）〜（ｂ）は、第１実施形態に係る撮像装置によって取得される望遠画像の生成例を示す図であり、図２３（ａ）は複数の撮影画像（望遠画像）を示し、図２３（ｂ）は複数の撮影画像の位置合わせ及び合成によって生成される望遠画像の一例を示す。 図２４（ａ）〜（ｂ）は、第１実施形態に係る撮像装置によって取得される広角画像の生成例を示す図であり、図２４（ａ）は複数の撮影画像（広角画像）を示し、図２４（ｂ）は複数の撮影画像の位置合わせ及び合成によって生成される広角画像の一例を示す。 図２５は、第２実施形態に係る画像生成部の機能構成例を示すブロック図である。 図２６（ａ）〜（ｂ）は、第１光学系と第２光学系との間における撮影光の干渉（クロストーク）による画質の低下の影響を受けた広角画像（図２６（ａ）参照）及び望遠画像（図２６（ｂ）参照）の一例を示す。 図２７は、光学系間における撮影光の干渉のメカニズムを説明するための概念図である。 図２８は、真の広角画像、真の望遠画像、出力広角画像、出力望遠画像及び検出ゲイン分布及び混信ゲイン分布によって構成される行列の関係を示す図である。 図２９は、図２８に示す行列式に対して「検出ゲイン分布及び混信ゲイン分布によって構成される行列」の逆行列を適用して得られる行列式を示す図である。 図３０は、図２９の行列式を簡略化して表した行列式を示す。 図３１は、図３０に示す「Ｗ１」を構成する要素を示す。 図３２は、図３０に示す行列式に基づいて導出される「ｗ１＿ｉｊ」の算出式を示す。 図３３は、図３０に示す行列式に基づいて導出される「ｔ１＿ｉｊ」の算出式を示す。 図３４（ａ）〜（ｂ）は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を行った場合の画像例を示し、図３４（ａ）は広角画像例を示し、図３４（ｂ）は望遠画像例を示す。 図３５（ａ）〜（ｂ）は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を行った後に第１実施形態に係る「位置合わせ後の合成処理」を行った場合の画像例を示し、図３５（ａ）は広角画像例を示し、図３５（ｂ）は望遠画像例を示す。 図３６は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を行った後に第１実施形態に係る「位置合わせ後の合成処理」を行った場合の他の画像例を示す。 図３７は、画像生成部の機能構成の一変形例を示すブロック図である。 図３８は、画像生成部の機能構成の他の変形例を示すブロック図である。 図３９は、第３実施形態に係る撮像装置を例示するブロック図である。 図４０は、本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図４１は、図４０に示すスマートフォンの構成を示すブロック図である。

以下、図面を参照して本発明の実施形態について説明する。

本発明は、複数種類の光学特性を有する撮影光学系を使って複数種類の画像を撮影可能な撮像装置、撮像方法、撮像手順及びそれらの応用技術に対して広く適用可能であり、その適用可能な技術分野は特に限定されない。例えば、ユーザ操作に応じて撮影を行う撮像装置だけではなく、自動的に撮影を行う撮像装置に対しても本発明は適用可能であり、また静止画を撮影する撮像装置だけではなく、動画を撮影する撮像装置に対しても本発明は適用可能である。

図１は、本発明を適用可能なデジタルカメラ１０（撮像装置３０）の一例を示す斜視図である。図１に示す例では、デジタルカメラ１０のカメラ本体の前面に撮影光学系１１及びフラッシュ１３等が設けられ、カメラ本体の上面にレリーズボタン１２等が設けられている。図１の符号「Ｌ」は、撮影光学系１１の光軸を表す。

図２は、本発明を適用可能な自動追尾撮像装置１４（撮像装置３０）の一例を示す斜視図である。図２に示す自動追尾撮像装置１４では、ギア１９を含む保持部１８と保持部１８に取り付けられた撮影光学系１１とが、装置本体１５上に設けられる台座１６に固定的に据え付けられている。台座１６は、装置本体１５の垂直方向Ｚの軸を中心に回転自在に設けられており、図示しないパン駆動部により垂直方向Ｚの軸を中心にしたパン動作が行われる。ギア１９は水平方向Ｘの軸と同軸上に設けられ、図示しないチルト駆動部からギア１９を介して駆動力が伝達されることにより、撮影光学系１１が上下方向に回動させられてチルト動作が行われる。これらの撮影光学系１１、保持部１８（ギア１９）及び台座１６は、防塵及び防滴用のドームカバー１７によって覆われている。

以下に説明する本発明の各実施形態及び各変形例は、例えば図１に示すようなデジタルカメラ１０に対して適用されてもよいし、図２に示すような自動追尾撮像装置１４に対して適用されてもよい。

＜第１実施形態＞
図３は、第１実施形態に係る撮影光学系１１及び撮像素子２４の断面構成を示す図である。

撮影光学系１１は、相互に独立した特性を有する第１光学系２１及び第２光学系２２を含み、特に本実施形態では焦点距離の異なる光学系によって第１光学系２１及び第２光学系２２が構成される。すなわち本実施形態の撮影光学系１１は、「広角画像撮影レンズ群」によって構成される第１光学系２１と、「望遠画像撮影レンズ群」によって構成される第２光学系２２とを含み、撮像素子２４によって広角画像及び望遠画像が同時的に撮影される。

図３に示す第１光学系２１は、同一の光軸Ｌ上に配置される第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を含む。一方、第２光学系２２は、第１望遠用レンズ２２ａ、第１望遠用反射ミラー２２ｃが設けられる第１望遠用反射体２２ｂ、第２望遠用反射ミラー２２ｅが設けられる第２望遠用反射体２２ｄ、及び共通レンズ２３を含む。本例の第１光学系２１（特に第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ及び第４広角用レンズ２１ｄ）は、中央光学系を形成する。一方、本例の第２光学系２２（特に第１望遠用レンズ２２ａ、第１望遠用反射体２２ｂ、第１望遠用反射ミラー２２ｃ、第２望遠用反射体２２ｄ及び第２望遠用反射ミラー２２ｅ）は、第１光学系２１が形成する中央光学系の周辺に設けられ、第１光学系２１が形成する中央光学系とともに同心円を形成する。なお共通レンズ２３は、光軸Ｌ上に配置され、第１光学系２１と第２光学系２２との間において共用される。

このように本例の撮影光学系１１は、共通の光軸Ｌを有する第１光学系２１及び第２光学系２２であって、相互に異なる焦点距離を有する第１光学系２１及び第２光学系２２を含む。

撮像素子２４は、光軸Ｌと垂直を形成する方向に関し、複数の受光センサ２５が２次元的に配置されることにより構成される。特に本実施形態の撮像素子２４は、第１光学系２１を介して照射される広角画像光と第２光学系２２を介して照射される望遠画像光とを同時に受光し、広角画像（第１撮影画像）を生成するための撮像信号と望遠画像（第２撮影画像）を生成するための撮像信号とを出力可能な指向性センサを構成する。すなわち本実施形態の撮像素子２４は、第１光学系２１及び第２光学系２２の各々に対応して設けられる複数の受光センサ２５であって、第１光学系２１及び第２光学系２２のうち対応の光学系を通過した光を瞳分割して選択的に受光する複数の受光センサ２５を有する。

図４は、図３に示す撮像素子２４の詳細な断面構成例を示す図である。

本例の撮像素子２４を構成する複数の受光センサ２５は、第１光学系２１に対応する「広角画像用の第１の受光センサ２５ａ」と、第２光学系２２に対応する「望遠画像用の第２の受光センサ２５ｂ」とを含み、これらの第１の受光センサ２５ａ及び第２の受光センサ２５ｂは２次元的に交互に配置される。撮像素子２４に含まれる複数の第１の受光センサ２５ａは、「第１光学系２１を通過した光を選択的に受光する第１センサ群２４ａ」を構成し、広角画像を生成するための撮像信号を出力する。また撮像素子２４に含まれる複数の第２の受光センサ２５ｂは、「第２光学系２２を通過した光を選択的に受光する第２センサ群２４ｂ」を構成し、望遠画像を生成するための撮像信号を出力する。このように本例の撮像素子２４は、第１光学系２１に対応する第１センサ群２４ａと第２光学系２２に対応する第２センサ群２４ｂとを含む。

第１の受光センサ２５ａ及び第２の受光センサ２５ｂの各々は、マイクロレンズ２６、フォトダイオード２９、及びマイクロレンズ２６とフォトダイオード２９とが配置される中間層２７を有する。中間層２７には遮光マスク２８が設けられており、第１の受光センサ２５ａではフォトダイオード２９の受光面の周辺部に遮光マスク２８が配置され、また第２の受光センサ２５ｂではフォトダイオード２９の受光面の中央部に遮光マスク２８が配置される。遮光マスク２８の配置は、第１光学系２１及び第２光学系２２のうちのいずれに対応するかに応じて決定され、各遮光マスク２８は、対応しない光学系からの光をブロックする一方で対応する光学系からの光をブロックすることなくフォトダイオード２９に受光させる。

本例では、遮光マスク２８を含む受光センサ２５によって、第１光学系２１及び第２光学系２２のうち対応の光学系を通過した光を瞳分割して選択的に受光する複数の受光センサが実現されているが、他の手段によって瞳分割が実現されてもよい。例えば、マイクロレンズ２６の前段（例えばマイクロレンズ２６と共通レンズ２３（図３参照）との間）に遮光マスク２８が設けられてもよいし、遮光マスク２８以外の遮光手段（例えば液晶シャッター等）が用いられてもよい。

なお、中間層２７には遮光マスク２８以外の部材が設けられてもよく、例えばＲＧＢ（赤緑青）等のカラーフィルタや配線・回路類が中間層２７に設けられてもよい。

図５は、図３に示す撮影光学系１１（特に第１光学系２１）及び撮像素子２４（特に第１センサ群２４ａ（図４参照））に入射する広角画像光Ｗの光路を示す図である。本実施形態において広角画像光Ｗは、第１光学系２１の第１広角用レンズ２１ａ、第２広角用レンズ２１ｂ、第３広角用レンズ２１ｃ、第４広角用レンズ２１ｄ及び共通レンズ２３を順次通過し、撮像素子２４上に広角画像が結像する。

図６は、図３に示す撮影光学系１１（特に第２光学系２２）及び撮像素子２４（特に第２センサ群２４ｂ（図４参照））に入射する望遠画像光Ｔの光路を示す図である。本実施形態において望遠画像光Ｔは、第１望遠用レンズ２２ａを通過（透過）し、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射された後に共通レンズ２３を通過し、撮像素子２４上に望遠画像が結像する。このように、第１望遠用反射ミラー２２ｃ及び第２望遠用反射ミラー２２ｅの各々により反射されて光路が折り返されることにより、焦点距離の長い望遠画像撮影用の第２光学系２２の光軸Ｌの方向に関する長さを短くすることができる。

次に、上述の撮影光学系１１及び撮像素子２４によって取得される広角画像（第１撮影画像）及び望遠画像（第２撮影画像）において生じうる画質の低下について説明する。

撮影光学系１１及び撮像素子２４において、第１光学系２１を経て撮像素子２４に到達する広角画像光と第２光学系２２を経て撮像素子２４に到達する望遠画像光との瞳分割の性能が十分ではない場合、広角画像光と望遠画像光との分離が不十分となって、広角画像と望遠画像とが重畳的に混在した画像が得られる。すなわち、広角画像光のみを受光することが意図された第１センサ群２４ａ（第１の受光センサ２５ａのフォトダイオード２９（図４参照））に望遠画像光が漏れ込むと、望遠画像成分の一部が重畳された広角画像が得られる。同様に、望遠画像光のみを受光することが意図された第２センサ群２４ｂ（第２の受光センサ２５ｂのフォトダイオード２９（図４参照））に広角画像光が漏れ込むと、広角画像成分の一部が重畳された望遠画像が得られる。

このように第１光学系２１を経た撮影光（広角画像光）と第２光学系２２を経た撮影光（望遠画像光）との間において干渉があると、撮像素子２４を構成する各受光センサ２５の出力には、本来分離されて受光されないはずの画像成分の信号が混ざり込んでしまう。

本件発明者は、上述の事情に鑑みて鋭意研究を重ねた結果、被写体に対して撮像装置３０（撮影光学系１１）が相対的に移動した場合に、広角画像と望遠画像との間において像位置の変化が異なることに注目し、そのような像位置変化の相違を利用した画像処理によって高品質な広角画像及び望遠画像の両者を取得する手法を新たに見いだした。

例えば図３に示す撮影光学系１１において、広角画像の撮影に用いられる第１光学系２１と望遠画像の撮影に用いられる第２光学系２２とは、共通の光軸Ｌを持ち、広角画像の画像中心と望遠画像の画像中心とは同一である。一方、同一の被写体を第１光学系２１及び第２光学系２２を使って広角画像及び望遠画像として撮影する場合、撮像素子２４上における像の大きさについては第２光学系２２を通過した被写体像（望遠画像）の方が第１光学系２１を通過した被写体像（広角画像）よりも大きくなる。このように同一被写体を広角画像及び望遠画像として撮影する場合に、望遠画像における被写体像の方が広角画像における被写体像よりも大きくなる。そのため、パン及びチルト等によって第１光学系２１及び第２光学系２２の光軸Ｌの状態が変化した場合の像位置に関しても、広角画像では変化量が相対的に小さくなり、望遠画像では変化量が相対的に大きくなる。

なお、広角画像と望遠画像との間における被写体像の大きさの比は、収差等の他の影響を考慮しなければ、広角レンズ（第１光学系２１）の焦点距離と望遠レンズ（第２光学系２２）の焦点距離との比に概ね一致する。例えば、定数を「ｋ」により表し、広角レンズ（第１光学系２１）の焦点距離を「ｆｗ」により表し、望遠レンズ（第２光学系２２）の焦点距離を「ｆｔ」により表し、撮影光学系１１を含む撮像装置３０のパンの角度を「θ」により表し、広角レンズ（第１光学系２１）を通過した像の撮像素子２４（第１センサ群２４ａ）上での移動量を「Ｓｗ」により表し、望遠レンズ（第２光学系２２）を通過した像の撮像素子２４（第２センサ群２４ｂ）上での移動量を「Ｓｔ」により表すと、以下の式（１）及び式（２）が成立する。
（１） Ｓｗ＝ｋ・ｆｗ・ｔａｎ（θ）
（２） Ｓｔ＝ｋ・ｆｔ・ｔａｎ（θ）
第１光学系２１と第２光学系２２との間において撮影光が干渉し合って混信が生じていても、パン及びチルト等によって第１光学系２１及び第２光学系２２の光軸Ｌの状態が変化した場合の像位置の移動量は、広角画像と望遠画像との間において異なる。そのため、第１光学系２１及び第２光学系２２の光軸Ｌの状態の変化の前後において、本来意図されている所望像と本来意図されていない混信像との間において位置関係にずれが生じることになる。

本件発明者は、この「光軸Ｌの変化の前後における、所望像と混信像との位置関係のずれ」を利用することにより、広角画像及び望遠画像の各々において混信像の成分の影響を大幅に低減し、広角画像及び望遠画像の視認性の悪化を非常に効果的に防ぐことができる新たな手法を見いだした。

図７は、第１実施形態に係る撮像装置３０の機能構成例を示すブロック図である。

本例の撮像装置３０は、上述の撮影光学系１１（第１光学系２１及び第２光学系２２）及び撮像素子２４（第１センサ群２４ａ及び第２センサ群２４ｂ）の他に、画像生成部３２（画像合成部３３）、メインコントローラ３７、画像処理部３８、画像記憶部３９、表示コントローラ４０、表示部４１及びユーザ操作部４２を有する。画像生成部３２（画像合成部３３）、メインコントローラ３７、及び画像処理部３８は、例えば1つ又は複数のマイクロプロセッサが図示しない記憶部に記憶されている各種ソフトウェアを実行することにより実現される。

画像生成部３２は、第１センサ群２４ａから出力される第１撮影画像データＤ１１に基づいて第１生成画像データＤ２１を生成し、第２センサ群２４ｂから出力される第２撮影画像データＤ１２に基づいて第２生成画像データＤ２２を生成する。本例の画像生成部３２は画像合成部３３を有し、この画像合成部３３が複数の撮影画像を合成することにより生成画像データを生成する。すなわち画像合成部３３は、第１光学系２１の光軸Ｌが異なる状態において撮像される複数の第１撮影画像データＤ１１の位置合わせを行い、それらの位置合わせされた複数の第１撮影画像データＤ１１を合成することにより第１生成画像データＤ２１を生成する。同様に画像合成部３３は、第２光学系２２の光軸Ｌが異なる状態において撮像される複数の第２撮影画像データＤ１２の位置合わせを行い、それらの位置合わせされた複数の第２撮影画像データＤ１２を合成することで第２生成画像データＤ２２を生成する。

このように複数の撮影画像データを位置合わせ後に合成することにより、所望の画像成分については明瞭さを向上させることができる。一方、所望の画像に含まれる混信画像成分は、撮影画像の位置合わせが行われることにより撮影画像間で異なる場所に配置されるので、合成後の生成画像データにおいては、相対的に強度が小さくなり目立たなくなる。この効果は、合成する撮影画像データの数を多くするほど顕著になる。

画像合成部３３による位置合わせ処理及び合成処理の具体例については後述する。

なお、複数の第１撮影画像データＤ１１の各々は同じ被写体を撮影対象とした画像に関し、また複数の第２撮影画像データＤ１２の各々も同じ被写体を撮影対象とした画像に関することが好ましい。したがって、被写体が経時的に変化する場合には画像間の撮影周期を短くすることにより、被写体の動きの影響が複数の第１撮影画像データＤ１１及び複数の第２撮影画像データＤ１２に現れないようにすることが好ましい。

画像生成部３２において生成された第１生成画像データＤ２１及び第２生成画像データＤ２２は、例えば、後段に設けられる画像処理部３８、画像記憶部３９及び表示コントローラ４０等に送られたり、画像生成部３２を制御するメインコントローラ３７に送られる。

画像処理部３８は、送られてくる第１生成画像データＤ２１及び第２生成画像データＤ２２に対して任意の画像処理を行い、画像処理後の第１生成画像データＤ２１及び第２生成画像データＤ２２を画像記憶部３９、表示コントローラ４０或いはメインコントローラ３７に送ってもよい。画像記憶部３９は、送られてくる第１生成画像データＤ２１及び第２生成画像データＤ２２を記憶する。表示コントローラ４０は、送られてくる第１生成画像データＤ２１及び第２生成画像データＤ２２に基づいて再現される広角画像（第１生成画像）及び／又は望遠画像（第２生成画像）を表示部４１に表示させる。

メインコントローラ３７は、撮影光学系１１、撮像素子２４、画像生成部３２、画像処理部３８、画像記憶部３９、表示コントローラ４０、表示部４１、ユーザ操作部４２及び撮像装置３０を構成するその他の各部に接続されて、各部における処理機能を制御する。ユーザ操作部４２は、ユーザによって操作されて各種の指示コマンドが入力され、ユーザ操作部４２に入力された各種の指示コマンドはメインコントローラ３７に送信され、メインコントローラ３７は、ユーザ操作部４２からの指示コマンドに基づいて撮像装置３０の各部を制御することができる。

図８は、画像合成部３３の機能構成例を示すブロック図である。

本例の画像合成部３３は、アライメントデータ取得部３４及び合成処理部３５を有し、複数の第１撮影画像データＤ１１から第１生成画像データＤ２１を生成し、また複数の第２撮影画像データＤ１２から第２生成画像データＤ２２を生成する。

アライメントデータ取得部３４は、複数の第１撮影画像データＤ１１の相互間の位置ズレ量及び複数の第２撮影画像データＤ１２の相互間の位置ズレ量を取得する。すなわち、画像合成部３３には第１光学系２１の光軸Ｌが異なる状態において撮像される複数の第１撮影画像データＤ１１が入力され、第１光学系２１の光軸Ｌのズレを解消するために必要な「入力された複数の第１撮影画像データＤ１１の相互間の位置ズレ量」がアライメントデータとしてアライメントデータ取得部３４により取得される。同様に、画像合成部３３には第２光学系２２の光軸Ｌが異なる状態において撮像される複数の第２撮影画像データＤ１２が入力され、第２光学系２２の光軸Ｌのズレを解消するために必要な「入力された複数の第２撮影画像データＤ１２の相互間の位置ズレ量」がアライメントデータとしてアライメントデータ取得部３４により取得される。ここで言う「位置ズレ量」は、任意の観点によって定めることが可能であり、例えば「複数の第１撮影画像データＤ１１」及び「複数の第２撮影画像データＤ１２」の各々に関して、画像中の所望像（例えば主要被写体）の位置を同じ位置とするために必要なピクセルシフト量によって表現可能である。

合成処理部３５は、アライメントデータ取得部３４によって取得された「複数の第１撮影画像データＤ１１の相互間の位置ズレ量」に基づいて複数の第１撮影画像（広角画像）の位置合わせを行い、位置合わせされた複数の第１撮影画像（広角画像）を合成することにより第１生成画像データＤ２１を生成する。同様に、合成処理部３５は、アライメントデータ取得部３４によって取得された「複数の第２撮影画像データＤ１２の相互間の位置ズレ量」に基づいて複数の第２撮影画像（望遠画像）の位置合わせを行い、位置合わせされた複数の第２撮影画像（望遠画像）を合成することにより第２生成画像データＤ２２を生成する。このように位置合わせ後に画像合成を行うことにより、本来意図されている所望像の画質を維持或いは向上しつつ、本来意図されていない混信像の影響を大幅に低減することができる。

なおアライメントデータ取得部３４及び合成処理部３５における処理手法は特に限定されず、任意の手法によって「複数の第１撮影画像データＤ１１の位置合わせ及び合成」及び「複数の第２撮影画像データＤ１２の位置合わせ及び合成」を行うことができる。

図９は、アライメントデータ取得部３４及び合成処理部３５の処理の一例を示すブロック図である。

本例のアライメントデータ取得部３４は、移動量基礎データＤ３１からアライメントデータＤ３２を取得する。すなわちアライメントデータ取得部３４は、「複数の第１撮影画像データＤ１１の相互間の位置ズレ量」及び「複数の第２撮影画像データＤ１２の相互間の位置ズレ量」を算出するための演算式（例えば上記の式（１）及び式（２）参照）に基づき、その位置ズレ量の算出に必要な基礎データ（例えば上述の定数「ｋ」、第１光学系２１及び第２光学系２２の焦点距離「ｆｗ」及び「ｆｔ」、及び撮影光学系１１を含む撮像装置３０のパンの角度「θ」等）をメインコントローラ３７等から移動量基礎データＤ３１として取得し、アライメントデータＤ３２を算出する。そして合成処理部３５は、アライメントデータ取得部３４から送られてくるアライメントデータＤ３２に基づいて、複数の第１撮影画像データＤ１１の位置合わせ及び合成を行うことにより第１生成画像データＤ２１を生成し、また複数の第２撮影画像データＤ１２の位置合わせ及び合成を行うことにより第２生成画像データＤ２２を生成する。

このように本例のアライメントデータ取得部３４（画像合成部３３）は、第１光学系２１の光軸Ｌの状態及び第１光学系２１の焦点距離ｆｗに基づいて複数の第１撮影画像の位置合わせを行い、第２光学系２２の光軸Ｌの状態及び第２光学系２２の焦点距離ｆｔに基づいて複数の第２撮影画像の位置合わせを行う。したがって本例は、「複数の第１撮影画像データＤ１１を取得する際の第１光学系２１の光軸Ｌの状態の相違量」及び「複数の第２撮影画像データＤ１２を取得する際の第２光学系２２の光軸Ｌの状態の相違量」が予め把握可能なケースに好適であり、例えば、自動追尾撮像装置１４（図２参照）等によって撮影光学系１１の光軸Ｌの状態を能動的にコントロールして変えることができる場合に適用可能である。

図１０は、アライメントデータ取得部３４及び合成処理部３５の処理の他の例を示すブロック図である。

本例のアライメントデータ取得部３４は、第１撮影画像データＤ１１及び第２撮影画像データＤ１２を解析することによりアライメントデータＤ３２を取得する。すなわちアライメントデータ取得部３４は、複数の第１撮影画像データＤ１１を解析することにより「複数の第１撮影画像データＤ１１の相互間の位置ズレ量」を取得し、複数の第２撮影画像データＤ１２を解析することにより「複数の第２撮影画像データＤ１２の相互間の位置ズレ量」を取得する。

なお、位置ズレ量を取得するための画像解析の手法は特に限定されず、アライメントデータ取得部３４は、任意の画像解析を行って「複数の第１撮影画像データＤ１１の相互間の位置ズレ量」及び「複数の第２撮影画像データＤ１２の相互間の位置ズレ量」を取得することができる。例えば、「複数の第１撮影画像（広角画像）の各々における基準像部」及び「複数の第２撮影画像（望遠画像）の各々における基準像部」の位置を画像解析によって取得し、解析によって取得される「基準像部の位置」に基づいて「複数の第１撮影画像データＤ１１の相互間の位置ズレ量」及び「複数の第２撮影画像データＤ１２の相互間の位置ズレ量」を取得してもよい。なお、ここで言う基準像部は、任意の観点で定めることができ、エッジ（輪郭）に関する画像特徴データや周波数に関する画像特徴データ等に基づいて定められてもよい。したがってアライメントデータ取得部３４は、例えば顔認識処理等の被写体認識処理を使って検出される主要被写体像を基準像部として使ってもよく、撮影画像中の主要被写体の位置に基づいて「複数の第１撮影画像データＤ１１の相互間の位置ズレ量」及び「複数の第２撮影画像データＤ１２の相互間の位置ズレ量」を取得してもよい。

そして合成処理部３５は、アライメントデータ取得部３４から送られてくるアライメントデータＤ３２に基づいて、複数の第１撮影画像データＤ１１の位置合わせ及び合成を行うことにより第１生成画像データＤ２１を生成し、また複数の第２撮影画像データＤ１２の位置合わせ及び合成を行うことにより第２生成画像データＤ２２を生成する。

このように本例のアライメントデータ取得部３４（画像合成部３３）は、複数の第１撮影画像データＤ１１を解析してその複数の第１撮影画像データＤ１１の各々における第１基準像部の位置を取得し、その第１基準像部の位置に基づいて複数の第１撮影画像データＤ１１の位置合わせを行い、また複数の第２撮影画像データＤ１２を解析してその複数の第２撮影画像データＤ１２の各々における第２基準像部の位置を取得し、その第２基準像部の位置に基づいて複数の第２撮影画像データＤ１２の位置合わせを行う。したがって本例は、「複数の第１撮影画像データＤ１１を取得する際の第１光学系２１の光軸Ｌの状態の相違量」及び「複数の第２撮影画像データＤ１２を取得する際の第２光学系２２の光軸Ｌの状態の相違量」が予め把握可能なケースだけではなく、それらの相違量を予め把握できないケースにも適用可能である。そのため本例は、例えば、自動追尾撮像装置１４（図２参照）等によって撮影光学系１１の光軸Ｌの状態を能動的にコントロールして変える場合に適用されてもよいし、デジタルカメラ１０（図１参照）の手振れ等によって撮影光学系１１の光軸Ｌの状態がランダムに変わる場合に適用されてもよい。

図１１は、第１実施形態に係る画像生成部３２における生成画像データ（第１生成画像データＤ２１及び第２生成画像データＤ２２）の生成フローを示すフローチャートである。

まず、撮影画像データ（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）が画像生成部３２によって取得される（図１１のステップＳ１１）。なお撮像素子２４（第１センサ群２４ａ及び第２センサ群２４ｂ）から出力される撮影画像データが直接的に画像生成部３２に入力されてもよいし間接的に画像生成部３２に入力されてもよく、撮影画像データが撮像素子２４から他の処理部に入力され、この他の処理部から画像生成部３２に入力されてもよい。

そして画像生成部３２の画像合成部３３（アライメントデータ取得部３４）において、第１光学系２１の光軸Ｌのズレを解消するために必要な「入力された複数の第１撮影画像データＤ１１の相互間の位置ズレ量」及び第２光学系２２の光軸Ｌのズレを解消するために必要な「入力された複数の第２撮影画像データＤ１２の相互間の位置ズレ量」を示すアライメントデータが取得される（Ｓ１２）。

そして画像生成部３２の画像合成部３３（合成処理部３５）において、第１光学系２１の光軸Ｌが異なる状態において撮像される複数の第１撮影画像（第１撮影画像データＤ１１）の位置合わせが行われ（Ｓ１３）、位置合わせされた複数の第１撮影画像（第１撮影画像データＤ１１）が合成されることにより第１生成画像（広角画像：第１生成画像データＤ２１）が生成される（Ｓ１４）。同様に、画像生成部３２の画像合成部３３（合成処理部３５）において、第２光学系２２の光軸Ｌが異なる状態において撮像される複数の第２撮影画像（第２撮影画像データＤ１２）の位置合わせが行われ（Ｓ１３）、位置合わせされたその複数の第２撮影画像（第２撮影画像データＤ１２）が合成されることにより第２生成画像（望遠画像：第２生成画像データＤ２２）が生成される（Ｓ１４）。

図１１に示す上述の一連の処理の適用対象は特に限定されず、例えば図１に示すようなデジタルカメラ１０をユーザが手で保持して撮影を行うことで取得される撮影画像データ（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）に対して上述の一連の処理が適用されてもよい。また、図２に示すような自動追尾撮像装置１４によって撮影取得される撮影画像データ（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）に対して上述の一連の処理が適用されてもよい。特に、図２の自動追尾撮像装置１４のように撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌの状態を能動的且つ正確に変えることができる場合には、下述のように、生成画像（第１生成画像データＤ２１及び第２生成画像データＤ２２）の画質を効果的に向上させることができる。

図１２は、撮像本体部４４が光学系アクチュエータ４５によって移動可能であるケースの一例を示すブロック図である。なお図１２には、撮像本体部４４（撮影光学系１１及び撮像素子２４）、光学系アクチュエータ４５及びメインコントローラ３７のみが図示されているが、図１２に示す撮像装置３０は、図７〜図１０に示す各部（例えば画像生成部３２等）も含む。

本例の光学系アクチュエータ４５は、メインコントローラ３７の制御下で、撮影光学系１１及び撮像素子２４を含む撮像本体部４４をコントロールして、撮影光学系１１を移動して第１光学系２１及び第２光学系２２の光軸Ｌの状態を変えられる。

光学系アクチュエータ４５の具体的な形態は特に限定されず、例えば図２に示すような撮影光学系１１をパン及びチルトするパンチルト装置であってもよい。すなわち、光学系アクチュエータ４５がパン駆動部及びチルト駆動部を含み、この光学系アクチュエータ４５によって撮像本体部４４（撮影光学系１１及び撮像素子２４）のパン動作及びチルト動作を行うことにより、第１光学系２１の光軸Ｌ及び第２光学系２２の光軸Ｌを２次元的に異なる状態とすることができる。この場合、光学系アクチュエータ４５は、メインコントローラ３７により予め設定された位置情報（移動量情報）に従って、撮像本体部４４（撮影光学系１１及び撮像素子２４）のパンチルト動作を行うことが好ましい。予め設定されたパンチルト量に基づいて第１撮影画像（広角画像）及び第２撮影画像（望遠画像）の各画像に生じる被写体像の移動量は、撮像装置３０の設計値から予め算出されたり、撮像装置３０の実機においてキャリブレーション撮影を行うことにより予め計測されたりしておくことが可能である。このようにして得られる「第１撮影画像（広角画像）及び第２撮影画像（望遠画像）の各画像における被写体像の移動量」に基づいて、撮影光学系１１の光軸Ｌの状態変化による所望像の位置変化を打ち消すように、撮像された画像群に対して補正（位置合わせ処理）が行われる。

なお上述のように複数の第１撮影画像（第１撮影画像データＤ１１）は、第１光学系２１の光軸Ｌが２次元的に異なる状態において撮像されて第１センサ群２４ａから出力されることが好ましい。しかし、例えば第１光学系２１の光軸Ｌが１次元的に異なる状態において撮像されて第１センサ群２４ａから出力されてもよい。同様に複数の第２撮影画像（第２撮影画像データＤ１２）は、第２光学系２２の光軸Ｌが２次元的に異なる状態で撮像されて第２センサ群２４ｂから出力されることが好ましいが、例えば第２光学系２２の光軸Ｌが１次元的に異なる状態において撮像されて第２センサ群２４ｂから出力されてもよい。

またメインコントローラ３７によりパンチルト動作を制御可能な雲台を光学系アクチュエータ４５として使用することもできる。この場合、例えば図１に示すようなデジタルカメラ１０をそのような雲台（光学系アクチュエータ４５）に据え付け固定することにより撮像装置３０を構成してもよい。

なお光学系アクチュエータ４５による「第１光学系２１及び第２光学系２２の光軸Ｌの状態の変更」の態様は特に限定されない。光学系アクチュエータ４５は、例えば、第１光学系２１及び第２光学系２２の光軸Ｌの「方向」を変えてもよいし、被写体に対する第１光学系２１及び第２光学系２２の光軸Ｌの「相対位置」を変えてもよい。すなわち、画像生成部３２（画像合成部３３）に入力される複数の第１撮影画像データＤ１１は、第１光学系２１の光軸Ｌの方向が異なる状態において撮像されて第１センサ群２４ａから出力されてもよいし、被写体に対する第１光学系２１の光軸Ｌの相対位置が異なる状態において撮像されて第１センサ群２４ａから出力されてもよい。また画像生成部３２（画像合成部３３）に入力される複数の第２撮影画像データＤ１２は、第２光学系２２の光軸Ｌの方向が異なる状態において撮像されて第２センサ群２４ｂから出力されてもよいし、被写体に対する第２光学系２２の光軸Ｌの相対位置が異なる状態において撮像されて第２センサ群２４ｂから出力されてもよい。

なお、第１光学系２１及び第２光学系２２の光軸Ｌの「方向」や「相対位置」を変える手法は特に限定されない。例えば、図２に示すようなパンチルト装置によって第１光学系２１及び第２光学系２２をパンチルト動作させて光軸Ｌの向き（角度）を変えることにより、「光軸Ｌの方向」を変えることができる。また第１光学系２１及び第２光学系２２を被写体に対して相対的にスライドさせて光軸Ｌを水平方向及び／又は鉛直方向に移動させることにより、「光軸Ｌの相対位置」を変えることができる（後述の図３９参照）。

このようにメインコントローラ３７の制御下において光学系アクチュエータ４５が撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌの状態を能動的にコントロールすることにより、第１生成画像データＤ２１及び第２生成画像データＤ２２の基礎となる複数の第１撮影画像データＤ１１及び複数の第２撮影画像データＤ１２を、予め定められる所望の光軸状態において取得することが可能になる。これにより画像生成部３２（画像合成部３３）は、複数の第１撮影画像データＤ１１及び複数の第２撮影画像データＤ１２から高画質の第１生成画像データＤ２１及び第２生成画像データＤ２２を生成することができる。

例えば、画像合成部３３は、撮影画像データの加算平均を利用した合成手法により生成画像データを取得することができる。すなわち画像合成部３３は、位置合わせされた複数の第１撮影画像データＤ１１を加算して加算後のデータの平均を算出することにより、複数の第１撮影画像の合成を行って第１生成画像データＤ２１を生成することができる。また画像合成部３３は、位置合わせされた複数の第２撮影画像データＤ１２を加算して加算後のデータの平均を算出することにより、複数の第２撮影画像の合成を行って第２生成画像データＤ２２を生成することができる。

図１３は、撮影画像データの加算平均を利用した合成手法により生成画像データを取得するケースの一例を示すフローチャートである。まず、メインコントローラ３７によって撮影用の光軸Ｌの状態が決定される（図１３のＳ２１）。そして、その決定に従って光学系アクチュエータ４５が撮像本体部４４をコントロールして撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌを移動させる一方で、撮像本体部４４（撮影光学系１１及び撮像素子２４）によって複数の第１撮影画像データＤ１１及び複数の第２撮影画像データＤ１２の撮像が行われる（Ｓ２２）。このように、メインコントローラ３７により予め決定された撮影用の光軸Ｌの状態に従って撮像された複数の第１撮影画像データＤ１１及び複数の第２撮影画像データＤ１２は画像生成部３２（画像合成部３３）において位置合わせされて合成され（Ｓ２３）、第１生成画像データＤ２１及び第２生成画像データＤ２２が生成される。

また画像合成部３３は、撮影画像データの重み付き平均を利用した合成手法により生成画像データを取得することができる。すなわち画像合成部３３は、撮像の際の第１光学系２１の光軸Ｌの状態に応じて定められる重みに基づいて複数の第１撮影画像データＤ１１の重み付き平均を算出することにより、複数の第１撮影画像の合成を行って第１生成画像データＤ２１を生成することができる。また撮像の際の第２光学系２２の光軸Ｌの状態に応じて定められる重みに基づいて複数の第２撮影画像データＤ１２の重み付き平均を算出することにより、複数の第２撮影画像の合成を行って第２生成画像データＤ２２を生成することができる。

図１４は、撮影画像データの重み付き平均を利用した合成手法により生成画像データを取得するケースの一例を示すフローチャートである。本例においても、図１３に示す例と同様に、メインコントローラ３７によって撮影用の光軸Ｌの状態が決定され（図１４のＳ３１）、その決定に従って、光学系アクチュエータ４５により撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌが移動させられ、撮像本体部４４（撮影光学系１１及び撮像素子２４）により複数の第１撮影画像データＤ１１及び複数の第２撮影画像データＤ１２の撮像取得が行われる（Ｓ３２）。ただし本例では、「複数の第１撮影画像データＤ１１」及び「複数の第２撮影画像データＤ１２」の各々に関し、合成用の重み係数がメインコントローラ３７によって決定される（Ｓ３３）。そして画像生成部３２（画像合成部３３）は、複数の第１撮影画像データＤ１１の位置合わせ及び複数の第２撮影画像データＤ１２の位置合わせを行い、合成用の重み係数を使って重み付き平均演算を行って撮影画像の合成を行って（Ｓ３４）、第１生成画像データＤ２１及び第２生成画像データＤ２２を生成する。

なお、上述のように撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌを光学系アクチュエータ４５によって能動的に所望状態に調整可能な場合には、複数の第１撮影画像データＤ１１及び複数の第２撮影画像データＤ１２を撮影する際の光軸Ｌの状態パターンを工夫することにより、より一層効果的に混信成分を低減することができる。

例えば、複数の第１撮影画像データＤ１１及び複数の第２撮影画像データＤ１２を撮影する際の光軸Ｌの状態分布を、１次元又は２次元のガウス分布に従って設定してもよい。この場合、画像合成後の第１生成画像データＤ２１及び第２生成画像データＤ２２の各々に残存する混信画像成分は、第１撮影画像データＤ１１及び第２撮影画像データＤ１２に含まれる混信画像成分とガウス分布との畳み込みに基づくことになるため、非常に滑らかにボケた像となる。そのため第１生成画像データＤ２１及び第２生成画像データＤ２２に基づく画像（広角画像及び望遠画像）の各々は、観察時に混信成分が目立たず、好ましい画質を持つことになる。

なお、同一の被写体に関する複数の画像を２次元的に相互に少しずつ位置をずらして重ねて合成することは、数学的には、「２次元の空間分布を持つ信号ｆ」に「ずらし合成の分布ｇ」を畳み込む演算（コンボリューション：ｆ＊ｇ）によって表現可能である。

図１５は、「２次元の空間分布を持つ信号ｆ」に「ずらし合成の分布ｇ」を畳み込む演算を説明するための概念図であり、（ａ）は位置に応じた輝度分布を持つ「信号ｆ（画像データ）」を例示し、（ｂ）は位置に応じた重みを規定する「ずらし合成の分布ｇ（畳み込みカーネル）」を例示し、（ｃ）は（ａ）に示す信号ｆに対して（ｂ）に示すずらし合成の分布ｇを畳み込む演算を行った結果を例示する。なお図１５（ａ）及び図１５（ｃ）において、縦軸は輝度の大きさを示し、横軸は１次元的な位置を示す。また図１５（ｂ）において、縦軸はずらし合成の分布ｇの重みの大きさを示し、横軸は１次元的な位置を示す。

図１５（ｃ）からも明らかなように、同一の被写体に関する複数の画像を２次元的に相互に少しずつ位置をずらして重ねて合成することにより、図１５（ａ）に示す画像信号に含まれる高周波の空間周波数成分は、低周波の空間周波数成分に比べて強く抑制される。その結果、合成画像はいわゆる細部がボケた画像となる。なお説明の便宜上、図１５（ａ）〜図１５（ｃ）は１次元的な位置を基準とした関係例を示すが、２次元的な位置を基準とした場合にも同様の関係例が成立しうる。

合成の基礎となる複数の画像を有限個であるとすると、位置のずらし量は離散的になるため、畳み込み演算のカーネルである「ずらし合成の分布ｇ」は複数のデルタ関数の和に基づく伝達関数となり、その伝達関数をフーリエ変換して得られる関数は周波数伝達特性を表す。

混信画像成分を「綺麗にぼかす」という目的の場合、伝達関数として、高周波成分を低減させるローパスフィルタを用いると好ましい結果が得られることが知られている。上述の複数のデルタ関数の和により構成される「畳み込み演算のカーネル（ずらし合成の分布ｇ）」にローパスフィルタの効果を持たせるには、例えば以下の手法１及び／又は手法２を利用することができる。
（手法１）複数のデルタ関数の強度分布をガウス分布状に設定する。
（手法２）複数のデルタ関数の密度分布をガウス分布状に設定する。

図１６は、ずらし合成の分布ｇを構成する複数のデルタ関数の強度分布の一例を示す図であり、特に複数のデルタ関数の強度分布（重み）をガウス分布Ｇに従って設定する例を説明するための図である。図１６において、縦軸は強度（重み）の大きさを示し、横軸は位置を示す。本例のように、ずらし合成の分布ｇを構成する各デルタ関数の強度（重み）をガウス分布Ｇに従って定めることにより、「畳み込み演算のカーネル（ずらし合成の分布）」にローパスフィルタの効果を持たせることが可能である。

図１６に示すような「ずらし合成の分布ｇ」を混信像に適用することは、例えば、均等に位置をずらして撮影することにより取得される画像の強度（例えば輝度）に関し、中央位置（すなわち基準状態の位置）に近いほどデルタ関数に大きな重みを持たせて、撮影画像データの重み付き平均を行うという合成処理に相当する。

したがって、上述のように画像合成部３３が重み付き平均を利用した合成手法により生成画像データを取得するケースにおいて、例えば第１光学系２１の光軸Ｌの状態に応じて定められる重みを、第１光学系２１の光軸Ｌの状態に基づくガウス分布よって定めたり、第２光学系２２の光軸Ｌの状態に応じて定められる重みを、第２光学系２２の光軸Ｌの状態に基づくガウス分布よって定めたりすることにより、混信像を綺麗にぼかすことができる。

図１７は、ずらし合成の分布ｇを構成する複数のデルタ関数の強度分布の他の例を示す図であり、（ａ）は位置に基づく強度分布に密度差を設ける例を説明するための図であり、（ｂ）はその密度差をガウス分布Ｇに従って設定する例を説明するための図である。図１７（ａ）において、縦軸は強度（重み）の大きさを示し、横軸は位置を示す。図１７（ｂ）において、縦軸はデルタ関数の頻度（存在数）を示し、横軸は基準状態を示す位置からの距離を示す。

図１７（ａ）に示す例のように、ずらし合成の分布ｇを構成する複数のデルタ関数の強度（重み）が相互に同じであっても、位置に応じたのデルタ関数の強度分布に密度差を設けて、光軸Ｌの基準状態に近い位置ほどデルタ関数が密に存在し、光軸Ｌの基準状態から離れた位置ほどデルタ関数が疎に存在するようにずらし合成の分布ｇを定めることにより、「畳み込み演算のカーネル（ずらし合成の分布）」にローパスフィルタの効果を持たせることが可能である。

図１７（ａ）に示すような「ずらし合成の分布ｇ」を混信像に適用することは、例えば、光軸Ｌの位置をずらして撮影を行う場合に光軸Ｌの配置分布を不均等にし、中央位置（すなわち基準状態の位置）に近い位置ほど高密度に撮影を行って多数の撮影画像を取得し、その撮影により得られる撮影画像データの加算平均を行うという合成処理に相当する。

したがって、上述のように画像合成部３３が加算平均を利用した合成手法により生成画像データを取得するケースにおいて、第１光学系２１の光軸Ｌが基準状態に近い程、複数の第１撮影画像が密に撮像され、第１光学系２１の光軸Ｌがその基準状態から離れる程、複数の第１撮影画像が疎に撮像されて、第１撮影画像データＤ１１が第１センサ群２４ａから出力されたり、第２光学系２２の光軸Ｌが基準状態に近い程、複数の第２撮影画像が密に撮像され、第２光学系２２の光軸Ｌがその基準状態から離れる程、複数の第２撮影画像が疎に撮像されて、第２撮影画像データＤ１２第２センサ群２４ｂから出力されることにより、混信像を綺麗にぼかすことができる。

また、とりわけ図１７（ｂ）に示すように、ずらし合成の分布ｇを構成するデルタ関数の頻度（存在数）を、基準状態からの距離に関してガウス分布Ｇに従って定めることにより、より効果的に混信像に対するローパスフィルタ効果を実現することができる。なお、図１７（ｂ）に示すデルタ関数の頻度（存在数）は、基準状態から所定の距離の範囲内に存在するデルタ関数の数に基づいて定められる。このように複数の第１撮影画像を撮像する際の第１光学系２１の光軸Ｌの状態の分布密度がガウス分布に基づいて定められたり、複数の第２撮影画像を撮像する際の第２光学系２２の光軸Ｌの状態の分布密度がガウス分布に基づいて定められることにより、混信像をより綺麗にぼかすことができる。

なお図１６及び図１７は１次元的な位置を基準とした関係例を示すが、２次元的な位置を基準とした場合にも同様の関係例が成立しうる。

また、図１６に示す例と図１７に示す例とを組み合わせてもよい。すなわち画像合成部３３が重み付き平均を利用した合成手法により生成画像データを取得するケースにおいて、光軸Ｌが基準状態に近いほど複数の撮影画像が密に撮像され、光軸Ｌがその基準状態から離れるほど複数の第１撮影画像が疎に撮像され、撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌの状態に応じて定められる重みを、その光軸Ｌの状態に基づくガウス分布よって定めることが好ましい。また、この場合にも、図１７（ｂ）に示すように、撮影画像を撮像する際の撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌの状態の分布密度がガウス分布に基づいて定められることが好ましい。

なお、ずらし合成の分布ｇを構成する各デルタ関数の強度（重み）は、ガウス分布Ｇ（図１６参照）以外の分布に従って定められてもよく、またずらし合成の分布ｇを構成する複数のデルタ関数の強度分布の密度差も、ガウス分布（図１７（ｂ）参照）以外の分布に従って定められてもよい。

図１２〜図１７に示す上記例では、撮影光学系１１の光軸Ｌの状態を光学系アクチュエータ４５によって能動的にコントロールするケースを説明したが、上述の「複数の撮影画像の位置合わせ及び合成を行う画像生成手法」は、撮影光学系１１の光軸Ｌの状態を能動的にコントロールしないケースにも適用可能である。すなわち図１に示すデジタルカメラ１０をユーザが手で保持して画像撮影を行う場合にも、上述の「撮影光学系１１の光軸Ｌの状態を能動的にコントロールするケース」と同様に、混信像の影響を低減した所望像を取得することが可能である。

例えば、撮影画像を解析して画像のぶれ成分を検出し、そのぶれ成分に基づいてぶれの影響を低減するぶれ補正技術が一般的に使用されている。したがって上述のような広角画像及び望遠画像をデジタルカメラ１０によって撮影する場合にも、広角画像及び望遠画像の各々における所望像は混信像よりも信号強度が強く、一般的に行われているぶれ成分検出手法を用いることにより、所望像（主要被写体等）の撮影ぶれ（手ぶれ）を検出することは可能である。複数の画像を撮影する際に撮影ぶれが生じると、結果的に、撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌが異なる状態において画像が撮影される。したがって、撮影ぶれ（手ぶれ）を伴って取得される複数の撮影画像（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）に対して、上述の「撮影光学系１１の光軸Ｌの状態を能動的にコントロールするケース」と同様に、所望像の位置合わせを行って合成処理を行うことにより、所望像におけるぶれの影響を低減できるだけではなく、生成画像（第１生成画像データＤ２１及び第２生成画像データＤ２２）における混信像の影響を低減できる。また本例のように、デジタルカメラ１０等のようにユーザによって保持されて撮影が行われる撮像装置３０は、パンチルト装置のような光学系アクチュエータ４５を設ける必要がないため、装置構成を簡素化することができ、低コストに実現され、また小型化も容易である。

次に、本実施形態の具体的な実施例について説明する。

図１８は、パン動作による望遠画像のズレ量を説明するための図であり、（ａ）は第１のパン位置で撮像された第２撮影画像（望遠画像）を示し、（ｂ）は第２のパン位置において撮像された第２撮影画像（望遠画像）を示す。図１９は、パン動作による広角画像のズレ量を説明するための図であり、（ａ）は第１のパン位置において撮像された第１撮影画像（広角画像）を示し、（ｂ）は第２のパン位置において撮像された第１撮影画像（広角画像）を示す。なお図１８（ａ）及び図１９（ａ）は、それぞれ同一の光軸Ｌを有する第１光学系２１及び第２光学系２２を使って撮像された画像である。同様に、図１８（ｂ）及び図１９（ｂ）は、それぞれ同一の光軸Ｌを有する第１光学系２１及び第２光学系２２を使って撮像された画像である。また図１８（ａ）及び図１８（ｂ）に表されている「Ｓｗ」は、第１のパン位置と第２のパン位置との間における望遠画像中の同じ像箇所の位置の相違（位置ズレ量）を示し、上記の式（１）によって表されうる。同様に、また図１９（ａ）及び図１９（ｂ）に表されている「Ｓｔ」は、第１のパン位置と第２のパン位置との間における広角画像中の同じ像箇所の位置の相違（位置ズレ量）を示し、上記の式（２）によって表されうる。なお「Ｓｗ」及び「Ｓｔ」によって表される位置ズレ量は、図１８及び図１９において、同一箇所の位置ズレ量を示す。

図１８及び図１９からも明らかなように、同じパン移動量であっても、望遠画像の位置ズレ量と広角画像の位置ズレ量は相違し、一般に、望遠画像の位置ズレ量の方が広角画像の位置ズレ量よりも大きい（Ｓｗ＞Ｓｔ）。

図２０は、混信像（広角画像）を含む望遠画像（所望像）のズレ量を説明するための図であり、（ａ）は第１のパン位置において撮像された第２撮影画像（望遠画像）を示し、（ｂ）は第２のパン位置において撮像された第２撮影画像（望遠画像）を示す。図２１は、混信像（望遠画像）を含む広角画像（所望像）のズレ量を説明するための図であり、（ａ）は第１のパン位置において撮像された第１撮影画像（広角画像）を示し、（ｂ）は第２のパン位置で撮像された第１撮影画像（広角画像）を示す。

図１８及び図１９を参照して説明した位置ズレに関する上述の原則は、撮影画像が本来の所望像に加えて混信像を含むケースにおいても同様に適用される。すなわち、撮影画像が望遠画像（図２０参照）及び広角画像（図２１参照）のうちのいずれの画像を意図したものであっても、撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌの状態の相違に基づく位置ズレ量は、望遠画像の方が広角画像よりも大きくなる（Ｓｗ＞Ｓｔ）。

図２２は、第１実施形態における撮影画像の合成メカニズムを説明するための図であり、（ａ）は第１のパン位置において取得された「混信像（広角画像）を含む望遠画像（所望像）」を示し、（ｂ）は（ａ）に示す望遠画像（所望像）の一部と混信像（広角画像）との位置関係の概略を示し、（ｃ）は（ｂ）に示す位置関係を簡略的に示し、（ｄ）は第２のパン位置において取得された「混信像（広角画像）を含む望遠画像（所望像）」を示し、（ｅ）は（ｄ）に示す望遠画像（所望像）の一部と混信像（広角画像）との位置関係の概略を示し、（ｆ）は（ｅ）に示す位置関係を簡略的に示し、（ｇ）は（ｂ）に示す概略図と（ｅ）に示す概略図とに基づく合成表示例を示し、（ｈ）は（ｃ）に示す簡略図と（ｆ）に示す簡略図とに基づく合成に関する概念図を示す。

上述のように混信像（広角画像）と所望像（望遠画像）との相対位置は、光軸Ｌの状態に応じて変化する。したがって、例えば図２２（ａ）〜図２２（ｃ）に示す第１のパン位置における「混信像（広角画像；第１混信成分Ｃ１参照）と所望像（望遠画像；第１所望画像成分Ｒ１参照）との間の相対距離」は、図２２（ｄ）〜図２２（ｆ）に示す第２のパン位置における「混信像（広角画像；第２混信成分Ｃ２参照）と所望像（望遠画像；第２所望画像成分Ｒ２参照）との間の相対距離」よりも大きい。図２２（ｇ）及び図２２（ｈ）に示すように、所望像（第１所望画像成分Ｒ１及び第２所望画像成分Ｒ２参照）の位置に基づいて、第１のパン位置において撮像された撮影画像と第２のパン位置において撮像された撮影画像との位置合わせを行うと、「第１のパン位置において撮像された撮影画像に含まれる混信像（第１混信成分Ｃ１参照）」と「第２のパン位置において撮像された撮影画像に含まれる混信像（第２混信成分Ｃ２参照）」との間で位置がずれる。そのため所望像の位置に基づいて位置合わせされた「第１のパン位置において撮像された望遠画像及び第２のパン位置において撮像された望遠画像」を合成すると、所望像（望遠画像；第１所望画像成分Ｒ１及び第２所望画像成分Ｒ２参照）は位置が一致した状態において合成されるため非常に鮮明な画像となる。しかし、混信像（広角画像；第１混信成分Ｃ１及び第２混信成分Ｃ２参照）は位置が一致しない状態において合成されるため相対的に画像強度が下がり目立たなくなる。

図２３は、第１実施形態に係る撮像装置３０によって取得される望遠画像の生成例を示す図である。図２３（ａ）は複数の撮影画像（望遠画像）を示し、図２３（ｂ）は複数の撮影画像の位置合わせ及び合成によって生成される望遠画像の一例を示す。図２４は、第１実施形態に係る撮像装置３０によって取得される広角画像の生成例を示す図である。図２４（ａ）は複数の撮影画像（広角画像）を示し、図２４（ｂ）は複数の撮影画像の位置合わせ及び合成によって生成される広角画像の一例を示す。

図２３及び図２４の各々に示す例は、第１光学系２１（広角画像用光学系）の焦点距離と第２光学系２２（望遠画像用光学系）の焦点距離との比が「７：１」であり、水平方向Ｈ（パン方向）に１画素単位で９画素相当移動させるとともに垂直方向Ｖ（チルト方向）に１画素単位で９画素相当移動させて合計８１枚（＝９×９）の撮影画像（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）が取得される（図２３（ａ）及び図２４（ａ）参照）。そして、８１枚の撮影画像の位置合わせ処理及び合成処理が行われて生成画像（第１生成画像データＤ２１（図２４（ｂ）参照）及び第２生成画像データＤ２２（図２３（ｂ）参照））が取得される。

「図２３（ｂ）」と「図２０（ａ）及び図２０（ｂ）」との比較や「図２４（ｂ）」と「図２１（ａ）及び図２１（ｂ）」との比較からも明らかなように、本実施形態のように光軸Ｌが異なる状態において取得される複数の撮影画像の位置合わせを行った後に合成処理を行うことにより、混信像の影響を非常に効果的に低減することができる。特に本実施形態の撮像装置３０では、焦点距離の異なる光学系により同時に撮像された複数種類の画像（広角画像及び望遠画像）のうちのいずれの画質も損なうことなく、全ての種類の画像の画質を改善することができる。

＜第２実施形態＞
本実施形態において、上述の第１実施形態に係る撮像装置３０と同一又は類似の構成には同一の符号を付し、その詳細な説明は省略する。

図２５は、第２実施形態に係る画像生成部３２の機能構成例を示すブロック図である。

本実施形態に係る画像生成部３２は、上述の画像合成部３３に加え、第１撮影画像（広角画像）及び第２撮影画像（望遠画像）の補正を行う画像補正部６０を有する。

この画像補正部６０は、撮像素子２４（第１センサ群２４ａ及び第２センサ群２４ｂ）から送られてくる第１撮影画像データＤ１１及び第２撮影画像データＤ１２を補正し、第１撮影画像（広角画像）における第２光学系２２を通過した光の影響を低減し、第２撮影画像（望遠画像）における第１光学系２１を通過した光の影響を低減する。そして画像補正部６０によって補正された第１撮影画像データＤ１１及び第２撮影画像データＤ１２は画像合成部３３に送られ、画像合成部３３において第１生成画像データＤ２１及び第２生成画像データＤ２２が生成される。

画像補正部６０における上述の混信除去処理の具体的な手法は特に限定されず、例えば以下の手法に従って、画像補正部６０は撮影画像から不要光の影響を低減することができる。

＜混信除去処理例＞
図２６は、第１光学系２１と第２光学系２２との間における撮影光の干渉（クロストーク）による画質の低下の影響を受けた広角画像（図２６（ａ）参照）及び望遠画像（図２６（ｂ）参照）の一例を示す。

上述のように、撮影光学系１１及び撮像素子２４において瞳分割の性能が十分ではない場合、広角画像光のみを受光することが意図された第１センサ群２４ａ（図４参照）に望遠画像光が漏れ込むため望遠画像成分の一部が重畳された広角画像が得られ（図２６（ａ）参照）、望遠画像光のみを受光することが意図された第２センサ群２４ｂ（図４参照）に広角画像光が漏れ込むため広角画像成分の一部が重畳された望遠画像が得られる（図２６（ｂ）参照）。

図２７は、光学系間における撮影光の干渉のメカニズムを説明するための概念図である。

図２７において符号「Ｉｗ１」は真の広角画像を示し、符号「Ｉｔ１」は真の望遠画像を示す。ここで言う「真の広角画像Ｉｗ１」及び「真の望遠画像Ｉｔ１」は、第１光学系２１を通過する撮影光と第２光学系２２を通過する撮影光との間で干渉が起きていない状態において撮影取得される画像である。一方、符号「Ｉｗ２」は第１センサ群２４ａ（第１の受光センサ２５ａ）から実際に出力される撮像信号から生成される出力広角画像を示し、「Ｉｔ２」は第２センサ群２４ｂ（第２の受光センサ２５ｂ）から実際に出力される撮像信号から生成される出力望遠画像を示す。

図３に示す撮影光学系１１及び撮像素子２４を具備する撮像装置３０（図１及び図２参照）によって広角画像及び望遠画像を撮影する場合に、撮像装置３０（特に撮像素子２４の遮光マスク２８）が十分な瞳分割性能を有していれば、図２７に示す真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１を表す撮像信号が撮像素子２４から出力される。しかしながら上述のように、瞳分割性能が十分ではなく広角画像光と望遠画像光との間において干渉がある場合には、図２７に示す出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２のように、広角画像及び望遠画像が混在した多重画像を表す撮像信号が第１センサ群２４ａ及び第２センサ群２４ｂの各々から出力される。

例えば図２７に示すように、真の広角画像Ｉｗ１の撮影光のうち、第１センサ群２４ａ（第１の受光センサ２５ａ）によって適切に受光される成分を示す分布情報（指標）を「広角検出ゲイン分布Ｄ１」とし、第２センサ群２４ｂ（第２の受光センサ２５ｂ）によって不適切に受光される成分を示す分布情報を「広角混信ゲイン分布Ｄ２」とする。また真の望遠画像Ｉｔ１の撮影光のうち、第１センサ群２４ａ（第１の受光センサ２５ａ）によって不適切に受光される成分を示す分布情報を「望遠混信ゲイン分布Ｄ３」とし、第２センサ群２４ｂ（第２の受光センサ２５ｂ）によって適切に受光される成分を示す分布情報を「望遠検出ゲイン分布Ｄ４」とする。

この場合、真の広角画像Ｉｗ１に対して広角検出ゲイン分布Ｄ１を適用することにより得られる広角画像成分であって第１センサ群２４ａ（第１の受光センサ２５ａ）に受光される広角画像成分を「真広角画像成分Ｅ１」とする。また真の望遠画像Ｉｔ１に対して望遠混信ゲイン分布Ｄ３を適用することにより得られる望遠画像成分であって第１センサ群２４ａ（第１の受光センサ２５ａ）に受光される望遠画像成分を「混信望遠画像成分Ｅ２」とする。また真の広角画像Ｉｗ１に対して広角混信ゲイン分布Ｄ２を適用することにより得られる広角画像成分であって第２センサ群２４ｂ（第２の受光センサ２５ｂ）に受光される広角画像成分を「混信広角画像成分Ｅ３」とする。また真の望遠画像Ｉｔ１に対して望遠検出ゲイン分布Ｄ４を適用することにより得られる望遠画像成分であって第２センサ群２４ｂ（第２の受光センサ２５ｂ）に受光される望遠画像成分を「真望遠画像成分Ｅ４」とする。

この場合、第１センサ群２４ａ（第１の受光センサ２５ａ）から出力される撮像信号によって生成される出力広角画像Ｉｗ２は、真広角画像成分Ｅ１と混信望遠画像成分Ｅ２とを加算して得られる画像に基づく。また第２センサ群２４ｂ（第２の受光センサ２５ｂ）から出力される撮像信号によって生成される出力望遠画像Ｉｔ２は、混信広角画像成分Ｅ３と真望遠画像成分Ｅ４とを加算して得られる画像に基づく。

撮像装置の瞳分割性能が優れているほど、広角画像光と望遠画像光とは精度良く分離されて撮像素子２４により受光され、混信望遠画像成分Ｅ２及び混信広角画像成分Ｅ３の成分割合はゼロ（ブランク）に近づき、出力広角画像Ｉｗ２は真の広角画像Ｉｗ１に近づき、出力望遠画像Ｉｔ２は真の望遠画像Ｉｔ１に近づく。一方、撮像装置の瞳分割性能が劣るほど、広角画像光と望遠画像光とは十分に分離されずに撮像素子２４により受光され、混信望遠画像成分Ｅ２及び混信広角画像成分Ｅ３の成分割合は増え、出力広角画像Ｉｗ２において混信望遠画像成分Ｅ２の割合が大きくなり、出力望遠画像Ｉｔ２において混信広角画像成分Ｅ３の割合が大きくなる。

このように光学系間において撮影光の干渉がある場合に撮像素子２４から出力される撮像信号は、真の画像に検出ゲイン分布を適用して得られる画像成分と、別チャンネルの画像に混信ゲイン分布を適用して得られる画像成分とが加算されたものに相当する。このような指向性センサ（撮像素子２４）における混信（クロストーク）により、広角画像及び望遠画像が重なった画像（撮像信号）が出力されるため、瞳分割性能が十分ではない撮像装置からは画質劣化した撮影画像が出力されることとなる。

そこで本実施形態の画像補正部６０（図２５参照）は、広角画像データ及び望遠画像データの補正処理を行って、「広角画像に混入した望遠画像成分（すなわち第２光学系２２を通過して第１の受光センサ２５ａにより受信された望遠画像の撮影光成分）」の影響及び「望遠画像に混入した広角画像成分（すなわち第１光学系２１を通過して第２の受光センサ２５ｂにより受信された広角画像の撮影光成分）」の影響を抑制する。

画像補正部６０において行われる補正処理の具体的な手法は特に限定されず、例えば、画像補正部６０は、広角画像（第１撮影画像）及び望遠画像（第２撮影画像）の検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づいて広角画像及び望遠画像の補正処理を行うことができる。

以下、検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく画像補正処理の具体例について説明する。

図２８は、真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２、出力望遠画像Ｉｔ２及び検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの関係を示す図である。なお図２８に示す「真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」は、それぞれ図２７に示す「真の広角画像Ｉｗ１、真の望遠画像Ｉｔ１、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」に対応する。

撮像素子２４（第１の受光センサ２５ａ及び第２の受光センサ２５ｂ）から出力される撮像信号から生成される出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２は、図２８に示すように、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」と、「第１光学系２１及び第２光学系２２の各々を通過した撮影光によって生成される本来の広角画像及び望遠画像である真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１」との積で表される。

検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍは、図２８に示すように、広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４によって構成される２×２行列である。なお図２８に示す「広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４」は、それぞれ図２７に示す「広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４」に対応する。

図２９は、図２８に示す行列式に対して「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」の逆行列Ｍ^−１を適用して得られる行列式を示す図である。図２９に示すように、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍ」の逆行列Ｍ^−１と「撮像素子２４（第１の受光センサ２５ａ及び第２の受光センサ２５ｂ）から出力される撮像信号から生成される出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２」との積によって、「本来の広角画像及び望遠画像である真の広角画像Ｉｗ１及び真の望遠画像Ｉｔ１」を取得することができる。

図３０は、図２９の行列式を簡略化して表した行列式を示す。図３０において「Ｗ１」は真の広角画像Ｉｗ１の画素成分（画素値）を集合的に表し、「Ｔ１」は真の望遠画像Ｉｔ１の画素成分を集合的に表し、「Ｗ２」は出力広角画像Ｉｗ２の画素成分を集合的に表し、「Ｔ２」は出力望遠画像Ｉｔ２の画素成分を集合的に表す。また図３０において「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」は、それぞれ広角検出ゲイン分布Ｄ１、望遠混信ゲイン分布Ｄ３、広角混信ゲイン分布Ｄ２及び望遠検出ゲイン分布Ｄ４を構成する要素を集合的に表す。

図３１は、図３０に示す「Ｗ１」を構成する要素ｗ１＿１１〜ｗ１＿ｍｎを示す。すなわち「Ｗ１」は、真の広角画像Ｉｗ１の画素成分（画素値）に対応する要素ｗ１＿１１〜ｗ１＿ｍｎによって構成される。なお「ｍ」及び「ｎ」はそれぞれ２以上の整数を示し、「ｍ」と「ｎ」とは同じであってもよいし異なっていてもよい。

同様に、図３０に示す「Ｗ２」、「Ｔ１」及び「Ｔ２」も、それぞれ出力広角画像Ｉｗ２、真の望遠画像Ｉｔ１及び出力望遠画像Ｉｔ２の画素成分（画素値）に対応する要素ｗ２＿１１〜ｗ２＿ｍｎ、ｔ１＿１１〜ｔ１＿ｍｎ及びｔ２＿１１〜ｔ２＿ｍｎによって構成される（図示省略）。また図３０に示す「Ａ」、「Ｂ」、「Ｃ」及び「Ｄ」も、それぞれ広角画像及び望遠画像の各画素に応じて定められる要素ａ１１〜ａｍｎ、ｂ１１〜ｂｍｎ、ｃ１１〜ｃｍｎ及びｄ１１〜ｄｍｎによって構成される（図示省略）。

図３２は、図３０に示す行列式に基づいて導出される「ｗ１＿ｉｊ」の算出式を示す。図３３は、図３０に示す行列式に基づいて導出される「ｔ１＿ｉｊ」の算出式を示す。図３２及び図３３において「ｉ」は１〜ｍのうちのいずれかの整数を示し、「ｊ」は１〜ｎのうちのいずれかの整数を示す。図３２及び図３３に示すように、真の広角画像Ｉｗ１の画素成分（画素値）に対応する要素ｗ１＿１１〜ｗ１＿ｍｎ及び真の望遠画像Ｉｔ１の画素成分（画素値）に対応する要素ｔ１＿１１〜ｔ１＿ｍｎは、出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２と逆行列Ｍ^−１とから演算により算出することができる。

本実施形態の画像補正部６０は、図３２及び図３３により表される演算式に基づいて広角画像データ（第１撮影画像データＤ１１）及び望遠画像データ（第２撮影画像データＤ１２）の補正処理を行うことにより、「広角画像に混入した望遠画像成分」の影響又は「望遠画像に混入した広角画像成分」の影響を低減することができる。

厳密に補正処理を行う観点からは、検出ゲイン分布及び混信ゲイン分布は広角画像及び望遠画像の各々を構成する画素の数と同じ数の要素によって構成され、検出ゲイン分布及び混信ゲイン分布を構成する要素毎（対応画素毎）の逆行列Ｍ^−１が画像補正部６０において用いられることが好ましい。ただし、シェーディングが小さい場合等のように「検出ゲイン分布及び混信ゲイン分布を構成する要素」が「広角画像及び望遠画像を構成する画素の一部又は全部」において近似するケースでは、計算コストを優先させる観点から、その近似範囲において共通の代表値によって「検出ゲイン分布及び混信ゲイン分布を構成する要素」を表してもよい。したがって「広角画像及び望遠画像を構成する画素の全部」が近似する場合には、検出ゲイン分布及び混信ゲイン分布を単一の代表値によって表すことができ、「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」を簡素且つ高速に行うことが可能になる。

なお広角検出ゲイン分布Ｄ１、広角混信ゲイン分布Ｄ２、望遠混信ゲイン分布Ｄ３及び望遠検出ゲイン分布Ｄ４に基づく行列Ｍ（図２８〜図３０の「Ａ」、「Ｃ」、「Ｂ」及び「Ｄ」参照）は、撮影に使用する撮影光学系１１及び撮像素子２４によって定められる。画像補正部６０は、この行列Ｍから予め導出される逆行列Ｍ^−１の要素を記憶保持しており、その記憶保持している逆行列Ｍ^−１の要素を出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２に適用することにより、広角画像における望遠画像の撮影光の影響を低減し、望遠画像における広角画像の撮影光の影響を低減することができる。

また上述の画像補正部６０における「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」は、撮像素子２４から取得される広角画像データ（第１撮影画像データＤ１１）及び望遠画像データ（第２撮影画像データＤ１２）に対して行われるが、これに限定されない。例えば、画像記憶部３９等のメモリに記憶され画像生成部３２に出力される広角画像データ（第１撮影画像データＤ１１）及び望遠画像データ（第２撮影画像データＤ１２）に対し、画像補正部６０における「検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づく補正処理」が行われてもよい。

また上述の画像補正部６０における「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」は、実際には、広角画像データ及び望遠画像データを構成する色チャンネル毎に行われる。画像補正部６０は、その色チャンネルの各々に関する「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１」を記憶保持する。例えば、撮像素子２４（第１の受光センサ２５ａ及び第２の受光センサ２５ｂ）がＲＧＢ（赤緑青）のカラーフィルタを有し、ＲＧＢデータによって構成される広角画像データ（第１撮影画像データＤ１１）及び望遠画像データ（第２撮影画像データＤ１２）が撮像信号として撮像素子２４から出力される場合、画像補正部６０は、ＲＧＢの各々の色チャンネルに関する「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１」を保持して出力広角画像Ｉｗ２及び出力望遠画像Ｉｔ２に適用する。

図３４は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を行った場合の画像例を示し、（ａ）は広角画像例を示し、（ｂ）は望遠画像例を示す。図３５は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を行った後に第１実施形態に係る「位置合わせ後の合成処理」を行った場合の画像例を示し、（ａ）は広角画像例を示し、（ｂ）は望遠画像例を示す。

図３４（ａ）に示す広角画像例では、望遠画像成分のうち明るい画素成分の混在が多少目立つ。また図３４（ｂ）に示す望遠画像例では、広角画像成分のうち鋭い輪郭成分の混在が多少目立つ。一方、本実施形態に係る図３５（ａ）に示す広角画像例及び図３５（ｂ）に示す望遠画像例では、図３４（ａ）に示す広角画像例及び図３４（ｂ）に示す望遠画像例において目立った混在成分が低減され、全体として視認性に優れた高画質の画像となっている。

図３６は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を行った後に第１実施形態に係る「位置合わせ後の合成処理」を行った場合の他の画像例を示す。

図３６（ａ）は、撮像素子２４（第２センサ群２４ｂ）から出力される望遠撮影画像（第２撮影画像データＤ１２）の一例を示し、広角画像成分及び望遠画像成分が「広角画像成分：望遠画像成分＝０．４９：０．５１」の比率で混合している。

図３６（ｂ）は、撮像素子２４（第１センサ群２４ａ）から出力される広角撮影画像（第１撮影画像データＤ１１）の一例を示し、広角画像成分及び望遠画像成分が「広角画像成分：望遠画像成分＝０．５１：０．４９」の比率で混合している。

図３６（ｃ）は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理（図２８〜図３３参照）」を図３６（ａ）に示す望遠撮影画像に適用することにより得られる望遠画像（第２撮影画像データＤ１２）を示す。図３６（ｃ）に示す例では、「逆行列Ｍ^−１に基づく補正処理」では混信成分（広角画像成分）を完全には除去することができず、除去残差が残っている。

図３６（ｄ）は、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理（図２８〜図３３参照）」を図３６（ｂ）に示す広角撮影画像に適用することにより得られる広角画像（第１撮影画像データＤ１１）を示す。図３６（ｄ）に示す例では、「逆行列Ｍ^−１に基づく補正処理」では混信成分（望遠画像成分）を完全には除去することができず、除去残差が残っている。

図３６（ｅ）は、第２光学系２２の光軸Ｌの状態を２次元的に変えることにより取得される複数の望遠撮影画像（第２撮影画像データＤ１２）であって、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理（図２８〜図３３参照）」を適用した後の望遠撮影画像（図３６（ｃ）参照）を複数示す。

図３６（ｆ）は、第１光学系２１の光軸Ｌの状態を２次元的に変えることにより取得される複数の広角撮影画像（第１撮影画像データＤ１１）であって、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理（図２８〜図３３参照）」を適用した後の広角撮影画像（図３６（ｄ）参照）を複数示す。

図３６（ｇ）は、図３６（ｅ）に示す複数の望遠撮影画像（第２撮影画像データＤ１２）の「位置合わせ処理及び合成処理（図２３参照）」を行うことにより得られる望遠生成画像（第２生成画像データＤ２２）を示す。図３６（ｇ）に示す例は、第１光学系２１（広角画像用光学系）の焦点距離と第２光学系２２（望遠画像用光学系）の焦点距離との比が「７：１」であり、水平方向Ｈ（パン方向）に１画素単位で９画素相当移動させるとともに垂直方向Ｖ（チルト方向）に１画素単位で９画素相当移動させて合計８１枚（＝９×９）の望遠撮影画像（第２撮影画像データＤ１２）から得られる望遠生成画像（第２生成画像データＤ２２）を示す。

図３６（ｈ）は、図３６（ｆ）に示す複数の広角撮影画像（第１撮影画像データＤ１１）の「位置合わせ処理及び合成処理（図２４参照）」を行うことにより得られる広角生成画像（第１生成画像データＤ２１）を示す。図３６（ｈ）に示す例は、第１光学系２１（広角画像用光学系）の焦点距離と第２光学系２２（望遠画像用光学系）の焦点距離との比が「７：１」であり、水平方向Ｈ（パン方向）に１画素単位で９画素相当移動させるとともに垂直方向Ｖ（チルト方向）に１画素単位で９画素相当移動させて合計８１枚（＝９×９）の広角撮影画像（第１撮影画像データＤ１１）から得られる広角生成画像（第１生成画像データＤ２１）を示す。

「図３６（ｇ）及び図３６（ｈ）」と「図３６（ｃ）及び図３６（ｄ）」との比較からも明らかなように、「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」に「位置合わせ処理及び合成処理」を組み合わせることにより、混信成分が低減され、全体として視認性に優れた高画質の画像を提供することができる。また「図３６（ｇ）及び図３６（ｈ）」と「図２３（ｂ）及び図２４（ｂ）」との比較からも明らかなように、「位置合わせ処理及び合成処理」に対して「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を組み合わせることにより、より一層効果的に混信成分を低減することができる。

特に図３６（ａ）に示す望遠画像及び図３６（ｂ）に示す広角画像は、それぞれ混信成分の比率が「０．４９（＝４９％）」であり、本来意図されている所望像に対する混信像の割合が非常に大きい。そのような場合であっても、本実施形態の画像生成部３２のように画像補正部６０による補正処理と画像合成部３３による補正処理とを組み合わせることにより、図３６（ｇ）及び図３６（ｈ）に示すように混信成分をほぼ視認することができないレベルにまで低減した生成画像（第１生成画像データＤ２１及び第２生成画像データＤ２２）を取得することができる。したがって本実施形態によれば、画像分離性能（瞳分割性能）が低い安価な撮像素子２４であっても、混信成分を効率的に低減した高画質の生成画像を取得することができ、非常に有用である。

なお画像補正部６０は、上述の「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」以外の補正処理を行ってもよい。画像補正部６０は、例えば「広角画像データ（第１撮影画像データＤ１１）を補正して第１光学系２１の収差の影響を低減する補正処理」や「望遠画像データ（第２撮影画像データＤ１２）を補正して第２光学系２２の収差の影響を低減する補正処理」を行ってもよい。また画像補正部６０は、位置補正（平行移動）などの幾何的な補正に加え、撮影光学系１１（第１光学系２１及び第２光学系２２）の光学特性を反映した台形補正等の変形補正や、シェーディング或いは色調を調整する補正を行うための処理を行ってもよい。画像補正部６０によって適切な画像補正処理を行うことにより、本来意図される所望の画像成分については、ノイズやブレなどの不要成分が低減され、より一層明瞭な生成画像（第１生成画像データＤ２１及び第２生成画像データＤ２２）を得ることができる。

また、図２５には画像合成部３３よりも前段に画像補正部６０が設けられる例が示されているが、画像補正部６０が設けられる位置は特に限定されない。例えば図３７に示すように、画像生成部３２において複数の画像補正部（第１画像補正部６０ａ及び第２画像補正部６０ｂ）が設けられてもよく、画像合成部３３よりも前段だけではなく後段に画像補正部（第１画像補正部６０ａ及び第２画像補正部６０ｂ）が設けられてもよい。図３７に示す画像生成部３２では、例えば、第１画像補正部６０ａが上述の「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を行い、画像合成部３３が第１画像補正部６０ａによる補正後の撮影画像データ（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）から生成画像データ（第１生成画像データＤ２１及び第２生成画像データＤ２２）を生成し、第２画像補正部６０ｂが生成画像データ（第１生成画像データＤ２１及び第２生成画像データＤ２２）に対して他の補正処理を行ってもよい。また図３８に示すように、画像生成部３２において画像合成部３３よりも後段に画像補正部６０が設けられてもよい。

＜第３実施形態＞
本実施形態において、上述の実施形態に係る撮像装置３０と同一又は類似の構成には同一の符号を付し、その詳細な説明は省略する。

上述の実施形態では、撮影光学系１１及び撮像素子２４を含む撮像本体部４４を移動させながら撮像を行うことにより、第１光学系２１の光軸Ｌが異なる状態において複数の第１撮影画像（広角画像）が撮像され、第２光学系２２の光軸Ｌが異なる状態において複数の第２撮影画像（望遠画像）が撮像される。これに対して本実施形態では、被写体を移動させながら撮像を行うことにより、第１光学系２１の光軸Ｌが異なる状態において複数の第１撮影画像（広角画像）が撮像され、第２光学系２２の光軸Ｌが異なる状態において複数の第２撮影画像（望遠画像）が撮像される。

したがって以下に説明する本実施形態は、例えば顕微鏡等によって撮像装置３０が構成される場合に好適である。

図３９は、第３実施形態に係る撮像装置３０を例示するブロック図である。図３９には、撮像本体部４４（撮影光学系１１及び撮像素子２４）、光学系アクチュエータ４５、メインコントローラ３７、被写体６４、被写体保持部６５及び被写体アクチュエータ６６のみが図示されているが、図３９に示す撮像装置３０は、図７〜図１０に示す各部（例えば画像生成部３２等）も含む。

本実施形態の撮像装置３０は、被写体６４を保持する被写体保持部６５と、メインコントローラ３７の制御下において被写体保持部６５を移動させる被写体アクチュエータ６６とを更に備える。

被写体保持部６５は、被写体６４を固定的に保持可能であれば、具体的な保持手法は特に限定されない。

また本例の被写体保持部６５は、被写体アクチュエータ６６によってスライド移動し、被写体アクチュエータ６６は、撮影光学系１１（第１光学系２１及び第２光学系２２）の光軸Ｌと垂直を成す方向に２次元的に被写体保持部６５を移動させることができる。

本実施形態の撮像装置３０において、メインコントローラ３７の制御下において、被写体６４を被写体保持部６５によって移動させながら撮像本体部４４によって被写体６４の撮像を行うことにより、「第１光学系２１の光軸Ｌが異なる状態において撮像される複数の広角画像（第１撮影画像）」及び「第２光学系２２の光軸Ｌが異なる状態において撮像される複数の望遠画像（第２撮影画像）」を取得することができる。

なお本実施形態のように被写体６４を移動させる場合、撮像本体部４４によって取得される撮影画像（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）における被写体像は、「被写体アクチュエータ６６及び被写体保持部６５による被写体６４の移動方向」とは逆方向に移動する。例えば被写体６４が水平右方向ＨＲ（図３９参照）に１０ｃｍスライドすると、撮影画像（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）における被写体像は相対的に水平左方向（図３９の符号「ＨＬ」参照）に１０ｃｍスライドする。

パンチルト装置による撮影光学系１１の光軸Ｌの「向き（角度）」を変えるケースに比べ、本実施形態のように撮影光学系１１の光軸Ｌの「相対位置」を変えるケースでは、撮影画像（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）における被写体像の動き量は小さくなる傾向がある。したがって比較的小さな被写体６４の撮像を行う場合のように、撮影光学系１１の光軸Ｌの状態を緻密に変化させることが必要とされるケースに対して本実施形態の撮像装置３０は好適である。

なお本実施形態において、被写体アクチュエータ６６及び被写体保持部６５による被写体６４の移動と、光学系アクチュエータ４５による撮像本体部４４（撮影光学系１１及び撮像素子２４）の移動とが組み合わされて、複数の撮影画像（第１撮影画像データＤ１１及び第２撮影画像データＤ１２）が取得されてもよい。

＜他の変形例＞
本発明は上述の実施形態及びその変形例に限定されず、本発明の精神を逸脱しない範囲において種々の変形が可能である。

例えば上述の実施形態同士が適宜組み合わされてもよく、「被写体６４側を移動させて撮像を行う」上述の第３実施形態に係る撮像装置３０に、上述の第２実施形態に係る「検出ゲイン分布及び混信ゲイン分布によって構成される行列Ｍの逆行列Ｍ^−１に基づく補正処理」を適用してもよい。

また上述の実施形態では、２種類の光学系（第１光学系２１及び第２光学系２２）によって撮影光学系１１が構成される例について説明したが、３種類以上の光学系によって撮影光学系１１が構成されてもよい。

また、上述の各構成及び各機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

また、本発明を適用可能な態様は図１に示すデジタルカメラ１０及び図２に示す自動追尾撮像装置１４には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、或いはその他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図４０は、本発明の撮像装置の一実施形態であるスマートフォン１０１の外観を示す図である。図４０に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となって形成される表示入力部１２０が設けられる。また、その筐体１０２は、スピーカ１３１と、マイクロホン１３２と、操作部１４０と、カメラ部１４１とを備える。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図４１は、図４０に示すスマートフォン１０１の構成を示すブロック図である。図４１に示すように、スマートフォン１０１の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１００の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びＷｅｂデータやストリーミングデータなどの受信が行われる。

表示入力部１２０は、表示パネル１２１及び操作パネル１２２を備えるいわゆるタッチパネルであり、主制御部１００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。

表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又はＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いる。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像が視認可能な状態によりお設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル１２２は、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

本発明の撮像装置の一実施形態として図４０に例示されるスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成し、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。その配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分及びそれ以外の内側部分の２つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２において採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

通話部１３０は、スピーカ１３１及びマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０或いは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力したりする。また、図４０に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図４０に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などにより押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２とにより構成される。なお、記憶部１５０を構成する内部記憶部１５１及び外部記憶部１５２のそれぞれは、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ
ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ
ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、或いはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たし、通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により他の外部機器に直接的又は間接的に接続する。

スマートフォン１０１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるパーソナルコンピュータ、有線／無線接続されるＰＤＡ、及び有線／無線接続されるイヤホンなどがある。外部入出力部１６０は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達したり、スマートフォン１０１の内部のデータが外部機器に伝送されたりするように構成されてもよい。

ＧＰＳ受信部１７０は、主制御部１００の指示に従って、ＧＰＳ衛星ＳＴ１、ＳＴ２〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１０１の緯度、経度及び高度によって特定される位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０及び／又は外部入出力部１６０（例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ））から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１００の指示に従って、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。その検出の結果は、主制御部１００に出力される。

電源部１９０は、主制御部１００の指示に従って、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部１００は、１つ又は複数のマイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１０１の各部を統括して制御する。本例においては、例えば画像生成部３２（画像合成部３３）、メインコントローラ３７、及び画像処理部３８の役割を主制御部が果たす。また、主制御部１００は、無線通信部１１０を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１００が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御することにより対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部１２０に表示する機能のことをいう。

さらに、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０や操作パネル１２２を通じたユーザ操作を検出する操作検出制御とを実行する。

表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

さらに、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）に該当するか、或いはそれ以外の表示パネル１２１に重ならない外縁部分（非表示領域）に該当するかを判定し、操作パネル１２２の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、その画像データを記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることができる。図４０に示すようにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０が設けられる筐体１０２の表面ではなく筐体１０２の背面にカメラ部１４１が搭載されてもよいし、或いは複数のカメラ部１４１が筐体１０２に搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独のカメラ部１４１によって撮影が行われてもよいし、或いは、複数のカメラ部１４１を同時に使用して撮影が行われてもよい。

また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、カメラ部１４１で取得した画像が表示パネル１２１に表示さてもよいし、操作パネル１２２の操作入力手法の一つとして、カメラ部１４１で撮影取得される画像が利用さてもよい。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像が参照されて位置が検出されてもよい。さらには、カメラ部１４１からの画像が参照されて、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、ＧＰＳ受信部１７０により取得された位置情報、マイクロホン１３２により取得された音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、及びモーションセンサ部１８０により取得された姿勢情報等などを静止画又は動画の画像データに付加して得られるデータを、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力したりすることもできる。

なお上述の画像生成部３２、画像処理部３８、表示コントローラ４０及びメインコントローラ３７等（図７参照）は、例えば主制御部１００によって実現可能である。

１０…デジタルカメラ、１１…撮影光学系、１２…レリーズボタン、１３…フラッシュ、１４…自動追尾撮像装置、１５…装置本体、１６…台座、１７…ドームカバー、１８…保持部、１９…ギア、２１ａ…第１広角用レンズ、２１ｂ…第２広角用レンズ、２１ｃ…第３広角用レンズ、２１ｄ…第４広角用レンズ、２１…第１光学系、２２ａ…第１望遠用レンズ、２２ｂ…第１望遠用反射体、２２ｃ…第１望遠用反射ミラー、２２ｄ…第２望遠用反射体、２２ｅ…第２望遠用反射ミラー、２２…第２光学系、２３…共通レンズ、２４ａ…第１センサ群、２４ｂ…第２センサ群、２４…撮像素子、２５ａ…第１の受光センサ、２５ｂ…第２の受光センサ、２５…受光センサ、２６…マイクロレンズ、２７…中間層、２８…遮光マスク、２９…フォトダイオード、３０…撮像装置、３２…画像生成部、３３…画像合成部、３４…アライメントデータ取得部、３５…合成処理部、３７…メインコントローラ、３８…画像処理部、３９…画像記憶部、４０…表示コントローラ、４１…表示部、４２…ユーザ操作部、４４…撮像本体部、４５…光学系アクチュエータ、６０ａ…第１画像補正部、６０ｂ…第２画像補正部、６０…画像補正部、６４…被写体、６５…被写体保持部、６６…被写体アクチュエータ、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (20)

1. 共通の光軸を有する第１光学系及び第２光学系であって、相互に異なる焦点距離を有する第１光学系及び第２光学系を含む撮影光学系と、
   前記第１光学系を通過した光を選択的に受光する第１センサ群と、前記第２光学系を通過した光を選択的に受光する第２センサ群とを含む撮像素子と、
   前記第１センサ群から出力される第１撮影画像に基づいて第１生成画像を生成し、前記第２センサ群から出力される第２撮影画像に基づいて第２生成画像を生成する画像生成部と、を備え、
   前記画像生成部は画像合成部を有し、当該画像合成部は、
   前記第１光学系の光軸が異なる状態において撮像される複数の前記第１撮影画像の位置合わせを行い、位置合わせされた当該複数の第１撮影画像を合成することにより前記第１生成画像を生成し、
   前記第２光学系の光軸が異なる状態において撮像される複数の前記第２撮影画像の位置合わせを行い、位置合わせされた当該複数の第２撮影画像を合成することにより前記第２生成画像を生成する撮像装置。
2. 前記複数の第１撮影画像は、前記第１光学系の光軸の方向が異なる状態において撮像されて前記第１センサ群から出力され、
   前記複数の第２撮影画像は、前記第２光学系の光軸の方向が異なる状態において撮像されて前記第２センサ群から出力される請求項１に記載の撮像装置。
3. 前記複数の第１撮影画像は、被写体に対する前記第１光学系の光軸の相対位置が異なる状態において撮像されて前記第１センサ群から出力され、
   前記複数の第２撮影画像は、被写体に対する前記第２光学系の光軸の相対位置が異なる状態において撮像されて前記第２センサ群から出力される請求項１に記載の撮像装置。
4. 前記画像合成部は、
   前記第１光学系の光軸の状態及び前記第１光学系の焦点距離に基づいて、前記複数の第１撮影画像の位置合わせを行い、
   前記第２光学系の光軸の状態及び前記第２光学系の焦点距離に基づいて、前記複数の第２撮影画像の位置合わせを行う請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記画像合成部は、
   前記複数の第１撮影画像を解析して当該複数の第１撮影画像の各々における第１基準像部の位置を取得し、当該第１基準像部の位置に基づいて前記複数の第１撮影画像の位置合わせを行い、
   前記複数の第２撮影画像を解析して当該複数の第２撮影画像の各々における第２基準像部の位置を取得し、当該第２基準像部の位置に基づいて前記複数の第２撮影画像の位置合わせを行う請求項１〜３のいずれか一項に記載の撮像装置。
6. 前記画像合成部は、
   位置合わせされた前記複数の第１撮影画像のデータを加算して加算後の当該データの平均を算出することにより、前記複数の第１撮影画像の合成を行い、
   位置合わせされた前記複数の第２撮影画像のデータを加算して加算後の当該データの平均を算出することにより、前記複数の第２撮影画像の合成を行う請求項１〜５のいずれか一項に記載の撮像装置。
7. 前記画像合成部は、
   撮像の際の前記第１光学系の光軸の状態に応じて定められる重みに基づいて前記複数の第１撮影画像のデータの重み付き平均を算出することにより、前記複数の第１撮影画像の合成を行い、
   撮像の際の前記第２光学系の光軸の状態に応じて定められる重みに基づいて前記複数の第２撮影画像のデータの重み付き平均を算出することにより、前記複数の第２撮影画像の合成を行う請求項１〜５のいずれか一項に記載の撮像装置。
8. 前記第１光学系の光軸の状態に応じて定められる前記重みは、前記第１光学系の光軸の状態に基づくガウス分布によって定められ、
   前記第２光学系の光軸の状態に応じて定められる前記重みは、前記第２光学系の光軸の状態に基づくガウス分布によって定められる請求項７に記載の撮像装置。
9. 前記複数の第１撮影画像は、前記第１光学系の光軸が基準状態に近い程、密に撮像され、当該基準状態から離れる程、疎に撮像されて前記第１センサ群から出力され、
   前記複数の第２撮影画像は、前記第２光学系の光軸が基準状態に近い程、密に撮像され、当該基準状態から離れる程、疎に撮像されて前記第２センサ群から出力される請求項１〜８のいずれか一項に記載の撮像装置。
10. 前記複数の第１撮影画像を撮像する際の前記第１光学系の光軸の状態の分布密度は、ガウス分布に基づいて定められ、
    前記複数の第２撮影画像を撮像する際の前記第２光学系の光軸の状態の分布密度は、ガウス分布に基づいて定められる請求項９に記載の撮像装置。
11. 前記画像生成部は、前記第１撮影画像及び前記第２撮影画像の補正を行う画像補正部であって、前記第１撮影画像における前記第２光学系を通過した光の影響を低減し、前記第２撮影画像における前記第１光学系を通過した光の影響を低減する画像補正部を更に有する請求項１〜１０のいずれか一項に記載の撮像装置。
12. 前記画像補正部は、前記第１撮影画像及び前記第２撮影画像の検出ゲイン分布及び混信ゲイン分布によって構成される行列の逆行列に基づいて前記補正を行う請求項１１に記載の撮像装置。
13. 前記画像補正部は、更に、前記第１撮影画像を補正して前記第１光学系の収差の影響を低減し、前記第２撮影画像を補正して前記第２光学系の収差の影響を低減する請求項１１又は１２に記載の撮像装置。
14. 前記複数の第１撮影画像は、前記第１光学系の光軸が１次元的に異なる状態において撮像されて前記第１センサ群から出力され、
    前記複数の第２撮影画像は、前記第２光学系の光軸が１次元的に異なる状態において撮像されて前記第２センサ群から出力される請求項１〜１３のいずれか一項に記載の撮像装置。
15. 前記複数の第１撮影画像は、前記第１光学系の光軸が２次元的に異なる状態において撮像されて前記第１センサ群から出力され、
    前記複数の第２撮影画像は、前記第２光学系の光軸が２次元的に異なる状態において撮像されて前記第２センサ群から出力される請求項１〜１３のいずれか一項に記載の撮像装置。
16. 前記撮影光学系を移動して前記第１光学系及び前記第２光学系の光軸の状態を変えられる光学系アクチュエータを更に備える請求項１〜１５のいずれか一項に記載の撮像装置。
17. 前記光学系アクチュエータは、前記撮影光学系をパン及びチルトするパンチルト装置である請求項１６に記載の撮像装置。
18. 被写体を保持する被写体保持部と、
    前記被写体保持部を移動させる被写体アクチュエータとを更に備える請求項１〜１７のいずれか一項に記載の撮像装置。
19. 共通の光軸を有する第１光学系及び第２光学系であって、相互に異なる焦点距離を有する第１光学系及び第２光学系を含む撮影光学系と、前記第１光学系を通過した光を選択的に受光する第１センサ群と、前記第２光学系を通過した光を選択的に受光する第２センサ群とを含む撮像素子と、前記第１センサ群から出力される第１撮影画像に基づいて第１生成画像を生成し、前記第２センサ群から出力される第２撮影画像に基づいて第２生成画像を生成する画像生成部とを備える撮像装置における撮像方法であって、
    前記画像生成部において、
    前記第１光学系の光軸が異なる状態において撮像される複数の前記第１撮影画像の位置合わせを行うステップと、
    位置合わせされた前記複数の第１撮影画像を合成することにより前記第１生成画像を生成するステップと、
    前記第２光学系の光軸が異なる状態において撮像される複数の前記第２撮影画像の位置合わせを行うステップと、
    位置合わせされた当該複数の第２撮影画像を合成することにより前記第２生成画像を生成するステップと、を含む撮像方法。
20. 共通の光軸を有する第１光学系及び第２光学系であって、相互に異なる焦点距離を有する第１光学系及び第２光学系を含む撮影光学系と、前記第１光学系を通過した光を選択的に受光する第１センサ群と、前記第２光学系を通過した光を選択的に受光する第２センサ群とを含む撮像素子と、前記第１センサ群から出力される第１撮影画像に基づいて第１生成画像を生成し、前記第２センサ群から出力される第２撮影画像に基づいて第２生成画像を生成する画像生成部とを備える撮像装置における撮像方法の手順をコンピュータに実行させるためのプログラムであって、
    前記画像生成部において、
    前記第１光学系の光軸が異なる状態において撮像される複数の前記第１撮影画像の位置合わせを行う手順と、
    位置合わせされた前記複数の第１撮影画像を合成することにより前記第１生成画像を生成する手順と、
    前記第２光学系の光軸が異なる状態において撮像される複数の前記第２撮影画像の位置合わせを行う手順と、
    位置合わせされた当該複数の第２撮影画像を合成することにより前記第２生成画像を生成する手順と、をコンピュータに実行させるためのプログラム。