JPWO2019220890A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

テレ／ワイド複眼カメラの撮影画像を利用して、同一画角複眼カメラと同様の高画質画像の生成が可能な装置、方法を実現する。画角の広い画像を撮影するワイド画像撮像部と、狭い画角の画像を撮影するテレ画像撮像部と、各撮像部の撮影画像を入力して信号処理を実行する画像処理部を有する。画像処理部はテレ画像撮像部にワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出部と、ワイドコンバージョンレンズが装着されている場合、撮影時の状況に応じてワイド画像撮像部とテレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ画像生成処理、または高解像度画像生成処理のいずれかを実行する。

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、異なる位置の撮像部で撮影された２つの画像を利用して１つの画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

異なる位置の撮像部で撮影された２つの画像を利用して１つの出力画像を生成する複眼カメラ（撮像装置）がある。例えば特許文献１（特表２０１６−５２７７３４号公報）には、ワイド視野を持つワイドレンズと、ワイド視野より狭いテレ視野を持つテレレンズの２つの異なるレンズを持つ撮像部を介して撮影される２つの画像を利用して、ズーム処理時の視野範囲のスムーズな切り替えを可能とした構成が開示されている。

特表２０１６−５２７７３４号公報 特開２０１０−１７０３４０号公報 特開２０１１−１９９７１６号公報

上記特許文献１には、ズーム処理時の視野範囲のスムーズな切り替えを行うことについての開示はあるが、２つの撮像部の撮影画像を利用して、出力画像の高画質化等を行う構成については開示していない。

本開示は、視野範囲の広いワイド画像を撮影するワイド画像撮像部と、視野範囲の狭いテレ画像を撮影するテレ画像撮像部の２つの撮像部の撮影画像を利用して高画質画像の生成等の処理を可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
画角の広い画像を撮影するワイド画像撮像部と、
前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部と、
前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理部を有し、
前記画像処理部は、
前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出部と、
前記ワイドコンバージョンレンズ装着検出部の検出結果に応じて、異なる信号処理を実行する信号処理部を有する画像処理装置にある。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画角の広い画像を撮影するワイド画像撮像部と、前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部の各々において画像を撮影するステップと、
画像処理部が、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理ステップを実行し、
前記画像処理ステップは、
前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出処理と、
前記ワイドコンバージョンレンズの装着検出結果に応じて、異なる信号処理を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画角の広い画像を撮影するワイド画像撮像部と、前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部の各々において画像を撮影させるステップと、
画像処理部に、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理ステップを実行させ、
前記画像処理ステップにおいては、
前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出処理と、
前記ワイドコンバージョンレンズの装着検出結果に応じて、異なる信号処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、テレ／ワイド複眼カメラの撮影画像を利用して、同一画角複眼カメラと同様の高画質画像の生成が可能な装置、方法が実現される。
具体的には、例えば、画角の広い画像を撮影するワイド画像撮像部と、狭い画角の画像を撮影するテレ画像撮像部と、各撮像部の撮影画像を入力して信号処理を実行する画像処理部を有する。画像処理部はテレ画像撮像部にワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出部と、ワイドコンバージョンレンズが装着されている場合、撮影時の状況に応じてワイド画像撮像部とテレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ画像生成処理、または高解像度画像生成処理のいずれかを実行する。
本構成により、テレ／ワイド複眼カメラの撮影画像を利用して、同一画角複眼カメラと同様の高画質画像の生成が可能な装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置の外観構成例について説明する図である。 ワイド画像撮像部とテレ画像撮像部の撮影画像の例について説明する図である。 テレ／ワイド複眼カメラと、同一画角複眼カメラの画角、撮影範囲について説明する図である。 着脱可能なワイドコンバージョンレンズについて説明する図である。 ワイド画像撮像部とテレ画像撮像部の配置の例について説明する図である。 画像処理装置の構成例について説明する図である。 画像処理部の構成例について説明する図である。 ヒストグラム類似度に基づくワイドコンバージョンレンズの装着有無判定処理について説明する図である。 ＳＡＤと視差量に基づくワイドコンバージョンレンズの装着有無判定処理について説明する図である。 最適モード自動選択処理について説明する図である。 モード手動選択処理について説明する図である。 信号処理部が実行する高感度画像生成処理例について説明する図である。 信号処理部が実行するＨＤＲ画像生成処理例について説明する図である。 信号処理部が実行する高解像度画像生成処理例について説明する図である。 画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 ワイドコンバージョンレンズの装着有無に応じた被写体距離算出処理における処理態様について説明する図である。 信号処理部が実行する被写体距離算出処理例について説明する図である。 画像処理装置の実行する被写体距離算出処理のシーケンスについて説明するフローチャートを示す図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．画像処理装置の構成例について
２．本開示の画像処理装置の全体構成と処理について
３．画像処理部の構成と処理について
４．ワイドコンバージョンレンズ装着検出部の実行する処理について
５．信号処理部の実行する処理について
６．画像処理装置の実行する処理のシーケンスについて
７．被写体距離の測定処理を実行する実施例について
８．本開示の構成のまとめ

［１．画像処理装置の構成例について］
図１は、本開示の画像処理装置の一構成例を示す図である。図１は、カメラ機能を備えた情報処理端末（スマホ）であり、本開示の画像処理装置の一例である。
なお、本開示の画像処理装置は、このような情報処理端末（スマホ）に限らず、例えばカメラ等の撮像装置、あるいはカメラ撮影画像を入力して画像処理を行うＰＣ等の装置も含まれる。

図１（ａ）は画像処理装置１０の表側を示しており、表示部１１および操作部１２が表側に設けられている。図１（ｂ）は画像処理装置１０の裏側を示しており、複数の撮像部、すなわち視野範囲の広い画像を撮影可能なワイド画像撮像部（ワイドカメラ）２１と、ワイド画像撮像部２１より狭い視野範囲の画像、例えば望遠画像を撮影可能としたテレ画像撮像部（テレカメラ）２２が設けられている。

図２は、ワイド画像撮像部２１と、テレ画像撮像部２２の撮影画像の一例を示す図である。（１）に示す画像がワイド画像撮像部２１によって撮影される画像（ワイド画像）の例であり、（２）がテレ画像撮像部２２によって撮影される画像（テレ画像）の例である。

図２（１）に示すワイド画像撮像部２１によって撮影されるワイド画像は、広角撮影画像であり、画角の広い広角画像、すなわ広い視野を持つ画像である。一方、図２（２）に示すテレ画像撮像部２２によって撮影されるテレ画像は、望遠撮影画像であり、画角の狭い画像、すなわ狭い視野を持つ画像である。

図３は、（Ａ）にワイド画像撮像部（ワイドカメラ）２１と、テレ画像撮像部（テレカメラ）２２の２つの撮像部を有するカメラ、すなわちテレ／ワイド複眼カメラの撮像範囲（画角）と、テレ／ワイド複眼カメラの撮影画像を用いて実行可能な処理を示している。
一方、（Ｂ）には、同一の撮影範囲（画角）を持つ同一画角複眼カメラの撮像範囲（画角）と、同一画角複眼カメラの撮影画像を用いて実行可能な処理を示している。

図３（Ａ）に示すように、テレ／ワイド複眼カメラの撮影画像を用いて実行可能な処理には、
（Ａ１）ズーム処理、
（Ａ２）デプス（被写体距離）計測、
これらの処理がある。

（Ａ１）ズーム処理とは、ズーム処理に併せてワイド画像とテレ画像を切り替えることで、スムーズに遷移するズーム画像を撮影することができるというものである。
（Ａ２）デプス（被写体距離）計測は、ワイド画像撮像部２１とテレ画像撮像部２２、各々の異なる視点からの撮影画像を利用して被写体距離を算出することが可能であることを意味する。ただし、被写体距離が算出可能な領域は、２つの撮像部による重複撮影画像領域に限られ、結果として、テレ画像撮像部２２によって撮影可能な狭い領域のみの被写体距離しか計測できない。

一方、図３（Ｂ）に示すように、同一画角複眼カメラの撮影画像を用いて実行可能な処理には、
（Ｂ１）高解像度画像生成、
（Ｂ２）高感度画像生成、
（Ｂ３）ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成、
（Ｂ４）デプス（被写体距離）計測、
これらの処理がある。

（Ｂ１）高解像度画像生成は、例えば、２つのカメラによって撮影された複数の時系列連続撮影画像の画素情報を用いて、撮影画像より高解像度の画像を生成する処理である。例えば特許文献２（特開２０１０−１７０３４０号公報）に記載の処理を行うことで高解像度画像を生成することができる。

（Ｂ２）高感度画像生成は、高解像度画像生成と同様、２つのカメラによって撮影された複数の時系列連続撮影画像の画素情報を用いて、撮影画像より感度の高い画像を生成する処理である。例えば特許文献３（特開２０１１−１９９７１６号公報）に記載の処理を行うことで高感度画像を生成することができる。

（Ｂ３）ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成は、各カメラの露光時間をずらして、短時間露光画像と長時間露光画像を撮影し、高輝度部分については短時間露光画像の画素値を用い、低輝度部分については長時間露光画像の画素値を用いることで低輝度〜高輝度まで、より広範囲の画素値を持つ画像、すなわち高ダイナミックレンジ画像を生成する処理である。

（Ｂ４）デプス（被写体距離）計測は、２つのカメラによる異なる視点からの撮影画像を利用して被写体距離を算出するものである。被写体距離が算出可能な領域は、２つの撮像部による重複撮影画像領域となる。図３（Ｂ）に示すように、同一画角複眼カメラの撮影画像は同一の撮影領域を持ち、このすべての撮影領域にある被写体の距離を算出することができる。

図３（Ａ），（Ｂ）に示すように、テレ／ワイド複眼カメラの撮影画像を用いて実行可能な処理は、同一画角複眼カメラの撮影画像を用いて実行可能な処理より少ないという問題点がある。

［２．本開示の画像処理装置の全体構成と処理について］
上述したように、図１に示す構成を持つ複眼カメラ、すなわち、視野範囲の広い画像を撮影可能なワイド画像撮像部（ワイドカメラ）２１と、ワイド画像撮像部２１より狭い視野範囲の画像、例えば望遠画像を撮影可能としたテレ画像撮像部（テレカメラ）２２を有する複眼カメラは、同一画角複眼カメラに比較して実行できる処理が少ないという問題がある。

以下、この問題を解決した本開示の画像処理装置の全体構成と処理について説明する。
本開示の画像処理装置は、図４に示すように、画像処理装置１０に装着、脱着可能なワイドコンバージョンレンズ（ワイコン）３１を利用する。

ワイドコンバージョンレンズ（ワイコン）３１は、テレ画像撮像部（テレカメラ）２２のレンズ上に装着することで、テレ画像撮像部（テレカメラ）２２の撮影画像を、ワイド画像撮像部（ワイドカメラ）２１の画角とほぼ同じ画角の画像とすることが可能となる。

ワイドコンバージョンレンズ３１は、ユーザがテレ画像撮像部２２に簡単に装着可能であり、また取り外しも簡単に行うことが可能な着脱可能な構成を持つ。
ワイドコンバージョンレンズ３１を装着しない状態では、テレ／ワイド複眼カメラとして、スムーズなズーム処理を伴う画像撮影を行うことができる。
また、ワイドコンバージョンレンズ３１を装着した状態では、同一画角複眼カメラとして、図３（Ｂ）を参照して説明した各処理を実行することが可能となる。

なお、ワイドコンバージョンレンズ３１はテレ画像撮像部２２に着脱可能な構成であり、ワイド画像撮像部２１とテレ画像撮像部２２が近接して配置されていると、テレ画像撮像部２２に装着したワイドコンバージョンレンズ３１が、ワイド画像撮像部２１の視野を阻害する可能性がある。
このような問題を避けるため、図５に示すように、ワイド画像撮像部２１とテレ画像撮像部２２は、その離間距離を大きくして配置することが好ましい。

本開示の画像処理装置１０は、テレ画像撮像部２２にワイドコンバージョンレンズ３１が装着されているか否かを検出し、画像処理装置１０の信号処理部は、検出情報に応じて異なる信号処理を実行する。具体的には、高解像度画像（超解像画像）の生成、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成、高感度画像の生成等を実行する。以下、本開示の画像処理装置の構成と処理の具体例について説明する。

図６は、本開示の画像処理装置１００の全体構成を示す図である。なお、図１に示す画像処理装置１０は、図６に示す画像処理装置１００の一例である。
図６に示すように、画像処理装置１００は、撮像部１１０として、ワイド画像撮像部１１１と、テレ画像撮像部１１２の２つの撮像部を有する。さらに、画像処理部１２０と、出力部１３０を有する。出力部１３０には、表示部１３１と、記憶部１３２が含まれる。さらに、センサ部１４１、操作部１４２、制御部１５０、通信部１６０を有している。
さらに、ワイドコンバージョンレンズ１７０をテレ画像撮像部１１２に着脱可能な構成を持つ。

ワイド画像撮像部１１１、テレ画像撮像部１１２は、例えば、図１（ｂ）を参照して説明したように画像処理装置１００の同一面側に設けられている。ワイド画像撮像部１１１、テレ画像撮像部１１２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子を用いて構成されており、レンズにより取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部１２０へ出力する。

なお、ワイド画像撮像部１１１、テレ画像撮像部１１２は、先に図３（Ａ）を参照して説明したように、撮影画像の視野範囲、すなわち画角の異なる画像を撮影する構成を有する。

画像処理部１２０は、ワイド画像撮像部１１１、テレ画像撮像部１１２で取得された撮影画像を入力して、これらの画像を用いて出力画像を生成する。なお、画像処理部１２０は、ワイド画像撮像部１１１、テレ画像撮像部１１２で取得された撮影画像を入力して、まず、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されているか否かを判定する。

画像処理部１２０は、この判定結果やその他の情報、例えばユーザ設定情報、照度情報、逆光の有無情報、ズーム設定情報等を入力し、これらの入力情報に基づいて実行する信号処理を決定し、決定した信号処理を実行して、出力画像を生成する。
画像処理部１２０の具体的構成と実行する処理の詳細については、後段において、図７以下を参照して説明する。

センサ部１４１は、照度センサ、逆光検知センサ、ズーム設定検知センサ、ジャイロセンサなどによって構成されており、照度情報、逆光の有無情報、ズーム設定情報、揺れ、角度情報等を取得する。取得情報は制御部１５０へ入力される。画像処理部１２２０は、制御部１５０を介して、これらのセンサ検出情報を取得する。

通信部１６０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどのネットワーク上の機器と通信を行う。

表示部１３１は、画像処理部１２０から供給された画像データに基づき撮像画の表示、制御部１５０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。なお、表示部１３１の表示面はタッチパネル構成を有し、ＧＵＩ機能利用できるように構成されている。

操作部１４２は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部１５０へ出力する。

記憶部１３２は、画像処理装置１００で生成された情報、例えば画像処理部１２０から供給された画像データや、画像処理装置１００で通信やアプリケーションを実行するために用いられる各種情報、さらに、画像処理装置１００において実行する処理のプログラムやパラメータ等を記憶する。

制御部１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）（図示せず）などで構成されている。制御部１５０は、記憶部１３２、あるいは図示しないＲＯＭまたはＲＡＭ等のメモリに記憶されたプログラムを実行して、画像処理装置１００において実行する処理の制御を行う。
また、表示部１３１を構成するタッチパネルや操作部１４２に対するユーザ操作に応じた動作が画像処理装置１００で行われるように各部の動作を制御する。

なお、画像処理装置１００は、図６に示す構成に限られず、例えば画像データを符号化して記憶部１３２に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。

［３．画像処理部の構成と処理について］
次に、画像処理部１２０の構成と処理について説明する。
図７は、画像処理部１２０の構成例を示す図である。図７に示すように、画像処理部１２０は、ワイドコンバージョンレンズ装着検出部１２１と、信号処理部１２２を有する。

ワイドコンバージョンレンズ装着検出部１２１は、ワイド画像撮像部１１１が撮影した第１撮影画像１８１と、テレ画像撮像部１１２が撮影した第２撮影画像１８２を入力して、これらの２つの画像を利用した画像解析により、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されているか否かを判定する。ワイドコンバージョンレンズ装着検出部１２１は、この判定結果としてのワイコン有無情報からなる検出情報１８３を信号処理部１２２に出力する。
なお、第１撮影画像１８１と第２撮影画像１８２は、同一タイミングに撮影された画像である。

信号処理部１２２は、ワイドコンバージョンレンズ装着検出部１２１から入力するワイコン有無情報からなる検出情報１８３と、制御部１５０を介して入力するセンサ検出情報、ユーザ入力情報等に基づいて、出力画像を生成するための信号処理態様を決定して、決定した信号処理を実行して出力画像を生成する。具体的には、高解像度画像（超解像画像）の生成、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成、高感度画像の生成等を実行する。

なお、制御部１５０を介して入力するセンサ検出情報には、例えば、照度情報、逆光の有無情報、ズーム設定情報等が含まれる。

［４．ワイドコンバージョンレンズ装着検出部の実行する処理について］
次に、ワイドコンバージョンレンズ装着検出部１２１において実行するワイコン装着有無判定処理、すなわち、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されているか否かを判定する処理の具体例について説明する。
この判定処理は、ワイド画像撮像部１１１が撮影した第１撮影画像１８１と、テレ画像撮像部１１２が撮影した第２撮影画像１８２との比較処理によって行われる。
判定処理は、例えば、以下のいずれかの処理を適用して行うことができる。
（１）第１撮影画像１８１と第２撮影画像１８２のヒストグラム類似度に基づく判定処理、
（２）第１撮影画像１８１と第２撮影画像１８２のＳＡＤ（差分絶対値和）と視差量に基づく判定処理、
以下、これらの処理例について、順次、説明する。

まず、図８を参照して、（１）第１撮影画像１８１と第２撮影画像１８２のヒストグラム類似度に基づく判定処理例について説明する。

ヒストグラム類似度に基づくワイドコンバージョンレンズ装着有無判定処理は、図８に示すステップＳ１１〜Ｓ１４の処理に従って行われる。以下、各ステップの処理について説明する。

（ステップＳ１１）
まず、ステップＳ１１において、ワイド画像撮像部１１１が撮影した第１撮影画像１８１と、テレ画像撮像部１１２が撮影した第２撮影画像１８２の各々を輝度画像に変換する。

（ステップＳ１２）
次に、ステップＳ１２において、ワイド画像撮像部１１１が撮影した第１撮影画像１８１の輝度画像と、テレ画像撮像部１１２が撮影した第２撮影画像１８２の輝度画像の各々の各画像の輝度分布データであるヒストグラムを生成する。

（ステップＳ１３）
次に、ステップＳ１３において、ワイド画像撮像部１１１が撮影した第１撮影画像１８１の輝度分布を示すヒストグラムと、テレ画像撮像部１１２が撮影した第２撮影画像１８２の輝度分布を示すヒストグラムの類似度、すなわちヒストグラム類似度（ｈｉｓｔｏｇｒａｍ ｉｎｔｅｒｓｅｃｔｉｏｎ）を算出する。
ヒストグラム類似度（ｄｉｓ）は、例えば以下の（式１）に従って算出することができる。

なお、上記（式１）において、
Ｈ_Ｌ［ｉ］：ワイド画像撮像部１１１が撮影した第１撮影画像１８１の輝度ｉの度数、
Ｈ_Ｒ［ｉ］：テレ画像撮像部１１２が撮影した第２撮影画像１８２の輝度ｉの度数、
であり、
ｉは、０〜最高輝度数（８ビットの場合２５５）である。

（ステップＳ１４）
最後に、予め規定したしきい値（ｔｈｒｅｓｈ０）と、ステップＳ１３で算出したヒストグラム類似度（ｄｉｓ）とを比較する。
ｄｉｓ≧ｔｈｒｅｓｈ０
上記判定式が成立した場合は、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていると判定する。
一方、
ｄｉｓ＜ｔｈｒｅｓｈ０
上記判定式が成立した場合は、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていないと判定する。
なお、しきい値（ｔｈｒｅｓｈ０）は、例えば０．５等、予め規定したしきい値とする。

次に、図９を参照して、（２）第１撮影画像１８１と第２撮影画像１８２のＳＡＤ（差分絶対値和）と視差量に基づく判定処理例について説明する。

ＳＡＤ（差分絶対値和）と視差量に基づくワイドコンバージョンレンズ装着有無判定処理は、図９に示すステップＳ２１〜Ｓ２４の処理に従って行われる。以下、各ステップの処理について説明する。

（ステップＳ２１）
まず、ステップＳ２１において、ワイド画像撮像部１１１が撮影した第１撮影画像１８１と、テレ画像撮像部１１２が撮影した第２撮影画像１８２の各々を輝度画像に変換する。

（ステップＳ２２）
次に、ステップＳ２２において、ワイド画像撮像部１１１が撮影した第１撮影画像１８１の輝度画像と、テレ画像撮像部１１２が撮影した第２撮影画像１８２の輝度画像の各々の各画像のクロップ処理を行う。具体的には、画像の端部の削除処理を行う。この処理はノイズの多い端部領域を排除することが目的である。

（ステップＳ２３）
次に、ステップＳ２３において、端部領域を排除したワイド画像撮像部１１１が撮影した第１撮影画像１８１の輝度画像と、端部領域を排除したテレ画像撮像部１１２が撮影した第２撮影画像１８２の輝度画像とのＳＡＤ（差分絶対値和）と視差量（ｄｉｓｐａｒｉｔｙ）を算出する。

（ステップＳ２４）
最後に、予め規定したしきい値（ｔｈｒｅｓｈ１，２）と、ステップＳ２３で算出したＳＡＤ（差分絶対値和）と視差量（ｄｉｓｐａｒｉｔｙ）とを比較する。
ＳＡＤ＜ｔｈｒｅｓｈ１、
||ｄｉｓａｐｒｉｔｙ||≧ｔｈｒｅｓｈ２
上記判定式が成立した場合は、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていると判定する。
一方、上記判定式が成立しない場合は、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていないと判定する。
なお、しきい値（ｔｈｒｅｓｈ１，２）は、カメラ構成に応じて決定した予め規定したしきい値とする。

このように、ワイドコンバージョンレンズ装着検出部１２１は、例えば図８を参照して説明した（１）第１撮影画像１８１と第２撮影画像１８２のヒストグラム類似度に基づく判定処理、または、図９を参照して説明した（２）第１撮影画像１８１と第２撮影画像１８２のＳＡＤ（差分絶対値和）と視差量に基づく判定処理、これらのいずれかの処理を行い、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されているか否かを判定する。

すなわち、ワイドコンバージョンレンズ装着検出部１２１は、ワイド画像撮像部１１１が撮影した第１撮影画像１８１と、テレ画像撮像部１１２が撮影した第２撮影画像１８２とを用いて、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されているか否かを判定する。

［５．信号処理部の実行する処理について］
次に、図７に示す画像処理部１２０内の信号処理部１２２の実行する処理の詳細について説明する。

先に図７を参照して説明したように、信号処理部１２２は、ワイドコンバージョンレンズ装着検出部１２１からワイコン有無情報からなる検出情報１８３を入力する。信号処理部１２２は、さらに、制御部１５０を介してセンサ検出情報やユーザ入力情報を入力する。信号処理部１２２は、これらの情報に基づいて、出力画像を生成するための信号処理態様を決定して、決定した信号処理を実行して出力画像を生成する。具体的には、高解像度画像（超解像画像）の生成、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成、高感度画像の生成等を実行する。なお、制御部１５０を介して入力するセンサ検出情報には、例えば、照度情報、逆光の有無情報、ズーム設定情報等が含まれる。

信号処理部１２２は、ワイドコンバージョンレンズ装着検出部１２１からワイコン装着ありの検出情報１８３を入力した場合、以下の３つのモードのいずれかを実行する。
（モード１）高感度画像生成モード
（モード２）ＨＤＲ画像生成モード
（モード３）高解像（超解像）画像生成モード
これら３つのモードのどのモードに従った処理を実行するかを決定するためのモード選択態様として、「最適モード自動選択設定」と、「モード手動選択設定」の２つの設定がある。ユーザは、予めどの設定にするかを入力して決定することが可能である。設定情報は、例えば記憶部１３２内に格納され、信号処理部１２２は、制御部１５０を介して設定情報を取得して設定に従った処理を行う。

信号処理部１２２は、モード選択設定が、「最適モード自動選択設定」である場合、画像撮影時の撮影状態情報（照度、逆光、ズーム設定等）に応じて、上記モード１〜３から最適なモードを自動的に選択して、選択モードの処理を実行する。
また、モード選択設定が、「モード手動選択設定」である場合、ユーザがＵＩ等の操作部１４２を介して入力したモード、すなわち、上記モード１〜３からユーザが選択したモードの処理を実行する。

モード選択設定が、「最適モード自動選択設定」である場合に信号処理部１２２が実行する処理について、図１０を参照して説明する。

図１０に示す表は、テレ画像撮像部１１２に、
（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合、
（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合、
この２つの場合において、信号処理部１２２の実行する出力画像生成処理を説明する表である。

（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合は、ワイド画像撮像部１１１の撮影画像と、テレ画像撮像部１１２の撮影画像は、ほぼ同じ視野を持つ同じ画角の画像となる。
従って、光学ズーム遷移は行わない。すなわち、ズーム処理に応じて出力画像を、ワイド画像撮像部１１１の撮影画像からテレ画像撮像部１１２の撮影画像に遷移させる処理、またはその逆の処理は実行しない。

一方、（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合は、ワイド画像撮像部１１１の撮影画像と、テレ画像撮像部１１２の撮影画像は、異なる視野を持つ異なる画角の画像となる。
この場合には、光学ズーム遷移を実行する。すなわち、ズーム処理に応じて出力画像を、ワイド画像撮像部１１１の撮影画像からテレ画像撮像部１１２の撮影画像に遷移させる処理、またはその逆の処理を実行する。

また、（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合、信号処理部１２２は、高感度画像の生成、ＨＤＲ画像の生成、超解像画像の生成を行うことなく、通常の撮影画像に対する画像処理、具体的には、ズーム動作に応じてワイド画像撮像部１１１の撮影画像、またはテレ画像撮像部１１２の撮影画像を選択して画像処理を行い１つの出力画像を生成して出力する。

一方、（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合で、かつモード選択設定が、「最適モード自動選択設定」である場合、信号処理部１２２は、制御部１５０を介して入力する画像撮影時の撮影状態情報（照度、逆光、ズーム設定等）に応じて、以下の３つのモード、すなわち、
（モード１）高感度画像生成モード
（モード２）ＨＤＲ画像生成モード
（モード３）高解像（超解像）画像生成モード
これら３つのモードから、最適なモードを自動選択して、選択したモードに従った信号処理を実行する。

図１０に示すように、信号処理部１２２は、画像撮影時の状態に応じて以下のようなモードの自動選択を行う。
（ａ１）低照度である場合には、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０が装着されたテレ画像撮像部１１２の撮影画像を利用して、高感度画像生成モードに従った信号処理を実行して高感度画像を生成して出力する。
なお、低照度であるか否かの判定は、例えば予め規定したしきい値との比較に基づいて行う。

（ａ２）低照度でなく、逆光がある場合には、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０が装着されたテレ画像撮像部１１２の撮影画像を利用して、ＨＤＲ画像生成モードに従った信号処理を実行してＨＤＲ画像を生成して出力する。
なお、逆光の有無の判定も、例えば観測される逆光の強度と予め規定したしきい値との比較に基づいて行う。

（ａ３）低照度でなく、逆光がなく、ズーム倍率の設定が予め規定したしきい値（例えば１．０）以上である場合には、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０が装着されたテレ画像撮像部１１２の撮影画像を利用して、超解像画像生成モードに従った信号処理を実行して超解像画像を生成して出力する。

なお、このモード自動選択例は一例であり、この他のモード選択を行う構成としてもよい。
また、図１０に示す例では、モード選択に利用する撮影状態情報として、照度と、逆光の有無と、ズーム倍率設定を用いているが、これらの情報中、モード選択処理に適用する情報として、優先度の高い順に、照度、逆光の有無、ズーム倍率設定とする。ただし、この優先度設定も一例であり、この他の優先度設定としてもよい。

次に、図１１を参照して、モード選択設定が、「モード手動選択設定」である場合に信号処理部１２２が実行する処理について説明する。
図１１に示す表は、テレ画像撮像部１１２に、
（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合、
（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合、
この２つの場合において、信号処理部１２２の実行する出力画像生成処理を説明する表である。

（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合は、ワイド画像撮像部１１１の撮影画像と、テレ画像撮像部１１２の撮影画像は、ほぼ同じ視野を持つ同じ画角の画像となる。
従って、光学ズーム遷移は行わない。すなわち、ズーム処理に応じて出力画像を、ワイド画像撮像部１１１の撮影画像からテレ画像撮像部１１２の撮影画像に遷移させる処理、またはその逆の処理は実行しない。

一方、（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合は、ワイド画像撮像部１１１の撮影画像と、テレ画像撮像部１１２の撮影画像は、異なる視野を持つ異なる画角の画像となる。
この場合には、光学ズーム遷移を実行する。すなわち、ズーム処理に応じて出力画像を、ワイド画像撮像部１１１の撮影画像からテレ画像撮像部１１２の撮影画像に遷移させる処理、またはその逆の処理を実行する。

また、（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合、信号処理部１２２は、高感度画像の生成、ＨＤＲ画像の生成、超解像画像の生成を行うことなく、通常の撮影画像に対する画像処理、具体的には、ズーム動作に応じてワイド画像撮像部１１１の撮影画像、またはテレ画像撮像部１１２の撮影画像を選択して画像処理を行い１つの出力画像を生成して出力する。

一方、（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合で、かつモード選択設定が、「モード手動選択設定」である場合には、信号処理部１２２は、ユーザがＵＩ等の操作部１４２を介して選択したモードに従った処理を実行する。

図１１には、ユーザによるモード選択用のＵＩの例を示している。このＵＩに示すように、ユーザは、以下の３つのモード、
（モード１）高感度画像生成モード
（モード２）ＨＤＲ画像生成モード
（モード３）高解像（超解像）画像生成モード
これら３つのモードから、自由にモードを選択することができる。
信号処理部１２２は、このユーザ選択情報を、制御部１５０を介して入力し、選択モードに従った信号処理を実行する。

次に、図１２以下を参照して、信号処理部１２２の実行する各モードに従った信号処理の詳細について説明する。
まず、図１２を参照して、（モード１）高感度画像生成モードに従った信号処理について説明する。

図１２には、（モード１）高感度画像生成モードにおいて信号処理部１２２が実行する時系列の処理ステップをステップＳ３１〜Ｓ３３として示している。以下、これらの各ステップの処理について、順次、説明する。

（ステップＳ３１）
まず、信号処理部１２２は、ステップＳ３１において、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の撮影画像を入力して、各画像の視差を検出する。
なお、処理対象となる画像は、ワイド画像撮像部１１１が連続撮影した複数（ｎ枚）の画像フレームと、同一タイミングでワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２が連続撮影した複数（ｎ枚）の画像フレームである。

例えば、図１２下部に示すように、ワイド画像撮像部１１１が連続撮影した複数（ｎ枚）の画像フレームの先頭画像を基準画像として設定する。ステップＳ３１では、この基準画像と他の画像、すなわち、ワイド画像撮像部１１１が撮影したその他のｎ−１枚の画像と、テレ画像撮像部１１２が連続撮影したｎ枚の画像との視差を検出する。

（ステップＳ３２）
次に、ステップＳ３１で検出した基準画像と他の画像との視差に応じて、基準画像以外の画像の画像位置を基準画像の画像位置に一致させる画像位置合わせ処理を実行する。
この処理によって、同じ被写体を撮影した２ｎ枚の画像を取得することができる。

（ステップＳ３３）
次に、ステップＳ３３において、ステップＳ３２で生成した同一被写体を撮影した２ｎ枚の画像を利用してノイズ低減（ＮＲ）処理等の高感度化処理を実行して、画像の構成画素に含まれるノイズを低減した高感度画像を生成して出力する。
なお、この高感度画像生成処理は、例えば前述した特許文献３（特開２０１１−１９９７１６号公報）に記載された処理に従って行うことが可能である。

次に、図１３を参照して、（モード２）ＨＤＲ画像生成モードに従った信号処理について説明する。
図１３には、（モード２）ＨＤＲ画像生成モードにおいて信号処理部１２２が実行する時系列の処理ステップをステップＳ４１〜Ｓ４３として示している。以下、これらの各ステップの処理について、順次、説明する。

（ステップＳ４１）
まず、信号処理部１２２は、ステップＳ４１において、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の撮影画像を入力して、各画像の視差を検出する。
なお、処理対象となる画像は、ワイド画像撮像部１１１が撮影した１枚の画像フレームと、同一タイミングでワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２が連続撮影した１枚の画像フレームである。

（ステップＳ４２）
次に、ステップＳ４１で検出した視差に応じて、一方の画像を基準画像として他方の画像の画像位置を基準画像の画像位置に一致させる画像位置合わせ処理を実行する。
この処理によって、同じ被写体を撮影した２枚の画像を取得することができる。

（ステップＳ４３）
次に、ステップＳ４３において、ステップＳ４２で生成した同一被写体を撮影した２枚の画像を利用してＨＤＲ画像生成処理を実行する。

一般に、ＨＤＲ画像の生成処理は、同一被写体を撮影した長時間露光画像と、短時間露光画像を取得して、高輝度部分については短時間露光画像の画素値を用い、低輝度部分については長時間露光画像の画素値を用いることで低輝度〜高輝度まで、より広範囲の画素値を持つ画像、すなわち高ダイナミックレンジ画像を生成する処理として実行される。

図１３に示す処理では、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の撮影画像の露光時間に差はなく、基本的に同一の露光時間の撮影画像である。しかし、テレ画像撮像部１１２は、ワイド画像撮像部１１１に比べて感度が低いという特性がある。すなわち、Ｆ値やセンサの画素ピッチ等に起因して、テレ画像撮像部１１２は、ワイド画像撮像部１１１に比べて感度が低いという特性がある。

この特性に基づいて、ワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の撮影画像は、短時間露光画像に相当する画像と仮定し、ワイド画像撮像部１１１の撮影画像を長時間露光画像に相当する画像と仮定することができる。
この仮定に基づいて、高輝度部分については短時間露光画像相当のワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の撮影画像の画素値を用い、低輝度部分については長時間露光画像相当のワイド画像撮像部１１１の撮影画像の画素値を用いることで低輝度〜高輝度まで、より広範囲の画素値を持つ画像、すなわち高ダイナミックレンジ画像を生成することができる。

次に、図１４を参照して、（モード３）高解像（超解像）画像生成モードに従った信号処理について説明する。
図１４には、（モード３）高解像（超解像）画像生成モードにおいて信号処理部１２２が実行する時系列の処理ステップをステップＳ５１〜Ｓ５３として示している。以下、これらの各ステップの処理について、順次、説明する。

（ステップＳ５１）
まず、信号処理部１２２は、ステップＳ５１において、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の撮影画像を入力して、各画像の視差を検出する。
なお、処理対象となる画像は、ワイド画像撮像部１１１が連続撮影した複数（ｎ枚）の画像フレームと、同一タイミングでワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２が連続撮影した複数（ｎ枚）の画像フレームである。

例えば、図１２下部に示すように、ワイド画像撮像部１１１が連続撮影した複数（ｎ枚）の画像フレームの先頭画像を基準画像として設定する。ステップＳ３１では、この基準画像と他の画像、すなわち、ワイド画像撮像部１１１が撮影したその他のｎ−１枚の画像と、テレ画像撮像部１１２が連続撮影したｎ枚の画像との視差を検出する。

（ステップＳ５２）
次に、ステップＳ５１で検出した基準画像と他の画像との視差に応じて、基準画像以外の画像の画像位置を基準画像の画像位置に一致させる画像位置合わせ処理を実行する。
この処理によって、同じ被写体を撮影した２ｎ枚の画像を取得することができる。

（ステップＳ５３）
次に、ステップＳ５３において、ステップＳ５２で生成した同一被写体を撮影した２ｎ枚の画像を利用して高解像化処理を実行して、画像の解像度を向上させた高解像（超解像）画像を生成して出力する。すなわち、２つのカメラによって撮影された複数毎（２ｎ枚）の時系列連続撮影画像の画素情報を用いて、撮影画像より高解像度の画像を生成する処理を実行する。
なお、この高解像（超解像）画像生成処理は、例えば前述した特許文献２（特開２０１０−１７０３４０号公報）に記載された処理に従って行うことが可能である。

［６．画像処理装置の実行する処理のシーケンスについて］
次に、図１５に示すフローチャートを参照して、本開示の画像処理装置１００の実行する処理のシーケンスについて説明する。
なお、このフローに従った処理は、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
以下、図１５のフローチャートに示す各ステップの処理について説明する。

（ステップＳ１０１〜Ｓ１０２）
まず、ステップＳ１０１〜Ｓ１０２において、ワイド画像撮像部１１１とテレ画像撮像部１１２において画像を撮影する。
なお、テレ画像撮像部１１２には、ワイドコンバージョンレンズ１７０が装着されている場合といない場合がある。

（ステップＳ１０３〜Ｓ１０４）
次に、ステップＳ１０３において、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されているか否かの判定処理を実行する。

この処理は、先に図７〜図９を参照して説明した処理であり、画像処理部１２０のワイドコンバージョンレンズ装着有無検出部１２１が実行する処理である。
画像処理部１２０のワイドコンバージョンレンズ装着有無検出部１２１は、ワイド画像撮像部１１１の撮影画像と、テレ画像撮像部１１２の撮影画像との比較処理によってワイドコンバージョンレンズの装着有無を判定する。

具体的には、先に図８を参照して説明した２つの撮影画像の輝度ヒストグラムの類似度に基づく判定処理、または、図９を参照して説明した２つの撮影画像のＳＡＤ（差分絶対値和）と視差量に基づく判定処理等が行われる。

この判定処理において、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていると判定した場合（ステップＳ１０４の判定＝Ｙｅｓ）は、ステップＳ１０５に進む。
一方、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていないと判定した場合（ステップＳ１０４の判定＝Ｎｏ）は、ステップＳ１１７に進む。

（ステップＳ１０５）
ステップＳ１０４において、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていると判定した場合は、ステップＳ１０５に進む。
ステップＳ１０５では、モード選択設定が「最適モード自動選択設定」であるか、「モード手動選択設定」であるかを判定する。
なお、この設定はユーザが予め行った設定である。

なお、モードとは、ワイドコンバージョンレンズの装着がある場合に、信号処理部１２２において実行する信号処理のモードであり、以下の３つのモードがある。
（モード１）高感度画像生成モード
（モード２）ＨＤＲ画像生成モード
（モード３）高解像（超解像）画像生成モード

「最適モード自動選択設定」である場合には、信号処理部１２２は、画像撮影時の撮影状態情報（照度、逆光、ズーム設定等）に応じて、上記モード１〜３から最適なモードを自動的に選択して、選択モードの処理を実行する。
また、モード選択設定が、「モード手動選択設定」である場合、信号処理部１２２は、ユーザがＵＩ等の操作部１４２を介して入力したモード、すなわち、上記モード１〜３からユーザが選択したモードの処理を実行する。

ステップＳ１０５では、まず、モード選択設定が「最適モード自動選択設定」であるか、「モード手動選択設定」であるかを判定する。
モード選択設定が「最適モード自動選択設定」である場合は、ステップＳ１１１に進む。
一方、モード選択設定が「モード手動選択設定」である場合は、ステップＳ１０６に進む。

（ステップＳ１０６）
ステップＳ１０５において、モード選択設定が「モード手動選択設定」であると判定された場合は、ステップＳ１０６に進む。
ステップＳ１０６では、まず、ユーザにモードを選択させるためのＵＩ、すなわち、先に図１１を参照して説明したＵＩを表示部に表示する。

先に図１１を参照して説明したように、ユーザはＵＩを介して以下の３つのモードのいずれかを選択することができる。
（モード１）高感度画像生成モード
（モード２）ＨＤＲ画像生成モード
（モード３）高解像（超解像）画像生成モード
ユーザはこれら３つのモードから、自由にモードを選択することができる。

（ステップＳ１０７）
ステップＳ１０７では、ＵＩ、すなわち操作部１４２を介してユーザのモード選択情報を入力する。
この入力情報は、制御部１５０を介して信号処理部１２２に入力される。

（ステップＳ１０８）
次に、ステップＳ１０８において、信号処理部１２２が、ユーザの選択したモードに従った信号処理を実行する。すなわち、
（モード１）高感度画像生成モード
（モード２）ＨＤＲ画像生成モード
（モード３）高解像（超解像）画像生成モード
これらのいずれかのモードに従った処理を実行する。
なお、これらの各モードに従った信号処理とは、先に図１２〜図１４を参照して説明した信号処理である。

（ステップＳ１１１）
一方、ステップＳ１０５において、モード選択設定が「最適モード自動選択設定」である場合は、ステップＳ１１１に進む。
ステップＳ１１１以下の処理は信号処理部１２２において実行する処理である。

信号処理部１２２は、制御部１５０を介して入力する画像撮影時の撮影状態情報（照度、逆光、ズーム設定等）に応じて、
（モード１）高感度画像生成モード
（モード２）ＨＤＲ画像生成モード
（モード３）高解像（超解像）画像生成モード
これらのいずれかのモードが最適であるかを選択し、選択した最適モードに従った処理を実行する。
具体的には、例えば先に図１０を参照して説明した表に従って最適モードの選択処理を実行する。

まず、ステップＳ１１１において、画像撮影時の照度が予め規定したしきい値以上であり明るい照度であるか否かを判定する。
画像撮影時の照度が予め規定したしきい値以上でなく、暗い照度である場合は、ステップＳ１１２に進む。
一方、画像撮影時の照度が予め規定したしきい値以上であり、明るい照度である場合は、ステップＳ１１３に進む。

（ステップＳ１１２）
ステップＳ１１１において、画像撮影時の照度が予め規定したしきい値以上でなく暗い照度であると判定した場合は、ステップＳ１１２に進む。
信号処理部１２２は、ステップＳ１１２において、高感度画像の生成処理を実行する。

これは、図１０に示すエントリ（ａ１）に対応する処理である。
信号処理部１２２における高感度画像生成処理は、先に図１２を参照して説明した処理シーケンスに従って行われる。

（ステップＳ１１３）
一方、ステップＳ１１１において、画像撮影時の照度が予め規定したしきい値以上であり、明るい照度であると判定した場合は、ステップＳ１１３に進む。
ステップＳ１１３では画像撮影時の逆光の有無を判定する。
逆光があると判定した場合は、ステップＳ１１４に進み、無いと判定した場合はステップＳ１１５に進む。

（ステップＳ１１４）
ステップＳ１１３において、画像撮影時に逆光があると判定した場合は、ステップＳ１１４に進む。
信号処理部１２２は、ステップＳ１１４において、ＨＤＲ画像の生成処理を実行する。

これは、図１０に示すエントリ（ａ２）に対応する処理である。
信号処理部１２２におけるＨＤＲ画像生成処理は、先に図１３を参照して説明した処理シーケンスに従って行われる。

（ステップＳ１１５）
一方、ステップＳ１１３において、画像撮影時の逆光がないと判定した場合は、ステップＳ１１５に進む。
ステップＳ１１５では画像撮影時のズーム動作、具体的には画像撮影時のズーム倍率の設定がしきい値（例えば１．０）以上であるか否かを判定する。
ズーム倍率の設定がしきい値（例えば１．０）以上であると判定した場合は、ステップＳ１１６に進み、しきい値未満であると判定した場合はステップＳ１１７に進む。

（ステップＳ１１６）
ステップＳ１１５において、画像撮影時のズーム倍率の設定がしきい値（例えば１．０）以上であると判定した場合は、ステップＳ１１６に進む。
信号処理部１２２は、ステップＳ１１６において、高解像（超解像）画像の生成処理を実行する。

これは、図１０に示すエントリ（ａ３）に対応する処理である。
信号処理部１２２における高解像（超解像）画像生成処理は、先に図１４を参照して説明した処理シーケンスに従って行われる。

（ステップＳ１１７）
ステップＳ１１５において、画像撮影時のズーム倍率の設定がしきい値（例えば１．０）未満であると判定した場合、および、ステップＳ１０４において、ワイドコンバージョンレンズが装着されていないと判定した場合は、ステップＳ１１７に進む。

ステップＳ１１７において、信号処理部１２２は、高感度画像の生成、ＨＤＲ画像の生成、超解像画像の生成を行うことなく、通常の撮影画像に対する画像処理、具体的には、ズーム動作に応じてワイド画像撮像部１１１の撮影画像、またはテレ画像撮像部１１２の撮影画像を選択して画像処理を行い１つの出力画像を生成して出力する。

［７．被写体距離の測定処理を実行する実施例について］
次に、画像処理装置１００の撮影画像、すなわち、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０が装着されたテレ画像撮像部１１２の撮影画像を利用して、被写体距離（デプス）を測定する実施例について説明する。

図１６は、テレ画像撮像部１１２に、
（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合、
（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合、
この２つの場合において、信号処理部１２２が実行する被写体距離算出処理の処理態様を説明する表である。

図１６（２）に示す距離（デプス）測定範囲（測距可能な範囲）について説明する。
（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合は、ワイド画像撮像部１１１の撮影画像と、テレ画像撮像部１１２の撮影画像は、ほぼ同じ視野を持つ同じ画角の画像となる。先に説明した図３（Ｂ）に示す設定と同様の設定である。この場合、２つの撮像部の撮影画像の全画像領域について、異なる視点からの画像データが得られ、各画素の視差を算出することが可能となる。被写体距離は視差に基づいて算出されるため、ワイドコンバージョンレンズ１７０が装着されている場合、被写体距離の測定可能範囲は、ワイド画像撮像部１１１の撮影画角に相当する視野範囲となる。

一方、（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合、ワイド画像撮像部１１１の撮影画像と、テレ画像撮像部１１２の撮影画像は、それぞれ異なる視野を持つ、テレ画像撮像部１１２の撮影画像は、ワイド画像撮像部１１１の撮影画像より狭い視野範囲を持つ狭い画角の画像となる。すなわち、先に説明した図３（Ａ）に示す設定と同様の設定である。この場合、視差を算出可能な画素は、２つの画像の重複する領域、すなわちテレ画像撮像部１１２の撮影画像の撮影画角に相当する狭い領域となる。

次に、図１６（３）に示す標準キャリブレーションデータの補正、または最適キャリブレーションデータの選択について説明する。
２つの異なる位置の撮像部の撮影画像の対応点の視差を算出して被写体距離を求める際には、２つの撮像部の特性の差異に基づく測定エラーを低減させるためのキャリブレーション処理が必要となる。すなわち、被写体距離（デプス）測定を行う場合のシーケンスは、以下のようなシーケンスとなる。
（Ｓ１）２つの撮像部の特性の差異を解消するキャリブレーションデータの算出、
（Ｓ２）２つの異なる位置の撮像部による２つの画像の撮影処理、
（Ｓ３）Ｓ１で算出したキャリブレーションデータを適用して、Ｓ２で取得した２つの撮影画像の少なくとも一方の画像に対する補正処理、
（Ｓ４）Ｓ３における補正画像を適用して２つの画像の対応点の視差を検出して被写体距離（デプス）を算出、

一般的に、固定された２つの撮像部を有する複眼カメラを用いて被写体距離（デプス）測定を行う場合、キャリブレーションデータは不変であるため、予め１つの「標準キャリブレーションデータ」を算出して装置内の記憶部に格納しておくことが可能であり、距離算出時に逐次読み出して利用することができる。

しかし、本開示の構成のように、ワイドコンバージョンレンズ１７０をテレ画像撮像部１１２に着脱可能とした構成では、ワイドコンバージョンレンズ１７０の装着位置が微妙にずれることが想定される。この場合、ワイドコンバージョンレンズ１７０の装着位置に応じたキャリブレーションデータを算出して利用しないと正確な視差検出や被写体距離（デプス）算出ができない。すなわち、固定された２つの撮像部に対応する１つの固定された「標準キャリブレーションデータ」を利用しても正確な距離算出ができない。

図１６（３）には、
（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合、
（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合、
これら２つの場合の標準キャリブレーションデータの補正、または最適キャリブレーションデータの選択について記載している。

（Ｂ）ワイドコンバージョンレンズ１７０が装着されていない場合は、ワイド画像撮像部１１１と、ワイドコンバージョンレンズ１７０が装着されていないテレ画像撮像部１１２は、固定された２つの撮像部であり、キャリブレーションデータは不変であるため、予め算出済みの１つの「標準キャリブレーションデータ」を利用することができる。

一方、（Ａ）ワイドコンバージョンレンズ１７０が装着されている場合は、ワイド画像撮像部１１１と、ワイドコンバージョンレンズ１７０が装着されたテレ画像撮像部１１２は、固定された２つの撮像部とはならない。すなわち、ワイドコンバージョンレンズ１７０の装着位置がずれることが想定され、装着位置に応じたキャリブレーションデータの利用が必要となる。
すなわち、図１６（３）に示すように、標準キャリブレーションデータの補正、または最適キャリブレーションデータの選択が必要となる。

図１７を参照して、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されている場合、信号処理部１２２の実行する処理について説明する。
図１７には、信号処理部１２２が実行する時系列の処理ステップをステップＳ６１〜Ｓ６６として示している。以下、これらの各ステップの処理について、順次、説明する。

（ステップＳ６１）
まず、信号処理部１２２は、ステップＳ６１において、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の撮影画像を入力して、各画像の中央部のみのクロップ（切り出し）を行う。２つの異なる視点から撮影された２つの画像の端部には一方の画像のみに撮影されている被写体が含まれる。このような画像領域は視差検出や被写体距離算出ができないため、このような領域を削除する処理として実行するものである。

なお、処理対象となる画像は、ワイド画像撮像部１１１の撮影画像と、同一タイミングでワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２が撮影した画像である。

（ステップＳ６２〜Ｓ６４）
次に、ステップＳ６２では、複数の異なるワイドコンバージョンレンズ装着位置に対応する複数のキャリブレーションデータを適用したキャリブレーション処理を実行する。
なお、複数の異なるワイドコンバージョンレンズ装着位置対応の複数のキャリブレーションデータは、予め算出され、記憶部に格納されている。

ステップＳ６３では、ステップＳ６２において実行したキャリブレーション後の補正画像を用いて、対応点マッチングを行い、ずれ量を算出する。なお、このステップＳ６３の処理は、ステップＳ６４において、実際のワイドコンバージョンレンズ装着位置に対応する最適なキャリブレーションデータを選択するために実行する処理であり、視差の影響のない方向の対応点のずれ量を算出する処理である。ステップＳ６４では、ずれ量の最も少ないキャリブレーションデータを最適キャリブレーションデータとして選択する。

ステップＳ６３では、視差の影響のない方向の対応点のずれ量を算出することが必要であり、図１７の下部の（ａ）位置ずれ測定方向に示すように、カメラ配置、すなわち、ワイド画像撮像部１１１と、ワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の配置方向と垂直な方向にサーチ範囲（ずれ測定方向）を設定して対応点のサーチを行い、２つの画像間の対応点のずれ量を算出する。
なお、このずれ量算出処理は、２つの画像の中央部付近の一部のみを用いて実行すればよい、

ステップＳ６４では、ステップＳ６３において算出したずれ量の最も少ないキャリブレーションデータを最適キャリブレーションデータとして選択する。選択されたキャリブレーションデータは、現在のワイドコンバージョンレンズ装着位置に最適なキャリブレーションデータとして選択される。

（ステップＳ６５）
次に、ステップＳ６５において、ステップＳ６４で選択した最適キャリブレーションデータを利用して、２つの撮像部において撮影された画像のキャリブレーション処理、すなわち撮像部の特性さを解消するための画像補正処理を実行する。

（ステップＳ６６）
最後に、ステップＳ６６において、ステップＳ６５におけるキャリブレーション後の２つの画像を用いて、２つの画像間の対応点の視差を算出し、算出した視差に基づいて被写体距離（デプス）を算出する。

なお、２つの画像間の対応点を探索する処理は、例えば所定の画素ブロック単位のブロックマッチング処理によって実行可能である。
ブロックマッチングとしては、例えば、マッチング評価値として以下の（式２ａ）に従って算出されるＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは以下の（式２ｂ）に従って算出されるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等が適用可能である。

なお、上記（式２ａ），（式２ｂ）において、各パラメータは以下の意味を持つ。
ｗ：探索領域、
Ｊ：参照画素、
Ｉ：基準画像、
ｘ：座標、
ｄ：変位量（ベクトル）、

次に、図１８に示すフローチャートを参照して、画像処理装置１００の実行する被写体距離算出処理のシーケンスについて説明する。
なお、このフローに従った処理は、画像処理装置１００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
以下、図１８のフローチャートに示す各ステップの処理について説明する。

（ステップＳ２０１〜Ｓ２０２）
まず、ステップＳ２０１〜Ｓ２０２において、ワイド画像撮像部１１１とテレ画像撮像部１１２において画像を撮影する。
なお、テレ画像撮像部１１２には、ワイドコンバージョンレンズ１７０が装着されている場合といない場合がある。

（ステップＳ２０３〜Ｓ２０４）
次に、ステップＳ２０３において、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されているか否かの判定処理を実行する。

この処理は、先に図７〜図９を参照して説明した処理であり、画像処理部１２０のワイドコンバージョンレンズ装着有無検出部１２１が実行する処理である。
画像処理部１２０のワイドコンバージョンレンズ装着有無検出部１２１は、ワイド画像撮像部１１１の撮影画像と、テレ画像撮像部１１２の撮影画像との比較処理によってワイドコンバージョンレンズの装着有無を判定する。

具体的には、先に図８を参照して説明した２つの撮影画像の輝度ヒストグラムの類似度に基づく判定処理、または、図９を参照して説明した２つの撮影画像のＳＡＤ（差分絶対値和）と視差量に基づく判定処理等が行われる。

この判定処理において、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていると判定した場合（ステップＳ２０４の判定＝Ｙｅｓ）は、ステップＳ２１１に進む。
一方、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていないと判定した場合（ステップＳ１０４の判定＝Ｎｏ）は、ステップＳ２０５に進む。

（ステップＳ２０５）
ステップＳ２０４において、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていないと判定した場合は、ステップＳ２０５に進む。
ステップＳ２０５では、標準キャリブレーションデータを適用したキャリブレーション処理を実行する。

標準キャリブレーションデータとは、固定された２つの撮像部、すなわち、ワイド画像撮像部１１１と、ワイドコンバージョンレンズ１７０が装着されていないテレ画像撮像部１１２の固定された２つの撮像部に対応して予め算出されているキャリブレーションデータである。この標準キャリブレーションデータは、画像処理装置の記憶部に予め格納されている。

（ステップＳ２０６）
次に、ステップＳ２０６において、ステップＳ２０５における標準キャリブレーションデータを適用したキャリブレーション後の２つの画像を用いて、２つの画像間の対応点の視差を算出し、算出した視差に基づいて被写体距離（デプス）を算出する。

なお、先に説明したように２つの画像間の対応点を探索する処理は、例えば所定の画素ブロック単位のブロックマッチング処理によって実行可能であり、マッチング評価値として前述したＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等が適用可能である。

（ステップＳ２１１）
一方、ステップＳ２０４において、テレ画像撮像部１１２にワイドコンバージョンレンズ１７０が装着されていると判定した場合は、ステップＳ２１１に進む。
ステップＳ２１１では、ワイド画像撮像部１１１の撮影画像と、ワイドコンバージョンレンズ１７０を装着したテレ画像撮像部１１２の撮影画像、各画像の中央部のみのクロップ（切り出し）を行う。

（ステップＳ２１２〜２１４）
次に、ステップＳ２１２で、複数の異なるワイドコンバージョンレンズ装着位置に対応する複数のキャリブレーションデータを適用したキャリブレーション処理を実行する。なお、これらの複数のキャリブレーションデータは、予め算出され、記憶部に格納されている。

ステップＳ２１３では、ステップＳ２１２において実行したキャリブレーション後の補正画像を用いて、対応点マッチングを行い、ずれ量を算出する。なお、この処理は、実際のワイドコンバージョンレンズ装着位置に対応する最適なキャリブレーションデータを選択するための処理であり、視差の影響のない方向の対応点のずれ量を算出する処理である。

ステップＳ２１４では、ステップＳ２１３において算出したずれ量の最も少ないキャリブレーションデータを最適キャリブレーションデータとして選択する。選択されたキャリブレーションデータは、現在のワイドコンバージョンレンズ装着位置に最適なキャリブレーションデータとして選択される。

（ステップＳ２１５）
次に、ステップＳ２１５において、ステップＳ２１４で選択した最適キャリブレーションデータを利用して、２つの撮像部において撮影された画像のキャリブレーション処理、すなわち撮像部の特性さを解消するための画像補正処理を実行する。

（ステップＳ２０６）
最後に、ステップＳ２０６において、ステップＳ２１５におけるキャリブレーション後の２つの画像を用いて、２つの画像間の対応点の視差を算出し、算出した視差に基づいて被写体距離（デプス）を算出する。

なお、先に説明したように２つの画像間の対応点を探索する処理は、例えば所定の画素ブロック単位のブロックマッチング処理によって実行可能であり、マッチング評価値として前述したＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいはＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）等が適用可能である。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 画角の広い画像を撮影するワイド画像撮像部と、
前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部と、
前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理部を有し、
前記画像処理部は、
前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出部と、
前記ワイドコンバージョンレンズ装着検出部の検出結果に応じて、異なる信号処理を実行する信号処理部を有する画像処理装置。

（２） 前記信号処理部は、
前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されている場合、
画像撮影時の状況に応じて、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成処理、または高解像度画像生成処理のいずれかを実行する（１）に記載の画像処理装置。

（３） 前記信号処理部は、
前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されている場合、
ユーザのモード設定情報に従って、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成処理、または高解像度画像生成処理のいずれかを実行する（１）または（２）に記載の画像処理装置。

（４） 前記ワイドコンバージョンレンズ装着検出部は、
前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して、各撮像部の類似度を算出して、算出した類似度に基づいて、前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されているか否かを判定する（１）〜（３）いずれかに記載の画像処理装置。

（５） 前記ワイドコンバージョンレンズ装着検出部は、
前記類似度の指標値として、輝度ヒストグラム、または差分絶対値和（ＳＡＤ）を用いる（４）に記載の画像処理装置。

（６） 前記信号処理部は、
前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されている場合、
画像撮影時の撮影状態情報として、照度情報、逆光の有無情報、ズーム設定情報を入力し、入力情報に応じて、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成処理、または高解像度画像生成処理のいずれかを実行する（１）〜（５）いずれかに記載の画像処理装置。

（７） 前記信号処理部は、
前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着され、かつ、
画像撮影時の照度が規定しきい値未満である場合、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高感度画像生成処理を実行する（１）〜（６）いずれかに記載の画像処理装置。

（８） 前記信号処理部は、
前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着され、かつ、
画像撮影時の照度が規定しきい以上であり、かつ、逆光があると判定した場合、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づくＨＤＲ画像生成処理を実行する（１）〜（７）いずれかに記載の画像処理装置。

（９） 前記信号処理部は、
前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着され、かつ、
画像撮影時の照度が規定しきい以上で逆光がなく、かつ、ズーム倍率が規定しきい値以上である場合、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高解像度画像生成処理を実行する（１）〜（８）いずれかに記載の画像処理装置。

（１０） 前記信号処理部は、
前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく被写体距離算出処理を実行する（１）〜（９）いずれかに記載の画像処理装置。

（１１） 前記信号処理部は、
前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されている場合、
前記ワイドコンバージョンレンズの装着位置に応じた最適キャリブレーションデータを選択し、
選択した最適キャリブレーションデータに基づくキャリブレーション処理を実行して、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく被写体距離算出処理を実行する（１）〜（１０）いずれかに記載の画像処理装置。

（１２） 画像処理装置において実行する画像処理方法であり、
画角の広い画像を撮影するワイド画像撮像部と、前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部の各々において画像を撮影するステップと、
画像処理部が、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理ステップを実行し、
前記画像処理ステップは、
前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出処理と、
前記ワイドコンバージョンレンズの装着検出結果に応じて、異なる信号処理を実行する画像処理方法。

（１３） 画像処理装置において画像処理を実行させるプログラムであり、
画角の広い画像を撮影するワイド画像撮像部と、前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部の各々において画像を撮影させるステップと、
画像処理部に、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理ステップを実行させ、
前記画像処理ステップにおいては、
前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出処理と、
前記ワイドコンバージョンレンズの装着検出結果に応じて、異なる信号処理を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、テレ／ワイド複眼カメラの撮影画像を利用して、同一画角複眼カメラと同様の高画質画像の生成が可能な装置、方法が実現される。
具体的には、例えば、画角の広い画像を撮影するワイド画像撮像部と、狭い画角の画像を撮影するテレ画像撮像部と、各撮像部の撮影画像を入力して信号処理を実行する画像処理部を有する。画像処理部はテレ画像撮像部にワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出部と、ワイドコンバージョンレンズが装着されている場合、撮影時の状況に応じてワイド画像撮像部とテレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ画像生成処理、または高解像度画像生成処理のいずれかを実行する。
本構成により、テレ／ワイド複眼カメラの撮影画像を利用して、同一画角複眼カメラと同様の高画質画像の生成が可能な装置、方法が実現される。

１０ 画像処理装置
１１ 表示部
１２ 操作部
２１ ワイド画像撮像部
２２ テレ画像撮像部
３１ ワイドコンバージョンレンズ
１００ 画像処理装置
１１０ 撮像部
１１１ ワイド画像撮像部
１１２ テレ画像撮像部
１２０ 画像処理部
１２１ ワイドコンバージョンレンズ装着検出部
１２２ 信号処理部
１３０ 出力部
１３１ 表示部
１３２ 記憶部
１４１ センサ部
１４２ 操作部
１５０ 制御部
１６０ 通信部

Claims (13)

1. 画角の広い画像を撮影するワイド画像撮像部と、
   前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部と、
   前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理部を有し、
   前記画像処理部は、
   前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出部と、
   前記ワイドコンバージョンレンズ装着検出部の検出結果に応じて、異なる信号処理を実行する信号処理部を有する画像処理装置。
2. 前記信号処理部は、
   前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されている場合、
   画像撮影時の状況に応じて、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成処理、または高解像度画像生成処理のいずれかを実行する請求項１に記載の画像処理装置。
3. 前記信号処理部は、
   前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されている場合、
   ユーザのモード設定情報に従って、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成処理、または高解像度画像生成処理のいずれかを実行する請求項１に記載の画像処理装置。
4. 前記ワイドコンバージョンレンズ装着検出部は、
   前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して、各撮像部の類似度を算出して、算出した類似度に基づいて、前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されているか否かを判定する請求項１に記載の画像処理装置。
5. 前記ワイドコンバージョンレンズ装着検出部は、
   前記類似度の指標値として、輝度ヒストグラム、または差分絶対値和（ＳＡＤ）を用いる請求項４に記載の画像処理装置。
6. 前記信号処理部は、
   前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されている場合、
   画像撮影時の撮影状態情報として、照度情報、逆光の有無情報、ズーム設定情報を入力し、入力情報に応じて、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高感度画像生成処理、またはＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像生成処理、または高解像度画像生成処理のいずれかを実行する請求項１に記載の画像処理装置。
7. 前記信号処理部は、
   前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着され、かつ、
   画像撮影時の照度が規定しきい値未満である場合、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高感度画像生成処理を実行する請求項１に記載の画像処理装置。
8. 前記信号処理部は、
   前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着され、かつ、
   画像撮影時の照度が規定しきい以上であり、かつ、逆光があると判定した場合、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づくＨＤＲ画像生成処理を実行する請求項１に記載の画像処理装置。
9. 前記信号処理部は、
   前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着され、かつ、
   画像撮影時の照度が規定しきい以上で逆光がなく、かつ、ズーム倍率が規定しきい値以上である場合、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく高解像度画像生成処理を実行する請求項１に記載の画像処理装置。
10. 前記信号処理部は、
    前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく被写体距離算出処理を実行する請求項１に記載の画像処理装置。
11. 前記信号処理部は、
    前記テレ画像撮像部に前記ワイドコンバージョンレンズが装着されている場合、
    前記ワイドコンバージョンレンズの装着位置に応じた最適キャリブレーションデータを選択し、
    選択した最適キャリブレーションデータに基づくキャリブレーション処理を実行して、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像に基づく被写体距離算出処理を実行する請求項１に記載の画像処理装置。
12. 画像処理装置において実行する画像処理方法であり、
    画角の広い画像を撮影するワイド画像撮像部と、前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部の各々において画像を撮影するステップと、
    画像処理部が、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理ステップを実行し、
    前記画像処理ステップは、
    前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出処理と、
    前記ワイドコンバージョンレンズの装着検出結果に応じて、異なる信号処理を実行する画像処理方法。
13. 画像処理装置において画像処理を実行させるプログラムであり、
    画角の広い画像を撮影するワイド画像撮像部と、前記ワイド画像撮像部より狭い画角の画像を撮影するテレ画像撮像部の各々において画像を撮影させるステップと、
    画像処理部に、前記ワイド画像撮像部と前記テレ画像撮像部の撮影画像を入力して信号処理を実行する画像処理ステップを実行させ、
    前記画像処理ステップにおいては、
    前記テレ画像撮像部に前記ワイド画像撮像部とほぼ同じ画角の画像を撮影可能とするワイドコンバージョンレンズが装着されているか否かを検出するワイドコンバージョンレンズ装着検出処理と、
    前記ワイドコンバージョンレンズの装着検出結果に応じて、異なる信号処理を実行させるプログラム。

Images