JP7285791B2 - 画像処理装置、および出力情報制御方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、および出力情報制御方法、並びにプログラムに関する。さらに詳細には、複数の撮像部で撮影された２つの画像のいずれか、あるいは２つの画像の合成画像を選択的に出力する画像処理装置、および出力情報制御方法、並びにプログラムに関する。

画質の異なる複数の画像を合成することで高品質な画像を生成することが知られている。
例えば特許文献１（特開２０１５－１９７７４５号公報）には、カラー画像と白黒画像を合成して、カラー画像の色彩情報と、白黒画像の輝度情報を用いて高品質画像を生成する構成が開示されている。

特開２０１５－１９７７４５号公報

上記特許文献１には、カラー画像と白黒画像を合成して高品質画像を生成する構成が開示されている。
しかし、合成画像がカラー単眼画像より高品質である保証はなく、撮影条件によって合成画像が高品質な場合と、カラー画像が高品質な場合がある。
また、品質に関わらずユーザがいずれかの画像をメモリに記録したいと考える場合もある。

カメラ（画像処理装置）がカラー画像と白黒画像の特徴量を解析して解析結果に応じて、合成画像、あるいはカラー画像、または白黒画像の中から最も高品質な画像を選択出力する構成では、ユーザがカメラの撮影モードを合成画像出力モードに設定している場合でも、カラー画像が選択されて記録されるといったことがある。
例えば、カラー画像と白黒画像との視差が大きい場合には高品質な合成画像の生成は困難と装置が判断し、このような場合に合成画像の出力、記録を停止し、カラー画像の出力、記録が行なわれる。

このように、合成画像、カラー画像、白黒画像のどの画像を生成、出力するかを自動的に装置側で判断してしまうと、ユーザの思った画像が記録（または表示）されない場合が発生する。

本開示は、このような問題を解決するものであり、高画質な合成画像を撮影するためのガイド情報を提示し、さらに、ユーザの希望する画像を記録（または表示）可能とした画像処理装置、および出力情報制御方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する画像処理装置にある。

さらに、本開示の第２の側面は、
画像処理装置において実行する出力情報制御方法であり、
前記画像処理装置は、
異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
表示情報制御部が、合成画像に関する補助情報を表示部に表示する制御を行う出力情報制御方法にある。

さらに、本開示の第３の側面は、
画像処理装置において情報出力処理を制御するプログラムであり、
前記画像処理装置は、
異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
前記プログラムは、表示情報制御部に、合成画像に関する補助情報を表示部に表示する制御を行わせるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法が実現される。
具体的には、例えば、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する。表示情報制御部は、被写体が近すぎる場合や障害物により高画質な合成画像を生成できない場合、警告情報として近接アラートや、障害物アラートを出力し、さらに合成画像適応レベルを表示する。さらに、合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした。
本構成により、高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

画像処理装置の外観構成例について説明する図である。 画像処理装置の構成例について説明する図である。 撮像素子の構成例について説明する図である。 白黒画像の画質について説明する図である。 カラー画像の画質について説明する図である。 オクルージョンについて説明する図である。 画像処理部の構成例について説明する図である。 基準画像決定処理の一例について説明する図である。 基準画像決定処理の一例について説明する図である。 特徴量算出部と画質判定部の詳細構成と処理例について説明する図である。 視差差分絶対値ヒストグラムについて説明する図である。 画質判定に基づく出力画像の決定例と問題点について説明する図である。 画質判定に基づく出力画像の決定例と問題点について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 画像処理部の構成例について説明する図である。 本開示の画像処理装置の状態遷移例について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。

以下、図面を参照しながら本開示の画像処理装置、および出力情報制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．画像処理装置の構成例について
２．画像処理部の実行する合成画像の生成処理について
３．出力画像の自動選択処理における問題点について
４．高画質な合成画像を取得するためのガイド情報を出力し、さらに出力画像の選択を可能とした本開示の画像処理装置の構成と処理について
５．その他の実施例について
６．本開示の構成のまとめ

［１．画像処理装置の構成例について］
図１は、本開示の画像処理装置の一構成例を示す図である。図１は、カメラ機能を備えた情報処理端末（スマホ）であり、本開示の画像処理装置の一例である。
なお、本開示の画像処理装置は、このような情報処理端末（スマホ）に限らず、例えばカメラ等の撮像装置も含まれる。

図１（ａ）は画像処理装置１０の表側を示しており、表示部１１および操作部１２が表側に設けられている。図１（ｂ）は画像処理装置１０の裏側を示しており、複数の撮像部、すなわちカラー画像撮像部２１、白黒画像撮像部２２が裏側に設けられている。

図２は、カラー画像撮像部１１１、白黒画像撮像部１１２を個別に有する２眼型の一般的な画像処理装置の構成例を示している。
画像処理装置１００は、撮像部１１０を構成するカラー画像撮像部１１１、白黒画像撮像部１１２、画像処理部１２０、さらに、画像処理部１２０の処理画像の出力部１３０として表示部（タッチパネル）１３１、記憶部１３２を有する。
さらに、センサ部１４１、操作部１４２、制御部１５０、通信部１６０を有している。

カラー画像撮像部１１１、白黒画像撮像部１１２は、図１（ｂ）に示すように画像処理装置１００の同一面側に設けられている。カラー画像撮像部１１１、白黒画像撮像部１１２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部１２０へ出力する。また、カラー画像撮像部１１１、白黒画像撮像部１１２は特性差を有している。

図３は、撮像部の画素配列を例示している。図３（ａ）は、白黒画像撮像部１１２の画素配列を示している。白黒画像撮像部１１２は、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、白黒画像撮像部１１２は、白黒画像の画像データを生成する。

図３（ｂ）は、カラー画像撮像部１１１の画素配列を示している。カラー画像撮像部１１１は、例えば赤色（Ｒ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、カラー画像撮像部１１１は、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する色画素によって構成されている。したがって、カラー画像撮像部１１１は、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー画像の画像データを生成する。

画像処理部１２０は、カラー画像撮像部１１１、白黒画像撮像部１１２で取得された撮像画を用いて、合成画像を生成する。すなわち、画像処理部１２０は、カラー画像撮像部１１１、白黒画像撮像部１１２で取得された撮像画を用いて画像処理を行い、カラー画像撮像部１１１や、白黒画像撮像部１１２で個々に取得される撮像画を高画質化した合成画像を生成して、出力部１３０内の表示部（タッチパネル）１３１や記憶部１３２へ出力する。なお、画像処理部１２０の構成および動作の詳細については後述する。

センサ部１４１はジャイロセンサなどを用いて構成されており、画像処理装置１００に生じた揺れを検出する。センサ部１４１は、検出した揺れの情報を制御部１５０へ出力する。

通信部１６０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどのネットワーク上の機器と通信を行う。

表示部（タッチパネル）１３１は、画像処理部１２０から供給された画像データに基づき撮像画の表示、制御部１５０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。なお、表示部（タッチパネル）１３１の表示面はタッチパネル構成を有し、ＧＵＩ機能利用できるように構成されている。

操作部１４２は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部１５０へ出力する。

記憶部１３２は、画像処理装置１００で生成された情報例えば画像処理部１２０から供給された画像データや、画像処理装置１００で通信やアプリケーションを実行するために用いられる各種情報を記憶する。

制御部１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）（図示せず）などで構成されている。制御部１５０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、表示部（タッチパネル）１３１を構成するタッチパネルや操作部１４２に対するユーザ操作に応じた動作が画像処理装置１００で行われるように各部の動作を制御する。

なお、画像処理装置１００は、図２に示す構成に限られず、例えば画像データを符号化して記憶部１３２に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。

［２．画像処理部の実行する合成画像の生成処理について］
次に、画像処理部１２０の実行する合成画像の生成処理について説明する。
図２に示す画像処理部１２０は、白黒画像撮像部１１２で取得された白黒画像とカラー画像撮像部１１１で取得されたカラー画像を用いて画像合成処理を行う。

図４は、白黒画像を基準画像とした画像合成処理によって得られる画質を説明するための図である。例えば、白黒画像を基準として、白黒画像の画像位置にカラー画像を位置合わせした後、画像合成を行って合成画像を生成すると、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。

一方、図５は、カラー画像を基準画像とした画像合成処理によって得られる画質を説明するための図である。例えば、カラー画像を基準として、カラー画像の画像位置に白黒画像を位置合わせした後、画像合成を行って合成画像を生成すると、カラー画像を基準としていることから合成画像では色ずれを生じることがなく、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。

しかし、白黒画像撮像部１１２とカラー画像撮像部１１１では視点が異なることから、遠景に比べて近景では色ずれを生じるリスクが高くなる。また、遠景に比べて近景ではオクルージョン領域が増加する。
オクルージョン領域は、例えば撮像部に近い障害物等によって、一方の画像にのみ撮影され、他方の画像に撮影されない領域である。

図６は、白黒画像撮像部１１２で取得される白黒画像を基準としたときのオクルージョン領域を示している。視差によってオクルージョンが生じると、カラー画像撮像部１１１で取得されたカラー画像ではオクルージョン領域に対応する画像データがない。このため画像合成処理によって生成された合成画像ではオクルージョン領域で色情報が欠落した画像となる。さらに、遠景に比べて近景の画素では一方の撮像画における注目画素に対応する画素が視差検出の探索範囲を超えて、視差ベクトルを算出できないおそれもある。したがって、画像合成処理によって得られる合成画像は、カラー画像撮像部１１１で取得されたカラー画像よりも画質が劣化する場合がある。

また、白黒画像撮像部１１２はカラーフィルタを用いたカラー画像撮像部１１１に比べて感度が高いことから、被写体の輝度が高くなると、カラー画像撮像部１１１に比べて画素の飽和を生じやすい。このように白黒画像において飽和した画素が多くなると、合成画像では、カラー画像撮像部１１１で取得されたカラー画像に比べて被写体の高輝度部分がより多く飽和している画質の劣化したカラー画像となってしまう。

このため、画像処理部１２０は、撮像画に基づき視差や画素の飽和に起因する画質の劣化を生じるか否かの画像合成判定を行う。画像処理部１２０は、画像合成判定結果に応じて、以下の２種類の合成画像のいずれか一方を生成する。
カラー画像撮像部１１１で取得されたカラー画像を基準画像とした合成画像、
白黒画像撮像部１１２で取得された白黒画像を基準画像とした合成画像。

図７は、画像処理部１２０の詳細構成例を示す図である。
画像処理部１２０は、前処理部１２１，１２２、視差検出部１２３、特徴量算出部１２４、画質判定部１２５、合成画像生成部１２６、出力画像生成部（選択／合成）１２７を有している。

前処理部１２１，１２２は、カラー画像撮像部１１１、白黒画像撮像部１１２の取得した撮像画の画像データに対して、レンズ歪補正や欠陥画素補正、ホワイトバランス調整等の画像補正処理を行う。補正後の画像データは、視差検出部１２３、特徴量算出部１２４、画質判定部１２５、合成画像生成部１２６、出力画像生成部（選択／合成）１２７へ出力される。

視差検出部１２３は、前処理部１２１，１２２から供給された白黒画像データとカラー画像データに基づいて視差検出を行う。
白黒画像撮像部１１２とカラー画像撮像部１１１は、図１の（ｂ）に示すように異なる視点位置から撮像を行うため、白黒画像撮像部１１２とカラー画像撮像部１１１で取得された撮像画は視差を持つ画像となる。

視差検出部１２３は、ブロックマッチングなどの対応点検出処理によって、画素単位の視差検出を行う。この検出情報は、特徴量算出部１２４に出力される。

特徴量算出部１２４は、視差検出部１２３の検出した２つの画像データの画素単位または画像領域単位の視差情報を入力して、画像特徴量、具体的には、視差の部分布やオクルージョン領域の大きさ（占有率）等を算出する。
この特徴量算出部１２４の具体的構成例と処理については後述する。
特徴量算出部１２４の算出した特徴量情報は、画質判定部１２５に出力される。

画質判定部１２５は、特徴量算出部１２４の算出した特徴量情報に基づいて、合成画像の画質等を判定する。具体的には、例えば、
（ａ）カラー画像基準合成画像、
（ｂ）白黒画像基準合成画像、さらに、
（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
これらの画像の画質を判定する。
この判定結果が、合成画像生成部１２６、および出力画像生成部（選択／合成）１２７に出力される。
画質判定部１２５の具体的構成、処理についても後述する。

合成画像生成部１２６は、画質判定部１２５の判定結果に基づいて、
（ａ）カラー画像基準合成画像、
（ｂ）白黒画像基準合成画像、
これらのいずれかの合成画像を生成する。
基準画像は、合成画像を生成する際の基準となる画像である。

カラー画像を基準画像に設定した場合、合成画像生成部１２６では、前処理部１２１から供給されたカラー画像データをベースとして、白黒画像から得られる輝度情報に基づく画素値補正を行い、合成画像を生成する。
一方、白黒画像を基準画像に設定した場合、合成画像生成部１２６では、前処理部１２２から供給された白黒画像データをベースとして、カラー画像から得られる色情報に基づく画素値補正を行い、合成画像を生成する。

画質判定部１２５では、
白黒画像を基準画像として生成した合成画像と、
カラー画像を基準画像として生成した合成画像、
これら２種類のいずれの合成画像が高画質な合成画像となり得るかを判定する。

以下、この判定処理の一つの具体例について説明する。
画質判定部１２５は、特徴量算出部１２４から入力する特徴量情報を用いて、カラー画像、白黒画像、どちらの画像を基準画像に設定するかを決定する。
具体的には、例えば、２つの画像データの視差情報と、オクルージョン領域検出情報に基づいて、カラー画像、白黒画像、どちらの画像を基準画像に設定するかを決定する。
この基準画像決定処理の一例について、図８を参照して説明する。

図８に示すグラフは、横軸にオクルージョン面積、縦軸に視差を設定したグラフである。
横軸のオクルージョン面積は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像、これら２つの画像の画像領域に含まれるオクルージョン領域の占有率（％）に相当する。
縦軸の視差は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像、これら２つの画像の視差（例えば画素数）である。

基準画像決定部１２４は、これらのオクルージョン領域占有率と視差を、まず、画像を分割した分割領域単位で算出する。
図９を参照してこの処理について説明する。
図９はカラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像撮影画像である。
基準画像決定部１２４は、２つの画像のいずれか一方の画像を選択し、選択画像に複数の分割領域を設定する。図９に示す点線で区分けされた分割領域である。

基準画像決定部１２４は、各分割領域単位のオクルージョン領域占有率と視差（平均値）を算出する。
例えば、図９に示す例では、８×５＝４０個の分割領域が設定されており、４０個のオクルージョン領域占有率と視差（平均値）を算出する。
この４０個のオクルージョン領域占有率と視差（平均値）を、図８に示すグラフ上に配置する。
すなわち、
オクルージョン領域占有率＝ｘ、
視差（平均値）＝ｙ、
としたときの座標（ｘ，ｙ）を図８に示すグラフ上に配置する。

この処理によって、例えば、５０％以上がカラー画像基準領域に含まれていれば、基準画像をカラー画像とする。
また、５０％以上が白黒画像基準領域に含まれていれば、基準画像を白黒画像とする。
基準画像決定部１２４は、このような処理によって、基準画像を決定する。

なお、上述した処理例は一例であり、その他の処理も可能である。
例えば画像の中央領域にある分割領域に大きな重みを設定して、中央領域のオクルージョン領域占有率と視差（平均値）をより大きく反映させて基準画像を決定する処理を行ってもよい。
あるいは、顔領域が検出された分割領域の重みを高くして基準画像を決定する処理を行ってもよい。

図８に示すグラフから理解されるように、
オクルージョン面積占有率がしきい値Ｔｈｘ未満で、視差が視差しきい値Ｔｈｙ未満の場合は、白黒画像を基準画像とする。
一方、オクルージョン面積占有率がしきい値Ｔｈｘ以上、あるいは視差が視差しきい値Ｔｈｙ以上の場合は、カラー画像を基準画像とする。
画質判定部１２５は、このような処理によって、基準画像を決定する。

オクルージョン面積占有率が小さく、かつ視差が小さい場合、白黒画像を基準画像として白黒画像の忠実な輝度情報を画像全体に適用することで、高画質な画像を生成することができる。
すなわち、オクルージョン面積占有率が小さく、かつ視差が小さい場合は、オクルージョンによってカラー画像から色情報が取得できない領域が小さく、また視差による色ずれの問題も少ないため、白黒画像を基準画像として白黒画像の忠実な輝度情報を画像全体に適用した高画質な白黒画像基準合成画像を生成する。

一方、オクルージョン面積占有率が大きい場合、または視差が大きい場合は、オクルージョンによってカラー画像から色情報が取得できない領域が大きいか、あるいは視差による色ずれの問題が発生する領域が大きくなる可能性があり、これらの問題を低減させるためカラー画像を基準画像としたカラー画像基準合成画像を生成する。
なお、カラー画像基準合成画像においても白黒画像の輝度情報を適用した合成画像生成処理を行う。

なお、この図８、図９を参照して説明した基準画像決定処理は一例であり、画質判定部１２５は、その他の画像特徴量を用いて、
（ａ）カラー画像基準合成画像、
（ｂ）白黒画像基準合成画像、さらに、
（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
これらの画像の画質を判定する。

この判定結果情報は、出力画像生成部（選択／合成）１２７にも出力される。
出力画像生成部（選択／合成）１２７は、この判定結果に基づいて、
合成画像生成部１２６の生成した、
（ａ）カラー画像基準合成画像、
（ｂ）白黒画像基準合成画像、または、
（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
これらの画像のいずれかを選択して、あるいは合成して表示部（タッチパネル）１３１、記憶部１３２に出力する。

なお、動画の撮影、出力を行う場合には、出力画像生成部（選択／合成）１２７は、上記（Ａ）～（Ｄ）の画像を徐々に切り替える処理を行う。
例えばカラー画像からカラー画像基準合成画像への切り替え出力を行う場合、カラー画像１００％の画像から、カラー画像基準合成画像１００％の画像へ、各画像の合成比率を徐々に変化させた画像フレームを順次、出力する。この処理により、画像観察者に画像の切り替えを検知されにくくなる。

次に、特徴量算出部１２４と、画質判定部１２５の構成の具体例について説明する。図１０は特徴量算出部１２４と、画質判定部１２５の構成を例示している。

特徴量算出部１２４は、視差および画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する。特徴量算出部１２４は、視差に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、視差ヒストグラム生成部２０１、視差分布特徴量算出部２０２、サーチ範囲超え特徴量算出部２０３、視差ギャップヒストグラム生成部２０４、視差ギャップ特徴量算出部２０５を有している。また、特徴量算出部１２４は、画素の飽和に起因する画質の劣化判定を行うための画像特徴量を算出する機能ブロックとして、飽和判定ヒストグラム生成部２０６、飽和特徴量算出部２０７を有している。

視差ヒストグラム生成部２０１は、算出対象領域の各画素について算出されている視差ベクトルを用いて視差ヒストグラムを生成する。視差分布特徴量算出部２０２は、視差ヒストグラム生成部２０１で生成された視差ヒストグラムから視差分布の特徴を示す統計量である視差分布特徴量ＦＶｆｓｄを算出する。

サーチ範囲超え特徴量算出部２０３は、視差ヒストグラム生成部２０１で生成された視差ヒストグラムから、予め設定されているサーチ範囲以上の視差を生じている度数（ｏｖｅｒ＿ｓｅａｒｃｈ＿ｒａｎｇｅ＿ｃｏｕｎｔｅｒ）の全度数（ｃｏｕｎｔｅｒ）に対する割合を示すサーチ範囲超え特徴量ＦＶｏｓｒを算出する。サーチ範囲超え特徴量算出部２０３は、視差ヒストグラムを用いて以下の式（１）の演算を行いサーチ範囲超え特徴量ＦＶｏｓｒを算出する。
ＦＶｏｓｒ＝ｏｖｅｒ＿ｓｅａｒｃｈ＿ｒａｎｇｅ＿ｃｏｕｎｔｅｒ ／ ｃｏｕｎｔｅｒ ＊１００ ・・・（１）

このように、サーチ範囲超え特徴量算出部２０３でサーチ範囲超え特徴量ＦＶｏｓｒを算出すれば、サーチ範囲超え特徴量ＦＶｏｓｒに基づき、大きな視差を生じる被写体が撮像されているか判定することが可能となる。すなわち、オクルージョンを生じる領域の発生状況を判定することが可能となる。

視差ギャップヒストグラム生成部２０４は、視差ギャップヒストグラムを生成する。
図１１（Ａ）は、視差ギャップヒストグラム生成に用いる視差差分絶対値を説明する図である。視差ギャップヒストグラム生成部２０４は、図１１（Ａ）に示すように、算出対象領域の注目画素位置から水平に「－（ＰＡＲＡＬＬＡＸ＿ＤＩＦＦ＿ＤＩＳＴＡＮＣＥ／２）」の画素分だけ離れた位置の視差ＰＶ１と「（ＰＡＲＡＬＬＡＸ＿ＤＩＦＦ＿ＤＩＳＴＡＮＣＥ／２）」の画素分だけ離れた位置の視差ＰＶ２を算出して、視差ＰＶ１，ＰＶ２の視差差分絶対値ＰＶａｐｄを算出する。
以下の式（２）に示す視差差分絶対値ＰＶａｐｄを算出する。なお、視差ギャップ距離（ＰＡＲＡＬＬＡＸ＿ＤＩＦＦ＿ＤＩＳＴＡＮＣＥ）は予め設定されている。
ＰＶａｐｄ＝ＡＢＳ（ＰＶ１－ＰＶ２） ・・・（２）

視差差分絶対値ＰＶａｐｄは、例えば被写体が同一平面に近い状態である場合、視差ＰＶ１と視差ＰＶ２の差は小さいことから視差差分絶対値ＰＶａｐｄの値は小さくなる。また、視差差分絶対値ＰＶａｐｄは、例えば被写体までの距離が異なり、注目画素が距離の異なる被写体の境界であると、視差ＰＶ１と視差ＰＶ２の差が大きいことから視差差分絶対値ＰＶａｐｄの値は大きくなる。視差ギャップヒストグラム生成部２０４は、算出対象領域の各画素を注目画素として算出した視差差分絶対値ＰＶａｐｄのヒストグラムである視差ギャップヒストグラムを生成する。なお、図１１（Ｂ）は視差ギャップヒストグラムを例示している。

視差ギャップ特徴量算出部２０５は、視差ギャップヒストグラム生成部２０４で生成された視差ギャップヒストグラムから視差ギャップ特徴量ＦＶｐｄを算出する。視差ギャップ特徴量算出部３７５は、視差ギャップヒストグラムから予め設定されている最大視差ギャップ距離以上の視差ギャップを生じている度数（ｌａｒｇｅ＿ｐａｒａｌｌａｘ＿ｄｉｆｆ＿ｃｏｕｎｔｅｒ）の全度数（ｃｏｕｎｔｅｒ）に対する割合を示す視差ギャップ特徴量ＦＶｐｄを算出する。視差ギャップ特徴量算出部３７５は、視差ギャップヒストグラムを用いて式（３）の演算を行い、視差ギャップ特徴量ＦＶｐｄを算出する。
ＦＶｐｄ ＝ ｌａｒｇｅ＿ｐａｒａｌｌａｘ＿ｄｉｆｆ＿ｃｏｕｎｔｅｒ ／ ｃｏｕｎｔｅｒ ＊ １００ ・・・（３）

このように、視差ギャップ特徴量算出部２０５で算出された視差ギャップ特徴量ＦＶｐｄは、最大視差ギャップ距離を生じる画素の割合を示している。ここで、同一平面にある被写体は視差ギャップが小さく、距離が異なる被写体の画像境界部分では視差ギャップが大きいことから、距離が大きく異なる被写体の画像境界の発生状況を判定することが可能となる。

飽和判定ヒストグラム生成部２０６は、前処理部１２２から供給された白黒画像データに基づき画素値毎の度数（画素数）を示す画素値ヒストグラムを生成する。また、前処理部１２１から供給されたカラー画像データの色空間変換によって輝度データを生成して、生成した輝度データに基づきに画素値毎の度数（画素数）を示す画素値ヒストグラムを生成する。

飽和特徴量算出部２０７は、飽和判定ヒストグラム生成部２０６で生成された輝度値ヒストグラムに基づき飽和特徴量ＦＶｓａｔを算出する。

画質判定部１２５は、特徴量算出部１２４で算出された画像特徴量と、制御部等から取得した撮影条件情報５０に基づき、
（ａ）カラー画像基準合成画像、
（ｂ）白黒画像基準合成画像、さらに、
（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
これら４種類の画像のうち、最も高画質な画像はどれであるかの判定処理を実行する。
この判定情報は、合成画像生成部１２６、および出力画像生成部（選択／合成）１２７に出力される。

また、画質判定部１２５は、特徴量算出部１２４で算出された画像特徴量の時間方向の変化量に基づき、上記（ａ）～（ｄ）各画像の切り替え速度を決定する。
例えば変化量判定部２１１ｄ～２１４ｄから供給された個別判定結果のいずれかにおいて変化量が変化量閾値を超えている場合、切り替え速度を予め設定されている所定速度よりも高速とする。それ以外は規定の切り替え速度とする。
この切り替え速度情報は、出力画像生成部（選択／合成）１２７に出力される。

画質判定部１２５は、画質の劣化を生じるか否かの判定および画像特徴量の時間方向の変化量に関する機能ブロックとして、個別判定部２１１～２１５と変化量判定部２１１ｄ～２１５ｄおよび統合判定処理部２２０を有している。

個別判定部２１１は、視差分布特徴量算出部２０２で算出された視差分布特徴量に基づき、合成画像等の画質判定を行う。個別判定部２１１は、視差分布特徴量ＦＶｆｓｄと視差分布特徴量に対して予め設定されている判定閾値Ｔｈｆｓｄを比較する。個別判定部２１１は、視差分布特徴量ＦＶｆｓｄが判定閾値Ｔｈｆｓｄよりも大きい場合、合成画像が画質の劣化を生じると判定する。個別判定部２１１は、個別判定結果を統合判定処理部２２０へ出力する。

変化量判定部２１１ｄは、視差分布特徴量算出部２０２で算出された視差分布特徴量の時間的な変化量（ＦＶｆｓｄ（ｉ）－ＦＶｆｓｄ（ｉ－１））を算出する。なお、「ｉ」は画質判定部１２５で画質の劣化を生じるか否かの判定を行うフレームを示している。変化量判定部２１１ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄｆｓｄを比較して、比較結果を統合判定処理部２２０へ出力する。

個別判定部２１２は、サーチ範囲超え特徴量算出部２０３で算出されたサーチ範囲超え特徴量ＦＶｏｓｒに基づき、合成画像等の画質判定を行う。個別判定部２１２は、サーチ範囲超え特徴量ＦＶｏｓｒとサーチ範囲超え特徴量に対して予め設定されている判定閾値Ｔｈｏｓｒを比較する。個別判定部２１２は、サーチ範囲超え特徴量ＦＶｏｓｒが判定閾値Ｔｈｏｓｒよりも大きい場合、合成画像が画質の劣化を生じると判定する。個別判定部２１２は、個別判定結果を統合判定処理部２２０へ出力する。

変化量判定部２１２ｄは、サーチ範囲超え特徴量算出部２０３で算出されたサーチ範囲超え特徴量の時間的な変化量（ＦＶｏｓｒ（ｉ）－ＦＶｏｓｒ（ｉ－１））を算出する。さらに、変化量判定部２１２ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄｏｓｒを比較して、比較結果を統合判定処理部２２０へ出力する。

個別判定部２１３は、視差ギャップ特徴量算出部２０５で算出された視差ギャップ特徴量ＦＶｐｄに基づき、合成画像等の画質判定を行う。個別判定部２１３は、視差ギャップ特徴量ＦＶｐｄと視差ギャップ特徴量に対して予め設定されている判定閾値Ｔｈｐｄを比較する。個別判定部２１３は、視差ギャップ特徴量ＦＶｐｄが判定閾値Ｔｈｐｄよりも大きい場合、合成画像が画質の劣化を生じると判定する。個別判定部２１３は、個別判定結果を統合判定処理部２２０へ出力する。

変化量判定部２１３ｄは、視差ギャップ特徴量算出部２０５で算出された視差ギャップ特徴量の時間的な変化量（ＦＶｐｄ（ｉ）－ＦＶｐｄ（ｉ－１））を算出する。変化量判定部２１３ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄｌｐｄを比較して、比較結果を統合判定処理部２２０へ出力する。

個別判定部２１４は、飽和特徴量算出部２０７で算出された飽和特徴量ＦＶｓａｔに基づき、合成画像等の画質判定を行う。個別判定部２１４は、飽和特徴量ＦＶｓａｔと飽和特徴量に対して予め設定されている判定閾値Ｔｈｓａｔを比較する。個別判定部２１４は、飽和特徴量ＦＶｓａｔが判定閾値Ｔｈｓａｔよりも大きい場合、合成画像が画質の劣化を生じると判定する。個別判定部２１４は、個別判定結果を統合判定処理部２２０へ出力する。

変化量判定部２１４ｄは、飽和特徴量算出部２０７で算出された飽和特徴量の時間的な変化量（ＦＶｓａｔ（ｉ）－ＦＶｓａｔ（ｉ－１）を算出する。変化量判定部２１４ｄは、算出した変化量の絶対値と予め設定されている変化量閾値Ｔｈｄｓａｔを比較して、比較結果を統合判定処理部２２０へ出力する。

個別判定部２１５は、撮影条件情報５０に基づき、例えば合成画像が画質の劣化を生じるか否かを判定する。撮影条件情報５０は、例えば、明るさ情報、露光情報、被写体距離情報、フォーカス、ズーム情報、さらに、ＩＳＯ感度情報等の撮像設定情報である。個別判定部２１５は、撮影条件情報５０と撮影条件情報５０に対して予め設定されている判定閾値を比較して、合成画像が画質の劣化を生じるか否か判定する。個別判定部２１５は、個別判定結果を統合判定処理部２２０へ出力する。

統合判定処理部２２０は、個別判定部２１１～２１５から供給された個別判定結果を用いて画像判定を行う。例えば、統合判定処理部２２０は、個別判定部２１１～２１５から供給された個別判定結果を用いて、
（ａ）カラー画像基準合成画像、
（ｂ）白黒画像基準合成画像、さらに、
（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
これら４種類の画像のうち、最も高画質な画像はどれであるかの判定処理を実行する。
この判定結果が、合成画像生成部１２６、および出力画像生成部（選択／合成）１２７に出力される。

なお、具体的にには、例えば、被写体距離が近く、カラー画像と白黒画像の視差が大きい場合や、オクルージョン領域が多いと判断される場合などには、合成画像の画質が低下すると判定され、この場合には、
（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
最も高画質な画像と判定する処理等が実行される。

また、統合判定処理部２２０は、変化量判定部２１１ｄ～２１５ｄから供給された変化量と変化量閾値との比較結果に基づいて、上記（ａ）～（ｄ）各画像の切り替え速度を決定する。この速度情報が出力画像生成部（選択／合成）１２７に出力される。

出力画像生成部（選択／合成）１２７は、画質判定部１２５の判定結果に基づいて、
（ａ）カラー画像基準合成画像、
（ｂ）白黒画像基準合成画像、さらに、
（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
これらから選択された最も高画質となると推定された１つの画像を選択して、表示部（タッチパネル）１３１、記憶部１３２に出力する。

また、統合判定処理部２２０は、変化量判定部２１１ｄ～２１４ｄから供給された変化量と規定の変化量閾値との比較結果に基づいて、上記（ａ）～（ｄ）各画像の切り替え速度を決定する。
例えば変化量判定部２１１ｄ～２１４ｄから供給された個別判定結果のいずれかにおいて変化量が変化量閾値を超えている場合、切り替え速度を予め設定されている所定速度よりも高速とする。それ以外は規定の切り替え速度とする。
この切り替え速度情報は、出力画像生成部（選択／合成）１２７に出力される。

出力画像生成部（選択／合成）１２７は、この切り替え速度に応じて、上記（ａ）～（ｄ）各画像の切り替え処理を行う。これは具体的には、例えば動画像の撮影時に、各撮影フレームから検出された結果の変化量に基づいて画像切り替え速度を変化させ、出力画像の画質劣化が急激に発生した場合以外は、画像の切り替えをゆっくり実行するものである。
なお、出力画像生成部（選択／合成）１２７において動画像の画像切り替え処理は、例えば、以下のように実行される。
例えば、カラー画像からカラー画像基準合成画像への切り替え処理を行う場合、カラー画像１００％の画像から、カラー画像基準合成画像１００％の画像へ、各画像の合成比率を徐々に変化させて切り替えを行う。
この速度を変化量判定部２１１ｄ～２１４ｄから供給された変化量に基づいて設定する。

なお、図１０に示す画質判定部１２５の構成と処理は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像の視差やオクルージョンに基づいて出力画像の選択処理を行う構成であるが、この画像判定処理は一例であり、この他の様々な画像の特徴や撮影条件情報に基づいて高画質画像無を選択する構成が可能である。

［３．出力画像の自動選択処理における問題点について］
上述した出力画像の選択構成、すなわち、例えば図１０を参照して説明した画質判定部１２５の実行する出力画像の選択例では、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像の視差やオクルージョンに基づいて出力画像が自動的に選択されてしまう。

しかし、画質判定部１２５の選択画像と異なる画像を記録したいといったユーザ要求がある場合がある。
また、前述したように、例えば、被写体距離が近く、カラー画像と白黒画像の視差が大きい場合や、オクルージョン領域が多いと判断される場合などには、合成画像の画質が低下すると判定され、この場合には、
「カラー画像撮像部１１１の撮影したカラー単眼画像」が最も高画質な画像と判定される。

この結果、出力画像生成部（選択／合成）１２７は、画質判定部１２５の判定結果に基づいて、「カラー画像撮像部１１１の撮影したカラー単眼画像」を選択出力する。すなわち、「カラー画像撮像部１１１の撮影したカラー単眼画像」を表示部（タッチパネル）１３１に表示し、また記憶部１３２に格納する処理が実行される。

ユーザは、画像処理装置１００の操作部１４２、あるいは表示部（タッチパネル）１３１に構成されるタッチパネルを介して、合成画像の生成モードをＯＮに設定して撮影を開始した場合であっても、画質判定部１２５の判定結果として合成画像の画質が低下するとの判定がなされると合成画像の出力が行われず、「カラー画像撮像部１１１の撮影したカラー単眼画像」が出力されてしまう。

すべての状況において、この画質判定部１２５の判定結果が必ずしも正しいとは限らない。
例えば、夜間のような暗い環境で、近い被写体の撮影を行う場合について考察する。
図１２は、横軸に被写体距離、縦軸に明るさを示すグラフである。

画質判定部１２５は、例えば、領域Ａ、すなわち明るさが十分な明るい領域では、カラー画像、または合成画像のいずれかを最も高画質画像であると判定し、いずれかの画像を選択出力する。
また、領域Ｂ、すなわち明るさが不十分、例えば夜間や室内等の暗い環境で、かつ被写体距離が、所定しきい値Ｔｈ１以上である場合は、カラー画像より、カラー画像に白黒画像の輝度情報を合成した合成画像の方が高画質であると判定し、合成画像を出力する。

しかし、領域Ｃ、すなわち明るさが不十分、例えば夜間や室内等の暗い環境で、かつ被写体距離が所定しきい値Ｔｈ１未満であり、近い被写体の場合は、画質判定部１２５は、カラー画像と白黒画像の視差が大きい、またオクルージョン領域が増加する等の特徴量判定がなされて、合成画像の画質が低下すると判定し、「カラー画像撮像部１１１の撮影したカラー単眼画像」を選択して出力する。

しかし、この領域Ｃは、明るさが不十分であり、「カラー画像撮像部１１１の撮影したカラー単眼画像」は高画質な画像にはならない場合がある。
すなわち、図１３に示すような結果となる可能性がある。
図１３には、図１２に示す領域Ｃ、すなわち、明るさが不十分、例えば夜間や室内等の暗い環境で、かつ被写体距離が所定しきい値Ｔｈ１未満の近い被写体を撮影した（１）カラー単眼画像と、（２）合成画像の例を示している。

（１）カラー単眼画像は明るさが不十分なため、全体に暗い画像となってしまう。これに対して、（２）合成画像は、カラー画像に白黒画像の輝度情報を合成して生成される画像であり、（１）カラー単眼画像より鮮明な輝度情報が出力された画像となる。
このように、すべての状況において、画質判定部１２５の判定結果が必ずしも正しいとは限らない。
また、ユーザは、画質に関わらず、合成画像、またはカラー単眼画像、あるいは白黒単眼画像のいずれかを記録したいと考える場合もある。
以下、この問題を解決する構成について説明する。

［４．高画質な合成画像を取得するためのガイド情報を出力し、さらに出力画像の選択を可能とした本開示の画像処理装置の構成と処理について］
以下、高画質な合成画像を取得するためのガイド情報等の補助情報を出力し、さらに出力画像の選択を可能とした本開示の画像処理装置の構成と処理について説明する。

まず、本開示の画像処理装置の実行する具体的な処理例について、図１４以下を参照して説明する。
本開示の画像処理装置は、表示部（タッチパネル）１３１に撮影画像（スルー画）を表示する際、併せて以下の各情報（補助情報）を表示する。
（Ａ）合成画像撮影ガイド情報
（Ｂ）合成画像適応レベルインジケータ

（Ａ）合成画像撮影ガイド情報は、高画質な合成画像を撮影するための案内情報である。
図１４に示すように、撮影状況に応じて、例えば、以下の３種類の表示が切り替えられる。
（表示例１）近接アラート［被写体が近すぎます］
（表示例２）障害物アラート［障害物があります］
（表示例３）合成処理＝ＯＮ［きれいに撮れます］

（表示例１）近接アラート［被写体が近すぎます］
この表示は、被写体が近すぎて、カラー画像撮像部１１１で取得されたカラー画像と、白黒画像撮像部１１２で取得される白黒画像との視差が大きく、合成画像の生成が困難、すなわち高画質な合成画像を生成することができないと判定した場合に表示される。なお、この判定は、画質判定部１２５の判定結果である。被写体とは、撮影画像中の例えば、焦点制御（フォーカス）されたオブジェクトである。

（表示例２）障害物アラート［障害物があります］
この表示は、被写体の前に障害物があり、カラー画像撮像部１１１で取得されたカラー画像と、白黒画像撮像部１１２で取得される白黒画像にオクルージョン領域が多く発生し、合成画像の生成が困難、すなわち高画質な合成画像を生成することができないと判定した場合に表示される。なお、この判定は、画質判定部１２５の判定結果である。

（表示例３）合成処理＝ＯＮ［きれいに撮れます］
この表示は、被写体が近すぎず、また、障害物もなく、視差が小さく、またオクルージョン領域も少なく、高画質な合成画像を生成することができなると判定した場合に表示される。なお、この判定は、画質判定部１２５の判定結果である。

なお、この３つの表示は、ユーザがカメラを移動、あるいは向きを変更することで自動的に切り替えられることになる。
例えば、「（表示例１）近接アラート［被写体が近すぎます］」、この表示がなされている場合、カメラを持ったユーザが被写体から離れると、近接アラートは、「障害物アラート」、または「合成処理＝ＯＮ」表示に切り換えられる。

また、「（表示例２）障害物アラート［障害物があります］」、この表示がなされている場合、カメラを持ったユーザがカメラの向きや位置を変更すると、障害物アラートは、「合成処理＝ＯＮ」、または「近接アラート」表示に切り換えられる。

一方、（Ｂ）合成画像適応レベルインジケータは、現在の撮影条件についての合成画像撮影適応レベルを示すインジケータである。
図に示すようにインジケータは、
合成画像撮影不適応～合成画像撮影適応（良好）までのレベルが表示される設定である。このレベルは、画質判定部１２５において算出される。

さらに、（Ｂ）合成画像適応レベルインジケータには、合成画像適応レベルに応じた最適な出力画像の種類として、以下の３種類の画像が表示される。
カラー単眼画像、
カラー画像基準合成画像
白黒画像基準合成画像、
図に示す例において、現在の合成画像適応レベルは、合成画像撮影適応（良好）のレベルに相当し、白黒画像基準合成画像の生成が最適であることが表示される。

ユーザは、表示部（タッチパネル）１３１に撮影画像（スルー画）とともに表示されるこれらの情報、すなわち、
（Ａ）合成画像撮影ガイド情報
（Ｂ）合成画像適応レベルインジケータ
これらの情報を見て、高画質な合成画像を撮影可能なカメラ設定を行うことが可能となり、また、生成される合成画像の画質についても予測することが可能となる。

さらに、ユーザは、出力される画像、すなわち表示部（タッチパネル）１３１に出力する画像や記憶部１３２に格納する画像を選択することも可能である。
例えば、図に示す表示切り換え部３０３を操作（タッチ）することで、図１５に示す出力画像選択画面に切り換えられる。

図１５に示す例は、
カラー画像撮像部１１１で取得されたカラー画像、
白黒画像撮像部１１２で取得された白黒画像、
合成画像生成部１２６がカラー画像と白黒画像の合成処理によって生成した合成画像、
これら３種類の画像を並列に表示した例である。

ユーザは、これら３種類の画像から、いずれかの画像をタッチすることで、出力画像、すなわち表示部（タッチパネル）１３１に出力する画像や記憶部１３２に格納する画像を選択することができる。

さらに、図に示す表示切り換え部３０３を操作（タッチ）することで、図１６に示す出力画像選択画面に切り換えられる。
図１６に示す例は、
一枚の画像（スルー画）を、３分割して、各分割領域を、以下の３種類の画像として表示したものである。
カラー画像撮像部１１１で取得されたカラー画像、
白黒画像撮像部１１２で取得された白黒画像、
合成画像生成部１２６が、カラー画像と白黒画像の合成処理によって生成した合成画像、
１枚の画像を３分割した各分塚領域単位でこれら３種類の画像を表示した例である。

ユーザは、これらの画像から、いずれかの画像をタッチすることで出力画像、すなわち表示部（タッチパネル）１３１に出力する画像や記憶部１３２に格納する画像の種類を選択することができる。

図１４～図１６を参照して説明した処理を実現する本開示の画像処理装置の構成について図１７を参照して説明する。
図１７に示す画像処理装置４００は、先に図２を参照して説明した画像処理装置１００の構成にはない表示情報制御部４０１を有する。

表示情報制御部４０１は、撮影条件情報５０を入力し、さらに、画像処理部１２０において判定された画質判定結果を入力して、先に図１４を参照して説明した以下の情報、
（Ａ）合成画像撮影ガイド情報
（Ｂ）合成画像適応レベルインジケータ
これらの情報を生成して表示部（タッチパネル）１３１に表示する。

さらに、画像処理部１２０に対して、表示部（タッチパネル）１３１に出力する画像の指定情報を入力して、例えば図１４～図１６に示す様々な設定の画像の表示を実行させる。

なお、撮影条件情報５０は、前述したように、例えば、明るさ情報、露光情報、被写体距離情報、フォーカス、ズーム情報、さらに、ＩＳＯ感度情報等の撮像設定情報である。

なお、説明を理解しやすくするため、図１７では、表示情報制御部４０１を独立した構成として示しているが、表示情報制御部４０１は、制御部１５０と一体化した構成でもよい。すなわち、以下において説明する表示情報制御部４０１の処理を制御部１５０において実行する構成としてもよい。

表示部（タッチパネル）１３１のタッチパネル、あるいは操作部１４２を介して入力されるユーザによる画像指定情報４２１は、制御部１５０を介して画像処理部１２０に入力され、表示部（タッチパネル）１３１や記憶部１３２等の出力部１３０に出力される画像が選択される。

図１８は、画像処理部１２０の詳細構成例を示している。この構成は、基本的には、先に図７を参照して説明した構成と同様の構成である。
ただし、画像処理部１２０と表示情報制御部４０１との間では、様々な情報が入出力される。
例えば、画像処理部１２０の画質判定部１２５の画質判定結果情報が、表示画像制御部４０１に出力される。
また、表示情報制御部４０１から表示画像切り替え要求が画像処理部１２３０の出力画像生成部１２７に入力され、先に図１４～図１６を参照して説明した様々な情報や画像の出力がなされる。

表示部（タッチパネル）１３１のタッチパネル、あるいは操作部１４２を介して入力されるユーザによる画像指定情報４２１は、制御部１５０を介して画像処理部１２０の出力画像生成部１２７に入力され、表示部（タッチパネル）１３１や記憶部１３２等の出力部１３０に出力される画像が選択される。

次に、図１９以下を参照して、本開示の画像処理装置４００の状態遷移シーケンスについて説明する。
本開示の画像処理装置４００は、図１９に示す３種類の状態を遷移する。すなわち、
（状態１）高画質合成画像出力可能状態
（状態２）障害物アラート出力状態
（状態３）近接アラート出力状態

これらの３つの状態は、先に図１４を参照して説明した合成画像撮影ガイド情報の３種類の表示例の表示状態に対応する。すなわち、
（状態１）高画質合成画像出力可能状態では、
（表示例３）合成処理＝ＯＮ［きれいに撮れます］が表示される。

また、（状態２）障害物アラート出力状態では、
（表示例２）障害物アラート［障害物があります］が表示される。
（状態３）近接アラート出力状態では、
（表示例１）近接アラート［被写体が近すぎます］が表示される。

本開示の画像処理装置４００の制御部１５０や表示情報制御部４０１は、図１９に示すように、これら３種類の状態を状況に応じて遷移させる。例えば、画像処理装置の撮像部を介して入力される画像フレーム単位、あるいは所定の複数フレーム単位で状態遷移が行われる。
この遷移シーケンスについて、図２０以下のフローチャートを参照して説明する。

まず、図２０に示すフローを参照して画像処理装置４００が、
（状態１）高画質合成画像出力可能状態にある場合、すなわち、表示部（タッチパネル）１３１に、図１４を参照して説明した、
（表示例３）合成処理＝ＯＮ［きれいに撮れます］、
上記情報が表示された状態における処理シーケンスについて説明する。

なお、図２０以下のフローチャートに示す処理は、画像処理装置４００の記憶部に格納されたプログラムに従って実行することが可能であり、例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
以下、図２０のフローチャートに示す各ステップの処理について説明する。

（ステップＳ１０１）
画像処理装置（カメラ）の制御部は、「（状態１）高画質合成画像出力可能状態」にある場合、まず、ステップＳ１０１において、カメラ撮影画像中の被写体の前に障害物があるか、あるいは被写体距離が近すぎるかを判定する。
これらの判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。
なお、被写体とは、撮影画像中の例えば、焦点制御（フォーカス）されたオブジェクトである。

被写体距離が近すぎるか否かは、例えばカラー画像と白黒画像の視差量に基づいて決定される。すなわち、カラー画像と白黒画像の視差量が、高画質な合成画像の生成に必要となる視差しきい値より小さいか否かの判定等に基づいて決定される。この判定に必要となる情報は、画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。

また、被写体の前に障害物があるか否かについては、例えばカラー画像と白黒画像に含まれるオクルージョン面積に基づいて決定される。すなわち、カラー画像と白黒画像のオクルージョン領域が、高画質な合成画像の生成に必要となるしきい値より小さいか否かの判定等に基づいて決定される。この判定に必要となる情報は、画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。

ステップＳ１０１において、カメラ撮影画像中の被写体の前に障害物があるか、あるいは被写体距離が近すぎると判定した場合は、ステップＳ１０３に進む。
いずれでもないと判定した場合はステップＳ１０２に進む。

（ステップＳ１０２）
ステップＳ１０１において、カメラ撮影画像中の被写体の前に障害物がなく、また被写体距離が近すぎることもないと判定した場合は、ステップＳ１０２に進む。
ステップＳ１０２では、「（状態１）高画質合成画像出力可能状態」を継続する。
なお、この状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「合成処理＝ＯＮ［きれいに撮れます］」、
上記情報の表示処理を実行する。

（ステップＳ１０３）
一方、ステップＳ１０１において、カメラ撮影画像中の被写体の前に障害物があるか、あるいは被写体距離が近すぎると判定した場合は、ステップＳ１０３に進む。
ステップＳ１０３において、被写体距離が近すぎるかを判定する。
この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。

ステップＳ１０３において、被写体距離が近すぎると判定した場合は、ステップＳ１０４に進む。
近すぎないと判定した場合はステップＳ１０５に進む。

（ステップＳ１０４）
ステップＳ１０３において、被写体距離が近すぎると判定した場合は、ステップＳ１０４に進む。
ステップＳ１０４において、制御部は、現在の状態＝「（状態１）高画質合成画像出力可能状態」を、変更して、「（状態３）近接アラート出力状態」に移行する。

この（状態３）近接アラート出力状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「近接アラート［被写体が近すぎます］」、
上記情報の表示処理を実行する。

（ステップＳ１０５）
一方、ステップＳ１０３において、被写体距離が近すぎないと判定した場合は、ステップＳ１０５に進む。
ステップＳ１０５において、制御部は、現在の状態＝「（状態１）高画質合成画像出力可能状態」を、変更して、「（状態２）障害物アラート出力状態」に移行する。

この（状態２）障害物アラート出力状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「障害物アラート［障害物があります］」、
上記情報の表示処理を実行する。

なお、図２０に示すフローに従った処理は、画像処理装置の撮像部を介して入力される画像フレーム単位、あるいは所定の複数フレーム単位で繰り返し実行される。

次に、図２１に示すフローを参照して画像処理装置４００が、
（状態２）障害物アラート出力状態にある場合、すなわち、表示部（タッチパネル）１３１に、図１４を参照して説明した、
（表示例２）障害物アラート［障害物があります］、
上記情報が表示された状態における処理シーケンスについて説明する。

（ステップＳ１２１）
画像処理装置（カメラ）の制御部は、「（状態２）障害物アラート出力状態」にある場合、まず、ステップＳ１２１において、カメラ撮影画像中の被写体の前に障害物があるかを判定する。
この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。

ステップＳ１２１において、カメラ撮影画像中の被写体の前に障害物があると判定した場合は、ステップＳ１２２に進む。
ないと判定した場合はステップＳ１２３に進む。

（ステップＳ１２２）
ステップＳ１２１において、カメラ撮影画像中の被写体の前に障害物があると判定した場合は、ステップＳ１２２に進む。
ステップＳ１２２では、「（状態２）障害物アラート出力状態」を継続する。
なお、この状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「障害物アラート［障害物があります］」、
上記情報の表示処理を実行する。

（ステップＳ１２３）
一方、ステップＳ１２１において、カメラ撮影画像中の被写体の前に障害物がないと判定した場合は、ステップＳ１２３に進む。
制御部は、ステップＳ１２３において、被写体距離が近すぎるかを判定する。
この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。

ステップＳ１２３において、被写体距離が近すぎると判定した場合は、ステップＳ１２４に進む。
近すぎないと判定した場合はステップＳ１２５に進む。

（ステップＳ１２４）
ステップＳ１２３において、被写体距離が近すぎると判定した場合は、ステップＳ１２４に進む。
ステップＳ１２４において、制御部は、現在の状態＝「（状態２）障害物アラート出力状態」を、変更して、「（状態３）近接アラート出力状態」に移行する。

この（状態３）近接アラート出力状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「近接アラート［被写体が近すぎます］」、
上記情報の表示処理を実行する。

（ステップＳ１２５）
一方、ステップＳ１２３において、被写体距離が近すぎないと判定した場合は、ステップＳ１２５に進む。
ステップＳ１２５において、制御部は、現在の状態＝「（状態２）障害物アラート出力状態」を変更して、「（状態１）高画質合成画像出力可能状態」に移行する。

この（状態１）高画質合成画像出力可能状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「合成処理＝ＯＮ［きれいに撮れます］」、
上記情報の表示処理を実行する。

なお、図２１に示すフローに従った処理は、画像処理装置の撮像部を介して入力される画像フレーム単位、あるいは所定の複数フレーム単位で繰り返し実行される。

次に、図２２に示すフローを参照して画像処理装置４００が、
（状態３）近接アラート出力状態にある場合、すなわち、表示部（タッチパネル）１３１に、図１４を参照して説明した、
（表示例３）近接アラート［被写体が近すぎます］、
上記情報が表示された状態における処理シーケンスについて説明する。

（ステップＳ１４１）
画像処理装置（カメラ）の制御部は、「（状態３）近接アラート出力状態」にある場合、まず、ステップＳ１４１において、カメラ撮影画像中の被写体の被写体距離が近すぎるかを判定する。
この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。

ステップＳ１４１において、被写体が近すぎると判定した場合は、ステップＳ１４２に進む。
近すぎないと判定した場合はステップＳ１４３に進む。

（ステップＳ１４２）
ステップＳ１４１において、カメラ撮影画像中の被写体が近すぎると判定した場合は、ステップＳ１４２に進む。
ステップＳ１４２では、「（状態３）近接アラート出力状態」を継続する。
なお、この状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「近接アラート［被写体が近すぎます］」、
上記情報の表示処理を実行する。

（ステップＳ１４３）
一方、ステップＳ１４１において、カメラ撮影画像中の被写体の距離がせ近すぎないと判定した場合は、ステップＳ１４３に進む。
制御部は、ステップＳ１４３において、被写体の前に障害物があるか否かを判定する。
この判定に必要な情報は、撮影条件情報５０、あるいは画像処理部１２０の特徴量算出部１２４、画質判定部１２５から取得される。

ステップＳ１４３において、被写体の前に障害物があると判定した場合は、ステップＳ１４４に進む。
障害物がないと判定した場合はステップＳ１４５に進む。

（ステップＳ１４４）
ステップＳ１４３において、被写体の前に障害物があると判定した場合は、ステップＳ１４４に進む。
ステップＳ１４４において、制御部は、現在の状態＝「（状態３）近接アラート出力状態」を、変更して、「（状態２）障害物アラート出力状態」に移行する。

この（状態２）障害物アラート出力状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「障害物アラート［障害物があります］」、
上記情報の表示処理を実行する。

（ステップＳ１４５）
一方、ステップＳ１４３において、障害物がないと判定した場合は、ステップＳ１４５に進む。
ステップＳ１４５において、制御部は、現在の状態＝「（状態３）近接アラート出力状態」を変更して、「（状態１）高画質合成画像出力可能状態」に移行する。

この（状態１）高画質合成画像出力可能状態では、先に図１４を参照して説明した（Ａ）合成画像撮影ガイド情報として、「合成処理＝ＯＮ［きれいに撮れます］」、
上記情報の表示処理を実行する。

なお、図２２に示すフローに従った処理は、画像処理装置の撮像部を介して入力される画像フレーム単位、あるいは所定の複数フレーム単位で繰り返し実行される。

［５．その他の実施例について］
上述した実施例では、
（ａ）カラー画像基準合成画像、
（ｂ）白黒画像基準合成画像、さらに、
（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
これら４種類の画像のうち、最も高画質な画像はどれであるかの判定処理を実行して、高画質画像を出力することを可能とした構成例について説明した。

本開示の構成は、これら４種類の画像の選択出力のみならず、例えば、
合成画像、
カラー画像、
これら２種類の画像のみの選択出力構成にも適用可能である。
その他、様々な２種類以上の異なる画像の選択出力構成に適用できる。

また、本発明の構成を適用して出力が決定された画像以外の撮像部や、画像処理部を停止させることで、画像処理装置の消費電力を低減することが可能である。

［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する画像処理装置。

（２） 前記表示情報制御部は、
被写体が近すぎて高画質な合成画像を生成できない場合に、被写体に近すぎることを警告する近接アラートを前記表示部に表示する（１）に記載の画像処理装置。

（３） 前記表示情報制御部は、
被写体の前の障害物によって高画質な合成画像を生成できない場合に、被写体の前に障害物があることを警告する障害物アラートを前記表示部に表示する（１）または（２）に記載の画像処理装置。

（４） 前記表示情報制御部は、
高画質な合成画像を生成できる場合に、高画質な合成画像の撮影が可能であることを示す通知情報を前記表示部に表示する（１）～（３）いずれかに記載の画像処理装置。

（５） 前記表示情報制御部は、
現状の撮影条件が、高画質な合成画像の生成に適応しているか否かを示す合成画像適応レベルインジケータを前記表示部に表示する（１）～（４）いずれかに記載の画像処理装置。

（６） 前記表示情報制御部は、
合成画像と、合成前のカラー画像を含む複数画像を並列に前記表示部に表示する（１）～（５）いずれかに記載の画像処理装置。

（７） 前記表示情報制御部は、
一枚の画像を区分した区分領域単位で合成画像と合成前のカラー画像を含む複数画像を組み合わせた画像を前記表示部に表示する（１）～（５）いずれかに記載の画像処理装置。

（８） 前記画像処理部は、
ユーザによる画像指定情報に基づいて、合成画像と、合成前のカラー画像を含む複数画像から記録画像を選択出力する（１）～（７）いずれかに記載の画像処理装置。

（９） 前記画像処理部は、
高画質な合成画像が生成可能であるか否かを判定する画質判定部を有し、
前記表示情報制御部は、
前記画質判定部の判定情報に基づいて高画質な合成画像を生成可能とするためのガイド情報を前記表示部に表示する（１）～（８）いずれかに記載の画像処理装置。

（１０） 前記画像処理装置は、
（ａ）高画質な合成画像を撮影可能な状態であり、前記表示部に合成画像の撮影が可能であること示す表示を行う高画質合成画像出力可能状態、
（ｂ）被写体の前に障害物があり高画質な合成画像を撮影できない状態であり、前記表示部に障害物があるとの警告表示を行う障害物アラート出力状態、
（ｃ）被写体が近すぎて高画質な合成画像を撮影できない状態であり、前記表示部に被写体が近すぎるとの警告表示を行う近接アラート出力状態、
上記（ａ）～（ｃ）の３状態を状況に応じて遷移する（１）～（９）いずれかに記載の画像処理装置。

（１１） 画像処理装置において実行する出力情報制御方法であり、
前記画像処理装置は、
異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
表示情報制御部が、合成画像に関する補助情報を表示部に表示する制御を行う出力情報制御方法。

（１２） 画像処理装置において情報出力処理を制御するプログラムであり、
前記画像処理装置は、
異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
前記プログラムは、表示情報制御部に、合成画像に関する補助情報を表示部に表示する制御を行わせるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法が実現される。
具体的には、例えば、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有する。表示情報制御部は、被写体が近すぎる場合や障害物により高画質な合成画像を生成できない場合、警告情報として近接アラートや、障害物アラートを出力し、さらに合成画像適応レベルを表示する。さらに、合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした。
本構成により、高画質な合成画像を撮影可能とするためのガイド情報を出力し、さらに合成画像とカラー画像等を並列表示して記録画像のユーザ選択を可能とした装置、方法が実現される。

１０ 画像処理装置
１１ 表示部
１２ 操作部
２１ カラー画像撮像部
２２ 白黒画像撮像部
５０ 撮影条件情報
１００ 画像処理装置
１１０ 撮像部
１１１ カラー画像撮像部
１１２ 白黒画像撮像部
１２０ 画像処理部
１２１，１２２ 前処理部
１２３ 視差検出部
１２４ 特徴量算出部
１２５ 画質判定部
１２６ 合成画像生成部
１２７ 出力画像生成部（選択／合成）
１３０ 出力部
１３１ 表示部（タッチパネル）
１３２ 記憶部
１４１ センサ部
１４２ 操作部
１５０ 制御部
１６０ 通信部
３０１ 合成画像撮影ガイド情報
３０２ 合成画像適応レベルインジケータ
３０３ 表示切り換え部
４０１ 表示情報制御部

Claims (11)

1. 異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
   合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有し、
   前記表示情報制御部は、
   前記合成画像生成部が生成する前記合成画像が、被写体が近すぎて高画質な合成画像にならないと判定した場合、被写体に近すぎることを警告する近接アラートを前記表示部に表示する画像処理装置。
2. 異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
   合成画像に関する補助情報を表示部に表示する制御を行う表示情報制御部を有し、
   前記表示情報制御部は、
   現状の撮影条件が、
   前記合成画像生成部が生成する前記合成画像を高画質な合成画像とする条件に適応しているか否かを示す合成画像適応レベルインジケータを前記表示部に表示する画像処理装置。
3. 前記表示情報制御部は、
   前記合成画像生成部が生成する前記合成画像が、被写体の前の障害物によって高画質な合成画像にならないと判定した場合、被写体の前に障害物があることを警告する障害物アラートを前記表示部に表示する請求項１または２に記載の画像処理装置。
4. 前記表示情報制御部は、
   前記合成画像生成部が生成する前記合成画像が、高画質な合成画像になると判定した場合、高画質な合成画像の撮影が可能であることを示す通知情報を前記表示部に表示する請求項１または２に記載の画像処理装置。
5. 前記表示情報制御部は、
   合成画像と、合成前のカラー画像を含む複数画像を並列に前記表示部に表示する請求項１または２に記載の画像処理装置。
6. 前記表示情報制御部は、
   一枚の画像を区分した区分領域単位で合成画像と合成前のカラー画像を含む複数画像を組み合わせた画像を前記表示部に表示する請求項１または２に記載の画像処理装置。
7. 前記画像処理装置は、
   ユーザによる画像指定情報に基づいて、合成画像と、合成前のカラー画像を含む複数画像から記録画像を選択出力する請求項１または２に記載の画像処理装置。
8. 前記画像処理装置は、
   前記合成画像生成部が生成する前記合成画像を高画質な合成画像とすることが可能であるか否かを判定する画質判定部を有し、
   前記表示情報制御部は、
   前記画質判定部の判定情報に基づいて高画質な合成画像を生成可能とするためのガイド情報を前記表示部に表示する請求項１または２に記載の画像処理装置。
9. 前記画像処理装置は、
   （ａ）前記合成画像生成部が生成する前記合成画像を高画質な合成画像とする撮影が可能な状態であり、前記表示部に合成画像の撮影が可能であること示す表示を行う高画質合成画像出力可能状態、
   （ｂ）被写体の前に障害物があり、前記合成画像生成部が生成する前記合成画像を高画質な合成画像とする撮影ができない状態であり、前記表示部に障害物があるとの警告表示を行う障害物アラート出力状態、
   （ｃ）被写体が近すぎて前記合成画像生成部が生成する前記合成画像を高画質な合成画像とする撮影ができない状態であり、前記表示部に被写体が近すぎるとの警告表示を行う近接アラート出力状態、
   上記（ａ）～（ｃ）の３状態を状況に応じて遷移する請求項１または２に記載の画像処理装置。
10. 画像処理装置において実行する出力情報制御方法であり、
    前記画像処理装置は、
    異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
    表示情報制御部が、合成画像に関する補助情報を表示部に表示する制御を行い、
    現状の撮影条件が、
    前記合成画像生成部が生成する前記合成画像を高画質な合成画像とする条件に適応しているか否かを示す合成画像適応レベルインジケータを前記表示部に表示する制御を行う、
    出力情報制御方法。
11. 画像処理装置において情報出力処理を制御するプログラムであり、
    前記画像処理装置は、
    異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部を有し、
    前記プログラムは、表示情報制御部に、合成画像に関する補助情報を表示部に表示する制御を行わせ、さらに、
    現状の撮影条件が、
    前記合成画像生成部が生成する前記合成画像を高画質な合成画像とする条件に適応しているか否かを示す合成画像適応レベルインジケータを前記表示部に表示する制御を行わせるプログラム。

Images