WO2019146419A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

高画質なワンポイントカラー画像の生成を可能とした装置、方法を実現する。異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成部を有する。出力画像生成部は、ワンポイントカラー画像のカラー化領域を合成画像の画素値出力領域とし、非カラー化領域を白黒画像の画素値出力領域としたワンポイントカラー画像を生成する。カラー化領域の選択は、ユーザ選択、自動選択のいずれかによって行われる。例えばユーザ指定領域情報、被写体距離情報等を用いて実行される。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、複数の撮像部で撮影されたカラー画像と白黒画像の合成処理によって、一部の画像領域のみをカラー化したワンポイントカラー画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

　画像の一部領域のみをカラー化し、残りを白黒画像とした画像は、ワンポイントカラー画像と呼ぶ。
　このワンポイントカラー画像の生成処理について記載した従来技術として例えば特許文献１（特開２０１３－２２８６８９号公報）がある。
　この特許文献１には、カラー画像に対してユーザが領域指定を行い、指定領域のみをカラー画像として残し、その他の領域を白黒画像に変換してワンポイントカラー画像を生成する構成を開示している。

特開２０１３－２２８６８９号公報

　上記特許文献１は、カラー画像のみを利用してワンポイントカラー画像を生成する構成を開示している。
　これに対して本開示の構成は、カラー画像と白黒画像の２つの画像を利用してワンポイントカラー画像を生成する。

　カラー画像に比較して白黒画像は輝度情報の忠実な再現が可能であり、カラー画像に白黒画像の輝度情報を利用して合成した合成カラー画像はより高画質な画像となる。
　従って、例えば、カラー化を施したい領域のみカラー画像と白黒画像を合成した合成画像（カラー画像）とし、その他の領域を、白黒画像を利用した白黒画像とすることで、画像全体に白黒画像の高精度な輝度情報が反映された高画質なワンポイントカラー画像を生成することができる。

　本開示は、このようにカラー画像と白黒画像の２つの画像を利用して高画質なワンポイントカラー画像を生成することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
　画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成部を有し、
　前記出力画像生成部は、
　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成する画像処理装置にある。

　さらに、本開示の第２の側面は、
　画像処理装置において実行する画像処理方法であり、
　合成画像生成部が、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成ステップと、
　出力画像生成部が、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成ステップを実行し、
　前記出力画像生成ステップにおいて、
　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成する画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画像処理を実行させるプログラムであり、
　合成画像生成部に、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成させる合成画像生成ステップと、
　出力画像生成部、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成ステップを実行させ、
　前記出力画像生成ステップにおいて、
　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、本開示の一実施例の構成によれば、高画質なワンポイントカラー画像の生成を可能とした装置、方法が実現される。
　具体的には、例えば、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成部を有する。出力画像生成部は、ワンポイントカラー画像のカラー化領域を合成画像の画素値出力領域とし、非カラー化領域を白黒画像の画素値出力領域としたワンポイントカラー画像を生成する。カラー化領域の選択は、ユーザ選択、自動選択のいずれかによって行われる。例えばユーザ指定領域情報、被写体距離情報等を用いて実行される。
　本構成により、高画質なワンポイントカラー画像の生成を可能とした装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ワンポイントカラー画像の生成処理例について説明する図である。 ワンポイントカラー画像の生成処理例について説明する図である。 画像処理装置の外観構成例について説明する図である。 画像処理装置の構成例について説明する図である。 撮像素子の構成例について説明する図である。 白黒画像の画質について説明する図である。 カラー画像の画質について説明する図である。 オクルージョンについて説明する図である。 画像処理部の構成例について説明する図である。 基準画像決定処理の一例について説明する図である。 基準画像決定処理の一例について説明する図である。 画像処理装置の動作モードについて説明する図である。 表示部に対するＵＩ表示例、撮影実行中の実行モード表示例について説明する図である。 本開示の画像処理装置の構成と処理について説明する図である。 本開示の画像処理装置の構成と処理について説明する図である。 本開示の画像処理装置において実行されるカラー領域選択処理例について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．カラー画像と白黒画像を利用したワンポイントカラー画像の生成処理の概要について
　２．画像処理装置の構成例について
　３．画像処理部の実行する合成画像の生成処理について
　４．画像処理装置において実行される動作モードについて
　５．ワンポイントカラー画像のカラー化領域の設定方法について
　６．その他の実施例について
　７．本開示の構成のまとめ

　　［１．カラー画像と白黒画像を利用したワンポイントカラー画像の生成処理の概要について］
　まず、図１以下御を参照して、以下の２通りのワンポイントカラー画像生成処理について説明する。
　（Ａ）カラー画像をベースとしたワンポイントカラー画像の生成処理、
　（Ｂ）本開示の画像処理装置が実行するカラー画像と白黒画像を利用したワンポイントカラー画像の生成処理、

　図１は、例えば上述した特許文献１（特開２０１３－２２８６８９号公報）に記載されたカラー画像をベースとしたワンポイントカラー画像の生成処理例について説明する図である。

　カラー画像をベースとしたワンポイントカラー画像の生成処理は、以下の処理手順に従って実行される。
　（ステップＳ１１）
　カラー画像を撮影する。
　（ステップＳ１２）
　撮影されたカラー画像を、例えばタッチパネル機能を持つ表示部（ＵＩ）に出力し、ユーザがカラー化したい部分を選択する。
　（ステップＳ１３）
　画像処理部が、ユーザ選択部分の色情報を残し、それ以外の部分の色情報を削除する画像処理を実行してワンポイントカラー画像を生成する。
　（ステップＳ１４）
　画像処理部が生成したワンポイントカラー画像をエンコード（ｊｐｇ、ｍｐ４など)して記憶部に記録する。

　このように、従来のワンポイントカラー画像生成処理は、１つのカラー画像を利用して、ユーザ指定領域のみの色情報を残し、その他の領域の色情報を削除するという処理を行っていた。

　しかし、この方法では、白黒領域の輝度情報は、元のカラー画像から得られる輝度情報となる。
　カラー画像の輝度情報は白黒画像に比較すると忠実な輝度レベル再現性が劣るという欠点がある。これは、カラー画像撮像素子の画素各々は、ＲＧＢそれぞれ異なる色フィルタを介した光を入力しているためである。
　白黒画像撮像素子は、このような色フィルタを介していないため、各画素に入射する光の輝度レベルを忠実に再現することが可能となる。

　本開示の画像処理装置は、この白黒画像の輝度レベルの再現性を利用して高品質なワンポイントカラー画像を生成することを可能としたものである。
　図２を参照して、本開示の画像処理装置が実行するカラー画像と白黒画像を利用したワンポイントカラー画像の生成処理例について説明する。

　カラー画像と白黒画像を利用したワンポイントカラー画像の生成処理は、以下の処理手順に従って実行される。
　（ステップＳ２１ａ，Ｓ２１ｂ）
　カラー画像と白黒画像を撮影する。
　（ステップＳ２２）
　撮影されたカラー画像、または白黒画像を、例えばタッチパネル機能を持つ表示部（ＵＩ）に出力し、ユーザがカラー化したい部分を選択する。
　図に示す例では、カラー画像を表示部（ＵＩ）に出力してユーザがカラー化したい部分を選択する例を示しているが、白黒画像を表示部（ＵＩ）に出力してユーザがカラー化したい部分を選択する構成としてもよい。

　（ステップＳ２３）
　画像処理部が、ユーザ選択部分についてはカラー画像と白黒画像の合成処理を行い白黒画像の精度の高い輝度情報とカラー画像の色情報を併せ持つ合成カラー画像を生成する。ユーザ選択部分以外の部分については、白黒画像をそのまま利用する。
　このような画像処理を実行してワンポイントカラー画像を生成する。
　（ステップＳ２４）
　画像処理部が生成したワンポイントカラー画像をエンコード（ｊｐｇ、ｍｐ４など)して記憶部に記録する。

　本開示の処理では、このように、輝度再現性の高い白黒画像を利用して、ユーザ選択部分のみカラー画像から色情報を取得して、白黒画像上に色情報を合成し、それ以外の部分は、白黒画像をそのまま利用する画像合成処理を実行してワンポイントカラー画像を生成する。
　この処理により、白黒画像の持つ忠実な輝度情報を反映した高画質なワンポイントカラー画像を生成することが可能となる。
　以下、この処理を実行する画像処理装置の具体的な構成と処理について説明する。

　なお、図２を参照して説明した処理例では、カラー化する領域をユーザが選択する設定を説明したが、カラー化領域の選択は、ユーザ選択に限らず、例えば被写体の距離、顔認識等の処理に基づいて自動的に実行する等、様々な処理が可能である。
　これらの具体例については後述する。

　　［２．画像処理装置の構成例について］
　図３は、本開示の画像処理装置の一構成例を示す図である。図３は、カメラ機能を備えた情報処理端末（スマホ）であり、本開示の画像処理装置の一例である。
　なお、本開示の画像処理装置は、このような情報処理端末（スマホ）に限らず、例えばカメラ等の撮像装置や、カメラ撮影画像を入力して画像処理を実行するＰＣ等の装置も含まれる。

　図３（ａ）は画像処理装置１０の表側を示しており、表示部１１および操作部１２が表側に設けられている。図３（ｂ）は画像処理装置１０の裏側を示しており、複数の撮像部、すなわちカラー画像撮像部２１、白黒画像撮像部２２が裏側に設けられている。

　図４は、カラー画像撮像部１１１、白黒画像撮像部１１２を個別に有する２眼型の一般的な画像処理装置の構成例を示している。
　画像処理装置１００は、撮像部１１０を構成するカラー画像撮像部１１１、白黒画像撮像部１１２、画像処理部１２０、さらに、画像処理部１２０の処理画像の出力部１３０として表示部（タッチパネル）１３１、記憶部１３２を有する。
　さらに、センサ部１４１、操作部１４２、制御部１５０、通信部１６０を有している。

　カラー画像撮像部１１１、白黒画像撮像部１１２は、図３（ｂ）に示すように画像処理装置１００の同一面側に設けられている。カラー画像撮像部１１１、白黒画像撮像部１１２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子を用いて構成されており、レンズ（図示せず）により取り込まれた光の光電変換を行い、撮像画の画像データを生成して画像処理部１２０へ出力する。また、カラー画像撮像部１１１、白黒画像撮像部１１２は特性差を有している。

　図５は、撮像部の画素配列を例示している。図５（ａ）は、白黒画像撮像部１１２の画素配列を示している。白黒画像撮像部１１２は、全画素が、可視光の全波長領域の入射光量に基づく電気信号を出力するＷ（ホワイト）画素によって構成される。したがって、白黒画像撮像部１１２は、白黒画像の画像データを生成する。

　図５（ｂ）は、カラー画像撮像部１１１の画素配列を示している。カラー画像撮像部１１１は、例えば赤色（Ｒ）画素と青色（Ｂ）画素と緑色（Ｇ）画素をベイヤ配列としたカラーフィルタを用いて構成されている。ベイヤ配列では２×２画素の画素単位において対角位置の２つの画素が緑色（Ｇ）画素で、残りの画素が赤色（Ｒ）画素と青色（Ｂ）画素とされている。すなわち、カラー画像撮像部１１１は、各画素が赤色と青色と緑色のいずれか１つの色成分の入射光量に基づく電気信号を出力する色画素によって構成されている。したがって、カラー画像撮像部１１１は、各画素が三原色（ＲＧＢ）成分のいずれかを示すカラー画像の画像データを生成する。

　画像処理部１２０は、カラー画像撮像部１１１、白黒画像撮像部１１２で取得された撮像画を用いて、合成画像を生成する。すなわち、画像処理部１２０は、カラー画像撮像部１１１、白黒画像撮像部１１２で取得された撮像画を用いて画像処理を行い、カラー画像撮像部１１１や、白黒画像撮像部１１２で個々に取得される撮像画を高画質化した合成画像を生成して、出力部１３０内の表示部（タッチパネル）１３１や記憶部１３２へ出力する。なお、画像処理部１２０の構成および動作の詳細については後述する。

　センサ部１４１はジャイロセンサなどを用いて構成されており、画像処理装置１００に生じた揺れを検出する。センサ部１４１は、検出した揺れの情報を制御部１５０へ出力する。

　通信部１６０は、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やインターネットなどのネットワーク上の機器と通信を行う。

　表示部（タッチパネル）１３１は、画像処理部１２０から供給された画像データに基づき撮像画の表示、制御部１５０からの情報信号に基づきメニュー画面や各種アプリケーション画面等の表示を行う。なお、表示部（タッチパネル）１３１の表示面はタッチパネル構成を有し、ＧＵＩ機能利用できるように構成されている。

　操作部１４２は操作スイッチ等を用いて構成されており、ユーザ操作に応じた操作信号を生成して制御部１５０へ出力する。

　記憶部１３２は、画像処理装置１００で生成された情報例えば画像処理部１２０から供給された画像データや、画像処理装置１００で通信やアプリケーションを実行するために用いられる各種情報を記憶する。

　制御部１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ），ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）（図示せず）などで構成されている。制御部１５０は、ＲＯＭまたはＲＡＭに記憶されたプログラムを実行して、表示部（タッチパネル）１３１を構成するタッチパネルや操作部１４２に対するユーザ操作に応じた動作が画像処理装置１００で行われるように各部の動作を制御する。

　なお、画像処理装置１００は、図４に示す構成に限られず、例えば画像データを符号化して記憶部１３２に記憶するための符号化処理部、画像データを表示部の解像度に合わせる解像度変換部等が設けられてもよい。

　　［３．画像処理部の実行する合成画像の生成処理について］
　次に、画像処理部１２０の実行する合成画像の生成処理について説明する。
　図４に示す画像処理部１２０は、白黒画像撮像部１１２で取得された白黒画像とカラー画像撮像部１１１で取得されたカラー画像を用いて画像合成処理を行う。

　図６は、白黒画像を基準画像とした画像合成処理によって得られる画質を説明するための図である。例えば、白黒画像を基準として、白黒画像の画像位置にカラー画像を位置合わせした後、画像合成を行って合成画像を生成すると、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。

　一方、図７は、カラー画像を基準画像とした画像合成処理によって得られる画質を説明するための図である。例えば、カラー画像を基準として、カラー画像の画像位置に白黒画像を位置合わせした後、画像合成を行って合成画像を生成すると、カラー画像を基準としていることから合成画像では色ずれを生じることがなく、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。

　しかし、白黒画像撮像部１１２とカラー画像撮像部１１１では視点が異なることから、遠景に比べて近景では色ずれを生じるリスクが高くなる。また、遠景に比べて近景ではオクルージョン領域が増加する。
　オクルージョン領域は、例えば撮像部に近い障害物等によって、一方の画像にのみ撮影され、他方の画像に撮影されない領域である。

　図８は、白黒画像撮像部１１２で取得される白黒画像を基準としたときのオクルージョン領域を示している。視差によってオクルージョンが生じると、カラー画像撮像部１１１で取得されたカラー画像ではオクルージョン領域に対応する画像データがない。このため画像合成処理によって生成された合成画像ではオクルージョン領域で色情報が欠落した画像となる。さらに、遠景に比べて近景の画素では一方の撮像画における注目画素に対応する画素が視差検出の探索範囲を超えて、視差ベクトルを算出できないおそれもある。したがって、画像合成処理によって得られる合成画像は、カラー画像撮像部１１１で取得されたカラー画像よりも画質が劣化する場合がある。

　また、白黒画像撮像部１１２はカラーフィルタを用いたカラー画像撮像部１１１に比べて感度が高いことから、被写体の輝度が高くなると、カラー画像撮像部１１１に比べて画素の飽和を生じやすい。このように白黒画像において飽和した画素が多くなると、合成画像では、カラー画像撮像部１１１で取得されたカラー画像に比べて被写体の高輝度部分がより多く飽和している画質の劣化したカラー画像となってしまう。

　このため、画像処理部１２０は、撮像画に基づき視差や画素の飽和に起因する画質の劣化を生じるか否かの画像合成判定を行う。画像処理部１２０は、画像合成判定結果に応じて、以下の２種類の合成画像のいずれか一方を生成する。
　カラー画像撮像部１１１で取得されたカラー画像を基準画像とした合成画像、
　白黒画像撮像部１１２で取得された白黒画像を基準画像とした合成画像。

　図９は、画像処理部１２０の詳細構成例を示す図である。
　画像処理部１２０は、前処理部１２１，１２２、視差検出部１２３、特徴量算出部１２４、画質判定部１２５、合成画像生成部１２６、出力画像生成部（選択／合成）１２７を有している。

　前処理部１２１，１２２は、カラー画像撮像部１１１、白黒画像撮像部１１２の取得した撮像画の画像データに対して、レンズ歪補正や欠陥画素補正、ホワイトバランス調整等の画像補正処理を行う。補正後の画像データは、視差検出部１２３、特徴量算出部１２４、画質判定部１２５、合成画像生成部１２６、出力画像生成部（選択／合成）１２７へ出力される。

　視差検出部１２３は、前処理部１２１，１２２から供給された白黒画像データとカラー画像データに基づいて視差検出を行う。
　白黒画像撮像部１１２とカラー画像撮像部１１１は、図３の（ｂ）に示すように異なる視点位置から撮像を行うため、白黒画像撮像部１１２とカラー画像撮像部１１１で取得された撮像画は視差を持つ画像となる。

　視差検出部１２３は、ブロックマッチングなどの対応点検出処理によって、画素単位の視差検出を行う。この検出情報は、特徴量算出部１２４に出力される。

　特徴量算出部１２４は、視差検出部１２３の検出した２つの画像データの画素単位または画像領域単位の視差情報を入力して、画像特徴量、具体的には、視差の部分布やオクルージョン領域の大きさ（占有率）等を算出する。
　この特徴量算出部１２４の具体的構成例と処理については後述する。
　特徴量算出部１２４の算出した特徴量情報は、画質判定部１２５に出力される。

　画質判定部１２５は、特徴量算出部１２４の算出した特徴量情報に基づいて、合成画像の画質等を判定する。具体的には、例えば、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、
　これらの合成画像の画質を判定する。
　この判定結果が、合成画像生成部１２６、および出力画像生成部（選択／合成）１２７に出力される。

　合成画像生成部１２６は、画質判定部１２５の判定結果に基づいて、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、
　これらのいずれかの合成画像を生成する。
　基準画像は、合成画像を生成する際の基準となる画像である。

　カラー画像を基準画像に設定した場合、合成画像生成部１２６では、前処理部１２１から供給されたカラー画像データをベースとして、白黒画像から得られる輝度情報に基づく画素値補正を行い、合成画像を生成する。
　一方、白黒画像を基準画像に設定した場合、合成画像生成部１２６では、前処理部１２２から供給された白黒画像データをベースとして、カラー画像から得られる色情報に基づく画素値補正を行い、合成画像を生成する。

　画質判定部１２５では、
　白黒画像を基準画像として生成した合成画像と、
　カラー画像を基準画像として生成した合成画像、
　これら２種類のいずれの合成画像が高画質な合成画像となり得るかを判定する。

　以下、この判定処理の一つの具体例について説明する。
　画質判定部１２５は、特徴量算出部１２４から入力する特徴量情報を用いて、カラー画像、白黒画像、どちらの画像を基準画像に設定するかを決定する。
　具体的には、例えば、２つの画像データの視差情報と、オクルージョン領域検出情報に基づいて、カラー画像、白黒画像、どちらの画像を基準画像に設定するかを決定する。
　この基準画像決定処理の一例について、図１０を参照して説明する。

　図１０に示すグラフは、横軸にオクルージョン面積、縦軸に視差を設定したグラフである。
　横軸のオクルージョン面積は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像、これら２つの画像の画像領域に含まれるオクルージョン領域の占有率（％）に相当する。
　縦軸の視差は、カラー画像撮像部１１１の撮影したカラー画像と、白黒画像撮像部１１２の撮影した白黒画像、これら２つの画像の視差（例えば画素数）である。

　基準画像決定部１２４は、これらのオクルージョン領域占有率と視差を、まず、画像を分割した分割領域単位で算出する。
　図１１を参照してこの処理について説明する。
　図１１はカラー画像撮像部１１１の撮影したカラー画像、または白黒画像撮像部１１２の撮影した白黒画像撮影画像である。
　基準画像決定部１２４は、２つの画像のいずれか一方の画像を選択し、選択画像に複数の分割領域を設定する。図１１に示す点線で区分けされた分割領域である。

　基準画像決定部１２４は、各分割領域単位のオクルージョン領域占有率と視差（平均値）を算出する。
　例えば、図１１に示す例では、８×５＝４０個の分割領域が設定されており、４０個のオクルージョン領域占有率と視差（平均値）を算出する。
　この４０個のオクルージョン領域占有率と視差（平均値）を、図１０に示すグラフ上に配置する。
　すなわち、
　オクルージョン領域占有率＝ｘ、
　視差（平均値）＝ｙ、
　としたときの座標（ｘ，ｙ）を図１０に示すグラフ上に配置する。

　この処理によって、例えば、５０％以上がカラー画像基準領域に含まれていれば、基準画像をカラー画像とする。
　また、５０％以上が白黒画像基準領域に含まれていれば、基準画像を白黒画像とする。
　基準画像決定部１２４は、このような処理によって、基準画像を決定する。

　なお、上述した処理例は一例であり、その他の処理も可能である。
　例えば画像の中央領域にある分割領域に大きな重みを設定して、中央領域のオクルージョン領域占有率と視差（平均値）をより大きく反映させて基準画像を決定する処理を行ってもよい。
　あるいは、顔領域が検出された分割領域の重みを高くして基準画像を決定する処理を行ってもよい。

　図１０に示すグラフから理解されるように、
　オクルージョン面積占有率がしきい値Ｔｈｘ未満で、視差が視差しきい値Ｔｈｙ未満の場合は、白黒画像を基準画像とする。
　一方、オクルージョン面積占有率がしきい値Ｔｈｘ以上、あるいは視差が視差しきい値Ｔｈｙ以上の場合は、カラー画像を基準画像とする。
　画質判定部１２５は、このような処理によって、基準画像を決定する。

　オクルージョン面積占有率が小さく、かつ視差が小さい場合、白黒画像を基準画像として白黒画像の忠実な輝度情報を画像全体に適用することで、高画質な画像を生成することができる。
　すなわち、オクルージョン面積占有率が小さく、かつ視差が小さい場合は、オクルージョンによってカラー画像から色情報が取得できない領域が小さく、また視差による色ずれの問題も少ないため、白黒画像を基準画像として白黒画像の忠実な輝度情報を画像全体に適用した高画質な白黒画像基準合成画像を生成する。

　一方、オクルージョン面積占有率が大きい場合、または視差が大きい場合は、オクルージョンによってカラー画像から色情報が取得できない領域が大きいか、あるいは視差による色ずれの問題が発生する領域が大きくなる可能性があり、これらの問題を低減させるためカラー画像を基準画像としたカラー画像基準合成画像を生成する。
　なお、カラー画像基準合成画像においても白黒画像の輝度情報を適用した合成画像生成処理を行う。

　なお、この図１０、図１１を参照して説明した基準画像決定処理は一例であり、画質判定部１２５は、その他の画像特徴量を用いて、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、
　これらの画像の画質を判定する。

　この判定結果情報は、出力画像生成部（選択／合成）１２７にも出力される。
　出力画像生成部（選択／合成）１２７は、この判定結果に基づいて、
　合成画像生成部１２６の生成した、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、
　これらの画像のいずれかを選択して出力する。

　あるいは、さらに、これらの合成画像のいずれかと、
　（ｃ）カラー画像撮像部１１１の撮影したカラー単眼画像、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　これらの画像の合成画像を生成して出力する。
　合成画像は、出力画像生成部（選択／合成）１２７を介して、表示部（タッチパネル）１３１、記憶部１３２に出力される。

　なお、画像の一部領域をカラー化したワンポイントカラー画像を生成する場合は、出力画像生成部（選択／合成）１２７は、以下の処理を行う。
　ワンポイントカラー化する画像領域を、
　（ａ）カラー画像基準合成画像、
　（ｂ）白黒画像基準合成画像、
　これらの画像のいずれかの画像を用い、その他の白黒領域を、
　（ｄ）白黒画像撮像部１１２の撮影した白黒単眼画像、
　この白黒画像を用いてワンポイントカラー画像を生成する。

　すなわち、出力画像生成部（選択／合成）１２７ワンポイントカラー画像のカラー化領域をカラー画像と白黒画像に基づいて生成した合成画像の画素値出力領域とし、ワンポイントカラー画像のカラー化しないその他の非カラー化領域を白黒画像撮像部１１２の撮影した白黒単眼画像の画素値出力領域としてワンポイントカラー画像を生成する。
　生成したワンポイントカラー画像は、出力画像生成部（選択／合成）１２７から、表示部（タッチパネル）１３１、記憶部１３２に出力される。

　上述したように、ワンポイントカラー画像を生成する場合、画像処理部１２０は、
　カラー化する画像領域をカラー画像と白黒画像の合成画像とし、
　カラー化しない領域を白黒画像撮像部１１２の撮影した白黒単眼画像とした合成画像を生成して出力する。
　この処理を行うことで、画像全体に白黒画像の有する忠実な輝度レベルの再現された高画質なワンポイントカラー画像を生成することができる。

　　［４．画像処理装置において実行される動作モードについて］
　次に、本開示の画像処理装置１００において実行される動作モードについて説明する。
　図１２は、本開示の画像処理装置１００の実行可能な動作モードについて説明する図である。図１２に示すように、本開示の画像処理装置１００の実行可能な動作モードには以下の各モードがある。
　（１）カラー単眼画像撮影モード
　（２）白黒単眼画像撮影モード
　（３）合成画像撮影モード
　（４）ワンポイントカラー画像撮影モード
　（５）スルーモード

　さらに、（３）合成画像撮影モードには、
　（３ａ）カラー画像基準合成画像撮影モード、
　（３ｂ）白黒画像基準合成画像撮影モード、
　これら２つのモードがある。

　（１）カラー単眼画像撮影モードは、
　カラー画像撮像部１１１を用いてカラー単眼画像を撮影して記録するモードである。
　（２）白黒単眼画像撮影モードは、
　白黒画像撮像部１１２を用いて白黒単眼画像を撮影して記録するモードである。

　（３）合成画像撮影モードは、
　カラー画像撮像部１１１によって撮影されたカラー画像と、白黒画像撮像部１１２によって撮影された白黒画像を利用して合成画像を生成して生成した合成画像を記録するモードである。
　なお、この合成画像撮影モードには、
　（３ａ）カラー画像基準合成画像撮影モード、
　（３ｂ）白黒画像基準合成画像撮影モード、
　この２つのモードがある。

　（３ａ）カラー画像基準合成画像撮影モードは、
　カラー画像を基準として、カラー画像の画像位置に白黒画像を位置合わせした後、画像合成を行って合成画像を生成するモードである。カラー画像を基準としていることから合成画像では色ずれを生じることがなく、白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。

　（３ｂ）白黒画像基準合成画像撮影モードは、
　白黒画像を基準として、白黒画像の画像位置にカラー画像を位置合わせした後、画像合成を行って合成画像を生成するモードである。この場合も白黒画像撮像部１１２で用いられているレンズおよびセンサの特性に応じて輝度を忠実に再現することができる。

　（４）ワンポイントカラー画像撮影モードは、
　画像の一部領域のみをカラー画像とし、その他の領域（非カラー化領域）を白黒画像とした画像を生成するモードである。
　ワンポイントカラー画像におけるカラー画像領域は、カラー画像撮像部１１１によって撮影されたカラー画像と、白黒画像撮像部１１２によって撮影された白黒画像を利用した合成画像であり、その他の非カラー化領域は、白黒画像撮像部１１２によって撮影された白黒画像を用いて生成される。

　なお、ワンポイントカラー画像におけるカラー画像領域の合成画像は、カラー画像基準合成画像、または白黒画像基準合成画像のどちらかである。
　画像処理部１２０は、どちらが、より高画質な合成画像となるかの画質判定を行い、高画質な合成画像を生成可能な一方の合成画像を生成する。

　（５）スルーモードは、
　カラー画像撮像部１１１によって撮影されたカラー画像と、白黒画像撮像部１１２によって撮影された白黒画像を、そのまま記憶部に記録するモードである。
　このスルーモードで撮影されたカラー画像と白黒画像は、相互につ撮影時間に関する同期情報がメタデータとして記録される。
　この記憶部に格納された画像を利用して合成画像や、ワンポイントカラー画像を生成することができる。

　ユーザは、これらのモード、すなわち、
　（１）カラー単眼画像撮影モード
　（２）白黒単眼画像撮影モード
　（３）合成画像撮影モード
　（４）ワンポイントカラー画像撮影モード
　（５）スルーモード
　これらのどのモードでの画像撮影、記録を行うかを自由に選択することができる。

　モード選択要のＵＩ（ユーザインタフェース）の例を図１３（ａ）に示す。
　図１３（ａ）は、表示部（タッチパネル）１３１上にモード選択ＵＩ２５１を表示した例である。
　ユーザはこのモード選択ＵＩ２５１を利用してどのモードで撮影するかを選択することができる。

　図１３（ａ）に示す例は、ユーザがワンポイントカラーモードを選択した例である。
　なお、モード設定は、ユーザが行うことも可能であるが、例えば合成画像撮影モードでは、以下の撮影モードが自動的に切り替えられる。
　（３ａ）カラー画像基準合成画像撮影モード、
　（３ｂ）白黒画像基準合成画像撮影モード、
　画像処理部１２０が、これらの２つのモードのいずれが高画質かを判定して高画質合成画像を生成するようにモード切り替えが自動的に行われる。
　例えば動画撮影時には、撮影状況によって、この２つのモードが自動的に切り替えられる。

　図１３（ｂ）は、ユーザがワンポイントカラーモードを選択した場合の表示部（タッチパネル）１３１の表示例である。この例では、撮影中の画像データに併せて実行モード情報２５２が表示される。

　なお、ユーザによってモード指定がなされた場合、図１４にモード示すように、指定情報は、画像処理装置の制御部１５０を介して画像処理部１２０に入力される。
　図１４に示すように、モード指定情報２８１は、表示部（タッチパネル）１３１、あるいは操作部１４２を介して入力され、制御部１５０を介して画像処理部１２０に入力される。

　画像処理部１２０は、入力したモード指定情報に従った処理を行う。すなわち、
　（１）カラー単眼画像撮影モードを指定するモード指定情報が入力された場合は、カラー画像撮像部１１１を用いて撮影されたカラー単眼画像を出力部１３０（表示部１３１、記憶部１３２）に出力する。

　（２）白黒単眼画像撮影モードを指定するモード指定情報が入力された場合は、白黒画像撮像部１１２を用いて撮影された白黒単眼画像を出力部１３０（表示部１３１、記憶部１３２）に出力する。

　（３）合成画像撮影モードを指定するモード指定情報が入力された場合は、カラー画像撮像部１１１によって撮影されたカラー画像と、白黒画像撮像部１１２によって撮影された白黒画像を利用して合成画像を生成して生成した合成画像を出力部１３０（表示部１３１、記憶部１３２）に出力する。

　この合成画像撮影モードでは、画像処理部１２０は、画質判定処理を実行する。すなわち、カラー画像基準合成画像と、白黒画像基準合成画像のどちらが高画質な合成画像となるかの画質判定を行い、高画質な合成画像を生成可能な一方のモードで合成画像を生成する。

　（４）ワンポイントカラー画像撮影モードを指定するモード指定情報が入力された場合は、画像の一部領域のみをカラー画像とし、その他の領域を白黒画像とした画像を生成する。画像処理部１２０は、ワンポイントカラー画像におけるカラー画像領域を、カラー画像撮像部１１１によって撮影されたカラー画像と、白黒画像撮像部１１２によって撮影された白黒画像を利用した合成画像とする。その他の領域は、白黒画像撮像部１１２によって撮影された白黒画像とする。このようにして生成したワンポイントカラー画像を出力部１３０（表示部１３１、記憶部１３２）に出力する。

　なお、前述したように、ワンポイントカラー画像におけるカラー画像領域の合成画像は、カラー画像基準合成画像、または白黒画像基準合成画像のどちらかであり、画像処理部１２０は、どちらが、より高画質な合成画像となるかの画質判定を行い、高画質な合成画像を生成可能な一方の合成画像を生成する。

　（５）スルーモードを指定するモード指定情報が入力された場合は、カラー画像撮像部１１１によって撮影されたカラー画像と、白黒画像撮像部１１２によって撮影された白黒画像を、そのまま出力部１３０（表示部１３１、記憶部１３２）に出力する。

　　［５．ワンポイントカラー画像のカラー化領域の設定方法について］
　ワンポイントカラー画像のカラー化領域の設定方法は、先に図２を参照して説明したように、表示部（タッチパネル）１３１に表示された画像の一部を選択することが可能である。

　図１５に示すように、ユーザによるカラー化領域指定情報２８５は、制御部１５０を介して画像処理部１２０の出力画像生成部（選択／合成）１２７に入力される。
　カラー化領域指定情報２８５は、例えば、表示部（タッチパネル）１３１に対するユーザのタッチ画素位置情報が含まれる。

　画像処理部１２０の出力画像生成部（選択／合成）１２７は、ユーザのタッチ画素位置にある被写体と同一被写体と推定される領域を画像のエッジ情報等から推定し、その被写体をカラー化する領域に設定する。
　このカラー化領域は、合成画像生成部１２６から入力する合成画像を用いて画素値を設定する。
　その他の領域（非カラー化領域）は、白黒画像撮像部１１２によって撮影された白黒画像を適用して画像を生成する。

　なお、この画像合成処理に際しては、必要に応じて各画像の接続部のずれがないように補正を行う。

　合成画像生成部１２６から入力する合成画像が白黒画像基準合成画像である場合は、合成画像が白黒画像の画像位置にカラー画像を位置合わせした後、画像合成を行って生成された合成画像であるため、白黒画像撮像部１１２によって撮影された白黒画像と位置ずれが発生しておらず、そのまま合成処理を行うことができる。

　ただし、合成画像生成部１２６から入力する合成画像がカラー画像基準合成画像である場合は、合成画像がカラー画像の画像位置に白黒画像を位置合わせした後、画像合成を行って生成された合成画像であるため、白黒画像撮像部１１２によって撮影された白黒画像と位置ずれが発生している可能性がある。この場合は、例えば、画像間の対応関係をブロックマッチングなどの対応点検出処理によって行い、位置ずれを解消して合成処理を行う。

　画像処理部１２０の出力画像生成部（選択／合成）１２７において、このようにして生成されたワンポイントカラー画像が出力部１３０（表示部１３１、記憶部１３２）に出力される。

　なお、ワンポイントカラー画像生成モードにおいて、カラー化する領域の選択処理のモードニは、ユーザによる選択であるマニュアルモードと、画像処理装置１００が自動選択するオートモードがある。
　これらの各モードについて、図１６を参照して説明する。

　図１６に示すように、
　（Ａ）マニュアルモードには、
　（ａ１）ユーザによる領域指定選択
　（ａ２）ユーザによる距離指定選択
　これらの２つの選択方法がある。

　また、（Ｂ）オートモードには、
　（ｂ１）測距情報による特定距離範囲のオブジェクト自動選択
　（ｂ２）物体認識による特定物体の自動選択
　（ｂ３）顔認識による顔領域の自動選択
　（ｂ４）暗所における明るい領域の自動選択
　これらの選択方法がある。

　なお、これらの選択処理は、すべて、静止画、動画の撮影時に適用可能であり、また画像撮影前のプレビュー画像にも適用可能である。
　例えば、画像撮影前のプレビュー画像を表示部１３１に表示する段階で、ワンポイントカラー画像を表示して確認することができる。その後、記録開始動作を行うことで、そのカラー化領域の設定を維持したワンポイントカラー画像としての静止画や動画を記録することが可能となる。
　また、動画の撮影実行中にも、撮影しながらその撮影画像に基づくワンポイントカラー画像を表示部１３１に表示して確認しながら記録することも可能である。

　（Ａ）マニュアルモードの、
　（ａ１）ユーザによる領域指定選択は、
　先に図２を参照して説明したステップＳ２２の処理に相当し、ユーザがカラー化したい部分を選択する方法である。図２を参照して説明したように、画像を表示部（ＵＩ）に出力してユーザがカラー化したい部分を選択する。
　この選択方法としては、特定の被写体領域の選択、あるいは矩形領域を指定して選択する方法等がある。
　画像処理部１２０は、ユーザの設定した領域指定情報を入力し、その領域にあるオブジェクトをカラー化する処理を行う。

　（ａ２）ユーザによる距離指定選択は、
　撮像部において撮影される画像に含まれる様々な被写体から、予めユーザがからー化したい被写体の距離範囲を設定する方法である。
　例えばカメラ（画像処理装置）から約７０ｃｍの距離（ピンポイント）、あるいは１ｍ～２ｍの距離範囲等、カラー化したい被写体のあるカメラからの距離を指定する。
　画像処理部１２０は、撮影画像に含まれる被写体距離情報を取得した上で、ユーザの設定した距離指定情報を入力し、その距離にあるオブジェクトをカラー化する処理を行う。

　なお、ユーザは、カラー化する被写体距離範囲の指定のみならず、カラー化しない被写体距離範囲を指定することも可能である。

　また、（Ｂ）オートモードの、
　（ｂ１）測距情報による特定距離範囲のオブジェクト自動選択は、
　ユーザ指定データを用いず、予め装置内のメモリに記録された距離情報を用いて、カラー化する距離範囲を設定する方法である。
　画像処理部１２０は、撮影画像に含まれる被写体距離情報を取得した上で、メモリに格納された規定の距離情報を入力し、その距離にあるオブジェクトをカラー化する処理を行う。

　（ｂ２）物体認識による特定物体の自動選択は、
　予めカメラ（画像処理装置）の記憶部にカラー化したい物体（オブジェクト）、例えば自動車、人等の形状情報を登録しておき、この形状情報に一致または類似する物体をカラー化する。
　画像処理部１２０は、撮影画像に含まれる様々な物体（オブジェクト）の形状解析を実行して、登録形状情報に一致または類似するオブジェクトを選択してカラー化する。

　（ｂ３）顔認識による顔領域の自動選択は、顔認識処理によって認識された顔領域をカラー化する方法である。
　画像処理部１２０は、顔認識処理によって撮影画像から選択された顔領域を選択してカラー化する。

　（ｂ４）暗所における明るい領域の自動選択は、
　例えば、暗い環境化で撮影された画像から明るい部分を検出してカラー化する方法である。
　画像処理部１２０は、例えば暗い環境で撮影される画像の自動露光（ＡＥ）検波値を解析して、露光検波値の高い領域を明るい部分であると判断して、その領域をカラー化する。

　なお、図１６を参照して説明した方法を行うための機能は、画像処理装置１００に備えられている。
　すなわち、画像処理装置１００は、例えば被写体距離検出、オブジェクト形状解析、顔領域検出、ＡＥ検波値解析等の処理機能を備えており、これらの構成を適用した解析情報が画像処理部１２０に入力され、画像処理部１２０は、この解析情報に従ってカラー化領域を決定する。

　画像処理部１２０の出力画像生成部（選択／合成）１２７は、
　カラー化する画像領域を合成画像生成部１２６の生成したカラー画像と白黒画像の合成画像とし、
　カラー化しない領域を白黒画像撮像部１１２の撮影した白黒単眼画像とした、
　ワンポイントカラー画像を生成して出力する。
　この処理を行うことで、画像全体に白黒画像の有する忠実な輝度レベルの再現された高画質なワンポイントカラー画像を生成することができる。

　　［６．その他の実施例について］
　次に、その他の実施例について説明する。以下の実施例について説明する。
　（１）カラー化領域に基づくオートフォーカス（ＡＦ）処理
　（２）カラー化領域に基づく自動露光（ＡＥ）処理

　（１）カラー化領域に基づくオートフォーカス（ＡＦ）処理
　先に図１６を参照して説明したように、ワンポイントカラー画像を生成する場合、様々なカラー化領域選択方法が適用可能である。
　ユーザ選択、あるいは自動選択が可能であるが、このような方法で選択されたカラー化領域にフォーカスを合せるようにオートフォーカス（ＡＦ）処理を実行させる。

　カメラ（画像処理装置）のＡＦ制御部にカラー化領域決定情報を入力し、ＡＦ制御部が、このカラー化領域にフォーカスを合せる制御を実行する。
　このような処理を行うことで、ワンポイントカラー画像のカラー化領域に焦点のあったワンポイントカラー画像を撮影、記録することが可能となる。

　（２）カラー化領域に基づく自動露光（ＡＥ）処理
　これは、ユーザ選択、あるいは自動選択されたカラー化領域の被写体に最適な自動露光（ＡＥ）処理を実行させるものである。

　カメラ（画像処理装置）の露光制御部（ＡＥ制御部）にカラー化領域決定情報を入力し、ＡＥ制御部が、このカラー化領域の被写体に最適な露光制御（ＡＥ）を実行する。
　このような処理を行うことで、ワンポイントカラー画像のカラー化領域の被写体を最適露光で撮影可能となり、カラー領域の被写体をよりクリアな状態としたワンポイントカラー画像を撮影、記録することが可能となる。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
　画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成部を有し、
　前記出力画像生成部は、
　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成する画像処理装置。

　（２）　前記合成画像生成部は、
　（ａ）カラー画像基準合成画像、または、
　（ｂ）白黒画像基準合成画像、
　上記いずれかの合成画像を生成する構成であり、
　上記（ａ），（ｂ）の２つの合成画像中、画質判定処理によって高画質と判定された一方の合成画像を生成する（１）に記載の画像処理装置。

　（３）　前記出力画像生成部は、
　ワンポイントカラー画像のカラー化領域を、前記合成画像生成部の生成した、
　（ａ）カラー画像基準合成画像、または、
　（ｂ）白黒画像基準合成画像、
　上記（ａ），（ｂ）いずれかの合成画像の画素値出力領域としたワンポイントカラー画像を生成する（１）または（２）に記載の画像処理装置。

　（４）　前記出力画像生成部は、
　ワンポイントカラー画像のカラー化領域選択情報を入力して、
　入力したカラー化領域選択情報に従って決定された領域をカラー化領域としたワンポイントカラー画像を生成する（１）～（３）いずれかに記載の画像処理装置。

　（５）　ワンポイントカラー画像のカラー化領域の選択処理は、
　ユーザ選択を行うマニュアルモード、
　自動選択を行うオートモード、
　いずれかによって実行される（１）～（４）いずれかに記載の画像処理装置。

　（６）　ワンポイントカラー画像のカラー化領域の選択処理は、
　ユーザによる領域選択、または被写体距離選択によって実行され、
　前記出力画像生成部は、
　ユーザによるカラー化領域選択情報を入力して、
　入力したカラー化領域選択情報に従って、ユーザ選択領域をカラー化領域に設定したワンポイントカラー画像を生成する（１）～（５）いずれかに記載の画像処理装置。

　（７）　ワンポイントカラー画像のカラー化領域は、撮影画像に含まれる被写体距離に応じて自動的に決定する構成であり、
　前記出力画像生成部は、
　被写体距離ベースのカラー化領域選択情報を入力して、
　入力したカラー化領域選択情報に従って、特定距離の被写体領域をカラー化領域に設定したワンポイントカラー画像を生成する（１）～（５）いずれかに記載の画像処理装置。

　（８）　ワンポイントカラー画像のカラー化領域は、撮影画像に含まれる物体（オブジェクト）に応じて自動的に決定する構成であり、
　前記出力画像生成部は、
　物体（オブジェクト）ベースのカラー化領域選択情報を入力して、
　入力したカラー化領域選択情報に従って、特定物体（オブジェクト）領域をカラー化領域に設定したワンポイントカラー画像を生成する（１）～（５）いずれかに記載の画像処理装置。

　（９）　ワンポイントカラー画像のカラー化領域は、撮影画像からの顔認識処理によって検出された顔領域とする構成であり、
　前記出力画像生成部は、
　顔領域対応のカラー化領域選択情報を入力して、
　入力したカラー化領域選択情報に従って、顔領域をカラー化領域に設定したワンポイントカラー画像を生成する（１）～（５）いずれかに記載の画像処理装置。

　（１０）　ワンポイントカラー画像のカラー化領域は、露光制御時に検出する露光検波値の高い領域とする構成であり、
　前記出力画像生成部は、
　露光検波値対応のカラー化領域選択情報を入力して、
　入力したカラー化領域選択情報に従って、露光検波値の高い領域をカラー化領域に設定したワンポイントカラー画像を生成する（１）～（５）いずれかに記載の画像処理装置。

　（１１）　前記画像処理装置のオートフォーカス（ＡＦ）制御部は、
　ワンポイントカラー画像のカラー化領域情報を入力し、
　カラー化領域にフォーカスを合せるようにオートフォーカス（ＡＦ）処理を実行する（１）～（１０）いずれかに記載の画像処理装置。

　（１２）　前記画像処理装置の露光（ＡＥ）制御部は、
　ワンポイントカラー画像のカラー化領域情報を入力し、
　カラー化領域の被写体に適合した露光に設定する露光制御を実行する（１）～（１１）いずれかに記載の画像処理装置。

　（１３）　画像処理装置において実行する画像処理方法であり、
　合成画像生成部が、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成ステップと、
　出力画像生成部が、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成ステップを実行し、
　前記出力画像生成ステップにおいて、
　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成する画像処理方法。

　（１４）　画像処理装置において画像処理を実行させるプログラムであり、
　合成画像生成部に、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成させる合成画像生成ステップと、
　出力画像生成部、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成ステップを実行させ、
　前記出力画像生成ステップにおいて、
　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、高画質なワンポイントカラー画像の生成を可能とした装置、方法が実現される。
　具体的には、例えば、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成部を有する。出力画像生成部は、ワンポイントカラー画像のカラー化領域を合成画像の画素値出力領域とし、非カラー化領域を白黒画像の画素値出力領域としたワンポイントカラー画像を生成する。カラー化領域の選択は、ユーザ選択、自動選択のいずれかによって行われる。例えばユーザ指定領域情報、被写体距離情報等を用いて実行される。
　本構成により、高画質なワンポイントカラー画像の生成を可能とした装置、方法が実現される。

　　１０　画像処理装置
　　１１　表示部
　　１２　操作部
　　２１　カラー画像撮像部
　　２２　白黒画像撮像部
　１００　画像処理装置
　１１０　撮像部
　１１１　カラー画像撮像部
　１１２　白黒画像撮像部
　１２０　画像処理部
　１２１，１２２　前処理部
　１２３　視差検出部
　１２４　特徴量算出部
　１２５　画質判定部
　１２６　合成画像生成部
　１２７　出力画像生成部（選択／合成）
　１３０　出力部
　１３１　表示部（タッチパネル）
　１３２　記憶部
　１４１　センサ部
　１４２　操作部
　１５０　制御部
　１６０　通信部
　２５１　モード選択ＵＩ
　２５２　実行モード表示部
　２８１　モード指定情報
　２８５　カラー化領域指定情報

Claims (14)

1. 　異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成部と、
   　画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成部を有し、
   　前記出力画像生成部は、
   　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
   　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成する画像処理装置。
2. 　前記合成画像生成部は、
   　（ａ）カラー画像基準合成画像、または、
   　（ｂ）白黒画像基準合成画像、
   　上記いずれかの合成画像を生成する構成であり、
   　上記（ａ），（ｂ）の２つの合成画像中、画質判定処理によって高画質と判定された一方の合成画像を生成する請求項１に記載の画像処理装置。
3. 　前記出力画像生成部は、
   　ワンポイントカラー画像のカラー化領域を、前記合成画像生成部の生成した、
   　（ａ）カラー画像基準合成画像、または、
   　（ｂ）白黒画像基準合成画像、
   　上記（ａ），（ｂ）いずれかの合成画像の画素値出力領域としたワンポイントカラー画像を生成する請求項１に記載の画像処理装置。
4. 　前記出力画像生成部は、
   　ワンポイントカラー画像のカラー化領域選択情報を入力して、
   　入力したカラー化領域選択情報に従って決定された領域をカラー化領域としたワンポイントカラー画像を生成する請求項１に記載の画像処理装置。
5. 　ワンポイントカラー画像のカラー化領域の選択処理は、
   　ユーザ選択を行うマニュアルモード、
   　自動選択を行うオートモード、
   　いずれかによって実行される請求項１に記載の画像処理装置。
6. 　ワンポイントカラー画像のカラー化領域の選択処理は、
   　ユーザによる領域選択、または被写体距離選択によって実行され、
   　前記出力画像生成部は、
   　ユーザによるカラー化領域選択情報を入力して、
   　入力したカラー化領域選択情報に従って、ユーザ選択領域をカラー化領域に設定したワンポイントカラー画像を生成する請求項１に記載の画像処理装置。
7. 　ワンポイントカラー画像のカラー化領域は、撮影画像に含まれる被写体距離に応じて自動的に決定する構成であり、
   　前記出力画像生成部は、
   　被写体距離ベースのカラー化領域選択情報を入力して、
   　入力したカラー化領域選択情報に従って、特定距離の被写体領域をカラー化領域に設定したワンポイントカラー画像を生成する請求項１に記載の画像処理装置。
8. 　ワンポイントカラー画像のカラー化領域は、撮影画像に含まれる物体（オブジェクト）に応じて自動的に決定する構成であり、
   　前記出力画像生成部は、
   　物体（オブジェクト）ベースのカラー化領域選択情報を入力して、
   　入力したカラー化領域選択情報に従って、特定物体（オブジェクト）領域をカラー化領域に設定したワンポイントカラー画像を生成する請求項１に記載の画像処理装置。
9. 　ワンポイントカラー画像のカラー化領域は、撮影画像からの顔認識処理によって検出された顔領域とする構成であり、
   　前記出力画像生成部は、
   　顔領域対応のカラー化領域選択情報を入力して、
   　入力したカラー化領域選択情報に従って、顔領域をカラー化領域に設定したワンポイントカラー画像を生成する請求項１に記載の画像処理装置。
10. 　ワンポイントカラー画像のカラー化領域は、露光制御時に検出する露光検波値の高い領域とする構成であり、
    　前記出力画像生成部は、
    　露光検波値対応のカラー化領域選択情報を入力して、
    　入力したカラー化領域選択情報に従って、露光検波値の高い領域をカラー化領域に設定したワンポイントカラー画像を生成する請求項１に記載の画像処理装置。
11. 　前記画像処理装置のオートフォーカス（ＡＦ）制御部は、
    　ワンポイントカラー画像のカラー化領域情報を入力し、
    　カラー化領域にフォーカスを合せるようにオートフォーカス（ＡＦ）処理を実行する請求項１に記載の画像処理装置。
12. 　前記画像処理装置の露光（ＡＥ）制御部は、
    　ワンポイントカラー画像のカラー化領域情報を入力し、
    　カラー化領域の被写体に適合した露光に設定する露光制御を実行する請求項１に記載の画像処理装置。
13. 　画像処理装置において実行する画像処理方法であり、
    　合成画像生成部が、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成する合成画像生成ステップと、
    　出力画像生成部が、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成ステップを実行し、
    　前記出力画像生成ステップにおいて、
    　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
    　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成する画像処理方法。
14. 　画像処理装置において画像処理を実行させるプログラムであり、
    　合成画像生成部に、異なる視点から撮影されたカラー画像と白黒画像の合成処理を実行して合成画像を生成させる合成画像生成ステップと、
    　出力画像生成部、画像の一部領域のみをカラー化したワンポイントカラー画像を生成する出力画像生成ステップを実行させ、
    　前記出力画像生成ステップにおいて、
    　ワンポイントカラー画像のカラー化領域を前記合成画像の画素値出力領域とし、
    　ワンポイントカラー画像の非カラー化領域を前記白黒画像の画素値出力領域としたワンポイントカラー画像を生成させるプログラム。

Images