JP6702306B2

JP6702306B2 - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: JP6702306B2
Application number: JP2017508140A
Authority: JP
Inventors: 江藤　博昭; 博昭江藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2015-03-26
Filing date: 2016-03-02
Publication date: 2020-06-03
Anticipated expiration: 2036-03-02
Also published as: WO2016152414A1; CN107431793A; JPWO2016152414A1; US10412356B2; EP3276956A4; EP3276956A1; EP3276956B1; US20180077397A1

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、例えば撮影画像内の白とび領域などの画素領域の階調や色を復元する処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。

このような白とびを回避するための一つの手法は、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御する処理がある。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。

しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。

このような処理を実現する手法の１つとして、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。

例えば特許文献１（特開２０００−５０１５１号公報）は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。

しかし、このように長時間露光画像と短時間露光画像の複数画像を用いる処理は、静止画に対する処理としては利用できるが、動画に適用することは困難である。動画を構成する各フレーム単位で長時間露光画像と短時間露光画像を交互に撮影して画像処理を行なうと、表示フレームレートの低下や、処理負荷の増大、リアルタイム表示の困難性等、様々な問題が発生するからである。

カメラによって撮影された動画像をリアルタイムで確認して処理を行なうことが必要な場合、例えば内視鏡などを使用した手術を行う場合には、撮影画像と観察画像の同一性、すなわちリアルタイム性が要求される。
上記のように複数画像の合成処理を行なって表示すると表示画像に時間遅れが発生することになり、内視鏡などリアルタイム表示が要求される場合には、複数画像の合成処理を適用することはできない。

特開２０００−５０１５１号公報

本開示は、例えばこのような状況に鑑みてなされたものであり、動画、静止画を問わず、撮影画像に含まれる白とび等の高輝度領域の色や階調をより正確に再現し、高品質な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理部と、
前記デモザイク処理部の生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定部を有し、
前記画素値推定部は、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理装置にある。

さらに、本開示の第２の側面は、
画像処理装置において、画像処理を実行する画像処理方法であり、
前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行し、
前記画像処理部は、前記画素値推定処理において、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において、画像処理を実行させるプログラムであり、
前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行させ、
前記プログラムは、前記画素値推定処理において、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、白とび領域を減少させ、被写体の色、階調を高精度に表現した画像を生成する装置、方法が実現される。
具体的には、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有する。画像処理部は、ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、デモザイク処理後のＲＧＢ各画像に対するホワイトバランス処理を実行し、さらに、ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する。画素値推定処理においては、画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用した画素値推定処理を実行する。
本開示の処理により、白とび領域が減少し、被写体の色、階調を高精度に表現した画像を生成、出力することが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像装置の撮影画像の一例として白とびの発生した画像について説明する図である。撮像素子の画素配列の一例であるベイヤ配列について説明する図である。デモザイク処理について説明する図である。白とび領域と、デモザイク後の画像との対応について説明する図である。デモザイク後のＲＧＢ画像の白とび発生領域における画素値の例について説明する図である。ホワイトバランス（ＷＢ）処理について説明する図である。クリップ処理について説明する図である。Ｇ画素の画素値推定処理について説明する図である。Ｇ画素の画素値推定処理について説明する図である。人の観察する色について説明する図である。Ｇ画素の画素値推定処理について説明する図である。トーンマッピング処理について説明する図である。トーンマッピング処理によって生成した出力画像について説明する図である。本開示の画像処理装置が実行する画像処理のシーケンスについて説明するフローチャートについて説明する図である。本開示の画像処理装置の構成例について説明する図である。本開示の画像処理装置の構成例について説明する図である。本開示の画像処理装置の構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置が実行する処理の概要について
２．画素値推定処理を実行して白とび領域を削減する実施例について
３．画像処理装置の実行する処理の処理シーケンスについて
４．画像処理装置の構成例について
５．本開示の構成のまとめ

［１．本開示の画像処理装置が実行する処理の概要について］
まず、図１以下を参照して本開示の画像処理装置が実行する処理の概要について説明する。
図１は、画像処理装置の一例である撮像装置によって撮影されたリンゴの画像の一例を示している。
図に示すリンゴの前面上部から光が照射され、反射光が多い部分が「白とび」領域となっている。
「白とび」領域は、本来の被写体の色や階調が失われ、まっ白に出力、表示される領域である。

図に示す例は、赤いりんごを撮影した例であるが、白とび領域はりんごの赤い色が全く再現されず、色や階調を確認することができない領域となる。

白とび領域の発生する要因について、以下簡単に説明する。
図２に、撮像装置の撮像素子の例を示す。
図２に示す撮像素子は、ＲＧＢの各画素が規則的に並んだ配列であり、ベイヤ配列と呼ばれる。
撮像素子は、光量に応じて電荷を蓄積する半導体素子上にＲＧＢの各色を選択的に透過するフィルタが設けられた構成を持つ。

撮像素子の出力画像は、各画素にＲＧＢのいずれか１つのの画素値を持つ画像となる。この撮像素子の出力画像をＲＡＷ画像と呼ぶ。
ＲＡＷ画像には、１画素に１つの色、すなわちＲＧＢいずれか一色に対応する画素値が記録される。

撮像装置の画像処理部、例えばＤＳＰ（デジタルシグナルプロセッサ）は、撮像素子の出力（ＲＡＷ画像のＡ／Ｄ変換データ）を入力し、入力したＲＡＷ画像を用いて、各画素にＲＧＢ全色の画素値を設定する処理を行なう。この処理は、デモザイク処理、あるいはデベイヤ処理と呼ばれる。
図３を参照してデモザイク処理について説明する。

デモザイク処理は、ＲＧＢいずれか一色の画素値のみが設定された図３（１）に示すＲＡＷ画像を用いて、各画素にＲＧＢの全色を設定した画像、すなわち、図３（２）〜（４）に示すＲ画像、Ｇ画像、Ｂ画像を生成する処理として行われる。
このデモザイク処理では、例えば図３（２）に示すＲ画像を生成する場合、ＲＡＷ画像中のＧ，Ｂ画素位置のＲ画素値を、周囲のＲ画素の画素値を用いた補間処理によって算出する処理が行われる。

また、図３（３）に示すＧ画像を生成する場合には、ＲＡＷ画像中のＲ，Ｂ画素位置のＧ画素値を、周囲のＧ画素の画素値を用いた補間処理によって算出する処理が行われる。
図３（４）に示すＢ画像を生成する場合には、ＲＡＷ画像中のＲ，Ｇ画素位置のＢ画素値を、周囲のＢ画素の画素値を用いた補間処理によって算出する処理が行われる。
このような処理によって、ＲＡＷ画像に基づいて、全ての画素にＲＧＢ各画素値を設定するデモザイク処理が実行される。

次に、ＲＡＷ画像に基づくデモザイク処理によって生成したＲ画像、Ｇ画像、Ｂ画像と、白とび領域との関係について、図４以下を参照して説明する。
図４（ａ）は、図１を参照して説明した白とび領域を持つりんごの画像の例と、白とび領域の拡大図を模式的に示した図である。

図４（ａ）に示す白とび領域の拡大図内の１つの水平ラインＰＱに対応する画素位置のＲ画像、Ｇ画像、Ｂ画像の画素位置が、図４（ｂ）に示すＲＧＢ各画像の上から３番目の白い矩形領域のラインからなる画素領域であるとする。
図４（ｂ）に示すＲＧＢ各画像は、図３を参照して説明したデモザイク処理によってＲＡＷ画像から生成した画像である。
図４（ｂ）に示すＲＧＢ各画像の上から３番目の白い矩形領域の画素領域Ｐ〜Ｑが、図４（ａ）に示す白とび領域の拡大図内の水平ラインＰＱに対応する。

このＰＱラインの画素値の例を図５に示す。
図５（ｂ）は、図４（ｂ）と同じ図である。
図５（ｃ）は、ＲＧＢ各画像のラインＰ〜Ｑにおける画素値を示す図である。
ＲＧＢ、各々についてＰ〜Ｑ間の画素値を示している。
縦軸は、各画素の画素値に相当する。１００％は、撮像素子の蓄積電荷率＝１００％を意味し、飽和画素値に相当する。例えば画素値を８ビットデジタルデータ（０〜２５５）で表見した場合、ビット値＝２５５（１１１１１１１１）に相当する。

図に示す例において、Ｒ画像、およびＢ画像は、Ｐ〜Ｑ間の全ての画素位置において１００％以下の画素値を有しており、飽和画素値は設定されていない。
しかし、Ｇ画像は、Ｐ〜Ｑ間の中心部の所定範囲で１００％となっている。この区間は画素値が飽和状態であることを示している。

撮像装置の画像処理部では、図５（ｃ）に示すデモザイク後のＲ画像、Ｇ画像、Ｂ画像を用いて、次にホワイトバランス（ＷＢ）処理を実行する。
ホワイトバランス（ＷＢ）処理の例について図６を参照して説明する。
図６（ｃ）は、図５（ｃ）と同じ図である。
図６（ｄ）は、ホワイトバランス（ＷＢ）処理によるＲＧＢ各画像のラインＰ〜Ｑにおける画素値の補正例を示す図である。

ホワイトバランス処理は、出力画像の白領域を実際の白色に近づけるために実行される。
このホワイトバランス処理は、例えば撮像素子の特性に応じてＲＧＢ各画素値に所定のＷＢパラメータを乗ずる処理として実行される。
図６（ｄ）に示す例では、
Ｒ画素値に乗算パラメータ２．５を乗じてＷＢ処理後のＲ画素値を算出している。
さらに、Ｂ画素値に乗算パラメータ２．０を乗じてＷＢ処理後のＢ画素値を算出している。
一般的にＷＢ処理は、Ｇ画素を基準としてＲ，Ｂのみに所定のパラメータを乗じてＲＢ各画素値を変更する処理として実行される。

図６（ｄ）に示すように、ＷＢ処理後の画素値は、Ｒ画素値の最大値がほぼ２００％、Ｂ画素についても最大値がほぼ２００％に達する値となっている。
なお、２００％とは、撮像素子の蓄積電荷率＝１００％の２倍の電荷蓄積量に相当し、８ビットデジタルデータ（０〜２５５）で表見した場合、ビット値＝２５５（１１１１１１１１）の２倍、すなわちビット値＝５１０に相当し、８ビットデータでは表現できない値となる。

撮像装置の画像処理部は、このホワイトバランス処理後の画像（ＲＧＢ画像）に基づいて、さらに表示部への出力用データ、または記憶部への格納用の画像データを生成する。
この処理について、図７を参照して説明する。

図７（ｄ）は、図６（ｄ）と同じ図である。
図７（ｅ）は、図７（ｄ）に示すホワイトバランス処理後の画像（ＲＧＢ画像）に基づく表示部出力、または記憶部格納用の画像データを生成する処理例について説明する図である。

例えば一般的な表示装置、具体的にはＳＤＲ（ＳｔａｎｄａｒｄＤｙｎａｍｉｃＲａｎｇｅ）画像を表示可能な表示装置では、図に示す０〜１００％の範囲の画素値、例えば、８ビットデジタルデータ（０〜２５５）を出力可能であり、図に示す１００％〜２００％に相当する画素値（ビット値＝０〜５１０）の出力ができない。
従って、ホワイトバランス処理後の画像（ＲＧＢ画像）に基づく表示部出力、または記憶部格納用の画像データを生成する場合、ＲＧＢ各画素値の１００％以上の画素値を全て１００％に設定するクリップ処理を実行する。

すなわち、図７（ｅ）に示すクリップ処理を実行する。
Ｒ画像とＢ画像は、先に図６を参照して説明したホワイトバランス（ＷＢ）処理によって１００％以上の画素値の設定領域が発生したが、この１００％以上の画素領域をすべて１００％に設定するクリップ処理を実行する。

この結果として、図７（ｅ）に示すＲＧＢの出力画素値が決定され、表示部に出力される。
図７（ｅ）に示すＲＧＢ各画素値は、図４（ａ）に示す白とび領域の一ラインＰ〜Ｑ区間の出力画素値ＲＧＢである。
図７（ｅ）に示すように、ＲＧＢの全てにおいて、Ｐ〜Ｑ区間の中心部が飽和画素値となっている。
８ビットデジタルデータ（０〜２５５）を出力する表示装置では、Ｒ＝Ｇ＝Ｂ＝２５５の最大出力がなされる。

すなわち、ＲＧＢの全てが最大出力画素値となり、この区間が白飛び領域となって出力されることになる。
白とび領域では、被写体の本来の色や階調が全く識別することができず、画像の品質を低下させる大きな要因となる。

［２．画素値推定処理を実行して白とび領域を削減する実施例について］
次に、Ｇ画素の画素値推定処理を実行して、白とび領域を削減する実施例について説明する。

図８（ｄ）は、図６（ｄ）を参照して説明したと同様の図であり、デモザイク後のＲＧＢ画像に対するホワイトバランス（ＷＢ）処理例を示した図である。
図７を参照して説明したように、このホワイトバランス（ＷＢ）処理後のＲＧＢ画像の１００％以上の画素領域を切り取るクリップ処理を実行してしまうと、区間Ｐ〜Ｑの中心領域において、所定長のＲ＝Ｇ＝Ｂ＝１００％の画素値飽和領域が発生し、これが白とび領域となってしまう。

この白とび領域を削減するための本開示の処理例について、図８（ｆ）以下を参照して説明する。
図８（ｆ）には、ホワイトバランス（ＷＢ）処理後のＲＧＢ画像を利用して、Ｇ画像の１００％以上の飽和画素領域における被写体の画素値を推定する処理例を示している。

先に図６を参照して説明したように、ホワイトバランス（ＷＢ）処理では、Ｒ，Ｂの画素値に、１以上のホワイトバランス用の乗算パラメータを乗じている。この処理によって、Ｒ画像とＢ画像には、撮像素子の飽和画素値に相当する１００％以上の画素値が設定される。
しかし、Ｇ画像はホワイトバランス処理に際して、画素値変換が行われないことが多く、そのため、１００％以上の画素値は発生しない。

本開示の処理では、ホワイトバランス処理によって生成されたＲ画像とＢ画像とに基づいて、Ｇ画像の飽和画素領域（１００％領域）の画素値を推定する処理を実行する。

具体的には、Ｇ画像において、飽和画素領域（１００％領域）の各座標（ｘ，ｙ）位置のＧ画素の画素値Ｇ（ｘ，ｙ）を、
ホワイトバランス処理後のＲ画像の同一の画素位置（ｘ，ｙ）の画素値Ｒ（ｘ，ｙ）と、
ホワイトバランス処理後のＲ画像の同一の画素位置（ｘ，ｙ）の画素値Ｂ（ｘ，ｙ）、
これらを用いて推定する。

図８（ｆ）においてＧ画像は、画素区間Ｐ〜Ｑ中の画素区間Ｇ１〜Ｇ２が、飽和画素領域（１００％）である。
この画素区間Ｇ１〜Ｇ２のＧ画素値をホワイトバランス処理後のＲＢ画像の同一の画素位置（ｘ，ｙ）の画素値Ｒ（ｘ，ｙ）、画素値Ｂ（ｘ，ｙ）を用いて推定する。

具体的なＧ画素値推定処理例について、図９以下を参照して説明する。
図９には、従来の撮影画像における（ａ）白とび領域の発生部位、（ｂ）Ｇ画素値の推定処理に適用するＲＧＢ画像の対応画素位置の例を示している。
図９（ａ）の白とび領域を含む１つの画素ラインの区間をＰ〜Ｑとしている。図９（ｂ）に示すＲＧＢ各画像の上から３番目の白い矩形領域の画素領域Ｐ〜Ｑが、図９（ａ）に示す白とび領域の拡大図内の水平ラインＰＱに対応する。

例えば、図９（ｂ２）に示すＧ画像内に太枠で示す１つの画素位置（ｘ，ｙ）＝（２，３）の画素値をＧ（２，３）とする。画素値Ｇ（２，３）が飽和画素値（１００％）である場合、この画素位置（２，３）の本来の画素値、すなわち１００％以上の本来の画素値Ｇ（２，３）を推定する。
具体的には、座標位置（２，３）と同一位置のホワイトバランス（ＷＢ）処理後のＲＢ画像の画素値Ｒ（２，３）とＢ（２，３）を用いて、画素値Ｇ（２，３）の本来の画素値、すなわち１００％以上の本来の画素値を推定する。

この推定処理は、被写体から観察される色は、光源特性と、物体の反射率と、視覚特性に依存するという現象に基づく処理である。
図１０を参照して、被写体から観察される色について説明する。
図１０に示すように、被写体から観察される色は以下の算出式によって規定される。
色＝光源特性×物体の反射率×視覚特性

図１０（ａ）には光源の一例として太陽を示している。
太陽の光源Ｓ（λ）は、可視光範囲の光として、約４００ｎｍ〜７６０ｎｍの波長光を有する。
図１０（ｂ）には物体の例として赤いりんごを示している。赤いりんごの反射率は、すに示すように、長波長領域の赤い部分で高くなるが、青色領域に相当する短波長領域でも、反射率＝０にはならず、所定量の反射率を有する。

図１０（ｃ）は、人の眼の視覚特性を示している。
人の眼は、ＲＧＢそれぞれの波長光の入力に応じた信号を伝達する個別の細胞を有している。
図１０（ｃ）下段に示すグラフのＲ，Ｇ，Ｂの各曲線のような３つの異なる視覚感度特性を持つ細胞を有しており、これらの出力に基づいて色を判断している。

このように、人が被写体を観察して判断する色は、
光源特性、
物体の反射率、
視覚特性
これらの３要素に依存することになり、例えば、以下の式によって表すことができるる。
色＝光源特性×物体の反射率×視覚特性

図１０（ｂ）に示す物体の反射率から理解されることは、短波長（青）〜長波長（赤）（Ｂ〜Ｇ〜Ｒ）まで０になることなく、連続的に所定量の反射率を維持していることである。
中波長領域のＧの反射率は、短波長光（Ｂ）の反射率と、長波長光（Ｒ）の反射率から簡易的に求めても、大きくずれることは少ないと予測される。
このような予測に基づいて、白とび領域に相当する画素値飽和領域のＧ画素の本来の画素値をＲＢ画素の実画素値から推定しようとする処理が本開示の処理である。

具体的なＧ画素の画素値推定処理例について、図１１を参照して説明する。
画素値飽和領域のＧ画素の画素値は、図１１に示すように、以下の２つのステップに従って算出する。

（ステップＳ１）
Ｇ（ｘ，ｙ）の値が有効な範囲で、以下の式に従って、Ｒ（ｘ，ｙ），Ｂ（ｘ，ｙ）との比率（ｒａｔｉｏ）を求める。
ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｒ（ｘ，ｙ）
ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｂ（ｘ，ｙ）

（ステップＳ２）
Ｇ（ｘ，ｙ）の値が有効でない範囲で、ＧＲ＿ｒａｔｉｏ，ＧＢ＿ｒａｔｉｏを用いて、以下の式に従って、画素値Ｇ（ｘ，ｙ）を推定する。
Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
なお、ｍａｘ（ａ，ｂ）はａ，ｂから最大値を選択する処理を示す。

ステップＳ１の処理は、
Ｇ（ｘ，ｙ）の値が有効値を持つ範囲のＲＧＢ各画素値を用いた処理である。例えば図１１において、Ｇ画像のＰ〜Ｑ区間のＰ〜Ｇ１区間や、Ｇ２〜Ｑ区間が、飽和画素値（１００％）以下の有効な画素値を持つ区間であり、これらの区間の画素値を用いてＲ（ｘ，ｙ），Ｂ（ｘ，ｙ）との比率（ｒａｔｉｏ）を求める。
比率（ｒａｔｉｏ）算出式、すなわち、
ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｒ（ｘ，ｙ）
ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｂ（ｘ，ｙ）
上記各式において利用するＲＧＢの画素位置は、すべて同一の座標位置である。

なお、Ｇ（ｘ，ｙ）の値が有効な範囲のどの部分の画素値を利用するかについては、様々な設定が可能であるが、推定しようとする画素位置に最も近い位置の有効画素値を持つ画素位置を利用する方法が１つの好ましい方法である。

ステップ２の処理は、Ｇ（ｘ，ｙ）の値が有効でない範囲、すなわちＧ画素の画素値が飽和画素値（１００％）の領域で、新たな推定画素値を算出する処理となる。
ステップ１で算出したＧＲ比率（ＧＲ＿ｒａｔｉｏ）と、ＧＢ比率（ＧＢ＿ｒａｔｉｏ）を用いて、以下の式に従って、飽和画素値（１００％）領域の推定画素値Ｇ（ｘ，ｙ）を算出する。
Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
上記式において利用するＲＧＢの画素位置は、すべて同一の座標位置である。

このようにして、Ｇ（ｘ，ｙ）の値が有効でない範囲、すなわちＧ画素の画素値が飽和画素値（１００％）の領域の画素値を推定する。
この結果が、図１１に示すＧ画像の１００％〜２００％の範囲に示す点線の画素値である。

このＧ画素値推定処理により、図１１に示すように、Ｒ，Ｇ，Ｂ各々について、画素値０〜２００％の範囲の画素値が設定された画像データが生成される。
しかし、この０〜２００％の画素値からなねるＲＧＢ画像は、表示装置が高ダイナミックレンジ画像を出力可能なＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）表示装置では表示可能であるが、一般的なＳＤＲ（ＳｔａｎｄａｒｄＤｙｎａｍｉｃＲａｎｇｅ）表示装置では表示することができない。

ＳＤＲ表示装置に表示するためには、図１１に示す０〜２００％の画素値を持つＲＧＢ画像を０〜１００％の画素値を持つ画像に変換する処理を行なう必要がある。この画素値変換処理は、トーンマッピング処理と呼ばれる。
このトーンマッピング処理について図１２を参照して説明する。

トーンマッピング処理は、高ダイナミックレンジ（ＨＤＲ）画像を、ダイナミックレンジの低い通常のＳＤＲ画像に変換して、一般的なＳＤＲ表示装置に出力可能な画素値からなる画像を生成する処理である。

図１２（１）は、先に図１１を参照して説明したホワイトバランス（ＷＢ）処理後のＲＧＢ画像を用いてＧ画素値推定処理を行なって生成したＲＧＢ画像を示している。
ＲＧＢ各画像の画素値は、０〜２００％の範囲にあり、通常のＳＤＲ表示装置では表現できないダイナミックレンジを持つＨＤＲ画像に相当する。

なお、具体的には、例えば、０〜１００％の画素値は、０〜２５５の８ビットデータで表現可能な画素値に相当し、０〜２００％の画素値は、例えば０〜５１１の画素値に相当する。
８ビットデータを出力できるＳＤＲ表示装置は、０〜２５５の画素値を出力できるが、０〜５１１の画素値の出力ができない、

この０〜５１１の画素値を持つＨＤＲ画像相当のＲＧＢ画像を０〜２５５の画素値を持つＳＤＲ画像に変換する処理としてトーンマッピング処理を実行する。
トーンマッピング処理の一例について説明する。
トーンマッピング処理は、例えば、光電変換関数（ＯＥＴＦ：Ｏｐｔｉｃａｌ−ＥｌｅｃｔｒｏＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を用いた処理として実行可能である。具体的には、例えば以下の式に従って、画素値を変換する処理として実行される。

上記式において、
Ｖ：出力電圧
Ｌ：輝度（Ｌｕｍｉｎａｎｃｅ）
ａ，ｂ，ｃ，ｄ，ｅ：変換係数（変換パラメータ）
なお、ａ，ｂ，ｃ，ｄ，ｅは、例えば表示部の特性等に応じて適宜、設定する。

上記式は、ＳＤＲ表示装置において出力画素値を規定する出力電圧（Ｖ）の算出式の一例である。
トーンマッピング処理における画素値変換式は、上記式に限らず表示装置の特性に応じて、様々な変換式が適用可能である。
トーンマッピング処理により、図１２（２）に示すように、０〜２００％の画素値を持つＨＤＲ相当の画像が０〜１００％の画素値からなるＳＤＲ相当画像に変換される。
この変換後の画像信号は画素値が全て１００％以下、例えば８ビットデジタルデータの０〜２５５の範囲の画素値によって構成されね画像信号であり、ＳＤＲ表示装置に表示することができる。

図１３（３）には、トーンマッピング処理によって生成されるＲＧＢ画像信号の例を示している。
ＲＧＢ画像信号はいずれも、ＳＤＲ表示装置に有効画素値として出力可能な例えば８ビットデータで表現可能な画素値（０〜１００％）の範囲に収まっている。
このＲＧＢ画像信号をＳＤＲ表示装置に表示すると、図１３（４）に示すように、白とび領域が消失、または減少した画像を表示、出力することが可能となる。

上述した処理は、撮影画像単位の処理として実行可能であり、静止画のみならず、動画に対する処理として適用することが可能である。
先に静止画に対するダイナミックレンジ拡張処理として説明した長露光画像と短露光画像の複数画像の合成処理は、処理時間を要し、動画に適用することは困難である。
しかし、上述したＧ画素値の推定処理を用いた構成は、動画を構成する撮影画像（フレーム）単位の処理として実行することが可能であり、処理時間に大きな遅延を発生させることなく撮影動画の表示を行うことが可能となる。

特に撮影画像をリアルタイムで確認して処理を行なうことが必要な場合に最適な処理である。
具体例の１つとして内視鏡がある。内視鏡を使用した手術を行う場合には、撮影画像と観察画像の同一性、すなわちリアルタイム性が要求される。
上述したＧ画素値の推定処理を用いた構成は、撮影画像を即座に補正して表示することが可能であり、リアルタイム性が要求される撮影表示処理に最適である。

［３．画像処理装置の実行する処理の処理シーケンスについて］
次に、本開示の画像処理装置の実行する処理のシーケンスについて、図１４に示すフローチャートを参照して説明する。

図１４に示すフローチャートを参照して本開示の画像処理装置の実行する処理、具体的には、上述した飽和画素値を持つＧ画素の画素値推定処理を実行して表示部へ出力、あるいるはメモリ等に格納する画像データを生成するシーケンスについて説明する。

なお、図１４に示すフローに従った処理は、例えばプログラム実行機能を持つ画像処理部（例えばＤＳＰ：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）において実行される。プログラムは、記憶部（メモリ）に格納され、画像処理部が読み出して実行する。
以下、図１４に示すフローの各ステップの処理について、順次、説明する。

（ステップＳ１０１）
まず、ステップＳ１０１において、画像処理装置の画像処理部は、撮像素子の出力として得られるＲＡＷ画像を入力する。
ＲＡＷ画像は、先に図２等を参照して説明したように、各画素位置にＲＧＢのいずれかの画素値のみが設定された画像データである。

（ステップＳ１０２）
次に、ステップＳ１０２において、画像処理部は、ＲＡＷ画像に対するデモザイク処理を実行する。

先に図３を参照して説明したように、デモザイク処理は、１画素の１つの色、すなわちＲＧＢいずれか一色の画素値のみが設定されたＲＡＷ画像を用いて、各画素にＲＧＢ全色を設定した画像、すなわち、図３（２）〜（４）に示すＲ画像、Ｇ画像、Ｂ画像を生成する処理である。

このデモザイク処理では、例えば図３（２）に示すＲ画像を生成する場合、ＲＡＷ画像中のＧ，Ｂ画素位置のＲ画素値を、周囲のＲ画素の画素値を用いた補間処理として行われる。
Ｇ画像、Ｂ画像についても、それぞれ各画素値の設定されていない画素について周囲のＧ画素値、Ｂ画素値を用いた補間処理が実行され、Ｇ画像、Ｂ画像の生成が行われる。

（ステップＳ１０３）
次に、ステップＳ１０３において、画像処理部はホワイトバランス（ＷＢ）処理を実行する。
ホワイトバランス処理は、出力画像の白領域を実際の白色に近づけるために実行される。

先に図６を参照して説明したように、ホワイトバランス処理は、例えば撮像素子の特性に応じてＲＧＢ各画素値に所定のＷＢパラメータを乗ずる処理として実行される。
図６（ｄ）に示す例では、
Ｒ画素値に乗算パラメータ２．５を乗じてＷＢ処理後のＲ画素値を算出している。
さらに、Ｂ画素値に乗算パラメータ２．０を乗じてＷＢ処理後のＢ画素値を算出している。
一般的にＷＢ処理は、Ｇ画素を基準としてＲ，Ｂのみに所定のパラメータを乗じてＲＢ各画素値を変更する処理として実行される。
図６（ｄ）に示すように、ＷＢ処理後の画素値は、Ｒ画素値の最大値がほぼ２００％、Ｂ画素についても最大値がほぼ２００％に達する値となっている。

（ステップＳ１０４）
次に、ステップＳ１０４において、画像処理部は、飽和画素値（１００％）を持つＧ画素の画素値の推定処理を実行する。
この処理は、先に図８〜図１１を参照して説明した処理である。

具体的には、以下のステップ１〜２の処理を実行する。
（ステップＳ１）
Ｇ（ｘ，ｙ）の値が有効な範囲で、以下の式に従って、Ｒ（ｘ，ｙ），Ｂ（ｘ，ｙ）との比率（ｒａｔｉｏ）を求める。
ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｒ（ｘ，ｙ）
ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｂ（ｘ，ｙ）

このようにして、Ｇ（ｘ，ｙ）の値が有効でない範囲、すなわちＧ画素の画素値が飽和画素値（１００％）の領域で、推定画素値を算出する。
この結果が、図１１に示すＧ画像の１００％〜２００％の範囲に示す点線の画素値である。

（ステップＳ１０５）
次に、ステップＳ１０５において、画像処理部は、出力する表示部の特性に応じた信号変換処理、すなわちトーンマッピング処理を実行する。

ホワイトバランス処理とＧ画素値推定処理によって生成した画像データは、先に図８〜図１１を参照して説明したように、撮像素子の出力画素値範囲である０〜１００％を増大させた０〜２００％の画素値を有する。
撮像素子の出力画素値範囲である０〜１００％の画素値が、例えば０〜２５５の８ビット画素値であるとすると、０〜２００％の画素値は０〜５１１の画素値に相当する。
８ビットデータを出力できるＳＤＲ表示装置は、０〜２５５の画素値を出力できるが、０〜５１１の画素値の出力ができない、

この０〜５１１の画素値を持つＨＤＲ画像相当のＲＧＢ画像を０〜２５５の画素値を持つＳＤＲ画像に変換する処理としてトーンマッピングを実行する。
なお、先に説明したように、トーンマッピンングは、光電変換関数（ＯＥＴＦ：Ｏｐｔｉｃａｌ−ＥｌｅｃｔｒｏＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を用いた処理として実行可能である。

トーンマッピング処理によって、ＳＤＲ表示装置に出力可能な画像データが生成される。
この処理は、先に図１２、図１３を参照して説明した処理に相当する。

（ステップＳ１０６）
最後に、ステップＳ１０６において、画像処理装置の画像処理部は、ステップＳ１０５のトーンマッピング処理によって生成した生成信号を表示部、あるいは出力部を介して外部に出力する。あるいはメモリに格納する。
表示部に表示される画像は、先に図１３を参照して説明したように、白とび領域が消滅、あるいは減少した画像となる。

なお、図１４に示すフローチャートを参照して説明した処理は、撮影画像単位の処理として実行する。撮影画像が静止画であれば、撮影された１枚の静止画に対する処理として実行する。撮影画像が動画であれば、動画を構成する１フレーム単位の処理として、フレーム毎に繰り返し実行する。
図１４に示すフローに従った処理は、動画を構成する撮影画像（フレーム）単位の処理として実行可能であり、処理時間に大きな遅延を発生させることなく撮影動画の表示を行うことが可能となる。

個の処理は、前述したように撮影画像をリアルタイムで確認して処理を行なうことが必要な場合に最適な処理である。具体的には、例えば内視鏡を使用した手術を行う場合には、撮影画像と観察画像の同一性、すなわちリアルタイム性が要求されるが、図１４に示すフローに従った処理は、撮影画像を即座に補正して表示することが可能であり、内視鏡を用いながら、手術を行う場合など、リアルタイム性が要求される撮影表示処理に最適である。

［４．画像処理装置の構成例について］
次に、上述した実施例に従った処理を実行する画像処理装置の構成例について図１５以下を参照して説明する。
なお、上述した実施例に従った処理は撮像装置に限らず、例えばＲＡＷ画像を入力して画像処理を実行するＰＣ等においても実行可能である。

まず、図１５を参照して、述した実施例に従った処理を実行する画像処理装置の一例である撮像装置の構成例について説明する。
図１５は、撮像装置１０の構成例を示す図である。撮像装置１０は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１、レンズ１１からの光画像の光量を調整する絞り１２、および集光された光画像を光電変換して電気信号に変換する撮像素子（イメージセンサ）１３から構成される。
撮像素子１３は、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）イメージセンサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。

撮像素子１３は、例えば先に図２を参照して説明したＲＧＢ各画素によって構成されたベイヤ（Ｂａｙｅｒ）配列を持つ色フィルタ（カラーフィルタ）を有する撮像素子である。
各画素には、色フィルタの配列に応じたＲＧＢいずれかの色に対応する画素値が設定されることになる。
なお、図２に示す配列は撮像素子１３の画素配列の一例であり、撮像素子１３は、この他の様々な設定の配列とすることが可能である。

図１５に戻り、撮像装置１０の構成についての説明を続ける。
信号処理系は、サンプリング回路１４、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１５、および画像処理部（ＤＳＰ）１６から構成される。

サンプリング回路１４は、例えば、相関２重サンプリング回路（ＣＤＳ：ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）によって実現され、撮像素子１３からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子１３において発生するノイズが軽減される。サンプリング回路１４において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。

Ａ／Ｄ変換部１５は、サンプリング回路１４から供給されるアナログ信号をデジタル信号に変換して、画像処理部１６に供給する。
画像処理部１６は、Ａ／Ｄ変換部１５から入力されるデジタル信号に所定の画像処理を施す。
具体的には、先に図２を参照して説明した各画素単位でＲＧＢのいずれかの一色の画素値データからなる画像データ（ＲＡＷ画像）を入力し、入力したＲＡＷ画像に含まれるノイズを低減するノイズ低減処理などを実行する。

なお、画像処理部１６は、ノイズ低減処理の他、ＲＡＷ画像の各画素位置にＲＧＢの全色に対応する画素値を設定するデモザイク処理や、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理も実行する。
さらに、上述した飽和画素値を持つＧ画素の推定処理や、その後のトーンマッピング処理等を実行する。

記録系は、画像信号を符号化または復号する符号化／復号部１７と、画像信号を記録するメモリ１８とから構成される。
符号化／復号部１７は、画像処理部１６によって処理されたデジタル信号である画像信号を符号化してメモリ１８に記録する。また、メモリ１８から画像信号を読み出して復号し、画像処理部１６に供給する。

表示系は、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部１９、ビデオエンコーダ２０、および表示部２１から構成される。
Ｄ／Ａ変換部１９は、画像処理部１６によって処理された画像信号をアナログ化してビデオエンコーダ２０に供給し、ビデオエンコーダ２０は、Ｄ／Ａ変換部１９からの画像信号を表示部２１に適合する形式のビデオ信号にエンコードする。
表示部２１は、例えば、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等により実現され、ビデオエンコーダ２０におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部２１は、被写体の撮像時にはファインダとしても機能する。

制御系は、タイミング生成部２２、操作入力部２３、ドライバ２４、および制御部（ＣＰＵ）２５から構成される。また、画像処理部１６、符号化／復号部１７、メモリ１８、タイミング生成部２２、操作入力部２３、および制御部２５は、バス２６を介して相互に接続されている。

タイミング生成部２２は、撮像素子１３、サンプリング回路１４、Ａ／Ｄ変換部１５、および画像処理部１６の動作のタイミングを制御する。操作入力部２３は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部２５に供給する。

ドライバ２４には所定の周辺機器が接続され、ドライバ２４は接続された周辺機器を駆動する。例えばドライバ２４は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部２５に供給する。

制御部２５は、撮像装置１０の全体を制御する。例えば、制御部２５は、プログラム実行機能を有するＣＰＵ等からなり、メモリ１８、あるいは、ドライバ２４を介して、ドライバ２４に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部２３からのコマンド等に基づいて、撮像装置１０全体の動作を制御する。

図１６は、図１５に示す撮像装置１０の画像処理部１６の構成例を示す図である。
デモザイク処理実行部３１は、例えば図２を参照して説明した配列からなる色フィルタ配列の撮像素子（イメージセンサ）１３で撮像された画像（ＲＡＷ画像）を入力し、各画素に全色を信号処理によって復元するデモザイク処理を実行する。

ホワイトバランス（ＷＢ）処理実行部３２は、先に図６を参照して説明したホワイトバランス（ＷＢ）処理を実行する。例えば撮像素子の特性に応じてＲＧＢ各画素値に所定のＷＢパラメータを乗ずる処理を実行する。
図６（ｄ）に示す例では、Ｒ画素値に乗算パラメータ２．５を乗じてＷＢ処理後のＲ画素値を算出している。さらに、Ｂ画素値に乗算パラメータ２．０を乗じてＷＢ処理後のＢ画素値を算出している。

画素値推定部３３は、飽和画素値（１００％）を持つＧ画素の画素値の推定処理を実行する。
この処理は、先に図８〜図１１を参照して説明した処理である。
具体的には、以下のステップ１〜２の処理を実行する。
（ステップＳ１）
Ｇ（ｘ，ｙ）の値が有効な範囲で、以下の式に従って、Ｒ（ｘ，ｙ），Ｂ（ｘ，ｙ）との比率（ｒａｔｉｏ）を求める。
ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｒ（ｘ，ｙ）
ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／Ｂ（ｘ，ｙ）

このようにして、Ｇ（ｘ，ｙ）の値が有効でない範囲、すなわちＧ画素の画素値が飽和画素値（１００％）の領域で、被写体の画素値を推定する。

出力信号生成部３４は、出力する表示部の特性に応じた信号変換処理、すなわちトーンマッピング処理を実行する。
前述したように、ホワイトバランス処理とＧ画素値推定処理によって生成した画像データは、先に図８〜図１１を参照して説明したように、撮像素子の出力画素値範囲である０〜１００％を増大させた０〜２００％の画素値を有する。

撮像素子の出力画素値範囲である０〜１００％の画素値が、例えば０〜２５５の８ビット画素値であるとすると、０〜２００％の画素値は０〜５１１の画素値に相当する。
８ビットデータを出力できるＳＤＲ表示装置は、０〜２５５の画素値を出力できるが、０〜５１１の画素値の出力ができない、

なお、前述したように、上述した実施例に従った処理は撮像装置に限らず、例えばＲＡＷ画像を入力して画像処理を実行するＰＣ等においても実行可能である。
ＰＣ等の画像処理装置のハードウェア構成例について、図１７を参照して説明する。

図１７は、ＰＣ等の画像処理装置のハードウェア構成例を示す図である。
ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）７１は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）７２、または記憶部７８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）７３には、ＣＰＵ７１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４により相互に接続されている。

ＣＰＵ７１はバス７４を介して入出力インタフェース７５に接続され、入出力インタフェース７５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部７６、ディスプレイ、スピーカなどよりなる出力部７７が接続されている。ＣＰＵ７１は、入力部７６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７７に出力する。

入出力インタフェース７５に接続されている記憶部７８は、例えばハードディスク等からなり、ＣＰＵ７１が実行するプログラムや各種のデータを記憶する。通信部７９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部、さらに放送波の送受信部として機能し、外部の装置と通信する。

入出力インタフェース７５に接続されているドライブ８０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア８１を駆動し、データの記録あるいは読み取りを実行する。

［５．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理部と、
前記デモザイク処理部の生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定部を有し、
前記画素値推定部は、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理装置。

（２）前記画素値推定部は、
前記ホワイトバランス処理後のＧ画像の飽和画素領域以外の有効画素領域の画素位置（ｘ，ｙ）において、
Ｇ画素値とＲ画素値との比率ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）、
Ｇ画素値とＢ画素値との比率ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）、
上記２つの画素値比率を算出し、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値に対して前記画素値比率を適用して、飽和画素領域におけるＧ画素値を推定する（１）に記載の画像処理装置。

（３）前記画素値推定部は、
前記画素値比率の算出に適用するＧ画像の有効画素位置を、Ｇ画素値推定対象となる画素位置に近接する有効画素領域から選択する（２）に記載の画像処理装置。

（４）前記画素値推定部は、
前記ホワイトバランス処理後のＧ画像の飽和画素領域の画素位置（ｘ，ｙ）の画素値Ｇ（ｘ，ｙ）を、
Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
ただし、ｍａｘ（ａ，ｂ）はａ，ｂから最大値を選択する処理、
上記式に従って算出する（２）または（３）に記載の画像処理装置。

（５）前記画像処理部は、さらに、
ホワイトバランス処理後のＲ画像、Ｂ画像、および、前記画素値推定部の算出したＧ画素値を持つＧ画像に対して、トーンマッピング処理を実行して画素値補正を実行し出力画像を生成する出力信号生成部を有する（１）〜（４）いずれかに記載の画像処理装置。

（６）前記出力信号生成部は、
ＯＥＴＦ（Ｏｐｔｉｃａｌ−ＥｌｅｃｔｒｏＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を用いて画素値補正を実行する（５）に記載の画像処理装置。

（７）前記ホワイトバランス処理実行部は、前記デモザイク処理部の生成したＲ画像と、Ｂ画像に対して、予め規定した乗算係数を適用した乗算処理を実行して画素値補正を実行する（１）〜（６）いずれかに記載の画像処理装置。

（８）前記撮像素子はベイヤ配列を有する（１）〜（７）いずれかに記載の画像処理装置。

（９）前記画像処理装置は、撮像素子を有する撮像装置である（１）〜（８）いずれかに記載の画像処理装置。

（１０）前記画像処理装置は、撮像装置の撮影画像であるＲＡＷ画像を入力する入力部を有する（１）〜（８）いずれかに記載の画像処理装置。

（１１）画像処理装置において、画像処理を実行する画像処理方法であり、
前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行し、
前記画像処理部は、前記画素値推定処理において、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理方法。

（１２）画像処理装置において、画像処理を実行させるプログラムであり、
前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行させ、
前記プログラムは、前記画素値推定処理において、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行させるプログラム。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、白とび領域を減少させ、被写体の色、階調を高精度に表現した画像を生成する装置、方法が実現される。
具体的には、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有する。画像処理部は、ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、デモザイク処理後のＲＧＢ各画像に対するホワイトバランス処理を実行し、さらに、ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する。画素値推定処理においては、画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用した画素値推定処理を実行する。
本開示の処理により、白とび領域が減少し、被写体の色、階調を高精度に表現した画像を生成、出力することが可能となる。

１０撮像装置
１１レンズ
１２絞り
１３撮像素子
１４サンプリング回路
１５Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部
１６画像処理部（ＤＳＰ）
１７符号化／復号部
１８メモリ
１９Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部
２０ビデオエンコーダ
２１表示部
２２タイミング生成部
２３操作入力部
２４ドライバ
２５制御部
３１デモザイク処理実行部
３２ホワイトバランス（ＷＢ）処理実行部
３３画素値推定部
３４出力信号生成部
７１ＣＰＵ
７２ＲＯＭ
７３ＲＡＭ
７４バス
７５入出力インタフェース
７６入力部
７７出力部
７８記憶部
７９通信部
８０ドライブ
８１リムーバブルメディア

Claims

撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部は、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理部と、
前記デモザイク処理部の生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理実行部と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定部を有し、
前記画素値推定部は、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理装置。
前記画素値推定部は、
前記ホワイトバランス処理後のＧ画像の飽和画素領域以外の有効画素領域の画素位置（ｘ，ｙ）において、
Ｇ画素値とＲ画素値との比率ＧＲ＿ｒａｔｉｏ（ｘ，ｙ）、
Ｇ画素値とＢ画素値との比率ＧＢ＿ｒａｔｉｏ（ｘ，ｙ）、
上記２つの画素値比率を算出し、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値に対して前記画素値比率を適用して、飽和画素領域におけるＧ画素値を推定する請求項１に記載の画像処理装置。
前記画素値推定部は、
前記画素値比率の算出に適用するＧ画像の有効画素位置を、Ｇ画素値推定対象となる画素位置に近接する有効画素領域から選択する請求項２に記載の画像処理装置。
前記画素値推定部は、
前記ホワイトバランス処理後のＧ画像の飽和画素領域の画素位置（ｘ，ｙ）の画素値Ｇ（ｘ，ｙ）を、
Ｇ（ｘ，ｙ）＝ｍａｘ（Ｇ（ｘ，ｙ），（ＧＲ＿ｒａｔｉｏ×Ｒ（ｘ，ｙ）＋ＧＢ＿ｒａｔｉｏ×Ｇ（ｘ，ｙ））／２．０）
ただし、ｍａｘ（ａ，ｂ）はａ，ｂから最大値を選択する処理、
上記式に従って算出する請求項２に記載の画像処理装置。
前記画像処理部は、さらに、
ホワイトバランス処理後のＲ画像、Ｂ画像、および、前記画素値推定部の算出したＧ画素値を持つＧ画像に対して、トーンマッピング処理を実行して画素値補正を実行し出力画像を生成する出力信号生成部を有する請求項１に記載の画像処理装置。
前記出力信号生成部は、
ＯＥＴＦ（Ｏｐｔｉｃａｌ−ＥｌｅｃｔｒｏＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）を用いて画素値補正を実行する請求項５に記載の画像処理装置。
前記ホワイトバランス処理実行部は、前記デモザイク処理部の生成したＲ画像と、Ｂ画像に対して、予め規定した乗算係数を適用した乗算処理を実行して画素値補正を実行する請求項１に記載の画像処理装置。
前記撮像素子はベイヤ配列を有する請求項１に記載の画像処理装置。
前記画像処理装置は、撮像素子を有する撮像装置である請求項１に記載の画像処理装置。
前記画像処理装置は、撮像装置の撮影画像であるＲＡＷ画像を入力する入力部を有する請求項１に記載の画像処理装置。
画像処理装置において、画像処理を実行する画像処理方法であり、
前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記画像処理部が、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行し、
前記画像処理部は、前記画素値推定処理において、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行する画像処理方法。
画像処理装置において、画像処理を実行させるプログラムであり、
前記画像処理装置は、撮像素子の出力画像に相当するＲＡＷ画像を入力し、入力ＲＡＷ画像に対する画像処理を実行する画像処理部を有し、
前記プログラムは、前記画像処理部に、
前記ＲＡＷ画像に対するデモザイク処理により、全画素にＲＧＢの各色を設定したＲ画像、Ｇ画像、Ｂ画像を生成するデモザイク処理と、
前記デモザイク処理によって生成したＲＧＢ各画像に対するホワイトバランス処理を実行するホワイトバランス処理と、
前記ホワイトバランス処理後のＧ画像の飽和画素領域におけるＧ画素の画素値推定処理を実行する画素値推定処理を実行させ、
前記プログラムは、前記画素値推定処理において、
画素値推定対象となるＧ画素の画素位置と同じ位置のホワイトバランス処理後のＲ画像とＢ画像の画素値を適用して画素値推定処理を実行させるプログラム。