JPWO2013032008A1 - 画像処理装置、プログラム - Google Patents

Abstract

画像処理装置は、被写体像が撮像された第１の撮像画像から階調が失われた画像領域を特定する特定部と、前記第１の撮像画像と同一被写体が撮像されている第２の撮像画像を前記第１の撮像画像に位置合わせして、前記特定部により特定された画像領域に対応する像構造を抽出して、像構造画像を生成する像構造画像生成部と、前記像構造画像生成部により生成された前記像構造画像と前記第１の撮像画像とを合成して前記第１の撮像画像の前記画像領域を補間する補間部と、を備える。

Description

本発明は、画像処理装置およびプログラムに関するものである。

従来、画像処理装置では、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成によって白とびや黒つぶれを抑えた画像を作成している（特許文献１参照）。このような画像処理装置においては、同一の撮影シーンに対して被写体の明部を重視した露出の画像と、被写体の暗部を重視した露出の画像とを連続撮影し、これら２枚の画像を合成処理して白とびや黒つぶれを抑えた画像を作成している。

日本国特開２０１１−１５３８０号公報

しかしながら、ＨＤＲ合成では、違和感のある合成画像となる場合があった。

本発明の第１の態様によると、画像処理装置は、被写体像が撮像された第１の撮像画像から階調が失われた画像領域を特定する特定部と、第１の撮像画像と同一被写体が撮像されている第２の撮像画像を第１の撮像画像に位置合わせして、特定部により特定された画像領域に対応する像構造を抽出して、像構造画像を生成する像構造画像生成部と、像構造画像生成部により生成された像構造画像と第１の撮像画像とを合成して第１の撮像画像の画像領域を補間する補間部と、を備える。
本発明の第２の態様によると、第１の態様の画像処理装置において、階調が失われた画像領域とは、黒つぶれ、白とび、および色飽和のいずれか少なくとも一つが発生した画像領域を含むのが好ましい。
本発明の第３の態様によると、第２の態様の画像処理装置において、黒つぶれが発生した画像領域とは、輝度が第１の閾値以下の画素が所定数以上連結した画素塊であり、白とびが発生した画像領域とは、輝度が第２の閾値以上の画素が所定数以上連結した画素塊であり、色飽和が発生した画像領域とは、彩度が第３の閾値以上の画素が所定数以上連結した画素塊であるのが好ましい。
本発明の第４の態様によると、第３の態様の画像処理装置において、第１の閾値の設定値もしくは第２の閾値の設定値またはその両方を変更する閾値設定部を更に備え、閾値設定部は、第１の撮像画像の輝度ヒストグラムを生成して、輝度ヒストグラムを複数のグループに分割して、複数のグループのうち、度数が零でない最小の階級を含む第１のグループについて現フレームの積分値と前フレームの当該グループの積分値との間の第１の差分を算出して、複数のグループのうち、度数が零でない最大の階級を含む第２のグループについて現フレームの積分値と前フレームの当該グループの積分値との間の第２の差分を算出して、第１の差分が所定値以上であったとき、第１のグループの最大値を第１の閾値に設定して、第２の差分が所定値以上であったとき、第２のグループの最小値を第２の閾値に設定するのが好ましい。
本発明の第５の態様によると、第１から第４のいずれかの態様の画像処理装置において、像構造は、画像の輪郭を少なくとも含むのが好ましい。
本発明の第６の態様によると、第５の態様の画像処理装置において、像構造は、画像の輝度の階調情報をさらに含むのが好ましい。
本発明の第７の態様によると、第１の態様から第６の態様のいずれかの画像処理装置において、第１の撮像画像および第２の撮像画像を撮像する撮像部を備えるのが好ましい。

本発明の第８の態様によると、プログラムは、コンピュータに、被写体像が撮像された第１の撮像画像から階調が失われた画像領域を特定する特定機能と、第１の撮像画像と同一被写体が撮像されている第２の撮像画像を第１の撮像画像に位置合わせして、特定部により特定された画像領域に対応する像構造を抽出して、像構造画像を生成する像構造画像生成機能と、像構造画像生成部により生成された像構造画像と第１の撮像画像とを合成して第１の撮像画像の画像領域を補間する補間機能と、を実現させる。

本発明の第９の態様によると、画像処理装置は、記録部に記録された動画像を構成するフレーム画像の中から露出補正が必要な対象フレーム画像を抽出するフレーム画像抽出部と、対象フレーム画像において、階調が失われた画像領域を特定する特定部と、動画像を構成する対象フレーム画像以外のフレーム画像を用いて階調が失われた画像領域の構造を推定する推定部と、フレーム画像の階調が失われた画像領域を推定部による推定結果を用いて補間する補間部と、備える。
本発明の第１０の態様によると、第９の態様の画像処理装置において、特定部は、フレーム画像内の輝度分布に基づいて階調が失われた画像領域を特定するのが好ましい。
本発明の第１１の態様によると、第９または第１０の態様の画像処理装置において、推定部は、対象フレーム画像以外のフレーム画像を用いて階調が失われた画像領域のテクスチャ画像を生成し、補間部は、テクスチャ画像を階調が失われた画像領域に合成して補間するのが好ましい。
本発明の第１２の態様によると、第９の態様から第１１の態様のいずれかの画像処理装置において、被写体光を撮像する撮像素子をさらに備え、記録部は、撮像素子からの撮像信号に基づく動画像を記録するのが好ましい。

本発明によれば、黒つぶれ、白とび、色飽和などの階調変化が実質的に欠落している画像領域を適正に補間することができる。

図１は、第１の実施の形態に係るデジタルカメラのシステム構成を示すブロック図である。 図２は、第１の実施の形態に係るデジタルカメラによる動画撮影処理を示すフローチャートである。 図３は、動画撮影における時間経過に伴う各フレーム画像の所定領域の輝度の推移を示すグラフである。 図４（ａ）は、図３の時間ｔ＝４で生成されたフレーム画像である。図４（ｂ）は、図４（ａ）のフレーム画像に対してトーンカーブによる露出補正を行った画像を示す図である。 図５は、フレーム画像から特定した黒つぶれ領域を示す図である。 図６は、図３の時間ｔ＝３で生成されたフレーム画像である。 図７は、図３の時間ｔ＝３で生成されたフレーム画像に基づくテクスチャ画像である。 図８は、黒つぶれ領域に該当するテクスチャ画像を示す図である。 図９（ａ）は、テクスチャ画像を合成することにより黒つぶれ領域を補間したフレーム画像を示す図である。図９（ｂ）は、図９（ａ）のフレーム画像に対してトーンカーブによる露出補正を行った画像を示す図である。 図１０は、第２の実施の形態による画像処理装置としてのデジタルカメラのシステム構成を示すブロック図である。 図１１（ａ）は階調が失われた画像の一例であって、黒つぶれにより階調が失われた画像を示す図である。図１１（ｂ）は階調が失われていない画像の一例である。図１１（ｃ）は特定部により特定される画像領域を例示した図である。 図１２は、図１１（ａ）の画像に対してトーンカーブによる露出補正を行った画像の一例を示す図である。 図１３は、特定部の処理を表すフローチャートである。 図１４（ａ）は、図１１（ｂ）の画像の像構造を示す図である。図１４（ｂ）は、像構造画像の一例を示す図である。 図１５は、像構造画像生成部の処理を表すフローチャートである。 図１６は、補間部の処理を表すフローチャートである。 図１７（ａ）は、像構造画像を半透明合成した画像の一例を示す図である。図１７（ｂ）は、図１７（ａ）の画像に対してトーンカーブによる露出補正を行った画像の一例を示す図である。 図１８は、画像処理装置の階調補間処理を表すフローチャートの一例である。 図１９は、図１３における第１閾値および第２閾値を設定する処理に関するフローチャートである。 図２０は、図１３における第１閾値および第２閾値を設定する処理に関するフローチャートである。 図２１は、輝度ヒストグラムの分割例を示す図である。 図２２は、制御プログラムの提供の様子を示す図である。

（第１の実施の形態）
以下、図面を参照して、本発明の実施の形態に係る画像処理装置としてのデジタルカメラについて説明する。図１は実施の形態に係るデジタルカメラのシステム構成を示すブロック図である。図１に示すように、デジタルカメラ２はマイクロプロセッサ等により構成され、デジタルカメラ２の各部を統括的に制御する制御部４を備えている。制御部４には、表示部６、撮像素子８、操作部１０、記録媒体１２、記憶部１４及びバッファメモリ１６が接続されている。

表示部６はデジタルカメラ２の筐体背面に設けられ、撮像素子８からの撮像信号に基づくスルー画像や記録媒体１２に記録されている画像データに基づく静止画像や動画像を表示する。撮像素子８は、ＣＣＤまたはＣＭＯＳ等により構成され、撮影レンズ１８を介した被写体光を撮像して撮像信号を制御部４に対して出力する。制御部４は撮像素子８から出力された撮像信号に対して解像度調整、露出調整等の画像処理を行って動画像、スルー画像等の画像データを生成する。

操作部１０は、レリーズ指示を行うレリーズボタン、被写体の撮像を行う撮影モードの切換えを行うモードボタン、メニュー項目等の選択や様々な設定時に操作される十字キー、メニュー項目等の選択や様々な設定に対する確定操作を行うためのＯＫボタン等を含んで構成されている。

記録媒体１２は、カードスロット（図示せず）に着脱可能に装着される可搬性を有する例えばＣＦカード、ＳＤカード、スマートメディア等である。この記録媒体１２には、制御部４において生成された静止画データや動画像データが記録される。

記憶部１４は、動画撮影が行われた際に撮像素子８から出力される撮像信号に基づくフレーム画像の輝度分布から、輝度がゼロまたは所定値以下になっている画素群をフレーム画像の黒つぶれ領域として特定するための面積の値等を記憶する。バッファメモリ１６は、動画像の撮影が行われた場合に撮像素子８からの撮像信号に基づくフレーム画像を一時的に記憶する。

次に図２に示すフローチャートを参照してデジタルカメラ２による動画像撮影処理について説明する。先ずユーザは操作部１０によって動画撮影モードを設定し、動画撮影開始を指示するレリーズボタンを押下する。これにより制御部４は動画像の撮影を開始し、撮像素子８からの撮像信号に基づいてフレーム画像を生成してバッファメモリ１６に記憶させる。なお制御部４はユーザによる再度のレリーズボタン押下による動画撮影終了の指示まで、継続してバッファメモリ１６にフレーム画像を記憶させる。

制御部４は、バッファメモリ１６に記憶されているフレーム画像を古い順に読み出す（ステップＳ１）。制御部４は、読み出したフレーム画像の輝度分布を検出し（ステップＳ２）、検出した輝度分布を記憶部１４に一時的に記憶する。

制御部４は、最初に読み出したフレーム画像に対してホワイトバランスや輪郭強調等の所定の画像処理を施して記録媒体１２に記録させる。制御部４は、２番目以降に読み出したフレーム画像については検出した輝度分布を、記憶部１４に記憶されている前のフレーム画像の輝度分布と比較し、その比較結果に基づいてフレーム画像に対して露出調整が必要か否かを判別する（ステップＳ３）。即ち制御部４は、前のフレーム画像の輝度分布との比較結果から、現フレーム画像の明部が一定量減衰していた場合、現フレーム画像に対して露出調整が必要であると判別し（ステップＳ３、Ｙｅｓ）、露出調整が必要な対象フレーム画像として抽出する。

制御部４は対象フレーム画像において黒つぶれ領域を特定する（ステップＳ４）。具体的には、制御部４は輝度がゼロまたは所定値以下になっている画素群の面積の内、記憶部１４に記憶された面積の値以上の面積となっている画素群を黒つぶれ領域として特定する。

ここで図３は動画撮影における時間経過に伴う各フレーム画像の所定領域の輝度の推移を示すグラフであり、横軸が時間（ｔ）、縦軸が輝度（Ｙ）を示し、時間ｔ＝４で生成されたフレーム画像の所定領域の輝度が前後のフレーム画像の所定領域の輝度と比較して大きく低下した様子を示している。なお所定領域は時間ｔ＝４において黒つぶれ領域として特定される領域である。この図３に示す動画撮影による動画像においては時間ｔ＝４で生成されたフレーム画像の所定領域の輝度が前後のフレーム画像の所定領域の輝度と比較して大きく低下しているため、時間ｔ＝４で生成されたフレーム画像は露出調整が必要な対象フレーム画像として抽出され、この対象フレーム画像において黒つぶれ領域が特定される。

ここで、動画像撮影の対象が、室内において窓から見える風景を撮影したものである場合に、時間ｔ＝４で生成されたフレーム画像が図４（ａ）に示すように窓から見える風景は明るく表示され、それ以外の部分が暗く表示されていた場合、このフレーム画像に対してはトーンカーブによる階調調整やゲインを上げる調整等を行なったとしても、図４（ｂ）に示すように明るく写っていた風景の構造は浮かび上がるが、黒つぶれ領域は暗いままとなる。なお、図４（ａ）と図４（ｂ）を模式的に表した図をそれぞれ図１１（ａ）と図１２に示す。

従って制御部４は、黒つぶれ領域を特定して黒つぶれ領域の構造を推定する。即ち図４（ａ）に示すフレーム画像が対象フレーム画像として抽出された場合、制御部４は図５に示すように窓から見える風景以外の部分を黒つぶれ領域として特定する。そして制御部４は、特定された黒つぶれ領域の構造の推定を行なう（ステップＳ５）。即ち制御部４は、対象フレーム画像とその前後に生成された何れかのフレーム画像との位置合わせ処理を行なって黒つぶれ領域に該当する箇所の構造の推定を行なう。なお、図４（ａ）と図５とを模式的に表した図をそれぞれ図１１（ａ）と図１１（ｃ）に示す。

なお位置合わせ処理については、公知の技術である垂直方向、水平方向、回転方向、スケールの変更、アフィン変換等の複数軸によるＬＫ法を適用すれば、黒つぶれ領域に該当する物体の位置合わせを高い精度で行なうことができる。換言すると、位置合わせ処理は、公知の技術である垂直方向および水平方向の平行移動、回転、スケールの変更、アフィン変換等の操作を用いたＬｕｃａｓ−Ｋａｎａｄｅ法を適用すれば、黒つぶれ領域に該当する物体の位置合わせを高い精度で行なうことができる。

即ち、例えばバッファメモリ１６に記録されている時間ｔ＝３で生成されたフレーム画像（以下、前フレーム画像という。）を用いて黒つぶれ領域の構造の推定を行なう場合には、制御部４は、先ず図６に示すように黒つぶれ領域の構造が写っている前フレーム画像のテクスチャ画像を生成する。このテクスチャ画像は、図７に示すように黒つぶれ領域を含めた前フレーム画像の構造が表示された画像となる。次に制御部４は、テクスチャ画像に基づいて黒つぶれ領域、即ち図８に示すように窓から見える風景以外の領域の構造を推定する。なお、図６、図７、図８を模式的に表した図をそれぞれ図１１（ｂ）、図１４（ａ）、図１４（ｂ）に示す。

制御部４は、推定した黒つぶれ領域の構造を用いて黒つぶれ領域の補間を行なう（ステップＳ６）。即ち制御部４は、対象フレーム画像における黒つぶれ領域にテクスチャ画像から推定した構造を合成する。これにより対象フレーム画像は図９（ａ）に示すように黒つぶれ領域の構造の情報を有するフレーム画像となる。従って制御部４により、対象フレーム画像に対してトーンカーブによる階調調整を行なうことにより、図９（ｂ）に示すように黒つぶれ領域の構造が浮かび上がったフレーム画像を得ることができる。なお、図９（ａ）と図９（ｂ）を模式的に表した図をそれぞれ図１７（ａ）と図１７（ｂ）に示す。

制御部４は、ステップＳ６で黒つぶれ領域の補間を行なった後、又はステップＳ３で露出調整が必要無いと判別した場合（ステップＳ３、Ｎｏ）、フレーム画像に所定の画像処理を行なって記録媒体１２に記録させる（ステップＳ７）。フレーム画像を記録媒体１２に記録させた後、制御部４はバッファメモリ１６にフレーム画像が残っているか否かを判断する（ステップＳ８）。制御部４は、バッファメモリ１６にフレーム画像が残っていると判断したとき（ステップＳ８、Ｙｅｓ）、ステップＳ１に戻り、次のフレーム画像を読み出して、そのフレーム画像の輝度分布を検出する。また制御部４は、バッファメモリ１６にフレーム画像が残っていないと判断したとき（ステップＳ８、Ｎｏ）、動画像撮影処理を終了する。

この実施の形態のデジタルカメラにおいては、黒つぶれ領域のテクスチャを補間したフレーム画像を生成することができる。従って、露出調整でゲイン処理がなされた場合においても違和感のない画像を生成することができる。また対象フレーム画像における黒つぶれ領域のみを補間するので、ＨＤＲ合成のように２枚のフレーム画像を合成したときに背景等がブレて写ってしまうことを防止できる。

なお、上述した実施の形態においては、動画撮影時に、フレーム画像における黒つぶれ領域の補間を行なった場合を例に説明したが、動画撮影後に黒つぶれ領域の補間を行なうようにしてもよい。その場合には記録媒体１２に記録した各フレーム画像において、前後のフレーム画像と輝度分布を比較し、比較結果から露出調整が必要なフレーム画像を抽出し、抽出したフレーム画像の前後のフレーム画像を用い、上述した黒つぶれ領域の推定や、黒つぶれ領域の補間を行なえばよい。

また、黒つぶれ領域の構造の推定は、前後のフレーム画像の位置合わせ処理後に黒つぶれ領域を小領域に細分化し、各小領域のベクトルを算出し、前後のフレーム画像と対象となるフレーム画像との案分から構造を推定する方法を用いてもよい。
さらに、本願では画像の黒つぶれを例にとって説明したが、第１の実施形態はもちろん、画像の黒つぶれに限らず、白とび・階調飽和等、画像の階調が欠如した領域の補間にも適用することができる。

以上、本発明を上述の実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。

（第２の実施の形態）
本発明の第２の実施の形態に係る画像処理装置としてのデジタルカメラについて説明する。図１０は、デジタルカメラ１のブロック構成図である。デジタルカメラ１は、静止画像の撮影、動画像の撮影、連写撮影を行うことができる。図１０に示されるようにデジタルカメラ１は、制御部３と表示部５と撮像素子７と操作部９と記録媒体１１と記憶部１３とバッファメモリ１５と撮影レンズ１７とを備える。

制御部３は、たとえばマイクロプロセッサ等により構成される。制御部３は、記憶部１３に記憶されているデジタルカメラ１の制御に関する制御プログラム１３１を実行することで、デジタルカメラ１の各部を制御することができる。たとえば、制御部３は、詳細を後述する画像処理部３１として機能する。

表示部５は、たとえばデジタルカメラ１の筐体背面に設けられた液晶表示装置である。
表示部５には、たとえば各種メニュー画面、撮像素子７からの撮像信号に基づくスルー画像、記録媒体１１に記録されている画像データに基づく静止画像や動画像などが表示される。

撮像素子７は、たとえばＣＣＤまたはＣＭＯＳ等により構成される。撮影レンズ１７を通過した被写体からの光束は撮像素子７の撮像面に導かれる。撮像素子７は、その撮像面に結像された被写体像を撮像する。撮像素子７の撮像面には、たとえば赤（Ｒ）のカラーフィルタが設けられた撮像画素と、緑（Ｇ）のカラーフィルタが設けられた撮像画素と、青（Ｂ）のカラーフィルタが設けられた撮像画素とがベイヤ配列で配置されている。撮像素子７は、ＲＧＢ表色系の撮像信号を制御部３に向けて出力する。制御部３は、撮像信号を所定階調（たとえば、２５６階調）のデジタル信号にＡ／Ｄ変換すると共に、画像処理部３１にて種々の画像処理を行って、動画像、静止画像、スルー画像等の画像データを生成する。

操作部９は、ユーザがデジタルカメラ１に対して入力操作を行うための操作部材を含む。たとえば、操作部９には、たとえばデジタルカメラ１の電源スイッチ、レリーズ指示を行うレリーズボタン、被写体の撮像を行う撮影モードの切換えを行うモードボタン、メニュー項目等の選択や様々な設定時に操作される十字キー、メニュー項目等の選択や様々な設定に対する確定操作を行うためのＯＫボタン等を含んで構成されている。

記録媒体１１は、不揮発性の記憶領域を有する。記録媒体１１は、たとえばＣＦカード、ＳＤカード等で実装される。記録媒体１１には、制御部３が生成した画像データなどが記録される。

記憶部１３は、ＲＯＭ、ハードディスク、フラッシュメモリなどで構成される。記憶部１３には、制御プログラム１３１が記憶されると共に、デジタルカメラ１の設定に関する情報などが記憶されている。

バッファメモリ１５は、ＲＡＭなどで構成され、データを一時的に記憶する記憶領域を有する。たとえば動画像の撮影が行われているとき、バッファメモリ１５には、フレームごとの画像が一時的に記憶される。なお、各フレームの画像は、撮像素子７からの撮像信号に基づいて画像処理部３１により生成される。

デジタルカメラ１などの撮像装置を用いた撮影において、露出等に関する設定が適切に行われない場合、画像データにおいて黒つぶれや白とびと呼ばれる現象が発生することがある。黒つぶれとは、被写体像の暗い部分における階調が失われた状態であって、たとえば被写体像の暗い部分に対応する各画素位置の輝度が一様に最小値（たとえば、零）となった状態である。白とびとは、被写体像の明るい部分における階調が失われた状態であって、たとえば被写体像の明るい部分に対応する各画素位置の輝度が一様に最大値となった状態である。

また、デジタルカメラ１などの撮像装置を用いた撮影において、コントラスト等に関する設定が適切に行われない場合、色飽和と呼ばれる現象が発生することがある。色飽和とは、被写体像の同一色相の部分における階調が失われた状態であって、たとえば所定色相の被写体（たとえば、赤色の花）が撮像された画素位置の彩度が一様に最大値となった状態である。

失われた階調は、トーンカーブ等による調整では復元することができない。たとえば、黒つぶれが発生した画像領域（画素塊）に対してトーンカーブ等による調整を行ったとしても、その黒つぶれが発生した画像領域が一様に明るくなるだけである。

画像処理部３１は、このような階調が失われた画像を補間するために階調補間処理と称する画像処理を実行することができる。図１０には、階調補間処理に用いられる特定部３１１と像構造画像生成部３１２と補間部３１３と閾値設定部３１４とが図示されている。

（特定部３１１）
特定部３１１は、デジタルカメラ１で撮像されバッファメモリ１５あるいは記録媒体１１に記録された画像データから以下の条件に適合する画像領域（画素塊）を特定し、階調補間処理の対象となる画像の画像データをバッファメモリ１５に記録する。
第１条件：輝度が第１閾値以下の画素が所定数以上連結した画像領域（画素塊）
第２条件：輝度が第２閾値以上の画素が所定数以上連結した画像領域（画素塊）
第３条件：彩度が第３閾値以上の画素が所定数以上連結した画像領域（画素塊）

第１条件に適合する画像領域（画素塊）には、黒つぶれが発生した画素が含まれる。第２条件に適合する画像領域（画素塊）には、白とびが発生した画素が含まれる。第３条件に適合する画像領域（画素塊）には、色飽和が発生した画素が含まれる。第１閾値、第２閾値、第３閾値は、予め設定された所定の値としてもよいし、閾値設定部３１４によりその設定値を変更することにしてもよい。

図１１（ａ）−（ｃ）を用いて、特定部３１１について説明する。図１１（ａ）には、黒つぶれが発生した撮像画像１００が例示されている。図１１（ｂ）は、デジタルカメラ１の露出を適切に設定して図１１（ａ）と同一の被写体を撮影した撮像画像を示す。なお、図１１以降の図面では、撮像画素ごとの輝度がハッチングの濃さで表現されており、ハッチングが濃いほど暗いことを表す。

図１１（ｂ）に例示した撮像画像１１０には、窓の画像領域１０１と、「ＳＯＵＴＨ ＥＡＳＴ」という文字による案内表示の文字像１０２が撮像されている。図１１（ａ）の撮像画像１００は、図１１（ｂ）の撮像画像１１０よりも全体的に暗く、窓の画像領域１０１以外の画像領域１０３において黒つぶれが発生している。そのため、図１１（ａ）では、案内表示の文字像１０２に関する階調が失われている。なお、図１１（ａ）の撮像画像１００に対して、トーンカーブを用いた露出調整を適用したとしても、図１２に示す画像１３０のように黒つぶれにより失われた案内表示の文字像１０２に関する階調は復元しない。

図１１（ｃ）には、図１１（ａ）の撮影画像１００に対して、特定部３１１の処理を適用した画像１２０が例示されている。図１１（ｃ）に示される画像１２０には、図１１（ａ）のうち特定部３１１により第１条件に適合する画像領域１０３が特定されている。また、画像１２０には、図１１（ａ）において階調が失われていなかった窓の画像領域１０１の像は特定部３１１により特定されていない。

図１３は、特定部３１１に関するフローチャートの一例である。図１３に示す処理は、バッファメモリ１５に画像データが記録されたときに制御部３により実行される。ステップＳ２００では、制御部３は、輝度が第１閾値以下の画素が所定数以上連結した画像領域を抽出する。この処理により第１条件に適合する画像領域が抽出される。ステップＳ２０１では、制御部３は、ステップＳ２００で抽出された画像領域に関する画像データをバッファメモリ１５に記録する。図１１に示す例では、制御部３は、図１１（ｃ）の画像１２０に関する画像データをバッファメモリ１５に記録する。

ステップＳ２０２では、制御部３は、輝度が第２閾値以上の画素が所定数以上連結した画像領域を抽出する。この処理により第２条件に適合する画像領域が抽出される。ステップＳ２０３では、制御部３は、ステップＳ２０２で抽出された画像領域に関する画像データをバッファメモリ１５に記録する。なお、図１１に示す例では、第２条件を満たす領域は存在しない。

ステップＳ２０４では、制御部３は、彩度が第３閾値以上の画素が所定数以上連結した画像領域を抽出する。この処理により第３条件に適合する画像領域が抽出される。ステップＳ２０５では、制御部３は、ステップＳ２０４で抽出された画像領域に関する画像データをバッファメモリ１５に記録する。なお、図１１に示す例では、第３条件を満たす領域は存在しない。

以降、特定部３１１により画像領域が特定された撮像画像の画像情報のことを補間画像データＧ_０と称する。また、特定部３１１によりバッファメモリ１５に記録された第１条件、第２条件、または第３条件に適合する画像領域に関する画像データのことを対象画像データＧ_Ｔと称する。なお、対象画像データＧ_Ｔは、適合した条件ごとに異なる画像情報としてバッファメモリ１５に記録されている。対象画像データＧ_Ｔにおいて、特定部３１１により特定されなかった画像領域については、所定のマスク用データが記憶されている。

（像構造画像生成部３１２）
像構造画像生成部３１２は、特定部３１１が特定した画像領域の像構造を特定する。本発明では、像構造とは、その画像領域の内側の輝度の階調情報と、その画像領域の内側にあるエッジ情報とを意味する。像構造画像生成部３１２は、推定した像構造について、像構造画像と称する画像データを生成する。例えば図１４（ｂ）は、図１１（ｃ）に対する像構造画像である。図１４（ｂ）には、図１４（ａ）の画像領域のうち、図１１（ｃ）の画像領域１０３に対応する領域が抽出されている。

像構造画像生成部３１２は、参照画像データＧ_Ｒと称する画像情報と、対象画像データＧ_Ｔとに基づいて、像構造画像データを生成する。参照画像データＧ_Ｒは、記録媒体１１、記憶部１３、バッファメモリ１５などに記憶されている画像データであって、補間前画像データＧ_０とは異なる画像データであり、補間前撮像画像データＧ_０と同一の被写体が撮像された画像データである。参照画像データＧ_Ｒは、ユーザが記録媒体１１、記憶部１３、バッファメモリ１５などに記憶されている画像データの中から選択することにしてもよいし、像構造画像生成部３１２がそれらの中から選択する構成としてもよい。

参照画像データＧ_Ｒは、特定部３１１によりいずれの画像領域も特定されないような撮像画像データであることが好まく、少なくとも補間対象である補間前画像データＧ_０が特定されたのと同じ種類の条件により特定されない撮像画像の画像情報であることが好ましい。補間前画像データＧ_０が撮影中の動画像のフレーム画像である場合は、現フレームの輝度分布と比較して、暗部または明部の輝度（彩度）が所定量以上異なるフレーム画像を選択することにすればよい。第１条件に関する対象画像データＧ_Ｔに対しては明部の輝度、第２条件に関する対象画像データＧ_Ｔに対しては暗部の輝度がそれぞれ所定量以上異なるフレーム画像、第３の条件に関する対象画像データＧ_Ｔに対しては画像全体の彩度が所定値以上異なるフレーム画像を選択することにすればよい。

図１５は、像構造画像生成部３１２に関するフローチャートの一例である。図１５の処理は、制御部３により実行される。図１５の処理開始前に、参照画像データＧ_Ｒが選択されているものとする。

ステップＳ４０１では、制御部３は、補間前画像データＧ_０と、参照画像データＧ_Ｒとを用いて画像の位置合わせ処理を行う。位置合わせ処理には、Ｌｕｃａｓ−Ｋａｎａｄｅ法、Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ法などの公知の手法を用いればよい。

ステップＳ４０２では、制御部３は、位置合わせされた参照画像データＧ_Ｒに対してエッジ検出を行う。制御部３は、エッジ検出により検出されたエッジのみのエッジ画像に関する画像データＧ_Ｅを生成する。ステップＳ４０３では、制御部３は、位置合わせされた参照画像データＧ_Ｒの輝度の階調情報のみを抽出した画像データＧ_ＧＳを生成する。例えば、制御部３は、位置合わせされた参照画像データＧ_Ｒをグレースケールに変換して、さらに所定の階調変換を行うことにより画像データＧ_ＧＳを生成する。

ステップＳ４０４では、制御部３は、ステップＳ４０２で生成された画像データＧ_Ｅと、ステップＳ４０３で生成された画像データＧ_ＧＳとを半透明合成して、合成画像データＧ_Ｃ１を生成する。半透明合成には、たとえばアルファブレンドなど、公知の手法を用いればよい。図１４（ａ）は、ステップＳ４０４で生成される合成画像の一例を示す図である。図１４（ａ）に示される合成画像１４０には、窓の画像領域１０１および窓の画像領域１０１以外の画像領域１０３の、エッジおよび輝度の階調情報が含まれている。

ステップＳ４０５では、制御部３は、対象画像データＧ_Ｔと画像データＧ_Ｃ１とに基づいて像構造画像の画像データＧ_ＩＳを生成する。例えば、対象画像データＧ_Ｔに含まれるマスク用データに基づいて、画像データＧ_Ｃ１のうち特定部３１１により特定されなかった画像領域に対応する画像データを所定のマスク用データに変更する。図１４（ｂ）は、像構造画像の一例を示す図である。図１４（ｂ）に示される像構造画像１５０には、図１４（ａ）の合成画像１４０のうち、図１１（ｃ）の画像領域１０３に相当する画像が抽出されている。換言すると、マスク用データが記憶されている画像１２０の窓の画像領域１０１の内側の画像領域以外が抽出されている。

尚、本実施例では画像データに第１条件を満たす領域のみが含まれる場合を示しているが、白とびと階調飽和等複数の条件が並存する場合には、互いの条件を満たす領域データもマスク用データに変更する。例えば、補間対象画像が第２の条件を満たす領域と第３の条件を満たす領域が並存している場合には、第２のデータ領域を抽出するためには第２のデータ条件を満たさない画像領域（第３条件を満たす領域と第１〜第３の条件を満たさない領域）をマスクデータに変更し、第３のデータ領域を抽出するためには第３の条件を満たさない画像領域（第２条件を満たす領域と第１〜第３の条件を満たさない領域）をマスクデータに変更する。

（補間部３１３）
補間部３１３は、像構造画像生成部３１２により生成された像構造画像の画像データＧ_ＩＳを用いて、補間前画像データＧ_０を補間する。図１６は、補間部３１３に関するフローチャートの一例である。

図１６のステップＳ６００では、制御部３は、補間前画像データＧ_０に像構造画像の画像データＧ_ＩＳを半透明合成して合成画像の画像データＧ_Ｃ２を生成する。半透明合成には、たとえばアルファブレンドなど、公知の手法を用いればよい。

図１７（ａ）は、ステップＳ６００で生成される合成画像の一例を示す図である。図１７（ａ）には、図１１（ａ）の撮像画像１００に図１４（ｂ）の像構造画像１５０を半透明合成した合成画像１６０が例示されている。

本発明では、補間前画像データＧ_０のうち階調が実質的に失われた画像領域に像構造を半透明合成することにより、階調を復元することができる。また、本発明によれば、特定部３１１により補間対象画像のうち像構造が失われた領域を特定し、特定された領域に対応する像構造画像領域のみを合成する。従って、ＨＤＲのように連続撮影した複数の撮像画像データを画像全体の階調を保ったまま合成処理しないため、自然で違和感のない補間画像が実現できる。

ステップＳ６０１では、制御部３は、合成画像の画像データＧ_Ｃ２に対して、トーンカーブを用いた露出補正を行う。図１７（ｂ）の画像１７０は、図１７（ａ）に例示される合成画像１６０に対してトーンカーブを用いた露出補正を行った結果を示している。図１７（ｂ）に示される画像１７０では、案内表示の文字像１０２が適切に補正されている。

ステップＳ６０１では、第１条件に適合した画像領域に対して補間する場合は、制御部３は、トーンカーブを用いた露出補正により合成画像全体が明るくなるように露出補正を行う。また、第２条件に適合した画像領域に対して補間する場合は、制御部３は、トーンカーブを用いた露出補正により合成画像全体が暗くなるように露出補正を行う。第３条件に適合した画像領域に対して補間する場合は、制御部３は、合成画像全体の輝度分布に基づいて、トーンカーブを用いた露出補正を行う。

ステップＳ６０２では、制御部３は、露出補正された合成画像の画像データＧ_Ｃ２をバッファメモリ１５に記録する。制御部３は、この画像データを用いて、補間前画像データＧ_０を差し替えてもよい。

図１８は、以上で説明した各処理を用いる階調が失われた画像を補間する処理全体に関するフローチャートである。図１８に示す処理は、例えば動画像を撮影しているときに、前フレームの輝度分布と現フレームの輝度分布とを比較したとき、現フレームの明部または暗部が所定量以上増減していた場合にその実行を開始する。

図１８のステップＳ８００では、制御部３は、図１３に示すような特定部３１１の処理を実行する。ステップＳ８０１では、制御部３は、特定部３１１により、第１条件、第２条件、および第３条件のいずれかに適合する画像領域が特定されたか否かを判定する。制御部３は、ステップＳ８０１が肯定判定されたときステップＳ８０２に処理を進め、ステップＳ８０１が否定判定されたとき階調補間処理を終了する。ステップＳ８０２では、図１５に示す像構造画像生成部３１２の処理を実行する。ステップＳ８０３では、図１６に示す補間部３１３の処理を実行する。

（閾値設定部３１４）
閾値設定部３１４は、前述の第１条件の第１閾値、第２条件の第２閾値、第３条件の第３閾値の設定値をそれぞれ変更する。閾値設定部３１４が各閾値の設定値を変更することにより、動画像の撮影や静止画像の連写撮影などにおいて、特定部３１１により適切な画像領域が特定される。以下では、動画像の撮影中における第１閾値の設定を例に用いて説明する。

図１９および図２０は、動画像撮影時における第１閾値の設定方法に関するフローチャートである。図１９の処理は、例えば動画撮影時に図１８のステップＳ８００の処理が開始される際に実行を開始する。なお、静止画像の連写撮影時においても同様の処理を実行することができる。

図１９のステップＳ１０００では、制御部３は、第１閾値を所定の設定値に初期化する。例えば、輝度の階調が２５６階調の場合、制御部３は、第１閾値をゼロに設定する。

ステップＳ１００１では、制御部３は、現フレームおよび前フレームのフレーム画像に関して、輝度ヒストグラムを生成する。ステップＳ１００２では、制御部３は、現フレームの輝度ヒストグラムを、所定の輝度値Ｃ３を境界にして黒潰れが検出されうる輝度領域０−Ｃ３とそうでない輝度領域Ｃ３−２５５の少なくとも二つのグループに分割する。

図２１（ａ）は補間対象画像である現フレームの輝度ヒストグラム、図２１（ｂ）は参照画像である前フレームの輝度ヒストグラムの一例を示す図である。図２１では、黒つぶれと判定される所定の輝度値を境界にして輝度０からＣ３を０以上Ｃ１未満のグループ、Ｃ１以上Ｃ２未満のグループ、Ｃ２以上Ｃ３未満のグループの３つに分割している。

ステップＳ１００３では、制御部３は、現フレームのフレーム画像に対して算出されたグループ０−Ｃ１に関する輝度の積分値Ｍ_ＣＵＲと、前フレームのフレーム画像に対して算出されたそのグループ０−Ｃ１の輝度の積分値Ｍ_ＰＲＥＶとの差分ΔＭ１を算出する。

ステップＳ１００４では、制御部３は、差分ΔＭ１が所定値以上か否かを判定する。制御部３は、ステップＳ１００４が肯定判定された場合は処理をステップＳ１００５に進め、ステップＳ１００４が否定判定された場合は処理を図２０のステップＳ１００６に進める。

ステップＳ１００５では、制御部３は、第１閾値を、グループ０−Ｃ１における最大輝度値に変更する。

図２０のステップＳ１００６では、制御部３は、現フレームのフレーム画像に対して算出されたグループＣ１−Ｃ２に関する積分値Ｍ_ＣＵＲと、前フレームのフレーム画像に対して算出されたそのグループＣ１−Ｃ２の積分値Ｍ_ＰＲＥＶとの差分ΔＭ２を算出する。ステップＳ１００７では、制御部３は、差分ΔＭ２が所定値以上か否かを判定する。制御部３は、ステップＳ１００７が肯定判定された場合は処理をステップＳ１００８に進め、ステップＳ１００７が否定判定された場合は処理をステップＳ１００９に進める。
ステップＳ１００８では、制御部３は、第１閾値を、グループＣ１−Ｃ２における最大輝度値に変更する。

ステップＳ１００９では、制御部３は、現フレームのフレーム画像に対して算出されたグループＣ２−Ｃ３に関する積分値Ｍ_ＣＵＲと、前フレームのフレーム画像に対して算出されたそのグループＣ２−Ｃ３の積分値Ｍ_ＰＲＥＶとの差分ΔＭ３を算出する。ステップＳ１０１０では、制御部３は、差分ΔＭ３が所定値以上か否かを判定する。制御部３は、ステップＳ１０１０が肯定判定された場合は処理をステップＳ１０１１に進め、ステップＳ１０１０が否定判定された場合は図２０の処理を終了する。
ステップＳ１０１１では、制御部３は、第１閾値を、グループＣ２−Ｃ３における最大輝度値に変更する。

図１９〜２１のステップは第２閾値、第３閾値の設定にも適用できる。第２閾値の設定の場合には、例えば、図２１（ａ）、（ｂ）の高輝度側に設定された白とびと判定される所定の輝度値を境界にして輝度Ｃ４以上Ｃ５未満のグループ、Ｃ５以上Ｃ６未満のグループ、Ｃ６以上Ｃ７以下のグループの３つに分割する。白とびのための閾値を設定する場合図１９のステップＳ１００３以降と図２０の設定フローは、Ｃ６以上Ｃ７未満のグループでの補間対象画像と参照画像との差分が所定値以上か否かの判定、Ｃ５以上Ｃ６未満のグループでの補間対象画像と参照画像との差分が所定値以上か否かの判定、Ｃ４以上Ｃ５未満のグループでの補間対象画像と参照画像との差分が所定値以上か否かの判定の順となる。また、第３閾値の設定についても、上記の第２閾値の設定の説明を“輝度”を“彩度”に置き換えることに適用可能である。

上記、閾値分割は、明るさが０から２５５の２５６階調で表現される画像の場合には、例えば、２５６階調を４等分し、第１閾値の条件を輝度階調０から６３、適正露出領域を輝度階調６３から１９２、第２閾値の条件を輝度階調１９２から２５５と設定される。
黒つぶれ検出領域（第１の閾値の設定範囲）、白とび検出領域（第２の閾値の設定範囲）、
彩度飽和検出領域（第３の閾値の設定範囲）、及びそれらの領域での分割数は、予め設定されていてもよいし、ユーザが設定できるように構成してもよい。

以上で説明した実施の形態によれば、以下の作用効果が得られる。
本発明による制御部３は、特定部３１１と、像構造画像生成部３１２と、補間部３１３として機能する。特定部３１１は、被写体像が撮像された補間前画像データＧ_０から黒つぶれ領域などの階調が失われた画像領域を特定する（図１３）。像構造画像生成部３１２は、撮像画像と同一被写体が撮像されている参照画像データＧ_Ｒを補間前画像データＧ_０に位置合わせして（図１５のステップＳ４０１）、特定部３１１により特定された対象画像データＧ_Ｔに対応する像構造を抽出して、像構造画像の画像データＧ_ＩＳを生成する（図１５のステップＳ４０５）。補間部３１３は、像構造画像生成部３１２により生成された像構造画像の画像データＧ_ＩＳと補間前画像データＧ_０とを半透明合成して撮像画像の対象画像データＧ_Ｔを補間する。このように、複数の画像データ画像全体を合成するのではなく、位置合わせした対象画像データＧ_Ｔの像構造を補間前画像データＧ_０に半透明合成することにより、黒つぶれ、白とび、色飽和などの階調変化が実質的に欠落している画像領域を適正に補間することができる。

以上で説明した実施の形態は、以下のように変形して実施できる。
本発明は、デジタルカメラ１，２以外の画像処理装置にも適用できる。例えば、制御プログラム１３１が記憶されたハードディスクやフラッシュメモリなどの記録媒体が接続されたパーソナルコンピュータ、携帯電話などにも適用することができる。

また、例えばパーソナルコンピュータなどに適用する場合、上述した制御プログラム１３１は、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２２はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は制御プログラム１３１を提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体に制御プログラム１３１を格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用して制御プログラム１３１を読み出し、通信回線４０１を介して制御プログラム１３１をパーソナルコンピュータ４００に送信する。すなわち、制御プログラム１３１をデータ信号として搬送波を介して、通信回線４０１を介して送信する。このように、制御プログラム１３１は、記録媒体やデータ信号（搬送波）などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

以上で説明した実施の形態や変形例はあくまで例示に過ぎず、発明の特徴が損なわれない限り本発明はこれらの内容に限定されない。また、以上で説明した実施の形態や変形例は発明の特徴が損なわれない限り組み合わせて実行してもよい。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１１年第１９１２６８号（２０１１年９月２日出願）

Claims (12)

1. 被写体像が撮像された第１の撮像画像から階調が失われた画像領域を特定する特定部と、
   前記第１の撮像画像と同一被写体が撮像されている第２の撮像画像を前記第１の撮像画像に位置合わせして、前記特定部により特定された画像領域に対応する像構造を抽出して、像構造画像を生成する像構造画像生成部と、
   前記像構造画像生成部により生成された前記像構造画像と前記第１の撮像画像とを合成して前記第１の撮像画像の前記画像領域を補間する補間部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記階調が失われた画像領域とは、黒つぶれ、白とび、および色飽和の少なくとも一つが発生した画像領域を含む画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記黒つぶれが発生した画像領域とは、輝度が第１の閾値以下の画素が所定数以上連結した画素塊であり、
   前記白とびが発生した画像領域とは、輝度が第２の閾値以上の画素が所定数以上連結した画素塊であり、
   前記色飽和が発生した画像領域とは、彩度が第３の閾値以上の画素が所定数以上連結した画素塊である画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記第１の閾値の設定値もしくは前記第２の閾値の設定値またはその両方を変更する閾値設定部を更に備え、
   前記閾値設定部は、
   前記第１の撮像画像の輝度ヒストグラムを生成して、前記輝度ヒストグラムを複数のグループに分割して、
   前記複数のグループのうち、度数が零でない最小の階級を含む第１のグループについて現フレームの積分値と前フレームの当該グループの積分値との間の第１の差分を算出して、
   前記複数のグループのうち、度数が零でない最大の階級を含む第２のグループについて現フレームの積分値と前フレームの当該グループの積分値との間の第２の差分を算出して、
   前記第１の差分が所定値以上であったとき、前記第１のグループの最大値を前記第１の閾値に設定して、
   前記第２の差分が所定値以上であったとき、前記第２のグループの最小値を前記第２の閾値に設定する画像処理装置。
5. 請求項１から４のいずれか一項に記載の画像処理装置において、
   前記像構造は、画像の輪郭を少なくとも含む画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記像構造は、画像の輝度の階調情報をさらに含む画像処理装置。
7. 請求項１から６のいずれか一項に記載の画像処理装置において、
   前記第１の撮像画像および前記第２の撮像画像を撮像する撮像部を備える画像処理装置。
8. コンピュータに、
   被写体像が撮像された第１の撮像画像から階調が失われた画像領域を特定する特定機能と、
   前記第１の撮像画像と同一被写体が撮像されている第２の撮像画像を前記第１の撮像画像に位置合わせして、前記特定部により特定された画像領域に対応する像構造を抽出して、像構造画像を生成する像構造画像生成機能と、
   前記像構造画像生成部により生成された前記像構造画像と前記第１の撮像画像とを合成して前記第１の撮像画像の前記画像領域を補間する補間機能と、
   を実現させるためのプログラム。
9. 記録部に記録された動画像を構成するフレーム画像の中から露出補正が必要な対象フレーム画像を抽出するフレーム画像抽出部と、
   前記対象フレーム画像において、階調が失われた画像領域を特定する特定部と、
   前記動画像を構成する前記対象フレーム画像以外のフレーム画像を用いて前記階調が失われた画像領域の構造を推定する推定部と、
   前記フレーム画像の階調が失われた画像領域を前記推定部による推定結果を用いて補間する補間部と、
   を備える画像処理装置。
10. 前記特定部は、前記フレーム画像内の輝度分布に基づいて階調が失われた画像領域を特定する請求項９に記載の画像処理装置。
11. 前記推定部は、前記対象フレーム画像以外のフレーム画像を用いて前記階調が失われた画像領域のテクスチャ画像を生成し、
    前記補間部は、前記テクスチャ画像を前記黒つぶれ領域に合成して補間する請求項９または請求項１０に記載の画像処理装置。
12. 被写体光を撮像する撮像素子をさらに備え、
    前記記録部は、前記撮像素子からの撮像信号に基づく動画像を記録する請求項９から請求項１１の何れか一項に記載の画像処理装置。

Images