JP7123568B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置の露出条件を調整するための補助画像を生成する画像処理技術に関する。

デジタルカメラやデジタルビデオカメラでは、撮影時にフォーカス、ホワイトバランス、露出など様々な撮影パラメータの設定が必要である。これらの撮影パラメータを自動的に設定する機能を持つカメラが一般的であり、ユーザはパラメータの設定を意識せずに撮影することが可能である。

一方、自動で設定されるパラメータでは得られない映像表現を追求する場合などは、撮影パラメータの手動設定が必要であり、手動設定するための補助機能を持つカメラも存在する。

露出調整用の設定補助機能として、ウェーブフォームモニタ（波形表示、以下、ＷＦＭ）機能がある。ＷＦＭ機能は、画像の信号レベルを波形グラフで表した補助画像（以下、ＷＦＭ画像）を生成して表示する機能である。ＷＦＭ画像をＸＹ軸グラフで表すと、例えばＸ軸を画像水平方向の画素位置とし、Ｙ軸を信号レベルとして、画像の輝度成分や色差成分の値の分布を表現することが可能である。

また、近年、ＴＶなどの大型の表示装置が表現可能な輝度範囲が広くなり、デジタルカメラやデジタルビデオカメラも撮影可能な輝度範囲を広げる対応をしている（ハイダイナミックレンジ化（ＨＤＲ））。ＨＤＲに対して、これまでの輝度範囲はスタンダードダイナミックレンジ（以下、ＳＤＲ）と呼ばれている。カメラは撮影時の画像を確認するための表示装置（小型の液晶パネルなど）を搭載しているが、ＨＤＲはＳＤＲと比較して１００倍の輝度範囲を表現可能であり、ＳＤＲに対するＨＤＲの効果を小型の低価格表示装置で確認することは困難である。

そこで、適正露出よりも暗く調整して撮影した画像を、適正露出よりも暗くした分だけゲインアップした画像でヒストグラムを算出する技術が提案されている（特許文献１）。この提案では、適正露出で撮影した画像と生成したヒストグラムを合成した画像を表示装置に表示することによって、撮影する輝度範囲が広がっていること、即ち、ＨＤＲの効果を確認することができる。

特開２００９－２３９６３７号公報

しかし、上記特許文献１では、撮影する必要の無い暗い画像も撮影されてしまう。また、撮影する全フレームに対してリアルタイムにＨＤＲの効果を確認できるヒストグラムを表示することはできない。

そこで、本発明は、撮影する全フレームに対してＨＤＲの効果をリアルタイムに確認可能な画像を生成する画像処理技術を提供する。

上記目的を達成するために、本発明の画像処理装置は、入力画像の輝度成分を取得する取得手段と、前記取得手段により取得された輝度成分の数値を、画素ごとの所定の輝度値の単位に変換する変換手段と、前記変換手段により変換された輝度値の分布を示すグラフ波形画像を生成する生成手段と、前記生成手段により生成されたグラフ波形画像を表示部に表示する表示制御手段と、を有し、前記入力画像が第１のモードで記録される場合、前記グラフ波形画像において前記輝度値を示す軸は対数軸であり、前記生成手段は、前記対数軸に基づき前記輝度値の分布を示す対数グラフ波形画像を生成することを特徴とする。

本発明によれば、撮影する必要の無い暗い画像を撮影することはなく、また、撮影する全フレームに対してＨＤＲの効果をリアルタイムに確認可能な画像を生成することができる。

本発明の画像処理装置の第１の実施形態に係るデジタルカメラの機能ブロック図である。 ＨＤＲ領域とＳＤＲ領域の関係を示すグラフ図である。 デジタルカメラの動作を示すフローチャート図である。 入力画像とＷＦＭ画像の表示例を示す図である。 本発明の画像処理装置の第２の実施形態に係るデジタルカメラの動作を示すフローチャート図である。 入力画像とＷＦＭ画像の表示例を示す図である。 本発明の画像処理装置の第３の実施形態に係るデジタルカメラの機能ブロック図である。 デジタルカメラの動作を示すフローチャート図である。 入力画像とＷＦＭ画像の表示例を示す図である。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１（ａ）は本発明の画像処理装置の第１の実施形態に係るデジタルカメラの機能ブロック図、図１（ｂ）は図１（ａ）のＷＦＭ処理部１０４の詳細を示す機能ブロック図である。本実施形態は、デジタルカメラ（以下、カメラという。）でＨＤＲ撮影をした場合のＷＦＭ画像生成の基本例を説明する。

図１において、撮像センサ部１０１は、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子で構成され、レンズ群１００で入射光量や合焦の調節を行い、結像された画像を光電変換して、さらにアナログ／デジタル変換したデジタル信号を出力する。撮像素子の各画素は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の何れかのカラーフィルタを所定の配列、例えば４画素毎に赤１画素、青１画素、緑２画素を１組として規則的に並べたモザイク状の構造となっている。このような画素の配置は、ベイヤー配列と一般的に呼ばれる。撮像センサ部１０１によって変換された電気信号は、ベイヤー画像情報として現像処理部１０２に送信される。

現像処理部１０２は、ベイヤー画像信号を受信し、まず、１画素ごとにＲＧＢ画像信号に変換し、次に、ＲＧＢのオフセット調整、ゲイン調整によってホワイトバランスを調整し、ガンマ処理部１０３にＲＧＢ画像信号を送信する。

ガンマ処理部１０３は、ガンマ補正処理と入力ＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換する処理を行い、生成した画像信号をＷＦＭ処理部１０４に送信する。ガンマ補正は、撮像センサ部１０１やレンズ群１００などの特性を考慮して、カメラの使用者が所望する記録画像を生成するための特性で処理する。ガンマ補正値を変えることによって、映画フィルムの質感や階調を再現した記録画像の生成や、ＴＶモニタで表示するための記録画像の生成が可能である。

また、ガンマ補正値を変えることによって、入力ＲＧＢ画像信号に対する輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）の割り当て範囲を変えることになり、ＨＤＲ撮影時は、ＨＤＲ領域とＳＤＲ領域を意識して特性を変える。

図２（ａ）は撮像素子の出力とガンマ処理後の画素値のＨＤＲ領域とＳＤＲ領域の関係を示すグラフ図、図２（ｂ）はＨＤＲ領域とＳＤＲ領域の輝度値の関係を示すグラフ図である。図２（ａ）において、横軸は入力ＲＧＢ画像信号の画素値、縦軸はガンマ処理部１０３の出力ＹＣｂＣｒ画像信号の画素値を示している。

ＷＦＭ処理部１０４は、ＷＦＭ画像を生成して入力画像と重畳する処理を行う。図１（ｂ）に示す入力画像１０７は、ガンマ処理部１０３の出力画像である。輝度抽出部１０８は、入力画像１０７から輝度成分を抽出して単位変換部１０９に輝度信号を送信する。単位変換部１０９は、ガンマ処理部１０３で使用したガンマ補正値情報を使用して、取得した輝度成分の数値を図２（ｂ）に示すｃｄ／ｍ^２または１ｍ／（ｓｒ・ｍ^２）、ｎｉｔなどの輝度値の単位に変換した輝度画像情報をＷＦＭ画像生成部１１０に送信する。

ＷＦＭ画像生成部１１０は、輝度画像情報を積算して輝度値の分布情報である分布グラフ画像を生成する。分布グラフ画像は、縦軸（Ｙ軸）を輝度値、横軸（Ｘ軸）を画像の水平画素位置として生成する（図４（ｂ）及び図４（ｃ）参照）。または、分布グラフ画像は、縦軸（Ｙ軸）を画像の垂直画素位置、横軸（Ｘ軸）を輝度値として生成する。生成したＷＦＭ画像と入力画像１０７を画像重畳部１１１で重ね合わせて出力画像１１２として出力する。

表示処理部１０５は、受信した画像を表示装置１０６に出力するための同期信号を生成して画像と共に出力する。同期信号は、画像水平方向同期信号、画像垂直方向同期信号、有効画像位置同期信号などが一般的である。表示装置１０６は、表示処理部１０５で生成された制御信号に従って画像を表示するＥＶＦやディスプレイ等の表示部である。

次に、図３及び図４を参照して、上記構成のカメラの動作を説明する。図３は、カメラの動作を説明するフローチャート図である。図３の各処理は、カメラの不図示の制御回路が備えるＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

図３において、ステップＳ３０１では、制御回路は、撮影を開始すると、ＷＦＭ画像表示の有無を選択し、ＷＦＭ画像を表示しない場合は、ステップＳ３０６に進み、ＷＦＭ画像を表示する場合は、ステップＳ３０２に進む。ステップＳ３０６では、制御回路は、ユーザによる撮影のための各種設定を調整後、ステップＳ３０７に進み、記録を開始する。

ステップＳ３０２では、制御回路は、ＷＦＭ画像の表示方法を対数グラフ表示と線形グラフ表示のどちらにするのかを選択する。ここでの選択は、ユーザ操作による選択、或いは、カメラの記録モードがＨＤＲモードなら対数グラフ表示を選択する方法などが考えられる。そして、制御回路は、対数グラフ表示を選択した場合は、ステップＳ３０３に進み、線形グラフ表示を選択した場合は、ステップＳ３０４に進む。

ここで、図４（ａ）は、入力画像の例を示す図であり、ろうそくの火が付いたケーキを挟んで二人の顔が明るく照らされて、背景は暗い画像である。図４（ｂ）は、図４（ａ）の入力画像から生成したＷＦＭ画像の例であり、ＨＤＲとＳＤＲの領域を共に対数グラフ（縦軸（Ｙ軸）が対数軸）で示した図である。図４（ｃ）は、図４（ａ）の入力画像から生成したＷＦＭ画像の例であり、ＨＤＲとＳＤＲの領域を共に線形グラフで示した図である。

図４（ｄ）は、ＷＦＭ画像の表示例であり、図４（ａ）の入力画像と図４（ｂ）のＷＦＭ画像を重畳した画像を示した図である。図４（ｅ）は、ＷＦＭ画像の表示例であり、図４（ａ）の入力画像と図４（ｃ）のＷＦＭ画像を重畳した画像を示した図である。図４（ｆ）は、ＷＦＭ画像の表示例であり、図４（ａ）の入力画像と透過率を変えた図４（ｂ）のＷＦＭ画像を重畳した画像を示した図である。

ステップＳ３０３では、制御回路は、ＷＦＭ対数グラフ波形画像を生成し、ステップＳ３０５に進む。撮影している被写体が図４（ａ）のとき、ＷＦＭ対数グラフ波形画像は図４（ｂ）となる。ステップＳ３０４では、制御回路は、ＷＦＭ線形グラフ波形画像を生成し、ステップＳ３０５に進む。撮影している被写体が図４（ａ）のとき、ＷＦＭ線形グラフ波形画像は図４（ｃ）となる。なお、ステップＳ３０３及びステップＳ１０４でＷＦＭ画像は、入力画像１枚ごとに１枚生成する。

ステップＳ３０５で、制御回路は、ＷＦＭ画像を撮影画像と重ねて表示し、ステップＳ３０６に進む。対数グラフ波形画像の場合は、例えば図４（ｄ）に示す表示画像となり、線形グラフ波形画像の場合は、例えば図４（ｅ）に示す表示画像となる。画像を重ねる際に、図４（ｆ）の画像に示すように、ＷＦＭ画像の透過率を変更して撮影画像が透けて見えるようにすることも可能である。また、表示するＷＦＭ画像は、生成したＷＦＭ画像の一部分を抜き出して表示することも可能である。

ステップＳ３０６では、ユーザがＷＦＭ画像を見ながら撮影のための各種設定の調整、例えば露出補正を行った後、ステップＳ３０７に進み、記録を開始する。

以上説明したように、本実施形態では、撮影する必要の無い暗い画像を撮影することはなく、また、撮影する全フレームに対してＨＤＲの効果をリアルタイムに確認可能な画像を生成することができる。

（第２の実施形態）
次に、図４乃至図６を参照して、本発明の画像処理装置の第２の実施形態に係るカメラについて説明する。本実施形態では、カメラでＨＤＲ撮影をした場合のＷＦＭ画像を２枚以上表示する例を説明する。なお、上記第１の実施形態と重複する部分については、図を流用して説明する。

図５は、カメラの動作を説明するフローチャート図である。図５の各処理は、カメラの不図示の制御回路が備えるＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

図５において、ステップＳ５０１では、制御回路は、撮影を開始すると、ＷＦＭ画像表示の有無を選択し、ＷＦＭ画像を表示しない場合は、ステップＳ５０９に進み、ＷＦＭ画像を表示する場合は、ステップＳ５０２に進む。ステップＳ５０９では、制御回路は、ユーザによる撮影のための各種設定を調整後、ステップＳ５１０に進み、記録を開始する。

ステップＳ５０２では、制御回路は、ＷＦＭ画像の表示方法を対数グラフ表示と線形グラフ表示のどちらにするのかを選択する。ここでの選択は、ユーザ操作により選択する方法、またはカメラの記録モードがＨＤＲモードなら対数グラフ表示を選択する方法などが考えられる。そして、制御回路は、対数グラフ表示を選択した場合は、ステップＳ５０３に進み、線形グラフ表示を選択した場合は、ステップＳ５０４に進む。

ステップＳ５０３では、制御回路は、ＷＦＭ対数グラフ波形画像とＷＦＭ線形グラフ波形画像を生成し、ステップＳ５０５に進む。撮影している被写体が図４（ａ）のとき、ＷＦＭ対数グラフ波形画像は図４（ｂ）となる。ステップＳ５０４では、制御回路は、ＷＦＭ線形グラフ波形画像を生成し、ステップＳ５０８に進んでＷＦＭ線形グラフ波形画像を表示してステップＳ５０９に進む。撮影している被写体が図４（ａ）のとき、ＷＦＭ線形グラフ波形画像は図４（ｃ）となる。ステップＳ５０３及びステップＳ５０４でＷＦＭ画像は、入力画像１枚ごとに１枚生成する。

ステップＳ５０５では、制御回路は、対数グラフ波形画像のみを表示するか、または対数グラフ波形画像全体とＳＤＲ領域線形画像を並列表示するかを選択する。そして、制御回路は、対数グラフ波形画像のみの表示を選択した場合は、ステップＳ５０７でＷＦＭ画像を撮影画像と重ねた例えば図４（ｄ）の画像を表示し、ステップＳ５０９に進む。

一方、並列表示を選択した場合は、ステップＳ５０６で、制御回路は、ＷＦＭ画像を撮影画像と重ねた例えば図６（ａ）の画像を表示し、ステップＳ５０９に進む。なお、画像を重ねる際に、図４（ｆ）の画像に示すように、ＷＦＭ画像の透過率を変更して撮影画像が透けて見えるようにすることも可能である。また、入力画像と対数グラフ波形画像と線形グラフ波形画像のいずれか２つ以上を、透過率を制御して重畳してもよい。さらに、表示するＷＦＭ画像は、生成したＷＦＭ画像の一部分を抜き出して図６（ｂ）や図６（ｃ）に示す画像を表示することも可能である。

ステップＳ５０９では、制御回路は、ユーザがＷＦＭ画像を見ながら撮影のための各種設定の調整、例えば露出補正を行った後、ステップＳ５１０に進んで記録を開始する。その他の構成及び作用効果は、上記第１の実施形態と同様である。

（第３の実施形態）
次に、図７乃至図９を参照して、本発明の画像処理装置の第３の実施形態に係るカメラについて説明する。本実施形態では、カメラでＨＤＲ撮影をした場合に輝度成分と色差成分のＷＦＭ画像を表示する例を説明する。なお、上記第１の実施形態と重複する部分については、図を流用して説明する。

図７は、図１（ａ）のＷＦＭ処理部１０４の詳細を示す機能ブロック図である。本実施形態では、上記第１の実施形態（図１（ｂ））に対して、色差抽出部１１３が追加されており、入力画像１０７から色差成分を抽出してＷＦＭ画像生成部１１０に色差信号を送信する。

図８は、カメラの動作を説明するフローチャート図である。図８の各処理は、カメラの不図示の制御回路が備えるＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

図８において、ステップＳ８０１では、制御回路は、撮影を開始すると、ＷＦＭ画像表示の有無を選択し、ＷＦＭ画像を表示しない場合は、ステップＳ８０８に進み、ＷＦＭ画像を表示する場合は、ステップＳ８０２に進む。ステップＳ８０８では、制御回路は、ユーザによる撮影のための各種設定を調整後、ステップＳ８０９に進み、記録を開始する。

ステップＳ８０２では、制御回路は、ＷＦＭ画像の表示方法を対数グラフ表示と線形グラフ表示のどちらにするのかを選択する。ここでの選択は、ユーザ操作により選択する方法、または撮像装置の記録モードがＨＤＲモードなら対数グラフ表示を選択する方法などが考えられる。そして、制御回路は、対数グラフ表示を選択した場合は、ステップＳ８０３に進み、線形グラフ表示を選択した場合は、ステップＳ８０４に進む。

ステップＳ８０３では、制御回路は、ＷＦＭ対数グラフ波形画像を生成し、ステップＳ８０５に進む。撮影している被写体が図４（ａ）のとき、ＷＦＭ対数グラフ波形画像は図４（ｂ）となる。ステップＳ８０４では、制御回路は、ＷＦＭ線形グラフ波形画像を生成し、ステップＳ８０５に進む。撮影している被写体が図４（ａ）のとき、ＷＦＭ線形グラフ波形画像は図４（ｃ）となる。なお、ステップＳ８０３及びステップＳ８０４でＷＦＭ画像は、入力画像１枚ごとに１枚生成する。

ステップＳ８０５では、制御回路は、輝度成分のみのＷＦＭ画像を表示するのか、または輝度成分と色差成分を並べたＷＦＭ画像を表示するのかを選択する。そして、制御回路は、輝度成分のみを選択した場合は、ステップＳ８０７に進み、輝度成分と色差成分を並べたＷＦＭ画像を表示する場合は、ステップＳ８０６に進む。

ステップＳ８０７では、制御回路は、対数グラフ波形画像の場合は例えば図４（ｄ）に示す画像を表示し、線形グラフ波形画像の場合は例えば図４（ｅ）に示す画像を表示して、ステップＳ８０８に進む。ステップＳ８０６では、制御回路は、例えば図９に示す画像を表示し、ステップＳ８０８に進む。図９は、ＷＦＭ画像の表示例であり、図４（ａ）の入力画像と図４（ｂ）のＷＦＭ画像と色差成分のＷＦＭ画像を重畳した画像を示した図である。画像を重ねる際に、図４（ｆ）の画像に示すように、ＷＦＭ画像の透過率を変更して撮影画像が透けて見えるようにすることも可能である。また、表示するＷＦＭ画像は、生成したＷＦＭ画像の一部分を抜き出して表示することも可能である。

ステップＳ８０８では、制御回路は、ユーザがＷＦＭ画像を見ながら撮影のための各種設定の調整、例えば露出補正を行った後、ステップＳ８０９に進んで記録を開始する。その他の構成及び作用効果は、上記第１の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ レンズ群
１０１ 撮像センサ部
１０２ 現像処理部
１０３ ガンマ処理部
１０４ ＷＦＭ処理部
１０５ 表示処理部
１０６ 表示装置
１０８ 輝度抽出部
１０９ 単位変換部
１１０ ＷＦＭ画像生成部
１１１ 画像重畳部

Claims (9)

1. 入力画像の輝度成分を取得する取得手段と、
   前記取得手段により取得された輝度成分の数値を、画素ごとの所定の輝度値の単位に変換する変換手段と、
   前記変換手段により変換された輝度値の分布を示すグラフ波形画像を生成する生成手段と、
   前記生成手段により生成されたグラフ波形画像を表示部に表示する表示制御手段と、を有し、
   前記入力画像が第１のモードで記録される場合、前記グラフ波形画像において前記輝度値を示す軸は対数軸であり、前記生成手段は、前記対数軸に基づき前記輝度値の分布を示す対数グラフ波形画像を生成することを特徴とする画像処理装置。
2. 前記入力画像が第２のモードで記録される場合、前記グラフ波形画像において前記輝度値を示す軸は線形軸であり、前記生成手段は、前記輝度値の分布を示す線形グラフ波形画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記入力画像と前記グラフ波形画像を一緒に前記表示部に表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記入力画像が前記第１のモードで記録される場合、前記生成手段は前記対数グラフ波形画像と前記線形グラフ波形画像とを生成し、前記表示制御手段は、前記生成手段により生成された対数グラフ波形画像と前記線形グラフ波形画像とを一緒に前記表示部に表示することを特徴とする請求項２に記載の画像処理装置。
5. 前記表示制御手段は、前記入力画像と前記対数グラフ波形画像と前記線形グラフ波形画像とを一緒に前記表示部に表示することを特徴とする請求項４に記載の画像処理装置。
6. 前記第1のモードは、前記入力画像がHDR(High Dynamic Range)で記録されるモードであり、前記第２のモードは、前記入力画像がHDR(High Dynamic Range)で記録されないモードであることを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記グラフ波形画像は、前記輝度値を示す縦軸と、前記入力画像の水平方向における画素位置を示す横軸とを含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 入力画像の輝度成分を取得する取得工程と、
   前記取得工程において取得された輝度成分の数値を、画素ごとの所定の輝度値の単位に変換する変換工程と、
   前記変換工程において変換された輝度値の分布を示すグラフ波形画像を生成する生成工程と、
   前記生成工程において生成されたグラフ波形画像を表示部に表示する表示制御工程と、を有し、
   前記入力画像が第１のモードで記録される場合、前記グラフ波形画像において前記輝度値を示す軸は対数軸であり、前記生成工程では、前記対数軸に基づき前記輝度値の分布を示す対数グラフ波形画像が生成されることを特徴とする画像処理装置の制御方法。
9. 請求項１乃至７のいずれか１項に記載の画像処理装置の制御をコンピュータに実行させることを特徴とするプログラム。

Images