JP6752667B2 - 画像処理装置と画像処理方法およびプログラム - Google Patents

Description

本発明は、絶対輝度での画像の表示を実行するための処理を行う画像処理装置と、画像処理方法およびプログラムに関する。

従来、テレビやディスプレイなどの出力機器が表示可能な明るさのダイナミックレンジ（以下、単にダイナミックレンジと称す）に合わせて、入力画像の明るさを決定していた。例えば、撮像装置を用いて被写体を撮像する際は、被写体を撮像することで取得した映像信号を、出力機器のダイナミックレンジに合わせて圧縮する処理を行う。例えば、画角内における主被写体である顔領域の明るさが、出力機器が表示可能な明るさの上限値に対して所定の割合の明るさとなるように映像信号のダイナミックレンジを圧縮する処理を実行することで、顔領域を見やすい明るさで表示できる。

しかしながら、この場合は、顔領域の明るさが、実際の被写体の明るさとは異なる明るさで表示されるため、ユーザーが撮像時に確認した実際の被写体に比べて表示画像の臨場感は低下してしまう。また、画角内において顔領域よりも明るい被写体については、階調が圧縮されることで、画像全体としては、実際の被写体の明るさに対して階調が失われてしまう。

特許文献１では、フィルムを用いて被写体の撮影を行う際に、ネガ上の各画素の透過濃度を平均化した画像全体の平均濃度から被写体の絶対輝度値を求めて、当該絶対輝度値を予め決められた露光量に変換するという技術について提案されている。

特開２００４−２８６９７９号公報

しかしながら、特許文献１に記載の技術は、フィルムを用いた所謂銀塩カメラにおいて絶対輝度値を求めるものであって、デジタルカメラ等の撮像装置において、被写体の絶対輝度値を取得する方法については開示されていない。

また、特許文献１に記載の技術では、取得した被写体の絶対輝度値を予め決められた露光量に変換するため、出力機器の入出力特性に基づいた映像を表示することができない。この場合、出力機器（表示装置など）の入出力特性に関係なく、変換後の露光量に基づく表示が行われてしまうため、被写体の実際の明るさに合わせた映像表示を行うことができない。

本発明の目的は、出力機器の入出力特性を考慮して、被写体の実際の明るさに合わせた映像表示を行うことである。

上述した課題を解決するための本発明に係る画像処理装置は、撮像手段を用いて被写体を撮像することで画像データを取得できる画像処理装置であって、 前記撮像手段を用いて取得した画像における代表輝度値を絶対輝度に換算することで第１の絶対輝度値を取得する第１の輝度値取得手段と、前記画像処理装置に接続可能な出力機器の入出力特性に基づいて、前記第１の輝度値取得手段が取得した前記第１の絶対輝度値に対応した前記画像処理装置からの出力値を決定する第１の決定手段と、前記第１の決定手段が決定した前記出力値に対応する露出に関する情報を決定する第２の決定手段と、を有することを特徴とする。

本発明によれば、出力機器の入出力特性を考慮して、被写体の実際の明るさに合わせた映像表示を行うことができる。

本発明を実施した画像処理装置の実施形態であるデジタルビデオカメラ１００の構成例を示すブロック図である。 本発明に係る画像処理部１０７の内部構成と関連部分とを例示的に説明したブロック図である。 本発明に係る露出変更処理動作を例示したフローチャートである。 出力機器（表示装置）の入出力特性を例示的に説明した図である。 本発明に係るデジタルビデオカメラ１００の階調変換特性を例示的に説明した図である。

（第１実施形態）
（デジタルビデオカメラ１００の基本構成）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図１は、本発明を実施した画像処理装置の実施形態であるデジタルビデオカメラ（以下、単にビデオと称す）１００の構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

図１に図示するように、撮影レンズ群１０１はズームレンズ、フォーカスレンズ等の種々の撮影レンズを含むレンズ群であり、被写体像を結像させる光学部材である。絞り１０２は、撮影レンズ群１０１を通過した光束の光量を調整する第１の光量調節部材であって、開口径を変化させることで、ビデオ内部に入射する光量を調節する。ＮＤフィルタ１０３は絞り１０２を通過した光束の光量を更に調節する第２の光量調節部材であって、ＮＤフィルタ１０３の挿抜に応じて、ビデオ内部に入射する光量を調節する。なお、ＮＤフィルタ１０３が領域ごとに異なる透過濃度を備えており、挿入位置を制御することで入射光量を調節する構成であってもよい。バリア１０４は、撮影レンズ群１０１の前方（被写体側）を覆う保護状態と、撮影レンズ群１０１の前方から退避して被写体を撮像可能となる退避状態との間を遷移するレンズバリアである。

撮像部１０５は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等の電荷蓄積型の固体撮像素子を含み、撮影レンズ群１０１を介して入射した被写体の光束を光電変換（撮像）してアナログ画像データ（アナログ画像信号）を出力する撮像手段である。

また、撮像部１０５には蓄積電荷の読み出しまたはリセットのタイミングを制御する所謂電子シャッター機能による電荷蓄積時間の制御や、アナログゲイン量、読み出し速度の調整等の各機能を実行できる。

Ａ／Ｄ変換器１０６は、アナログ画像データをデジタル画像データに変換するＡ／Ｄ変換手段である。画像処理部１０７は、Ａ／Ｄ変換器１０６から出力された画像データ、又は、メモリ制御部１０８により入力が制御された画像データに対して、色変換処理や会長補正、デジタルゲイン量の調整等の各種の処理を実行する画像処理手段である。また、画像処理部１０７は、被写体を撮像することで取得した画像データを用いて所定の演算処理を行い、当該演算の結果を後述するシステム制御部１１１に送信する。そして、システム制御部１１１は、画像処理部１０７から受信した演算結果に基づいて、露出制御や測距制御、ホワイトバランス調整等の各種制御や調整を実行する。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が実行される。なお、画像処理部１０７が実行する処理の詳細については後述する。

Ａ／Ｄ変換器１０６から出力された画像データは、画像処理部１０７及びメモリ制御部１０８を介して、或いは、メモリ制御部１０８を介してメモリ１１２に直接書き込まれる。メモリ１１２は、撮像部１０５を用いて取得された画像データや、表示部１１０に表示される画像データを格納する第１の記憶手段である。メモリ１１２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ１１２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１０９は、メモリ１１２に格納されている表示用のデジタル画像データをアナログ画像データに変換して表示部１１０に供給するＤ／Ａ変換手段である。表示部１１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示装置であって、Ｄ／Ａ変換器１０９から出力されたアナログ画像データに応じた表示を行う。なお、画像データを逐次転送して表示部１１０に表示することで、所謂電子ビューファインダとして機能し、画像データのライブビュー表示を行うことができる。

不揮発性メモリ１１３は、例えばＥＥＰＲＯＭが用いられた、電気的に消去・記録可能な第２の記憶手段である。不揮発性メモリ１１３には、システム制御部１１１の動作用の定数、プログラム等が記憶される。なお、当該プログラムとしては、本実施形態にて後述する各種フローチャートを実行するためのプログラムを含む。

システム制御部１１１は、ビデオ１００の動作を統括的に制御する制御手段であって、マイクロプロセッサーであるＣＰＵ（不図示）を含んでいる。システム制御部１１１は、不揮発性メモリ１１３に記憶されたプログラムを実行することで、後述する各処理を実現する。システムメモリ１１４は、ＲＡＭ領域を備えた第３の記憶手段であって、システム制御部１１１の動作用の定数、変数、不揮発性メモリ１１３から読み出したプログラム等を展開することができる。また、システム制御部１１１はメモリ１１２、Ｄ／Ａ変換器１０９、表示部１１０を制御することにより画像データの表示を制御することもできる。システムタイマー１１５は各種制御に用いる時間や、内蔵された時計の時間を計測するリアルタイムクロックである。

モード変更スイッチ１２０、撮影スイッチ１２１、操作部１２２はシステム制御部１１１に各種の動作指示を入力するための操作手段である。モード変更スイッチ１２０は、システム制御部１１１の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える第１の操作部材である。なお、動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード変更スイッチ１２０で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替える、または、モード変更スイッチ１２０で動画撮影モードに切り替えた後に各モードに切り替えられる構成であればよい。

撮影スイッチ１２１は、撮影準備状態と撮影状態を切り替える第２の操作部材である。例えば、撮影スイッチ１２１の第１ストローク（半押し）で撮像準備状態となり、第１ストロークから更に撮影スイッチ１２１を押し込んだ第２ストローク（全押し）で撮像状態となる。なお、撮影スイッチ１２１を押圧していない状態で、ビデオ１００は撮影待機状態である。なお、動画記録モードにおいては、システム制御部１１１は、撮影スイッチ１２１を所定量押圧することにより、撮像部１０５からの信号読み出しから後述する外部記録媒体２００への動画データの書き込みまでの一連の動作を実行する。

操作部１２２の各操作部材は、表示部１１０に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１１０に表示される。利用者は、表示部１１０に表示されたメニュー画面を確認しながら、操作部１２２を操作することで直感的に各種設定を行うことができる。

電源制御部１１６は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等を備えた電源制御手段であって、電池（不図示）の装着の有無や電池の種類、電池残量の検出を行う。また、電源制御部１１６は、検出結果及びシステム制御部１１１の指示に基づいてＤＣ−ＤＣコンバータ（不図示）を制御し、必要な電圧を必要な期間に、外部記録媒体２００を含むビデオ１００の各部へと供給する。なお、ビデオ１００の各部への電力の供給は、第４の操作部材である電源スイッチ１２３を操作することで、オンとオフが切り換えられる。

電源部１１７は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等から電源装置である。インターフェース部であるＩ／Ｆ１１８は、メモリカードやハードディスク等の外部記録媒体２００、または外部出力機器（不図示）との通信等を行うインターフェースである。外部記録媒体２００は、被写体を撮像することで取得された画像データを記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成されている。

（画像処理部１０７の詳細構成）
次に、図２を参照して、本実施形態に係る画像処理部１０７の内部構成について説明する。図２は、本発明に係る画像処理部１０７の内部構成と関連部分とを例示的に説明したブロック図である。なお、画像処理部１０７は、ホワイトバランス制御やシャープネス制御を実行するが、本実施形態では説明を省略する。画像処理部１０７における各ブロックは、システム制御部１１１を通じて、絞り１０２やＮＤフィルタ１０３に関する情報、被写体を撮像する際のシャッター速度や各種ゲイン量などの露出条件（パラメータ）を含めた種々のデータを取得できる。

図２に図示するように、検波部３０１は、Ａ／Ｄ変換器１０６から出力された画像データ、又は、メモリ制御部１０８に制御されることで出力された画像データを検波（検出処理）することで、画像データの代表輝度値を求める検出手段である。検波部３０１が実行する検出処理の詳細について後述する。

絶対輝度算出部３０２は、基準となる輝度値に対応する基準信号、および検波部３０１が検波した代表輝度値を、絶対輝度で表わした絶対輝度値（以下、単にＢｖ値と称す）を算出する絶対輝度算出手段である。絶対輝度値の詳細については後述する。

絶対輝度コード決定部３０３は、絶対輝度算出部３０２で算出したＢｖ値（絶対輝度値）に対応した出力特性に関するコード（絶対輝度コード）を表示機器の入出力特性に基づいて決定する出力特性決定手段である。なお、ビデオ１００に接続された表示機器の入出力特性は、予め不揮発性メモリ１１３に記録されているもの、または、ユーザーによって入力されたものをメモリ制御部１０８が読み出すような構成であってもよい。さらに、ビデオ１００に接続された表示機器から、当該入出力特性を取得する構成であっても良い。

露出量決定部３０４は、後述する階調変換特性と先に決定された絶対輝度コードに基づいて、表示機器において表示画像が絶対輝度で出力するための露出（露出制御量）を決定する露出決定手段である。露出量決定部３０４によって決定された露出に基づいて、システム制御部（露出制御手段）１１１が各露出パラメータを制御（変更）することで、絶対輝度に対応させた露出制御が可能である。

階調補正部３０５は、映像信号の入出力特性である所謂階調変換特性を補正（変更）する階調補正手段であって、Ａ／Ｄ変換器１０６からのデータ、又は、メモリ制御部１０８の制御により出力されたデータに対して階調補正を行う。以上が、本実施形態に係る画像処理部１０７の構成である。各部が実行する処理や制御については、図３を参照して後述する。

ここで、上述した絶対輝度について説明する。従来の映像ディスプレイやプロジェクタ等の表示装置は、例えば、映像信号の１００％ホワイトに対して１００ｎｉｔ（ｃｄ／ｍ^２）の輝度値で表示している。これに対して、１００ｎｉｔ（１００ｃｄ／ｍ^２）以上の輝度値で表示できる表示装置も知られている。例えば、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）ディスプレイでは、１０００〜４０００ｎｉｔ（４０００ｃｄ／ｍ^２）の輝度値で表示可能なものが知られている。ＨＤＲディスプレイ用の階調変換特性に相当する変換関数であるＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の例として、ＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚｅｒ）方式を適用したＥＯＴＦが規格化されている。ＰＱ方式は、１００００ｎｉｔまでの表示輝度レンジに対する視覚的に最適な量子化精度となるＥＯＴＦが基準となるシステムである。これらのＨＤＲディスプレイ用のＥＯＴＦは、表示装置の映像出力での絶対輝度に対する量子化値として規定されている。

一方、従来、ビデオカメラ等の撮像装置の階調変換特性はＯＥＴＦ（Ｏｐｔｉｃａｌ−Ｅｌｅｃｔｒｏ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ばれ、通常、表示ＥＯＴＦの逆特性の近似、ないしシステムにおけるトータルの階調を加味した特性となっている。例えば、ＢＴ．７０９で規格化されているＯＥＴＦは前述した１００ｎｉｔでの輝度表示が可能なモニタに対して最適化されたＯＥＴＦである。

この様なカメラ系のＯＥＴＦは、前述した絶対輝度に対して、相対輝度で表わされる。例えば、相対輝度ＯＥＴＦは、絞り値やシャッタースピード、ゲイン量の設定によって変動するセンサー出力値に対し、標準反射率の被写体に対するセンサー出力を所定の基準値として割り付けている。ＢＴ．７０９では標準白色被写体や、１８％グレー被写体の出力値を基準信号（基準輝度値）として適正露出を決定する事が一般的である。

以上説明したように、所定の出力特性（コード）に対して予め決められた絶対的な値（固定の値）で表わされる絶対輝度では、階調値と表示輝度との関係が定義付けられているため、出力値に対して常に一定の表示輝度での表示が可能である。これに対して、相対輝度では、出力値に応じて表示輝度の上限と下限が可変であり、例えば、表示装置に応じて、出力値に対応した表示輝度は変化する場合がある。

例えば、撮像装置などの画像処理装置側で取得した画像データの明るさを相対輝度で算出する場合、表現可能な明るさの上限値１００％に対して７０％の明るさが主被写体領域に適正な明るさであると規定されている場合を想定する。この場合、絶対輝度で表した実際の主被写体の輝度値が３００ｎｉｔであっても、表示装置の表示可能な輝度値の上限が１０００ｎｉｔであると、表示装置では主被写体が７００ｎｉｔの輝度値で表わされてしまう。すなわち、表示装置で表示される主被写体の明るさが、実際とは大きく異なる明るさで表示されてしまうため、不自然かつ臨場感が低下した画像（映像）表示が行われてしまう。

また、絶対輝度での表示は、ＰＱ方式以外にも複数の方式が提案されているため、表示装置で表示可能な入出力特性に依らずに画像処理装置側で出力値を決定すると、表示装置において実際の明るさとは異なる輝度値で表示画像が表示されてしまう。

以上説明したように、画像処理装置側が表示装置の特性に適した明るさの画像データを出力できない場合、画像処理装置が、実際の被写体の明るさに対して現在の露出がどの程度ずれているかを判断することは困難である。従って、画像処理装置は、表示装置における表示画像が、実際の被写体の明るさとなるような露出制御をすることができない。そこで、本実施形態では、画像データの絶対輝度値を求め、当該絶対輝度値と表示装置の特性に基づいて、露出制御を実行することで、上述の問題を解決する。以下、その詳細について説明する。

（露出変更処理の詳細）
次に、本実施形態に係る画像処理装置における露出変更処理動作について図３を参照して説明する。図３は、本発明に係る露出変更処理動作を例示したフローチャートである。ビデオ１００の電源がオンされたことに応じて、システム制御部１１１は、ビデオ１００の各部を制御して被写体を撮像することで、検波用のプリ画像データ（以下、各画像データを単に画像と称す）を取得する。プリ画像取得時の露出は、不揮発性メモリ１１３に予め記録されているものを用いる。なお、本実施形態では、電源がオンされたことに応じて露出変更処理を開始する場合を例示するが、これに限定されるものではない。例えば、記録用の動画像やＬＶ表示画像の取得に際して、所定のフレーム毎に当該露出変更処理を実行する構成であってもよい。また、公知の方法により、被写体の輝度変化を検知したことに応じて当該露出変更処理を実行する構成であってもよい。すなわち、被写体を撮像して画像を取得する際の露出の変更有無に関する情報であれば、露出変更処理を開始するためのトリガーはどのようなものであってもよい。

ステップＳ３０１で検波部３０１は、取得した画像に対する検波を実行し、当該画像における代表輝度値を求める。この検波として本実施形態で検波部３０１は、画像を分割した所定の領域ごとに、平均輝度値に対して画像の略中央部分における（輝度値取得に関する）重み付けの度合いを大きくした係数を掛け合わせることで輝度値を算出する。そして、検波部３０１は、当該各領域の輝度値の平均値を、画像の代表輝度値として算出する。なお、本実施形態では、代表輝度値を所定の変換特性に基づくコード値に変換して算出し、例えば、その値を代表輝度値＝２１３２と仮定する。算出する代表輝度値の単位としてはコード値に換算したものではなく、ＡＰＥＸ単位に換算したものを取得する構成であってもよいが、この場合は、後の処理でＡＰＥＸ単位をコード値へと変換する必要がある。

なお、代表輝度値の算出方法は上述したもの限定されるものではなく、例えば、公知の方法で検知した特定の被写体部分の重み付け度合いを大きくすることで代表輝度値を算出する構成であってもよい。この場合、特定の被写体の選定は、後に露出制御により撮像時のダイナミックレンジが変化してしまう場合を考慮して、ダイナミックレンジの変化に依らずに検波可能な被写体を選ぶのが好ましい。この場合、撮像部１０５のダイナミックレンジに応じて、特定の被写体となり得る被写体の輝度に上限値および下限値となる閾値を設け、当該閾値間に存在する被写体を選択するのが好ましい。

次に、ステップＳ３０２で絶対輝度算出部３０２は、代表輝度値を絶対輝度で表したＢｖ値（絶対輝度値）を算出する。Ｂｖ値の算出方法として、たとえば、基準輝度値（基準信号）、および、プリ画像を取得した際（撮像時）の絞り値、撮影感度、シャッター速度などの露出パラメータ、検波部３０１が取得した代表輝度値から求める。なお、基準輝度値とは、画像データにおける入力１８％グレーとなる被写体（反射率１８％となる被写体）を基準とした輝度値である。各露出パラメータをＡＰＥＸ単位に換算した場合の、基準輝度値を絶対輝度で表した基準Ｂｖ値（基準絶対輝度値）は、式（１）を用いて
基準Ｂｖ値＝２^{（Ａｖ＋Ｔｖ−Ｓｖ）}×（０．３２×ｋ）［ｃｄ／ｍ^２］・・・（１）
となる。ここで、式（１）において、Ａｖは絞り値、Ｔｖはシャッター速度、Ｓｖは撮影感度をＡＰＥＸ単位に換算した露出（露出制御値）である。また、ｋは校正係数であって、入力１８％グレーとなるように、ＡＰＥＸ単位で表わされた輝度値を絶対輝度の単位であるｃｄ／ｍ^２（又はｎｉｔ）に換算する際に用いられる。本実施形態ではｋ＝１２．５としている。なお、ＡＰＥＸ単位で表わされた輝度値Ｚを絶対輝度値Ｘに換算するには、ｌｏｇ２（Ｘ／０．３２×ｋ）＝Ｚという関係式に基づき、Ｘ＝２^Ｚ×（０．３２×ｋ）により求めることが出来る。例えば、Ａｖ＝Ｆ４．０、Ｔｖ＝１／１２８、Ｓｖ＝ＩＳＯ感度２００である場合、式（１）に基づいて、
基準Ｂｖ値＝（２^{（４（Ａｖ）＋７（Ｔｖ）−６（Ｓｖ））}）×（０．３２×１２．５）
＝１２８［ｃｄ／ｍ２］
となる。

この基準Ｂｖ値に関する基準輝度値（相対輝度）をビデオ１００の出力特性に基づくコード値であるコードＡに換算すると、式（２）を用いて、
コードＡ＝（２^ｂｉｔ数）×（基準輝度値［％］／ダイナミックレンジ［％］）・・・（２）
となる。例えば、撮像部１０５が出力可能な信号のダイナミックレンジが１２００％、基準輝度値が輝度値の上限値対する２０％、画像データのｂｉｔ数が１４ｂｉｔだとすると、
コードＡ＝（２^１４）×（２０／１２００）
≒２７３
となり、基準信号のコードは２７３となる。

ここで、先に算出した代表輝度値のコード値であるコードＢ＝２１３２である場合を想定する。この場合、コードＢは、代表輝度値と基準輝度値との差異に関する比率＝αとして、式（３）を用いて
コードＢ＝コードＡ×α・・・（３）
となる。例えば、上述した各パラメータにおいて式（３）を用いると、
２１３２＝２７３×α
α≒７．８１
となる。すなわち、本実施形態では、代表輝度値と基準輝度値との差異に関する比率は７．８１：１という関係になる。２．９６となる。したがって、代表輝度値を絶対輝度で表現した代表Ｂｖ値は、式（４）を用いて、
代表Ｂｖ値＝（α×基準Ｂｖ値）・・・（４）
＝７．８１×１２８［ｃｄ／ｍ２］
≒１０００［ｃｄ／ｍ２］
となる。なお、上述した方法は絶対輝度値を算出するための一例であって、他の方法を用いて代表Ｂｖ値を算出する構成であってもよい。すなわち、本実施形態では、代表Ｂｖ値の算出方法について限定はしない。

次に、ステップＳ３０３で絶対輝度コード決定部３０３は、表示機器で表示される画像が先に算出した代表Ｂｖ値となるような絶対輝度に換算するためのコード値である表示用の絶対輝度コード（コードＣ）を決定する。本実施形態では、表示装置の入出力特性と前述したステップＳ３０２の処理で算出した代表Ｂｖ値に基づいて、表示用の絶対輝度コードを算出する。

図４は、出力機器（表示装置）の入出力特性を例示的に説明した図であって、縦軸はビデオ１００からの出力値（出力輝度）、横軸は表示装置への入力値（入力信号）である絶対輝度コードを示している。表示装置の入出力特性が図４に図示するような場合、ビデオ１００で算出した出力値である代表Ｂｖ値となる入力値（絶対輝度コード）がグラフより決定される。なお、本実施形態では、図４に図示するような、表示装置の入出力特性に関すグラフに基づいて、絶対輝度コードを求めたが、これに限定されるものではない。例えば、当該グラフに対応する表示装置の入出力特性を示す算出式を用いる構成や、代表Ｂｖ値に対応する絶対輝度コードを示すテーブルデータを用いる構成であってもよい。

表示装置の入出力特性に基づく表示用の絶対輝度コードを決定した後、ステップＳ３０４で露出量決定部３０４は、ステップＳ３０３で算出された絶対輝度コードに基づいて、露出制御量βを算出する。具体的に、露出量決定部３０４は、先に取得した代表輝度値に対して階調補正部３０５からの出力が、ステップＳ３０３で算出した絶対輝度コードとなるような露出制御量βを算出する。

例えば、階調補正部３０５からビデオ１００の階調変換特性を取得し、その階調変換特性を基に露出制御量βを算出することが出来る。図５は、本発明に係るビデオ１００の階調変換特性を例示的に説明した図であって、先に算出した表示用の絶対輝度コード（コードＣ）、階調補正部３０５に入力するコードを示している。すなわち、ビデオ１００の階調変換特性に対し、出力値が絶対輝度コードとなるために階調補正部３０５に入力する入力値が絶対輝度に対応する階調補正用のコード値であるコードＹである。本実施形態では、図５に図示するような絶対輝度コードと階調補正用のコードＹとの関係に関するグラフを予めビデオ１００内に記録しておき、当該グラフに基づいてコードＹを求める構成であるが、これに限定されるものではない。例えば、ビデオ１００の内部、または、ビデオ１００に接続された機器やクラウドデータ内に、当該グラフに対応する算出式やテーブルデータを記録しておき、これらに基づいてコードＹを算出する構成であってもよい。

階調変換特性が表示装置入出力特性に対して逆（相殺するような）特性であれば、代表輝度値に対応した絶対輝度コードを出力値とした場合の露出制御量βは式（５）を用いて、
露出制御量β＝Ｙ／代表輝度値・・・（５）
となる。代表輝度値としては、ステップＳ３０１で算出した代表輝度値を用いる。なお、今回の例では階調変換特性が表示装置の入出力特性の逆となるような（相殺するような）特性である場合について説明したが、これに限定されるものではない。

次に、ステップＳ３０５でシステム制御部１１１は、ステップＳ３０４で決定された露出制御量βに基づいてビデオ１００の各部を動作させ、露出制御を実行する。例えば、ステップＳ３０４の処理で、露出制御量β＝１／２（すなわち、０．５）であった場合、ＡＰＥＸ単位における露出を１段分減らすように何れかの露出パラメータを変更することで露出制御を実行する。すなわち、露出制御量βは、ビデオ１００で設定されている現状の露出に対する変化率（変化量）として算出される。

なお、露出制御の方法としては、絞り値、シャッター速度、撮影感度の少なくとも１つの露出パラメータを変更することで露出制御を実行する。また、上記３つの露出パラメータに加えて、ＮＤフィルタ（不図示）によるビデオ１００内部への入射光量の減光率を変更することで露出制御を実行する構成であってもよい。

なお、算出した露出制御量βに基づいて、現状の露出条件に対して露出の変更を完了させるまでに必要な時間を異ならせる構成であってもよい。具体的に説明すると、露出変更量βが所定値以上である場合は、露出変更後の目標値に対して複数フレーム分の時間をかけて段階的に露出を変更する。なお、本実施形態では所定値を、ＡＰＥＸ単位における露出の２段分に相当する値とする。これに対して、露出変更量βが所定値よりも小さければ、１フレーム分の時間で収まるように露出を変更する。この構成により、所定の期間において変更可能な露出を制御することが出来るため、画像間の明るさが滑らかに変化した映像を出力することができる。

次に、ステップＳ３０６で階調補正部３０５は、取得した画像に施す階調変換特性を、先に実行した露出制御に対応させて実行する。以上が本実施形態の露出変更処理である。
以上説明したように、本実施形態のビデオ１００は、取得した画像の代表輝度値を、表示装置等の出力機器の入出力特性を鑑みて絶対輝度に換算し、当該絶対輝度に基づいて露出制御を実行する構成である。この構成により、出力機器の入出力特性を鑑みた露出制御を実行することが出来るため、実際の被写体の明るさの再現性が低下することを抑制し臨場感のある画像を表示することが出来る。したがって、本実施形態に係るビデオ１００は、出力機器の入出力特性を考慮して、被写体の実際の明るさに合わせた映像表示を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、前述した実施形態では、代表輝度値を絶対輝度に換算して算出する場合のみについて説明したが、これに限定されるものではない。例えば、ビデオ１００が代表輝度値として、絶対輝度を算出する絶対輝度モード（第１のモード）と、前記第１のモードとは異なり、代表輝度値として相対輝度を算出する相対輝度モード（第２のモード）とを切り替え可能であってもよい。

この場合、出力機器を判別するための判別手段であるシステム制御部１１１が、ビデオ１００に接続されている表示装置を判別する。そして、上述した２つのモードを切り替えるモード切り替え手段であるシステム制御部１１１は、当該判別の結果に基づいて、上述したモードを自動的に切り替える構成であってもよい。例えば、システム制御部１１１は、表示装置の表示輝度の上限が１０００ｎｉｔを超えていれば絶対輝度モード、表示輝度の上限が１０００ｎｉｔよりも小さければ相対輝度モードとなるように、ビデオ１００の各部を制御する。なお、表示輝度の上限（閾値）としては、どの様な値を採用してもよいが、ＨＤＲディスプレイと、表示輝度のダイナミックレンジが狭いＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）ディスプレイとを識別できるような値であることが望ましい。また、ユーザーの操作入力により、第１のモードと第２のモードとを切り換えられる構成であってもよい。

なお、相対輝度で代表輝度値を算出する場合（第２のモード）は、図３のステップＳ３０２、Ｓ３０３に該当する処理を省略することが出来る。そして、ステップＳ３０４の処理では、代表輝度値に基づく目標値に達するための露出制御量を算出する。たとえば、代表輝度値が画像内の主被写体である顔領域の重み付け度合いを強くして算出した場合、顔領域の明るさが相対輝度で表した輝度値の上限値に対して７０％程度の明るさを目標値とする。このとき、階調（ガンマ）補正特性が表示装置（出力機器）の入出力特性の逆の特性となる場合であって、画像のｂｉｔ数が１４ｂｉｔであることを想定すると、露出制御量は式（６）を用いて
露出制御量＝（０．７×（２^１４））／代表輝度値・・・（６）
となる。以降の処理は、前述したステップＳ３０５以降の処理と同様である。

また、前述した実施形態では、撮像部１０５を備えた画像処理装置が、撮像装置であるデジタルビデオカメラ１００である場合について説明したが、これに限定されるものではない。例えば、撮像装置と画像処理装置とがそれぞれ別体で構成されており、画像処理装置が撮像装置から取得した画像データに基づいて前述した露出変更処理を実行する構成であってもよい。この場合、画像処理装置内で露出変更量βを算出し、露出変更量βに関する情報を撮像装置側へと送信する。そして、撮像装置側では、画像処理装置から取得した露出変更量βに関する情報に基づいて、被写体を撮像して画像を取得する際の露出を制御する構成であればよい。なお、撮像装置と画像処理装置との接続は、有線接続に限定されるものではなく、無線接続や他のホスト装置を介した接続であってもよい。

また、前述した実施形態では、画像処理部１０７やシステム制御部１１１など、ビデオ１００を構成する各部が互いに連携して動作することで、ビデオ１００の動作を制御する構成であったが、これに限定されるものではない。例えば、前述した図３に図示したフローに従った（コンピュータ）プログラムを予め不揮発性メモリ１１３などに記録しておく。そして、当該プログラムを、マイクロコンピュータを含むシステム制御部１１１などが実行することで、ビデオ１００の動作を制御する構成であってもよい。また、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体でもあってもよい。

また、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルビデオカメラについて説明したが、これに限定されるものではない。例えば、デジタルカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、セキュリティーカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００ デジタルビデオカメラ
１０５ 撮像部
１０７ 画像処理部
１１１ システム制御部
１１３ 不揮発性メモリ
３０１ 検波部
３０２ 絶対輝度算出部
３０３ 絶対輝度コード決定部
３０４ 露出量決定部

Claims (10)

1. 撮像手段を用いて被写体を撮像することで画像データを取得できる画像処理装置であって、
   前記撮像手段を用いて取得した画像における代表輝度値を絶対輝度に換算することで第１の絶対輝度値を取得する第１の輝度値取得手段と、
   前記画像処理装置に接続できる出力機器の入出力特性に基づいて、前記第１の輝度値取得手段が取得した前記第１の絶対輝度値に対応した前記画像処理装置からの出力値を決定する第１の決定手段と、
   前記第１の決定手段が決定した前記出力値に対応する露出に関する情報を決定する第２の決定手段と、を有することを特徴とする画像処理装置。
2. 前記第１の輝度値取得手段は、前記撮像手段を用いて画像データを取得する際の露出の変更有無に応じて、前記第１の絶対輝度値を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像手段を用いて取得した画像において、所定の反射率に対応する基準輝度値を絶対輝度に換算することで第２の絶対輝度値を取得する第２の輝度値取得手段を有し、
   前記第１の輝度値取得手段は、前記代表輝度値と基準輝度値との差異に関する比率に関する情報と、前記第２の輝度値取得手段が取得した前記第２の絶対輝度値に関する情報に基づいて、前記第１の絶対輝度値を取得することを特徴とする請求項１又は２に記載の画像処理装置。
4. 所定の階調変換特性に基づいて、前記第１の決定手段が決定した前記出力値となるように階調補正を行う階調補正手段を有し、
   前記第２の決定手段は、前記出力値となるような前記階調補正手段への入力値と、前記代表輝度値に関する情報とに基づいて、前記露出に関する情報を決定することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記第２の決定手段が決定した前記露出に関する情報に基づいて露出制御を実行する露出制御手段を有し、
   前記露出制御手段は、前記露出に関する情報に基づいて、露出の変更を完了させるまでに必要な時間を異ならせることを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記露出制御手段は、前記露出に関する情報に基づく露出変更量が所定値以上である場合の方が、前記露出変更量が前記所定値よりも小さい場合よりも、露出の変更を完了させるまでに必要な時間を多くすることを特徴とする請求項５に記載の画像処理装置。
7. 前記撮像手段は撮像素子を備えており、
   前記第１の輝度値取得手段は、所定の被写体に対する輝度値の取得に関する重み付けの度合いを他の被写体よりも大きくして前記第１の絶対輝度値を取得する場合に、前記撮像素子の明るさに関するダイナミックレンジに基づいて、当該所定の被写体を選択することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
8. 前記画像処理装置に接続された出力機器を判別する判別手段と、
   前記判別手段による判別の結果に基づいて、前記代表輝度値を取得するモードとして、前記第１の輝度値取得手段が前記第１の絶対輝度値を取得する第１のモードと、前記第１のモードとは異なる第２のモードとを切り換えるモード切り替え手段と、を有することを特徴とする請求項１乃至７の何れか一項に記載の画像処理装置。
9. 画像処理方法であって、
   撮像手段を用いて取得した画像における代表輝度値を絶対輝度として換算することで第１の絶対輝度値を取得する第１の輝度値取得工程と、
   前記画像を出力する出力機器の入出力特性に基づいて、前記第１の輝度値取得工程で取得された前記第１の絶対輝度値に対応した出力値を決定する第１の決定工程と、
   前記第１の決定工程で決定された前記出力値に対応する露出に関する情報を決定する第２の決定工程と、を有することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。

Images