JP7214484B2 - 映像信号処理装置、映像信号処理方法、及びプログラム - Google Patents

Description

本発明は、撮像等により取得された映像信号を処理する技術に関する。

従来、画像の暗部階調を維持しつつ、現行のＴＶ信号では表現できなかった鏡面反射光などの明るい光を、より現実に近い明るさで表現するために、最大輝度値を拡大した輝度範囲に対応させた方式としてＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）がある。従来のＴＶ信号が対応している輝度範囲の方式は、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）と呼ばれ、ＳＤＲにおける最大輝度値が１００ｎｉｔであるのに対し、ＨＤＲでは１０００ｎｉｔ以上まで最大輝度値を拡大することが想定されている。
近年さらに、ＨＤＲ信号を記録・出力しながら、ＳＤＲ信号を同時に記録・出力する機能（以下、ＨＤＲ／ＳＤＲのサイマル機能または、単にサイマル機能と呼ぶ）を持ったビデオカメラの需要が出てきている。

特許文献１では変換元の映像信号のコード値を変換元に対応したＥＯＴＦを用いて輝度値に変換し、その輝度値を予め関係付けられた輝度値に変換した後、変換先に対応したＥＯＴＦを用いて変換先の映像信号のコード値に変換する方法について言及されている。例えばＨＤＲ信号をＳＤＲ信号に変換する場合には、ＨＤＲ信号に対応したＥＯＴＦを用いてＨＤＲ信号のコード値を輝度値に変換し、何らかの利得を用いて輝度値を補正した後にＳＤＲ信号に対応したＥＯＴＦを用いてＳＤＲ信号のコード値に変換する。

ＨＤＲ／ＳＤＲサイマル機能を実現する手法として、カメラ内で生成したＨＤＲ信号をさらに階調変換・色域変換することでＳＤＲ信号を生成する手法がある。具体的にはＨＤＲ信号に１次元のＬｏｏｋ Ｕｐ Ｔａｂｌｅ（１ＤＬＵＴ）による階調変換を施した後、３次元のＬｏｏｋ Ｕｐ Ｔａｂｌｅ（３ＤＬＵＴ）による色域変換処理を施す。ここで、上述のサイマル機能の対応において、露出設定は主信号であるＨＤＲ側で決められるため、ＳＤＲ側の明るさが不適切となる撮影シーンもある。また適切な明るさにするための補正量は撮影シーンによって異なる上、その補正方向は明暗の両方向に存在する。そのため、ＳＤＲ信号の明るさだけを調節する機能（以下、ＳＤＲゲイン機能と呼ぶ）が求められている。ＳＤＲゲイン機能を実現する手法としては、１ＤＬＵＴだけでなく、３ＤＬＵＴの変更も含めた処理を行う手法があり、これにより高輝度領域の色相変化の発生が抑えられ、画質の観点で良くなることが知られている。

特許第５９４８６１８号公報

しかしながら、３ＤＬＵＴのデータ数が膨大である時、画像のフレーム更新処理の間にデータ転送が間に合わない場合がある。データ更新に時間がかかると、ユーザが明るさを調整する操作をした後に、操作後の画像を確認するまでに時間がかかってしまう。更には、画像が徐々に変化するということも起こり得るため、明るさ調整をリアルタイムに行うことができないという問題もある。一般的に、ＬＵＴの格子点が多いほど変換精度が向上する一方、データ数は増大する。

そこで、本発明は、設定値変更の確認をリアルタイムに行え、色相変化を低減した映像信号の生成を可能にすることを目的とする。

本発明の映像信号処理装置は、第一階調変換が施された第一映像信号を、第二映像信号へ変換する映像変換手段と、動作モードに応じて、前記第二映像信号に施す変換処理を制御する処理制御手段と、を有し、前記映像変換手段は、ゲイン変換処理を含む第二階調変換を行う階調制御手段と、３次元のルックアップテーブルを用いた変換処理を行う変換手段と、を含み、前記処理制御手段は、前記動作モードが、所定の操作により指示されたゲイン値に基づくゲイン制御を行うゲイン調整モードである場合には前記階調制御手段によるゲイン変更を行い、前記ゲイン調整モードでない場合には前記変換手段によるゲイン変更を行うように制御することを特徴とする。

本発明によれば、設定値変更の確認をリアルタイムに行えるようになり、色相変化を低減した映像信号を生成可能となる。

実施形態のデジタルビデオカメラの構成例を示すブロック図である。 第一の実施形態の主要部の構成を示すブロック図である。 基本制御のフローチャートである。 画質優先制御と処理負荷優先制御のフローチャートである。 設定画面例を示す図である。 画質優先制御のフローチャートである。 画質優先制御時のガンマ特性例を示すグラフである。 処理負荷優先制御時のガンマ特性例を示すグラフである。 第二の実施形態の主要部の構成を示すブロック図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
図１は、本実施形態の映像信号処理装置の一適用例として、デジタルビデオカメラ１００（以下、カメラ１００とする。）の概略構成例を示すブロック図である。

図１において、撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群である。絞り１０１は、光量調節を行うための絞り機構である。ＮＤ１０４は、撮像時に撮像部２２へ入射する光量を減らす（減光）するための光学フィルタ（ＮＤフィルタ）である。撮像部２２は、撮影レンズ１０３により撮像面上に形成された光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成された撮像素子である。撮像部２２の撮像素子からは、撮影中の映像やライブビュー映像のフレームごとのアナログ画像信号が出力される。バリア１０２は、カメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、絞り１０１、ＮＤ１０４、撮像部２２を含む撮像系の汚れや破損を防止する。

Ａ／Ｄ変換器２３は、撮像部２２から出力されたアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換器２３から出力された画像信号（画像データ）は、後述する画像処理部２４及びメモリ制御部１５を介してメモリ３２に、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。
メモリ３２は、メモリ制御部１５による制御の下で、撮像部２２で撮像されてＡ／Ｄ変換器２３でデジタル変換された画像データや、後述する表示部２８への表示用の画像データなどを格納する。なお、メモリ３２は、所定時間の動画像および音声のデータを格納するのに十分な記憶容量を備えており、また画像表示用のメモリ（ビデオメモリ）も兼ねている。

画像処理部２４は、Ａ／Ｄ変換器２３からの画像データ、又は、メモリ３２に蓄積された後にメモリ制御部１５によって読み出された画像データに対して、色変換処理、ガンマ補正、デジタルゲインの付加等の画像信号処理を行う。以下、画像処理部２４による画像信号処理後のデータを第一映像信号と呼ぶ。画像処理部２４における画像信号処理と第一映像信号の詳細については後述する。また、画像処理部２４は、撮像部２２で撮像されてＡ／Ｄ変換器２３でデジタル変換された画像データを用いて所定の演算処理を行い、その演算結果をシステム制御部５０に送る。このときのシステム制御部５０は、画像処理部２４から送られた演算結果に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

映像変換部９１は、画像処理部２４による画像信号処理後の第一映像信号を、その第一映像信号の階調特性とは異なる階調特性の第二映像信号に変換する。映像変換部９１における映像信号変換処理と第二映像信号の詳細については後述する。
映像出力部９２は、ＨＤＭＩ（登録商標）などの映像出力端子である。

Ｄ／Ａ変換器１３は、メモリ３２から読み出された画像表示用のデータをアナログ画像信号に変換して表示部２８に供給する。
表示部２８は、ＬＣＤ等の表示装置であり、Ｄ／Ａ変換器１３からのアナログ画像信号に応じた画像等を表示する。また表示部２８は、撮像部２２で撮像されている画像を逐次表示するようなスルー画像表示（ライブビュー表示）により、電子ビューファインダとしても使用可能となされている。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムには、本実施形態のカメラ１００において後述する各種フローチャートの処理を実行するためのコンピュータプログラムが含まれる。

システム制御部５０は、少なくとも一つのプロセッサまたは回路を有する制御部であり、カメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ５６に記憶されているプログラムを実行することで本実施形態に係る各部の制御や各種の処理を実行する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
システムメモリ５２は、例えばＲＡＭからなる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出されたプログラム等が展開される。

システムタイマー５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード、各種設定等の調整モード等のいずれかに切り替える際にユーザが操作するスイッチである。動画記録モードや静止画記録モードに含まれるモードとしては、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。ユーザは、モード切替スイッチ６０を操作することで、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。なお、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようになされていても良い。

録画スイッチ６１は、ユーザが撮影待機状態と撮影状態とを切り替える際に操作されるスイッチである。システム制御部５０は、録画スイッチ６１からの切り替え信号により、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。

操作部７０は、それぞれの図示は省略するが、ユーザにより操作される各操作部材と、それら各操作部材に対する機能の割り当てを制御し、その割り当てた機能に応じた情報を出力する機能制御部と、を有して構成される。機能制御部は、例えば表示部２８に表示される種々の機能アイコンが選択されることなどにより、場面ごとに応じて、各操作部材に対して割り当てる機能を適宜変更制御する。これにより、操作部７０の各操作部材は、それら割り当てられた各種機能ボタンとして作用する。機能ボタンとしては、例えばメニューボタン、上下左右の４方向を指示する十字キー、ＳＥＴボタン、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えばユーザによりメニューボタンが押されると、そのメニューボタンに割り当てられた機能に応じた情報がシステム制御部５０に送られる。この時のシステム制御部５０は、そのメニューボタンの機能に応じた情報を基に、操作部７０を介した各種設定等を可能とするメニュー画面等を表示部２８に表示させる。これにより、ユーザは、表示部２８に表示されたメニュー画面と、十字キーやＳＥＴボタン等とを用いて、直感的に各種設定を行うことができるようになる。また、本実施形態の場合、操作部７０の機能制御部は、後述する図２に示すゲイン変更指示部２０５とモード設定部２０４の機能をも有している。なお、機能制御部は、システム制御部５０内に設けられてもよい。

電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電源スイッチ７２のオン／オフ、電源部３０の電池の装着の有無、電池の種類、電池残量の検出などを行う。また電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池からなり、ＡＣアダプターが含まれていてもよい。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０とのインターフェースである。記録媒体９０は、撮影された画像データ等を記録可能な記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。なお記録媒体９０に記録されたデータは、Ｉ／Ｆ１８によって読み出されてメモリ３２に転送される。

＜第一の実施形態＞
以下、本発明に係る第一の実施形態として、画像処理部２４で行われる画像信号処理と、画像信号処理後の第一映像信号を映像変換部９１において第二映像信号に変換する映像信号変換処理とについて、図２から図８までの各図を参照しながら説明する。
ここで本実施形態のカメラ１００は、ＨＤＲ信号を記録・出力しながら、ＳＤＲ信号を同時に記録・出力可能な機能（ＨＤＲ／ＳＤＲのサイマル機能）を有しているとする。すなわち本実施形態のカメラ１００では、ＨＤＲ／ＳＤＲサイマル機能を実現するために、カメラ１００内で生成したＨＤＲ信号をさらに階調変換・色域変換することでＳＤＲ信号を生成する機能を有している。具体的には、本実施形態のカメラ１００は、ＨＤＲ信号に対して、１次元のルックアップテーブル（以下、１ＤＬＵＴとする）による階調変換を施した後、３次元のルックアップテーブル（以下、３ＤＬＵＴとする）による色域変換処理を施す。また本実施形態のカメラ１００は、ＳＤＲ信号の明るさだけを調節する機能（ＳＤＲゲイン機能）を有しており、ＳＤＲゲイン機能では１ＤＬＵＴだけでなく３ＤＬＵＴの変更も含めた処理をも行う。ただし前述したように、３ＤＬＵＴは格子点が多いほど変換精度が向上するがデータ数は増大し、そのため映像信号のフレーム更新処理の間にデータ転送が間に合わなくなったり、明るさ調整の確認をリアルタイムに行うことができなくなったりする虞がある。

このようなことから、本実施形態のカメラ１００は、図２に示すような構成を備え、以下に説明するような処理を行う。図２は、第一の実施形態における画像信号処理および映像信号変換処理に関連した主要部を示した図である。なお、画像処理部２４では、ホワイトバランス調整処理や輪郭強調処理などの一般的な画像信号処理も行われるが、ここではそれら一般的な処理に関する構成と説明は省略する。また図示や説明は省略するが、画像処理部２４や映像変換部９１は、システム制御部５０を通じて、絞り値やＮＤフィルタ情報、シャッター速度などの露出パラメータを含めた、カメラ内部のあらゆるデータを取得可能であるとする。

図２に示すように、画像処理部２４は第一階調制御部２０１を有し、映像変換部９１は第二階調制御部２０２と３ＤＬＵＴ変換部２０３を有している。また、システム制御部５０は変換処理制御部２０６を有し、操作部７０の機能制御部はゲイン変更指示部２０５とモード設定部２０４の機能を有している。

第一階調制御部２０１は、Ａ／Ｄ変換器２３でデジタル変換された信号の入出力特性を変更する。ここでは第一階調変換処理として、いわゆるガンマ特性を変更する。この第一階調制御部２０１による第一階調変換処理後の画像データが、本実施形態に係る画像信号処理後の第一映像信号である。第一階調制御部２０１における階調変換処理の詳細は後述する。この第一映像信号は、Ｉ／Ｆ１８を介して記録媒体９０へ送られて記録され、また映像変換部９１へも送られる。

第二階調制御部２０２は、第一階調制御部２０１による処理後の第一映像信号の入出力特性を変更する。ここでは第二階調変換処理として、ガンマ特性を変更する。第二階調制御部２０２における階調変換処理の詳細は後述する。この第二階調制御部２０２による第二階調変換処理後の映像信号は３ＤＬＵＴ変換部２０３へ送られる。

３ＤＬＵＴ変換部２０３は、３ＤＬＵＴを適宜切り替えて第一映像信号を補正する。３ＤＬＵＴ変換部２０３における変換処理の詳細は後述する。この３ＤＬＵＴ変換部２０３による変換処理後の信号は第二映像信号として、映像出力部９２に送られ、また、本実施形態のカメラ１００に外部機器が接続されている場合にはその外部機器へ出力される。

モード設定部２０４は、ＨＤＲ／ＳＤＲサイマル機能においてＳＤＲ側のゲインをユーザが手動で調整するモード（以下、ＳＤＲゲイン調整モードと呼ぶ）への設定変更を、ユーザからの指示に応じて行う機能部である。
ゲイン変更指示部２０５は、ＳＤＲゲイン調整モードにおいて、ＳＤＲ側のゲイン変更指示を、ユーザからの指示に応じて行う機能部である。

システム制御部５０の変換処理制御部２０６は、ＳＤＲ信号に与えるゲイン値、動作モードなどに応じて、ＳＤＲ信号への変換処理の内容を変更するゲイン制御を行う。詳細は後述するが、変換処理制御部２０６は、モード設定部２０４からの情報を基に、カメラ１００の動作モードがＳＤＲゲイン調整モードへ変更されたか否か、あるいは、動作モードがＳＤＲゲイン調整モードでないか否かを判定する。そして、変換処理制御部２０６は、ＳＤＲゲイン調整モードであるか否かの判定結果と、ゲイン変更指示部２０５からの情報を基に、映像変換部９１における処理を制御する。
第一の実施形態におけるこれらの各処理は、システム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

次に、第一の実施形態のカメラ１００における動作について説明する。初めに、第一の実施形態のカメラ１００における基本制御の動作を説明し、その後、詳細制御について説明する。
図３は、第一の実施形態における基本的な制御の動作を示したフローチャートである。以下の説明では、図３のフローチャートの各処理のステップＳ３０１～ステップＳ３０５をＳ３０１～Ｓ３０５と略記する。このことは後述する他のフローチャートでも同様とする。

本実施形態のカメラ１００では、画像処理部２４においてＨＤＲ信号を生成し、映像変換部９１においてＨＤＲ信号をＳＤＲ信号に変換する。以下、ＳＤＲゲイン調整モードと、それ以外のモードで、ＳＤＲゲインが変更された時のＳＤＲ信号への変換方法を変更する場合を例に挙げて説明を行う。以降の説明で用いる、ＳＤＲゲインまたはゲインは、ＳＤＲ信号にのみ影響を与えるゲイン設定を指すとする。

まずＳ３０１の処理として、変換処理制御部２０６は、モード設定部２０４からの情報により、現在の動作モードがＳＤＲゲイン調整モードに設定されているか否かを判定する。変換処理制御部２０６は、ＳＤＲゲイン調整モードではないと判定（Ｎｏ）した場合にはＳ３０２の処理に進み、一方、ＳＤＲゲイン調整モードであると判定（Ｙｅｓ）した場合にはＳ３０３の処理に進む。

Ｓ３０２に進むと、変換処理制御部２０６は、ＳＤＲゲインの変更が行われるか否かを判定する。そして、変換処理制御部２０６は、ＳＤＲゲインが変更されないと判定（Ｎｏ）した場合には図３のフローチャートの処理を終了し、一方、ＳＤＲゲインが変更されると判定（Ｙｅｓ）した場合にはＳ３０４の処理に進む。
そしてＳ３０４に進むと、変換処理制御部２０６は、画質を優先したＳＤＲ信号の変換処理が行われるように映像変換部９１を制御する。この処理により、画質を低下させないことを優先して変換されたＳＤＲ信号が出力されることになる。なお、画質優先制御の詳細については後述する。

一方、Ｓ３０３に進んだ場合、変換処理制御部２０６は、例えばゲイン変更指示部２０５からの情報により、ＳＤＲゲインの変更が行われるか否かを判定する。そして、変換処理制御部２０６は、ＳＤＲゲインが変更されると判定（Ｎｏ）した場合には図３のフローチャートの処理を終了し、一方、ＳＤＲゲインが変更されると判定（Ｙｅｓ）した場合にはＳ３０５の処理に進む。
そしてＳ３０５に進むと、変換処理制御部２０６は、処理負荷を優先したＳＤＲ信号の変換処理が行われるように映像変換部９１を制御する。この処理により、処理負荷を低下させることを優先して変換されたＳＤＲ信号が出力されることになる。なお、処理負荷優先制御の詳細については後述する。

このように本実施形態では、ＳＤＲゲイン調整モードの場合には処理負荷の低い処理を行うことで、ユーザが画像を見ながらリアルタイムにＳＤＲゲインの調整を行えるようにしている。一方、ＳＤＲゲインの調整中でない場合には、画質の良いＳＤＲ画像をユーザが視聴できるようにしている。

図４は、本実施形態における詳細制御の流れを示すフローチャートである。図４のフローチャートでは、図３に示した基本的な制御の流れを、ＳＤＲゲインを例えば０ｄＢから６ｄＢに変更する場合を例に挙げてさらに詳細に説明する。本実施形態では、ＳＤＲゲイン調整モードである場合には、ユーザが画像を見ながらリアルタイムに明るさ調整を行えるように、処理負荷の軽減を優先したＳＤＲ信号のゲイン変換処理を行うような制御が行われる。本実施形態では、このような処理負荷の軽減を優先した制御を、処理負荷優先制御と呼んでいる。一方、ＳＤＲゲイン調整モードでない場合には、画質を優先したＳＤＲ信号のゲイン変換処理を行うような制御が行われる。本実施形態では、このような画質を優先した制御を画質優先制御と呼んでいる。なお、ＨＤＲ信号には、ＰＱ（Ｐｅｒｃｅｐｔｕａｌ Ｑｕａｎｔｉｚｅｒ）方式やハイブリッドログガンマ方式、ＳＤＲ信号にはＬｏｇガンマなど各種記録設定が存在する。本実施形態における制御は、それら記録方式・形式によらずに適可能であるためそれらの詳細説明は省略する。

以下、画質優先制御と処理負荷優先制御との切り替えについて、ＳＤＲゲインの変更指示制御と合わせて説明する。なお図４のフローチャートの処理は、処理開始（Ｓｔａｒｔ）から処理終了（Ｅｎｄ）までの処理が所定の周期（例えば垂直同期Ｖの周期）で繰り返し行われるとする。

まずＳ４０１において、変換処理制御部２０６は、Ｓ３０１で説明したのと同様にＳＤＲゲイン調整モードであるか否かを判定する。そして、変換処理制御部２０６は、ＳＤＲゲイン調整モードであると判定（Ｙｅｓ）した場合にはＳ４０７へと処理を進め、一方、ＳＤＲゲイン調整モードでないと判定（Ｎｏ）した場合にはＳ４０２へと処理を進める。ここで、変換処理制御部２０６は、ＳＤＲゲイン調整モードではない時のＳＤＲゲイン値を、ゲイン値ＳＧ１として保存しておく。なお、ＳＤＲゲイン値の初期値は±０ｄＢであるとする。ＳＤＲゲイン調整モードでないと判定された場合に進むＳ４０２以降の動作の説明は後ほど行う。

Ｓ４０１でゲイン調整モードであると判定されてＳ４０７に進むと、変換処理制御部２０６は、ユーザがＳＤＲゲインを調整する際のゲイン値選択画面を、ＳＤＲに変換された画像に重畳するなどして、表示部２８にともに表示させる。ゲイン値選択画面としては、一例として図５（ａ）に示すような画面が考えられる。図５（ａ）のゲイン値選択画面には、例えば、カーソル４０１と、複数のＳＤＲゲイン値とが配されている。カーソル４０１は例えば操作部７０の十字キーの操作に応じて画面上を移動可能となされており、ゲイン変更指示部２０５は、カーソル４０１の矢印により指示されているＳＤＲゲイン値をユーザにより選択された値として取得する。そしてゲイン変更指示部２０５は、カーソル４０１の指示によりいずれかのＳＤＲゲイン値が選択されている場合、その選択されているＳＤＲゲイン値を変換処理制御部２０６に通知する。

次にＳ４０８の処理に進むと、変換処理制御部２０６は、ＳＤＲゲイン調整モードに入った時のＳＤＲゲイン値の情報を取得し、ゲイン値ＳＧ２として保存する。
次にＳ４０９の処理に進むと、変換処理制御部２０６は、カーソル４０１が操作されてゲイン変更指示部２０５から通知されるＳＤＲゲイン値を基に、ＳＤＲゲイン値が変更されたか否かを判定する。このＳ４０９における判定では、カーソル４０１操作で選択されてゲイン変更指示部２０５から通知されたゲイン値と、Ｓ４０８で保持されたＳＤＲゲイン値ＳＧ２とを比較し、それらのゲイン値が異なる場合にＳＤＲゲイン値が変更されたと判定する。図５（ｂ）は、カーソル４０１が操作されて、例えば＋６ｄＢの値が選択された場合のゲイン値選択画面例を示している。そして、変換処理制御部２０６は、ＳＤＲゲイン値が変更されたと判定（Ｙｅｓ）した場合にはＳ４１１へ処理を進め、一方、ＳＤＲゲイン値が変更されていないと判定（Ｎｏ）した場合にはＳ４１０へ処理を進める。

Ｓ４１１の処理に進んだ場合、変換処理制御部２０６は、変更されたＳＤＲゲイン値に応じて、処理負荷を優先したＳＤＲゲインの変更処理が行われるように映像変換部９１を制御する。この処理により、ユーザは変更後のＳＤＲゲインの効果を表示中の画像を見ながら確認することができる。処理負荷優先制御に応じた映像変換処理の詳細は後述するが、次フレームの映像更新までの間に処理可能な映像変換が行われる。

Ｓ４１０の処理に進んだ場合、変換処理制御部２０６は、選択されている状態のＳＤＲゲイン値を決定（確定）する決定操作がなされたか否かを判定する。ＳＤＲゲイン値の決定操作の判定は、例えば操作部７０のＳＥＴボタンが押下されたか否かの押下検知を基に行われる。そして、変換処理制御部２０６は、ＳＤＲゲイン値の決定操作が行われたと判定（Ｙｅｓ）した場合には、Ｓ４１２の処理としてＳＤＲ調整モードを解除し、表示部２８のゲイン値選択画面の表示をオフするような制御を行う。このＳ４１２の処理後、またＳ４１０においてＳＤＲゲイン値の決定操作が行われなかったと判定（Ｎｏ）した場合、変換処理制御部２０６は、図４のフローチャートの処理を終了する。

Ｓ４０１においてＳＤＲゲイン調整モードでないと判定（Ｎｏ）されてＳ４０２の処理に進んだ場合、前述したように、変換処理制御部２０６は、ＳＤＲゲイン調整モードではないと判定された時のＳＤＲゲイン値ＳＧ１を保存する。
次にＳ４０３の処理に進むと、変換処理制御部２０６は、ＳＤＲゲイン値ＳＧ１が変更されたか否かを判定する。ここで、ＳＤＲゲイン値ＳＧ１が変更されたと判定されるのは、ＳＤＲゲイン調整モードでＳＤＲゲイン値が変更された後、ＳＤＲゲイン値の決定操作がなされて、ＳＤＲゲイン調整モードが解除された時だけである。そして、変換処理制御部２０６は、ＳＤＲゲイン値ＳＧ１が変更されていないと判定（Ｎｏ）した場合には図４のフローチャートの処理を終了し、一方、ＳＤＲゲイン値ＳＧ１が変更されたと判定（Ｙｅｓ）した場合にはＳ４０４に処理を進める。

Ｓ４０４の処理に進むと、変換処理制御部２０６は、表示部２８などの映像出力部に対し、一面（全面）が所定輝度レベルである一面黒の画像を出力する処理を行う。
次にＳ４０５の処理に進むと、変換処理制御部２０６は、画質優先制御に基づいたＳＤＲゲインの変更処理が行われるように映像変換部９１を制御する。詳細は後述するが、画質優先制御に応じた映像変換処理とは、処理負荷優先制御よりも画質が優位される一方で、次フレームの画像更新までに処理が間に合わなくなる可能性のある映像変換処理である。このため、画質優先制御による映像変換処理が終わるまでは、Ｓ４０４の処理で黒画を出力しておくことで、映像変換処理途中の画像を出力しないようにしている。
その後、Ｓ４０５の映像変換処理が完了すると、変換処理制御部２０６は、Ｓ４０６の処理として、黒画像の出画を解除した後、図４のフローチャートの処理を終了する。

本実施形態においては、前述のような制御を行うことにより、ＳＤＲゲイン調整モードでは処理負荷の少ない制御方法が採用されることになり、ユーザが画像を確認しながらリアルタイムに明るさ調整を行うことが可能となる。また本実施形態によれば、ＳＤＲゲインをユーザが決定した後、調整モードを抜けた後は画質を優先したＳＤＲ画像を視聴・記録することが可能となる。

次に、画質優先制御について図６のフローチャートを参照しながら説明する。
画質優先制御では、ＳＤＲゲイン値の変更を、３ＤＬＵＴを利用した変換処理により行う。本実施形態では、ＳＤＲ信号を生成する基となるＨＤＲ信号はカメラ１００により主に記録・出力される信号であり前述した第一映像信号に相当する。また本実施形態では、そのＨＤＲ信号から変換されて生成されるＳＤＲ信号が第二映像信号に相当する。ＨＤＲ信号の階調特性や色域、撮像部２２での撮像によってＨＤＲ信号が取得された際の絞り値、シャッタースピード、ゲインなどは予め設定されているものとする。以後、第一映像信号の階調特性を表すＥＯＴＦ（Ｅｌｅｃｔｒｏ－Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）をＥＯＴＦ₁と表記する。

まずＳ６０１の処理として、変換処理制御部２０６は、第二映像信号の階調特性と色域の設定を行う。これらの設定はユーザが手動で行ってもよいし、カメラ１００のシステム制御部５０が自動で行ってもよい。以後、第二映像信号の階調特性を表すＥＯＴＦをＥＯＴＦ₂と表記する。

次にＳ６０２の処理に進むと、変換処理制御部２０６は、第一映像信号と第二映像信号とのゲイン差を設定する。前述した図５の例の場合、ゲイン差として６ｄＢが設定されることになる。以後、Ｓ６０２で設定されたゲイン差に相当する倍率をｋとする。

次にＳ６０３の処理に進むと、変換処理制御部２０６は、第二階調制御部２０２で行われる変換処理において飽和が発生しないような階調変換特性を算出する。このときの変換処理制御部２０６は、まず、飽和を考慮せずに単純にゲインと階調変換のみを行う階調変換特性とを求める。このときの階調変換特性は、図７の特性曲線７０１で示すような特性である。ここで、変換前の信号値をｘとすると、階調変換特性ｆ（ｘ）は下記の式（１）で表される。

ｆ（ｘ）＝ＥＯＴＦ₂ ^-1（ｋＥＯＴＦ₁（ｘ）） 式（１）

次に、変換処理制御部２０６は、式（１）の演算結果を用い、飽和を生じさせないようにするための利得ｓを求める。第一映像信号の取り得る最大の信号値をｍ、第二映像信号の取り得る最大の信号値をＭとしたとき、利得ｓは、式（１）のｆ（ｘ）を用いて次式（２）で表される。

ｓ＝Ｍ／ｆ（ｍ） 式（２）

したがって、第二階調制御部２０２に設定する階調変換特性ｇ（ｘ）は、下記の式（３）で表される。

ｇ（ｘ）＝ｓｆ（ｘ） 式（３）

これは図７の特性曲線７０２で示す階調変換特性にあたり、第二階調制御部２０２ではその階調変換特性を用いた階調変換が行われることになる。
このような階調変換特性はシステム制御部５０の変換処理制御部２０６が都度算出する場合だけでなく、予め複数の階調変換特性を算出しておいて、それらを１ＤＬＵＴとして不揮発性メモリ５６に保持しておくようにしてもよい。本実施形態の場合、予め算出した階調変換特性の１ＤＬＵＴを不揮発性メモリ５６に保持しており、変換処理制御部２０６は、Ｓ６０１、Ｓ６０２の設定値に基づいて、それらに対応した階調変換特性を１ＤＬＵＴから選択する。

次にＳ６０４に進むと、変換処理制御部２０６は、色域変換を行うための３ＤＬＵＴを算出する。算出する３ＤＬＵＴを用いた変換処理では、色域変換などを含めた色味の変換のみが行われ、階調変換は行わないが、Ｓ６０３で求めた階調変換特性には飽和を防ぐための利得が含まれている。このため、変換処理制御部２０６は、それを補償するための利得を３ＤＬＵＴの特性に含める。すなわち変換処理制御部２０６は、Ｓ６０３で求めた階調変換特性に含まれる利得分を反転した利得である１／ｓを、３ＤＬＵＴの特性に含めるようにする。

ここで、色域変換は、通常、線形な階調特性の状態に色域変換マトリクスを掛けて行われる。すなわち色域変換マトリクスをＭ_Gamutとし、色域変換前の信号のＲＧＢ値をｒ，ｇ，ｂとし、色域変換後のＲＧＢ値をｒ'，ｇ'，ｂ'とすると、色域変換は次式（４）で表される。

さらに式（４）に対し、Ｓ６０３で求めた階調変換特性に含まれる利得分を反転した利得である１／ｓを入れると、３ＤＬＵＴの各要素の算出式は式（５）のようになる。

ここで、ＥＯＴＦ₂関数は引数となるベクトルの要素それぞれにＥＯＴＦ₂を適用しているものとする。また、ＥＯＴＦ₂ ^-1関数も同様であるとする。ただし、この処理を単純に行うと、やはり飽和による色相変化（色つき等）が生じてしまうため、変換処理制御部２０６では、それを回避するための処理を３ＤＬＵＴに含めている。例えば、色差が最少となるように表現可能な範囲にマッピングすることや、色相を維持しつつ色差が最少となるように表現可能な範囲にマッピングする処理などを３ＤＬＴＵに含めている。これらの処理は一般的にガマットマッピングとして知られている内容であり、その中のどのような処理を用いてもよい。

３ＤＬＵＴについても、前述の１ＤＬＵＴの例と同様に、変換処理制御部２０６が都度算出する場合だけでなく、予め用意しておいて不揮発性メモリ５６に保持しておくようにしてもよい。本実施形態の場合、変換処理制御部２０６は、予め用意した複数の３ＤＬＵＴのなかから、Ｓ６０３での階調変換特性に含まれる利得を反転した利得を考慮した３ＤＬＵＴを選択する。これにより、Ｓ６０３で設定した階調変換特性では飽和しないように抑え込まれていた分が元に戻り、適切な明るさの映像信号が得られるようになる。

次にＳ６０５に進むと、変換処理制御部２０６は、Ｓ６０３で算出または選択した階調変換特性の１ＤＬＵＴを第二階調制御部２０２に設定する。
さらにＳ６０６に進むと、変換処理制御部２０６は、Ｓ６０４で算出または選択した３ＤＬＵＴを３ＤＬＵＴ変換部２０３に設定し、その後、図６のフローチャートの処理を終了する。

前述したように、画質優先制御では、色域変換を行うための３ＤＬＵＴを、階調変換処理の設定ゲイン値に応じて変換している。すなわち画質優先制御では、Ｓ６０３で求めた階調変換特性には飽和を防ぐための利得分を補償するための利得を３ＤＬＵＴの特性に含めるように変換する。これにより、ＳＤＲゲイン調整で輝度レベルを上げた際の飽和部に生じる色つきのような色相変化を低減した映像信号を生成することが出来ることになる。なお、３ＤＬＵＴの変更は演算時の処理負荷が大きく、一般的にＬＵＴの格子点が多いほど変換精度が向上するがデータ数は増大することになるが、本実施形態の場合は画質優先制御の場合にのみ３ＤＬＵＴの変更が行われる。一方、処理負荷優先制御では３ＤＬＵＴの変更が行われないため、リアルタイム性が損なわれることはない。

続いて、処理負荷優先制御について、図８を用いて説明する。図８は、ＳＤＲゲイン変更前後のガンマ特性を示す図であり、縦軸が出力レベル、横軸がＤレンジ（ダイナミックレンジ）を示している。
処理負荷優先制御を行う場合、変換処理制御部２０６は、ＳＤＲゲインの変更を、第二階調制御部２０２で行われるガンマ変換処理に含めるように制御する。また、処理負荷優先制御が行われる場合、変換処理制御部２０６は、ＳＤＲゲインの変更によらず、固定の３ＤＬＵＴを用いるように３ＤＬＵＴ変換部２０３を制御する。図８の特性曲線８０１はＳＤＲゲイン変更前のガンマ特性を示しており、特性曲線８０２はＳＤＲゲイン変更後のガンマ特性を示している。ＳＤＲゲイン変更前後のゲイン差に相当する倍率をｋ倍とすると、特性曲線８０２は、特性曲線８０１で示す変更前のガンマ特性をＤレンジ方向に１／ｋ倍した特性となっている。

ここで、図８の特性曲線８０２の場合、Ｄ１レンジからＤ２レンジの領域の入力信号では、全て出力最大値をとるためクリップされる。そのため、画像の飽和領域付近では、Ｒ，Ｇ，Ｂの各色が飽和することによって色相が変化する現象が発生する。このような色相変化の減少は色曲りと呼ばれることがある。一方、ガンマ特性の変換時の処理負荷は、３ＤＬＵＴの変更処理に比べて少なく、したがって例えば次フレームの映像更新までの間に変更処理を終えることができる。
ただし、ＳＤＲゲインを大きくするほど色曲りは目立つようになるため、システム制御部５０は、例えばＳＤＲゲインが所定値を超えた場合には表示部２８の画面上に警告表示を行う。警告表示は、「調整モードのため、高輝度部に色付き発生」などの警告文を画面隅などに表示する手法や、高輝度領域の色曲りが起こり得る画像領域に所謂ゼブラ信号を重畳表示する手法などを用いることができる。警告表示の手法は特に限定されるものではない。

なお、３ＤＬＵＴ変換部２０３が３ＤＬＵＴの格子点数を変更可能な構成である場合、変換処理制御部２０６は、処理負荷優先制御として、３ＤＬＵＴの格子点数を減らした映像変換処理モードにする制御を行ってもよい。この場合、変換処理制御部２０６は、例えば次フレームの画像更新までの間に、ＳＤＲゲインに応じて３ＤＬＵＴの格子点数を減らすようにする。なお、その後に画質優先制御が行われる場合には、３ＤＬＵＴの格子点数を元の数に戻すように制御する。

以上説明したように、第一の実施形態の映像信号処理装置によれば、ＳＤＲゲイン機能の設定値変更の確認をリアルタイムに行うことが可能となる上、ＳＤＲゲイン決定後は色曲がりのような色相変化を低減したＳＤＲ信号を生成することが可能となる。

＜第二の実施形態＞
次に、本発明に係る第二の実施形態について説明する。第二の実施形態において、前述した第一の実施形態と重複する構成や処理については説明を省略する。
図９は、第二の実施形態において、画像処理部２４で行われる画像信号処理と、映像変換部９１で行われる第一映像信号を第二映像信号へ変換する映像信号変換処理とに関連する主要部を示した図である。図９の構成において、第一の実施形態の図２に示した構成との差は、画像処理部２４に色補正部９０１が追加されている点である。色補正部９０１は、ＨＤＲ側を含めた色の補正を行い、例えば色再現の補正や高輝度領域の彩度を落とす補正など色に関する補正を行う。それ以外の構成と処理は前述した第一の実施形態と同様であるためそれらの説明を省略する。

第二の実施形態における詳細制御の流れは図４と同様であるため、図４のフローチャートを参照しながら説明する。
第二の実施形態の場合、Ｓ４１１の処理負荷優先制御とＳ４０５の画質優先制御とが、第一の実施形態とは異なっている。それらＳ４１１の処理負荷優先制御とＳ４０５の画質優先制御以外の処理は第一の実施形態と同様のため説明を省略する。

まず第二の実施形態におけるＳ４１１の処理負荷優先制御について説明する。なお、ＳＤＲのゲイン変更を第二階調制御部２０２で行われるガンマ変換処理に含めて制御を行うところは第一の実施形態と同様である。その後、変換処理制御部２０６は、第二映像信号の高輝度領域に色つきのような色相変化が発生しているかどうかを判定する。

高輝度領域の色つき判定方法については、例えば、第二映像信号に正のゲインをかけていれば高輝度領域に色つきが発生していると推定する方法を用いても良い。または、階調変換前後の信号を比較して色差や色相、彩度に差があれば高輝度領域に色つきが生じていると推定しても良い。他には、変換前後の信号のＤレンジについて変換前のＤレンジにＳＤＲのゲインをかけたものが変換後のＤレンジよりも大きい場合に高輝度領域に色つき生じていると推定しても良い。本実施形態では、これら高輝度領域の色つきの推定方法のいずれかを用いても良いし、さらにそれらを組み合わせた推定方法を用いても良い。

高輝度領域に色つきが発生しているかどうかの推定を行った結果、高輝度領域に色つきが生じていないと判定した場合、変換処理制御部２０６は、Ｓ４１１の処理負荷優先制御の処理を終了する。一方、高輝度領域に色つきが発生していると判定した場合、変換処理制御部２０６は、色補正部９０１に対し、高輝度領域の色つきを防ぐ色補正を行わせる。ここで、高輝度領域の色つきを防ぐ色補正とは、例えば高輝度領域の彩度を落とす補正である。
そして、色補正部９０１による色補正が行われた後、変換処理制御部２０６は、Ｓ４１１の処理負荷優先制御の処理を終了する。

次に第二の実施形態におけるＳ４０５の画質優先制御について説明する。
Ｓ４０５の画質優先制御において、変換処理制御部２０６は、Ｓ４１１の処理負荷優先制御で高輝度領域の色つきを防ぐ色補正を色補正部９０１で行っていた場合にはその補正を行わないようにする。その後の処理は、第一の実施形態の画質優先制御と同様であるため説明を省略する。

以上説明した第二の実施形態では、ＳＤＲゲイン調整モード時に高輝度領域に色相変化が生ずる設定になった場合に高輝度領域の色相変化を防ぐ色補正を行うことで、高輝度領域の色相変化を抑え、第二映像信号の露出変更を正確な判断で行うことが可能となる。また、第二の実施形態においては、ＳＤＲゲイン調整モードから抜ける際にゲイン補正と高輝度領域の色相変化を抑える補正を、３ＤＬＵＴを用いて行う。これにより、ＳＤＲゲイン調整モード以外のモードでは第二映像信号の高輝度領域の彩度を落とすことなく撮影が可能となる。そして、第二の実施形態によれば、ＳＤＲゲイン機能による設定値変更の確認をリアルタイムに行うことが可能となる上、ゲイン決定後は色相変化を低減したＳＤＲ信号を生成することが可能となる。

以上、本発明の各実施形態について詳述してきたが、本発明はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また上述した第一、第二の実施形態の一部を適宜組み合わせてもよい。

前述した各実施形態の各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。このソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

また前述の実施形態では、ビデオカメラへの適用例を挙げたが、動画撮影が可能なデジタルカメラ、監視カメラ、工業用カメラ、車載カメラ、医療用カメラ、動画撮影機能を備えたスマートフォン、タブレット端末などにも適用可能である。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２４：画像処理部、５０：システム制御部、７０：操作部、９１：映像変換部、９２：映像出力部、１００：デジタルビデオカメラ、２０１：第一階調制御部、２０２：第二階調制御部、２０３：３ＤＬＵＴ変換部、２０４：モード設定部、２０５：ゲイン変更指示部、２０６：変換処理制御部

Claims (10)

1. 第一階調変換が施された第一映像信号を、第二映像信号へ変換する映像変換手段と、
   動作モードに応じて、前記第二映像信号に施す変換処理を制御する処理制御手段と、
   を有し、
   前記映像変換手段は、ゲイン変換処理を含む第二階調変換を行う階調制御手段と、３次元のルックアップテーブルを用いた変換処理を行う変換手段と、を含み、
   前記処理制御手段は、前記動作モードが、所定の操作により指示されたゲイン値に基づくゲイン制御を行うゲイン調整モードである場合には前記階調制御手段によるゲイン変更を行い、前記ゲイン調整モードでない場合には前記変換手段によるゲイン変更を行うように制御することを特徴とする映像信号処理装置。
2. 前記動作モードを、前記ゲイン調整モードと前記ゲイン調整モードでないモードのいずれかに設定するモード設定手段を更に有し、
   前記処理制御手段は、前記モード設定手段により設定された動作モードに応じて、前記変換処理の制御を行うことを特徴とする請求項１に記載の映像信号処理装置。
3. ユーザからの指示に応じて、前記変換手段が用いるゲイン値を変更する変更指示手段を更に有することを特徴とする請求項１または２に記載の映像信号処理装置。
4. 前記第二映像信号に対して変更指示されたゲイン値に基づいて、映像の色相変化を推定する推定手段と、
   前記ゲイン調整モードにおいて発生する色相変化の量が所定値を超える場合、表示装置に所定の警告表示を行わせる表示制御手段と、
   を更に有することを特徴とする請求項１から３のいずれか１項に記載の映像信号処理装置。
5. 前記警告表示は、映像信号に重畳するゼブラ信号または警告文であることを特徴とする請求項４に記載の映像信号処理装置。
6. 前記第二映像信号に対して変更指示されたゲイン値に基づいて、映像の色相変化を推定する推定手段と、
   前記ゲイン調整モードにおいて、ゲイン変更によって第二映像信号の高輝度領域に色相変化が生ずることが前記推定手段により推定された場合、前記高輝度領域の色相変化を補正する補正手段と、
   をさらに有することを特徴とする請求項１から５のいずれか１項に記載の映像信号処理装置。
7. 前記補正手段は、前記高輝度領域の彩度を落とす補正を行うことを特徴とする請求項６に記載の映像信号処理装置。
8. 前記補正手段によって前記高輝度領域の色相変化に補正が行われていて、前記動作モードが前記ゲイン調整モードから別のモードに変更された場合、前記変換手段は、前記３次元のルックアップテーブルを用いて前記高輝度領域の色相変化を補正して、前記補正手段による前記補正を元に戻すことを特徴とする請求項６または７に記載の映像信号処理装置。
9. 映像信号処理装置が実行する映像信号処理方法であって、
   第一階調変換が施された第一映像信号を、第二映像信号へ変換する映像変換工程と、
   動作モードに応じて、前記第二映像信号に施す変換処理を制御する処理制御工程と、
   を有し、
   前記映像変換工程は、ゲイン変換処理を含む第二階調変換を行う階調制御工程と、３次元のルックアップテーブルを用いた変換処理を行う変換工程と、を含み、
   前記処理制御工程では、前記動作モードが、所定の操作により指示されたゲイン値に基づくゲイン制御を行うゲイン調整モードである場合には前記階調制御工程によるゲイン変更を行い、前記ゲイン調整モードでない場合には前記変換工程によるゲイン変更を行うように制御することを特徴とする映像信号処理方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の映像信号処理装置の各手段として機能させるためのプログラム。

Images