JP6936483B2

JP6936483B2 - Ｈｄｒ映像のためのレベル適応映像切り替え処理方法及び処理装置

Info

Publication number: JP6936483B2
Application number: JP2017223389A
Authority: JP
Inventors: 力松永
Original assignee: KABUSHIKI KAISYA HOUEI
Current assignee: KABUSHIKI KAISYA HOUEI
Priority date: 2017-11-21
Filing date: 2017-11-21
Publication date: 2021-09-15
Anticipated expiration: 2037-11-21
Also published as: JP2019096984A

Description

本発明は、ＨＤＲ映像のためのレベル適応映像切り替え処理方法及び処理装置に関する。

テレビが配置されている室内の明るさ程度に応じて、テレビ画面の明るさを自動調整することは既に実用化されている。このようなテレビは、照度センサを備えており、照度センサの出力に応じてテレビ画面の明るさを適宜自動的に調整するものである。また、ナビゲーション等の車載用モニタにおいてもこの技術が適用展開されて実用化されている。

暗いところでは画面も暗く、明るいところでは画面も明るく調整するものであり、これは人体の眼球特性を考慮したものである。例えば、下記特許文献１には、ＬＣＤの輝度を調整する手段として、ディマーコントロール素子や受光センサを用いたものが知られていることが記載されている。

また、連続した一連の映像における突発的な輝度変化に対する対応として、現フレームの輝度が前フレームの輝度および次フレームの輝度よりも大きな輝度であるために、表示画面が一瞬明るくなるフラッシュ現象が視認されることがあり、このフラッシュ現象を防止する技術として、表示画像の急激な輝度変化を防止するため、表示データの書き込みを行う前にフレームをフレームメモリに記憶して輝度調整を行う方法があることが下記特許文献２に開示されている。

さらに、新たな映像を撮影取得する撮像場面において、被写体照度の明るさ程度に応じて撮像装置の露出を適宜変更して輝度調整を行うことが下記特許文献３に記載されている。

また、映像を編集する際の切り替え処理としては、カット、ミックス、ディゾルブ、ワイプ、ＤＶＥ等の様々な手法がこれまでに実現されている。しかし、ＨＤＲ映像の視認性を考慮したものは従来知られていない。これに近いものとしては、テレビ受像機における視聴環境光に応じて、ディスプレイの明るさを自動的に変更するものがあり、例えば下記特許文献４には、このような技術が開示されている。

また、カメラの絞りを自動的に調整するオートアイリス機能が知られている。しかし、これらは、映像を視聴するテレビ受像機や映像を撮影するカメラに関するものであり、このような技術は、映像制作・編集には何ら応用されておらず、全く用いられていない。

特開平１１−３４０６４４号公報特開２０１６−０３３６０７号公報特開２０１５−０３５７５７号公報特開２００５−２９５２６２号公報

上記、従来知られている輝度調整は、画像を新たに取得する撮像装置であったり、一連の連続した一つの映像ソフトにおける輝度変化への対応であったり、モニタが配置される周辺環境に応じた調整であったりするものであって、複数の撮影装置でそれぞれ取得された複数の映像をリアルタイムで常時取り込みつつ、任意の時期にオペレータ等の指示に基づいて適宜、出力する映像場面を切り替えるスイッチャー等の装置に対応するものではない。

スイッチャー等の画像処理装置においては複数の映像がリアルタイムで常に入力されており、その時点でのアナウンスや状況に最適な映像が適宜判断されて瞬時にオペレータ等から指示されて、視聴者に提供する映像場面が選択されて出力するものである。例えば、ニュースの映像における現場の現況を撮影しているリアルタイム映像と、放送局の進行アナウンサーの映像とを切り替える切り替え場面等がその典型例である。

このようなスイッチャーを典型例とする複数の映像をリアルタイムで取り込む画像処理装置においては、出力される映像場面の切り替えに伴って、提供される画面の輝度が急激に変化するような状況も生じ得る。例えば、事故現場の夜の現況を実況する暗い現場映像から、明るいスタジオ内のアナウンサーへと、視聴者へ提供する映像場面の切り替えを実行し、いわゆる”マイクをスタジオにお返しします”といった場合等が該当する。

スイッチャー等の画像処理装置自体は、現場を映す映像とスタジオの映像となど複数の映像を常に入力されているから、それら各映像のリアルタイムでの輝度は把握し検出可能であるが、出力される映像がいつ切り替えられるのかの切り替えタイミングについては、オペレータ等の判断に基づく切り替え指示が現実に入力されなければわからない。従って、スイッチャー等の画像処理装置は、出力映像がいつ切り替えられてもリアルタイムで対処可能なように、複数の入力映像について常に明るさをモニタしておき、切り替え時には瞬時にかつ迅速に明るさの激変を回避する輝度調整を遂行できることが好ましい。

また、ダイナミックレンジを拡大したＨＤＲ映像の場合、従来のＳＤＲ（標準ダイナミックレンジ）映像と比較して、相当に明るい映像となる。このため、単純なカット処理により映像を切り替えた場合、または明るい映像から暗い映像に切り替えた場合、逆に、暗い映像から明るい映像に切り替えた場合、切り替え後の映像の明るさ変化に対して人間の眼の明暗順応が対応できずに、視認性が著しく低下する。極端な場合、ある一定期間映像が見えなくなる。これは、映像切り替え処理が瞬時に行われることに対して、人間の眼の明暗順応には一定の時間を要することに起因するものである。このように、従来の映像切り替え処理では、そのような映像のダイナミックレンジや、人間の眼の明暗順応まで考慮した処理は行われていない。

上述の問題点に鑑み、本発明では、簡易な映像処理により、ＨＤＲ映像の切り替え処理後の視認性を向上させる。具体的には、映像フレーム毎の全輝度値のメジアン値を計算して、映像間のメジアン差分値に応じて、映像切り替え後のフレームの輝度値のレベルをある一定期間、好ましくは人間の眼の明暗順応所要時間に対応する程度のある一定期間、調整することにより視認性を向上させるものとする。輝度レベルの調整内容としては、画素の輝度レベルに拘わらず一律にゲイン調整することも可能であるが、オフセットを加えたゲイン調整とすることが好ましい。

本発明では、ＨＤＲ映像毎の明るさ、およびＨＤＲ映像間の明るさの差を考慮したレベル適応による映像切り替え処理により、明るい映像から暗い映像、逆に、暗い映像から明るい映像へ切り替わった後の映像の視認性を向上させることができる。人間の眼の明暗順応を考慮したＨＤＲ映像編集・切り替え処理により、ＨＤＲ映像コンテンツ全体としての見やすさ、映像品質も向上することができる。

本実施形態のレベル適用切り替え処理構成を説明する概念図である。ＨＤＲ画像における輝度値と出現頻度値との関係を示すヒストグラムを説明する図である。輝度値ヒストグラムから累積ヒストグラムを算出して全画素数の半分を超えた画素レベルがメジアン値に相当する例を説明する図である。明るい映像から暗い映像へ切り替える場合、及び暗い映像から明るい映像へ切り替える場合、のゲインオフセット制御の例を説明する図である。明るい映像から暗い映像へ切り替える場合、及び暗い映像から明るい映像へ切り替える場合、のゲインオフセット制御の例を説明する図である。

ダイナミックレンジを拡大した映像（以下適宜「ＨＤＲ映像」（High-dynamic- range rendering）と称する）を切り替える際、人間の眼の明暗順応所要時間との兼ね合いによって、その視認性が著しく低下する場合が生じる。すなわち、明るい映像から暗い映像への瞬時の切り替え、また逆に、暗い映像から明るい映像に瞬時に切り替えると、切り替え後の一定期間においては人間の眼の明暗順応が追い付かず、極端な場合、映像が見えなくなることもある。ＨＤＲ映像においては、その特性上、上記のような好ましくない事態を招来する懸念は大きい。

そこで、本実施形態においては、スイッチャー等の複数映像の切り替えを取り扱う装置における映像処理によって、明るさの異なる映像へ切り替えた際の視認性を向上させるための工夫を行う。具体的には、フレーム毎に全輝度値のメジアン値を計算し、映像間のメジアン差分値に応じて、映像切り替え後のフレームの輝度値のレベルをある一定期間操作することにより、眼の明暗順応時間に応じて急激な輝度変化の緩和処理をして、これにより視認性を向上させるものとする。

その処理方法は、まず、ＨＤＲ映像毎に映像フレーム中の全輝度値のメジアン値を計算する。ＨＤＲ映像のような少数の高輝度値を含む裾部分の重い分布（裾野の広い輝度分布）では、平均値は殆ど意味をなさず、少数の高輝度値の影響により平均値は高輝度側に大きく偏ってしまう。そこで、フレーム全体の明るさを表す指標として、平均値の代りに本発明ではメジアン値を用いるものとする。

次に、映像切り替えの際に、切り替えられる両映像の各フレーム毎の輝度値のメジアン値の差分値に応じて、切り替え後の映像の明るさを一定期間、切り替え前の映像の明るさに合わせてレベル制御するものとする。この場合に、映像切り替え後の映像の明るさのレベル制御は、定められた時定数によりゲインオフセットを制御して、一定フレームが経過後、元の明るさに戻るように制御するものとする。

さらに、映像フレーム中の全輝度値のメジアン値を輝度値ヒストグラムから計算するための輝度値ヒストグラム、およびメジアン値計算手段、映像切り替え時に各映像フレーム中の全輝度値のメジアン値の差分値を計算するための輝度値メジアン差分計算手段、映像の切り替え手段、各映像フレーム中の全輝度値のメジアン値の差分値に応じて、予め定められた時定数により切り替え後の映像のゲインオフセット手段、およびそれらを制御するためのゲインオフセット制御手段等を備えるものとすることができる。

本発明によるレベル適応映像切り替え処理は、ハードウェアによるリアルタイム処理も可能であるし、ソフトウェアによる映像編集に用いることも可能である。ただし、ハードウェアによるリアルタイム処理の場合には、各映像フレーム全体における輝度値のメジアン値の計算に、１フレームの時間を要するため、そのままでは１フレームの遅延が生じる。しかし、切り替え信号の１フレーム前のフレームの全輝度値のメジアン値を用いるか、あるいは、前フレームまでの結果を用いて、カルマンフィルタ、自己回帰等により現フレームの全輝度値メジアン値を予測すれば、フレーム遅延は発生せず、ライブ中継における適用も可能である。

図１は、本実施形態のレベル適用切り替え処理構成を説明する概念図である。図１に示すように、映像入力として、Ａ入力、Ｂ入力を切り替えるとする。そして、それぞれの入力について、入力フレーム毎の全輝度値のメジアン値を計算する（メジアン値計算処理）。そして、各フレームの全輝度値のメジアン値の差分値を計算する。ここで、Ａ入力とＢ入力とは、互いに時間軸が整合しているものとする。

そして、映像切り替え信号をトリガとして、各入力の全輝度値のメジアン値の差分値から、映像切り替え後の映像のゲイン及びオフセットの計算を開始する（ゲイン及びオフセット計算）。映像切り替え後の経過フレーム数に応じて、ゲイン及びオフセットを例えば次のように計算する。

上記［数１］において、「ａ」は、映像切り替え後の先頭フレームにおける明るさを決める定数であり、「τ」は、映像切り替え後のレベル制御された映像が元の明るさに戻る時間を決める時定数である。また、「ｘ」は、映像切り替え時を０とする経過フレーム数である。

フレーム毎のメジアン差分値の大きさによって、映像切り替え後の先頭フレームの明るさを決める定数「ａ」、およびレベル制御された映像が元の明るさに戻る時間を決める時定数「ｒ」を適宜設定し、メジアン差分値の絶対値が適当なしきい値以下の場合、レベル制御は行わないものとしてもよい。

そして、映像を切り替えた後の映像に対して、

としたものを最終的な切り替え後の出力とする。ここで、「Ｓｅｌ」は、Ａ入力映像またはＢ入力映像のうち、セレクタで選択された映像についての各画素の輝度値である。すなわち、セレクタで選択されて出力するべき画素の輝度値に対して、ゲインを乗算してさらにオフセット値を加算して調整してから出力するものとする。

図２は、ＨＤＲ画像における輝度値と出現頻度値との関係を示すヒストグラムを説明する図である。図２に示すように、ＨＤＲ画像においては、少数の極めて高輝度の画素を有しており、いわゆる裾の重い（裾野の広い）輝度分布となる。このため、画像中の輝度値の平均値を算出したとしても、少数の超高輝度の画素値の影響で高輝度値側に引っ張られる値となるため、画像全体の輝度を表す目安としては不適切である。この観点から本実施形態では、平均値を用いずに、メジアン値（輝度の高い画素から順に並べた場合に画素数の中央の輝度値）を用いるものとする。

また、図３は輝度値ヒストグラムから累積ヒストグラムを算出して全画素数の半分を超えた画素レベルがメジアン値に相当する例を説明する図である。図３（ａ）が女性の写真サンプル画像について、各画素の輝度値と当該輝度値を有する画素数との関係を示す輝度値ヒストグラムの図であり、図３（ｂ）が輝度値の小さいほうから順にその画素数を累積した（輝度値ヒストグラムを累積加算したもの）累積ヒストグラムを示す図である。図３（ｂ）に示す例では、累積画素数が総画素数の半分となる場合の輝度値『１２０』がメジアン値となる。

また、図４及び図５に、明るい映像から暗い映像へ切り替える場合、及び暗い映像から明るい映像へ切り替える場合、のゲインオフセット制御の例を示している。ただし、暗い映像から明るい映像へ切り替える場合については、『Ｏｆｆｓｅt＝０』としている。図４（ａ）が明るい映像から暗い映像へと切り替えた場合のゲインオフセット調整の例を説明する図であり、図４（ｂ）が暗い映像から明るい映像へと切り替えた場合のゲインオフセット調整の例を説明する図である。

図４（ａ）に示すように明るい映像から暗い映像へと急に切り替えた場合には、人間の眼が暗さに順応するのに一定の時間を要することから、切り替え当初はグラフ１０００に示すように入力輝度値に対して出力輝度値をオフセットをつけてゲイン調整する。すなわち、入力信号レベル（入力輝度値）が大きいものは比較的明るい画素であるため小さいゲイン調整とし、入力信号レベル（入力輝度値）が小さいものは比較的暗い画素であるため出力値を持ち上げて大きなゲイン調整として見やすくするように調整する。そして、人間が暗さに順応できる程度の時間経過に伴って、図４（ａ）グラフ２０００に示すようにゲインオフセット調整をしない自然状態へと徐々に戻していくものとする。

他方、図４（ｂ）に示すように暗い映像から明るい映像へと急に切り替えた場合には、人間の眼が明るさに順応するのに一定の時間を要することから、切り替え当初はグラフ３０００に示すように入力輝度値に対して出力輝度値をオフセットをつけてゲイン調整する。すなわち、入力信号レベル（入力輝度値）が大きいものは極めて明るい画素であるため出力値を引き下げて大きなゲイン調整とし、入力信号レベル（入力輝度値）が小さいものは比較的暗い画素であるため小さなゲイン調整として見やすくするように調整する。そして、人間が明るさに順応できる程度の時間経過に伴って、図４（ｂ）グラフ４０００に示すようにゲインオフセット調整をしない自然状態へと徐々に戻していくものとする。

図５は、前出の［数１］として説明した式において、「ａ＝０．３，τ＝６．０」とした場合について、明るい画像から暗い画像へと切り替えた場合のゲインとオフセットの調整量の時間変化を説明する図である。図５に示す例においては、約３０フレーム後（約１秒後）に、ゲインオフセット調整量がゼロになって、元の映像レベルままの出力状態へと戻るものとなる。このような調整時間や調整量の時間経過変化については映像環境や人体の眼の特性に合わせて適宜設定するものとできる。

また、上述の例では、Ａ入力とＢ入力の二入力間の映像切り替え場面について説明したが、三以上の複数入力間で切り替え処理する場合等についても、当然ではあるが適用可能である。さらに、ＨＤＲ映像の場合ではなくても、明暗に大きな差異がある映像間で出力の切り替えを行う場合にも本発明を適用可能である。

本発明は、各種映像処理機器、ビデオスイッチャー、ルーター等の映像切り替えを行う装置に適用可能であり、特に、ダイナミックレンジを拡大したＨＤＲ映像制作処理装置等に好適である。

Claims

複数の入力映像から選択された映像を出力するスイッチャーにおいて、
前記複数の入力映像について映像フレーム毎の全輝度値のメジアン値を算出するメジアン値算出部と、
現に選択されて出力している映像についてのメジアン値と、前記入力映像のうち他の映像のメジアン値と、の差分を算出する差分算出部と、
現に選択されて出力している映像についてのメジアン値と、前記入力映像のうち新たな出力として新たに選択された映像のメジアン値と、の差分が所定の閾値より大きい場合に、当該新たな出力映像へと切り替え後のフレームの輝度値の出力レベルを所定期間、調整するゲインオフセット調整部と、を備え、
前記ゲインオフセット調整部は、

に基づいて、ゲインとオフセットをそれぞれ決定する、
ここで、「ａ」は、映像切り替え後の先頭フレームにおける明るさを決める定数であり、「τ」は、映像切り替え後のレベル制御された映像が元の明るさに戻る時間を決める時定数であり、「ｘ」は、映像切り替え時を０とする経過フレーム数であるものとする、
ことを特徴とするスイッチャー。
請求項１に記載のスイッチャーにおいて、
前記所定期間は、人間の眼の明暗順応所要時間に対応する程度のある一定期間である
ことを特徴とするスイッチャー。
請求項１または請求項２に記載のスイッチャーにおいて、
前記メジアン値の差分が所定の閾値より大きい場合とは、
現在出力している映像についての、映像フレーム毎の全輝度値のメジアン値と、
前記切り替え後の映像についての、映像フレーム毎の全輝度値のメジアン値と、の差分が前記所定の閾値より大きい場合である
ことを特徴とするスイッチャー。
請求項１乃至請求項３のいずれか一項に記載のスイッチャーにおいて、
前記ゲインオフセット調整部は、
出力される映像信号の輝度レベルに応じてオフセットを付けたゲイン調整を行う
ことを特徴とするスイッチャー。
請求項１乃至請求項４のいずれか一項に記載のスイッチャーにおいて、
前記ゲインオフセット調整部は、
前記メジアン値が大きい映像から小さい映像へと切り替えた場合には、前記出力映像へと切り替え後のフレームの輝度値のレベルを高輝度化する調整をし、
前記メジアン値が小さい映像から大きい映像へと切り替えた場合には、前記出力映像へ
と切り替え後のフレームの輝度値のレベルを低輝度化する調整をする
ことを特徴とするスイッチャー。
請求項１乃至請求項５のいずれか一項に記載のスイッチャーにおいて、
前記ゲインオフセット調整部は、

に基づいて、切り替え後の出力を調整する、
ここで、「Ｓｅｌ」は、複数の入力映像のうちセレクタで選択された映像についての各画素の輝度値であるものとする、
ことを特徴とするスイッチャー。
請求項１乃至請求項６のいずれか一項に記載のスイッチャーの映像処理方法において、
複数の入力映像について映像フレーム毎の全輝度値のメジアン値を算出する工程と、
前記入力映像間の前記メジアン値の差分を算出する工程と、
前記入力映像間の前記メジアン値の差分が所定の閾値より大きい場合に、前記入力映像のうち出力映像として選択された当該出力映像へと切り替え後のフレームの輝度値のレベルを所定期間、調整する工程と、を有する
ことを特徴とするスイッチャーの映像処理方法。
請求項７に記載のスイッチャーの映像処理方法において、
前記所定期間は、人間の眼の明暗順応所要時間に対応する程度のある一定期間である
ことを特徴とするスイッチャーの映像処理方法。
請求項７または請求項８に記載のスイッチャーの映像処理方法において、
前記入力映像間の前記メジアン値の差分が所定の閾値より大きい場合とは、
現在出力している映像についての、映像フレーム毎の全輝度値のメジアン値と、
前記切り替え後の映像についての、映像フレーム毎の全輝度値のメジアン値と、の差分が前記所定の閾値より大きい場合である
ことを特徴とするスイッチャーの映像処理方法。
請求項７乃至請求項９のいずれか一項に記載のスイッチャーの映像処理方法において、
前記出力映像へと切り替え後のフレームの輝度値のレベルを所定期間調整する工程は、
輝度レベルに応じてオフセットを付けたゲイン調整である
ことを特徴とするスイッチャーの映像処理方法。
請求項７乃至請求項１０のいずれか一項に記載のスイッチャーの映像処理方法において、
前記出力映像へと切り替え後のフレームの輝度値のレベルを所定期間調整する工程は、
前記メジアン値が大きい映像から小さい映像へと切り替えた場合には、前記出力映像へと切り替え後のフレームの輝度値のレベルを高輝度化する調整をし、
前記メジアン値が小さい映像から大きい映像へと切り替えた場合には、前記出力映像へと切り替え後のフレームの輝度値のレベルを低輝度化する調整をする
ことを特徴とするスイッチャーの映像処理方法。
複数の入力映像について映像フレーム毎の全輝度値のメジアン値を算出する工程と、
前記入力映像間の前記メジアン値の差分を算出する工程と、
前記入力映像間の前記メジアン値の差分が所定の閾値より大きい場合に、前記入力映像のうち出力映像として選択された当該出力映像へと切り替え後のフレームの輝度値のレベルを所定期間、調整する工程と、を有し、
前記出力映像へと切り替え後のフレームの輝度値のレベルを所定期間調整する工程は、

上記数式に基づいて、ゲインとオフセットとがそれぞれ決定される、
ここで、「ａ」は、映像切り替え後の先頭フレームにおける明るさを決める定数であり、「τ」は、映像切り替え後のレベル制御された映像が元の明るさに戻る時間を決める時定数であり、「ｘ」は、映像切り替え時を０とする経過フレーム数であるものとする、
ことを特徴とする複数の入力映像から選択された映像を出力する方法。
請求項１２に記載の複数の入力映像から選択された映像を出力する方法において、
前記所定期間は、人間の眼の明暗順応所要時間に対応する程度のある一定期間である
ことを特徴とする方法。
請求項１２または請求項１３に記載の複数の入力映像から選択された映像を出力する方法において、
前記入力映像間の前記メジアン値の差分が所定の閾値より大きい場合とは、
現在出力している映像についての、映像フレーム毎の全輝度値のメジアン値と、
前記切り替え後の映像についての、映像フレーム毎の全輝度値のメジアン値と、の差分が前記所定の閾値より大きい場合である
ことを特徴とする方法。
請求項１２乃至請求項１４のいずれか一項に記載の複数の入力映像から選択された映像を出力する方法において、
前記出力映像へと切り替え後のフレームの輝度値のレベルを所定期間調整する工程は、
輝度レベルに応じてオフセットを付けたゲイン調整である
ことを特徴とする方法。
請求項１２乃至請求項１５のいずれか一項に記載の複数の入力映像から選択された映像を出力する方法において、
前記出力映像へと切り替え後のフレームの輝度値のレベルを所定期間調整する工程は、
前記メジアン値が大きい映像から小さい映像へと切り替えた場合には、前記出力映像へと切り替え後のフレームの輝度値のレベルを高輝度化する調整をし、
前記メジアン値が小さい映像から大きい映像へと切り替えた場合には、前記出力映像へと切り替え後のフレームの輝度値のレベルを低輝度化する調整をする
ことを特徴とする方法。
請求項１２乃至請求項１６のいずれか一項に記載の複数の入力映像から選択された映像を出力する方法において、

上記数式に基づいて、切り替え後の出力が調整される、
ここで、「Ｓｅｌ」は、複数の入力映像のうちセレクタで選択された映像についての各画素の輝度値であるものとする、
ことを特徴とする方法。