JP2024078844A - 映像処理装置及び映像表示装置 - Google Patents

Abstract

【課題】高輝度の領域と低輝度の領域との間に発生する輝度のぼやけを抑制し、視認性を向上させることを可能とする。【解決手段】各々が複数の画素を含む複数の分割領域からなる映像の分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、複数の分割領域ごとのヒストグラムに基づいて、複数の分割領域ごとに入力映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、トーンカーブ及び輝度境界領域の特定結果に基づいて映像の輝度を補正する補正処理を行う映像補正部と、を有する。【選択図】図２

Description

本発明は、映像処理装置及び映像表示装置に関する。

カメラのセンサデータを映像データに変換する際、トーンマッピングと言われる処理を行い、高分解能の映像を低分解能のディスプレイに合わせた色深度に合わせる処理が行われている。その際、高輝度の領域及び低輝度の領域を含む映像を１つの映像として出力するため、これらの領域が隣接していると、領域間の輝度差に起因するぼやけ、所謂「ハロー」が発生する虞がある。

このようなハローの発生を防止するため、入力画像データの複数のエリアに対してエリア別特徴データ及び画素別特徴データを算出してガンマカーブを決定し、入力画像データの輝度画像における対象画素の周辺の画素の輝度からの変化に応じて、対象画素の輝度を特定値に設定する演算を行う表示装置が提案されている（例えば、特許文献１）。

特開２０１５－１５２６４４号公報

上記従来技術の表示装置では、エリア同士の輝度の違いが大きくても、エリア内での輝度のばらつきが小さければ、補正に使用されるトーンカーブ（補正点データ）の差が小さくなる。このため、局所的な補正効果が十分に得られない可能性があるという問題があった。

本発明は上記問題点に鑑みてなされたものであり、高輝度の領域と低輝度の領域との間に発生する輝度のぼやけを抑制し、視認性を向上させることが可能な映像処理装置を提供することを目的とする。

本発明に係る映像処理装置は、各々が複数の画素を含む複数の分割領域からなる映像の前記分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、前記複数の分割領域ごとの前記ヒストグラムに基づいて、前記複数の分割領域ごとに前記入力映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、前記複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、前記輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、前記トーンカーブ及び前記輝度境界領域の特定結果に基づいて前記映像の輝度を補正する補正処理を行う映像補正部と、を有することを特徴とする。

本発明に係る表示装置は、各々が複数の画素を含む複数の分割領域からなる映像を取得する映像取得部と、前記映像に対して映像処理を行い、表示映像を生成する映像処理部と、前記表示映像を表示する表示部と、を含み、前記映像処理部は、前記映像の前記分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、前記複数の分割領域ごとの前記ヒストグラムに基づいて、前記複数の分割領域ごとに前記入力映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、前記複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、前記輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、前記トーンカーブ及び前記輝度境界領域の特定結果に基づいて前記映像の輝度を補正する補正処理を行う映像補正部と、を有することを特徴とする。

本発明に係る映像処理装置によれば、高輝度の領域と低輝度の領域との間に発生する輝度のぼやけを抑制し、視認性を向上させることが可能となる。

本実施例の映像処理装置の構成を示すブロック図である。 映像補正ＬＳＩの内部構成を示すブロック図である。 複数の分割領域からなる入力映像の一例を示す図である。 分割領域における明るさ分布のヒストグラムの例を示す図である。 ヒストグラムを変換して得られるトーンカーブの例を示す図である。 高輝度領域と低輝度領域とが連続する例を示す図である。 連続した高輝度領域及び低輝度領域のトーンカーブの例を示す図である。 高輝度領域及び低輝度領域のトーンカーブの差分を示す図である。 水平方向に連続する複数の分割領域の各々のトーンカーブ及び輝度境界の例を示す図である。 画像補正処理を模式的に示す図である。 補正値を補間するための計算例を示す図である。

以下に本発明の好適な実施例を詳細に説明する。なお、以下の実施例における説明及び添付図面においては、実質的に同一または等価な部分には同一の参照符号を付している。

図１は、本発明に係る映像表示システム１００の構成を示すブロック図である。映像表示システム１００は、映像取得部１１、映像処理装置１２、ディスプレイ１３及び制御部１４を有する。

映像取得部１１は、例えばカメラから構成され、撮影により得た映像信号を入力映像ＶＳとして映像処理装置１２に供給する。

映像処理装置１２は、ＬＳＩ（Large Scale Integration）から構成され、映像取得部１１から供給された入力映像ＶＳに対して補正処理を行う処理装置である。映像処理装置１２は、入力映像ＶＳに補正処理を施した映像データを出力映像ＶＤとして、ディスプレイ１３に供給する。

ディスプレイ１３は、例えば液晶表示装置から構成され、映像処理装置１２から出力された出力映像ＶＤを表示する。

制御部１４は、ＭＣＵ（Micro Controller Unit）から構成され、映像処理装置１２による映像補正処理の制御を行う。

図２は、映像処理装置１２の構成を示すブロック図である。映像処理装置１２は、局所ヒストグラム生成部２１、局所トーンカーブ生成部２２、輝度境界領域検出部２３及び画像補正部２４を含む。

局所ヒストグラム生成部２１は、入力映像ＶＳの供給を受け、入力映像ＶＳの映像領域を複数に分割した各々の領域（以下、分割領域と称する）について、明るさの分布を示すヒストグラムＨＧを生成する。

図３Ａは、入力映像ＶＳの一例を示す図である。入力映像ＶＳは、ｍ×ｎ（縦ｍ、横ｎ）の分割領域から構成されている。分割領域の各々は、複数の画素から構成されている。

図３Ｂは、局所ヒストグラム生成部２１が生成するヒストグラムＨＧの例を示す図である。横軸は階調、縦軸はその階調が分割領域内に存在する頻度（すなわち、画素数）を示している。ここでは、比較的暗い階調の画素が分割領域内に多く分布している場合を例として示している。

局所トーンカーブ生成部２２は、局所ヒストグラム生成部２１が生成した分割領域ごとのヒストグラムＨＧに基づいて、入力映像ＶＳの明るさを調整するためのトーンカーブＴＣを分割領域ごとに生成する。なお、本実施例で用いるトーンカーブＴＣは、明るさ分布のヒストグラムＨＧに応じて定まるものである。すなわち、局所トーンカーブ生成部２２は、分割領域ごとの明るさ分布のヒストグラムＨＧを所定の関数を用いて変換することにより、分割領域ごとのトーンカーブＴＣを生成する。

図３Ｃは、図３ＢのヒストグラムＨＧに対応するトーンカーブＴＣの例を示す図である。上記の通り、図３ＢのヒストグラムＨＧでは比較的暗い階調の画素が多いため、これに対応するトーンカーブＴＣは、入力値の低い領域（暗めの入力値）では傾きが大きく、入力値の高い領域（明るめの入力値）になるしたがって傾きが小さくなる形状となる。

再び図２を参照すると、輝度境界領域検出部２３は、複数の分割領域のトーンカーブＴＣのうち、隣接する分割領域同士のトーンカーブＴＣを比較し、比較結果に基づいて分割領域間の輝度差が大きい境界部分（以下、輝度境界と称する）を特定する。輝度境界領域検出部２３は、特定した輝度境界を含む所定範囲の領域を輝度境界領域ＬＢとして特定（検出）する。輝度境界領域検出部２３は、輝度境界領域ＬＢの情報を画像補正部２４に供給する。

輝度境界領域検出部２３が実行する輝度境界領域ＬＢの検出処理について、図４Ａ～４Ｃ及び図５を参照して説明する。

図４Ａは、隣接する分割領域間の輝度差が大きい例、すなわち高輝度領域及び低輝度領域が連続する例を示す図である。ここでは、電気スタンドの光を含む高輝度領域ＢＡと、黒色である人間の後頭部を多く含む低輝度領域ＬＡとが隣接して配置されている。

図４Ｂは、高輝度領域ＢＡ及び低輝度領域ＬＡの各々のトーンカーブＴＣの例を示す図である。横軸は入力値、縦軸は出力値を表している。高輝度領域ＢＡのトーンカーブＴＣは、入力値の低い領域（暗めの入力値）では傾きが小さく、入力値の高い領域（明るめの入力値）になるしたがって傾きが大きくなる形状を有する。一方、低輝度領域ＬＡのトーンカーブＴＣは、入力値の低い領域では傾きが大きく、入力値の高い領域になるにしたがって傾きが小さくなる形状を有する。

図４Ｃは、高輝度領域ＢＡのトーンカーブＴＣと低輝度領域ＬＡのトーンカーブＴＣの差分を示す図である。図に斜線で示すように、高輝度領域ＢＡと低輝度領域ＬＡとではトーンカーブＴＣの傾きの遷移が大きく異なるため、その差分が大きい。輝度境界領域検出部２３は、このような隣接する分割領域同士のトーンカーブＴＣの差分に基づいて輝度境界を特定する。

具体的には、２つのトーンカーブＴＣによって囲まれた部分の面積（例えば、図４Ｃに示す斜線部分）がトーンカーブＴＣの差分となる。すなわち、輝度境界領域検出部２３は、隣接する２つの分割領域の各々のトーンカーブＴＣを同一の座標上に図示した場合に両トーンカーブによって囲まれる部分の面積が所定の閾値以上の値である場合に、その分割領域同士の境界を輝度境界として特定する。

輝度境界領域検出部２３は、特定した輝度境界を含む所定範囲の領域を輝度境界領域ＬＢとして検出する。例えば、水平方向に隣接する分割領域間の輝度境界の場合、輝度境界を挟んで所定画素列分の領域が輝度境界領域ＬＢとなる。

図５は、連続する複数の分割領域のトーンカーブＴＣ及び輝度境界の例を示す図である。ここでは、分割領域Ａ１～Ａ１２が水平方向に連続している場合を示している。

分割領域Ａ１～Ａ３のトーンカーブＴＣは、入力値が低い範囲では傾きが大きく、入力値が大きくなるにしたがって傾きが小さくなる形状を有する。すなわち、分割領域Ａ１～Ａ３は、比較的低輝度な領域である。また、分割領域Ａ１及びＡ２のトーンカーブＴＣの差分、分割領域Ａ２及びＡ３のトーンカーブＴＣの差分は、いずれも小さい。

分割領域Ａ４～Ａ６のトーンカーブＴＣは、入力値が低い範囲では傾きが小さく、入力値が大きくなるにしたがって傾きが大きくなる形状を有する。すなわち、分割領域Ａ４～Ａ６は、比較的高輝度な領域である。また、分割領域Ａ１及びＡ２のトーンカーブＴＣの差分、分割領域Ａ２及びＡ３のトーンカーブＴＣの差分は、いずれも小さい。

これに対し、分割領域Ａ３及び分割領域Ａ４が隣接する境界は、分割領域Ａ３が低輝度領域、分割領域Ａ４が高輝度領域であり、トーンカーブＴＣの形状が大きく異なるため、その差分が大きい。換言すると、分割領域Ａ３及びＡ４の各々のトーンカーブＴＣを同一の座標上に表示した場合、２つのトーンカーブＴＣによって囲まれる部分の面積が閾値を越える大きさとなる。輝度境界領域検出部２３は、分割領域Ａ３及びＡ４の境界を輝度境界として特定し、特定した輝度境界を含む所定範囲の領域を輝度境界領域ＬＢとして検出する。

同様に、輝度境界領域検出部２３は、分割領域Ａ４～Ａ１２について、隣接する分割領域同士のトーンカーブＴＣの差分に基づいて輝度境界を特定し、輝度境界領域ＬＢを検出する。これにより、高輝度領域である分割領域Ａ６と低輝度領域である分割領域Ａ７との間、低輝度領域である分割領域Ａ７と高輝度領域である分割領域Ａ８との間、及び高輝度領域である分割領域Ａ９と低輝度領域である分割領域Ａ１０との間が、それぞれ輝度境界として特定される。輝度境界領域検出部２３は、これらの輝度境界を含む所定範囲の領域をそれぞれ輝度境界領域ＬＢとして検出する。

輝度境界領域ＬＢに位置する画素に対しては、画像補正部２４が実行する補正処理において、トーンカーブに基づいて算出される補正値に対して重み係数“１”の重み付けを行った上で補正値の補間が行われる。一方、輝度境界領域ＬＢ以外の領域に位置する画素については、補正値の補間における重み係数は“０”となる。

なお、図５では水平方向に分割領域が連続する場合を示しているが、輝度境界領域検出部２３は、垂直方向に連続する分割領域についても、同様に輝度境界の特定及び輝度境界領域ＬＢの検出を行う。

再び図２を参照すると、画像補正部２４は、入力映像ＶＳについて、画素ごとに補正値を算出して補正処理を行う。その際、画像補正部２４は、処理対象の画素が輝度境界領域ＬＢに位置しているか否かに基づいて重み係数を変更しつつ、補正値の補間を行う。

画像補正部２４が実行する画素ごとの補正値の算出について、図６Ａ及び６Ｂを参照して説明する。

図６Ａは、補正値算出の対象画素を画素ＧＸとして、その属する分割領域及び周辺の分割領域を簡略化して示す図である。画素ＧＸは、分割領域Ａ０１に位置している。分割領域Ａ０１は、分割領域Ａ０２と水平方向（すなわち、紙面横方向）に隣接している。また、分割領域Ａ０１は、分割領域Ａ０３と垂直方向（すなわち、紙面縦方向）に隣接している。分割領域Ａ０３及び分割領域Ａ０４は水平方向（紙面横方向）に隣接し、分割領域Ａ０２及び分割領域Ａ０４は垂直方向（紙面縦方向）に隣接している。Ｃ１は分割領域Ａ０１の中心位置、Ｃ２は分割領域Ａ０２の中心位置、Ｃ３は分割領域Ａ０３の中心位置、Ｃ４は分割領域Ａ０４の中心位置をそれぞれ表している。

画像補正部２４は、補正値算出の対象画素である画素ＧＸが位置する分割領域Ａ０１のトーンカーブＴＣと、分割領域Ａ０１に隣接する分割領域Ａ０２～Ａ０４のトーンカーブＴＣとを用いて、画素ＧＸについての補正値を算出する。その際、画像補正部２４は、分割領域Ａ０１～Ａ０４の各々のトーンカーブＴＣから得られる補正値を、各分割領域の中心位置Ｃ１～Ｃ４から画素ＧＸまでの距離に基づいて補間することにより、画素ＧＸの補正値を算出する。

図６Ｂは、補正値を補間するための計算例を示す図である。ここでは、説明を簡略化するため、水平方向のみに着目した計算例を示している。例えば、補正値“Ｎ”に対応するトーンカーブＴＣの領域と補正値“Ｍ”に対応するトーンカーブＴＣの領域とが隣接している場合、画像補正部２４は、これらを補正処理の対象画素から各分割領域までの距離“ｘ”に基づく割合で混ぜ合わせることにより、補正値を算出する。補正値ＣＶは、ＣＶ＝Ｎ＊（１００－ｘ）％＋Ｍ＊ｘ％となる。

画素ＧＸが輝度境界領域ＬＢ以外の領域に位置している場合、画像補正部２４は、このように画素ＧＸが位置する分割領域及びこれに隣接する分割領域の中心位置からの距離に基づいて算出された補正値を用いて、画素ＧＸについての補正処理を行う。

一方、画素ＧＸが輝度境界領域ＬＢに位置している場合、画像補正部２４は、上記のような隣接する分割領域の中心位置からの距離に加えて、画素ＧＸが位置している分割領域Ａ０１の影響が大きくなるように重み付けを行った上で補正値の補間を行う。これにより、輝度境界領域ＬＢ内の画素について得られる補正値は、各画素が位置する分割領域の輝度を大きく反映したものとなる。

画像補正部２４は、入力映像ＶＳに対して補正処理を行った映像を出力映像ＶＤとして出力する。上記の通り、輝度境界領域ＬＢ内の画素については、その画素が位置する分割領域の輝度を大きく反映した補正値を用いて補正処理が行われる。このため、輝度境界については画像補正の補間時における変化が急峻となり、高輝度領域と低輝度領域との境界部分に発生するハロー（輝度のぼやけ）の幅が小さくなる。

以上のように、本実施例の映像処理装置１２は、入力映像ＶＳに対して画素ごとに補正値を算出して補正処理を行い、出力映像ＶＤを生成する。その際、入力映像の映像領域を分割した複数の分割領域の各々について生成されたトーンカーブＴＣに基づいて、領域間の輝度差が大きい境界部分の領域を輝度境界領域ＬＢとして検出する。そして、輝度境界領域ＬＢに存在する画素については、当該画素の属する領域の輝度の影響が大きくなるように重み付けを行った上で補正値を算出する。かかる構成によれば、高輝度領域と低輝度領域との境界部分における輝度差を強調するように画像補正処理が行われ、出力映像ＶＤが生成される。

したがって、本実施例の映像処理装置１２によれば、高輝度の領域と低輝度の領域との間に発生する輝度のぼやけ（所謂ハロー）を抑制し、視認性を向上させることが可能となる。

なお、本発明は上記実施例で示したものに限られない。例えば、図６Ｂで示した補正値の計算式は一例であり、補正値を補間するための計算はこれに限定されない。

また、上記実施例では、輝度境界領域ＬＢに含まれる画素については当該画素が位置する分割領域のトーンカーブの影響が大きくなるように補間時の重み付けを行う場合を例として説明した。しかし、重み付けの方法はこれに限られない。例えば、分割領域をさらに複数のブロックに分割して各ブロックのトーンカーブを生成し、処理対象のブロック（処理対象の画素が属するブロック）のトーンカーブと周囲ブロックのトーンカーブとの差分を算出して、差分が小さい周辺ブロックのトーンカーブの影響が大きくなるように、補間時の重み付けを行ってもよい。

１００ 映像表示システム
１１ 映像取得部
１２ 映像処理装置
１３ ディスプレイ
１４ 制御部
２１ 局所ヒストグラム生成部
２２ 局所トーンカーブ生成部
２３ 輝度境界領域検出部
２４ 画像補正部

Claims (6)

1. 各々が複数の画素を含む複数の分割領域からなる映像の前記分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、
   前記複数の分割領域ごとの前記ヒストグラムに基づいて、前記複数の分割領域ごとに前記映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、
   前記複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、前記輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、
   前記トーンカーブ及び前記輝度境界領域の特定結果に基づいて前記映像の輝度を補正する補正処理を行う映像補正部と、
   を有することを特徴とする映像処理装置。
2. 前記映像補正部は、前記複数の画素の各々について、当該画素が属する分割領域及び当該分割領域に隣接する周辺の分割領域の前記トーンカーブと前記輝度境界領域の特定結果とに基づいて画素ごとの補正値を算出し、算出した前記画素ごとの補正値に基づいて前記映像の輝度を補正することを特徴とする請求項１に記載の映像処理装置。
3. 前記映像補正部は、前記複数の画素の各々について、当該画素が属する分割領域及び当該分割領域に隣接する周辺の分割領域の前記トーンカーブを、前記画素が属する分割領域及び前記周辺の分割領域の中心位置からの距離に基づいて補間し、且つ前記画素が前記輝度境界領域に属するか否かに基づいて補間時の重み付けを行うことにより、前記画素ごとの補正値を算出することを特徴とする請求項２に記載の映像処理装置。
4. 前記輝度境界領域検出部は、前記隣接する分割領域同士の前記トーンカーブの差分を検出し、検出した前記トーンカーブの差分に基づいて、前記輝度境界を特定することを特徴とする請求項１乃至３のいずれか１に記載の映像処理装置。
5. 前記輝度境界領域検出部は、前記隣接する分割領域の各々の前記トーンカーブを同一の座標上に表した場合に前記トーンカーブによって囲まれる領域の面積に基づいて、前記トーンカーブの差分を検出することを特徴とする請求項４に記載の映像処理装置。
6. 各々が複数の画素を含む複数の分割領域からなる映像を取得する映像取得部と、
   前記映像に対して映像処理を行い、表示映像を生成する映像処理部と、
   前記表示映像を表示する表示部と、
   を含み、
   前記映像処理部は、
   前記映像の前記分割領域の各々について、画素ごとの明るさの分布を示すヒストグラムを生成する局所ヒストグラム生成部と、
   前記複数の分割領域ごとの前記ヒストグラムに基づいて、前記複数の分割領域ごとに前記映像の明るさを調整するためのトーンカーブを生成する局所トーンカーブ生成部と、
   前記複数の分割領域のうちの隣接する分割領域同士のトーンカーブを比較し、当該トーンカーブの比較結果が所定の条件となる隣接する分割領域間の境界を輝度境界として特定し、前記輝度境界を含む所定範囲の領域を輝度境界領域として特定する輝度境界領域検出部と、
   前記トーンカーブ及び前記輝度境界領域の特定結果に基づいて前記映像の輝度を補正する補正処理を行う映像補正部と、
   を有することを特徴とする表示装置。

Images