JP5095290B2 - シャドウ領域補償方法、媒体およびシステム - Google Patents

Description

本発明は、シャドウ領域補償方法、媒体およびシステムに関し、より詳しくは、暗い領域に対しては周辺輝度を考慮して輝度を大きく向上させ、明るい領域に対しては輝度を小さく向上させるシャドウ領域補償方法、媒体およびシステムに関するものである。

一般的に映像入力装置によって入力される映像は対象物の様々な情報を有するが、入力装置の条件によって映像信号に該当する輝度信号の成分が偏ったり歪んだりする場合には、映像に含まれている対象を明確に表現することが容易でない。特に映像内で輝度の分布が偏っている場合には、このような映像を見る者が暗い部分の対象物を識別できないという問題が生じ得る。

このような問題を解決するための方案として、従来では輝度を向上させる方法が試みられてきた。例えば、特許文献１と特許文献２では、入力映像の全体輝度特性により表示する出力映像の全体輝度を調整して、シャドウ領域の視認性を向上させようとした。

また、特許文献３では、入力映像の一部に対する情報を用いて出力映像全体の輝度を補償して、シャドウ領域の視認性を向上させようとした。特許文献４では、入力信号と関係がなくディスプレイ装置の輝度特性により出力映像の輝度を補償して、シャドウ領域の視認性を向上させる方法を適用した。

前記のような方法によって、輝度を補償して出力する輝度特性を向上させる方法は、ピクセルが位置する領域の明るさに係わらず、同一の輝度（Ｉｎｔｅｎｓｉｔｙ）を有するピクセルについては同一の程度の向上が生じたり、暗い領域だけでなく向上の必要のない明るい領域においても輝度が向上される問題があった。また、表示する装置の特性を考慮する輝度の補償方法は、入力映像の内部で輝度が低い場合には輝度を補償できない問題があった。

特許文献５では、映像内部を複数のマクロブロックとマイクロブロックとに分けて、代表的な輝度値を定めて、輝度補償区間を設定し、このような輝度補償区間に対して一律的に輝度を上昇させる方法を適用した。このような方法においても、部分的な領域に対して輝度を上昇させることができるが、全体的な輝度向上はなく、また、同一の輝度を有するピクセルについては同一の輝度補償をするため、該当ピクセルの周囲の輝度を適切に考慮できないという問題があった。

以上にて提示した問題をリアルタイムで解決するための一部技術においては、リアルタイムで活用しにくいメモリ問題を誘発した。
米国特許第５１３２７９６号公報 米国特許第５２５５０９３号公報 米国特許第５３９４１９５号公報 米国特許第６４１４６５９号公報 大韓民国公開特許第２００５−００４２６９９号公報

本発明は、上記のような問題点を考慮して案出したものであり、該当ピクセルだけでなく周辺領域で得られた情報に基づいて適切な輝度を向上させることによって鮮明な映像を実現することを目的とする。

それと共に、同一の輝度（Ｉｎｔｅｎｓｉｔｙ）を有するピクセルに対しても、他の位置と周辺に他の輝度を有するピクセルがある場合には輝度向上の程度を異にして、映像の一部が歪んでいると判断される暗い（Ｓｈａｄｏｗ）領域以外の領域は、原本映像そのまま保存して望まない輝度向上を抑制することを目的とする。

また、ヒストグラムを用いて映像全体の明るさパターンを把握し、これをＴとＧのパラメータを用いた指数曲線により暗い領域での輝度を相対的に上昇させることを目的とする。

本発明の目的は、以上で言及した目的に制限されず、言及していないまた他の目的は下記記載によって当業者が明確に理解できるものである。

上述した目的を達成するための本発明の一態様に係わるシャドウ領域補償方法は、（ａ）映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出するステップと、（ｂ）前記算出された代表輝度を用いて補償輝度比を決定するステップと、（ｃ）前記補償輝度比によって出力輝度を上昇させるステップとを含む。

上述した目的を達成するための本発明の一形態に係わるジャドウ領域補償方法は、（ａ）映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出するステップと、（ｂ）前記算出された代表輝度をエクスポネンシャルカーブに代入し適応輝度を算出するステップと、（ｃ）前記算出された適応輝度を用いて補償輝度比を決定するステップと、（ｄ）前記補償輝度比によって出力輝度を上昇させるステップとを含み、前記代表輝度が高まるにつれて補償輝度比は減少する。

上述した目的を達成するための本発明の一形態に係わるジャドウ領域補償媒体は、本発明の方法を遂行する少なくとも一つの処理要素を制御するコンピュータが判読可能なコードを含む少なくとも一つの媒体を含む
上述した目的を達成するための本発明の他の態様に係わるシャドウ領域補償システムは、映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出する代表輝度算出部と、前記算出された代表輝度を用いて補償輝度比を決定する補償輝度比決定部と、前記補償輝度比によって出力輝度を上昇させるシャドウ補償部とを含む。

上述した目的を達成するための本発明の他の態様に係わるシャドウ領域補償システムは、映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出する代表輝度算出部と、前記代表輝度をエクスポネンシャルカーブに代入し適応輝度を算出する適応輝度部と、前記算出された適応輝度を用いて補償輝度比を決定する補償輝度比決定部、および前記補償輝度比によって出力輝度を上昇させるシャドウ補償部を含み、前記代表輝度が高まるにつれて補償輝度比は減少する。

本発明の一実施形態によれば、次のような効果が１つあるいはそれ以上ある。

第１に、該当ピクセルの輝度だけでなく周辺領域のピクセルの輝度を反映して、輝度を向上させることにより鮮明な映像を得ることができる。

第２に、同一の輝度を有するピクセルに対しても周辺領域のピクセルの明るさを反映することによって暗い部分に対し輝度を上昇させられ、シャドウ領域以外の領域は原本映像そのまま保存して望まない輝度向上を抑制することができる。

第３に、ヒストグラムを用いて全体映像の輝度および輝度分布を把握し、全体映像に適するように輝度を補償して全体的に鮮明な映像を得ることができる。

本発明の効果は、以上で言及した効果に制限されず、言及していないまた他の効果は特許請求の範囲の記載から当業者が明確に理解できるものである。

その他、実施形態の具体的な事項は、詳細な説明および図面に含まれている。

本発明の利点および特徴、そしてそれらを達成する方法は、添付する図面と共に詳細に後述する実施形態を参照すれば明確になる。しかし、本発明は以下にて開示する実施形態に限定されず、互いに異なる多様な形態によって実施され、単に本実施形態は本発明の開示が完全なものとなるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであって、本発明は請求項の範疇によってのみ定義されるものである。明細書の全体に亘り、同一参照符号は同一構成要素を示す。

以下、本発明の好ましい実施形態について添付した図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態に係わるシャドウ領域補償方法のフローチャートである。

本発明の一実施形態に係わるシャドウ領域補償方法は、映像情報が入力されるステップ（Ｓ１００）、空間輝度を分析するステップ（Ｓ１１５）、代表輝度を算出するステップ（Ｓ１４０）、補償輝度比を決定するステップ（Ｓ１５５）、シャドウ補償するステップ（Ｓ１６０）および映像情報を出力するステップ（Ｓ１７０）を含むことができる。

図１に示すように、先ず映像情報が入力される（Ｓ１００）。入力された映像情報ではピクセルごとに色情報を入力するデータを含むことができる。

入力された映像情報を用いて１つのイメージまたは該当フレームの空間輝度を分析できる（Ｓ１１５）。入力されたイメージまたは該当フレームを複数の領域に分割して、平均輝度を求めることができる。空間輝度分析という分割された各々の領域で求めた平均輝度が閾値輝度より低ければ該当映像または該当領域は暗い部分が存在し、輝度を向上させる必要があると判断する。

図２は、本発明の一実施形態に係わるシャドウ領域補償方法において、空間輝度を分析するために映像を分割した図面である。図２に示すように、例えば１つのイメージを４つの領域すなわちＡ、Ｂ、Ｃ、Ｄ領域に分ける場合には、各領域での空間輝度、すなわち平均輝度を計算できる。算出された４つの平均輝度値のうちのいずれか１つの値でも閾値輝度以下に該当すれば、該当イメージでは輝度を向上させる必要がある領域がある。閾値輝度は、それ以下の輝度では視認性が落ちる可能性のある輝度として、予め決められた値またはユーザによって決められた値にすることができる。

上記のように１つのイメージを４つの領域に分けるのは１つの例であって、イメージ領域をいくつかの領域に分割した後にもこれと重畳するものの同一でないいくつかの領域に分割することができる。分割した後には、平均輝度を計算してこれを閾値と比較し、閾値以下の領域が１つでもあれば、後述したシャドウ補償を行うことができる。反面、閾値を基準として閾値より領域における平均輝度が低い領域が１つもない場合には、シャドウ補償を行わないことがある。

輝度向上を必要とする判断がなされた後には、該当映像をピクセルごとにスキャンしながら代表輝度（Ｌ_ａｖ）を求められる（Ｓ１４０）。代表輝度は、該当ピクセルを含む映像の局部的な部分での輝度情報において該当ピクセルの輝度値を代表する値である。これは、映像情報において該当ピクセルの情報をそのピクセルの情報だけを考慮するのではなく、周辺のピクセル情報を総合して、該当ピクセルの輝度に対する代表値として表わそうとするものである。例えば、代表輝度を算出する方法としては、該当ピクセルを中心に囲んでいるピクセルを含み、これらの平均値を求められる。

図３は、本発明の一実施形態に係わるシャドウ領域補償方法において、平均輝度を求めるのに用いられるピクセル配置を示す概略図である。図３に示すように、例えば３×３または５×５などの該当ピクセル３００を中心に周囲のピクセル３１０の輝度を平均して代表輝度を計算することができる。また、代表輝度算出方法としては、該当ピクセルを中心に一定の領域、例えば３×３または５×５などの領域に対し、各ピクセルに対する該当ピクセルとの距離を考慮して、加重値を与えることによって求めることもできる。

また、他の代表輝度算出方法として、一般式（１）を用いて該当ピクセルを中心に適応輝度を算出する領域を定める。そして、周辺にピクセルと該当ピクセルとの輝度差を計算して、計算された輝度差が予め定義された閾値（α）より大きければｂ１グループに分類し、さもなければ、ｂ２グループに分類することができる。

ここで、Ｐ_ｉは周辺に位置する１つのピクセルの輝度値であり、Ｐ_ｃは代表輝度を計算する該当ピクセルの輝度値を意味する。

ｂ１とｂ２のグループに分けた後、最終的にピクセルの数の多いグループに対して該当グループの平均輝度を計算し、これを該当ピクセルの代表輝度として求めることができる。

以上のように、該当ピクセル３００の代表輝度を求めるために周辺に位置するピクセル３１０の輝度を参照または反映することができる。そして、周辺のピクセルの輝度を用いて該当ピクセルの輝度に対する代表値を計算する多様な方法は、本発明の一実施形態による代表輝度を求める方法に含まれる。

代表輝度を求めた後には、入力されたピクセルの輝度が低いシャドウ領域に位置する場合には、輝度を向上させる補正を行える（Ｓ１６０）。このような輝度を補正するためには、先ず一般式（２）および（３）を用いて補償輝度比を計算することができる（Ｓ１５５）。

ここで、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）であり、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値であり、Ｉ’は前記一般式（２）および（３）によって出力されるピクセルの輝度である。Ｙは向上した輝度比であり、Ｉ_{Ｎ（ｘ、ｙ）}／Ｙは補償輝度比を示す。

一般式（２）は、該当ピクセルのＩ_{（ｘ、ｙ）}とＬ_ａｖ値とを用いて向上した輝度比Ｙを求められる。一般式（２）では該当ピクセルの入力輝度が高い場合にはＹ値がＩ_{Ｎ（ｘ、ｙ）}より大きくなることもあり得るが、この時Ｙ値がＩ_{Ｎ（ｘ、ｙ）}より大きい場合にはＹをＩ_{Ｎ（ｘ、ｙ）}と指定し、一般式（３）における意図しない演算を防ぐことができる。

一般式（３）に示すように、Ｉ_{Ｎ（ｘ、ｙ）}／Ｙの補償輝度比値に入力された該当ピクセルの輝度をかけることによって、シャドウを補正する出力ピクセルの輝度を求めることができる。そして、補償輝度比（Ｉ_{Ｎ（ｘ、ｙ）}／Ｙ）値が１より小さければ出力ピクセルの輝度を低くし、補償輝度比（Ｉ_{Ｎ（ｘ、ｙ）}／Ｙ）値が１より大きくなれば出力ピクセルの輝度を高くすることができる。

補償輝度比（Ｉ_{Ｎ（ｘ、ｙ）}／Ｙ）値が１より大きくなれば、出力されるピクセルの輝度が入力されたピクセルの輝度より高くすることができる。換言すれば、標準化された入力ピクセルの輝度（Ｉ_{Ｎ（ｘ、ｙ）}）に比べて、一般式（２）で求めた輝度比（Ｙ）値が小さい場合には、出力されるピクセルの輝度を上昇させることができる。これは、入力されるピクセルの輝度が低く、これに対して代表輝度Ｌ_ａｖも低くなりながらＹ値も低くなり得る。そして、一般式（３）でＹの逆数を取りながら入力ピクセルの輝度を掛ければ、出力されるピクセルの輝度（Ｉ’）を上昇させることができる。

一般式（２）および（３）を詳しく見れば、入力ピクセルの輝度と代表輝度とが高い場合には、補償輝度比（Ｉ_{Ｎ（ｘ、ｙ）}／Ｙ）値が略１に該当し、該当ピクセルの出力輝度の上昇が無いが、輝度が低い領域では、補償輝度比（Ｉ_{Ｎ（ｘ、ｙ）}／Ｙ）値が１より大きくなるため、相対的に出力されるピクセルの輝度（Ｉ’）を高めることができる。言い換えれば、代表輝度が増加するにつれて補償輝度比は減少し、補償輝度比の最小値は１であるため、代表輝度が高い領域の明るい部分では輝度の上昇が小さいかほとんど無いこともある。

以上のように、代表輝度を算出し（Ｓ１４０）、算出された代表輝度によって補償輝度比を決定し（Ｓ１５５）、これを入力ピクセルに掛けることによってシャドウ領域を補償することができる（Ｓ１６０）。このようなシャドウ領域補償は、ピクセルごとに処理することによってピクセルごとの輝度の向上を異にすることができる。そして、全体的には輝度の高いピクセルについては輝度の上昇が低かったり上昇させられなかったりすることがあり、輝度が低いピクセルについては輝度を高く上昇させることができる。したがって、各ピクセルに対してシャドウ補償段階を経た該当映像に対しては、出力手段によって映像を出力することができる（Ｓ１７０）。

これと共に、代表輝度を導入することによって該当ピクセルの周辺ピクセルの輝度を考慮し、該当ピクセルの輝度を用いて出力されるピクセルの輝度を決定することができる。したがって、入力時に該当ピクセルの輝度が同一の複数のピクセルがあるとしても各ピクセルの代表輝度は異なることもあり、これによって補正される出力ピクセルの輝度は異なることもある。言い換えれば、同一の輝度のピクセルでも算出された代表輝度が変われば、これによって代表輝度が相対的に低いピクセルについては輝度を大きく上昇させ、代表輝度が高いピクセルについては出力されるピクセルの輝度を相対的に小さく上昇させることができる。

また、同一の輝度を有する複数のピクセルが集まっている領域においても、ピクセルごとに代表輝度を算出時に領域の境界部分にあるピクセルと領域の中心部にあるピクセルの代表輝度は異なることがある。そして、同一の輝度を有するピクセルがある領域においてもピクセルごとに輝度の補償が異なり得る。

以上のように、イメージ内部に輝度が低い複数のピクセルがあったとしても、これを代表輝度で変換し、シャドウを補償するステップを行えばピクセルごとに輝度の補償が変わり、代表輝度によって輝度の補償を大きくまたは小さくして出力映像の鮮明度と自然さを実現することができる。

本発明の一実施形態に係わるシャドウ領域補償方法は、映像情報が入力されるステップ（Ｓ１００）と、空間輝度を分析するステップ（Ｓ１１５）と、代表輝度を算出するステップ（Ｓ１４０）と、補償輝度比を決定するステップ（Ｓ１５５）と、シャドウ補償するステップ（Ｓ１６０）と、映像情報を出力するステップ（Ｓ１７０）と、輝度ヒストグラムを分析するステップ（Ｓ１２５）と、ＴとＧのパラメータを選択するステップ（Ｓ１３０）と、適応輝度を算出するステップ（Ｓ１６０）とを含むことができる。

輝度ヒストグラムを分析するステップ（Ｓ１２５）と、ＴとＧのパラメータを選択するステップ（Ｓ１３０）と、適応輝度を算出するステップ（Ｓ１６０）とを除いては、すでに詳しく説明したため省略することにする。

入力された映像情報に対してイメージまたは該当フレーム全体ピクセルをスキャンしながら輝度ヒストグラムを作成できる（Ｓ１２５）。輝度ヒストグラムは、該当映像内のピクセルに対する輝度分布を示す。すなわち、輝度ヒストグラムはある映像に存在する明るい点と暗い点に対する分布の範囲と値とを表わすことができる。したがって、輝度ヒストグラムは、映像全体を簡便に把握できるため、これを用いて輝度向上に使える。このような輝度ヒストグラムは、該当イメージまたはフレームの全体ピクセルをスキャンしながら形成されるため、前述した空間輝度分析（Ｓ１１５）と同時に行える。

輝度ヒストグラム分析ステップ（Ｓ１２５）は、入力された映像情報からピクセルごとに輝度値を受け取り、デジタル化された輝度値に対し映像内存在するピクセルの数を計算する。例えば、８ビットの輝度分布を有する場合には、０から２５５までの輝度を有することができる。したがって、該当映像内で各ピクセルの輝度を算出したり読み込んだりし、これを０から２５５までの輝度から各輝度が表れるピクセルの数を計算することができる。

図４は、本発明の一実施形態に係わるシャドウ領域補償方法において、輝度ヒストグラム分析によって分類されたタイプを示す例示図である。

輝度ヒストグラムを分析した後には、分析された輝度ヒストグラムを１つ以上のタイプに分類することができる。例えば、図４に示すように、３種類のタイプに分類することができる。図４を参照すれば、Ｈ１タイプ４００のヒストグラムは映像内で暗い領域があるが大多数の領域が非常に明るい映像を意味する。これと共にヒストグラムがＨ２タイプ４１０に該当する場合には映像内で暗い領域があるが、中間の明るさ以上の領域が全体的に等しく分布していることが分かる。

再び図４を参照すれば、ヒストグラムがＨ３タイプ４２０の場合には、Ｈ１とＨ２のタイプを除いたすべての場合を意味することができる。これは、Ｈ１タイプは明るいピクセルが多数を、Ｈ２タイプは中間の明るさのピクセルが多数を占め、このような場合を除くＨ３タイプは輝度が低い、すなわち暗いピクセルが多数を占める場合を意味することができる。

ただし、このようなヒストグラムのタイプの分類は、後から説明するＴとＧのパラメータを選択するために用いられる。したがって、ＴとＧのパラメータをより細かく選択するためにはヒストグラムの分類を多様化したり、さらに細分化したりすることができる。これと共に、シャドウ領域に対して輝度向上をさらに細かく制御するために、ヒストグラムの分類をさらに細分化することができ、特にヒストグラムで暗い領域が複数を占めることについて、より詳しく分類することができる。

ＴとＧのパラメータ選択ステップは、ヒストグラムによって分類されたタイプによってＴとＧのパラメータを選択することができる（Ｓ１３０）。例えば、図４のように、前述した３種類のヒストグラム分類によって８ビットの映像情報を有するピクセルに対してＴとＧの値が与えられ得る。このようなＴとＧのパラメータ値は、一定の値で固定されるのではなく、本発明の属する技術分野で通常の知識を有する者によって変更または用いられるＴとＧのパラメータ値になることができる。

与えられたＴとＧのパラメータを用いて次の一般式（４）によって適応輝度Ｌ_ａｄを算出できる（Ｓ１5０）。

ここで、ＴとＧは入力映像の情報をヒストグラムで表して分類されるタイプによって選択されるパラメータであり、Ｌ_ａｄは適応輝度である。

一般式（４）は、代表輝度Ｌ_ａｖがパラメータの値のＴより小さい場合には一般式（４）によって計算されて適応輝度を算出することができる。算出される適応輝度は、Ｇパラメータの値によって代表輝度より小さくすることもでき、また大きくすることもできる。一般的に、Ｇ値が１より大きければ計算される適応輝度が代表輝度より小さい。

一般式（４）で、Ｔは指数曲線が適用される範囲を示し、Ｇは指数曲線が適用される範囲でカーブの曲がる程度を示す。

図５Ａは、本発明の一実施形態に係わるシャドウ領域補償方法において、図４によって分類されたタイプに応じるＴとＧのパラメータを示すテーブルである。例えば、図５Ａに示すＨ１タイプにおいて、Ｔが１２８であれば０から１２７までの代表輝度Ｌ_ａｖに対して一般式（４）の指数曲線を適用し、Ｇが１．２であれば下の方へ膨らんだカーブをなすようになる。したがって、０から１２７までの輝度範囲においては、入力された代表輝度Ｌ_ａｖに対して算出される適応輝度の値が相対的に小さくなる。したがって、このような範囲の代表輝度を有するピクセルに対して相対的に明るさを向上させるシャドウ補正をすることができる。

図５Ｂは、本発明の一実施形態に係わるシャドウ領域補償方法において、図５Ａによって選択されるＴとＧのパラメータを用いて指数曲線を表わす図面である。図５Ｂに示すようにＴとＧのパラメータが選択されれば、これに該当する指数曲線を求めることができる。このような指数曲線は、入力対比出力を示すカーブであって、一般式（４）をグラフで示したものである。このグラフは、代表輝度Ｌ_ａｖを入力とし、適応輝度Ｌ_ａｄを出力とする。

入力と出力が同じであれば、傾きが１であるｙ（出力）＝ｘ（入力）の基準線とすることができる。これと共に、入力に比べて出力を相対的に小さくしようすれば、指数曲線がｙ（出力）＝ｘ（入力）の基準線より下の方に位置する。

代表輝度は、該当ピクセルの輝度情報を、周辺情報を用いて平均化または周辺ピクセルの輝度情報を反映した該当ピクセルの適切な輝度値である。このような技法によって算出された代表輝度を、指数曲線を表わす一般式（４）に代入して適応輝度を求めることにより、輝度が低い領域で代表輝度をより低い適応輝度として算出することができる。これは、後述するシャドウ補正において輝度が低い領域に対し相対的に高い輝度の上昇を誘導することができる。

例えば、ヒストグラムで映像を図４のＨ１、Ｈ２およびＨ３の３つのタイプに分類し、これに対するＴとＧのパラメータを図５Ａのように選択して一般式（４）によって描かれる指数曲線は図５Ｂのようになる。

図５Ｂに示すように、ＴとＧのパラメータ値によって求めた指数輝度を用いれば、代表輝度が低い領域では適応輝度がさらに低く出て、代表輝度が高い領域では適応輝度が代表輝度と同一になる。

したがって、図４および図５Ｂに示されるＨ１、Ｈ２およびＨ３タイプに対するＴとＧのパラメータの作用を説明すれば次の通りである。

Ｈ１タイプにおけるＴとＧのパラメータの作用は、広い低輝度領域を中間程度の累乗（Ｅｘｐｏｎｅｎｔｉａｌ ｉｎｄｅｘ ｍｕｔｉｐｌｅ）をして適応輝度を計算する。これは、暗い領域を強調しすぎて明るくすれば、ノイズ輝度向上（ｂｏｏｓｔｉｎｇ）等の過度な上昇の可能性があるためである。Ｈ２タイプでは暗い領域があるが、全体が明るい映像であるため明るくする低階調の領域を狭くして（Ｔを小さくして）累乗も小さくする（Ｇを小さくする）。Ｈ３タイプでは、シャドウ補正を相対的に多くしなければならない映像であって、暗い領域に対して輝度を向上させるためにＴを小さくし、Ｇを大きくして適応輝度を計算する。

このようなＴとＧのパラメータ値は、一定の値で固定されるのではなく、本発明の属する技術分野で通常の知識を有する者によって、変更または用いられるＴとＧのパラメータ値になることができる。

これと共に、輝度ヒストグラム分析段階を経なかったり、輝度ヒストグラム分析段階を経ても明確なタイプが決定しなかったりする場合には、予め定義されたＴとＧのパラメータ値を用いることもできる。

算出された適応輝度を用いて入力ピクセルに対する輝度を補償して出力することができる（Ｓ１６０、Ｓ１７０）。シャドウ補正を計算する一般式は、一般式（２）および（３）で代表輝度Ｌ_ａｖの代わりに適応輝度Ｌ_ａｄを入力した一般式（５）および（３）によって計算できる。

ＴとＧのパラメータを用いた一般式（４）および指数曲線によって適応輝度を計算することができる（Ｓ１５０）。算出された適応輝度を用いて、一般式（５）および（３）に入力することによって補償輝度比を計算することができる（Ｓ１５５）。そして、補償輝度比を入力ピクセルの輝度にかけて、該当ピクセルの補正された出力輝度（Ｉ’）を得ることができる（Ｓ１６０）。

一般式（５）および（３）を詳しく見れば、入力ピクセルの輝度と適応輝度とが高い場合には補償輝度比（Ｉ_{Ｎ（ｘ、ｙ）}／Ｙ）の値が略１に該当して該当ピクセルの出力輝度の上昇がないこともあるが、入力ピクセルの輝度と適応輝度とが低い領域では補償輝度比（Ｉ_{Ｎ（ｘ、ｙ）}／Ｙ）値が１より大きくなるため、相対的に出力されるピクセルの輝度（Ｉ’）を高めることができる。言い換えれば、適応輝度が増加するにつれて補償輝度比は減少するようになる。

図６は、本発明の一実施形態に係わるシャドウ領域補償方法において、ＴとＧのパラメータを用いない場合と用いた場合とを分離してシャドウ補償した結果を示す図面である。

ヒストグラムを適用しない場合には、適応輝度を算出せずに代表輝度を用いて入力輝度に対する出力輝度を観察することができる。ＴとＧのパラメータによる指数曲線を適用しなくとも、一般式（２）および（３）によって代表輝度が低い領域では輝度の上昇が大きく、代表輝度が高い領域では輝度の上昇がほとんどない。したがって、輝度が低いシャドウ領域に対し輝度の向上がなされ得る。

これと共に、ＴとＧのパラメータによる指数曲線を適用した場合には、適応輝度を一般式（５）および（３）に代入し、入力輝度に対する出力輝度を観察することができる。Ｇ値が増加するにつれて代表輝度から適応輝度を低くすることによって、これによる輝度の上昇が高くなされ得る。したがって、Ｇ値を高くすることによってこれによる該当ピクセルの出力輝度値が上昇することが分かる。ヒストグラム技法を適用しても輝度が高い領域では輝度の上昇がないか弱くて、ピクセルの入力輝度が低い領域では高い輝度の上昇が形成されて暗い領域を相対的に明るくすることが分かる。

図７Ａは従来技術に係わる輝度向上を実現した結果を示す図面であり、図７Ｂは本発明の一実施形態に係わるシャドウ領域補償方法による輝度向上を実現した結果を示す図面である。

従来技術に係わるイメージの輝度向上は、シャドウ領域に対する輝度補正時に向上する輝度の程度を決定した後に全体イメージで輝度を補正した。図７Ａで原本映像と輝度が向上した映像とを比較すると、円形が描かれたシャドウ領域で輝度が鮮明に高くなるが、円形の外側の明るい部分でも同一に輝度が向上して明るい部分の映像の鮮明度とコントラストを下げる問題があった。

反面、図７Ｂに示すように、本発明の一実施形態に係わるシャドウ領域補償方法によっては、主に下の方に位置する円形内にあるシャドウ領域に対しては輝度を強く向上させ、上の方に位置する楕円内の明るい領域に対しては輝度を変化させなかったり、輝度を弱く向上させたりする。したがって、明るい部分では映像がそのまま維持され、暗い部分では比較的明るくなることによって、映像の鮮明度とローカルコントラストとを補完することができる。

これと共に、代表輝度を導入することによって同一の入力輝度を有するピクセルに対しても異なるように輝度向上を与えることができ、ヒストグラム技法によるＴとＧのパラメータを選択して適応輝度を求めることによって、全体的な映像の明るさおよび分布を考慮して輝度を向上させられる。

図８は、本発明の一実施形態に係わるシャドウ領域補償システムのブロック図である。
本発明の一実施形態に係わるシャドウ領域補償システムは、映像入力部８００、空間輝度分析部８１０、代表輝度算出部８２０、輝度ヒストグラム分析部８３０、パラメータ選択部８４０、適応輝度算出部８５０、補償輝度比決定部８５５、シャドウ補償部８６０および映像出力部８７０を含むことができる。

映像入力部８００は、該当映像のイメージまたはフレームが入力される役割を行う。映像入力部では後述するイメージ加工のためにイメージ全体またはピクセル別に入力されることができる。

空間輝度分析部８１０は該当イメージが入力されて複数の領域に分割し、分割された領域で各々平均輝度を計算し、計算された各平均輝度が閾値輝度より低いかを検査する。複数の分割された領域で算出された空間輝度、すなわち平均輝度の値が１つでも閾値輝度より低い場合にはシャドウ補正が必要であり、そうではなければ、シャドウ補正をしないこともある。

代表輝度算出部８２０は、各ピクセルに対して周辺にあるピクセル情報を用いて代表値になる輝度を算出する。計算しようとするピクセルを中心に３×３または５×５などのピクセルの輝度を平均して代表輝度Ｌ_ａｖを計算できる。これと共に、一般式（１）を用いて周辺ピクセルのグループを指定して複数のグループにあるピクセルに対して平均を取ることによって代表輝度を得ることができる。

輝度ヒストグラム分析部８３０は、イメージ全体をスキャンしながら各ピクセルに対する輝度分布を示すヒストグラムを作成して該当イメージを分類する。輝度ヒストグラムが作成されれば、該当イメージの概約的な明るさの分布が分かり得る。したがって、明るい領域と暗い領域の分布と大きさを概約的に把握し、予め準備した複数のタイプのうち１つでイメージを分類することができる。

パラメータ選択部８４０は、輝度ヒストグラム分析部によって分類したタイプによってＴとＧのパラメータを選択することができる。Ｔパラメータは代表輝度の補償をする領域になって、Ｇパラメータは代表輝度に累乗するために用いられる指数（Ｉｎｄｅｘ）である。したがって、Ｔパラメータが大きくなれば広い輝度に対して代表輝度を補償し、Ｇパラメータが１より大きくなれば代表輝度をより低い適応輝度Ｌ_ａｄとして得ることができる。

適応輝度算出部８５０は、ＴとＧのパラメータを用いて適応輝度を計算する役割を行う。一般式（４）にＴ、Ｇおよび代表輝度を代入して適応輝度を計算することができる。一般式（４）に対応するグラフを描けば、例えば図５Ｂに示すような指数曲線になり得る。したがって、図５Ｂのように代表輝度が低い領域では算出される適応輝度がさらに低くなり、代表輝度が高い領域では算出される適応輝度が同一であったり、略一致したりする。したがって、一般式（４）によって代表輝度を用いて適応輝度を算出できる。

補償輝度比決定部８５５は、各ピクセルで算出された適応輝度または代表輝度を用いて補償輝度比を決定する。代表輝度または適応輝度が増加するにつれて補償輝度比は減少し、結局、補償輝度比は略１になり、代表輝度または適応輝度が高い領域では輝度の上昇が小さいか無いことがあり得る。

シャドウ補償部８６０は、決定された補償輝度比を該当ピクセルの入力輝度にかけることによって出力される輝度を上昇させる。したがって、補償輝度比によって該当ピクセルの輝度を大きく上昇させたり、小さく上昇させたりすることができる。

映像出力部８７０は、各ピクセルに対して出力輝度を計算し、これを出力手段によって出力する役割を行う。したがって、輝度の上昇があるピクセルについては入力映像より明るく出力し、輝度の上昇がないピクセルについては入力映像をそのまま出力し得る。

一方、上記のような本発明の実施形態で用いられる「〜部」という用語、すなわち「〜モジュール」または「〜テーブル」などは、ソフトウェア、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）のようなハードウェア構成要素を意味し、モジュールはある機能を行う。ただし、モジュールはソフトウェアまたはハードウェアに限定される意味ではない。モジュールは、アドレッシングできる格納媒体にあるように構成することもでき、１つまたはそれ以上のプロセッサを再生させるように構成することもできる。したがって、一例としてモジュールはソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素と同じ構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、および変数を含む。構成要素とモジュールの中で提供されている機能は、さらに小さい数の構成要素およびモジュールに結びついたり追加的な構成要素とモジュールにさらに分離できる。それだけでなく、構成要素およびモジュールはデバイス内の１つまたはそれ以上のＣＰＵを再生させるように実現することもできる。

以上、添付した図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者であれば、本発明がその技術的思想や必須の特徴を外れない範囲内でさまざまに置換え、変形および変更が可能であるため、他の具体的な形態によって実施することができるということを理解できる。したがって、以上で記述した実施形態はすべての面で例示的なものであり、限定的なものではないことを理解しなければならない。

本発明の一実施形態に係わるシャドウ領域補償方法のフローチャートである。 本発明の一実施形態に係わるシャドウ領域補償方法において、空間輝度を分析するために映像を分割した図である。 本発明の一実施形態に係わるシャドウ領域補償方法において、平均輝度を求めるのに用いられるピクセル配置を示す概略図である。 本発明の一実施形態に係わるシャドウ領域補償方法において、輝度ヒストグラム分析によって分類されたタイプを示す例示図である。 本発明の一実施形態に係わるシャドウ領域補償方法において、図４によって分類されたタイプに応じるＴとＧのパラメータを示すテーブルである。 本発明の一実施形態に係わるシャドウ領域補償方法において、図５Ａによって選択されるＴとＧのパラメータを用いて指数曲線を示す図である。 本発明の一実施形態に係わるシャドウ領域補償方法において、ＴとＧのパラメータを用いない場合と用いた場合とを分離してシャドウ補償した結果を示す図である。 従来技術に係わる輝度向上を実現した結果を示す図である。 本発明の一実施形態に係わるシャドウ領域補償方法による輝度向上を実現した結果を示す図である。 本発明の一実施形態に係わるシャドウ領域補償システムのブロック図である。

符号の説明

８００ 映像入力部
８１０ 空間輝度分析部
８２０ 代表輝度算出部
８３０ 輝度ヒストグラム分析部
８４０ パラメータ選択部
８５０ 適応輝度算出部
８６０ シャドウ補償部
８７０ 映像出力部

Claims (28)

1. （ａ）映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して、代表輝度を算出するステップと、
   （ｂ）前記算出された代表輝度を用いて補償輝度比を決定するステップと、
   （ｃ）前記補償輝度比によって出力輝度を上昇させるステップとを含み、
   前記代表輝度が高くなるにつれて補償輝度比は減少し、
   前記（ａ）ステップは、前記ピクセルと前記ピクセルの周囲に位置するピクセルとの輝度差を計算し、計算された輝度差が閾値以上になるグループと閾値以下になるグループとに分けて、最終的にピクセルの数の多いグループの輝度を平均して代表輝度として算出する、シャドウ領域補償方法。
2. 入力映像を複数の領域に分割し、分割された領域での平均輝度を計算して閾値輝度より低い領域があるかを判断するステップをさらに含む、請求項１に記載のシャドウ領域補償方法。
3. 前記（ｂ）ステップは、
   前記代表輝度Ｌ_ａｖを用いる一般式
   ここで、
   によって、補償輝度比のＩ_{Ｎ（ｘ、ｙ）}／Ｙを決定するが、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値、Ｉ’は出力されるピクセルの輝度値、Ｙは向上した輝度比、Ｉ_{Ｎ（ｘ、ｙ）}／Ｙは補償輝度比である、請求項１に記載のシャドウ領域補償方法。
4. 前記（ｃ）ステップは、
   補償輝度比を用いる一般式
   によって出力輝度（Ｉ’）を決定するが、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値である、請求項３に記載のシャドウ領域補償方法。
5. 前記ピクセルに対する輝度情報と前記ピクセルの周囲に位置するピクセルの輝度を含む映像情報が入力されるステップと、前記ピクセルの上昇した出力輝度を有する出力映像を出力手段に出力するステップとをさらに含む、請求項１に記載のシャドウ領域補償方法。
6. 請求項１の方法を遂行する少なくとも一つの処理要素を制御するコンピュータ判読可能なコードを含む少なくとも一つの媒体。
7. （ａ）映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出するステップと、
   （ｂ）前記代表輝度を指数曲線に代入して適応輝度を算出するステップと、
   （ｃ）前記算出された適応輝度を用いて補償輝度比を決定するステップと、
   （ｄ）前記補償輝度比によって出力輝度を上昇させるステップとを含み、
   前記代表輝度が高くなるにつれて補償輝度比は減少する、シャドウ領域補償方法。
8. 入力映像を複数の領域に分割し、分割された領域での平均輝度を計算して閾値輝度より低い領域があるかを判断するステップをさらに含む、請求項７に記載のシャドウ領域補償方法。
9. （ｂ）ステップは、
   ＴとＧのパラメータを用いた一般式
   によって、前記指数曲線を形成して適応輝度Ｌ_ａｄを算出するが、Ｔはシャドウ補正をする輝度の最大値、Ｇは代表輝度Ｌ_ａｖに累乗する指数である、請求項７に記載のシャドウ領域補償方法。
10. 前記（ｂ）ステップは、
    入力映像の全体ヒストグラムを作成して、入力映像を分類するステップをさらに含む、請求項７に記載のシャドウ領域補償方法。
11. 前記（ｂ）ステップは、
    前記分類された入力映像に対応するＴとＧのパラメータを選択するステップをさらに含む、請求項１０に記載のシャドウ領域補償方法。
12. 前記（ｃ）ステップは、
    前記適応輝度Ｌ_ａｄを用いる一般式
    ここで、
    によって、補償輝度比のＩ_{Ｎ（ｘ、ｙ）}／Ｙを決定するが、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値、Ｉ’は出力されるピクセルの輝度値、Ｙは向上した輝度比、Ｉ_{Ｎ（ｘ、ｙ）}／Ｙは補償輝度比である、請求項７に記載のシャドウ領域補償方法。
13. 前記（ｄ）ステップは、
    補償輝度比を用いる一般式
    によって出力輝度（Ｉ’）を決定するが、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値である、請求項１２に記載のシャドウ領域補償方法。
14. 前記ピクセルに対する輝度情報と前記ピクセルの周囲に位置するピクセルの輝度を含む映像情報が入力されるステップと、前記ピクセルの上昇した出力輝度を有する出力映像を出力手段に出力するステップとをさらに含む、請求項７に記載のシャドウ領域補償方法。
15. 請求項７の方法を遂行する少なくとも一つの処理要素を制御するコンピュータ判読可能なコードを含む少なくとも一つの媒体。
16. 映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出する代表輝度算出部と、
    前記算出された代表輝度を用いて補償輝度比を決定する補償輝度比決定部と、
    前記補償輝度比によって出力輝度を上昇させるシャドウ補償部とを含み、
    前記代表輝度が高くなるにつれて補償輝度比は減少し、
    前記代表輝度算出部は、前記ピクセルと前記ピクセルの周囲に位置するピクセルとの輝度差を計算し、計算された輝度差が閾値以上になるグループと閾値以下になるグループとに分けて、最終的にピクセルの数の多いグループの輝度を平均して代表輝度として算出する、シャドウ領域補償システム。
17. 入力映像を複数の領域に分割し、分割された領域での平均輝度を計算して閾値輝度より低い領域があるかを判断する空間輝度分析部をさらに含む、請求項１６に記載のシャドウ領域補償システム。
18. 前記補償輝度比決定部は、
    前記代表輝度Ｌ_ａｖを用いる一般式
    ここで、
    によって、補償輝度比のＩ_{Ｎ（ｘ、ｙ）}／Ｙを決定するが、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値、Ｉ’は出力されるピクセルの輝度値、Ｙは向上した輝度比、Ｉ_{Ｎ（ｘ、ｙ）}／Ｙは補償輝度比である、請求項１６に記載のシャドウ領域補償システム。
19. 前記シャドウ補償部は、
    補償輝度比を用いる一般式
    によって出力輝度（Ｉ’）を決定するが、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値である、請求項１８に記載のシャドウ領域補償装置。
20. 前記ピクセルに対する輝度情報と前記ピクセルの周囲に位置するピクセルの輝度を含む映像情報が入力される映像入力部と、前記ピクセルの上昇した出力輝度を有する出力映像を出力手段に出力する映像出力部とをさらに含む、請求項１６に記載のシャドウ領域補償システム。
21. 映像情報を有するピクセルと前記ピクセルの周囲に位置するピクセルとの輝度を反映して代表輝度を算出する代表輝度算出部と、
    前記代表輝度を指数曲線に代入して適応輝度Ｌ_ａｄを算出する適応輝度算出部と、
    前記算出された適応輝度を用いて補償輝度比を決定する補償輝度比決定部と、
    前記補償輝度比によって出力輝度を上昇させるシャドウ補償部とを含み、
    前記代表輝度が高くなるにつれて補償輝度比は減少する、シャドウ領域補償システム。
22. 入力映像を複数の領域に分割し、分割された領域での平均輝度を計算して閾値輝度より低い領域があるかを判断する空間輝度分析部をさらに含む、請求項２１に記載のシャドウ領域補償システム。
23. 適応輝度算出部は、
    ＴとＧのパラメータを用いた一般式
    によって、前記指数曲線を形成して適応輝度Ｌ_ａｄを算出するが、Ｔはシャドウ補正をする輝度の最大値、Ｇは代表輝度Ｌ_ａｖに累乗する指数である、請求項２１に記載のシャドウ領域補償システム。
24. 前記適応輝度算出部は、
    入力映像の全体ヒストグラムを作成して、入力映像を分類するステップを分類するヒストグラム分析部をさらに含む、請求項２１に記載のシャドウ領域補償装置。
25. 前記適応輝度算出部は、
    前記分類された入力映像に対応するＴとＧのパラメータを選択するパラメータ選択部をさらに含む、請求項２４に記載のシャドウ領域補償システム。
26. 前記補償輝度比決定部は、
    前記適応輝度Ｌ_ａｄを用いる一般式
    ここで、
    によって、補償輝度比のＩ_{Ｎ（ｘ、ｙ）}／Ｙを決定するが、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値、Ｉ’は出力されるピクセルの輝度値、Ｙは向上した輝度比、Ｉ_{Ｎ（ｘ、ｙ）}／Ｙは補償輝度比である、請求項２１に記載のシャドウ領域補償システム。
27. 前記シャドウ補償部は、
    補償輝度比を用いる一般式
    によって出力輝度（Ｉ’）を決定するが、Ｉ_{Ｎ（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度を標準化した値（Ｎｏｒｍａｌｉｚｅｄ ｖａｌｕｅ）、Ｉ_{（ｘ、ｙ）}は入力映像の（ｘ、ｙ）に位置するピクセルの輝度値である、請求項２６に記載のシャドウ領域補償システム。
28. 前記ピクセルに対する輝度情報と前記ピクセルの周囲に位置するピクセルの輝度を含む映像情報が入力される映像入力部と、前記ピクセルの上昇した出力輝度を有する出力映像を出力手段に出力する映像出力部とをさらに含む、請求項２１に記載のシャドウ領域補償システム。