JP5912939B2 - 映像処理装置、映像表示装置、及び映像処理方法 - Google Patents

Description

技術分野は、映像信号処理に関する。

特許文献１には、L*a*b*信号に基づいて、色度変化の少ない領域で、ある面積内でL*信号が急激に変化する領域を光が当たっている領域と判断する技術が開示されている。

特開２００２−５１２２６号公報

映像に映し出された物体の質感は、物体の周囲の明るさなどによって異なるので、対象物体の周辺を考慮した質感の強調処理が必要になる。また、映像としては1画素しか光っていない箇所がある場合は、その１画素のみエンハンスしても光沢表現は難しい。特許文献１に開示される技術では、処理対象画素の周辺の明るさに応じた光沢は検出できないという課題があった。また、抽出した光沢領域に対してのみ光沢表現をする目的の手法であり、抽出した光沢領域をさらに広げて、光沢を強調するといった概念は開示されていない。

本発明は、上記課題を鑑みてなされたものであり、その目的は、より好適に映像の質感を向上することにある。

上記課題を解決するためには、例えば、入力映像信号が入力される映像入力部と、入力
映像信号の輝度値を視覚特性曲線に対応させるためのコントラスト補正量を算出し、前記
算出したコントラスト補正量と入力映像信号の輝度値に基づいて、前記入力映像信号の光
沢強調処理を行う映像処理部とを備えるように構成すればよい。

本発明によれば、より好適に映像の質感の向上させることができる。

本発明の一実施例に係る映像処理システムの一例を示すブロック図である。 本発明の一実施例に係るコントラスト補正量算出部の一例を示すブロック図である。 本発明の一実施例に係る光沢強調量算出部の一例を示すブロック図である。 本発明の一実施例に係る映像処理システムの動作の一例を示すフローチャートである。 本発明の一実施例に係る映像処理システムでの光沢強調の一例を示す図である。 本発明の一実施例に係る光沢強調部で使用するフィルタの一例を示す図である。 本発明の一実施例に係る映像処理後の物体の反射光の周辺の光沢の状態を示した図である。 本発明の一実施例に係る映像処理システムの一例を示すブロック図である。 本発明の一実施例に係る映像処理システムの一例を示すブロック図である。 本発明の一実施例に係る映像表示装置の一例を示すブロック図である。 ３Ｄ映像のＬ、Ｒの映像の光沢部分の一例のイメージ図である。 本発明の一実施例に係る映像処理システムを車載のカメラと連携させた場合の表示映像の一例のである。 本発明の一実施例に係る光沢強調量算出部の一例を示すブロック図である。 本発明の一実施例に係る映像処理システムの動作の一例を示すフローチャートである。 本発明の一実施例に係る映像処理システムが出力する映像の一例である。 本発明の一実施例に係る映像処理システムの応用システムの一例である。 本発明の一実施例に係る映像処理システムの応用システムの一例である。

以下、実施例について説明する。

図１は、本発明の実施例１に係る映像処理システムの一例を示すブロック図である。

映像処理システム１００に、入力映像信号１０１が入力される。本例では、YCbCr形式で入力されたと想定し、輝度信号算出部１０２において、輝度(Y)信号の大きさが算出される。コントラスト補正量算出部１０３において、Retinex理論を用いて領域毎に人が視覚し易いコントラストの補正量を算出する。例えば、周囲が暗い(輝度の低い)領域の中に物体が置いてある映像の場合、映像では、置いてある物体は周囲の輝度と比べて小さな輝度差しかないため、人間には見えない場合がある。しかし、映像ではなく、実際の空間ではその周囲の明るさに応じて目が調整するので、暗い中でもそこにある物体を認識できる。この人間の視覚特性を利用したRetinex理論を用いて、映像の中から物体に光が当たって反射してくる光(反射光)と、周囲の照明などの明るさ(環境光)に分離し、視覚特性曲線から、反射光をどのくらい強調すれば見易くなるかを算出して、コントラスト補正量を算出する。これにより、ダイナミックレンジの低い映像に関しても、見た目のダイナミックレンジを上げる効果を得られる。Retinex理論については参考文献１に説明されている。
[参考文献１]EDWIN H. LAND and JOHN J. McCANN Lightness and Retinex Theory JOSA, Vol. 61, Issue 1, pp. 1-11 (1971)
コントラスト補正量算出部１０３は、輝度信号算出部１０２からの入力輝度値と、Retinex理論に基づいたコントラスト補正量を光沢強調量算出部１０４に送信する。光沢強調量算出部１０４において、輝度信号算出部１０２から算出される入力輝度値と、コントラスト補正量１０３から算出されるコントラストの補正量に基づいて、光沢の強調量を算出する。例えば、入力輝度がコントラスト補正された輝度値が、ある閾値よりも大きい場合には、人間の視覚特性としては、その領域は周囲の明るさを考慮した上で、その物体から反射してくる光が視覚できる可能性がある部分であるため、その領域を光沢部分(光沢領域)として抽出する。また、その光沢部分が、視覚的にどのくらい光っているのかの量（光沢量）を、コントラスト補正量算出部１０３において算出されたコントラスト補正量と、入力輝度＋コントラスト補正量で表されるコントラスト補正後の輝度値とを用いて算出する。この視覚特性に基づいた光沢量に応じて、光沢を強調するための光沢強調量を算出する。その光沢強調量に応じて、空間フィルタをかけて空間的な光沢強調表現をする。合成処理１０５は、入力映像にコントラスト補正量と光沢強調量を合成して、出力映像１０６を作成する。なお、図１の構成では、算出したコントラスト補正量と算出した光沢強調量を用いて合成処理１０５において、入力映像に対して一度に映像処理を行う構成として説明したが、コントラスト補正量算出部１０３の後に入力映像にコントラスト補正処理を行い、その後さらに光沢強調処理を行う構成としてもよい。なお、図１には図示していないが、出力映像１０６を表示する表示部を備える構成としてもよい。この場合は、映像処理システム１００は映像表示装置を構成することとなる。

本実施例では一例としてYCbCr信号に対する処理を説明し、輝度によるコントラストや光沢の強調の処理を説明する。なお、入信号がRGB信号であれば、R、G、Bそれぞれにおいて同様の処理をするが可能である。その他、HSVなど様々な映像信号においても、同様の処理により、光沢部分の抽出、光沢強調を行うことができる。

図２は、本実施例に係るコントラスト補正量算出部の一例を示すブロック図である。

輝度信号算出部１０２からの入力輝度値２００が入力され、１つはスルーで入力輝度を出力する。一つは、Retinex処理部の中で、反射光成分２０１と環境光成分２０２に分離される。これは、撮像画像をI（x,y）、反射光成分をR(x,y)、環境光成分をL(x,y)とすれば、Retinex理論によると、I(x,y) = R(x,y) × L(x,y)と表現される。処理対象画素の周囲(例えば、所定の範囲の領域)の平均値などを環境光成分L(x,y)として、R(x,y) = I(x,y)／L(x,y)の式によって、反射光成分R(x,y)を求めることができる。反射光成分２０１と環境光成分２０２から、人間の視覚特性の曲線２０３とのマッチングをさせる。視覚特性曲線２０３は、周囲の輝度に対して、処理対象画素が見易い輝度の関係を曲線で示したものであり、周囲が低輝度の中にあるものをより強調して見せたい場合や、周囲が中間輝度、高輝度の場合の中にある処理対象画素を強調したい場合など、目的用途に合わせて視覚特性にあった曲線を利用する。コントラスト補正量２０４においては、処理対象画素の輝度値を視覚特性曲線２０３に合わせるための補正量を算出し、コントラスト補正量２０５を出力する。これにより、映像の領域毎に視覚特性にあった映像中の物体の輝度値の補正量が算出されることとなる。

図３は、本実施例に係る光沢強調量算出部の一例を示すブロック図である。

光沢強調量算出部１０４では、コントラスト補正量算出部１０３から出力された入力輝度値２００とコントラスト補正量２０５を入力として、光沢強調量を算出する。光沢量算出部３００において、入力輝度値２００とコントラスト補正量２０５から光沢量を算出する。例えば、入力輝度＋コントラスト補正量で表されるコントラスト補正後の輝度値がある閾値よりも大きい場合には、その領域を光沢部分と判定する。これは、Retinex理論により周囲の明るさを考慮した視覚し易い部分であり、映像として表現する輝度が高い部分は、光が当たって光沢を表現すべき部分であるからである。その部分がどのくらい強調されているかを、コントラスト補正量２０５から算出する。抽出した光沢部分に対して、コントラスト補正量２０５が大きい程、周囲に対して視覚し易い部分であるので、より光沢量を強めて表現しても良い部分と推定できるので、光沢強調量を大きくする計算をする。ここで算出した光沢量に応じて、フィルタ処理部３０１においてフィルタ処理をし、空間的に光沢を強調する。フィルタは、ガウシアンフィルタやテントフィルタなどを行い、フィルタによる広がる輝度の補正量を光沢強調量３０２として出力する。光沢表現方法によって、光沢量に応じてフィルタを動的に切替えても良い。これにより、視覚特性に応じた光沢量が算出され、その光沢量に応じて空間的に光沢を強調することが可能になる。これにより、映像表現において、人間の視覚特性と、映し出された物体の光の周囲の物理現象とを利用した必然性のある光沢表現が実現できることになる。

なお、光沢部分の判定については、入力輝度＋コントラスト補正量を評価する方法以外に、例えば、入力輝度が所定の第1の閾値以上であり、かつコントラスト補正量が所定の第２の閾値以上である場合に光沢部分と判定するように構成してもよい。以降のいずれの実施例でも同様である。

図４は、本実施例における動作の一例を示すフローチャートである。

Ｓ４０１において画像読込みを行い、Ｓ４０２で入力輝度を算出する。Ｓ４０３では、コントラスト補正量算出部１０３においてRetinex理論を用いて処理対象画素の輝度ｙ（２００）とその周囲の輝度から処理対象画素のコントラスト補正量Δｙ（２０５）を算出する。Ｓ４０４において、光沢強調量算出部１０４で、輝度閾値により光沢部分を抽出して、入力輝度ｙとコントラスト補正量Δｙから光沢強調量ΔＹ（３０２）を算出する。Ｓ４０５において、出力輝度Ｙ（Ｙ = ｙ ＋ Δｙ ＋ ΔＹ）を算出する。Ｓ４０６において、ＣｂＣｙなど色成分を合成して出力映像（１０６）を出力する。

図５は、本実施例における光沢強調の一例を示す図である。

図５(a)は、入力画像の一部分（５×５）を抜き出した８bitのグレースケール画像であり、黒色が輝度０、白色が輝度２５５を表現している。図５(a)の例では、輝度８０の背景の中心に輝度８５の画素がある例である。見た目では中心の画素がはっきり見えない状況である。図５(b)は、図５(a)をRetinex理論を用いて視覚的に見易い様にコントラスト補正することにより中心輝度が５５上昇し、輝度１４０となったイメージ図である。輝度１２０以上を光沢部分と判定すると、この画素は光沢を強調することとなり、その強調量はコントラスト上昇量５５に応じて算出され、フィルタ処理により面で光沢が強調されることになる。一点の輝度のみ上昇させた場合には、映像というよりはノイズのように見えてしまう可能性がある。そのため、本実施例の映像処理システムの光沢強調量算出部１０４では、さらに図５(c)のように人間の視覚特性のみでなく、物体に当たる光の物理現象を考慮して、光沢を表現するように光沢強調量を算出する。

図６は、本実施例における光沢強調処理で使用するフィルタの一例を示す図である。

図はガウシアンフィルタを示すイメージ図である。図３の光沢量算出部３００で抽出さ
れる光沢部分に対して、図３のフィルタ処理部３０１にて算出された光沢量に応じてフィ
ルタを掛け算して、処理対象画素の周辺に光沢量に応じて光が広がるような映像表現が可
能となる。

輝度や色度の変化が細かい自然画像であるか、アニメのようなのっぺりした画像である
か等の映像の特徴を抽出して、映像にあったフィルタのサイズや種類を選択するのが望ま
しい。輝度や色度の変化が細かい自然画の場合には、サイズの小さなフィルタを使い、解
像度の低い映像には大きなフィルタを使う、また、アニメなどの場合は、フィルタを使わ
ないなどを選択する。

図７は、本実施例の映像処理後の物体の反射光の周辺の光沢の状態を示した図である。
図では、実空間上で、光源から球に光が当たっている状況を示している。球が光を受け鏡
面反射で光を反射している部分がＡ、Ａの周辺に光が拡散してぼんやり光っている部分が
Ｂである。物体の素材によって、ＡやＢの面積は異なるが、少なからず鏡面反射している
周囲にぼんやり光る部分が生じる。このＢの部分は、既に説明した光沢強調量算出部１０
４のフィルタによる空間的な光沢強調処理により表現できる。

なお、画像認識やメタデータを利用して、映像内の物体の素材を判定できる場合には、
素材毎の鏡面反射と拡散反射の割合を格納したデータベースを図示しないメモリに保持し
、判定結果の素材毎に、フィルタのサイズや特性を変更する構成としてもよい。これによ
り、より質感の高い光沢感を表現できるメリットがある。

図８は、本実施例における映像処理システムの別の構成例を示すブロック図であり、図
１の映像処理システムに色判定処理を追加した構成である。

入力信号がYCbCrの場合には、輝度信号のみの補正では、上述した光沢向上処理による輝度上昇により、色が白くなってしまう場合がある。この課題を解決するために、CbCrの数値から色の付いた部分には、コントラスト補正量や光沢強調量を弱める手法を用いればよい。光沢強調量算出部１０４において、光沢部分と判定された場所に対して、白に近い色は、色が消えることはないので、輝度を上げて光沢を強調する構成とする。これに対し、色の付いた部分には色が白くならないように、光沢強調表現をしない、または、コントラスト補正量や光沢強調量を弱める構成とする。これにより、より自然な光沢表現ができる。なお、図８には図示していないが、出力映像１０６を表示する表示部を備える構成としてもよい。この場合は、映像処理システム１００は映像表示装置を構成することとなる。

RGBで光沢強調表現する場合には、R、G、Bそれぞれに対して上述の光沢強調処理をし、R、G、Bの割合を考慮して、コントラスト補正量や光沢強調量を弱める工夫をする。

以上説明した本発明の実施例１の映像処理システム、または映像処理方法によれば、Retinex理論を用いて、映像の光沢部分の検出とコントラスト補正を行うことによって、映像の光沢強調処理を行う。これにより、より好適に映像の質感を向上させることができる。

図９は、本発明の実施例２に係る映像処理システムの一例を示すブロック図である。

図９の映像処理システム１００は、ディスプレイ（映像表示装置）９０２に接続されている。図９の映像処理システム１００は、図１の映像処理システムに、光センサ９００と、ディスプレイ９０２のための明るさ調整部９０１を追加した構成である。その他の構成は、実施例１と同様であるため、説明を省略する。

光センサ９００は、映像を表示するディスプレイに設置して、ユーザの視聴環境を調べることができる。本実施例では、光センサ９００の出力によって、バックライトや自発光素子の出力調整により、ディスプレイ９０２の明るさを調整する明るさ調整部９０１を備える。この際、明るさ調整部９０１での明るさの調整の調整量に応じて、Retinex理論を用いたコントラスト補正をすることで、バックライト出力を下げ、ダイナミックレンジが下がった状態でも、領域毎の見え方は見易くなり、見た目のダイナミックレンジを上げることができる。例えば、光センサ９００により、暗い部屋の中で液晶ディスプレイで映像を見ている状況であれば、バックライトの出力をΔだけ下げてもきれいに見える。コントラスト補正量算出部１０３において、入力信号に対して、出力を下げたΔに対応するダイナミックレンジ内に入力信号を圧縮し、その圧縮された入力信号に対して、Retinex理論を用いたコントラスト補正を施すことにより、領域毎の見え方は見易くなり、バックライトの電力が下がっている分省電力にもなる。明るさ調整をしたうえでコントラスト補正に加えて光沢強調をすることで、バックライト出力が低くても、その映像内の光沢部分を強調した映像表現ができることになる。また、バックライトの出力を下げたΔの大きさ応じて、光沢領域検出の輝度閾値（入力輝度＋コントラスト補正量）を低下させることにより、低ダイナミックレンジの映像でも、光沢部分を抽出できるようにする。例えば、当該映像処理システムをモバイル機器に適用する場合にも、屋外、屋内に関わらず、見た目のダイナミックレンジを向上させることができるメリットがある。

なお、図９の映像処理システム１００とディスプレイ９０２を一体構成とし、表示装置を構成することも可能である。

以上説明した本発明の実施例２の映像処理システム、または映像処理方法によれば、視聴環境に応じた好適な光沢強調処理を行うことができる。

図１０は、本発明の実施例３に係る表示装置のブロック図である。図１０では、実施例１または実施例２の映像処理システム１００を映像処理部１００として表示装置に組込んだ場合の例を示している。

図１０において、ユーザＩ／Ｆ１００１を介して、ユーザが、２Ｄまたは３Ｄの入力映像１０００が入力された場合に、２Ｄで表示するか３Ｄで表示するかを選択する設定を行う。設定としては、映像の入力時に手動で選択する構成としてもよく、２Ｄで表示するか３Ｄで表示するかを予め選択して設定しておき、映像の入力時に自動的に選択されるように構成してもよい。２Ｄ／３Ｄ表示切替部１００２は、ユーザＩ／Ｆ１００１からの選択設定にしたかって、表示の切替情報を映像表示状態管理部１００３に保管するとともに、２Ｄの映像処理をするのか、３Ｄの表示処理をするのかを切替える。表示装置部１００８は２Ｄ表示も３Ｄ表示も可能であり、映像表示状態管理部１００３に保管された情報に応じて、表示装置部１００８は２Ｄ表示、３Ｄ表示を切替える。２Ｄ映像処理１００６は、映像ストリームを表示装置の表示周波数に合わせて映像を出力する。

３Ｄ映像処理１００７は、Ｌ、Ｒの出力を表示装置の表示周波数と連動して切替えて映像を出力する。２Ｄまたは３Ｄの映像処理の前に、実施例１または実施例２で説明した映像処理部１００により、コントラスト補正、光沢強調処理を行う。このとき、映像処理部１００は、２Ｄ、３Ｄ用それぞれ異なるパラメータ１（１００４）、パラメータ２（１００５）を備えるように構成する。これにより、映像処理部１００のRetinex処理部のコントラスト補正量の決定において、２Ｄ表示と３Ｄ表示での映像表現の特徴を反映することができる。例えば、シャッタメガネ方式の３Ｄ表示をする場合には、目とディスプレイ間にメガネが追加されるので、ディスプレイからの光量が減るため、暗く見えてしまう。さらに、シャッタ切替のためにＬまたはＲのみしか瞬時には見えていないので、視覚に入ってくる映像の量も減るので、見た目暗く見えてしまう。そのため、３Ｄ表示に２Ｄ表示と同じ映像処理を行うと、その効果は少なくなってしまう。よって、３Ｄ表示に切替えた際には、Retinex処理部の視覚特性曲線を変更し、コントラスト補正量が２Ｄ時よりも大きくなるようなパラメータ設定を用いる。光沢強調量に関しても、光沢部分を判断する輝度値の閾値を下げて、光沢部分を増やすパラメータに切替え、フィルタも広い範囲(狭くても良い)にピークが高めなフィルタに切替えるなどの処理を行う。

なお、本実施例の構成は、表示装置と映像処理部が分離されていても良い。例えば、テレビに接続されたレコーダ等の信号送信装置側の映像処理システムにおいて、２Ｄと３Ｄを切替えた際に、Retinexのパラメータを切替えてもよい。

なお、表示装置部１００８に替えて、またはこれに加えて、２Ｄ映像処理１００６または３Ｄ映像処理１００７を外部機器に出力する映像出力部を備えてもよい。この場合は、外部の機器に上記２Ｄ映像または３Ｄ映像を出力する場合にも、好適な光沢感の向上が可能となる。

図１１は、３Ｄ表示時のＬ、Ｒ(左右映像)の光沢強調位置のズレの一例を示した図である。

左右２つのカメラで同時に撮影した３Ｄ映像に関しては、物体に光が当たって反射した光線がカメラに入射する角度が異なるため、Ｌ、Ｒ左右の映像を重ね合わせると、光沢部分の位置にズレが生じている場合がある。この際に、本発明の光沢強調をしてしまうと、左右のそれぞれ異なる位置の光沢が交互に見え、光沢強調部分がクロストークとして見えてしまうことがある。コントラスト補正部でも同様の現象が生じる場合がある。そこで、Retinex処理を用いたコントラスト補正処理や光沢強調処理においては、画素毎のコントラスト補正量、光沢強調量を算出する構成とする。ここで、Ｌ、Ｒ画像の対応する画素位置で補正量または強調量が大きく異なる画素に関しては、コントラスト補正または光沢強調をしない、または、補正量、強調量を弱める処理を行う。これにより、クロストークを増やさないようにすることが可能となる。

以上説明した本発明の実施例３の映像処理システム、表示装置、または映像処理方法によれば、より好適に３Ｄ表示に光沢強調処理を適用することができる。

本発明の実施例４に係る映像処理システムは、実施例１、２の映像処理システムを用いて、光沢強調を行った映像を用いて光沢部分に関する追加の情報を表示するものである。

まず、図１２を用いて、映像処理システムを車載のカメラと連携させた場合のシステムについて説明する。図１２は当該システムによる表示映像の一例であるである。

車にカメラと本実施例に係る映像処理システム及びディスプレイ装置を搭載し、カメラからの映像を入力映像として、実施例１、２のRetinex処理を適用させる。このとき、雨や雪にできた道路上の凍結部分や水溜りが、光や車のライトに照らされて、光沢部分として認識可能となる。そこで、光沢部分が抽出できた段階で、ディスプレイ装置に「前方に滑りやすい箇所がある可能性が○％あります」などの表示をするとともに、凍結での光沢部分を強調表現して、視覚的にもどこが危険なのかを見易く表現できる。この可能性を表す数値は、光沢強調量算出部１０４における光沢量に比例する値を表示する。その理由は、光沢量が大きい程、鏡面反射の割合が高いと推定できるので、滑りやすい可能性があるためである。

また、光沢部分として検出された部分が光沢部分が水溜りや凍結部分などの検出すべき光沢部分かどうかを検査するために、光沢強調量算出部１０４において、平常時の道路走行中の光沢量を算出しておき、この平常時の光沢量との差分を算出し、差分が大きい場合には、検出した光沢部分が水溜りや凍結部分であると推定してもよい。

また、光沢強調量算出部１０４における、光沢抽出部の道路との位置関係を算出して、平常時は現れないような箇所に、光沢部分が検出された場合には、走行にとって危険がある可能性があるので、その旨の警告をディスプレイに表示したり、音で警告するなどを行ってもよい。

左右(ＬＲ)の２つのカメラからの映像を入力映像とした場合には、カメラの位置と光の反射具合によっては、Ｌ映像には光沢部分が見つかったが、Ｒ映像には光沢部分が見つからなかった場合など一方の映像のみ光沢部分が検出される場合がありうる。この場合には、検出された方のＬ映像の光沢部分を信頼して、警告を表示を行い、光沢強調部分の表示は、Ｌ映像に基づいて、Ｒ映像にも表示を行うように構成してもよい。このとき、３Ｄで表示させていた場合でも、検出した光沢部分が強調して表示すればよい。これにより、光の反射の仕方での検出を見逃す確率を減らし、ユーザに危険部分を表示する際も、わかり易い強調表現が可能となる。

以上のカメラ、映像処理システム、ディスプレイ装置は、一体型車載映像表示システムとして構成されてもよく、また、それぞれが有線または無線の通信手段で接続された車載映像表示システムとして構成されてもよい。

同様に、内視鏡でのカメラ映像にも本実施例の映像処理システムを適用可能である。内視鏡でのカメラ映像を入力として、内臓や皮膚、体液等に照射された光による反射光成分を分析することで、光沢部分を検出して、患部の炎症や腫れなどを検出する手段としても応用できる。撮影する部位によっては、空間が広く、内視鏡の先端に付けられた照射光の光量では、はっきりと映像が撮影できない場合や、逆に空間が狭く光量が強すぎて患部が見えづらくなってしまう場合があるため、低ダイナミックレンジの映像に対して、Retinex理論を利用してのコントラスト補正することにより、見易くすることができる。さらに、光を照射させて反射してくる光が強いということは、そこにある程度の大きさの凹凸(細かい凹凸ではなく)があり、患部や腫れ具合を反射光成分から算出した光沢量から患部の大きさなどを推定できる可能性がある。よって、本実施例の映像処理システムによる光沢部分の抽出処理が有効である。また、内視鏡映像に本実施例の映像処理システムを適用する場合においては、図８の色判定処理において、複数の色ごとに光沢量を抽出することで、赤い部分で光っている部位なのか、紫色で光っている部位なのかなど、それぞれの色ごとに患部を検出できる。さらに、その患部を面積で強調して診断し易くできる可能性がある。

これら実施例は、入力信号がYCbCr、RGB、HSVでも同様な処理が可能である。また、映像処理システムで動作するプログラムは、映像処理システム内に実装してあっても良いし、記録媒体に記録して提供するようにしても良いし、ネットワークを介してダウンロードして提供するようにしても良い。これら多様な配布形態を用いることで、様々な利用形態での提供が可能となり、利用ユーザを増やす効果がある。

また、以上説明した各実施例では、高輝度部分を光沢領域として検出したが、逆に低輝度部分を暗部領域として検出することも可能である。

人間の視覚特性を利用したRetinex理論を用いて、映像の中から物体に光が当たって反射してくる光(反射光)と、周囲の照明などの明るさ(環境光)に分離し、視覚特性曲線から、反射光を強調することで、ダイナミックレンジの低い映像に関しても、見た目のダイナミックレンジを上げる効果を得られる。この効果を利用した光沢強調の手法を説明したが、実際に人が感じる光沢感を反映させることにより、より主観的に見て光沢のある映像表現が可能になると考えられる。

まず、人が感じる光沢感と数値との相関を確認した例として、参考文献２がある。画像サンプルの反射率と歪度、視覚の間にそれぞれ相関があり、歪度と視覚に強い相関が見られたとの結果がある。歪度が高くなると光沢があると感じるという結果である。そこで、本実施例では、Retinex理論による人間の視覚特性にあった光沢強調と、例えば上述の歪度などの人間の主観による光沢感の向上と相関がある数値を用いた評価判定処理を組み合わせることにより、より好適な映像表現を実現する方法を説明する。
［参考文献２］Motoyoshi et.al.,Nature,vol47,pp206-209(2007)
本発明の実施例５に係る映像処理装置は、図１に示す構成のうち、光沢強調量算出部１０４の構成を図３ではなく、図１３の構成に変更したものである。その他の構成は、既に説明したとおりであるので、説明を省略する。

図１３に示す実施例５の光沢強調量算出部は、図３の光沢強調量算出部に、さらに光沢感評価・判定部１３００を備えている。処理対象画素の輝度値と、Retinex理論を利用したコントラスト補正量から算出される光沢強調量を反映して、フィルタでの面での光沢強調した結果の値を入力として、光沢感などの主観と相関がとれる数式結果と比較し、その比較結果を、光沢強調処理にフィードバックして、より主観的に光沢感が向上する映像効果を実現する。

図１４に処理シーケンスを示す。まず、Ｓ１４０１にて、処理対象画素周囲の光沢感の数値（Ｓ０）を参考文献２等の結果を利用して算出する。例として参考文献２に示してある歪度（Ｓｋｅｗｎｗｓｓ）の式を数１に示す。

I(x,y)：Luminance of each pixel
ｍ ： average luminance
N ： number of pixels
s.d.： standard deviation

次に、図３で示した方法により、入力輝度２００、コントラスト補正量２０５を入力として、光沢量算出３００を行い、その光沢量値に応じたフィルタ処理を３０１にて行い、光沢強調量を算出する（Ｓ１４０２）。次に、光沢感評価・判定部１３００が、光沢が強調されたＳ１４０２の結果に対して、対象画素周囲の光沢感の数値（Ｓ１）を数１等を利用して算出する（Ｓ１４０３）。Ｓ１４０４にて、Ｓ０とＳ１を比較する。もし、処理結果前のＳ０よりも、Ｓ１が高く、図３での光沢強調処理により光沢感が向上している場合には、Ｓ１４０２での算出結果を利用した光沢強調を行う（Ｓ１４０５）。Ｓ１４０４にて、Ｓ１４０２の結果、光沢感の数値が下がる場合には、Ｓ１４０６にて、Ｓ１４０２の結果を利用しない処理（例えば、光沢感の強調を行わない）を行う。

これにより、Ｒｅｔｉｎｅｘ理論でのコントラスト補正がかかる部分のうち、参考文献２などで算出した歪度などの数値による評価、判定を行って光沢感の向上が期待できると判定された部分について、選択的に当該コントラスト補正による光沢強調処理を出力映像に反映させることができる。

また、図１４のＳ１４０４では、Ｓ１４０５へ進む条件として、さらに入力輝度値（y）が所定値以上であることを追加してもよい。

なお、図１４のＳ１４０５では、Ｓ１４０２での算出結果をそのまま用いても良いし、Ｓ１を反映させて強調度合いを変更する調整をしても良い。

以上のように、例えばRetinex理論を利用したコントラスト補正のような人間の視覚特性にあった光沢強調処理について、歪度などの人間の主観による光沢感の向上と相関がある数値を用いた評価判定処理によるフィードバックを行うことにより、人間の視覚特性にあった光沢強調される部分のうち、人間の主観的な光沢感向上が期待できる部分を選択して、映像の光沢強調処理を行うことが可能である。

なお、上述の構成または処理方法では、人間の視覚特性にあった光沢感の評価、判定の基準として歪度を用いたが、歪度以外であっても、人間の主観と相関がある計算式により算出された数値であればいずれを用いても良い。このような数値を用いることにより、見た目の主観評価を向上させることが可能であると考えられる。

なお、以上説明した本発明の実施例５の構成または処理方法は、他の実施例の光沢強調算出部の構成、処理に適用することが可能である。この場合、実施例５の構成または処理方法を適用した他の実施例におけるシステム、表示装置、または映像処理方法は、実施例５による効果を得ることができる。

上記実施例５では、光沢感の強調に関して、歪度を評価判定基準として利用した方法を説明した。これに対し、本発明の実施例６では、映像処理装置、システムのユーザの主観を反映できる光沢感強調処理を提供する。

本発明の実施例６は、例えば、図１の映像処理装置に、図１３の光沢強調量算出部を搭載して構成する。図１の出力映像106は外部の機器に出力してもよいし、映像処理装置にディスプレイを備えて当該ディスプレイに表示してもよい。映像処理装置にディスプレイを備える場合は、映像表示装置を構成することとなる。

本発明の実施例６による映像処理装置は、図１３の光沢強調量算出部の処理が実施例５と異なる。まず、実施例６による光沢強調量算出部は、光沢強調の度合いを複数段階（例えば３段階）に変更した映像を作成する。この光沢強調が複数段階に異なる映像を、例えば図１５に示すように外部機器またはディスプレイに出力する。この際、ユーザに対して当該複数段階の映像（図１５の例では映像１、映像２、映像３）を見せ、どの補正が一番光沢感を感じるかを選択するように促す表示もあわせて出力する。

本発明の実施例６による映像処理装置は、ユーザからの指示を入力する指示入力部（図示せず）を別途備え、前記指示入力部に、表示された複数の映像のうち、一つの映像が選択されたことを示す映像選択情報が入力された場合に、当該選択された映像に適用された光沢強調の度合いを当該ユーザの主観に適した光沢強調の度合いとして設定し、これに基づいて光沢強調処理を行うように構成する。

ここで、光沢強調の度合いは図３の光沢量算出部３００で算出した光沢量に乗ずる係数としてもよいし、実施例５で説明したフィルタ３０１後の光沢強調量の歪度でもよい。

光沢量に乗ずる係数を光沢強調の度合いとする場合は、当該係数を複数段階設定して複数の映像を作成し、図１５に示す表示でユーザに提示する。ユーザが選択した映像の作成に用いた係数を、光沢量算出部３００で算出した光沢量に乗ずる係数として設定すればよい。以降の映像の光沢強調処理では、当該係数を光沢量算出部３００で算出した光沢量に乗じて処理すればよい。

また、歪度を光沢強調の度合いとする場合は、フィルタ３０１後の映像の所定領域の光沢強調量の歪度が異なる複数の映像を作成し、図１５に示す表示でユーザに提示する。ユーザが選択した映像の前記歪度を、図１３の光沢強調量算出部の目標歪度として設定する。具体的には、例えば、光沢強調量を変更して所定領域の歪度がＳａ、Ｓｂ、Ｓｃ（Ｓａ＜Ｓｂ＜Ｓｃ）の３段階の映像を作成して図１５の映像としてユーザに提示する。指示入力部を介してユーザが選択した映像の前記歪度を目標歪度Ｓｔとして設定する。以降の映像の光沢強調処理では、光沢感評価・判定部１３００により、フィルタ３０１後の光沢強調量の歪度が目標歪度Ｓｔからの差分が所定範囲内であると判定された場合に、当該フィルタ処理を３０１後の光沢強調量を利用した光沢強調を行う。光沢感評価・判定部１３００により、フィルタ３０１後の光沢強調量の歪度が目標歪度Ｓｔからの差分が所定範囲内（±δ）ではないと判定された場合に、当該フィルタ処理を３０１後の光沢強調量を利用しない（例えば、該当領域には光沢感の強調を行わない）ように構成すればよい。この場合の処理のフローチャートの一例は、例えば、図１４のフローチャートの処理においてＳ１４０４の判定条件を｜Ｓ１-Ｓｔ｜≦δに変更すれば実現できる。この場合実施例５同様に、図１４のＳ１４０４では、Ｓ１４０５へ進む条件として、さらに入力輝度値（y）が所定値以上であることを追加してもよい。また、図１４のＳ１４０５では、Ｓ１４０２での算出結果をそのまま用いても良いし、Ｓ１を反映させて強調度合いを変更する調整をしても良い。

なお、指示入力部を介して操作できる、映像処理装置、映像処理システムの「画質設定メニュー」に「光沢感設定」の項目を設けて、上述した図１５の複数映像の出力、ユーザによる映像の選択、光沢強調の度合いの設定を行なえるように構成すればよい。

なお、図１５の光沢強調が複数段階に異なる映像は、入力映像からリアルタイムに作成してもよいが、光沢強調が複数段階に異なる複数のサンプル映像を予め用意してメモリなどに格納しておき、ユーザに提示してもよい。

なお、上述の実施例６に係る構成または処理方法によれば、映像処理装置、システムのユーザの主観に基づく光沢感と相関のある光沢感強調処理を実現することができる。

なお、以上説明した本発明の実施例６の構成または処理方法は、他の実施例の光沢強調算出部の構成、処理に適用することが可能である。この場合、実施例６の構成または処理方法を適用した他の実施例におけるシステム、表示装置、または映像処理方法は、実施例６による効果を得ることができる。

本発明の実施例７について、図１６を用いて説明する。

図１６は、本発明の映像処理装置を、検査システムに利用する例である。例えば、コンベアーで流れてくる対象物１６０１をカメラ１６００で撮影して、カメラからの映像を入力映像１０１として、映像処理装置１００（上述の実施例１、２、３、５、６などによるもの）において、コントラスト補正量（Δｙ）や光沢強調量（ΔＹ）から求められる光沢度合いを数値化してディスプレイ１６０２に映像とともに表示するように構成すればよい。このシステムにより、対象物を映像と光沢感を示す数値で検査することが可能である。例えば、真珠の輝き度合いの検査や、塗装した物体の仕上げ具合などの検査に利用可能である。

なお、図１６において、映像処理部１００から出力される光沢感情報1603としては、コントラスト補正量（Δｙ）や光沢強調量（ΔＹ）またはこれに基づいて算出した値を光沢感を示す値（光沢度）として出力すればよい。

なお、図１６において、映像処理部１００から出力される出力映像1604としては、光沢強調を行った出力輝度（y+Δｙ+ΔＹ）を用いてもよいし、光沢強調を行っていない出力輝度（y+Δｙ）を用いてもよい。また、映像処理部１００が、ユーザからの指示によりこれらを切り替えて出力できるよう構成してもよい。

以上説明した本発明の実施例７の検査システムによれば、検査対象をカメラで撮影して、その入力映像から検査対象の光沢感を示す情報を算出し、検査対象の光沢を数値またはこれに加えて映像も考慮して検査することが可能となる。

本発明の実施例８について、図１７を用いて説明する。 図１７は、インターネットの検索サービスや、ローカルのデータベース内の映像から、光沢のある対象物を探し出すシステムでの利用例である。図１７では、インターネットなどのネットワーク１７０１に映像／画像を保持するサーバ１７０２などが接続されており、映像処理装置１００（上述の実施例１、２、３、５、６などによるもの）は、ネットワーク１７０１を介してサーバ１７０２などから映像を取得し、実施例７と同様の出力映像１６０４、光沢感情報１０６３をディスプレイ１６０２に出力し、表示する。また、映像のソースはネットワーク１７０１を経由して取得するほかに映像処理装置１００とローカル接続されたストレージ１７０３から取得してもよい。ストレージ１７０３と映像処理装置１００は一体の情報処理装置を構成してもよい。

これらの映像ソースから複数の映像を取得して、その映像と光沢感情報を例えばストレージ１７０３内でデータベース化することにより、ディスプレイ１６０２上に図１７に示すような所定の光沢度を有する映像／画像の一覧表示等を行うことが可能となる。

このようなシステムは、例えば、ネットショッピング等で魚の鮮度を映像の光沢度合いから数値化しながら一覧表示するなどのサービスに利用することも考えられる。この場合、映像または画像しかない状況から、その素材の良さ、仕上げの完成度、鮮度などをユーザが推定することが可能となるというメリットがある。

なお以上説明したいずれの実施例においても以下の変形例の適用が可能となる。

以上説明したいずれの実施例においても、図２のRetinex処理部における反射光成分検出結果部２０１における処理について、参考文献３に示すような2色性反射モデルを利用した鏡面反射成分を分離する手法を用いることが可能である。
[参考文献３]G. J. Klinker, S. A. Shafer, and T. Kanade: The measurement of highlight in color images, International Journal of Computer Vision (IJCV), Vol.2, No.1, pp.7-32, 1988.(Carnegie Mellon University)
2色性反射モデルでの反射光成分の分離においては、色空間を利用することから、光源が白色である必要があり、物体の表面色と拡散反射の色相が同じ場合にしか適用できないなどの制約が存在する。上述の実施例で説明した、Retinexを利用して、注目画素の周囲の光の成分や凹凸などの状況を考慮した上で、その反射光の強度によって光沢部分を抽出する手法は、より人間の視覚特性に合った抽出が可能である特徴がある。両者はそれぞれ特徴が異なるので、適用するシステムに応じて、反射光成分検出処理をRetinex方式または2色性反射モデル方式を選択すればよい。また、入力映像や環境に応じた両者の切り替えをおこなってもよく、両者を適宜併用する方式としてもよい。これにより、オブジェクトの物理的側面と、視覚特性を組合せた光沢抽出が実現できると考えられる。

１００ 映像処理部、１０１ 入力映像、１０２ 輝度信号算出部、１０３ コントラスト補正量算出部、１０４ 光沢強調量算出部、１０５ 合成処理部、１０６ 出力映像、２０１ 反射光成分検出結果部、２０２ 環境光検出結果部、２０３ 視覚特性曲線処理部、２０４ コントラスト補正量算出部、２０５ コントラスト補正量、３００ 光沢量算出部、３０１ フィルタ処理部、３０２ 光沢強調量、８００ 色判定処理、９００ 光センサ、９０１ 明るさ調整部、９０２ ディスプレイ、１０００ 入力映像、１００１ ユーザＩ／Ｆ、１００２ ２Ｄ／３Ｄ切替処理部、１００３ 映像表示状態管理部、１００４ パラメータ１（２Ｄ用）、１００５ パラメータ２（３Ｄ用）、１００６ ２Ｄ映像処理部、１００７ ３Ｄ映像処理部、１００８ 表示装置部、
１３００ 光沢感評価・判定部、１６００ カメラ、１６０１ 対象物群、１６０２ 表示装置（ディスプレイ）、１７０１ ネットワーク、１７０２サーバ、１７０３ストレージ

Claims (15)

1. 入力映像信号が入力される映像入力部と、
   入力映像信号の輝度値を視覚特性曲線に対応させるためのコントラスト補正量を算出し、前記算出したコントラスト補正量と入力映像信号の輝度値に基づいて、前記入力映像信号の光沢強調処理を行う映像処理部と、
   を備え、
   前記光沢強調処理においては、前記入力映像信号の輝度値と前記算出したコントラスト補正量から映像中の光沢領域を検出し、前記検出した光沢領域に対して、前記コントラスト補正量に応じた光沢量についてのフィルタ処理を行い、空間的な光沢強調処理を行い、
   さらに、前記光沢強調処理においては、主観による光沢感を示す数値を算出する処理部を備え、
   前記入力映像に対して算出した光沢感を示す数値と、前記空間的な光沢強調処理を行った後の映像に対して算出した光沢感を示す数値を比較し、前記入力映像に対して算出した光沢感を示す数値よりも、前記空間的な光沢強調処理を行った後の映像に対して算出した光沢感を示す数値が小さい場合には、前記空間的な光沢強調処理を実施しないことを特徴とする映像処理装置。
2. 前記コントラスト補正量の算出処理においては、入力映像信号の輝度値を反射光成分と環境光成分とに分離し、前記分離したそれぞれの情報に基づいて、前記視覚特性曲線に対応するようにコントラスト補正量を算出することを特徴とする請求項１に記載の映像処理装置。
3. 前記光沢領域の検出処理においては、前記入力映像信号の輝度値と前記コントラスト補正量の和が所定の閾値以上の領域を光沢領域として検出することを特徴とする請求項１に記載の映像処理装置。
4. 請求項１乃至請求項３のいずれか一項に記載の映像処理装置と、映像表示部を備えることを特徴とする映像表示装置。
5. 請求項４に記載の映像表示装置であって、さらに、周囲の光の強度を測定できる光センサと、前記映像表示部の明るさ調整部とを備え、前記明るさ調整部は、前記光センサの出力に基づき、前記映像表示部の明るさを調整することを特徴とする映像表示装置。
6. 請求項１乃至請求項３のいずれか一項に記載の映像処理装置であって、前記映像入力部には２Ｄ映像と３Ｄ映像が入力可能であり、
   さらに、２Ｄ表示用映像処理と３Ｄ表示用映像処理を切り替える切替部を備え、
   前記映像処理部は、前記切替部による２Ｄ表示用映像処理と３Ｄ表示用映像処理の切り替えに応じて前記コントラスト補正量の算出処理または前記光沢強調処理に用いるパラメータを切り替えることを特徴とする映像処理装置。
7. 請求項６に記載の映像処理装置であって、３Ｄ表示時には２Ｄ表示時よりも、前記コントラスト補正量または前記光沢量が大きくなるように前記パラメータを切替えることを特徴とする映像処理装置。
8. 請求項６または請求項７に記載の映像処理装置と、２Ｄ映像及び３Ｄ映像を表示可能な表示部とを備えることを特徴とする映像表示装置。
9. 請求項１に記載の映像処理装置と、映像表示部を備え、
   前記映像表示部は、前記検出された光沢領域に関する情報を表示することを特徴とする映像表示装置。
10. 入力映像信号が入力される映像入力ステップと、
    入力映像信号の輝度値を視覚特性曲線に対応させるためのコントラスト補正量を算出し、前記算出したコントラスト補正量と入力映像信号の輝度値に基づいて、前記入力映像信号の光沢強調処理を行う映像処理ステップと、
    を備え、
    前記光沢強調処理においては、前記入力映像信号の輝度値と前記算出したコントラスト補正量から映像中の光沢領域を検出し、前記検出した光沢領域に対して、前記コントラスト補正量に応じた光沢量についてのフィルタ処理を行い、空間的な光沢強調処理を行い、
    前記入力映像に対して算出した光沢感を示す数値と、前記空間的な光沢強調処理を行った後の映像に対して算出した光沢感を示す数値を比較し、前記入力映像に対して算出した光沢感を示す数値よりも、前記空間的な光沢強調処理を行った後の映像に対して算出した光沢感を示す数値が小さい場合には、前記空間的な光沢強調処理を実施しないことを特徴とする映像処理方法。
11. 前記コントラスト補正量の算出処理においては、入力映像信号の輝度値を反射光成分と環境光成分とに分離し、前記分離したそれぞれの情報に基づいて、前記視覚特性曲線に対応するようにコントラスト補正量を算出することを特徴とする請求項１０に記載の映像処理方法。
12. 前記光沢領域の検出処理においては、前記入力映像信号の輝度値と前記コントラスト補正量の和が所定の閾値以上の領域を光沢領域として検出することを特徴とする請求項１０に記載の映像処理方法。
13. 前記光沢強調処理においては、前記検出した光沢領域に対して、複数段階の前記コントラスト補正量に応じた光沢量についてのフィルタ処理を行い、前記空間的な光沢強調処理を施した映像を作成し、使用者に主観的な光沢感を感じる映像を選択させ、その選択結果に応じた前記空間的な光沢強調処理を行うことを特徴とする請求項１に記載の映像処理装置。
14. 前記光沢強調処理においては、前記検出した光沢領域に対して、複数段階の前記コントラスト補正量に応じた光沢量に応じて、映像を分類することを特徴とする請求項１に記載の映像処理装置。
15. 前記光沢強調処理においては、前記検出した光沢領域に対して、前記コントラスト補正量に応じた光沢量の結果と、主観による光沢感を示す数値を比較し、相関をとり、主観による光沢感を示す数値を評価することを特徴とする請求項１に記載の映像処理装置。

Images