JP5092738B2 - 画像処理装置及び方法、並びにプログラム - Google Patents

Description

本発明は、入力画像から光沢領域を抽出する画像処理装置及び方法、並びにプログラムに関する。

ディスプレイ装置等で表示画像中の対象物（オブジェクト）の質感を高める目的で、画面表面に均一グレア処理を施すものがある。これは表面がグレアの鏡面反射であるため、アンチグレアの拡散反射に比べて外光により実質的な白レベルが上がると共に黒レベルが下がり、ダイナミックレンジが拡大する効果を利用するものである。

しかしながら、大型のディスプレイ装置では、外光が映り込むことで画面の均一性が損なわれ、見る人の疲労感が増すといった理由から、グレア処理が施されることがほとんどなく、表示画像中のオブジェクトの光沢感や立体感が損なわれていた。

特開２００２−５１２２６号公報

ところで、プリンタ装置において、入力画像から光源又は光源の写り込みの光沢領域を検出し、光沢感を蛍光インクにより出力印画紙上で表すことが提案されている（例えば、特許文献１参照。）。しかしながら、この光沢領域は、光源又は光源の写り込み部分であり、オブジェクトの材質の質感が損なわれていた。

本発明は、このような従来の実情に鑑みて提案されたものであり、材質の質感が得られる光沢領域を抽出する画像処理装置及び方法、並びにプログラムを提供する。

上述の課題を解決するために、本発明に係る画像処理装置は、入力画像から外光反射領域を検出する検出手段と、上記入力画像からオブジェクトのエッジを抽出するエッジ抽出手段と、上記外光反射領域を上記エッジまで拡張する拡張手段と、上記外光反射領域の光沢度を判定する判定手段と、上記光沢度の判定結果に基づいて上記オブジェクト毎に光沢領域を抽出する抽出手段とを備える。

また、本発明に係る画像処理方法は、入力画像から外光反射領域を検出する検出工程と、上記入力画像からオブジェクトのエッジを抽出するエッジ抽出工程と、上記外光反射領域を上記エッジまで拡張する拡張工程と、上記外光反射領域の光沢度を判定する判定工程と、上記光沢度の判定結果に基づいて上記オブジェクト毎に光沢領域を抽出する抽出工程とを有する。

また、本発明に係るプログラムは、入力画像から光沢領域を抽出する処理をコンピュータに実行させるためのプログラムであって、入力画像から外光反射領域を検出する検出工程と、上記入力画像からオブジェクトのエッジを抽出するエッジ抽出工程と、上記外光反射領域を上記エッジまで拡張する拡張工程と、上記外光反射領域の光沢度を判定する判定工程と、上記光沢度の判定結果に基づいて上記オブジェクト毎に光沢領域を抽出する抽出工程とを有する。

本発明によれば、外光反射領域の光沢度を判定し、当該判定結果に基づいて光沢領域を抽出することにより、材質の質感が得られる光沢領域を抽出することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。人はディスプレイに表示されたオブジェクトの光沢感を、正反射光強度（光沢度）と写像性より評価している。光沢度と写像性との重み付けは３：４でやや写像性（鮮鋭度）が優っているものの、正反射光強度（光沢度）も重要な要素である（ＦＵＪＩ ＦＩＬＭ ＲＥＳＥＡＲＣＨ ＆ ＤＥＶＥＬＯＰＭＥＮＴ（Ｎｏ．５１−２００６）『高画質インクジェット超光沢受像紙 画彩「写真仕上げPro」の開発』参照。）。本実施の形態では、ディスプレイにおける外光反射（≒正反射光強度）を制御することで、オブジェクトの光沢感を制御する。

［第１の実施の形態］
（全体構成） 図１は、第１の実施の形態に係る表示装置の全体構成を示す図である。この表示装置は、入力画像信号から画像の光沢領域を検出し、検出結果に基づいて透明薄板２に光沢感制御信号を出力すると共に、出力画像信号を表示パネル３に出力する光沢感処理部１と、表示パネル３の前面に設けられ、所定領域毎に反射特性を切り替え可能な透明薄板２と、画像を表示する表示パネル３とを備えている。

光沢感処理部１は、入力画像信号からオブジェクト毎に光沢領域か非光沢領域かを判別し、光沢領域を鏡面反射（グレア）させ、非光沢領域を拡散反射（アンチグレア）させる光沢感制御信号を透明薄板２に出力する。また、光沢感処理部１は、光沢領域及び非光沢領域が明瞭となるように入力画像信号の輝度情報等を最適化する。

透明薄板２は、表示パネル３の前面に位置する透明な反射特性制御層であり、微細な大きさで区切られ、区切り単位毎に鏡面反射と拡散反射とが切り替え可能となっている。そして、透明薄板２の前面への外光反射を区切り単位毎に制御することで、表示画像のオブジェクト毎に光沢感を制御する。

表示パネル３は、画像を表示するディスプレイ装置の液晶パネルやプラズマパネル等に相当するものである。

この表示装置は、透明薄板２が微小領域毎に表面反射特性が変わるアクティブなアクチュエータを構成し、光沢感処理部１が透明薄板２に対し光沢感制御信号を供給すると共に表示パネル３に光沢感制御信号に同調した輝度補正した映像信号を供給するため、両者の協調によって光沢感・立体感を向上させることができる。

図２は、透明薄板２及び表示パネル３の構成を模式的に示す図である。透明薄板２は、鏡面反射（グレア）と拡散反射（アンチグレア）とを切替える機能（アクティブ・アクチュエータ）を有しており、表示パネル３の前面に配置されている。鏡面反射か拡散反射かの表面状態を切り替えるアクティブ・アクチュエータは、数画素×数画素毎に配置されていることが好ましく、特に、図２の構成例のように画素毎に配置されていることが好ましい。

図３は、透明薄板２に入射される入射光と反射光とを模式的に示す図である。図３
（Ａ）に示すように、透明薄板２の表面状態が平坦の場合、入射光を鏡面反射し、画像の光沢感を高めることができる。一方、図３（Ｂ）に示すように、透明薄板２の表面状態が凹凸の場合、入所光を乱反射し、外光の映り込みを防ぐことができる。

透明薄板２を領域毎に動的にグレア／アンチグレアに変化させる仕組みについては後述するが、例えば、電圧（電界）による物理的な状態変化を利用して制御する方法や、電流による熱的・化学的な状態変化を利用して制御する方法を用いることができる。

このように表示画面の前面を領域毎に動的にグレア／アンチグレアと変えることで、外光により画像の実質的なダイナミックレンジを拡大し、画像（オブジェクト）の光沢感と立体感を高めることができる。

（光沢感処理部） 次に、入力画像から光沢領域を抽出する光沢感処理部１について説明する。本実施の形態における光沢オブジェクトの抽出は、光沢領域だけを抽出するのではなく、オブジェクトの中で光沢感を醸し出している材質の領域全体を抽出するものである。光沢オブジェクト抽出は、例えば、特開２００２−５１２２６号公報に記載された技術を用いることができる。

図４は、光沢感処理部１の構成を示す図であり、図５は、光沢感処理部１の処理を説明するための図である。光沢感処理部１は、透明薄板２の表面反射特性を制御する光沢感制御部４と、透明薄板２の表面反射に合わせて輝度値を最適化する輝度値最適化部５とを備えている。

また、光沢感制御部４は、入力画像信号の色空間を分離する分離部４１と、オブジェクトのエッジを抽出するエッジ抽出部４２と、外光反射領域を検出する外光反射領域検出部４３と、外光反射領域をエッジまで拡張する拡張処理部４４と、拡張された光沢領域の光沢度を判定する光沢度判定部４５とを備えている。

例えば、図５（Ａ）に示す原画像は、分離部４１にて色空間が変換され、所定成分に分離される。エッジ抽出部４２は、図５（Ｂ）に示すように画像からオブジェクトのエッジを抽出する。外光反射領域検出部４３は、所定成分の画像から外光反射領域を検出する（図５（Ｃ））。拡張処理部４４は、抽出されたエッジと検出された外光反射領域とから、図５（Ｄ）に示すように外光反射領域をエッジまで拡張する。このようにして拡張された光沢領域は、光沢度判定部４５にて鏡面反射か乱反射かが判別され、光沢感制御信号が透明薄板２に出力されることにより、光沢領域の材質の質感を高めることができる（図５（Ｅ））。

以下、光沢感処理部１の各構成部について図６〜図１３を参照して説明する。
分離部４１は、ＲＧＢ成分などを持つマルチチャンネル画像から特定のチャンネル成分を分離する。具体的には、入力画像信号のＲＧＢ色空間をＨＳＶ色空間に変換し、各成分の画像に分離する。ここで、ＲＧＢ空間は、色を赤（Red）、緑（Green）、青(Blue)の３軸で表現したものであり、また、ＨＳＶ空間は、色を色相（Hue）、色彩（Saturation）、明度（Value）の３軸で表現したものである。

図６は、エッジ抽出部の構成例を示す図である。エッジ抽出部４２は、分離部４１で分離されたＶ画像（Ｖプレーン）からエッジを検出するエッジ検出部４２１と、所定の閾値で二値化する二値化部４２２と、二値化されたオブジェクトの境界画像を記憶する境界画像記憶部４２３とを備えている。

エッジ検出部４２１は、Ｖプレーンにソーベルオペレータ（Sobel Operator）によるフィルタリングを行うことで、エッジを検出する。具体的には、入力画像の一次微分に次式に示すＳｏｂｅｌフィルタを使用して、エッジの当り付けを行う。

二値化部４２２は、Ｖプレーンのエッジ画像を予定の閾値と比較することで二値化し、その結果得られるＶプレーンの二値化画像を境界画像記憶部４２３に供給する。

また、明るさに偏ったＶプレーンのみではなく、多くのコンポーネントを用いることにより、エッジ抽出性能を高めることができる。図７は、ＨＳＶの全てのコンポーネントを用いるエッジ抽出部の構成例を示す図である。このエッジ抽出部４２は、ＨＳＶの全てについてエッジ検出部４２１Ｈ，４２１Ｓ，４２１Ｖ、二値化部４２２Ｈ，４２２Ｓ，４２２Ｖを有している。

すなわち、Ｈ，Ｓ，Ｖプレーンから得られたエッジ画像は、エッジ検出部４２１Ｈ，４２１Ｓ，４２１Ｖから、二値化部４２２Ｈ，４２２Ｓ，４２２Ｖにそれぞれ供給される。二値化部４２２Ｈ，４２２Ｓ，４２２Ｖは、Ｈ，Ｓ，Ｖプレーンのエッジ画像を所定の閾値と比較することで二値化し、その結果得られるＨ，Ｓ，Ｖプレーンの二値化画像をＯＲ処理部４２４に供給する。

ＯＲ処理部４２４は、Ｈ，Ｓ，Ｖプレーンの二値化画像の各画素に対して、論理和をとり、境界画像を生成する。生成された境界画像は境界画像記憶部４２３に記憶される。

また、Ｌ＊ａ＊ｂ＊(Luminescence alpha beta)、ＲＧＢ、ＹＵＶ（Ｙは輝度，Ｕ(Cb)は青の差分信号，Ｖ(Cr)は赤の差分信号を示す。）等の色空間でエッジ抽出をしてもよい。図８は、他のコンポーネントで処理した境界画像を示す図である。図８（Ａ）はＬ＊ａ＊ｂ＊の境界画像であり、図８（Ｂ）はＲＧＢの境界画像であり、図８（Ｃ）はＶプレーンのみの境界画像である。

これらの図から多くのコンポーネントを用いることにより、エッジ抽出性能を高めること可能であることが分かる。例えば、図８（Ｃ）に示すＶプレーンのみの画像では、平担部ａのノイズや外光反射部分ｂにおいてエッジのコントラスト低下が発生しているが、図８（Ａ）に示すＬ＊ａ＊ｂ＊の境界画像や図８（Ｂ）に示すＲＧＢの境界画像を組み合わせて用いることにより、平担部ａや外光反射部分ｂのコントラストを高めることができる。例えば、図８（Ｃ）に示す外光反射部分ｂでは、エッジを抽出することが困難であるが、図８（Ａ）に示すＬ＊ａ＊ｂ＊の境界画像の外光反射部分ｂによれば、エッジを抽出することができる。

図９は、外光反射領域検出部４３の構成例を示す図である。外光反射領域検出部４３は、Ｖプレーンの変化部分検出部４３１と、変化部分の高明度領域検出部４３２と、高明度領域を切り出す外光反射領域切出部４３３とを備えている。

変化部分検出部４３１は、Ｖプレーンから信号の急激な変化部分、すなわち周辺よりも明度が高い部分を検出する。高明度領域検出部４３２は、外部からの閾値（明度）により高明度領域を検出する。外光反射領域切出部４３３は、高明度領域を外光反射領域として切り出す。すなわち、外光反射領域検出部４３は、図９に示すような構成で、Ｖプレーンから信号の急激な変化部分を検出し、そこに閾値を外部から与えることで、閾値以上の高明度領域を外光反射領域として切り出し、後段の拡張処理部４４へと出力する。

図１０は、拡張処理部４４の構成例を示す図である。拡張処理部４４は、ＨＳＶの各プレーンについて、外光反射領域の近傍画素を抽出する近傍画素抽出部４４１Ｈ，４４１Ｓ，４４１Ｖと、外光反射領域の画素と近傍画素との類似性を判定する類似性判定部４４２Ｈ，４４２Ｓ，４４２Ｖとを備えている。また、類似性判定部４４２Ｈ，４４２Ｓ，４４２Ｖの判定結果から拡張するか否かを決定するＯＲ処理部４４３と、ＯＲ処理の結果に応じて外光反射領域を拡張し、拡張外光反射領域を決定する領域拡張処理部４４４とを備えている。

拡張処理部４４は、外光反射領域検出部４３で検出された外光反射領域を芯にして、そこから周辺に向けてエッジまで拡張する処理である。拡張するか否かは、周辺の着目画素が外光反射領域と類似性が有るか無いかで判断する。このように外光反射領域を拡張することにより、オブジェクトの中で光沢感を醸し出している材質の領域全体を抽出することができる。

図１１は、光沢度判定部４５の構成例を示す図である。光沢度判定部４５は、Ｒプレーン及びＢプレーンについて、それぞれ拡張外光反射領域を切り出す領域切出部４５１Ｒ，４５１Ｂと、拡張外光反射領域の反射状態をクラス分類するクラス分類部４５２Ｒ，４５２Ｂと、Ｒプレーン及びＢプレーンのクラス分類結果に応じて拡張外交反射領域の反射状態を決定する光沢度判別部４５３とを備えている。

光沢度判定部４５は、ある閾値以上の輝度値を持つ外光反射領域が拡張された拡張外光反射領域である光沢オブジェクト候補が、光沢を持ったオブジェクトなのか、それとも表面が乱反射しているオブジェクトなのか判定する。

オブジェクト表面の光の乱反射には波長依存性があり、波長の短い紫外線が最も乱反射しやすく、表面の凹凸を読み取るのも紫外線が最も適している。乱反射の波長依存性は青〜緑〜赤の可視光領域にも及んでおり、ＲとＢのプレーンで平坦部の凹凸の細かさが全く異なる場合、その原因は平坦部の材質が乱反射を起こす物質である可能性が極めて高い。

そこで、ＲとＢのプレーンだけで平坦部の凹凸を二次元的な特徴量に落とし込み、クラス分類部４５２Ｒ，４５２Ｂにてクラス分類に掛け、ＲとＢの凹凸度合いが大きく異なる場合、すなわちＲに対してＢの凹凸が明らかに細かい場合は乱反射があるため、光沢度判別部４５３にて光沢無しと判断し、ＲとＢの凹凸度合いにさほど差が無い場合は、乱反射がなく光沢有りと判断する。このようにして決定された光沢領域は、透明薄板２に光沢感制御信号として出力される。

図１２（Ａ）は、光沢領域の画素位置（ｘ，ｙ）＝（５６５，４３０）近傍のＲ等高線図であり、図１２（Ｂ）は、光沢領域の画素位置（ｘ，ｙ）＝（５６５，４３０）近傍のＢ等高線図である。これらＲプレーン及びＢプレーンの等高線（２ｂｉｔＡＤＲＣ）図は、両者とも凹凸の度合いが小さいため光沢領域として決定される。

また、図１３（Ａ）は、非光沢領域の画素位置（ｘ，ｙ）＝（１６０，４４０）近傍のＲ等高線図であり、図１３（Ｂ）は、非光沢領域の画素位置（ｘ，ｙ）＝（１６０，４４０）近傍のＢ等高線図である。これらＲプレーン及びＢプレーンの等高線（２ｂｉｔＡＤＲＣ）図は、両者とも凹凸の度合いが大きいため、乱反射が発生する非光沢領域として決定される。

このようにＲプレーン又はＢプレーンの反射強度の凹凸の度合いに応じて分類し、光沢、非光沢を決定することにより、鏡面反射を起こす材質か乱反射を起こす材質かの質感を制御することができる。特に、Ｂ(Blue)は、Ｒ（Red）及びＧ（Green）に比べて波長が短く、乱反射を表し易いため、ＲＧＢ画像のＢプレーンの強度分布によれば、鏡面反射か乱反射かを高精度に判断することができる。

図４に戻って、輝度値最適化部５について説明する。輝度値最適化部５は、原画像のＲＧＢ画像を入力し、光沢感制御部４からの光沢感制御信号に基づいて輝度値を補正（最適化）する。具体的には、光沢感制御部４で抽出された光沢領域についてコントラストやガンマを調整し、その結果に基づいて輝度値を補正する。例えば、光沢領域の輝度値を高くして画像信号を出力することにより、光沢感を高めることができる。このように写像性（鮮鋭度）を強調する機能（解像度感のエンハンス）を持たせることで、外光反射制御との相乗効果により、ユーザがオブジェクトに感じる光沢感を向上させることができる。

以上のように光沢領域を抽出することにより、材質の質感を表現すのに適切な光沢領域を抽出することができる。また、入力画像のオブジェクト毎に表面反射（グレア／アンチグレア）を制御することができ、外光を利用してオブジェクトの光沢感を大幅に向上させることができる。また、オブジェクトの光沢感を細かく表現することができるため、光沢物の立体感をよりリアルに再現することができる。

なお、このような画像処理は、プリンタ装置にも適用可能である。例えば、オブジェクト毎に鏡面反射か拡散反射かを判別し、判別結果に応じて粒度の異なるインクを用いることにより、材質の質感を紙面上で表現することができる。また、これらの画像処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

（透明薄板） 次に、透明薄板２の具体例について説明する。透明薄板２は、ディスプレイ装置の前面に位置し、微細な大きさで２次元アレイ状に区切ることで各々の区切り単位毎に表面が鏡面反射（グレア）か拡散反射（アンチグレア）かを切り替えられる機能を有し、視聴環境上の外光反射を制御することでディスプレイ装置の表示画像の光沢感を制御する。具体的には、透明薄板２の表面粗さを所定領域毎に変化させる。ここで、透明薄板２は、開口率７５％以上の透過型であることが好ましい。また、画素（微小領域）毎に鏡面反射と乱反射とをアクティブ制御可能なものが好ましく、８ｍｓ以下で高速応答するものが好ましい。

また、透明薄板２のアンチグレア表面の凹凸の算術平均粗さＲａは、０．０５μｍ〜０．２５μｍ程度であることが好ましい。この範囲内の算術平均粗さＲａにより、意図する乱反射を得ることができる。なお、凹凸の算術平均粗さＲａは、下記式に示すように、粗さ曲線からその平均線の方向に基準長さｌだけ抜き取り、この抜き取り部分の平均線から測定曲線までの偏差の絶対値を合計し、平均した値を表したものである。

また、透明薄板２のアンチグレア表面の凹凸の平均間隔Ｓｍは、３０μｍ〜６０μｍ程度であることが好ましい。この範囲内の平均間隔Ｓｍにより、画素と干渉して解像度が低下することや、ざらつきになってしまうことを防ぐことができる。なお、凹凸の平均間隔は、下記式に示すように、粗さ曲線からその平均線の方向に基準長さｌだけ抜き取り、１つの山及びそれに隣り合う１つの谷に対応する平均線の長さの和を求め、平均値を表したものである。

図１４は、透明薄板２の第１の具体例を示す図である。第１の具体例は、透明薄板２をＭＥＭＳ（Micro Electro Mechanical Systems）技術を用いて作製したものである。ＭＥＭＳ技術を用いたディスプレイ装置については、論文（泰井、肥後「プラスチックＭＥＭＳ技術を用いた透過型カラーディスプレイ」（電気学会マイクロマシン・センサシステム研究会平成１８年５月、ＭＳＳ−０６−２７）等を参照することができる。

この透明薄板２は、透明基板２１１と、下部透明電極２１２と、透明スペンサ２１３と、上部透明電極２１４と、透明フィルム２１５とがこの順番で積層されている。

透明基板２１１は、ガラス基板等から形成されている。下部透明電極２１２は、ＩＴＯ（酸化インジウムスズ）等から成り、画素に対応して複数に分割され、独立に制御可能となっている。透明スペンサ２１３は、シリコン酸化膜等から成り、画素に対応して格子状に形成され、各格子内に空気層を形成する。透明フィルム２１５は、ＳｉＮ、ＳｉＣ、ダイヤモンド、透明な高分子等の柔軟性を有するメンブレンであり、電圧オンの状態と電圧オフの状態により空気層のある状態とない状態とを切り替え、表面粗さを変化せることができる。

作製方法は、まず透明基板２１１上に下部透明電極２１２となる例えばＩｎ−Ｚｎ−Ｏ系金属を真空蒸着する。その上に絶縁膜である例えばシリコン酸化膜をスパッタリングにより成膜する。さらにその上に空気層を形成するための透明スペンサ２１３をスピンコートにより成膜し、画素サイズに合わせてパターニングする。上部電極２１４は、例えば高分子膜のＰＥＮ（polyethylene naphthalate）フィルム上に真空蒸着により成膜され、最後に下部基板と貼り合わされる。

図１４（Ａ）は電圧オフの透明薄板２の状態を示す断面図であり、図１４（Ｂ）は電圧オンの透明薄板２の状態を示す断面図である。電圧オフの状態では、透明フィルム２１５が張っているためグレア（鏡面反射）となる。一方、電圧オンの状態では、静電引力により透明フィルム２１５がたわんで凸凹となり、拡散反射が起きてアンチグレアになる。

このように透明薄板２にＭＥＭＳ技術を用いることにより、液晶の数千倍の高速応答（１μｓ）を実現することができ、入力画像のオブジェクト毎に表面反射（グレア／アンチグレア）を制御することができる。

図１５は、透明薄板２の第２の具体例を示す図である。第２の具体例は、透明薄板２の表面の突起物（起毛）を電界により動作させるものである。電圧（電界）で突起物を動作させる方法として、特表２００７−５１１６６９号公報を参照することができる。

この透明薄板２は、透明導電板２２１と、起毛２２２とがこの順番で積層されている。透明導電板２２１は、ＩＴＯ等から成り、画素に対応して複数に分割され、それぞれ独立に通電可能となっている。起毛２２２は、ポリエステル等の透明な高分子から成り、正の電荷又は負の電荷に帯電している。

図１５（Ａ）は電圧オフの透明薄板２の状態を示す断面図であり、図１５（Ｂ）は電圧オンの透明薄板２の状態を示す断面図である。電圧オフの状態では、透明薄板２と垂直方向に起毛２２２が植毛されているため、入射光が起毛２２２によって拡散反射される。一方、電圧がオンの状態では、電界が生じるため、起毛２２２が寝てグレア（鏡面反射）となる。

このように正又は負に帯電した起毛を電界により動作させることにより、表面反射を制御することができる。なお、電源の極性を反転することにより、起毛を動作させることとしてもよい。

図１６は、透明薄板２の第３の具体例を示す図である。第３の具体例は、温度により状態変化する物質を透明薄板２に用い、温度により表面反射を制御するものである。この透明薄板２は、透明物質２３１と、加熱素子２３２とがこの順番で積層されている。また、透明薄板２と反対側の表示パネル３には、冷却素子２３３が貼着されている。

透明物質２３１は、温度により液体（又はゲル）と固体（又はゾル）に可逆的に変化する透明な高分子を用いることができる。このような高分子としては、例えば、疎水化ポリエチレングリコールを挙げることができる。加熱素子２３２は、画素に対応して複数に分割され、独立に制御可能となっている。この加熱素子２３２としては、例えば、ＩＴＯの抵抗値を調整したものを用いることができる。冷却素子２３３は、例えば、ペルチエ素子等から成り、画素に対応して複数に分割され、独立に制御可能となっている。なお、冷却素子が微小領域毎に配置することができない場合、画面の全面に配置した上、非表示期間（垂直ブランキング期間）に冷却を行ってもよい。

図１６（Ａ）は冷却時の透明薄板２の状態を示す断面図であり、図１６（Ｂ）は加熱時の透明薄板２の状態を示す断面図である。冷却状態では、透明物質２３１が固体（又はゾル）状態となるため、入射光が透明物質２３１によって拡散反射される。一方、加熱状態では、透明物質２３１が液体（又はゲル）状態となるため、入射光が透明物質２３１によって鏡面反射される。

このように温度変換により状態変化が生じる物質を用いることにより、表面反射を制御することができる。このようなデバイスは、応答速度を問題としない大型の電子広告板等に用いることができる。

また、上述した第１〜第３の具体例は、透明薄板２の表面状態が物理的に変化するものであるため、図１７に示すように透明薄板２上に保護ネット２１を設け、指やほこりが透明薄板２の表面に接触することを防止することが望ましい。

以上のようにディスプレイ装置の画面上において、透明薄板２が非常に微細な領域まで光沢／非光沢を制御するため、光沢感の有無の表現を従来よりも向上させることができる。また、透明薄板２は、ディスプレイ装置の表面に追加すればよく、また、
後付けも可能であり、表示デバイスの種類を問わず応用製品の範囲が非常に広い。

［第２の実施の形態］
図１８は、第２の実施の形態に係る表示装置の全体構成を示す図である。この第２の実施の形態では、第１の実施の形態のように表面反射特性をアクティブに変える透明薄板２の代わりに、表面反射特性が固定された透明薄板６を用い、反射特性が異なる画素の発光を制御するようにしたものである。例えば、オブジェクトが光沢物である場合、表面粗さが小さい領域に対応する画素を発光させてオブジェクトを表示する。なお、第１の実施の形態に係る表示装置と同様の構成には、同一符号を付して説明を省略する。

第２の実施の形態に係る表示装置は、入力画像信号から画像の光沢領域を検出し、検出結果に基づいて透明薄板２に光沢感制御信号を出力すると共に、出力画像信号を出力する光沢感処理部１と、表示パネル３の前面に設けられ、所定領域毎に反射特性が固定された透明薄板６と、光沢感制御信号に基づいて反射特性が固定された所定領域を選択する領域選択部７と、選択された反射特性の画素を発光させ、画像を表示する表示パネル３とを備えている。

光沢感処理部１は、第１の実施の形態と同様であり、入力画像信号からオブジェクト毎に光沢領域か非光沢領域かを判別し、光沢領域を鏡面反射（グレア）させ、非光沢領域を拡散反射（アンチグレア）させる光沢感制御信号を領域選択部７に出力する。また、光沢感処理部１は、光沢領域及び非光沢領域が明瞭となるように入力画像信号の輝度情報等を最適化する。

領域選択部７は、光沢感制御信号に基づいて透明薄板６上のグレア領域、アンチグレア領域の少なくとも一方を発光させるように出力画像信号を表示パネル３に出力する。また、領域選択部７は、透明薄板６の微小な区切り単位のグレア／アンチグレアの位置と、表示パネル３の画素位置(ｘ，ｙ)との対応関係を、ＲＯＭ等に記憶している。

透明薄板６は、図１９に示すように、表面が微細な大きさ毎に鏡面反射（グレア）と拡散反射（アンチグレア）の各々の領域に仕切られている。例えば、表示パネル３１がグレアの場合、アンチグレアの薄板（シート）６１に穴ａを開けることで、穴ａの開いた領域は、グレアの表面状態（透明薄板６とは逆の反射特性）となり、穴ａの開いてない領域と合せて、２つの反射特性を持つことができる。

このようにグレア（又はアンチグレア）な薄板に微少な穴開け加工を施すことにより、容易にグレア／アンチグレアの領域を分けることができる。なお、この穴開け方式の場合、穴ａの断面が光を屈折する可能性があり、穴ａの断面部は遮光することが好ましい。

また、透明薄板６のアンチグレア領域の凹凸の算術平均粗さＲａは、０．０５μｍ〜０．２５μｍ程度であることが好ましい。この範囲内の算術平均粗さＲａにより、意図する乱反射を得ることができる。なお、凹凸の算術平均粗さＲａは、上記（１）式に示すように、粗さ曲線からその平均線の方向に基準長さｌだけ抜き取り、この抜き取り部分の平均線から測定曲線までの偏差の絶対値を合計し、平均した値を表したものである。

また、透明薄板６のアンチグレア領域の凹凸の平均間隔Ｓｍは、３０μｍ〜６０μｍ程度であることが好ましい。この範囲内の平均間隔Ｓｍにより、画素と干渉して解像度が低下することや、ざらつきになってしまうことを防ぐことができる。なお、凹凸の平均間隔は、上記（２）式に示すように、粗さ曲線からその平均線の方向に基準長さｌだけ抜き取り、１つの山及びそれに隣り合う１つの谷に対応する平均線の長さの和を求め、平均値を表したものである。

また、透明薄板６のグレア／アンチグレアの領域は画面全体に亘って均一に配置されていることが好ましい。例えば、市松模様、水玉模様、格子模様、縞模様等に各領域が配置されていることが好ましい。特に、画素毎に市松模様にグレア／アンチグレアの領域を配置することにより、解像度を高めることができる。

このような透明薄板６は、例えば、グレア表面に市松模様にマスキングしてアンチグレア材料を塗布し、マスキングを除去することにより作製することができる。アンチグレア材料としては、例えば、ルシフラール（商標）ＮＡＧ（日本ペイント社製）等を用いることができる。

図２０は、透明薄板６の表面反射特性の制御を説明するための図である。この透明薄板６は、画素に対応してマトリクス状にグレア面とアンチグレア面とを配置したものである。具体的には、表示パネル３１がグレアの場合、アンチグレアの薄板６１に対応するアンチグレア画素３１ａ及び穴ａに対応するグレア画素３１ｂの発光を制御することにより、表面反射特性を制御する。

例えば、図２０（Ａ）に示すようにグレア画素３１ｂを発光させた場合、入射光が鏡面反射されるため、グレア画素３１ｂで表示されたオブジェクトに光沢感を与えることができる。また、図２０（Ｂ）に示すようにアンチグレア画素３１ａを発光させた場合、入射光が拡散反射されるため、アンチグレア画素３１ａで表示されたオブジェクトの光沢を防ぐことができる。また、図２０（Ｃ）に示すようにアンチグレア画素ａ及びグレア画素３１ｂを発光させた場合、入射光が鏡面反射と拡散反射の両方になるため、オブジェクトに中間的な光沢感を与えることができる。

このように光沢オブジェクトに関してはグレア領域下部の画素のみを選択して発光させ、非光沢オブジェクトに関してはアンチグレア領域下部の画素のみを選択して発光させることにより、画像（オブジェクト）の光沢感と立体感を高めることができる。

第１の実施の形態に係る表示装置の全体構成を示す図である。 透明薄板及び表示パネルの構成を模式的に示す図である。 透明薄板に入射される入射光と反射光とを模式的に示す図である。 光沢感処理部の構成を示す図である。 光沢感処理部の処理を説明するための図である。 エッジ抽出部の構成例を示す図である。 エッジ抽出部の他の構成例を示す図である。 他のコンポーネントで処理した境界画像を示す図である。 外光反射領域検出部の構成例を示す図である。 拡張処理部の構成例を示す図である。 光沢度判定部の構成例を示す図である。 光沢領域の等高線図である。 非光沢領域の等高線図である。 透明薄板の第１の具体例を示す図である。 透明薄板の第２の具体例を示す図である。 透明薄板の第３の具体例を示す図である。 透明薄板上に保護ネットを設ける例を示す図である。 第２の実施の形態に係る表示装置の全体構成を示す図である。 透明薄板及び表示パネルの構成を模式的に示す図である。 透明薄板の表面反射特性の制御を説明するための図である。

符号の説明

１ 光沢感処理部、２ 透明薄板、３ 表示パネル、４ 光沢感制御部、５ 輝度値最適化部、６ 透明薄板、７ 領域選択部、２１ 保護ネット、３１ 表示パネル、４１ 分離部、４２ エッジ抽出部、４３ 外光反射領域検出部、４４ 拡張処理部、４５ 光沢度判定部

Claims (5)

1. 入力画像から外光反射領域を検出する検出手段と、
   上記入力画像からオブジェクトのエッジを抽出するエッジ抽出手段と、
   上記外光反射領域を上記エッジまで拡張する拡張手段と、
   上記外光反射領域の光沢度を判定する判定手段と、
   上記光沢度の判定結果に基づいて上記オブジェクト毎に光沢領域を抽出する抽出手段と
   を備える画像処理装置。
2. 上記判定手段は、上記外光反射領域が鏡面反射か否かを判定し、
   上記抽出手段は、上記外光反射領域が鏡面反射の場合、当該外光反射領域を光沢領域として抽出することを特徴とする請求項１記載の画像処理装置。
3. 上記判定手段は、上記外光反射領域のＲＧＢ画像のＢプレーンの強度分布に基づいて上記外光反射領域が鏡面反射か否かを判定することを特徴とする請求項２記載の画像処理装置。
4. 入力画像から外光反射領域を検出する検出工程と、
   上記入力画像からオブジェクトのエッジを抽出するエッジ抽出工程と、
   上記外光反射領域を上記エッジまで拡張する拡張工程と、
   上記外光反射領域の光沢度を判定する判定工程と、
   上記光沢度の判定結果に基づいて上記オブジェクト毎に光沢領域を抽出する抽出工程と
   を有する画像処理方法。
5. 入力画像から光沢領域を抽出する処理をコンピュータに実行させるためのプログラムであって、
   入力画像から外光反射領域を検出する検出工程と、
   上記入力画像からオブジェクトのエッジを抽出するエッジ抽出工程と、
   上記外光反射領域を上記エッジまで拡張する拡張工程と、
   上記外光反射領域の光沢度を判定する判定工程と、
   上記光沢度の判定結果に基づいて上記オブジェクト毎に光沢領域を抽出する抽出工程と
   を有するプログラム。

Images