JP5434265B2 - 領域分類装置、画質改善装置、映像表示装置、およびそれらの方法 - Google Patents

Description

本発明は、テレビやデジタルカメラにおいて用いる領域分割装置および画質改善装置に関する。

従来のノイズ低減やエッジ強調などの画像処理は画面全体に処理を行う。そのため、不必要な部分にまで処理が行われ画質低下の要因となる。例えば、ノイズ低減処理は、輪郭部分などのぼやけの要因となる。また、エッジ強調処理は、エッジだけでなくノイズまでも強調し、画質劣化の要因となる。

この改善策として、部分ごとの複雑さに応じて適応的に処理することで画質劣化に対応する方法が開発されている。人間の視覚特性上、平坦な部分に存在するノイズは目立つが、複雑な部分ではノイズは目立ちにくい。このため、ノイズ低減処理は平坦な部分だけに行えば、輪郭部分のぼやけによる画質劣化を抑えつつ主観的にはノイズ低減効果が得られる。また、エッジ強調処理に関しても、複雑な部分にのみ処理を行うことで、平坦な部分でのノイズの強調を抑え、画質の向上が見込める。

例えば、特許文献１に開示された手法では画像の局所的な情報を利用して、部分ごとに複雑さを算出し、それに応じた処理を行うことで画質劣化に対応している。
この手法において出力画像の画素値Ｏ（ｉ、ｊ）は、入力画像の画素値Ｉ（ｉ、ｊ）、入力画像の位置（ｉ、ｊ）を中心とした近傍の画素の平均画素値Ａ（ｉ、ｊ）、係数ｋを用いて式（１）及び式（２）のように示される。

Ａ（ｉ、ｊ）は、入力画像の位置（ｉ、ｊ）を中心とした近傍の平均画素値であるので、画素値Ａ（ｉ、ｊ）の画素からなる平均値画像は入力画像の低周波成分を示している。このためＩ（ｉ、ｊ）とＡ（ｉ、ｊ）との差を画素値とする差分画像は、入力画像の高周波成分となる。従ってｆ（ｘ）が１より大きくなるにつれて、出力画像は入力画像の高周波成分がより強調されたエッジ強調画像となる。一方、ｆ（ｘ）が１より小さくなるにつれて、入力画像に対して平均値画像の比率が大きくなるため、出力画像はより平滑化されたノイズ低減画像となる。

この手法では、ｆ（ｘ）の値を局所的な複雑さに応じて変えることによって画質劣化に対応している。複雑さとしては注目画素近傍の所定領域内における分散や平均絶対偏差を用いる方法が提案されている。例えば、入力画像の位置（ｉ、ｊ）を中心とした近傍の分散Ｖ（ｉ、ｊ）をｘとしてｆ（ｘ）に代入する。これによりＶ（ｉ、ｊ）＞ｋならばエッジ強調処理が、Ｖ（ｉ、ｊ）＜ｋならばノイズ低減処理が実行される。

特開平８−３１７２５５号公報

しかし、上述の手法では複雑さに応じた補正量で処理が行われているため、処理が必要な部分に対しても弱い補正しかされない場合がある。例えば、エッジ強調の場合、エッジ強調が必要なややぼやけたエッジ部分では分散や平均絶対偏差はそれほど高くないため、補正量は小さくなる。ある基準点で明確に複雑な部分と平坦な部分に分け、複雑な部分にはエッジ強調を、平坦な部分にはノイズ低減を同じ補正量で処理すれば、この問題は生じない。しかし、その場合、粗い模様では模様内に複雑とみなされる部分と平坦とみなされる部分が混在する可能性がある。これにより、模様内で処理の切り替えが生じ、質感が不均一になり、場合によっては不自然な境界が発生することもある。

この発明は、上述のような課題を解消するためになされたものであり、互いに類似した特徴を有する画素から構成される領域に入力画像を分割する領域分割部と、前記領域分割部により得られた各領域の広さ情報を取得する広さ算出部と、前記広さ算出部により得られた広さ情報を基に各領域の種別を判定する判定部と、前記領域分割部により得られた分割結果と前記判定部により得られた各領域の判定結果に基づき画素ごとの分類結果を生成する分類結果生成部とを備えた領域分類装置において、前記領域広さ算出部は、各領域に属する画素数をその領域の広さ情報とする領域分類装置を提供するものである。

本発明によれば、粗い模様部分をまとめて同じ種別に分類することが可能となる。これにより、本発明による分類結果を用いた適応処理実行時に処理の切り替えによる不自然な境界の発生を防ぎ、かつ、補正の必要な部分に適切に補正を行うことで高い画質改善効果が得られる。

本発明の実施の形態１に係る領域分類装置を示す構成図である。 本発明の実施の形態１および２に係る領域分類装置の領域分割部を説明する図である。 本発明の実施の形態１に係る領域分類装置の判定部の動作を示すフローチャートである。 本発明の実施の形態１および２に係る領域分類装置のエッジ部の分類を説明する図である。 本発明の実施の形態２に係る領域分類装置を示す構成図である。 本発明の実施の形態２に係る領域分類装置の近傍領域を説明する図である。 本発明の実施の形態２に係る領域分類装置の相対評価による判定部の流れを示すフローチャートである。 本発明の実施の形態２に係る領域分類装置の近傍領域が存在しない例を説明する図である。 本発明の実施の形態２に係る領域分類装置の特徴を説明する図である。 本発明の実施の形態３に係る画質改善装置を示す構成図である。 本発明の実施の形態３に係る画質改善装置の画像処理部を説明する構成図である。 本発明の実施の形態４に係る画質改善装置を示す構成図である。 本発明の実施の形態４に係る画質改善装置のパラメータ可変画像処理部を説明するブロック図である。 本発明の実施の形態５に係る映像表示装置を示す構成図である。

実施の形態１．
図１はこの発明の実施の形態１の領域分類装置の構成を示す構成図である。
本実施の形態の領域分類装置１００は、入力画像に対して画像内の領域の分類を行い、その分類結果を出力する装置であり、領域分割部１、広さ算出部２、判定部３、及び分類結果生成部４から構成される。
この装置は適応的な画像処理による画質改善に利用でき、テレビやモニターなどの映像表示装置、デジタルカメラへの搭載、さらには、パーソナルコンピュータ上での画像処理への適用等が考えられる。

領域分割部１では、入力画像を類似した特徴を持つ領域ごとに分割し、その結果を、例えば各画素が所属する領域の番号を示すラベル情報として、広さ算出部２と分類結果生成部４に出力する。分割する際に用いる特徴としては色や輝度、分散、勾配情報などがある。本実施の形態では、一例として輝度が近い領域ごとに分割する。

輝度が近い領域ごとに分割する例を図２によって説明する。図２（ａ）は領域分割を行う前の原画像である。図２（ａ）に対して輝度が近い領域ごとに分割を行った結果が、図２（ｂ）である。図２（ｂ）において、太い枠は領域の境界を示している。図２（ａ）において、５は大きな面積の領域において輝度の変化が小さい部分である。領域分割の結果、大きな面積の領域において輝度の変化が小さい部分５は、図２（ｂ）の７に示すように１つの領域として分割される。一方、図２（ａ）において６は隣り合う小さな面積の領域ごとに輝度の変化が大きい模様の部分である。領域分割の結果、この模様の部分６は図２（ｂ）の８に示すように複数の小領域に分割される。

広さ算出部２では、領域分割部１で得られた分割結果に基づいて各領域の広さを算出し、判定部３に出力する。本実施の形態では、領域の広さとして、その領域を構成する画素数を用いる。

判定部３では、広さ算出部２から出力された各領域の広さ情報を受けて、各領域を広さに基づいて定義される種別ごとに分類する。領域分割部１で入力画像がＮ個の領域に分割された場合、本実施の形態では、図３に示す手順に従って領域を平坦部、複雑部に分類する。なお、図３においてＡ［ｉ］は領域の番号がｉである領域（以下では、領域ｉと呼ぶ）の広さ、Ｔｈ１は分類のための閾値でＴｈ１＞０である。

閾値Ｔｈ１の設定方法は、画像のサイズや解像度に応じて設定してもよいし、可変にしておき、ユーザの好みに応じて設定できるようにしてもよい。また、テレビなどに搭載する場合には、表示する映像の内容に応じて設定を変えてもよい。

図３に示す手順では、まず、判定中の領域の番号に相当するｉを１に初期化する（Ｓ１）。そして、領域ｉの広さと閾値Ｔｈ１とが比較される（Ｓ２）。ここで広さがＴｈ１よりも大きい領域は平坦部に分類され（Ｓ３）、広さがＴｈ１以下の領域は複雑部に分類される（Ｓ４）。領域ｉの分類が終わったら、ｉに１を加算し次の領域の判定に移る（Ｓ５）。このとき、領域番号が画像内に存在する領域の数Ｎを超えているかどうかを判定し（Ｓ６）、超えていた場合は判定処理を終了し、超えていない場合は判定処理を継続する。

この分類方法に従った場合、図２（ａ）の画像に対しては図２（ｃ）のような分類結果が得られる。図２（ａ）において、大きな面積の領域において輝度の変化が小さい部分５が平坦部、隣り合う小さな面積の領域ごとに輝度の変化が大きい模様の部分６が複雑部に分類されていることがわかる。このように領域の広さ情報を利用して領域の複雑さを判断することが可能である。

領域の広さ情報を利用して領域の複雑さを判断できる理由について説明する。本実施の形態において、入力画像を輝度の近い領域ごとに分割しているため、領域内部の輝度の変化は小さいが、領域の境界では輝度の変化は大きい。そのため、小領域は周囲との輝度の変化が大きい模様のような部分の一部と判断できる。このため、領域の広さ情報を利用することで領域の複雑さを判断できる。

図１の説明に戻る。分類結果生成部４では、領域分割部１で得られた分割結果（各画素が所属する領域の番号を示すラベル情報）と判定部３で得られた判定結果を入力として受け取り、分類結果を出力する。分類結果は、例えば各画素が所属する領域の種別に対応した値を画素値とする多値画像として出力する。領域をｎ個の種別に分類する場合、分類結果はｎ値画像となる。

なお、広さ算出部２において、上記の例では領域を構成する画素数を広さ情報としたが、広さ情報の取得方法はこれに限らない。例えば、領域を完全に囲むことができる矩形を検出し、その大きさを広さ情報として用いることもできる。例えば、領域に外接する長方形の大きさを広さ情報としても良い。

また、判定部３において、上記の例では広さ情報のみで領域の種別を判定しているが、その他の情報を追加して利用することもできる。例えば、領域を完全に囲むことができる最小の矩形を検出し、そのアスペクト比を追加情報として用いてもよい。例えば、横方向に延びる細線のような領域は、横方向には輝度の変化が小さいため分割が起こらないが、一方で縦方向には輝度の変化が大きいため細かく分割されている。したがって、縦方向に関しては変化の大きい複雑な領域である。このような広くてもアスペクト比が極端な領域を複雑部と判定するために、例えば、縦横の長さにおいて、一方がもう一方の１０倍以上のとき、その領域を複雑部とする条件を領域の種別の判定に追加してもよい。なお、アスペクト比は、広さ算出部２において、領域を完全に囲むことができる矩形の大きさを広さ情報とした場合には、その矩形のアスペクト比を利用することができる。さらに領域の広さとアスペクト比の両方を考慮して、種別を判定することも可能である。

また、判定部３において、上記の例では領域を平坦部、複雑部の２つの種別に分類したが、閾値の数を増やし３つ以上の種別に分類してもよい。例えば、新たに中間部を設定し、広い領域を平坦部、狭い領域を複雑部、その中間の領域を中間部に分類してもよい。

また、判定部３において、図３の流れによって分類した後、エッジ部分を他の部分とは別に分類することもできる。このことを図４によって説明する。図４（ａ）に示す高輝度と低輝度の２つの領域からなる画像に対して領域分割処理を行った場合、図４（ｂ）に示す領域分割結果のように２つの領域に分割される。領域の境界部分では輝度の変化が大きいため、この周辺をエッジ部分と判断し、図４（ｃ）のように分類できる。このように平坦部に分類された領域が他の平坦部に分類された領域と隣接する場合、隣接する部分を新たにエッジ部と分類することで容易にエッジ部分を他の部分とは別に分類できる。

本実施の形態によれば、粗い模様において模様内に複数の種別の領域が混在することを防ぎ、質感ごとに統一された分類結果が、簡単な演算処理によって得られる。

実施の形態２．
実施の形態１の領域分類装置では、領域の広さについて閾値処理を行うことによって、粗い模様部分を同じ種別に分類することができる。このとき、どの程度の粗さまで同じ模様と判断するかは閾値に依存する。例えば、より広い領域から成る模様部分を複雑部として分類したい場合、複雑部の分類に用いる閾値Ｔｈ１を大きな値に設定すればよい。しかし、閾値を大きくしすぎると、模様とは関係のない領域が模様と一緒に複雑部と判定される可能性も生じる。画像によって存在する模様の粗さは異なるため、領域単体と閾値を比較する絶対的な広さの評価を行う実施の形態１の分類方法では、模様と模様とは関係のない領域を判断して区別する対応が難しい場合がある。そこで、本実施の形態においては、画像による模様の粗さの違いに対応できる領域分類装置について述べる。

図５はこの発明の実施の形態２の領域分類装置の構成を示す構成図である。
本実施の形態の領域分類装置２００は、入力画像に対して画像内の領域の分類を行い、その分類結果を出力する装置であり、領域分割部１、広さ算出部２、相対評価による判定部９、及び分類結果生成部４から構成される。
この装置は適応的な画像処理による画質改善に利用でき、テレビやモニターなどの映像表示装置、デジタルカメラへの搭載、さらには、パーソナルコンピュータ上での画像処理への適用等が考えられる。

本実施の形態の領域分類装置と実施の形態１の領域分類装置との相違点は、判定部３の代わりに相対評価による判定部９を置いている点である。判定部３では領域単体と閾値を比較する絶対的な広さの評価を行っていたが、相対評価による判定部９では、判定を行う領域とその周囲の領域との相対的な広さの評価によって領域の分類を行う。領域分割部１、広さ算出部２、及び分類結果生成部４の動作については実施の形態１と同様であるため、説明を省略する。

相対評価による判定部９では、広さ算出部２から出力された各領域の広さ情報を用いて、各領域について周囲の領域と広さを比較し種別ごとに分類する。広さの比較は、判定の対象となる注目領域とその近傍領域について行う。ここでは、近傍領域を注目領域の中心から距離Ｄｔｈ以内に中心を持つ領域と定義する。ある領域を構成する画素数をＭ、その領域に属する画素の番号がｉである画素（以下では、画素ｉと呼ぶ）の座標を（ｘ［ｉ］、ｙ［ｉ］）とし、領域を構成する画素の集合をＵ＝｛（ｘ［ｉ］、ｙ［ｉ］）｝（１＜＝ｉ＜＝Ｍ）とすると、その領域の中心（Ｘ、Ｙ）は画素の集合Ｕの各画素の座標の平均値であり、式（３）及び（４）によって算出される。また、注目領域の中心を（Ｘ１、Ｙ１）、近傍領域の中心を（Ｘ２、Ｙ２）とすると、近傍領域の定義は式（５）のように表せる。

図６に注目領域と近傍領域の関係を示す。図６において、黒点は各領域の中心である。注目領域の中心から距離Ｄｔｈ以内に中心がある全ての領域が近傍領域となる。

本実施の形態における分類の流れを図７に示す。なお、図７においてＡ［ｉ］は注目領域ｉの広さ、Ｍｅａｎ（ｉ）は注目領域ｉの近傍領域の広さの平均値、ＮＡは注目領域ｉの近傍領域を示す領域番号、Ｎは画像内に存在する領域の数、ｋ１とｋ２は予め定められた定数（ｋ１＞１、０＜ｋ２＜１）、Ｔｈ２は閾値（Ｔｈ２＞０）である。

まず、判定中の領域の番号に相当するｉを１に初期化する（Ｓ１１）。そして、領域ｉに対する近傍領域が存在しているかどうかを判定する（Ｓ１２）。上述した近傍領域の定義に従って、注目領域以外の領域について、その領域の中心が注目領域の中心から距離Ｄｔｈ以内ならば近傍領域とする。もし、注目領域に近傍領域が存在しなければ、実施の形態１のような領域単体と閾値を比較する絶対的な広さの評価により注目領域を分類する（Ｓ１３）。この理由を近傍領域が存在しない場合の例を示した図８を用いて説明する。近傍領域が存在しない場合としては、図８（ａ）のように注目領域が広い場合や図８（ｂ）のように注目領域に隣接する領域が広い場合が考えられる。このように注目領域の大きさによらず近傍領域が存在しない可能性は有り得るため、Ｓ１２の判定だけでは注目領域の広さを把握できず、Ｓ１３のように絶対的な広さの評価により注目領域の分類が必要である。

次に注目領域の広さと近傍領域の広さの平均を比較する。まず、注目領域の広さが近傍領域の広さの平均のｋ１倍よりも大きいかどうかを判定する（Ｓ１４）。注目領域の広さが近傍領域の広さの平均値のｋ１倍よりも大きければ注目領域を平坦部に分類する（Ｓ１５）。ｋ１の大きさを調整することで、注目領域と近傍領域の比がどの程度なら平坦部に分類されるかを調整できる。ここで、平坦部と判定されなかった場合、注目領域の広さが近傍領域の広さの平均値のｋ２倍よりも小さいかどうかを判定する（Ｓ１６）。注目領域の広さが近傍領域の広さの平均値のｋ２倍よりも小さければ注目領域を複雑部に分類する（Ｓ１７）。ｋ２の大きさを調整することで、注目領域と近傍領域の比がどの程度なら複雑部に分類されるかを調整できる。

ここまでの判定で分類が決まらない場合、さらに、注目領域である領域ｉと全ての近傍領域ｘについて広さを比較する（Ｓ１８）。全ての近傍領域ＮＡにおいて、その広さと注目領域の広さの差の絶対値が閾値Ｔｈ２以下ならば、注目領域を複雑部に分類する（Ｓ１９）。差の絶対値がＴｈ２より大きくなる近傍領域ｘがひとつでも存在した場合には、注目領域を平坦部に分類する（Ｓ２０）。領域ｉの分類が終わったら、ｉに１を加算し次の領域の判定に移る（Ｓ２１）。このとき、領域番号が画像内に存在する領域の数Ｎを超えているかどうかを判定し（Ｓ２２）、超えていた場合は判定処理を終了し、超えていない場合は判定処理を継続する。

なお、実施の形態１及び本実施の形態においては、領域を分割する際に輝度情報を用いたが、輝度情報の代わりに色や分散、勾配情報を用いても同様の効果が得られる。

本実施の形態によれば、画像による模様の粗さの違いに対応できるため、図９（ａ）に示すような小領域ではあるが周囲に比べれば大きい異質な部分１０を、図９（ｂ）のように相対的な広さの評価によって異なる領域として適切に分類することができる。

実施の形態３．
図１０はこの発明の実施の形態３の画質改善装置の構成を示す構成図である。
本実施の形態の画質改善装置３００は、入力画像に対して画質改善処理を行った画質改善画像を出力する装置であり、領域分類部１１と画像処理部１２から構成される。
この装置は適応的な画像処理による画質改善に利用でき、テレビやモニターなどの映像表示装置、デジタルカメラへの搭載、さらには、パーソナルコンピュータ上での画像処理への適用等が考えられる。

領域分類部１１では、画像を複数の領域に分割し、その領域の広さによって各領域を幾つかの種別に分類する。具体的には、実施の形態１または実施の形態２で示した領域分類装置１００または２００と同等の機能を有する装置により実現される。

画像処理部１２は、例えば、図１１のような構成である。入力画像と領域分類部１１からの出力である分類結果を入力、画質改善画像を出力とするものであり、ノイズ低減処理部１３、エッジ強調処理部１４、及び処理制御部１５から成る。また、図において１６、１９はセレクタ、１７、１８、２０、２１は接続端子を示している。入力画像は、セレクタ１６と１９の切り替えによりノイズ低減処理部１３またはエッジ強調処理部１４のいずれかを通過し、画質改善画像として出力される。セレクタ１６、１９の切り替えは、分類結果を基に処理制御部１５で生成された制御信号によって制御される。

ノイズ低減処理部１３では入力された画像に対してノイズ低減処理を行い、その結果を画質改善画像として出力する。ノイズ低減処理は、画素位置（ｉ、ｊ）における入力画像の画素値をＩ（ｉ、ｊ）、出力画像の画素値をＯｓｍｏｏｔｈ（ｉ、ｊ）とすると、例えば式（６）に示す処理である。

エッジ強調処理部１４では入力された画像に対してエッジ強調処理を行い、その結果を画質改善画像として出力する。エッジ強調処理は、画素位置（ｉ、ｊ）における入力画像の画素値をＩ（ｉ、ｊ）、出力画像の画素値をＯｓｈａｒｐ（ｉ、ｊ）とすると、例えば式（７）に示す処理である。

処理制御部１５では、分類結果を基にセレクタ１６と１９の切り替えを制御する制御信号を生成する。これにより、入力画像に対してノイズ低減処理とエッジ強調処理のどちらを実行するかを制御する。分類結果が平坦部を示す信号であれば、処理制御部１５ではセレクタ１６を端子１７、セレクタ１９を端子２０に動かすための制御信号を出力し、結果として入力画像にノイズ低減処理が実行される。分類結果が複雑部を示す信号であれば、セレクタ１６を端子１８に、セレクタ１９を端子２１に動かすための制御信号を出力し、結果として入力画像にエッジ強調処理が実行される。これにより、人間の視覚特性上ノイズが目につきやすい平坦部ではノイズ低減処理、複雑部ではぼやけを補正し先鋭感を向上させるエッジ強調処理が実行され画質が改善する。

本実施の形態によれば、粗い模様部分を同じ種別の領域と判断して同じ処理を実行するため、処理の切り替えによる不自然な境界の発生を防ぎ、かつ、補正の必要な部分に適切に補正を行うことで高い画質改善効果が得られる。

実施の形態４．
実施の形態３に示した画質改善装置により、模様部分において処理の切り替えによる不自然な境界の発生を防ぎ、かつ、補正の必要な部分に適切に補正を行うことで高い画質改善効果が得られる。しかし、ユーザによって好みの画質は異なるため、幅広いユーザが利用する場合、十分な画質改善効果が感じられないユーザが存在する可能性がある。そこで、本実施の形態では、ユーザの好みに合わせて画質の調整ができる機能を備えることで、この問題を解決する。

図１２は、この発明の実施の形態４の画質改善装置の構成を示す構成図である。
本実施の形態の画質改善装置４００は、入力画像に対して処理設定信号と補正量設定信号によって制御される画質改善処理を行い、その結果である画質改善画像を出力する装置であり、領域分類部１１とパラメータ可変画像処理部２２から構成される。
この装置は適応的な画像処理による画質改善に利用でき、テレビやモニターなどの映像表示装置、デジタルカメラへの搭載、さらには、パーソナルコンピュータ上での画像処理への適用等が考えられる。

本実施の形態の実施の形態３との相違点は、画像処理部１２の代わりにパラメータ可変画像処理部２２を置いている点である。パラメータ可変画像処理部２２では、処理設定信号と補正量設定信号によって処理内容の切り替えが可能である。画像分類部１１の動作については実施の形態３と同様であり、説明を省略する。

パラメータ可変画像処理部２２は、例えば、図１３のような構成である。入力画像と領域分類部１１からの出力である分類結果、画像処理内容の切り替えに係る信号である処理設定信号と補正量設定信号を入力、画質改善画像を出力とするもであり、ノイズ低減処理部２３、エッジ強調処理部２４、及び処理制御部２５から成る。また、図において２６、３０はセレクタ、２７、２８、２９、３１、３２、３３は接続端子を示している。入力画像は、セレクタ２６、３０の切り替えにより、そのまま通過するか、あるいはノイズ低減処理部２３またはエッジ強調処理部２４により画像処理が行われ、画質改善画像として出力される。ノイズ低減処理部２３とエッジ強調処理部２４における補正量は補正量設定信号に応じて変わる。また、セレクタ２６、３０の切り替えは、分類結果と処理設定信号を基に処理制御部２５で生成された制御信号によって制御される。

ノイズ低減処理部２３では入力された画像に対して補正量設定信号に応じた補正量によってノイズ低減処理を行い、その結果を出力する。ノイズ低減処理は、位置（ｉ、ｊ）における入力画像の画素値をＩ（ｉ、ｊ）、出力画像の画素値をＯｓｍｏｏｔｈ２（ｉ、ｊ）、ノイズ低減処理用の補正量設定信号ａ(０＜ａ＜＝１)とすると、例えば式（８）のような処理である。

エッジ強調処理部２４では入力された画像に対して補正量設定信号に応じた補正量によってエッジ強調処理を行い、その結果を出力する。エッジ強調処理は、位置（ｉ、ｊ）における入力画像の画素値をＩ（ｉ、ｊ）、出力画像の画素値をＯｓｈａｒｐ２（ｉ、ｊ）、エッジ強調処理用の補正量設定信号ｂ（０＜ｂ＜＝１）とすると、例えば式（９）のような処理である。

処理制御部２５では、分類結果と処理設定信号を基にセレクタ２６、３０の切り替えを制御する制御信号を生成する。これにより、入力画像に対してノイズ低減処理とエッジ強調処理のどちらを実行するか、またはいずれの処理も行わずにそのまま通過させるかを制御する。分類結果が平坦部を示す信号であれば、処理制御部２５ではセレクタ２６を端子２８、セレクタ３０を端子３２に動かすための制御信号を出力し、結果として入力画像にノイズ低減処理が実行される。分類結果が複雑部を示す信号であれば、セレクタ２６を端子２９に、セレクタ３０を端子３３に動かすための制御信号を出力し、結果として入力画像にエッジ強調処理が実行される。

ただし、処理設定信号によりこれらの処理のオンオフの切り替えが可能である。処理制御部２５においてノイズ低減処理が不要であるという処理設定信号を受け取った場合、分類結果が平坦部を示す信号であれば、セレクタ２６を端子２７、セレクタ３０を端子３１に動かすための制御信号を出力し、結果として入力画像がそのまま出力される。また、エッジ強調処理が不要であるという処理設定信号を受け取り、かつ、分類結果が複雑部を示す信号であった場合にも同様に、セレクタ２６を端子２７、セレクタ３０を端子３１に動かすための制御信号を出力し、結果として入力画像がそのまま出力される。

補正量設定信号や処理設定信号は、ユーザにより設定可能である。例えば、テレビの場合にはリモコン等が設定のための入力装置として利用される。また、パソコンでは、キーボードやマウスで入力できる。
また、入力画像の状態を判断して、自動的に設定されるようにしても良い。例えば、テレビで放送を受信する場合、受信波の強度を測定し、受信状態が良好と判断すれば、ノイズ低減処理を不要とするよう処理設定信号を自動設定するようにしても良い。

本実施の形態によれば、粗い模様部分において処理の切り替えによる不自然な境界の発生を防ぎ、かつ、補正量の変更や処理のオンオフが可能となり、ユーザの好みに応じたより高い画質改善効果が得られる。

実施の形態５．
図１４はこの発明の実施の形態５の映像表示装置の構成を示す構成図である。
本実施の形態の映像表示装置５００は、入力映像に対して映像のコンテンツ情報や時間情報を基づいてユーザの好みに応じた画質改善処理を行い、その結果を出力映像として表示する装置であり、画質改善装置４００、表示部３４、コンテンツ情報取得部３５、時間情報取得部３６、パラメータ記録装置３７から構成される。

画質改善装置４００は、実施の形態４で示したように、映像の各フレームにおいて、画像内の領域を複数の種別に分類し、その分類に応じて処理を切り替えて画質を改善する装置である。画質改善処理の結果は領域の分類のための閾値や画像処理の補正量などのパラメータにより調整可能である。これらの処理パラメータはパラメータ記録装置３７に記録されているパラメータを用いる。

表示部３４では、画質改善装置４００から出力される画質改善映像を受け取り、出力映像として画面に表示する。

コンテンツ情報取得部３５では、コンテンツ情報を取得し、その情報を基にパラメータ記録装置３７にコンテンツに関する制御信号を送る。コンテンツ情報は、例えばデジタルテレビなどの場合、番組表から取得することができる。

時間情報取得部３６では、時間情報を取得し、その情報を基にパラメータ記録装置３７に時間に関する制御信号を送る。時間に関する制御信号は、例えば、「朝」、「昼」、「夜」などの時間帯を示す信号である。また、曜日を示す信号でもよい。

パラメータ記録装置３７では、コンテンツ別、時間帯別に画質改善のためのパラメータを記録する。ここに記録された処理パラメータは、画質改善装置４００において画質を改善する際に参照される。処理パラメータを参照する際にアクセスする位置は、コンテンツ情報取得部３５、時間情報取得部３６から送られる制御信号により制御され、例えば、コンテンツ情報取得部３５から「コンテンツ１」、時間情報所得部３６から「夜」へのアクセスを指示する制御信号が送られた場合、３８に示す位置に記録された処理パラメータが参照される。また、パラメータ記録装置３７はユーザによって処理パラメータが変更された際に、パラメータ設定信号を受け取り、新たな処理パラメータを記録する。処理パラメータの記録位置は、参照時と同様にコンテンツ情報取得部３５と時間情報所得部３６から送られる制御信号によって制御される。

本実施の形態では、画質改善装置４００において処理パラメータを自由に設定できるため、ユーザは自分に適した高画質な映像を楽しむことができる。パラメータ記録装置３７において、コンテンツの種別ごとに処理パラメータを記録する機能を備えているため、記録された処理パラメータを次回の表示に反映させることで、処理パラメータ調整の手間を省くことが可能である。また、時間帯ごとに処理パラメータを記録する機能を備えているため、１台のテレビを複数のユーザが使う場合にも対応できる。また、あらかじめコンテンツの種別ごとに適当な処理パラメータをパラメータ記録装置３７に記録しておくことで、処理パラメータの調整が煩わしいと感じるユーザにも対応できる。

本実施の形態によれば、画像内の領域の種別に応じた適切な処理がユーザの好みに応じた処理パラメータによって行われるため高い画質改善効果が得られるとともに、コンテンツの種別や時間帯に応じて処理パラメータを記録することで処理パラメータ調整の手間を軽減しユーザの負担を軽減することができる。

１００、２００ 領域分類装置
１ 領域分割部
２ 広さ算出部
３ 判定部
４ 分類結果生成部
９ 相対評価による判定部
３００、４００ 画質改善装置
１１ 領域分類部
１２ 画像処理部
１３、２３ ノイズ低減処理部
１４、２４ エッジ強調処理部
１５、２５ 処理制御部
２２ パラメータ可変画像処理部
５００ 映像表示装置
３４ 表示部
３５ コンテンツ情報取得部
３６ 時間情報取得部
３７ パラメータ記憶装置

Claims (12)

1. 互いに類似した特徴を有する画素から構成される領域に入力画像を分割する領域分割部と、
   前記領域分割部により得られた各領域の広さ情報を取得する広さ算出部と、
   前記広さ算出部により得られた広さ情報を基に各領域の種別を判定する判定部と、
   前記領域分割部により得られた分割結果と前記判定部により得られた各領域の判定結果に基づき画素ごとの分類結果を生成する分類結果生成部とを備えたことを特徴とする領域分類装置において、
   前記広さ算出部は、各領域に属する画素数をその領域の広さ情報とし、
   前記判定部は、判定対象である注目領域の広さとその周囲の領域との広さの比較を行い、広さの相対的な評価により各領域を複数の種別に分類することを特徴とする領域分類装置。
2. 請求項１に記載の領域分類装置において、前記領域分割部は、前記入力画像を構成する画素が互いに類似した特徴を有するか否かを画素値に基づいて決定することを特徴とする領域分類装置。
3. 請求項１または２に記載の領域分類装置において、前記広さ算出部は、各領域に属する画素数をその領域の広さ情報とすることを特徴とする領域分類装置。
4. 請求項３に記載の領域分類装置において、前記判定部は、予め定めた閾値がひとつである場合に、当該閾値より大きな広さを持つ領域を平坦部、当該閾値以下の広さを持つ領域を複雑部に分類すること、または当該閾値以上の広さを持つ領域を平坦部、当該閾値より小さな広さを持つ領域を複雑部に分類することを特徴とする領域分類装置。
5. 請求項１に記載の領域分類装置において、前記判定部は、前記周辺の領域の広さの平均値の予め定めた１より大きい定数倍よりも大きな広さを持つ領域を平坦部、当該周辺の領域の広さの平均値の予め定めた１より小さく０より大きい定数倍よりも小さな広さを持つ領域を複雑部に分類することを特徴とする領域分類装置。
6. 請求項１から３のいずれか１項に記載の領域分類装置において、前記判定部は、広さ情報に加えて領域の形状の情報を用いて各領域を複数の種別に分類することを特徴とする領域分類装置。
7. 請求項１から６のいずれか１項に記載の領域分類装置を備え、当該領域分類装置により画像内の領域を幾つかの種別に分類し、当該種別に応じて領域の処理の内容を変更することによって画質を改善することを特徴とする画質改善装置。
8. 請求項７に記載の画質改善装置を備えた映像表示装置。
9. 互いに類似した特徴を有する画素から構成される領域に入力画像を分割する領域分割ステップと、
   前記領域分割ステップにより得られた各領域の広さ情報を取得する広さ算出ステップと、
   前記広さ算出ステップにより得られた広さ情報を基に各領域の種別を判定する判定ステップと、
   前記領域分割ステップにより得られた分割結果と前記判定ステップにより得られた各領域の判定結果に基づき画素ごとの分類結果を生成する分類結果生成ステップとを備えた領域分類方法において、
   前記広さ算出ステップは、各領域に属する画素数をその領域の広さ情報とし、
   前記判定ステップは、判定対象である注目領域の広さとその周囲の領域との広さの比較を行い、広さの相対的な評価により各領域を複数の種別に分類することを特徴とする領域分類方法。
10. 請求項９に記載の領域分類方法において、前記領域分割ステップは、前記入力画像を構成する画素が互いに類似した特徴を有するか否かを画素値に基づいて決定することを特徴とする領域分類方法。
11. 請求項９または１０に記載の領域分類方法により画像内の領域を幾つかの種別に分類し、当該種別に応じて領域の処理の内容を変更することによって画質を改善することを特徴とする画質改善方法。
12. 請求項１１に記載の画質改善方法により改善された映像を表示することを特徴とする映像表示方法。

Images