JP4221434B2 - 輪郭補正方法、画像処理装置及び表示装置 - Google Patents

Description

本発明は、入力画像の特性に適した輪郭の強調などの補正を行う輪郭補正方法、この方法を用いて入力画像に輪郭補正を施す画像処理装置、及びこの画像処理装置を搭載して輪郭補正が施された画像を表示する表示装置に関する。

従来、表示装置の１つとして液晶パネルにより映像を表示する液晶表示装置が広く普及している。液晶表示装置は、ブラウン管による表示装置と比較して、大型且つ薄型の表示装置を実現することが可能であるという利点がある。一方、有線又は無線によるデータ通信の通信速度の高速化、及びＤＶＤ又はハードディスク等の記録媒体の大容量化に伴って、データ量の多い高画質な映像を表示装置に表示することが可能となっている。特に近年ではハイビジョン放送が注目されており、ハイビジョン放送により放送局から送信されるＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像を表示することができる高解像度の表示装置が求められている。

しかし、現在のテレビ放送は全てがハイビジョン放送で行われるわけではなく、ＨＤ画像より低画質の画像、所謂ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像を送信する標準放送とハイビジョン放送とが混在している。ＨＤ画像の表示に対応した表示装置がＳＤ画像の表示を行った場合、輪郭がぼけた画像が表示される虞があり、これは表示装置が大型のものであるほど顕著に現れる。また、ＳＤ画像として作成された画像をハイビジョン放送として送信するために、ＳＤ画像をＨＤ画像に変換（所謂、アップコンバート）して、変換後の画像（以下、アップコンバート画像という）を送信する場合がある。アップコンバート画像は、元のＳＤ画像の画質及びアップコンバートの性能等によるが、ＨＤ画像の場合と比較して輪郭がぼけた画像である可能性が高い。

このため表示装置には、受信した画像を表示する前に、画像の輪郭を強調する画像補正処理を行い、補正後の画像を表示する機能が搭載されており、輪郭がぼけた画像が表示されることを防止するようにしてある。また、テレビ放送のみでなく、ＤＶＤなどの記録媒体に記録された画像を表示する場合にも、同様に輪郭の補正を行うことによって、輪郭がぼけた画像が表示されることを防止することができる。

特許文献１においては、ＳＤ信号及びＨＤ信号等の規格が異なる画像が入力された場合に、その周波数帯域に適合した高精度の輪郭補正を適切なタイミングで行うことができる信号処理装置が提案されている。この信号処理装置では、まず、輝度信号の所定数フレーム毎に、隣接又は数画素隔てた画素対の輝度差のデータ列を生成し、データ列から最大輝度差を検出して保持し、最大輝度差に基づいて輝度差のデータ列を輪郭補正量に変換する。次いで、輪郭補正量に応じて輪郭補正信号を生成し、入力画像信号と輪郭補正信号とを同期をとって加算することによって、入力画像の輪郭を補正している。
特開２００５−１７６０６０号公報

しかし、表示装置が画像の輪郭を強調して表示する場合、元の画像の特性に応じて最適な強調度合いが異なる。例えば、上述のアップコンバート画像に適した輪郭の強調を行うことができるように強調度合いを設定した場合、この設定でＨＤ画像の輪郭の強調を行うと、画像の輪郭が極度に強調されて表示される画像の品位が悪化する虞がある。逆に、ＨＤ画像に適した輪郭の強調を行うことができるように強調度合いを設定した場合、この設定でアップコンバート画像の輪郭の強調を行うと、十分に輪郭を強調できない虞がある。このため、表示装置では画像の特性に応じた強調度合いで輪郭の補正を行うことが望ましい。

特許文献１に記載の信号処理装置は、入力画像から最大輝度差を取得し、取得した最大輝度差を入力画像の輝度の最大周波数と推定し、これを基に輪郭の強調度合いを調整する構成とすることで、ＳＤ信号及びＨＤ信号等の規格が異なる画像をその特性に応じて輪郭を強調するようにしたものである。しかしながら、入力画像から取得した最大輝度差が入力画像の輝度の最大周波数に等しいとは限らないため、入力画像の内容（例えば、画像に写されている物体又は景色など）又は入力画像が撮像された場合の条件（例えば、露光時間又は明るさなど）等によっては、輪郭の強調度合いを最適な値に設定できない虞がある。

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、入力画像の輪郭成分を抽出し、抽出した輪郭成分の総和を算出し、入力画像の輝度成分の平均を算出し、輪郭成分の総和が閾値以下であり、且つ、輝度成分の平均が閾値以上の場合に、強調度合いを大きい値に決定し、輪郭成分の総和が閾値より大きく、又は、輝度成分の平均が閾値より小さい場合に、強調度合いを小さい値に決定し、各輪郭成分に応じて強調度合いを調整して輪郭成分を強調し、強調した輪郭成分に応じて輪郭の補正を行うことにより、入力画像の特性に適した輪郭の強調を行うことができる輪郭補正方法、及びこの方法により入力画像の輪郭を補正する画像処理装置を提供することにある。

また本発明の他の目的とするところは、入力画像を平滑化した平滑画像を生成し、入力画像と平滑画像との差分を算出し、この差分を入力画像の輪郭成分として抽出する構成とすることにより、輪郭成分の抽出を簡単な演算のみで行うことができる輪郭補正方法、及びこの方法により入力画像の輪郭を補正する画像処理装置を提供することにある。

また本発明の他の目的とするところは、強調した輪郭成分を入力画像に加算して輪郭の補正を行う構成とすることにより、輪郭の強調を簡単な演算のみで行うことができる輪郭補正方法、及びこの方法により入力画像の輪郭を補正する画像処理装置を提供することにある。

また本発明の他の目的とするところは、上述の輪郭を強調する補正処理を行う画像処理装置へ画像を入力する入力手段、及び輪郭が強調された画像を表示する表示手段を備える構成とすることにより、輪郭が鮮明な画像を表示することができる表示装置を提供することにある。

第１発明に係る輪郭補正方法は、入力画像の輪郭を補正する輪郭補正方法において、入力画像の輪郭成分を抽出し、抽出した輪郭成分の総和を算出し、入力画像の輝度成分の平均を算出し、前記輪郭成分の総和が所定の閾値以下であり、且つ、前記輝度成分の平均が所定の閾値以上である場合に大きい値となり、前記輪郭成分の総和が所定の閾値より大きく、又は、前記輝度成分の平均が所定の閾値より小さい場合に小さい値となるように、輪郭の強調度合いを決定し、抽出した各輪郭成分に応じて、決定した前記強調度合いを調整し、調整した前記強調度合いに応じて対応する前記各輪郭成分を強調し、強調した前記輪郭成分に応じて入力画像の輪郭を補正することを特徴とする。

また、第２発明に係る輪郭補正方法は、入力画像の輪郭成分を抽出する場合に、入力画像を平滑化した平滑画像を生成し、前記入力画像及び前記平滑画像の差分を算出し、算出した差分を輪郭成分とすることを特徴とする。

また、第３発明に係る輪郭補正方法は、強調した輪郭成分を入力画像に加算して輪郭の補正を行うことを特徴とする。

また、第４発明に係る画像処理装置は、入力画像の輪郭を補正する処理を行う画像処理装置において、入力画像の輪郭成分を抽出する抽出手段と、該抽出手段が抽出した輪郭成分の総和を算出する総和算出手段と、入力画像の輝度成分の平均を算出する平均輝度算出手段と、前記輪郭成分の総和が所定の閾値以下であり、且つ、前記輝度成分の平均が所定の閾値以上である場合に大きい値となり、前記輪郭成分の総和が所定の閾値より大きく、又は、前記輝度成分の平均が所定の閾値より小さい場合に小さい値となるように、輪郭の強調度合いを決定する決定手段と、抽出した各輪郭成分に応じて、決定した前記強調度合いを調整する調整手段と、調整した前記強調度合いに応じて対応する前記各輪郭成分を強調し、強調した前記輪郭成分に応じて入力画像の輪郭を補正する補正手段とを備えることを特徴とする。

また、第５発明に係る画像処理装置は、前記抽出手段が、入力画像を平滑化した平滑画像を生成する生成手段と、前記入力画像及び前記平滑画像の差分を算出する差分算出手段とを有し、該差分算出手段が算出した差分を輪郭成分とするようにしてあることを特徴とする。

また、第６発明に係る画像処理装置は、前記補正手段が、強調した輪郭成分を入力画像に加算して輪郭の補正を行うようにしてあることを特徴とする。

また、第７発明に係る表示装置は、上述のいずれか１つの画像処理装置と、画像を取得して前記画像処理装置へ入力する入力手段と、前記画像処理装置が輪郭の補正を行った画像を表示する表示手段とを備えることを特徴とする。

本発明においては、入力画像から輪郭成分を抽出して、輪郭成分の総和を算出する。ＨＤ画像などの輪郭が鮮明な画像では抽出される輪郭成分が多く、これに対してアップコンバート画像などの輪郭がぼやけた画像では抽出される輪郭成分が少ないため、輪郭成分の総和を所定の閾値と比較して判定することによって、入力画像が輪郭の鮮明な画像であるか否かを判断することができる。
また、入力画像の輝度成分の平均を算出する。例えば全体的に暗い画像などの全体が同じ色調の画像の場合には、輪郭成分の総和が小さくなるため、輪郭成分の総和のみから入力画像が輪郭の鮮明な画像であるか否かを判断すると誤りが生じる虞があるが、輝度成分の平均を基に全体的に暗い画像などを判断することができる。
よって、輪郭成分の総和及び輝度成分の平均を基に輪郭成分の強調度合いを決定し、決定した強調度合いを基に輪郭を強調することにより、輪郭の鮮明な画像は輪郭の強調を少なくするか又は行わず、輪郭の不鮮明な画像は輪郭をより強調して鮮明な画像に補正できる。
この場合に、例えば予め閾値ＴＡ及び閾値ＴＢを定めておき、輝度成分の平均と閾値ＴＡとを比較すると共に、輪郭成分の総和と閾値ＴＢとを比較する。輝度成分の平均が閾値ＴＡ以上であり、且つ、輪郭成分の総和がＴＢ以下である場合には、強調度合いを値の大きいα´に決定することができる。それ以外の場合には、強調度合いを値の小さいα（ただし、α＜α´）に決定することができる。
更に、決定した強調度合いを強調する輪郭成分の値に応じて調整し、調整した強調度合いに応じて輪郭成分を強調し、強調した輪郭成分を基に入力画像の輪郭を強調することにより、入力画像の特性により適した強調度合いで輪郭の補正を行うことが可能となる。

また、本発明においては、入力画像の輪郭成分を抽出する場合に、まず入力画像を平滑化した平滑画像を生成し、次いで入力画像と平滑画像との差分を算出して、この差分を入力画像の輪郭成分として抽出する。平滑画像は、画像中の注目画素とこれの隣接画素との平均を算出することで得ることができる。また、輪郭成分は、入力画像と平滑画像との差分であるため、輪郭成分の抽出には簡単な加算、除算及び減算を行うのみでよい。

また、本発明においては、調整した強調度合いに応じて輪郭成分を強調し、強調した輪郭成分を入力画像に加算して輪郭の補正を行う。これは、所謂アンシャープネスマスクによる輪郭の強調であり、簡単な乗算及び加算のみで輪郭の補正を行うことができる。

また、本発明においては、例えばチューナによりテレビ番組の画像を取得して、又はＤＶＤプレーヤ若しくはハードディスクレコーダ等の外部機器から画像を取得して、取得した画像を入力画像として上述の画像処理装置へ入力し、画像処理装置にて輪郭の補正を行った画像を液晶パネルなどの表示手段に表示する。これにより、取得した画像の特性に応じて輪郭の補正を行い、輪郭が鮮明な画像を表示手段に表示することができる。

本発明による場合は、入力画像から輪郭成分を抽出し、抽出した輪郭成分の総和を算出し、入力画像の輝度成分の平均を算出し、輪郭成分の総和が閾値以下であり、且つ、輝度成分の平均が閾値以上の場合に、強調度合いを大きい値に決定し、輪郭成分の総和が閾値より大きく、又は、輝度成分の平均が閾値より小さい場合に、強調度合いを小さい値に決定し、各輪郭成分の値に応じて強調度合いを調整し、調整した強調度合いに応じて輪郭成分を強調して、強調した輪郭成分に基づいて輪郭の補正を行うことにより、入力画像の特性に適した輪郭の強調を行うことができる。よって、この輪郭補正方法にて輪郭の補正を行うことにより、又はこの輪郭補正方法にて輪郭の強調を行う画像処理装置を搭載することにより、大型の液晶表示装置などに高画質な画像を表示することができる。

また、本発明による場合は、入力画像の輪郭成分を抽出する場合に、まず入力画像を平滑化した平滑画像を生成し、次いで入力画像と平滑画像との差分を算出して、この差分を入力画像の輪郭成分として抽出する構成とすることにより、輪郭成分の抽出を加算、除算及び減算の簡単な演算のみで行うことができる。よって、この方法により輪郭の補正を行う機能を追加することによる画像処理装置のコストの増加を抑制することができ、この画像処理装置を搭載する表示装置を低価格で提供することができる。

また、本発明による場合は、強調した輪郭成分を入力画像に加算して輪郭の補正を行う構成とすることにより、乗算及び加算の簡単な演算のみで輪郭の補正を行うことができるため、この方法により輪郭の補正を行う機能を追加することによる画像処理装置のコストの増加を抑制することができ、この画像処理装置を搭載する表示装置を低価格で提供することができる。

また、本発明による場合は、チューナ又は外部機器等から画像を取得して上述の画像処理装置へ入力し、画像処理装置にて輪郭の補正を行った画像を液晶パネルなどの表示手段に表示する構成とすることにより、取得した画像の特性に応じて輪郭の補正を行い、輪郭が鮮明なぼやけのない画像を表示することができるため、表示装置の表示品質を高めることができる。

（実施の形態１）
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る表示装置の構成を示すブロック図である。図において１は、ＤＶＤプレーヤ５０から与えられる画像又はアンテナ５１にて受信したテレビ放送に係る画像等を液晶パネル４に表示する表示装置である。表示装置１は、液晶パネル４により画像の表示を行う表示部２と、表示する画像に係る信号を表示部２へ与える画像処理部１０と、ＤＶＤプレーヤ５０から与えられた画像又はアンテナ５１にて受信した画像等を画像処理部１０へ入力する画像入力部５とを備えている。

画像入力部５は、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）及びＤＶＩ−Ｉ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ−Ｉｎｔｅｇｒａｔｅｄ）等の複数の端子が設けられた入力端子部６を有しており、ＤＶＤプレーヤ５０又はハードディスクレコーダ等の外部機器からの画像を取得して画像処理部１０へ入力するようにしてある。また、画像入力部５はアンテナ５１に接続されたチューナ７を有している。チューナ７は、例えば地上デジタル放送などのテレビ放送を受信するためのものであり、受信したテレビ放送に係る画像を画像処理部１０へ入力するようにしてある。

画像入力部５から画像処理部１０へ入力される画像はＭＰＥＧなどの圧縮方式により圧縮されたものである。画像処理部１０は、圧縮された画像の伸張を行うデコーダ１３を有しており、画像入力部５の入力端子部６又はチューナ７からの入力画像はまずデコーダ１３に与えられるようにしてある。画像処理部１０は、デコーダ１３の他に輪郭補正回路２０、変換回路１４及び画像メモリ１２等と、これらを制御する制御回路１１とを有しており、これらの回路がバスで接続されて相互に情報の授受を行うことができるようにしてある。画像処理部１０は、これらの回路によって入力画像に種々の画像処理を施して出力するハードウェアである。

輪郭補正回路２０は、詳細は後述するが、画像入力部５から入力されてデコーダ１３にて伸張された入力画像に対して、輪郭を強調する補正処理を主として行う回路である。また、入力画像の輪郭の平滑化を行うことも可能である。変換回路１４は、種々の画像処理が施された画像を、表示部２の液晶パネル４にて表示するための信号に変換する回路であり、変換した信号を表示部２へ与えるようにしてある。画像メモリ１２は、デコーダ１３による画像の伸張処理及び輪郭補正回路２０による補正処理等の処理過程又は処理結果等の画像を記憶するためのメモリであり、ＳＲＡＭ又はＤＲＡＭ等の大容量のメモリ素子で構成してある。制御回路１１は、ＣＰＵ又はＭＰＵ等により構成されるものであり、画像処理部１０内の各回路の動作を制御すると共に、各種の演算を行うようにしてある。

画像入力部５から与えられた画像はデコーダ１３にて伸張され、デコーダ１３は伸張した画像を画像メモリ１２に記憶するようにしてある。輪郭補正回路２０は画像メモリ１２からこの伸張された画像を読み出して輪郭の補正処理を行い、処理後の画像を画像メモリ１２に記憶するようにしてある。変換回路１４は画像メモリ１２から補正処理された画像を読み出して表示のための信号に変換し、表示部２へ与えるようにしてある。このとき、制御回路１１は、各回路の動作及び各回路から画像メモリ１２への画像の授受を制御するようにしてある。

表示部２は、画像を表示する液晶パネル４と、画像処理部１０から与えられる信号を基に液晶パネル４を駆動する液晶駆動回路３とを有している。液晶パネル４は、外部電界で制御可能な厚さ数μｍの液晶層の複屈折性を利用した光透過型の表示デバイスであり、液晶パネル４自身は発光機能を有していないため、図示しないバックライトから照射される光により映像の表示を行うようにしてある。液晶駆動回路３は、画像処理部１０から与えられる信号に応じて、液晶パネル４の水平方向及び垂直方向にマトリックス状に配された駆動用配線に選択的に電圧を供給することで液晶パネル４を駆動し、液晶パネル４に画像を表示するようにしてある。

図２は、本発明に係る表示装置１の輪郭補正回路２０の構成を示すブロック図である。なお、図２においては画像入力部５から入力されてデコーダ１３にて伸張された画像を「入力画像」として図示してあり、輪郭の補正処理を行った画像を「出力画像」として図示してある。

入力画像はマトリクス状に並べられた複数の画素により構成されており、輪郭補正回路２０は入力画像の各画素の輝度値を取得して入力画像毎に平均輝度を算出する平均輝度算出部２２を有している。平均輝度算出部２２は、入力画像の各画素の輝度値を取得して順に加算し、全画素の輝度値を加算して合計輝度を算出した後に、合計輝度を全画素の画素数で除算することにより平均輝度を算出するようにしてある。平均輝度算出部２２は、平均輝度を算出する毎に、算出した平均輝度を制御回路１１へ与えるようにしてある。

また、輪郭補正回路２０は、入力画像から低階調のノイズを除去するためのノイズ除去フィルタ２１を有している。ノイズ除去フィルタ２１は、例えば、入力画像の各画素の画素値から所定の値を減算することによって、低階調のノイズを除去するようにしてある。このときに減算する所定の値は、予め定められた固定値としてもよく、制御回路１１が入力画像の特性に応じて決定してもよい。

また、輪郭補正回路２０は、ノイズ除去フィルタ２１にて低階調のノイズが除去された入力画像から輪郭成分を抽出する輪郭成分抽出部２３を有している。輪郭成分抽出部２３は、ノイズが除去された入力画像の輪郭を平滑化して平滑画像を生成する平滑画像生成部２４と、この平滑画像及びノイズが除去された入力画像の差分を算出する減算器２５とにより構成されており、算出した差分を抽出した輪郭成分として出力するようにしてある。

図３は、平滑画像生成部２４が行う平滑画像の生成方法を説明するための模式図である。なお、（ａ）には平滑画像生成部２４に入力される画像の全体を示してあり、（ｂ）には（ａ）の画像の一部（９個の画素）を拡大したものを図示してある。また、（ｃ）には（ｂ）の各画素に画素値を一例として当てはめたものである。平滑画像生成部２４に入力される画像はマトリクス状に複数の画素が並べられたものであり、平滑画像生成部２４は各画素毎に平滑化のための演算を行うようにしてある。例えば、平滑化の演算対象となる注目画素の画素値をａ0 とし、注目画素の周囲の８つの画素の画素値をそれぞれａ₁ 〜ａ₈ とした場合、注目画素の平滑化後の画素値Ａは以下の（１）式で算出することができる。
Ａ＝（ａ₀ ＋ａ₁ ＋…＋ａ₈ ）／９ …（１）
図３（ｃ）に示す例では、入力された画像の注目画素の画素値はａ₀ ＝１０６であるが、（１）式を用いた平滑化により画素値Ａ≒８９となる。平滑画像生成部２４は、入力された画像の全画素について（１）式による演算を繰り返し行い、平滑画像を生成するようにしてある。

図４は、輪郭成分抽出部２３が行う輪郭成分の抽出方法を説明するための模式図であり、（ａ）に輪郭が鮮明な画像の場合を図示し、（ｂ）に輪郭が不鮮明な画像の場合を図示してある。図示のグラフは、画像中の輪郭部分の近傍に関して、横軸を画像の水平方向又は垂直方向に関する画素の並びを示し、縦軸に各画素の画素値を示してある。また、グラフ中の細実線ａは輪郭成分抽出部２３に与えられた入力画像を示し、破線Ａは平滑画像生成部２４により平滑化された平滑画像を示し、太実線ａ’は輪郭が強調された画像を示してある。

輪郭が鮮明な画像の場合（図４（ａ）参照）、入力画像は輪郭の近傍で細実線ａに示すように画素値が急激に変化する。この入力画像を平滑画像生成部２４にて平滑化することによって破線Ａに示すように画素値の変化が緩やかな平滑画像が得られる。この平滑画像と入力画像との差分を減算器２５により算出した場合、算出される差分は図中の細実線ａ及び破線Ａで囲まれた領域（斜線を付した領域）に相当する。輪郭成分抽出部２３は、算出した差分を輪郭成分として出力するようにしてあり、例えば、この輪郭成分を入力画像（細実線ａ）に加算することによって、図中の太実線ａ’に示すような輪郭が強調された画像を得ることができる。

これに対して、輪郭が不鮮明な画像の場合（図４（ｂ）参照）、入力画像の輪郭の近傍で画素値の変化は細実線ａに示すように緩やかであり、平滑画像生成部２４にて平滑化された平滑画像（破線Ａ）との差分、即ち輪郭成分（斜線を付した領域）の量は少ない。このため、図４（ａ）の場合と同様に輪郭成分を入力画像に加算しても、入力画像の輪郭の強調量は少ない。このため、本発明に係る表示装置１の輪郭補正回路２０では、輪郭成分抽出部２３が抽出した輪郭成分を適宜に増幅して入力画像に加算することで、入力画像の特性に応じた輪郭の強調を行うようにしてある。

輪郭補正回路２０は、輪郭成分抽出部２３が抽出した入力画像の輪郭成分を所定の閾値と比較する輪郭成分比較部２６と、閾値より大きい輪郭成分の総和を算出する総和算出部２７とを有している。輪郭成分比較部２６は、比較を行うための閾値を制御回路１１から与えられており、輪郭成分抽出部２３が入力画像の画素毎に抽出した輪郭成分と閾値とを順次比較するようにしてある。なお、輪郭成分は正負の両方の値であるため、輪郭成分比較部２６では輪郭成分の絶対値と閾値とを比較するようにしてある。輪郭成分比較部２６は、輪郭成分と閾値との比較の結果、輪郭成分が閾値より小さい場合には総和算出部２７へ”０”を出力し、輪郭成分が閾値より大きい場合には総和算出部２７へ輪郭成分の絶対値を出力するようにしてある。

総和算出部２７は、輪郭成分比較部２６が出力する出力値を順次加算し、１つの入力画像の全画素分の輪郭成分を加算した後、加算結果である総和を制御回路１１へ与えるようにしてある。なお、制御回路１１が輪郭成分比較部２６の閾値として”０”を設定した場合には、総和算出部２７では輪郭成分抽出部２３が抽出した輪郭成分を全て加算することができる。輪郭成分比較部２６は、値の小さい輪郭成分はノイズである可能性があるため、これを総和算出部２７が算出する総和から取り除くことを目的としている。

また、輪郭補正回路２０は、輪郭成分抽出部２３が抽出した輪郭成分を基に入力画像の輪郭を強調する補正を行う補正部２９を有している。補正部２９は、輪郭成分抽出部２３から与えられた輪郭成分を所定の強調度合いに応じて強調して出力する輪郭成分強調部３０と、強調された輪郭成分を入力画像に加算する加算器３１とにより構成してある。輪郭成分強調部３０は、強調度合いをαとし、輪郭成分をｒとした場合、α×ｒを算出して出力するものであり、このときの強調度合いαは、制御回路１１にて決定された強調度合いを強調度合い調整部２８にて調整した値を用いるようにしてある。強調度合い調整部２８は、輪郭成分抽出部２３が抽出した輪郭成分に応じて、制御回路１１から与えられた強調度合いを調整し、輪郭成分強調部３０へ与えるようにしてある。

図５は、輪郭成分の強調度合いの決定方法を説明するための模式図である。制御回路１１は、平均輝度算出部２２が算出した入力画像の平均輝度と、総和算出部２７が算出した入力画像の輪郭成分の総和とを基に強調度合いを決定し、この結果を強調度合い調整部２８へ与えるようにしてある。このとき、制御回路１１は入力画像の平均輝度と予め定められた閾値ＴＡとを比較すると共に、入力画像の輪郭成分の総和と予め定められた閾値ＴＢとを比較するようにしてあり、平均輝度が閾値ＴＡ以上であり、且つ、輪郭成分の総和が閾値ＴＢ以下である場合には、強調度合いを値の大きいα’に決定し、それ以外の場合には値の小さいαに決定するようにしてある（図５（ａ）参照）。制御回路１１は、決定した強調度合いα又はα’（ただし、α＜α’）を強調度合い調整部２８へ与えるようにしてある。

強調度合い調整部２８は図５（ｂ）に示すテーブルを記憶しており、輪郭成分強調部３０が強調を行う輪郭成分の値に応じて、このテーブルを基に制御回路１１から与えられた強調度合いα又はα’の値を調整するようにしてある。図５（ｂ）に示すテーブルは、一例として輪郭成分の絶対値が０〜２５５の値となる可能性があり、輪郭成分の強調度合いを１６段階に分けて設定した例を示してある（ただし、α_i ＜α’_i である）。例えば、輪郭成分の値が”３０”であり、制御回路１１から強調度合いαが与えられた場合、強調度合い調整部２８は強調度合いを”α₂ ”に調整して補正部２９の輪郭成分強調部３０へ与える。輪郭成分強調部３０では、輪郭成分”３０”と強調度合い”α₂ ”との積”３０×α₂ ”を算出して出力する。また、例えば、輪郭成分の値が”４０”であり、制御回路１１から強調度合いα’が与えられた場合、強調度合い調整部２８は強調度合いを”α’₃ ”と決定して輪郭成分強調部３０へ与える。輪郭成分強調部３０では、輪郭成分”４０”と強調度合い”α’₃ ”との積”４０×α’₃ ”を算出して出力する。

補正部２９は、輪郭成分強調部３０にて強調された輪郭成分と入力画像とを加算器３１にて加算することによって、入力画像の輪郭を強調する補正を行うようにしてあり、加算器３１にて加算した結果を出力画像として出力するようにしてある。図６は、補正部２９が行う輪郭を強調する補正の一例を示す模式図であり、（ａ）に輪郭が鮮明な画像の場合を図示し、（ｂ）に輪郭が不鮮明な画像の場合を図示してある。図示のグラフは、画像中の輪郭部分の近傍に関して、横軸を画像の水平方向又は垂直方向に関する画素の並びを示し、縦軸に各画素の画素値を示してある。また、グラフ中の細実線ａは入力画像を示し、破線Ａは平滑画像生成部２４により平滑化された平滑画像を示し、太実線ａ’は補正部２９にて輪郭が強調された画像を示している。

輪郭が鮮明な画像、即ち輪郭成分の総和（図中の斜線の領域）が大きい画像の場合（図６（ａ）参照）、輪郭成分の強調度合いを小さくして入力画像に加算してある。輪郭が不鮮明な画像、即ち輪郭成分の総和が小さい画像の場合（図６（ｂ）参照）、輪郭成分の強調度合いを大きくし、大きく強調した輪郭成分を入力画像に加算してある。これにより、輪郭を強調する補正を行った後では、元の画像が輪郭が鮮明な画像の場合であっても、輪郭が不鮮明な画像の場合であっても、輪郭が同程度に鮮明な出力画像を得ることができる。また、制御回路１１では輪郭成分の総和と共に平均輝度を基にして強調度合いを大きくするか小さくするかを決定しているが、これは入力画像が全体的に暗い画像などの全体的に同じ色調である場合には輪郭成分が小さくなる虞があるため、このような画像の輪郭成分を過度に強調することを防止するためである。

なお、以上の説明においては、平均輝度算出部２２による平均輝度の算出、ノイズ除去フィルタ２１によるノイズ除去、輪郭成分抽出部２３による輪郭成分の抽出、総和算出部２７による輪郭成分の総和の算出、及び補正部２９による入力画像の輪郭を強調する補正等の処理が入力画像の画像単位で順次的に行われるように記載してあるが、ハードウェア資源の制限及び処理の高速化等のために、実際には入力画像の画素毎にパイプライン的に各処理を行うようにしてある。よって、平均輝度算出部２２及び総和算出部２７では全画素についての情報が必要であるため、制御回路１１が強調度合い調整部２８へ与える強調度合いは、動画の１フレーム前の画像について算出した平均輝度及び輪郭成分の総和に基づくものである。

通常、テレビ番組などの動画を表示する場合、動画を構成する複数の画像は１フレーム前後の間に画像の明るさ又は輪郭の鮮明さ等に大きな変化はないため、１フレーム前の画像について算出した平均輝度及び輪郭成分の総和を基に入力画像の輪郭を強調しても問題はない。しかし、動画中のシーンの切り替わり部分に相当するフレーム間の画像では、画像の明るさ又は輪郭の鮮明さ等に大きな変化が生じる虞がある。

よって、このような場合に対応するために、シーンの切り替わり部分を検出する検出手段を表示装置１に搭載し（図示は省略する）、検出手段によりシーンの切り替わり部分を検出した場合には、１フレーム前の画像について算出した平均輝度及び輪郭成分の総和を基に強調度合いを決定するのではなく、予め定められた強調度合いにて入力画像の輪郭を強調することによって、シーンの切り替わり部分にて輪郭の鮮明さに大きな変化が生じることを防止できる。シーンの切り替わり部分の検出は、輪郭補正回路２０にて処理されている画像の次のフレームの画像について、例えば各画素の輝度値又は色成分等の画像の特性値の変化を検出することによって行うことができる。

もちろん、ハードウェア資源又は処理速度等に余裕がある場合には、入力画像の平均輝度及び輪郭成分の総和を算出して強調度合いを決定した後に、補正部２９にて輪郭を強調する補正を行ってもよい。この場合には、シーンの切り替わり部分を検出する必要はない。

図７は、本発明に係る表示装置１の輪郭補正回路２０が行う輪郭補正処理の手順を示すフローチャートである。なお、図７においては１つの入力画像についての処理を図示してあるが、輪郭補正回路２０は動画を構成する複数の画像毎に図示の処理を繰り返し行うようにしてある。輪郭補正回路２０は、まず、平均輝度算出部２２が平均輝度を算出するための変数である輝度合計の値を０に初期化し（ステップＳ１）、総和算出部２７が算出する輪郭成分の総和の値を０に初期化すると共に（ステップＳ２）、１フレーム前の画像の平均輝度及び輪郭成分の総和を基に制御回路１１が決定した強調度合いを受け付ける（ステップＳ３）。

次いで、入力画像から一の画素を注目画素として取得し（ステップＳ４）、取得した注目画素の輝度値を輝度合計に加算する（ステップＳ５）。また、ノイズ除去フィルタ２１にて、注目画素の画素値から所定の値を減算することによってノイズの除去を行う（ステップＳ６）。ノイズを除去した注目画素の画素値と注目画素に隣接する画素の画素値との平均を平滑画像生成部２４にて算出することにより注目画素を平滑化し（ステップＳ７）、平滑化した注目画素の画素値と平滑化する前の注目画素の画素値との差分を算出して（ステップＳ８）、この差分を輪郭成分として抽出する。

次いで、輪郭成分比較部２６にて抽出した輪郭成分と制御回路１１から与えられた閾値とを比較し（ステップＳ９）、閾値より大きい輪郭成分を総和算出部２７にて輪郭成分の総和に加算する（ステップＳ１０）。また、強調度合い調整部２８は、ステップＳ３にて受け付けた制御回路１１からの強調度合いと、注目画素から抽出した輪郭成分とに基づいて、図５（ｂ）に示すテーブルに基づいて強調度合いを調整し（ステップＳ１１）、調整した強調度合いと輪郭成分とを輪郭成分強調部３０が積算することによって輪郭成分の強調を行い（ステップＳ１２）、強調した輪郭成分をステップＳ４にて取得した注目画素の画素値に加算して（ステップＳ１３）、入力画像の輪郭を強調する補正を行う。

入力画像の一の画素についてステップＳ４〜Ｓ１３の処理が終了した後、入力画像の全画素について処理が終了したか否かを調べ（ステップＳ１４）、全画素について処理が終了していない場合には（Ｓ１４：ＮＯ）、ステップＳ４へ戻り、入力画像から未処理の画素を注目画素として取得して上述の処理を繰り返し行う。全画素について処理が終了した場合（Ｓ１４：ＹＥＳ）、ステップＳ５にて加算された輝度合計を入力画像の画素数で除算することによって平均輝度を算出して制御回路１１へ出力し（ステップＳ１５）、また、ステップＳ１０にて加算された輪郭成分の総和を制御回路１１へ出力して（ステップＳ１６）、処理を終了する。

制御回路１１では、ステップＳ１５にて平均輝度算出部２２が出力する平均輝度を取得し、ステップＳ１６にて総和算出部２７が出力する輪郭成分の総和を取得することにより、図５（ａ）に示すテーブルから次のフレームの画像の輪郭を強調する場合の強調度合いを決定し、決定した強調度合いを強調度合い調整部２８に与えることができる。

以上の構成の表示装置１においては、入力画像から輪郭成分抽出部２３にて輪郭成分を抽出し、総和算出部２７にて輪郭成分の総和を算出して、輪郭成分の総和に応じて制御回路１１にて輪郭成分の強調度合いを決定する構成とすることにより、入力画像がＨＤ画像又はアップコンバート画像等の特性が異なる画像であっても、図６に示すように同程度に輪郭が鮮明な画像を液晶パネル４にて表示することができる。更に、平均輝度算出部２２にて入力画像の平均輝度を算出し、輪郭成分の総和と共に平均輝度に応じて輪郭成分の強調度合いを決定する構成とすることにより、入力画像が全体的に暗い画像などの全体的に同じ色調である場合には輪郭成分が小さくなる虞があるが、このような画像の輪郭成分を過度に強調することを防止できる。

また、輪郭成分抽出部２３にて入力画像の輪郭成分を抽出する場合に、入力画像を平滑化した平滑画像と入力画像との差分を減算器２５にて算出して、この差分を輪郭成分とすることにより、入力画像の平滑化は例えば（１）式に示すように加算及び除算のみで行うことができるため、輪郭成分の抽出を加算、除算及び減算の簡単な演算で行うことができる。また、補正部２９にて入力画像の輪郭を強調する補正を行う場合に、輪郭成分強調部３０にて強調した輪郭成分を加算器３１にて入力画像に加算する構成とすることにより、入力画像の輪郭の補正を乗算及び加算の簡単な演算で行うことができる。

また、輪郭補正回路２０が入力画像に含まれる低階調のノイズを除去するノイズ除去フィルタ２１を有する構成とすることにより、より高画質の画像を液晶パネル４に表示することができる。また、輪郭成分抽出部２３にて抽出した輪郭成分を輪郭成分比較部２６にて閾値と比較し、閾値より大きい輪郭成分のみを加算して総和を算出する構成とすることにより、ノイズなどの影響により誤って抽出された輪郭成分が総和として加算されることを防止できる。また、強調度合い調整部２８にて、制御回路１１から与えられる強調度合いのみでなく、輪郭成分強調部３０が強調する輪郭成分の値に応じて強調度合いを調整する構成とすることにより、入力画像の特性により適した強調度合いで輪郭を補正することができる。

なお、本実施の形態においては、表示装置１として液晶パネル４を備える液晶表示装置を例に説明を行ったが、これに限るものではなく、プラズマディスプレイなどの他の表示装置についても同様の構成を適用することができる。また、表示装置１は、画像処理部１０へ画像を与える画像入力部５に入力端子部６及びチューナ７を有する構成としたが、これに限るものではなく、いずれか一方のみを有する構成としてもよく、他の方法で入力画像を取得する構成としてもよい。また、チューナ７は地上デジタル放送を受信するチューナとしたが、これに限るものではなく、衛星デジタル放送又は地上アナログ放送等を受信するチューナであってもよい。

また、輪郭補正回路２０が入力画像の低階調ノイズを除去するノイズ除去フィルタ２１を備える構成としたが、これに限るものではなく、ノイズ除去フィルタ２１を備えない構成であってもよい。また、輪郭成分抽出部２３にて抽出した輪郭成分を輪郭成分比較部２６にて閾値と比較し、閾値より大きい輪郭成分のみを総和算出部２７にて加算する構成としたが、これに限るものではなく、輪郭補正回路２０が輪郭成分比較部２６を備えず、輪郭成分抽出部２３が抽出した輪郭成分を全て加算する構成としてもよい。

また、図５（ａ）に示すように、制御回路１１が平均輝度及び輪郭成分の総和を基に、強調度合いをα又はα’の二者択一で決定する構成としたが、これに限るものではなく、例えば強調度合いを３段階から決定する構成としてもよく、より多段階から決定する構成としてもよい。また、図５（ｂ）に示すように、強調度合い調整部２８は輪郭成分の値に応じて１６段階の強調度合いに調整する構成としたが、これに限るものではなく、１５段階以下又は１７段階以上の強調度合いに調整する構成としてもよく、更には、輪郭成分の値に応じた強調度合いの調整を行わず、制御回路１１から与えられる強調度合いのみに応じて輪郭の補正を行う構成としてもよい。

（実施の形態２）
図８は、本発明の実施の形態２に係る表示装置の輪郭補正回路１２０の構成を示すブロック図である。実施の形態１の輪郭補正回路２０は入力画像の平均輝度を算出する平均輝度算出部２２を備える構成であるが、実施の形態２の輪郭補正回路１２０は、平均輝度算出部２２に代えて、入力画像中の輝度値が所定輝度以上の画素の比率を算出する比率算出部１２２を備えている。比率算出部１２２は、入力画像の各画素の輝度値と予め定められた閾値とを比較し、閾値より輝度値が大きい画素の画素数をカウントする。入力画像の全画素について閾値との比較を行い、カウントされた画素数を全画素数で除算することにより比率を算出することができる。比率算出部１２２は、算出した比率を制御回路１１へ与えるようにしてある。

図９は、実施の形態２における輪郭成分の強調度合いの決定方法を説明するための模式図であり、実施の形態１における図５（ａ）のテーブルに対応するテーブルが図示してある。制御回路１１は、比率算出部１２２が算出した比率と、総和算出部２７が算出した入力画像の輪郭成分の総和とを基に強調度合いを決定し、この結果を強調度合い調整部２８へ与えるようにしてある。このとき、制御回路１１は比率算出部１２２が算出した比率と予め定められた閾値（図示の例では８０％）とを比較すると共に、入力画像の輪郭成分の総和と予め定められた閾値ＴＢとを比較するようにしてあり、比率が８０％以上であり、且つ、輪郭成分の総和が閾値ＴＢ以下である場合には強調度合いを値の大きいα’に決定し、それ以外の場合には強調度合いを値の小さいαに決定するようにしてある。制御回路１１は、決定した強調度合いα又はα’（ただし、α＜α’）を強調度合い調整部２８へ与えるようにしてある。

以上の構成により、実施の形態１の場合と同様に、強調度合い調整部２８は図５（ｂ）のテーブルにより強調度合いを調整することができる。よって、実施の形態２の輪郭補正回路１２０を表示装置に搭載することによって、実施の形態１に係る表示装置と同様の効果を得ることができる。なお、図９において、比率算出部１２２が算出した比率と比較する閾値を８０％としたが、これは一例であって、この値に限るものではない。

なお、実施の形態２に係る表示装置のその他の構成は、実施の形態１に係る表示装置の構成と同様であるため、対応する箇所には同じ符号を付して詳細な説明を省略する。

（実施の形態３）
図１０は、本発明の実施の形態３に係る表示装置の輪郭補正回路２２０の構成を示すブロック図である。実施の形態１の輪郭補正回路２０は入力画像の平均輝度を算出する平均輝度算出部２２を備える構成であるが、実施の形態３の輪郭補正回路２２０は、平均輝度算出部２２に代えて、入力画像中の輝度値の分布を示すヒストグラムを生成するヒストグラム生成部２２２を備えている。ヒストグラム生成部２２２は、入力画像の各画素の輝度値を取得し、輝度値毎に画素数を集計してヒストグラムを生成し、制御回路１１へ与えるようにしてある。

図１１は、ヒストグラム生成部２２２が生成するヒストグラムの一例を示す模式図である。図示の例は、入力画像の各画素の輝度値が０〜２５５の範囲、即ち８ビットの値で表現される場合に、０〜７、８〜１５、１６〜２３…のように８段階の輝度値毎に入力画像中の画素数を集計し、入力画像の輝度値の度数分布を生成したものである。ヒストグラム生成部２２２は、このようなヒストグラムを入力画像毎に作成して制御回路１１へ与えるようにしてある。

制御回路１１は、ヒストグラム生成部２２２から与えられたヒストグラムを基に入力画像の輪郭の強調度合いを決定するようにしてある。制御回路１１は与えられたヒストグラムに対して図１１中に破線で示すような判定領域を設け、この判定領域内に度数の分布が存在するか否かを調べることにより強調度合いを決定する。図１１では、輝度０〜６３の範囲に対しては度数の分布を２段階に判定する判定領域Ａ及びＢを設け、輝度６４〜１２７の範囲に対しては度数の分布を４段階に判定する判定領域Ｃ〜Ｆを設け、輝度１２８〜１９１の範囲に対しては度数の分布を４段階に判定する判定領域Ｇ〜Ｊを設け、輝度１９２〜２５５の範囲に対しては度数の分布を８段階に判定する判定領域Ｋ〜Ｒを設けてある。

各判定領域Ａ〜Ｒにはそれぞれ強調度合いα_A 〜α_R が対応付けてあり、例えば、制御回路１１は判定領域ＲからＡまで（アルファベットの逆順で）判定領域内に度数の分布が存在するか否かを調べ、最初に度数の分布が存在した判定領域に対応付けられた強調度合いα_A 〜α_R を第１の強調度合いとして取得する。次いで、制御回路１１は総和算出部２７から与えられた総和を基に、第１の強調度合いα_A 〜α_R を補正して第２の強調度合いα’_A 〜α’_R とし、これを決定した強調度合いとして強調度合い調整部２８へ与えるようにしてある。強調度合い調整部２８は、輪郭成分強調部３０が強調を行う輪郭成分の値に応じて、制御回路１１から与えられた強調度合いα’_A 〜α’_R を調整し、輪郭成分強調部３０へ与える。強調度合い調整部２８が行う調整処理については詳細を省略するが、図５（ｂ）に示すテーブルと同様のテーブル（ただし、強調度合いα’_A 〜α’_R に応じたより大きなテーブル）を用いて行うことができる。

以上のように、輪郭補正回路２２０にヒストグラム生成部２２２を設けてヒストグラムを生成し、制御回路１１にてヒストグラムに応じた強調度合いを決定する構成とすることにより、入力画像により適した強調度合いを決定することができる。なお、図１１に示した判定領域の設け方、及びこの判定領域から第１の強調度合いを決定する方法等は、一例であってこれに限るものではない。

なお、実施の形態３に係る表示装置のその他の構成は、実施の形態１に係る表示装置の構成と同様であるため、対応する箇所には同じ符号を付して詳細な説明を省略する。

本発明に係る表示装置の構成を示すブロック図である。 本発明に係る表示装置の輪郭補正回路の構成を示すブロック図である。 平滑画像生成部が行う平滑画像の生成方法を説明するための模式図である。 輪郭成分抽出部が行う輪郭成分の抽出方法を説明するための模式図である。 輪郭成分の強調度合いの決定方法を説明するための模式図である。 補正部が行う輪郭を強調する補正の一例を示す模式図である。 本発明に係る表示装置の輪郭補正回路が行う輪郭補正処理の手順を示すフローチャートである。 本発明の実施の形態２に係る表示装置の輪郭補正回路の構成を示すブロック図である。 実施の形態２における輪郭成分の強調度合いの決定方法を説明するための模式図である。 本発明の実施の形態３に係る表示装置の輪郭補正回路の構成を示すブロック図である。 ヒストグラム生成部が生成するヒストグラムの一例を示す模式図である。

符号の説明

１ 表示装置
２ 表示部（表示手段）
３ 液晶駆動回路
４ 液晶パネル
５ 画像入力部（入力手段）
６ 入力端子部
７ チューナ
１０ 画像処理部（画像処理装置）
１１ 制御回路（決定手段）
１２ 画像メモリ
１３ デコーダ
１４ 変換回路
２０ 輪郭補正回路
２１ ノイズ除去フィルタ
２２ 平均輝度算出部（平均輝度算出手段）
２３ 輪郭成分抽出部（抽出手段）
２４ 平滑画像生成部（生成手段）
２５ 減算器（差分算出手段）
２６ 輪郭成分比較部
２７ 総和算出部（総和算出手段）
２８ 強調度合い調整部（調整手段）
２９ 補正部（補正手段）
３０ 輪郭成分強調部
３１ 加算器

Claims (7)

1. 入力画像の輪郭を補正する輪郭補正方法において、
   入力画像の輪郭成分を抽出し、
   抽出した輪郭成分の総和を算出し、
   入力画像の輝度成分の平均を算出し、
   前記輪郭成分の総和が所定の閾値以下であり、且つ、前記輝度成分の平均が所定の閾値以上である場合に大きい値となり、前記輪郭成分の総和が所定の閾値より大きく、又は、前記輝度成分の平均が所定の閾値より小さい場合に小さい値となるように、輪郭の強調度合いを決定し、
   抽出した各輪郭成分に応じて、決定した前記強調度合いを調整し、
   調整した前記強調度合いに応じて対応する前記各輪郭成分を強調し、
   強調した前記輪郭成分に応じて入力画像の輪郭を補正すること
   を特徴とする輪郭補正方法。
2. 入力画像の輪郭成分を抽出する場合に、
   入力画像を平滑化した平滑画像を生成し、
   前記入力画像及び前記平滑画像の差分を算出し、
   算出した差分を輪郭成分とする請求項１に記載の輪郭補正方法。
3. 強調した輪郭成分を入力画像に加算して輪郭の補正を行う請求項１又は請求項２に記載の輪郭補正方法。
4. 入力画像の輪郭を補正する処理を行う画像処理装置において、
   入力画像の輪郭成分を抽出する抽出手段と、
   該抽出手段が抽出した輪郭成分の総和を算出する総和算出手段と、
   入力画像の輝度成分の平均を算出する平均輝度算出手段と、
   前記輪郭成分の総和が所定の閾値以下であり、且つ、前記輝度成分の平均が所定の閾値以上である場合に大きい値となり、前記輪郭成分の総和が所定の閾値より大きく、又は、前記輝度成分の平均が所定の閾値より小さい場合に小さい値となるように、輪郭の強調度合いを決定する決定手段と、
   抽出した各輪郭成分に応じて、決定した前記強調度合いを調整する調整手段と、
   調整した前記強調度合いに応じて対応する前記各輪郭成分を強調し、強調した前記輪郭成分に応じて入力画像の輪郭を補正する補正手段と
   を備えることを特徴とする画像処理装置。
5. 前記抽出手段は、
   入力画像を平滑化した平滑画像を生成する生成手段と、
   前記入力画像及び前記平滑画像の差分を算出する差分算出手段と
   を有し、
   該差分算出手段が算出した差分を輪郭成分とするようにしてある請求項４に記載の画像処理装置。
6. 前記補正手段は、強調した輪郭成分を入力画像に加算して輪郭の補正を行うようにしてある請求項４又は請求項５に記載の画像処理装置。
7. 請求項４乃至請求項６のいずれか１つに記載の画像処理装置と、
   画像を取得して前記画像処理装置へ入力する入力手段と、
   前記画像処理装置が輪郭の補正を行った画像を表示する表示手段と
   を備えることを特徴とする表示装置。

Images