WO2009130820A1

WO2009130820A1 - 画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体

Info

Publication number: WO2009130820A1
Application number: PCT/JP2008/072403
Authority: WO
Inventors: 誠塩見; 保酒井
Original assignee: シャープ株式会社
Priority date: 2008-04-21
Filing date: 2008-12-10
Publication date: 2009-10-29
Also published as: US8358307B2; CN101952854A; CN101952854B; US20110043526A1

Abstract

　分割された画像データをそれぞれ入力される各アップスケール回路（１２ａ～１２ｄ）に、注目画素近傍の階調値の微分または差分を用いて画像中のエッジを抽出するように上記注目画素の階調値を算出する差分回路（３１）と、注目画素近傍の階調値を平均化するように上記注目画素の階調値を算出する平均化回路（３４）と、分割画像データに差分演算処理を施した差分画像データと分割画像データに差分演算処理および平均化処理を施した平均化画像データとの相関関係を示す相関値を算出する相関演算回路（３５）とを設ける。そして、算出した相関値に応じた補間方法で分割画像データに補間処理を施す。これにより、入力画像データを複数の領域の画像データに分割し、分割した各画像データの解像度を高解像度に変換する画像処理装置において、回路規模および処理時間を増大させることなく高精細な画像を生成できる。

Description

画像処理装置、表示装置、画像処理方法、プログラムおよび記録媒体

　本発明は、入力される画像データの解像度を高解像度にアップスケールする画像処理装置および画像処理方法に関するものである。

　従来から、入力される画像データの解像度を高解像度にアップスケールするアップスケール技術に関しては、比較的多くの研究がなされている。

　最も単純な手法としては、例えば、バイリニア法、バイキュービック法、ＬＡＮＣＺＯＳ法などの単純なフィルタによって対象となる画素情報を補間する手法がある。しかしながら、これらの手法は一定のルールに従って入力画像データにおける画素間を穴埋めしているにすぎず、本質的に元の画像の先鋭度と同等の画像しか得られない。

　一方、例えば特許文献１には、対象画素の周囲の輝度パターンに応じて補間パラメータを選定し、選定した補間パラメータを用いてアップスケール処理を行う技術が開示されている。また、特許文献１には、輝度変化の状況に応じたマッチングパターンの選定の精度を、経験と学習によって高める技術が開示されている。
特許第３２４３８６１号公報（平成６年６月２４日公開）

　しかしながら、上記特許文献１の技術は、全方位の階調の連続性を保つように補間を行うので、エッジ部分において適切な補間を行えないという問題がある。このため、上記特許文献１の技術は、より高精細な画像を必要とする場面には最適であるとはいえない。

　この問題を解決するために、入力画像データにおけるエッジ部分を抽出し、エッジ部分についてはそのエッジ方向に即した補間を行うことが考えられる。

　ところが、このような処理を行うためには、隣接画素との間で階調差が生じている部分がエッジであるかどうかを判定するために、画像全体（あるいは画像中の非常に広い領域）にわたって階調変化を追跡し、この階調変化が画像中の領域を区分しているか否かを判定する必要がある。このため、エッジ検出を行うための回路規模が大きくなってしまうという問題がある。なお、回路規模の増大を避けるために、ＭＰＥＧのエッジ抽出などで行われるように、適当なサイズのブロック（例えば８×８のエリア）を平均した縮小画像を用いる方式もある。しかしながら、この方式では、高精細画像を生成するためのエッジ抽出としては十分な精度が得られず、ブロックサイズ単位でぼやけてしまったり、ブロックサイズ以下のサイズのエッジを誤判定してしまったりする。

　特に、高解像度の映像信号を伝送するための伝送規格としてはＤＶＩ，ＨＤ－ＳＤＩ等の規格が知られているが、これら従来の伝送規格では、例えば２Ｋ１Ｋクラス（水平方向２０００画素×垂直方向１０００画素程度）の表示容量の画像データ（ハイビジョンデータ）を４Ｋ２Ｋクラス（水平方向４０００画素×垂直方向２０００画素程度）の表示容量の画像データにアップスケールする場合、アップスケール後の４Ｋ２Ｋクラスの映像信号を１本の伝送線で伝送することができないので、複数の伝送線を用いて伝送するように複数の領域毎の映像信号に分割する必要がある。

　なお、４Ｋ２Ｋとは、デジタルシネマおよびハイビジョンの拡張において用いられる用語であり、シネマでは４０９６ドット×２１６０ライン、ハイビジョンでは３８４０ドット×２１６０ラインの解像度が用いられる。同様に、２Ｋ１Ｋはこれに対応して用いられる用語であり、一般に２０４８×１０８０，１９２０×１０８０の解像度である。これら２系統の伝送規格は同一に定められていることから、一般に、４Ｋ２Ｋ，２Ｋ１Ｋと表現される。

　しかしながら、画像中のエッジを適切に検出するためには、上記したように画像全体（あるいは画像中の非常に広い領域）にわたって階調変化を追跡する必要があるので、画像を複数領域に分割して取り扱うと、エッジの連続性を適切にチェックすることができないという問題があった。このような問題は、各分割画像の境界部において特に発生しやすい。

　また、従来のエッジ検出方法では、画像全体（あるいは画像中の非常に広い領域）にわたって階調変化を追跡する必要があるので、エッジ検出にかかる処理時間が長くなるという問題、および回路規模が大きくなってコストが増大するという問題があった。

　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力画像データを複数の領域の画像データに分割し、分割した各画像データの解像度を高解像度に変換する画像処理装置において、回路規模および処理時間を増大させることなく高精細な画像を生成できる画像処理装置を提供することにある。

　本発明の画像処理装置は、上記の課題を解決するために、入力画像データを複数の分割画像データに分割する分割処理部と、上記各分割画像データの解像度を高解像度にアップスケールするための複数のアップスケール処理部とを備えた画像処理装置であって、上記分割処理部は、上記各分割画像データにおける他の分割画像データとの境界部に上記他の分割画像データの一部を重畳して含めるように上記各分割画像データを生成し、上記各アップスケール処理部は、注目画素近傍の階調値の微分または差分を用いた演算によって画像中のエッジを抽出するための上記注目画素の階調値を算出する差分演算処理を行う差分演算部と、注目画素近傍の階調値を平均化した値を上記注目画素の階調値として算出する平均化処理を行う平均化処理部と、上記分割画像データに上記差分演算処理を施した差分画像データと上記分割画像データに上記差分演算処理および上記平均化処理を施した平均化画像データとの相関関係を示す相関値を算出する相関演算部と、上記相関値に応じた補間方法で上記分割画像データに補間処理を施す補間処理部とを備えていることを特徴としている。

　上記の構成によれば、各アップスケール処理部は、注目画素近傍の階調値の微分または差分を用いた演算によって画像中のエッジを抽出するための上記注目画素の階調値を算出する差分演算処理を行う差分演算部と、注目画素近傍の階調値を平均化した値を上記注目画素の階調値として算出する平均化処理を行う平均化処理部と、上記分割画像データに上記差分演算処理を施した差分画像データと上記分割画像データに上記差分演算処理および上記平均化処理を施した平均化画像データとの相関関係を示す相関値を算出する相関演算部とを備えている。このように算出される相関値により、注目画素近傍がエッジ部分であるかエッジ部分以外であるかを適切に識別できる。つまり、エッジ部分以外では平均化処理によりエッジ以外のノイズや細い線等が消去されるので上記の相関値は小さくなる一方、エッジ部分では平均化処理を施しても平均化処理前に対する変化が小さいので上記の相関値は大きくなる。このため、上記相関値により、注目画素近傍がエッジ部分であるかエッジ部分以外であるかを適切に識別できる。

　そして、上記の構成では、補間処理部が上記相関値に応じた補間方法で上記分割画像データに補間処理を施して上記分割画像データをアップスケールする。これにより、エッジ部分とエッジ部分以外とに異なる補間処理を施すことができるので、高精細な画像を生成できる。

　また、各分割画像データは、差分演算処理において参照する各注目画素近傍の階調値を含むだけでよいので、従来のエッジ検出方法のように画像全体を追跡する必要がないため、エッジ検出処理に用いる画像データを少なくでき、回路規模を小さくするとともに、処理時間を短縮することができる。

　また、上記各アップスケール回路は、互いに並行して上記差分演算処理、上記平均化処理、上記相関値の算出処理、および上記補間処理を行う構成としてもよい。

　上記の構成によれば、各アップスケール回路において他のアップスケール回路に対応する分割画像データを参照することなく上記差分演算処理、上記平均化処理、上記相関値の算出処理、および上記補間処理を行うことができる。このため、上記各アップスケール回路が上記各処理を並行して行うことが可能であり、それによって画像全体に対するアップスケールに要する時間を短縮できる。

　また、上記各アップスケール処理部は、各画素についての上記相関値と予め設定された閾値とを比較することで上記分割画像データに含まれるエッジ部分とエッジ部分以外とを識別するエッジ識別部を備え、上記補間処理部は、エッジ部分に対してはエッジ部分以外よりもエッジが際立つ補間方法で補間処理を施す構成としてもよい。

　上記の構成によれば、エッジ部分とエッジ部分以外とを明確に識別すことができ、エッジ部分に対してはエッジ部分以外よりもエッジが際立つ補間方法で補間処理を施すことにより、エッジをより鮮明に際立たせた高精細なアップスケール画像を生成できる。

　また、上記差分演算部は、上記分割画像データに対して水平方向のエッジを抽出するための上記差分演算処理である水平差分演算処理と垂直方向のエッジを抽出するための上記差分演算処理である垂直差分演算処理とを行い、上記エッジ識別部は、エッジ部分であると判定された注目画素について、上記水平差分演算処理後の注目画素の階調値と上記垂直差分演算処理後の注目画素の階調値との比をエッジの傾き角度として算出し、上記補間処理部は、エッジ部分の補間画素に対しては当該補間画素に隣接する各画素のうち上記補間画素を通り上記エッジの傾き方向に平行な直線との距離が近い順に選択される所定数以下の画素の階調値を用いて補間処理を行い、エッジ部分以外の補間画素に対しては当該補間画素に隣接する各画素の階調値を用いて補間処理を行う構成としてもよい。

　上記の構成によれば、水平方向の差分演算処理を施した後の注目画素の階調値と垂直方向の差分演算処理を施した後の注目画素の階調値との比をエッジの傾き角度として算出することにより、エッジ方向を検出できる。そして、エッジ部分の補間画素に対しては当該補間画素に隣接する各画素のうち上記補間画素を通り上記エッジの傾き方向に平行な直線との距離が近い順に選択される所定数以下の画素の階調値を用いて補間処理を行い、エッジ部分以外の補間画素に対しては当該補間画素に隣接する各画素の階調値を用いて補間処理を行うことで、エッジ部分についてはエッジを鮮明に際立たせ、エッジ部分以外については階調の連続性を重視した補間を行うことができ、より高詳細なアップスケール画像を生成できる。

　また、上記各アップスケール処理部は、上記相関値の大きさに応じた補正係数を算出する補正係数算出部を備え、上記補間処理部は、各補間画素について、エッジを抽出するための第１の補間処理と、全方位についての階調の連続性を実現するための第２の補間処理とを行い、第１の補間処理の結果および第２の補間処理の結果に上記補正係数に応じた重み付けを行って加算することで上記分割画像データの補間処理を行う構成としてもよい。

　上記の構成によれば、エッジを明瞭に表現するとともに、ノイズの影響を適切に低減することができる。

　また、上記差分演算部は、注目画素を中心とする５画素×５画素のブロックに対して上記差分演算処理を施す構成としてもよい。

　上記の構成によれば、各アップスケール回路において他のアップスケール回路に対する分割画像データを参照することなく算出される上記相関値により、エッジを精度よく検出できる。したがって、各アップスケール回路においてエッジ検出に用いられる画像データのサイズを小さくして回路規模を低減できる。

　また、上記分割処理部は、上記各分割画像データにおける他の分割画像データとの境界部に上記他の分割画像データにおける２ライン以上５ライン以下の画像データを重畳させる構成としてもよい。

　上記の構成によれば、各分割画像データにおける他の分割画像データとの境界部に上記他の分割画像データにおける２ライン以上５ライン以下の画像データを重畳させるだけで、各分割画像データにおけるエッジを精度よく検出できる。したがって、各アップスケール回路においてエッジ検出に用いられる画像データのサイズを小さくして回路規模を低減できる。

　本発明の表示装置は、上記したいずれかの画像処理装置と、上記画像処理装置によってアップスケールされた画像を表示する表示部とを備えていることを特徴としている。

　上記の構成によれば、回路規模および処理時間を増大させることなく高精細な画像を生成し、表示することができる。

　本発明の画像処理方法は、入力画像データを複数の分割画像データに分割する分割処理工程と、上記各分割画像データの解像度を高解像度にアップスケールする処理を複数のアップスケール処理部を用いて行う画像処理方法であって、上記分割処理工程では、上記各分割画像データにおける他の分割画像データとの境界部に上記他の分割画像データの一部を重畳して含めるように上記各分割画像データを生成し、上記アップスケール処理部は、注目画素近傍の階調値の微分または差分を用いた演算によって画像中のエッジを抽出するための上記注目画素の階調値を算出する差分演算処理を行う差分演算工程と、注目画素近傍の階調値を平均化した値を上記注目画素の階調値として算出する平均化処理を行う平均化処理工程と、上記分割画像データに上記差分演算処理を施した差分画像データと上記分割画像データに上記差分演算処理および上記平均化処理を施した平均化画像データとの相関関係を示す相関値を算出する相関演算工程と、上記相関値に応じた補間方法で上記分割画像データに補間処理を施す補間処理工程とを行うことを特徴としている。

　上記の方法によれば、各アップスケール処理部は、注目画素近傍の階調値の微分または差分を用いた演算によって画像中のエッジを抽出するための上記注目画素の階調値を算出する差分演算処理を行う差分演算工程と、注目画素近傍の階調値を平均化した値を上記注目画素の階調値として算出する平均化処理を行う平均化処理工程と、上記分割画像データに上記差分演算処理を施した差分画像データと上記分割画像データに上記差分演算処理および上記平均化処理を施した平均化画像データとの相関関係を示す相関値を算出する相関演算工程とを行う。このように算出される相関値により、注目画素近傍がエッジ部分であるかエッジ部分以外であるかを適切に識別できる。つまり、エッジ部分以外では平均化処理によりエッジ以外のノイズや細い線等が消去されるので上記の相関値は小さくなる一方、エッジ部分では平均化処理を施しても平均化処理前に対する変化が小さいので上記の相関値は大きくなる。このため、上記相関値により、注目画素近傍がエッジ部分であるかエッジ部分以外であるかを適切に識別できる。

　そして、上記の方法では、補間処理工程において、上記相関値に応じた補間方法で上記分割画像データに補間処理を施して上記分割画像データをアップスケールする。これにより、エッジ部分とエッジ部分以外とに異なる補間処理を施すことができるので、高精細な画像を生成できる。

　なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより、上記画像処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。

本発明の一実施形態にかかる画像処理装置に備えられるエッジ検出回路の概略構成を示すブロック図である。図１の画像処理装置を備えた表示装置の概略構成を示すブロック図である。図１の画像処理装置における処理の概要を示す説明図である。図１の画像処理装置に備えられるアップスケール回路の概略構成を示すブロック図である。図１の画像処理装置において行われる差分演算処理の概要を示す説明図である。図１の画像処理装置において差分演算処理を行った結果の一例を示す説明図である。図１の画像処理装置において差分演算処理を行った結果の一例を示す説明図である。図１の画像処理装置において差分演算処理を行った結果の一例を示す説明図である。図１の画像処理装置において行われる平均化処理の概要を示す説明図である。図１の画像処理装置において行われるエッジ検出処理の概要を示す説明図である。図１の画像処理装置において３ドット×３ドットのブロックで表現されるエッジの傾きのパターンを示す説明図である。アップスケール処理で用いられる補間方法の一例を示す説明図である。図１に示した画像処理装置においてエッジ部分に適用される補間方法を示す説明図である。図１の画像処理装置において行われるエッジ検出処理の変形例を示す説明図である。

符号の説明

１　表示装置
２　液晶パネル
１０　画像処理装置
１１　分割回路
１２ａ～１２ｄ　アップスケール回路
１３　液晶駆動回路
２１　エッジ検出回路
２２　補間回路
３１　差分回路
３２　フィルタ回転回路
３３　方向設定回路
３４　平均化回路
３５　相関演算回路
３６　エッジ識別回路

　本発明の一実施形態について説明する。

　図２は、本実施形態にかかる表示装置１の概略構成を示すブロック図である。この図に示すように、表示装置１は、画像処理装置１０と液晶パネル（表示部）２とを備えている。

　画像処理装置１０は、分割回路１１、アップスケール回路１２ａ～１２ｄ、および液晶駆動回路（表示制御部）１３を備えている。

　分割回路１１は、画像処理装置１０に入力される画像データを所定数の領域の画像データに分割し、分割した画像データをそれぞれアップスケール回路１２ａ～１２ｄに出力する。

　なお、本実施形態では、２Ｋ１Ｋクラスのハイビジョンデータを入力され、これを左上，右上，左下，および右下の４領域の画像データに分割する場合について説明する。ただし、画像の分割数および各分割領域の配置位置はこれに限るものではない。例えば、各分割領域が水平方向に並ぶように分割してもよく、各分割領域が垂直方向に並ぶように分割してもよい。いずれの分割方法を採用するかについては、各分割方法の特性と、実施する時点での回路技術、液晶パネル技術などに鑑みて選択すればよい。

　本実施形態のように左上，右上，左下，および右下の４領域の画像データに分割する場合、各領域は２Ｋ１Ｋの画像データになるので、従来の２Ｋ１Ｋクラスの表示装置で用いられている駆動方式をそのまま適用でき、また信号処理回路（信号処理ＬＳＩ）も２Ｋ１Ｋクラスで用いられている従来と同じものを使用できるので、製造コストおよび開発コストを低減できるという利点がある。

　一方、各分割領域が水平方向に並ぶように分割（縦分割；１Ｋ２Ｋ×４領域に分割）する場合、および各分割領域が垂直方向に並ぶように分割（横分割；４Ｋ０．５Ｋ×４領域に分割）する場合には、各分割領域が従来用いられている表示装置の形状およびサイズとことなるため、駆動上の問題が生じるおそれがある。

　例えば、縦分割の場合、全ての分割領域が同じ時系列で入力信号に対応して処理されるため、信号処理ロジックを構成しやすいという有利があるが、駆動本数が多くなるために従来の１／２の充電時間で書き込みを完了する必要があり、表示ムラや輝度低下などの信頼上の問題が生じやすい。

　また、横分割の場合、縦分割の場合のような充電時間の問題はないものの、ソースラインが領域をまたいで配線されるなど、パネル容量特性や開口率の低下などの問題が生じるため基本性能としての不利を被りやすい。

　また、本実施形態では、各分割領域の境界部に隣接する他の分割領域の一部を含めるようになっている。例えば、入力画像データがハイビジョンの水平方向１９２０画素×垂直方向１０８０画素の画像データである場合、各分割領域を９６０画素×５４０画素に分割するのではなく、（９６０＋α）画素×（５４０＋α）画素とし、隣接する分割領域同士の一部を互いにオーバーラップ（重畳）させるようになっている。画像の分割方法の詳細については後述する。

　アップスケール回路１２ａ～１２ｄは、分割された画像データをそれぞれ入力され、入力された画像データにアップスケール処理を施して液晶駆動回路１３に出力する。アップスケール処理の詳細については後述する。

　液晶駆動回路１３は、各アップスケール回路１２ａ～１２ｄから入力されるアップスケール後の画像データに基づいて液晶パネル２を制御し、アップスケールされた画像をこの液晶パネル２に表示させる。なお、図２では液晶駆動回路１３を１つのブロックとして表記しているが、これに限らず、複数のブロックによって構成されていてもよい。例えば、アップスケール回路１２ａ～１２ｄに対応して液晶駆動回路１３ａ～１３ｄを設け、これら各液晶駆動回路によって液晶パネル２における各分割領域を駆動するようにしてもよい。１つの液晶駆動回路１３で液晶パネル２の全体を駆動する場合、各領域の駆動タイミングを容易に一致させることができるので制御性がよいという利点がある一方、入出力ピン数が多くなるので回路サイズ（ＩＣサイズ）が大きくなってしまう。また、液晶駆動回路１３を分割領域に応じて複数設ける場合、チップサイズを小さくできるという利点がある（特に本実施形態の場合、各分割領域が２Ｋ１Ｋクラスであるので従来の２Ｋ１Ｋクラスの表示装置に用いられている２Ｋコントロールチップを使用できるので経済的である）一方、各液晶駆動回路の同期を保つための調停回路を設ける必要がある。

　液晶パネル２は液晶駆動回路１３によって制御され、画像処理装置１０においてアップスケール処理された画像データに応じた画像を表示する。なお、本実施形態では、水平方向４０９６画素×垂直方向２１６０画素（４Ｋ２Ｋクラス）の液晶パネルを用いている。ただし、液晶パネルの表示容量はこれに限るものではない。

　なお、画像処理装置１０に対する入力画像データのサイズが１９２０×１０８０であり、液晶パネル２の表示サイズが４０９６×２１６０の場合、入力画像データを縦横２倍にアップスケール（拡大）して３８４０×２１６０になる。この場合、横方向のサイズ（３８４０ドット）が表示サイズ（４０９６ドット）よりも小さいので、左半分の分割領域の画像については、２０４８－１９２０＝１２８ドット分だけ右側にずらして表示する必要がある。

　この左半分の画像を右側にずらす補正処理については画像処理装置１０内のどの部分で行ってもよいが、分割回路１１で分割画像データを補正してすべての分割画像データの映像を２０４８×１０８０として扱うようにすることにより、より多くのビデオフォーマットに容易に対応できる汎用的なアップコンバートシステムを実現できる。また、この補正を液晶駆動回路１３で行えば、多くのビデオフォーマットに対応できる汎用的な４Ｋ２Ｋ液晶表示モジュールを実現できる。なお、２Ｋ映像を映すことに比較的重点を置かない用途では後段で補正することが好ましい。

　また、本実施形態では表示部として液晶パネルを用いているがこれに限るものではなく、例えばプラズマディスプレイ、有機ＥＬディスプレイ、ＣＲＴなどからなる表示部を用いてもよく、その場合には液晶駆動回路１３に代えて表示部に応じた表示制御部を備えればよい。

　図３は、本実施形態にかかる表示装置１における処理を概略的に示した説明図である。この図に示すように、入力画像（原画像）データとして２Ｋ１Ｋの画像データが入力されると、分割回路１１がこの入力画像データを（１Ｋ＋α）×（０．５Ｋ＋α）の４つの分割画像データに分割する。なお、図３に示した破線部分（αの部分）は隣接する他の分割画像データとのオーバーラップ部分である。

　上記のように分割された各分割画像データに対して、アップスケール回路１２ａ～１２ｄが補間処理（アップスケール処理）を行い、２Ｋ１Ｋの補間後画像データ（アップスケール後画像データ）を生成する。なお、アップスケール回路１２ａ～１２ｄは上記の補間処理を並列処理する。

　その後、液晶駆動回路１３が、アップスケール回路１２ａ～１２ｄによって補間処理された各補間後画像データに応じた分割映像信号を生成し、これら各分割映像信号に応じた画像を液晶パネル２の各分割領域に表示させる。

　図４は、アップスケール回路１２ａ～１２ｄの概略構成を示すブロック図である。この図に示すように、各アップスケール回路１２ａ～１２ｄは、エッジ検出回路２１と、補間回路２２とを備えている。エッジ検出回路２１は、分割画像データにおけるエッジの位置および方向を検出する。補間回路２２は、エッジ部分とエッジ部分以外とで異なる補間方法を用いて補間処理を行う。具体的には、エッジ部分についてはエッジ方向に隣接する画素の画素値の平均値を用いて補間し、エッジ部分以外については全方位に隣接する各画素の画素値の加重平均値を用いて補完する。

　図１は、エッジ検出回路２１の概略構成を示すブロック図である。この図に示すように、差分回路３１、フィルタ回転回路３２、方向設定回路３３、平均化回路３４、相関演算回路３５、およびエッジ識別回路３６を備えている。

　差分回路３１は、入力されてくる画像データに対して差分フィルタを用いた差分演算を行って差分画像データを算出し、算出した差分画像データを平均化回路３４および相関演算回路３５に出力する。

　例えば、図５に示すように、入力された画像データにおける注目画素を中心とする５ドット×５ドットのブロックに対して、３ドット×３ドットの各ドットにそれぞれフィルタ係数を設定した差分フィルタを適用し、注目画素を中心とする３ドット×３ドットの差分演算結果を得る。この場合、上記の差分演算は、入力画像データにおける各ドットの画素値をｄｉｊ（ｉ，ｊは１～３の整数）、差分フィルタをａｉｊ、差分演算結果における各ドットの画素値をｂｋｌ（ｋ、ｌは１～３の整数）とすると、

で表される。

　なお、本実施形態では、差分フィルタａｉｊとして、以下に示す１：２：１のフィルタ、

を用いる。ただし、差分フィルタａｉｊはこれに限るものではなく、注目画素近傍の階調値の微分または差分を用いた演算によって画像中のエッジを抽出できるものであればよい。例えば、以下に示す３：２：３，１：１：１，あるいは１：６：１のフィルタを用いてもよい。

などを用いてもよい。差分フィルタを上記のようにａ：ｂ：ａと表現した場合、ｂの重みが大きいほどが大きいほど注目画素の近傍を正確に評価できる一方でノイズには弱くなる。また、ｂの重みが小さいほど注目画素の周辺の様子を包括的にとらえることができるものの小さな変化を逃しやすくなる。このため、差分フィルタのフィルタ係数については、目標とする画像特性に応じて適宜選択すればよい。例えば、写真のような本質的に緻密でぼやけが少ないようなコンテンツではｂの重みが大きい方がその特徴をつかみやすい。また、動きの激しい映像、特に暗い映像など、ぼやけ，ノイズが大きくなりやすいコンテンツではｂの重みを相対的に小さくすることで誤判定を抑制できる。また、本実施形態では差分フィルタとして３ドット×３ドットのフィルタを用いているが、これに限るものではなく、例えば５ドット×５ドットや７ドット×７ドットの差分フィルタを用いてもよい。

　フィルタ回転回路３２は差分回路３１で用いる差分フィルタに回転処理を施すものである。また、方向設定回路３３はフィルタ回転回路３２による差分フィルタの回転を制御するとともに、差分フィルタの適用状態を示す信号をエッジ識別回路３６に出力するものである。

　本実施形態では、入力画像データに対してまず上記の差分フィルタａｉｊを用いて差分演算を行うことで水平方向のエッジ検出処理を行い、その後、上記の差分フィルタａｉｊを９０度回転させたフィルタを用いて上記入力画像データに対して差分演算を再度行うことで垂直方向のエッジを検出する。なお、水平方向および垂直方向のエッジ検出処理を並行して行うようにしてもよく、この場合には差分回路３１、フィルタ回転回路３２、方向設定回路３３、平均化回路３４、相関演算回路３５、およびエッジ識別回路３６を２組設けておけばよい。

　図６は、垂直方向のはっきりとしたエッジの画像（画像Ａ）、垂直方向に延伸する細い線の画像（画像Ｂ）、乱雑な線の画像（画像Ｃ）、およびこれら各画像に対して１：２：１の差分フィルタを用いて水平方向および垂直方向の差分演算を行った結果を示す説明図である。

　この図に示すように、入力画像データにおける注目画素（中心画素）の周囲３ドット×３ドットのパターンは同じであり、注目画素の水平方向についての差分演算結果（中央値）はいずれも４になる。ところが、水平方向の差分演算結果における注目画素を中心とする３ドット×３ドットのブロックについての平均値の中央値に対する比率は、画像Ａが０．６７、画像Ｂが０．３３、画像Ｃが０．２２となっており、はっきりとしたエッジ（あるいはエッジに近い画像）があるものほど数値が大きくなる。つまり、細い線の画像Ｂはエッジであるかもしれないが模様（テクスチャ）である可能性もあり、画像Ａに比べて差分演算結果の平均値（エッジ性（エッジらしさ）を示す値）が半分程度しかない。また、乱雑な中にある線の画像Ｃは、本当のエッジであるのかノイズであるのかの区別ができず、画像Ａに比べて差分演算結果の平均値が１／３程度になっている。

　なお、差分画像データにおける５ドット×５ドットあるいは７ドット×７ドットのブロックでは、入力画像データのパターンの違いによる平均値の差が３ドット×３ドットの場合に比べて小さくなっている。このため、差分画像データにおける５ドット×５ドットあるいは７ドット×７ドットのブロックの平均値を用いてエッジ検出を行う場合には詳細な条件判断を行う必要がある。このことから、エッジ検出処理には３ドット×３ドットの差分画像データを用いることが好ましい。なお、３ドット×３ドットの差分画像データを得るためには入力画像データにおける５ドット×５ドットのブロックを参照することになる。

　また、回路規模に余裕がある場合には、３ドット×３ドットの差分画像データを用いたエッジ検出に加えて、５ドット×５ドットおよび／または７ドット×７ドットの差分画像データを用いたエッジ検出処理を行い、その処理結果を３ドット×３ドットの差分画像データを用いたエッジ検出で誤検出が生じる場合の例外処理としてデータベース化するようにしてもよい。これにより、より高精度なエッジ検出を行うことができる。例えば、周期性の高いテクスチャの中に埋もれているようなエッジであっても適切に検出できる。

　図７は、斜め方向のはっきりとしたエッジの画像（画像Ｄ）、斜め方向に延伸する細い線の画像（画像Ｅ）、乱雑な線の画像（画像Ｆ）、およびこれら各画像に対して１：２：１の差分フィルタを用いて水平方向および垂直方向の差分演算を行った結果を示す説明図である。

　画像Ｄ，Ｅに対する水平方向および垂直方向の差分演算結果における注目画素を中心とする３ドット×３ドットのブロックについての平均値の中央値に対する比率は、画像Ｄが０．６７、画像Ｅが０．３３となっており、画像Ａ，Ｂに対する水平方向の差分演算結果と同様、はっきりとしたエッジ（あるいはエッジに近い画像）があるものほど数値が大きくなる。また、画像Ｆでは、３ドット×３ドットのブロックについての平均値の中央値に対する比率が０．０６となっており、エッジとして認識されにくくなっている。

　図８は、傾き１／２のエッジの画像（画像Ｇ）、傾き１のエッジの画像（画像Ｈ）、傾き２のエッジの画像（画像Ｉ）、およびこれら各画像に対して１：２：１の差分フィルタを用いて水平方向および垂直方向の差分演算を行った結果を示す説明図である。図８における各画像はエッジ部分の画像なので、水平方向および垂直方向の差分演算結果における注目画素を中心とする３ドット×３ドットのブロックについての平均値の中央値に対する比率はいずれも大きくなっている。

　また、これら各画像における水平方向の差分演算結果の中央値と垂直方向の差分演算結果の中央値との比は、画像Ｇが２／４、画像Ｈが３／３、画像Ｉが４／２となっており、各画像におけるエッジの傾きと一致している。本実施形態では、この特性を用いて、後述するエッジ識別回路３６が、注目画素がエッジ部分であると判定した場合に、水平方向および垂直方向の差分演算結果における中央値（注目画素の値）の比に基づいてエッジの傾きを算出するようになっている。なお、水平方向または垂直方向のエッジについては、水平方向の差分演算結果における中央値または水平方向の差分演算結果における中央値のいずれかが０になるので、エッジ方向を容易に判定できる。

　平均化回路３４は、差分回路３１から入力される差分画像データｂｉｊに基づいて、注目画素の画素値を当該注目画素およびその周辺画素の画素値で平均化した値とした平均化画像データを生成する。

　なお、上記の平均化処理は、例えば図９に示すように２ドット×２ドットのローパスフィルタ（ＬＰＦ）を用いたフィルタ処理によって行ってもよい。図９に示す例では、差分回路３１から入力された差分画像データにおける３ドット×３ドットのブロックに対して、２ドット×２ドットの各ドットにそれぞれフィルタ係数を設定しローパスフィルタを適用し、２ドット×２ドットの平均化処理結果を得る。この場合、上記の平均化演算は、差分画像データにおける各ドットの画素値をｂｉｊ（ｉ，ｊは１～３の整数）、ローパスフィルタをｃｉｊ、平均化画像データにおける各ドットの画素値をｂ’ｉｊとすると、

で表される。

　また、平均化回路３４は、差分画像データにおける３ドット×３ドットのブロックを１ドットずつ順次ずらして同様の演算を行うことにより、ｂ１３，ｂ２３，ｂ３１，ｂ３２，およびｂ３３を算出する。すなわち、注目画素およびその周囲８画素の合計９画素についての平均化画像データを算出する。そして、これら９画素の平均化画像データを相関演算回路３５に出力する。

　相関演算回路３５は、差分回路３１から入力された差分画像データと、平均化回路３４から入力された平均化画像データとの相関を示す値を算出する。具体的には、差分回路３１から入力された注目画素を中心とする９画素の差分画像データの平均値Ａ、および平均化回路３４から入力された注目画素を中心とする９画素の平均化画像データの平均値Ｂを算出し、これらの平均値ＡおよびＢに基づいて注目画素についての相関値Ｒ＝Ｂ／Ａを算出する処理を、水平方向および垂直方向についてそれぞれ行う。そして、水平方向について算出した相関値Ｒおよび垂直方向について算出した相関値Ｒのうち、値が大きい方の相関値Ｒを採用してエッジ識別回路３６に出力する。

　エッジ識別回路３６は、相関演算回路３５から入力された注目画素についての相関値Ｒと、予め設定された閾値Ｔｈとを比較することにより、この注目画素がエッジ画素であるか否かを判断する。なお、上記の閾値Ｔｈは、多数のサンプル画像に基づいて各画素の相関値Ｒを算出し、エッジ部分の画素について算出された相関値Ｒとエッジ部分以外の画素について算出された相関値Ｒとを比較する実験を行うことによって予め設定しておけばよい。

　図１０は、エッジ識別回路３６によるエッジ識別処理の概念を示す説明図である。図１０に示すように、入力画像データにエッジ部分とノイズとが混在している場合、差分画像データにはエッジ部分とノイズの影響とが反映されるので、差分画像データだけを用いてエッジ検出を行うとこのノイズの影響を受けてしまう。

　つまり、入力画像データにおいて縦方向にのびるエッジがある場合、この入力画像データに対して上記の差分演算を行った差分画像データは０でない値をもち、階調変化がない状態では０となる。ところが、このポイントにノイズが存在する場合や、細かい縦ストライプが存在する場合にも差分画像データの値は０でない値になる。

　これに対して、差分画像データに平均化処理を施すことにより、図１０に示すように、差分画像データからノイズを除去することができる。

　つまり、平均化の範囲内に１ドットだけ存在するノイズは平均化処理によって消し去られる。また、平均化の範囲を３ドット×３ドット、４ドット×４ドット、５ドット×５ドットというように大きくしていくと、微小なノイズやテクスチャ等を消し去ることができる。

　一方、エッジ部分については、比較的大きな領域を分割しているので、平均化処理されたブロックにおいても平均化処理前の差分情報が維持されやすい。

　このため、差分画像データとこの差分画像データを平均化処理した平均化画像データとの相関関係を調べることにより、ノイズあるいはテクスチャを識別してエッジ部分を精度よく検出することができる。

　つまり、平均化画像データではノイズやテクスチャが消し去られる一方、エッジ部分は平均化処理してもそのまま残るので、エッジ部分では上記の相関値Ｒが大きくなり、逆にエッジ部分以外では上記の相関値Ｒが小さくなる。また、上記の相関値Ｒは、エッジ部分では１あるいは１に近い値を有しており、エッジ部分以外ではエッジ部分の相関値よりも急激に小さな値になる。したがって、この相関値が急激に変化する範囲を実験等により予め調べ、閾値Ｔｈをこの範囲内に設定しておくことにより、エッジ部分を非常に精度よく検出することができる。

　また、エッジ識別回路３６は、水平方向について差分演算処理を行った結果と垂直方向について差分演算処理を行った結果とを用いてエッジ方向（エッジの伸長方向）を検出し、検出結果を補間回路２２に出力する。

　具体的には、水平方向についての差分演算結果における注目画素の値をａ１、垂直方向についての差分演算結果における注目画素の値をａ２として、これらの比ａ＝ａ１／ａ２を算出する。そして、このように算出した比ａを用いて、エッジの傾き角度θをθ＝ａｒｃｔａｎ（ａ）より算出する。

　なお、３ドット×３ドットのブロックで表現できる傾きのパターン（種類）は図１１に示す５種類しかない。また、上記の比ａの値は入力画像データに含まれるノイズの影響によって変動する場合がある。このため、エッジ方向については、必ずしも上記角度θを厳密に算出する必要はなく、図１１に示した５パターンのうちのいずれか、あるいはこれら５パターンの中間の傾きを含む９パターンのうちのいずれかに分類できればよい。したがって、エッジ方向の検出処理の簡略化およびエッジ方向の検出に要する回路規模の低減を図るためには、上記比ａの値は必ずしも直接計算する必要はなく、例えば乗算回路と比較とによって図１１に示した５パターンまたはその中間を含む９パターンのうちのいずれに相当するかを判定すればよい。

　また、エッジ方向の傾きを検出するために５ドット×５ドットのフィルタを用いてもよい。５ドット×５ドットの領域で判定できる傾きのパターンは単純なパターンで９種類あり、これら９種類の中間の傾きを考慮すると１０数種類ある。したがって、５ドット×５ドットのフィルタを用いてエッジ方向の傾きをより精度よく判定し、傾きの各パターンに応じた補間演算を行うことにより、３ドット×３ドットのブロックで傾きを判定する場合よりもより広域のエッジ状態を良好に補間することができる。ただし、５ドット×５ドットのブロックでエッジ方向の傾きを判定する場合には、３ドット×３ドットのブロックで判定する場合よりも小さい周期で方向が変化するようなエッジを見逃しやすい。したがって、いずれのブロックでエッジ方向の傾きを判定するかについては、表示するコンテンツの種類，特性等に応じて適宜選択するようにしてもよい。

　補間回路２２は、エッジ識別回路３６のエッジ検出結果に基づいて、エッジ部分およびエッジ以外の部分に対して、それぞれの特性に適した補間処理を行う。

　なお、入力された画像データの解像度を水平方向および垂直方向について２倍にアップスケールする場合、図１２の（ａ）および（ｂ）に示す２種類の補間方法が考えられる。

　第１の方法は、図１２の（ａ）に示すように、入力された画像データにおける各画素（基準点：図中の○印）の値（輝度）をそのまま残し、これら各画素の間の画素（図中の△印）を補間する方法である。

　第２の方法は、図１２の（ｂ）に示すように、入力された画像データにおける各画素（基準点：図中の○印）の周囲４画素（図中の△印）を補間する方法である。この方法では入力された画像データにおける各画素の画素値（輝度）は補間処理後には残らない。

　入力された画像に鮮明なエッジがあった場合、第２の方法では入力画像データの各画素の画素値が残らないので、エッジがぼやけてしまう場合がある。また、第２の方法よりも第１の方法の方が演算が容易であり、回路規模を低減できる。このため、本実施形態では第１の方法を採用する。ただし、本発明はこれに限るものではなく、第２の方法を用いることも可能である。

　図１３は、エッジ部分の補間方法を説明するための説明図であり、傾きの大きさが１の斜め方向のエッジ部分についての補間の例を示している。

　この図に示す補間方法では、まず補間する画素の周辺４画素を選択する。なお、傾き方向に平行な線分を含む平行四辺形の各頂点を形成するように４画素を選択することにより、補間演算を容易にすることができる。

　具体的には、図１３に示す補間画素ｘについては周辺画素として画素Ｂ，Ｅ，Ｆ，Ｉが選択され、補間画素ｙについては周辺画素として画素Ｄ，Ｅ，Ｈ，Ｉが選択される。なお、補間画素ｚのようにエッジ方向に隣接する画素同士を結ぶ直線上に存在する補間画素についてはエッジ方向に隣接する上記各画素（この場合２画素）を周辺画素として選択する。そして、選択した各周辺画素の平均値を補間画素の画素値とする。すなわち、ｚ＝（Ｅ＋Ｉ）／２、ｙ＝（Ｄ＋Ｅ＋Ｈ＋Ｉ）／４、ｘ＝（Ｂ＋Ｅ＋Ｆ＋Ｉ）／４とする。

　なお、エッジ方向の傾きの大きさが１ではない場合、周辺４画素の各画素値に傾きに応じて画素毎に設定される係数を乗じた値の平均値を用いればよい。例えば、図１３において傾きの大きさが２の場合、ｚ＝（（３×Ｅ＋Ｆ）／４＋（Ｈ＋３×Ｉ））／２、ｙ＝（（３×Ｅ＋Ｄ）／４＋（３×Ｈ＋Ｉ）／４）／２、ｘ＝（Ｂ＋Ｉ）／２といったように設定すればよい。

　上記のエッジの傾きに応じた係数は、例えば３ドット×３ドットのブロックで表現できる上記の５パターンあるいは９パターンに対応する値を予め近似計算等によって設定しておいてもよい。

　一方、エッジ部分ではないと判定された部分（例えばなだらかな階調変化を表現している部分やノイズ部分など）については、エッジが際立たないテクスチャ重視の補間方法を適用する。ここで言うテクスチャ重視とは、階調や色相の保全性、階調変化の連続性に重点を置き、比較的ノイズに強い処理のことを意味する。このような方法としては、例えば、バイリニア法、バイキュービック法、ｌａｎｃｚｏｓフィルタ法（ＬＡＮＣＺＯＳ法）などの従来から公知の種々の方法を用いることができる。特に、アップスケールの拡大率が一定である場合（本実施形態では拡大率は２倍）、ＬＡＮＣＺＯＳ法は優秀かつ簡易なフィルタとして知られており、好適である。

　以上のように、本実施形態にかかる画像処理装置１０では、入力画像データに対して差分演算を施した差分画像データと、この差分画像データに対して平均化処理を施した平均化画像データとの相関値を算出し、算出した相関値に基づいてエッジ部分およびエッジ方向を検出する。これにより、入力画像データにおけるエッジ部分を高精度に検出することができる。

　また、本実施形態では、入力画像データにおける注目画素を中心とする５ドット×５ドットの画像データに基づいて算出される差分画像データおよび平均化画像データに基づいて注目画素がエッジ部分であるか否かを判断する。したがって、入力画像データを複数の領域毎に分割する際、入力画像データを単純に４分割した各分割画像データに、これら各分割画像データに隣接する分割領域の画像データに含まれる境界部の２ドット分（水平方向に隣接する分割画像データの２列分および垂直方向に隣接する分割画像データの２行分）の画像データを付加（オーバーラップ）させるだけで、各分割画像データにおけるエッジ部分を高精度に検出することができる。つまり、入力画像データの水平方向の画素数をｎｘ、垂直方向の画素数をｎｙとすると、各分割領域の画素数を水平方向ｎｘ／２＋２、垂直方向ｎｙ＋２とすることにより、各分割領域において他の領域との相互作用を考えずに個別にエッジ検出およびアップスケールを精度よく行える。

　したがって、エッジ検出処理に用いる画像データを少なくできるので、回路規模を小さくすること、および処理時間を短縮することができる。つまり、従来のように画像全体についてエッジを追跡する必要がないので、エッジ判定のために画像全体の情報を分割された各アップスケール回路に渡す必要がない。このため、各アップスケール回路において他の分割領域との相互作用を考慮することなくエッジ検出を高精度に行える。

　また、本実施形態では、各分割画像データにおけるエッジ検出処理を並行して行う。これにより、画像全体に対するエッジ検出に要する時間をさらに短くすることができる。

　なお、本実施形態では、入力画像データにおける注目画素を中心とする５ドット×５ドットの画像データに基づいて算出される差分画像データ（３ドット×３ドットの差分画像データ）および平均化画像データ（３ドット×３ドットの平均化画像データ）に基づいて注目画素がエッジ部分であるか否かを判断するものとしたが、エッジ検出時に参照するブロックのサイズはこれに限るものではない。

　参照するブロックのサイズを変化させてエッジ検出を行ったところ、５ドット×５ドットまでのサイズではサイズが大きくなるほどエッジの検出精度が高くなったが、５ドット×５ドットを超えるサイズでは検出精度は序々に向上するもののほとんど変化がなく、５ドット×５ドットのブロックを参照することで十分なエッジ検出精度が得られることがわかった。

　これは、参照するブロックのサイズを大きくするほど平均化処理によってノイズやテクスチャが消去されやすくなるが、参照するブロックのサイズを５ドット×５ドットとすることにより大部分のノイズやテクスチャを消去できるためであると考えられる。一方、参照するブロックのサイズを大きくするほど、入力画像データを分割する各分割領域に付加（オーバーラップ）させるデータ量が大きくなる。このため、参照するブロックのサイズは、５ドット×５ドットにすることがより好ましい。

　なお、参照するブロックのサイズを５ドット×５ドットとした場合、差分画像データおよび平均画像データのサイズは３ドット×３ドットとなり、注目画素に対する対称性を考慮すると、各分割画像データに付加（オーバーラップ）させるドット数は２ドット（上記α＝２）となる。

　ただし、現在の映像技術では、映像信号タイミングがずれて入力画像データを分割する際のカウンターが誤作動することがある。このため、上記の理論上の付加ドット数に加えて数ドット程度（例えば１ドット～３ドット）のマージンを付加しておくことが好ましい。このようなマージンを付加しておくことにより、例えばエッジ以外の部分の補間方法を映像の種類に応じて切り替える場合や、エッジ方向をより詳細に検出したい場合などに、上記のマージン部分のデータを用いることができる。

　また、本実施形態では、３ドット×３ドットの差分画像データおよび平均化画像データにおける９ドットの平均値を用いてエッジ検出を行っているがこれに限るものではない。例えば、３ドット×３ドットの差分画像データおよび平均化画像データにおける注目画素を除く周囲８ドットの平均値を用いてエッジ検出を行ってもよい。この場合でも、パラメータをそれに応じて変更するだけで９ドットの平均値を用いる場合と略同等のエッジ検出精度を得ることができる。

　また、本実施形態では、差分演算によって算出された差分画像データに対して平均化処理を施しているが、これに限るものではない。例えば、図１４に示すように、入力画像データに対して平均化処理を施し、この平均化処理を施した画像データに対して差分演算を行うことにより平均化画像データを算出するようにしてもよい。この場合にも差分演算によって算出された差分画像データに対して平均化処理を施す場合と略同様の効果を得ることができる。
また、本実施形態では、各アップスケール回路１２ａ～１２ｄに差分回路３３を１つのみ設ける構成について説明したが、これに限らず、例えば相関演算回路３５に出力する差分画像データを生成する差分回路と、平均化回路３４に出力する差分画像データを生成する差分回路（あるいは平均化回路３４から出力された平均化画像データに差分演算を施す差分回路）とを別々に設けてもよい。

　また、本実施形態では、各補間画素がエッジ部分であるかエッジ部分以外であるかの２種類に判別し、この判別結果に応じた補間方法で補間を行っているが、必ずしも上記２種類に明確に判別する必要はない。

　例えば、上記の相関値Ｒの取りうる値を複数に分割したエッジパラメータを生成し、エッジ部分に対する補間方法で算出した補間値およびエッジ部分以外に対する補間方法で算出した補間値を上記エッジパラメータに応じて重み付けして加算した値を補間画素の画素値として算出するようにしてもよい。つまり、エッジらしさの程度に応じた比率でエッジ部分に対する補間方法で算出した補間値とエッジ部分以外に対する補間方法で算出した補間値とを合成するようにしてもよい。これにより、エッジを明瞭に表現するとともに、ノイズの影響を低減することができるアップスケール回路を小さい回路規模で実現できる。

　具体的には、例えば、上記の相関値Ｒの取りうる値（０～１）を１６分割し、各分割範囲毎にエッジパラメータ（補正係数）βを設定しておき、エッジ識別回路（補正係数算出部）３６あるいは他の回路（補正係数算出部）が、分割画像データに基づいて算出した相関値Ｒに対応するエッジパラメータβを特定する。そして、補間回路２２が、エッジ部分の補間方法で算出した補間値をｐ１、エッジ部分以外の補間方法（例えばＬＡＮＣＺＯＳ法）で算出した補間値をｐ２とした場合に、最終的な補間画素の画素値ｐをｐ＝β×ｐ１＋（１－β）×ｐ２によって算出する。なお、各分割範囲のうち最大値を含む分割範囲は、図６～８に示したようにはっきりしたエッジ部分における差分演算結果の注目画素の値と３ドット×３ドットの平均値との比が０．６７であったことから、例えば０．７程度～１に設定し、この分割範囲に対応するエッジパラメータβは１に設定すればよい。また、相関値Ｒの取りうる値を分割する分割数は１６に限るものではなく、例えば８分割程度としてもよい。

　また、画像処理装置１０を構成する各回路（各ブロック）は、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現されてもよい。すなわち、画像処理装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている構成としてもよい。この場合、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像処理装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

　また、画像処理装置１０を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　また、画像処理装置１０の各回路（各ブロック）は、ソフトウェアを用いて実現されるものであってもよく、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。

　本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　本発明は、入力される画像データの解像度を高解像度にアップスケールする画像処理装置および画像処理方法に適用できる。

Claims

　入力画像データを複数の分割画像データに分割する分割処理部と、上記各分割画像データの解像度を高解像度にアップスケールするための複数のアップスケール処理部とを備えた画像処理装置であって、
　上記分割処理部は、上記各分割画像データにおける他の分割画像データとの境界部に上記他の分割画像データの一部を重畳して含めるように上記各分割画像データを生成し、
　上記各アップスケール処理部は、
　注目画素近傍の階調値の微分または差分を用いた演算によって画像中のエッジを抽出するための上記注目画素の階調値を算出する差分演算処理を行う差分演算部と、
　注目画素近傍の階調値を平均化した値を上記注目画素の階調値として算出する平均化処理を行う平均化処理部と、
　上記分割画像データに上記差分演算処理を施した差分画像データと上記分割画像データに上記差分演算処理および上記平均化処理を施した平均化画像データとの相関関係を示す相関値を算出する相関演算部と、
　上記相関値に応じた補間方法で上記分割画像データに補間処理を施す補間処理部とを備えていることを特徴とする画像処理装置。
　上記各アップスケール処理部は、互いに並行して上記差分演算処理、上記平均化処理、上記相関値の算出処理、および上記補間処理を行うことを特徴とする請求項１に記載の画像処理装置。
　上記各アップスケール処理部は、各画素についての上記相関値と予め設定された閾値とを比較することで上記分割画像データに含まれるエッジ部分とエッジ部分以外とを識別するエッジ識別部を備え、
　上記補間処理部は、エッジ部分に対してはエッジ部分以外よりもエッジが際立つ補間方法で補間処理を施すことを特徴とする請求項１または２に記載の画像処理装置。
　上記差分演算部は、上記分割画像データに対して水平方向のエッジを抽出するための上記差分演算処理である水平差分演算処理と垂直方向のエッジを抽出するための上記差分演算処理である垂直差分演算処理とを行い、
　上記エッジ識別部は、エッジ部分であると判定された注目画素について、上記水平差分演算処理後の注目画素の階調値と上記垂直差分演算処理後の注目画素の階調値との比をエッジの傾き角度として算出し、
　上記補間処理部は、エッジ部分の補間画素に対しては当該補間画素に隣接する各画素のうち上記補間画素を通り上記エッジの傾き方向に平行な直線との距離が近い順に選択される所定数以下の画素の階調値を用いて補間処理を行い、エッジ部分以外の補間画素に対しては当該補間画素に隣接する各画素の階調値を用いて補間処理を行うことを特徴とする請求項３に記載の画像処理装置。
　上記各アップスケール処理部は、上記相関値の大きさに応じた補正係数を算出する補正係数算出部を備え、
　上記補間処理部は、
　各補間画素について、エッジを抽出するための第１の補間処理と、全方位についての階調の連続性を実現するための第２の補間処理とを行い、第１の補間処理の結果および第２の補間処理の結果に上記補正係数に応じた重み付けを行って加算することで上記分割画像データの補間処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
　上記差分演算部は、注目画素を中心とする５画素×５画素のブロックに対して上記差分演算処理を施すことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
　上記分割処理部は、
　上記各分割画像データにおける他の分割画像データとの境界部に上記他の分割画像データにおける２ライン以上５ライン以下の画像データを重畳させることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
　請求項１から７のいずれか１項に記載の画像処理装置と、
　上記画像処理装置によってアップスケールされた画像を表示する表示部とを備えていることを特徴とする表示装置。
　入力画像データを複数の分割画像データに分割する分割処理工程と、上記各分割画像データの解像度を高解像度にアップスケールする処理を複数のアップスケール処理部を用いて行う画像処理方法であって、
　上記分割処理工程では、上記各分割画像データにおける他の分割画像データとの境界部に上記他の分割画像データの一部を重畳して含めるように上記各分割画像データを生成し、
　上記アップスケール処理部は、
　注目画素近傍の階調値の微分または差分を用いた演算によって画像中のエッジを抽出するための上記注目画素の階調値を算出する差分演算処理を行う差分演算工程と、
　注目画素近傍の階調値を平均化した値を上記注目画素の階調値として算出する平均化処理を行う平均化処理工程と、
　上記分割画像データに上記差分演算処理を施した差分画像データと上記分割画像データに上記差分演算処理および上記平均化処理を施した平均化画像データとの相関関係を示す相関値を算出する相関演算工程と、
　上記相関値に応じた補間方法で上記分割画像データに補間処理を施す補間処理工程とを行うことを特徴とする画像処理方法。
　請求項１から７のいずれか１項に記載の画像処理装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
　請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。