JP3599413B2 - 解像度変換装置および解像度変換方法 - Google Patents
解像度変換装置および解像度変換方法 Download PDFInfo
- Publication number
- JP3599413B2 JP3599413B2 JP8961095A JP8961095A JP3599413B2 JP 3599413 B2 JP3599413 B2 JP 3599413B2 JP 8961095 A JP8961095 A JP 8961095A JP 8961095 A JP8961095 A JP 8961095A JP 3599413 B2 JP3599413 B2 JP 3599413B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- image data
- interpolation
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 77
- 238000000034 method Methods 0.000 title claims description 36
- 238000004364 calculation method Methods 0.000 claims description 31
- 230000010365 information processing Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 51
- 238000010586 diagram Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 20
- 238000003672 processing method Methods 0.000 description 10
- 238000007796 conventional method Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、文字、グラフィックス、自然画像で構成した静止画像や動画像のデジタル画像情報を異なる画素数の画像情報に変換して、ディスプレイに表示する解像度変換装置に係り、特に、マルチメディアの動画像表示において、入力した画像情報を異なる解像度を有する表示装置やウインドウ環境で表示するのに良好な解像度変換方法並びに表示制御方法に関する。
【０００２】
【従来の技術】
デジタル画像の解像度変換において、原画像の画素数を減らす場合、同じ表示装置上であれば原画像の縮小表示となる。このため、原画像の画素数を減らすことは、ウインドウの縮小表示等に有効である。また、原画像の解像度に比べて低い解像度を有する表示装置に表示することが可能になる。原画像の画素数を減らすのに最も簡単な方法としては、画素を間引くことによって、原画像の画素数を減らす方法がある。また、原画像に対して、例えば、単純に３×３＝９画素分の輝度情報（各画素が８ビットの輝度情報であれば２５６階調の情報）の平均をとり１画素分の輝度情報に変換し、原画像の画素数を減らす方法がある。さらに、特開平６−１２４１８９号公報に記載されている「画像表示装置および画像表示制御方法」には、原画像の水平方向と垂直方向との画素データの平均化を行い、原画像の画素数を減らす方法がある。この方法は、従来技術として知られている直線描画アルゴリズムを用いて描画し、原画像の水平方向の直線は、少なくとも１ドット以上のｙ個の水平成分の集合で表わされる。各水平線分の長さは、ＶＲＡＭに書き込む縮小スケーリング後の１画素データに対応する画像入力の画素データの個数を表わすと考えることができる。各水平線分の長さは異なる場合もあるし、すべて同一の場合も存在するが、ｎドット分の画素データの平均化を行うことで、水平方向の縮小スケーリングを行っている。垂直方向についても同様である。
【０００３】
一方、原画像の画素数を増やす場合、同じ表示装置上であれば原画像の拡大表示となる。このため、原画像の画素数を増やすことは、ウインドウの拡大表示等に有効である。また、原画像の解像度に比べて高い解像度を有する表示装置に表示することが可能になる。原画像の画素数を増やす最も簡単な方法としては、原画像の１画素に対して、同一画素を水平方向および垂直方向に埋めていくことで原画像の画素数を増やす方法がある。
【０００４】
また、単純に同一画素を埋めるのではなく、埋めていく際に、原画像の両端画素の階調値を直線で結ぶように補間画素の階調値を算出し、画素を埋めていくことで原画像の画素数を増やす方法がある。
【０００５】
さらに、原画像を任意の解像度変換する方法を図２０に示す。２００１は、原画像データであり、２００２は、原画像を縦にＬ１倍、横にＭ１倍する処理を示し、２００３は、Ｌ１×Ｍ１倍拡大処理が施された画像データである。２００４は、拡大された画像データを、縦に１／Ｌ２倍、横に１／Ｍ２倍する処理を示し、２００５は、１／Ｌ２×１／Ｍ２倍縮小処理が施された画像データである。ここで、Ｌ１、Ｌ２、Ｍ１およびＭ２は、正の整数である。このＬ１×Ｍ１倍拡大処理および１／Ｌ２×１／Ｍ２倍縮小処理は、Ｌ１＞Ｌ２、Ｍ１＞Ｍ２ならば画像の拡大に、またＬ１＜Ｌ２，Ｍ１＜Ｍ２ならば画像の縮小に相当する。このように、画像サイズの拡大処理と縮小処理を組み合わせることにより、画像サイズをより自由に変換できる。
【０００６】
【発明が解決しようとする課題】
《課題１》上記従来方法の原画像の画素数を増やす場合、原画像の１画素に対して、同一画素を水平方向および垂直方向に埋めていくことで原画像の画素数を増やす方法では、モザイク状のギザギザが目立つ画像となり、画質が劣化する問題がある。
【０００７】
《課題２》上記従来方法の原画像の画素数を増やす場合、単純に同一画素を埋めるのではなく、埋めていく際に、原画像の両端画素の階調値を直線で結ぶように補間画素の階調値を算出し、画素を埋めていくことで原画像の画素数を増やす方法では、モザイク状のギザギザが目立つ画像とはならないが、濃淡の境界がはっきりとした画像の輪郭部分等の高周波成分が平滑化されて、画像全体がぼやけてしまう問題がある。
【０００８】
《課題３》上記従来方法の原画像の画素数を増やす場合、画像サイズの拡大処理と縮小処理とを組み合わせることにより、画像サイズをより自由に変換する方法では、画像の拡大処理を行ってからから縮小処理を行うので、解像度変換処理に時間がかかるという問題がある。
【０００９】
《課題４》上記従来方法の原画像の画素数を増やす場合、画像サイズの拡大処理と縮小処理を組み合わせることにより、画像サイズをより自由に変換する方法では、一旦、拡大処理を行うため、拡大処理した画像データを格納しておくメモリが必要となり、ハードウエア規模の増大を招くという問題がある。
【００１０】
そこで、本発明の第１の目的は、原画像の画素数を増やす解像度変換において、モザイク状のギザギザが目立つ画像を防止し、高品質な画像を実現することである。
【００１１】
また、本発明の第２の目的は、原画像の画素数を増やす解像度変換において、濃淡の境界がはっきりとした画像の輪郭部分等の高周波成分を保存し、高品質な画像を実現することである。
【００１２】
さらに、本発明の第３の目的は、原画像の画素数を増やす解像度変換において、デジタル動画像処理を満足する高速な解像度変換処理を実現することである。
【００１３】
また、本発明の第４の目的は、原画像の画素数を増やす解像度変換において、最小限のハードウエア規模で任意の解像度変換処理を実現することである。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本発明は、デジタル原画像を、指定された変換倍率に応じて異なる画素数のデジタル画像に変換する解像度変換装置において、
前記デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対して補間する、前記変換倍率に応じた補間画素数と補間位置とを決定する決定手段と、
前記デジタル原画像の前記ブロックごとに、前記決定手段に決定する前記補間画素数と補間位置とに従い、当該デジタル原画像の前記ブロックに対して補間する画素の画像データを生成し、前記デジタル原画像の画素の画像データと当該生成した補間する画素の画像データとから変換後のデジタル画像を出力する生成部とを有し、
前記生成部は、前記補間位置ごとに、当該補間位置に隣接する前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合には、前記２つの画素の画像データと予め定めた第１の補間式とに基づいて補間する画素の画像データを生成し、前記差分値が予め定めた閾値を超える場合には、前記２つの画素の画像データと、前記第１の補間式と異なる第２の補間式とに基づいて補間する画素の画像データを生成する。
【００１５】
また、他の解決手段としては、デジタル原画像を、指定された変換倍率に応じて異なる画素数のデジタル画像に変換する解像度変換装置において、
前記デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対して補間する、前記変換倍率に応じた補間画素数と補間位置とを決定する決定手段と、
前記デジタル原画像の前記ブロックごとに、前記決定手段に決定する前記補間画素数と補間位置とに従い、当該デジタル原画像の前記ブロックに対して補間する画素の画像データを生成し、前記デジタル原画像の画素の画像データと当該生成した補間する画素の画像データとから変換後のデジタル画像を出力する生成部とを有する。
【００１６】
さらに、画像情報処理システムとして、
画像データを入力する画像入力部と、
前記画像入力部により入力された画像データを記憶する記憶部と、
前記画像データを他の異なる画素数に変換する際の変換倍率を受け付ける受け付け部と、
前記記憶部に記憶する画像データを、前記受け付け部で受け付けた変換倍率に従って変換する画像処理部と、
前記画像処理部により変換された画像データを出力する出力部とを有し、
前記画像処理部は、
前記デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対して補間する、前記変換倍率に応じた補間画素数と補間位置とを決定する決定手段と、
前記デジタル原画像の前記ブロックごとに、前記決定手段に決定する前記補間画素数と補間位置とに従い、当該デジタル原画像の前記ブロックに対して補間する画素の画像データを生成し、前記デジタル原画像の画素の画像データと当該生成した補間する画素の画像データとから変換後のデジタル画像を出力する生成部とを備え、
前記生成部は、前記補間位置ごとに、当該補間位置に隣接する前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超える場合には、前記２つの画素の画像データと予め定めた第１の補間式とに基づいて補間する画素の画像データを生成し、前記差分値が予め定めた閾値を超えない場合には、前記２つの画素の画像データと、前記第１の補間式と異なる第２の補間式とに基づいて補間する画素の画像データを生成するようにしてもよい。
【００１７】
【作用】
本発明において、決定手段は、デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対して補間する、前記変換倍率に応じた補間画素数と補間位置とを決定する。
【００１８】
生成部は、デジタル原画像の前記ブロックごとに、前記決定手段に決定する前記補間画素数と補間位置とに従い、当該デジタル原画像の前記ブロックに対して補間する画素の画像データを生成し、前記デジタル原画像の画素の画像データと当該生成した補間する画素の画像データとから変換後のデジタル画像を出力する。また、生成部は、前記補間位置ごとに、当該補間位置に隣接する前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合には、前記２つの画素の画像データと予め定めた第１の補間式とに基づいて補間する画素の画像データを生成し、前記差分値が予め定めた閾値を超える場合には、前記２つの画素の画像データと、前記第１の補間式と異なる第２の補間式とに基づいて補間する画素の画像データを生成する。
【００１９】
本発明においては、濃淡のはっきりした高周波成分領域では、２つの画素の画像データ（例えば、階調値）の差の絶対値ｄが、ある一定以上の値をとることに着目している。濃淡のはっきりしない低周波成分領域のように２つの画素の画像データの差の絶対値ｄが一定値未満であるときには、画像の高周波成分を保存しないような第１の補間式（例えば、２つの画素位置における画像データの値を通る１次関数などの直線式）上の画像データになるように補間画素の画像データを生成する。また、濃淡のはっきりした高周波成分領域のように２つの画素の画像データの差の絶対値ｄが一定値以上のときは、第１の補間式より、画像の高周波成分を保存するような第２の補間式（例えば、２つの画素位置における画像データの値を通るスプライン関数等の曲線式）上の画像データになるように補間画素の画像データを生成する。
【００２０】
これにより、原画像の画素データの階調値に対して、モザイク状のギザギザが目立つ画像を防止し、高品質な画像を実現することができる。また、輪郭のはっきりとしない自然画像等に対して高品質な画像を実現することができ、輪郭のはっきりとした文字、図形に対しては、濃淡の境界がはっきりとした画像の輪郭部分等の高周波成分を保存し、高品質な画像を実現することができる。
【００２１】
また、生成部が、前記補間する画素の画像データの生成を、前記水平方向について行う水平方向生成手段と、前記垂直方向について行う垂直方向生成手段とを備える場合には、水平方向と垂直方向との解像度の変換をそれぞれにおいて行えるのでデジタル画像の解像度変換処理のハードウエア規模を縮小することできる。
【００２２】
【実施例】
以下、本発明の実施例を詳細に説明する。
【００２３】
まず初めに、図２１および図２２を参照して、本発明の大まかな処理の流れと概念とを説明してから、その次に、課題を解決するための詳細な構成と処理の流れとを説明する。
【００２４】
図２１に、デジタル原画像を異なる画素数のデジタル画像に変換する処理の流れ（フローチャート）を示す。本実施例においては、補間画素を発生して画素数を増やして拡大画像に変換するものであり、予め定めた画素数の単位画素ブロックごとに、倍率に応じて補間する画素数と画素を補間する位置とを規定しておき、補間画素の階調は画素を補間する位置に隣接する画素間の階調差に応じて求める。この隣接する画素間の階調差が予め定めた階調差の閾値より小さい場合には、隣接する画素の階調値間を予め定めた第１の補間式の関数ｆ１（例えば、直線を示す関数）で結び、その関数ｆ１上にある階調値となるように補間画素を生成する。また、隣接する画素間の階調差が予め定めた階調差の閾値より大きい場合には、隣接する画素の階調値間を予め定めた第２の補間式の関数ｆ２（例えば、曲線を示す関数）で結び、その関数ｆ２上にある階調値となるように補間画素を生成する。
【００２５】
図２１において、１フレームの原画像をｍ×ｎ画素のブロック単位に、その全ての画素データを入力する（Ｓ２１０１）。ここで、画素データとは、画素の階調値を示すデータである。つぎに、倍率に応じて補間する画素の位置を求め、入力された画素データから、予め定められた補間する画素位置に隣合う画素の階調値を抽出し（Ｓ２１０２）、隣合う画素間の階調差ｄを算出する（Ｓ２１０３）。ここで、隣合う画素とは、水平方向もしくは垂直方向に隣接する画素をいうものとする。つぎに、算出された階調差ｄがあらかじめ定められたしきい値を超えたか否かを判断する（Ｓ２１０４）。階調差ｄがしきい値を超えない場合、隣合う画素データの階調値間を結ぶ関数ｆ１（直線）上の階調値になるように補間画素データを発生する（Ｓ２１０５）。つぎに、階調差ｄがしきい値を超えた場合、隣合う画素データの階調値間を結ぶ関数ｆ２（曲線）上の階調値になるように補間画素データを発生する（Ｓ２１０６）。ここで、関数ｆ１およびｆ２は、固定された直線や曲線に限る必要はない。全ての補間画素を生成したか否かを判断し、生成されていない場合には、Ｓ２１０１に戻り、つぎの補間画素についての生成の処理を行う。補間画素は、水平方向と垂直方向とについてそれぞれ行う。全ての補間画素を生成した後に、上記の処理によって変換された新たな単位画素ブロック（ｋ×ｌ画素）の全画素データを出力する（Ｓ２１０８）。
【００２６】
図２２は、図２１で述べたデジタル原画像を異なる画素数のデジタル画像に変換する処理の流れをイメージ的に示したものである。図２２（ａ）は、変換前の単位画素ブロックと変換後の単位画素ブロックとを示し、図２２（ｂ）は、変換後の６ライン目の画素を示し、図２２（ｃ）は、変換後の６ライン目の各画素の階調値をグラフに示したものである。
【００２７】
図２２（ａ）において、例えば、２２１は、８×８画素の単位画素ブロックである。この単位画素ブロック２２１の８ライン全てにおいて、水平方向に８画素／１ラインを、１３画素／１ラインに変換する。また、垂直方向にも１３ラインとなるように変換する。２２２は、新たに生成された１３×１３画素からなる変換後の単位画素ブロックである。この場合、水平方向および垂直方向共に、１．６２５倍の拡大画像に変換される。図２２（ｂ）において、２２３は、変換された単位画素ブロック２２２の６ライン目の画素データであり、１〜８の数字は変換前の単位画素ブロック２２１の画素を示す番号である。番号の付いていない画素は、新たに発生した補間画素データである。補間画素の階調値を決める際には前述したように関数ｆ１もしくは関数ｆ２を用いる。図２２（ｃ）において、補間画素２２６、２２８、２３０は、隣合う画素の階調差がないので、２つの画素を結ぶ直線（関数ｆ１）上に階調値がくるように補間画素を生成する。また、補間画素２２９においては、隣合う画素の階調差はあるが、しきい値を超えないので、２つの画素を結ぶ直線（２２５）上に階調値がくるように補間画素を生成する。一方、補間画素２２９においては、隣合う画素の階調差がしきい値を超えるので、関数ｆ２（２２４）上に階調値がくるように補間画素を生成する。これにより、画像の輪郭部分におけるボケを防止し、緩やかに変化する部分においては、原画像と同様に緩やかに変化させることができる。補間画素を発生させる位置、階調値の閾値、関数ｆ１および関数ｆ２は、例えば、動画や静止画等の画像情報の種類により予めそれぞれ規定しておくことができる。
【００２８】
つぎに、本実施例におけるハードウエア構成とその変換動作とについて説明する。図１に、デジタル原画像を異なる画素数のデジタル画像に変換するハードウエア構成のブロック図を示す。図２に、画素変換の様子を示す。本実施例における装置は、図１に示すような構成に限定する必要はなく、マイクロコンピュータ周辺機器としてＬＳＩ化した単体素子であっても、ソフトウエアによりシステム化した装置であってもよい。ここで、静止画像や動画像等のデジタル原画像データとは、ＪＰＥＧ、ＭＰＥＧ等の圧縮データが伸長されたものや、ＮＴＳＣ等の信号をデジタル化したものである。
【００２９】
図１において、水平方向スケーリング演算部１０１は、入力された原画像データに対して、水平方向に画素数の変換を行う。水平方向スケーリング演算部１０１は、水平方向に１ライン８画素分の原画像データ１０３と、水平方向に次の１ライン８画素分の原画像データ１０４とを入力する。また、水平方向スケーリング演算部１０１は、原画像を水平方向に対して何画素増やすかを示すための水平方向倍率を表わす制御信号１０８を入力する。図２に示すように、水平方向スケーリング演算部１０１は、８×８画素の単位ブロック２０１に分割された原画像データのうち、水平方向に１ライン８画素分の原画像データ２０２と、水平方向に次の１ライン８画素分の原画像データ２０３とを入力し、２ライン同時に画素数変換を行い、１ライン８±ｎ画素分の画像データ２０４と、次の１ラインの８±ｎ画素分の画像データ２０５とを出力する。図２において、１ライン８±ｎ画素分の画像データ２０４と、次の１ラインの８±ｎ画素分の画像データ２０５とのうち、ハッチングを施した画素Ｃ１およびＣ２が、水平方向スケーリング演算部１０１よって生成された補間画素である。
【００３０】
つぎに、垂直方向スケーリング演算部１０２は、水平方向スケーリング演算部１０１が出力した水平方向に画素数変換された画像データに対して、垂直方向に画素数の変換を行う。垂直方向スケーリング演算部１０２は、水平方向スケーリング演算部１０１が出力した水平方向に１ライン８±ｎ画素分の画像データ１０５と、水平方向スケーリング演算部１０１が出力した水平方向に次の１ライン８±ｎ画素分の画像データ１０６とを入力する。また、垂直方向スケーリング演算部１０２は、原画像を垂直方向に対して何画素増やすかを示すための垂直方向倍率を表わす制御信号１０９を入力する。図２に示すように、垂直方向スケーリング演算部１０２は、水平方向に画素変換された１ライン８±ｎ画素分の画像データ２０４と、水平方向に次の１ライン８±ｎ画素分の画像データ２０５とを入力し、この入力したラインの画像データについては、図１に示すように、画像データ１０５および１０６としてそのまま出力する。また、垂直方向スケーリング演算部１０２は、図２に示すように、水平方向に画素変換された１ライン８±ｎ画素分の画像データ２０４と、水平方向に次の１ライン８±ｎ画素分の画像データ２０５とから１ライン分の画像データ２０７を生成する。画像データ２０７において、ハッチングを施した画素Ｐ１〜Ｐ１０が、垂直方向スケーリング演算部１０２よって生成された補間画素である。垂直方向スケーリング演算部１０２は、上記の処理を原画像データの８×８画素の単位ブロックに分割された原画像データに対して順に行うことにより、補間するラインの画像データ１０７を生成し、垂直方向の画素数変換を行う。これにより、図２に示すように、８×８画素の単位ブロックに分割された原画像データ２０１を、１０×１０画素の単位ブロックの画像データ２０９に画素数変換できる。
【００３１】
図７に、本発明を適用したシステム構成例を示す。ＣＰＵ７０１は情報を処理する中央演算処理装置である。画像データ入力部７０２は圧縮されたデジタル静止画像データや、動画データを入力する。バッファメモリ７０３は、画像データを記憶し、例えば画像データがＭＰＥＧ圧縮動画データである場合に、伸長する際に伸長する前と伸長した後との画像データを記憶するのに利用し、メモリ容量としては少なくとも８×８画素を格納できる容量を持つ。画像処理ＬＳＩ７０４は、前述した図１に示すような解像度変換を行う。ＶＲＡＭ７０５は、解像度変換を行った後の画像データを格納する。表示制御部７０６は、ＶＲＡＭ７０５に格納した解像度変換を行った後の画像データを読み出して液晶パネルに表示する。Ｄ／Ａ７０８は、音声出力用のデジタル／アナログ変換器である。システムバス７０９は、データバス、アドレスバス、コントロールバスからなる。入力部７１０は、解像度変換の倍率等の指示を受付ける。
【００３２】
本システム構成において、ＣＰＵ７０１、バッファメモリ７０３、本発明のスケーリングを行なう画像処理ＬＳＩ７０４、および、表示制御７０６は、一つのＬＳＩ化した単体素子であってもよい。
【００３３】
つぎに、解像度変換の詳細を図３および図７を参照して説明する。図３に、本実施例の解像度変換における処理フローを示す。
【００３４】
図３において、原画像に対して水平方向に何倍するかまた垂直方向に何倍するかを決める解像度変換の倍率を図７に示す本装置の入力部７１０で受付ける（Ｓ３０１）。ＣＰＵ７０１は、画像処理ＬＳＩ７０４のパラメータを設定するためのパラメータレジスタに解像度変換の倍率のデータを設定する。画像データ入力部７０２では、画像データを受け付け、８×８画素の単位ブロックに分割し、バッファメモリ７０３に分割した単位ブロックごとに画像データを記憶させる。つぎに、画像処理ＬＳＩ７０４は、バッファメモリ７０３に記憶する８×８画素の単位ブロックに分割された原画像データの水平方向２ライン分の８画素データを入力する（Ｓ３０２）。画像処理ＬＳＩ７０４は、入力された水平方向２ライン分の８画素データに対して、水平方向に補間画素を発生し、２ライン分同時に水平方向のスケーリング演算処理を行う（Ｓ３０３）。つぎに、画像処理ＬＳＩ７０４は、水平方向のスケーリング演算処理された２ライン分のデータに対して、垂直方向に補間画素を発生し、一度に補間ラインを生成し、垂直方向のスケーリング演算処理を行う（Ｓ３０４）。最後に、水平方向および垂直方向のスケーリング演算処理後の単位画素ブロック毎に表示メモリであるＶＲＡＭ７０５へライトする（Ｓ３０５）。
【００３５】
つぎに、倍率に応じて補間する画素数と画素を補間する位置とついて、詳細に説明する。
【００３６】
図４は、図１に示す水平方向スケーリング演算部１０１が、水平方向に補間画素を生成し、水平方向のスケーリング演算処理を行うための水平方向倍率と、それに対応する補間画素生成点数との関係を示す水平方向補間画素生成テーブルの一例を示している。原画像データに対して８×８画素の単位ブロックに分割された原画像データの水平方向のライン毎に補間画素を生成することから、入力画素数は８画素である。例えば、カラー表示でＲＧＢの各８ビットであれば、１画素あたり２４ビットのデータ長となる。また、輝度と色差で表わされたＹＵＶのデジタルデータでもよい。図４に示すように、入力画素数の８画素に対して、倍率ごとに生成画素生成点数を１点ずつ増やしていくことにより水平方向のスケーリングを実現する。例えば、水平方向の倍率を１．６２５倍に設定した場合、補間画素の生成点数は５点であり、出力画素数は１３画素となる。水平方向の倍率から補間画素の生成点数は指定できるが、補間画素の発生位置が画質に影響を及ぼす。補間画素発生位置については後で説明する。
【００３７】
図５は、図１に示す垂直方向スケーリング演算部１０２が、垂直方向に補間画素を生成し、垂直方向のスケーリング演算処理を行うための垂直方向倍率と、それに対応する補間画素生成ライン数との関係を示す垂直方向補間画素生成テーブルの一例を示している。原画像データに対して８×８画素の単位ブロックに分割された原画像データの垂直方向に補間画素を生成し、補間ラインを生成することから、入力ライン数は８ラインである。図５に示すように、入力ライン数の８ラインに対して、生成ライン数を倍率ごとに１ラインずつ増やしていくことにより垂直方向のスケーリングを実現する。例えば、垂直方向の倍率を１．３７５倍に設定した場合、補間画素の生成ライン数は３ラインであり、出力ライン数は１１ラインとなる。水平方向スケーリングと同様に、垂直方向の倍率から補間画素の生成ライン数は指定できるが、補間画素のラインの発生位置が画質に影響を及ぼす。
【００３８】
そこで、図６を参照して、水平方向の倍率から補間画素の生成点数を指定し、その補間画素の発生位置について説明する。
【００３９】
図６は、原画像データに対して、８×８画素の単位ブロックに分割された水平方向に１ライン８画素の原画像データから補間画素を生成したときに、その発生位置を補間画素数ｎごとに例示したものである。補間画素の発生位置についてはこれに限らなくてもよい。図６において、白枠の長方形の部分は、８×８画素の単位ブロックに分割された、原画像データの１ライン８画素の各画素を示している。また、ハッチングされた長方形の部分は、補間画素であり、その発生位置を示している。ｎは、０以上の整数であって、補間画素の発生点数を示している。６００は、補間画素の発生点数がｎ＝０であり、水平方向に原画像の画素１、画素２の順に画素８まで並んでいる様子を示している。６０１は、補間画素の発生点数がｎ＝１であり、水平方向に原画像の画素１と画素２との間に補間画素を１画素分発生している。６０２は、補間画素の発生点数がｎ＝２であり、水平方向に原画像の画素１と画素２との間に補間画素を１画素分発生し、画素５と画素６との間に補間画素を１画素分発生している。このときの水平方向倍率は、図４における水平方向補間画素生成テーブルに示すように１．２５倍である。さらに、水平方向倍率を上げていくと、６０８では、補間画素の発生点数がｎ＝８であり、水平方向に原画像の画素１と画素２との間に補間画素を２画素分発生し、画素２と画素３との間に補間画素を１画素分発生し、画素３と画素４との間に補間画素を１画素分発生し、画素４と画素５との間に補間画素を１画素分発生し、画素５と画素６との間に補間画素を１画素分発生し、画素６と画素７との間に補間画素を１画素分発生し、画素７と画素８との間に補間画素を１画素分発生している。このときの水平方向倍率は、図４における水平方向補間画素生成テーブルに示すように２倍である。同様にして、補間画素の発生点数ｎに対して、６０３〜６２４に示すように補間画素を発生する。
【００４０】
このように、倍率に応じて生成する補間画素の数と発生位置とを予め規定しておくことができる。
【００４１】
また、上述した説明は、水平方向の補間画素の発生位置に関するものであるが、垂直方向についても同様に補間画素を補間ラインに置き換えればよい。すなわち、垂直方向の倍率から補間画素の生成ライン数を規定し、その補間画素のラインの発生位置についても同様に規定しておくことができる。
【００４２】
つぎに、最適な補間画素の階調値を決定する方法について説明する。
【００４３】
前述したように、補間画素の階調値は、画素を補間する位置に隣接する画素間の階調差に応じて求める。隣接する画素間の階調差が予め定めた階調差の閾値より小さい場合には、隣接する画素の階調値間を予め定めた関数ｆ１（例えば、直線を示す関数）で結び、その関数ｆ１上にある階調値となるように補間画素を生成する。また、隣接する画素間の階調差が予め定めた階調差の閾値より大きい場合には、隣接する画素の階調値間を予め定めた関数ｆ２（例えば、曲線を示す関数）で結び、その関数ｆ２上にある階調値となるように補間画素を生成する。この関数ｆ２としては、例えば、スプライン関数を利用することができる。ｎ次のスプライン関数は、区分的多項式関数であり、小区間内ではｎ次の異なる多項式曲線で定義できる。
【００４４】
本実施例における関数ｆ１とｆ２とについて、図１３を参照して説明する。図１３（ａ）は、原画像データ１３０１とこれを３倍した場合の変換後の画像データ１３０２とを示している。図１３において、原画像データは、自然画と文字「山」が混在している静止画像もしくは動画像データである。特に、文字の近傍は、濃淡のはっきりした高周波成分領域であり、１３０３は、その部分を拡大したものである。例えば、高周波成分領域の画素１および画素２（１３０４）を水平方向に解像度変換する場合、原画像データ１３０１のある一部の画素１および画素２とから画素Ｃ１、画素Ｃ２、画素Ｃ３を生成し、変換後のデータは、画素１、画素Ｃ１、画素Ｃ２、画素Ｃ３および画素２（１３０５）となる。ここで、補間画素である画素Ｃ１、画素Ｃ２、画素Ｃ３のデータ値が画質の優劣に影響を与える。例えば、画素のデータ値を階調で考えるものとする。画素１の階調値はＰ１とし、画素２の階調値はＰ５とする。この場合の画素１、画素２、画素Ｃ１、Ｃ２およびＣ３に対する階調値のグラフを図１３（ｂ）に示す。図１３（ｂ）において、画素１の階調値Ｐ１と、画素２の階調値Ｐ５を関数ｆ１（直線）１３０６で結ぶ。その関数ｆ１（直線）上に補間画素である画素Ｃ１、画素Ｃ２、画素Ｃ３の階調値がくるように補間画素を算出する場合、画素Ｃ１の階調値はＰ２、画素Ｃ２の階調値はＰ３、画素Ｃ３の階調値はＰ４となる。このような補間画素の階調値を直線的に決定する方式の場合、自然画像等の濃淡のはっきりしない低周波成分領域では、良好な再生画像が得られる。しかしながら、文字やグラフィックス等の濃淡のはっきりした高周波成分領域では、上記のように補間画素の階調値を直線的の決定してしまうと、ぼやけた再生画像となってしまうことがある。その原因は、画素Ｃ１、画素Ｃ２、画素Ｃ３の階調値が緩やかに変化する中間調をとるためである。したがって、濃淡のはっきりした高周波成分領域では、点線で示すように、補間画素の階調値を決定する最適な関数ｆ２（曲線）１３０７が存在する。そこで、本実施例においては、文字やグラフィックス等の濃淡のはっきりした高周波成分領域では、この関数ｆ２（曲線）１３０７上に補間画素である画素Ｃ１、画素Ｃ２、画素Ｃ３の階調値がくるように補間画素を算出する。したがって、画素Ｃ１の階調値はＰ１、画素Ｃ２の階調値はＰ２、画素Ｃ３の階調値はＰ４となる。実際には、関数ｆ２（曲線）１３０７に基づいて階調値を計算してもよいし、近似的に階調値を計算してもよい。原画像データは、自然画像や文字やグラフィックスが混在している静止画像や動画像データであることから、補間画素の階調値を関数ｆ１（直線）１３０６上に決定するか、関数ｆ２（曲線）１３０７上に決定するかを切り替えることにする。この切り替えの方法として、濃淡のはっきりした高周波成分領域では、画素１と画素２との階調値の差の絶対値ｄが、ある一定以上の値をとることに着目する。濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値ｄが一定値未満であるときには、関数ｆ１（直線）１３０６上の階調値になるように補間画素の階調値を決定する。濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値ｄが一定値以上のときは、最適な関数ｆ２（曲線）１３０７上の階調値になるように補間画素の階調値を決定する。
【００４５】
本実施例においては、解像度変換の高速化を考慮して、関数ｆ１（直線）１３０６および関数ｆ２（曲線）１３０７上の階調値Ｐ２、Ｐ３、Ｐ４を以下の数式で算出する。
【００４６】
【数１】
Ｐ２＝Ｐ１＋｜Ｐ１−Ｐ５｜／４
Ｐ３＝Ｐ１＋｜Ｐ１−Ｐ５｜／２
Ｐ４＝Ｐ１＋｜Ｐ１−Ｐ５｜／４＋｜Ｐ１−Ｐ５｜／２
数１に示すようにＰ２、Ｐ３およびＰ４を求め、画素１と画素２との階調値の差の絶対値ｄが一定値未満であるときには、関数ｆ１（直線）１３０６上の階調値になるように、画素Ｃ１の階調値はＰ２、画素Ｃ２の階調値はＰ３、画素Ｃ３の階調値はＰ４とし、階調値の差の絶対値ｄが一定値以上のときは、関数ｆ２（曲線）１３０７上の階調値になるように、画素Ｃ１の階調値はＰ１、画素Ｃ２の階調値はＰ２、画素Ｃ３の階調値はＰ４とする。
【００４７】
また、図１３（ｂ）に示すように、画素１の階調値が画素２の階調値より大きい場合には、画素１と画素２との階調値が水平方向に対して右下がりになる。この場合、本実施例においては、画素１の階調値と画素２の階調値とを結んだ関数−ｆ１（直線）１３０９と、関数−ｆ２（曲線）１３０８とを隣接する画素の階調値の差に従って切り替えるようにする。
【００４８】
つぎに、図８〜図１２を参照して具体的な水平方向スケーリング演算部の構成を説明する。
【００４９】
図８は、図１に示す水平方向スケーリング演算部１０１の内部をさらに詳細に示したブロック図である。図８において、水平方向演算処理ブロック８０１は、隣接する画素の画素データを入力し、生成する画素の画素データを演算処理する。図１に示す水平方向スケーリング演算部１０１の内部には、水平方向演算処理ブロック８０１が複数設けられ、複数の水平方向演算処理ブロック８０１にて隣接する画素の画素データをそれぞれ入力し、並列処理できる。例えば、８×８画素の単位ブロックでは、水平方向に隣接する画素の組合せが７つあるので、図１１に示すように、水平方向演算処理ブロック８０１が７つ並列に配置され、水平方向演算処理ブロック８０１のそれぞれにおいて処理を行う。さらに、複数のラインを同時に処理できるようにしてもよい。例えば、２ライン分の処理を同時に処理したい場合には、水平方向演算処理ブロック８０１を１４個配置することができる。
【００５０】
図８において、水平方向補間画素演算部８０２は、原画像データの隣接する２画素分のデータ値から、指定された水平方向倍率１０８に応じた補間画素数の補間画素のデータ値を算出する。例えば、図６に示すように、原画像データの隣接する２画素として画素１と画素２とを入力した場合、１．１２５倍〜１．８７５倍までは、画素１と画素２間で補間画素数は１画素であり、２倍〜２．８７５倍までは２画素であり、水平方向補間画素演算部８０２では、画素数分の補間画素のデータ値をそれぞれ算出する。図８においては、水平方向補間画素演算部８０２で生成する画素数を０〜３画素数とする場合を例にし、画素データ８０５（階調値Ｐ１）および画素データ８０６（階調値Ｐ５）を入力し、数１に基づいてＰ２、Ｐ３およびＰ４を求め、補間画素データ９０６、９０７および９０８として出力する。差分器８０４は、原画像の隣接する画素データ８０５および８０６を受けて階調値の差を求める。差分器８０４は、二つの制御信号として切り替え信号８０７および正／負符号８０８を出力する。切り替え信号８０７は、データ値の差の絶対値ｄが設定値を超えた場合にアクティブになり、関数ｆ１と関数ｆ２とを切り替えるための制御信号である。正／負符号８０８は、データ値の差の値が正か負かを示す。バス制御部８２０は、図１９に示すように、水平方向倍率１０８に応じたバス切り替え信号８０９を、バススイッチ８０３に対して出力する。水平方向倍率に対して生成する補間画素数および補間位置は図４および図６に示すように予め規定されているので、バス制御部８２０は、この規定に基づいてバス切り替え信号を出力し、バススイッチ８０３のスリーステートバッファを制御する。バススイッチ８０３は、水平方向補間画素演算部８０２から出力された補間画素データ値に対して、切り替え信号８０７および正／負符号８０８とにより補間画素データ値を選択し、バス制御部８２０から指示される倍率に応じたバス切り替え信号８０９に従って補間画素データ値を選択してローカルなデータバス８１０に出力する。すなわち、正／負符号８０８のデータ値の差の値が正か負かにより、図１３に示す画素１と画素２との階調値が水平方向に対して右上がりか右下がりかを判断し、また、切り替え信号８０７およびバス切り替え信号８０９により、補間画素データ９０６、９０７および９０８として出力された画像データのＰ２、Ｐ３およびＰ４と原画像データとして出力されたＰ１およびＰ５とから、補間する位置に応じた画素データを決定してローカルバス８１０に出力する。
【００５１】
つぎに、水平方向補間画素演算部８０２について図９を参照して詳細に説明する。図９に、水平方向補間画素演算部８０２の構成を示す。水平方向補間画素演算部８０２は、数１に示す演算処理を実行する。
【００５２】
図９において、画素データ８０５および８０６は、原画像の２画素データの階調値であり、Ｐ１およびＰ５に相当する。減算器９０１は、Ｐ１−Ｐ５を演算し、その出力データは、｜Ｐ１−Ｐ５｜（９０５）である。１／４シフタ９０２は、出力データ｜Ｐ１−Ｐ５｜（９０５）を１／４にし、１／２シフタ９０３は、出力データ｜Ｐ１−Ｐ５｜（９０５）を１／２にする。加算器９０４は、１／４シフタ９０２の出力データ｜Ｐ１−Ｐ５｜／４と、１／２シフタ９０３の出力データ｜Ｐ１−Ｐ５｜／２とを加算する。セレクタ９２０は、正／負符号８０８に基づいて、画素データＰ１（８０５）とＰ５（８０６）とを切り替える。データ値の差の値が正のとき、すなわち、画素データＰ１（８０５）が大きいときには、セレクタ９２０は画像データＰ５（８０６）を選択する。また、データ値の差の値が負のとき、すなわち、画素データＰ５（８０６）が大きいときには、セレクタ９２０は画像データＰ１（８０５）を選択する。このように、セレクタ９２０により、画素データＰ１（８０５）とＰ５（８０６）とのうち小さい方の値が出力される。
【００５３】
また、加算器９０９は、１／４シフタ９０２の出力データ｜Ｐ１−Ｐ５｜／４と、セレクタ９２０から出力されたＰ１もしくはＰ５とを加算し、Ｐ２（９０６）を出力する。加算器９１０は、１／２シフタ９０３の出力データ｜Ｐ１−Ｐ５｜／２と、セレクタ９２０から出力されたＰ１もしくはＰ５とを加算し、Ｐ３（９０７）を出力する。加算器９１１は、加算器９０４の出力データ｜Ｐ１−Ｐ５｜／４＋｜Ｐ１−Ｐ５｜／２と、セレクタ９２０から出力されたＰ１もしくはＰ５とを加算し、Ｐ４（９０８）を出力する。これにより、Ｐ２（９０６）、Ｐ３（９０７）およびＰ４（９０８）は、画素データＰ１（８０５）とＰ５（８０６）とのうち小さい方の値に、それぞれ｜Ｐ１−Ｐ５｜／４、｜Ｐ１−Ｐ５｜／２、｜Ｐ１−Ｐ５｜／４＋｜Ｐ１−Ｐ５｜／２が加算された値となる。
【００５４】
このようにして、水平方向補間画素演算部８０２は、入力画素データＰ１（８０５）およびＰ５（８０６）に対して、出力画素データとして、Ｐ１（８０５）Ｐ５（８０６）と、生成した補間画素を出力する。
【００５５】
つぎに、図１０を参照してバススイッチ８０３について詳細に説明する。図１０に、バススイッチ８０３の構成を示す。水平方向補間画素演算部８０２が算出した画素データを選択し、共通のローカルバスに出力するものである。
【００５６】
図１０において、バススイッチ８０３は、水平方向補間画素演算部８０２が算出した画素データのＰ１（８０５）、Ｐ２（９０６）、Ｐ３（９０７）、Ｐ４（９０８）およびＰ５（８０６）を入力する。セレクタ１００１〜１００３は正／負符号８０８に従って２つの入力信号のうちいずれかを選択して出力し、セレクタ１００４および１００５は、切り替え信号８０７に従って２つの入力信号のうちいずれかを選択して出力する。また、バススイッチ１００９〜１０１２は、バス切り替え信号８０９に従っていずれかが選択され、選択されたバススイッチから画像データが出力される。
【００５７】
図１３に示す画素と階調値との関係が、水平方向に対して階調値が右上がりに増加傾向にあるのか、逆に右下がりの減少傾向にあるのかによって、Ｐ１（８０５）、Ｐ２（９０６）、Ｐ３（９０７）、Ｐ４（９０８）、Ｐ５（８０６）の出力順序が変わり、また、隣接する画素の階調値の差に従って出力する画像データの値が異なる。
【００５８】
図１０において、バススイッチ８０３は、切り替え信号８０７および正／負符号８０８に従い、セレクタ１００１〜１００５を切り替える。右上がりの場合であって、濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｐ１−Ｐ５｜が一定値以上のときは、正／負符号８０８は負を示し、切り替え信号８０７はアクティブとなり、図１３（ｂ）における関数ｆ２（曲線）１３０７上の階調値になるように、Ｐ１（８０５）、Ｐ１（８０５）、Ｐ２（９０６）、Ｐ４（９０８）およびＰ５（８０６）を、バススイッチ８０３はセレクタ１００１〜１００５を切り替えることにより選択する。右上がりの場合であって、濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｐ１−Ｐ５｜が一定値未満のときは、正／負符号８０８は負を示し、切り替え信号８０７はノンアクティブとなり、図１３（ｂ）における関数ｆ１（直線）１３０６上の階調値になるように、Ｐ１（８０５）、Ｐ２（９０６）、Ｐ３（９０７）、Ｐ４（９０８）およびＰ５（８０６）を、バススイッチ８０３はセレクタ１００１〜１００５を切り替えることにより選択する。
【００５９】
また、右下がりの場合であって、濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｐ１−Ｐ５｜が一定値以上のときには、正／負符号８０８は正を示し、切り替え信号８０７はアクティブとなり、図１３（ｂ）における関数−ｆ２（曲線）１３０８上のＰ１（８０５）、Ｐ１（８０５）、Ｐ４（９０８）、Ｐ２（９０６）およびＰ５（８０６）を、バススイッチ８０３はセレクタ１００１〜１００５を切り替えることにより選択する。また、右下がりの場合であって、濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｐ１−Ｐ５｜が一定値未満のときは、正／負符号８０８は正を示し、切り替え信号８０７はノンアクティブとなり、図１３（ｂ）における関数−ｆ１（直線）１３０９上の階調値になるように、Ｐ１（８０５）、Ｐ４（９０８）、Ｐ３（９０７）、Ｐ２（９０６）およびＰ５（８０６）を選択する。
【００６０】
さらに、出力する画素データの数は、水平方向倍率により変化するので、共通のローカルバス８１０に出力するためにバススイッチ１００９〜１０１２を設けておき、バス制御部８２０から指示されたバス切り替え信号８０９に従って、バススイッチ１００９〜１０１２のうちいずれか一つを選択することにより、水平方向倍率に応じた画素数の画像データを出力する。例えば、隣接する画素間で１画素補間する場合には、バススイッチ１０１０が選択され、３画素分の画像データがローカルバス８１０に出力される。このローカルバス８１０は、本実施例においては５本のバスから構成されるので、例えば、バススイッチ１０１０が選択されたときには３画素（３本）分の画像データが有効なデータであり、残りの２本のバスのデータは不要である。この不要なバスのデータ（以下、無効データという）は、後述する図１１に示す整列処理ブロックにおいて削除される。
【００６１】
このように、水平方向演算処理ブロック８０１のバススイッチ８０３から画像データが出力される。
【００６２】
さらに、図１１に示すように、水平方向演算処理ブロック８０１が７つ並列に配置されている場合について説明する。図１１は、水平方向演算処理ブロック８０１を並列に接続した構成例を示している。図１１において、１１０９〜１１１６は、入力する画素１〜画素８である。水平方向演算処理ブロック８０１−１〜８０１−８では、前述したように画像データをそれぞれ出力する。整列処理ブロック１１０８は、水平方向演算処理ブロック８０１−１〜８０１−８から出力された画像データを、整列処理し、整列処理後の画素データ１１１７を出力する。
【００６３】
図１２（ａ）および図１２（ｂ）を参照して整列処理ブロック１１０８の処理を説明する。図１２（ａ）に、解像度変換後の画素データを整列処理する様子を示す。例えば、水平方向に発生する補間画素発生点数が、ｎ＝９点の場合を例にする。図１１における水平方向演算処理ブロック８０１−１からは、画素データ１２０１が出力される。水平方向演算処理ブロック８０１−２からは、画素データ１２０２が出力される。水平方向演算処理ブロック８０１−３からは、画素データ１２０３が出力される。水平方向演算処理ブロック８０１−４からは、画素データ１２０４が出力される。水平方向演算処理ブロック８０１−５からは、画素データ１２０５が出力される。水平方向演算処理ブロック８０１−６からは、画素データ１２０６が出力される。水平方向演算処理ブロック８０１−７からは、画素データ１２０７が出力される。ここで、出力された画素データ１２０１〜１２０７には、矢印で示すように無効データがローカルバス上に存在する。そこで、整列処理ブロック１１０８では、図１２（ｂ）に示すように、整列処理するためのバス変換部１２０９−１〜１２０９−８を、水平方向演算処理ブロック８０１−１〜８０１−８の各々に対応させて設けておき、バス変換部１２０９−１〜１２０９−８の各々において、水平方向倍率に応じたバス切り替え信号８０９に従ってこの無効データを間引いてデータ幅を圧縮し、整列処理後の画素データ１２０８を出力する。
【００６４】
以上のように処理することにより、水平方向の画素数を変換することができる。
【００６５】
つぎに、図１４〜図１８を参照して具体的な垂直方向スケーリング演算部の構成について説明する。垂直方向の画素変換も、前述した水平方向の画素変換と同様に行うことができる。
【００６６】
図１４は、垂直方向スケーリング演算部１０２の内部をさらに詳細に示したブロック図である。図１４において、垂直方向演算処理ブロック１４０１は、垂直方向に隣接する画素の画素データを入力し、生成する画素の画素データを演算処理する。図１に示す垂直方向スケーリング演算部１０２の内部には、垂直方向演算処理ブロック１４０１が複数設けられ、複数の垂直方向演算処理ブロック１４０１にて、水平方向に変換された後の隣接する画素の画素データをそれぞれ入力し、並列処理できる。例えば、８×８画素の単位ブロックを入力し、最高でＭ×Ｍ画素に変換する場合には、垂直方向に隣接する画素の組合せが（Ｍ−１）個あるので、垂直方向演算処理ブロック１４０１を（Ｍ−１）個並列に配置し、垂直方向演算処理ブロック１４０１のそれぞれにおいて処理を行う。さらに、複数のラインを同時に処理できるようにしてもよい。例えば、２ライン分の処理を同時に処理したい場合には、垂直方向演算処理ブロック１４０１を２×（Ｍ−１）個配置することができる。
【００６７】
図１４において、垂直方向補間画素演算部１４０２は、垂直方向に隣接する２画素分のデータ値から補間画素のデータ値を算出する。差分器１４０４は、二つの制御信号として切り替え信号１４０７および正／負符号１４０８を出力する。切り替え信号１４０７は、データ値の差の絶対値ｄが設定値を超えた場合にアクティブになり、関数ｆ１と関数ｆ２とを切り替えるための制御信号である。正／負符号１４０８は、データ値の差の値が正か負かを示す。１４１０は、垂直方向にスケーリングされた画素データである。バス制御部１４２０は、図１９に示すように、垂直方向倍率１０９に応じたバス切り替え信号１４０９を、バススイッチ１４０３に対して出力する。垂直方向倍率に対して図５に示すように、生成する補間画素数および補間位置は予め規定されているので、バス制御部１４２０は、この規定に基づいてバス切り替え信号を出力する。バススイッチ１４０３は、垂直方向補間画素演算部１４０２から出力された補間画素データ値に対して、切り替え信号１４０７および正／負符号１４０８とにより補間画素データ値を選択し、バス制御部１４２０から指示される倍率に応じたバス切り替え信号１４０９に従って補間画素データ値を選択してローカルなデータバス１４１０に出力する。
【００６８】
つぎに、垂直方向補間画素演算部１４０２について図１５を参照して詳細に説明する。図１５に、垂直方向補間画素演算部１４０２の構成を示す。垂直方向補間画素演算部１４０２は、水平方向と同様に数１に示す式に基づいて、原画像データの隣接する２画素分のデータ値から、補間画素数の補間画素のデータ値を算出する。水平方向と垂直方向とを区別するために、以下、数１に示す階調値をＰの代わりにＬで表わす。本実施例においては、垂直方向補間画素演算部１４０２で生成するライン数を３ラインとする場合を例にする。垂直方向補間画素演算部１４０２は、画素データ１４０５（階調値Ｌ１）および画素データ１４０６（階調値Ｌ５）を入力し、数１に基づいてＬ２、Ｌ３およびＬ４を求め、補間画素データ１５０６、１５０７および１５０８として出力する。
【００６９】
図１５において、画素データ１４０５および画素データ１４０６は、原画像の２画素データの階調値であり、Ｌ１もしくはＬ５に相当する。減算器１５０１は、Ｌ１−Ｌ５を演算し、その出力データは、｜Ｌ１−Ｌ５｜（１５０５）である。１／４シフタ１５０２は、出力データ｜Ｌ１−Ｌ５｜（１５０５）を１／４にし、１／２シフタ１５０３は、出力データ｜Ｌ１−Ｌ５｜（１５０５）を１／２にする。加算器１５０４は、１／４シフタ１５０２の出力データ｜Ｌ１−Ｌ５｜／４と、１／２シフタ１５０３の出力データ｜Ｌ１−Ｌ５｜／２とを加算する。加算器１５０９は、１／４シフタ１５０２の出力データ｜Ｌ１−Ｌ５｜／４とＬ１とを加算する。加算器１５１０は、１／２シフタ１５０３の出力データ｜Ｌ１−Ｌ５｜／２とＬ１とを加算する。加算器１５１１は、加算器１５０４の出力データ｜Ｌ１−Ｌ５｜／４＋｜Ｌ１−Ｌ５｜／２とＬ１とを加算する。セレクタ１５２０は、正／負符号１４０８に基づいて、画素データＬ１（１４０５）とＬ５（１４０６）とを切り替える。データ値の差の値が正のとき、すなわち、画素データＬ１（１４０５）が大きいときには、セレクタ１５２０は画像データＬ５を選択する。また、データ値の差の値が負のとき、すなわち、画素データＬ１が大きいときには、セレクタ１５２０は画像データＬ１を選択する。このように、セレクタ１５２０により、画素データＬ１とＬ５とのうち小さい方の値が出力される。
【００７０】
また、加算器１５０９は、１／４シフタ１５０２の出力データ｜Ｌ１−Ｌ５｜／４と、セレクタ１５２０から出力されたＬ１もしくはＬ５とを加算し、Ｌ２（１５０６）を出力する。加算器１５１０は、１／２シフタ１５０３の出力データ｜Ｌ１−Ｌ５｜／２と、セレクタ１５２０から出力されたＬ１もしくはＬ５とを加算し、Ｌ３（１５０７）を出力する。加算器１５１１は、加算器１５０４の出力データ｜Ｌ１−Ｌ５｜／４＋｜Ｌ１−Ｌ５｜／２と、セレクタ１５２０から出力されたＬ１もしくはＬ５とを加算し、Ｌ４（１５０８）を出力する。これにより、Ｌ２（１５０６）、Ｌ３（１５０７）およびＬ４（１５０８）は、画素データＬ１（１４０５）とＬ５（１４０６）とのうち小さい方の値に、それぞれ｜Ｌ１−Ｌ５｜／４、｜Ｌ１−Ｌ５｜／２、｜Ｌ１−Ｌ５｜／４＋｜Ｌ１−Ｌ５｜／２が加算された値となる。
【００７１】
このようにして、水平方向補間画素演算部１４０２は、入力画素データＬ１（１４０５）およびＬ５（１４０６）に対して、出力画素データＬ１（１４０５）、Ｌ２（１５０６）、Ｌ３（１５０７）、Ｌ４（１５０８）およびＬ５（１４０６）を出力する。
【００７２】
つぎに、図１６を参照してバススイッチ１４０３について詳細に説明する。図１６に、バススイッチ１４０３の構成を示す。垂直方向補間画素演算部１４０２が算出した画素データを選択し、共通のローカルバスに出力するものである。
【００７３】
図１６において、バススイッチ１４０３は、垂直方向補間画素演算部１４０２が算出した画素データのＬ１（１４０５）、Ｌ２（１５０６）、Ｌ３（１５０７）、Ｌ４（１５０８）およびＬ５（１４０６）を入力する。セレクタ１６０１〜１６０３は正／負符号１４０８に従って２つの入力信号のうちいずれかを選択して出力し、セレクタ１６０４および１６０５は、切り替え信号１４０７に従って２つの入力信号のうちいずれかを選択して出力する。
【００７４】
また、水平方向の変換と同様に、隣接する画素のＬ１（１４０５）とＬ５（１４０６）との階調値の大小関係により、Ｌ１（１４０５）、Ｌ２（１５０６）、Ｌ３（１５０７）、Ｌ４（１５０８）、Ｌ５（１４０６）の出力順序が変わり、また、隣接する画素の階調値の差に従って出力する画像データの値が異なる。
【００７５】
図１６において、バススイッチ１４０３は、切り替え信号１４０７および正／負符号１４０８に従い、セレクタ１６０１〜１６０５を切り替える。Ｌ１（１４０５）がＬ５（１４０６）より小さい場合であって、濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｌ１−Ｌ５｜が一定値以上のときは、正／負符号１４０８は負を示し、切り替え信号１４０７はアクティブとなり、図１３（ｂ）における関数ｆ２（曲線）１３０７上の階調値になるように、Ｌ１（１４０５）、Ｌ１（１４０５）、Ｌ２（１５０６）、Ｌ４（１５０８）およびＬ５（１４０６）を、バススイッチ１４０３はセレクタ１６０１〜１６０５を切り替えることにより選択する。Ｌ１（１４０５）がＬ５（１４０６）より小さい場合であって、濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｌ１−Ｌ５｜が一定値未満のときは、正／負符号１４０８は負を示し、切り替え信号１４０７はノンアクティブとなり、図１３（ｂ）における関数ｆ１（直線）１３０６上の階調値になるように、Ｌ１（１４０５）、Ｌ２（１５０６）、Ｌ３（１５０７）、Ｌ４（１５０８）およびＬ５（１４０６）を、バススイッチ１４０３はセレクタ１６０１〜１６０５を切り替えることにより選択する。
【００７６】
また、Ｌ１（１４０５）がＬ５（１４０６）より大きい場合であって、濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｌ１−Ｌ５｜が一定値以上のときには、正／負符号１４０８は正を示し、切り替え信号１４０７はアクティブとなり、図１３（ｂ）における関数−ｆ２（曲線）１３０８上のＬ１（１４０５）、Ｌ１（１４０５）、Ｌ４（１５０８）、Ｌ２（１５０６）およびＬ５（１４０６）を、バススイッチ１４０３はセレクタ１６０１〜１６０５を切り替えることにより選択する。また、Ｌ１（１４０５）がＬ５（１４０６）より大きい場合であって、濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｌ１−Ｌ５｜が一定値未満のときは、正／負符号１４０８は正を示し、切り替え信号１４０７はノンアクティブとなり、図１３（ｂ）における関数−ｆ１（直線）１３０９上の階調値になるように、Ｌ１（１４０５）、Ｌ４（１５０８）、Ｌ３（１５０７）、Ｌ２（１５０６）およびＬ５（１４０６）を選択する。
【００７７】
バススイッチ１４０３は、入力した画素と生成した画素とを合わせて出力する。図１６において、画素（１，１）および画素（２，１）は、入力した画素の１ライン１画素目のデータ、入力した画素の２ライン１画素目のデータを示し、Ｃ（１，１）１６０６、Ｃ（２，１）１６０７、Ｃ（３，１）１６０８は、補間画素の垂直方向において、補間ラインの１ライン１画素目のデータ、補間ラインの２ライン１画素目のデータ、補間ラインの３ライン１画素目のデータを示す。
【００７８】
このように、垂直方向演算処理ブロック１４０１のバススイッチ１４０３から画像データが出力される。
【００７９】
さらに、図１７に示すように、垂直方向演算処理ブロック１４０１が複数並列に配置されている場合について説明する。図１７は、垂直方向演算処理ブロック１４０１を並列に接続した構成例を示している。図１７において、１７１０〜１７２８は、入力する画素（１，１）〜画素（２，９）である。ここで、画素（２，９）とは、２ライン９画素目を表わす。図１７において、垂直方向演算処理ブロック１４０１−１〜１４０１−９は、前述したように画像データをそれぞれ出力する。整列処理ブロック１７０８は、垂直方向演算処理ブロック１４０１−１〜１４０１−９から出力された画像データを、整列処理し、整列処理後の画素データ１７２９を出力する。
【００８０】
図１８を参照して整列処理ブロック１７０８の処理を説明する。図１８に、水平方向および垂直方向に画像変換した後の画像データを示し、例えば、垂直方向に発生する補間ライン数が、ｎ＝１４ラインの場合を例にする。図１８において、１８０６〜１８０７は、整列処理ブロック１７０８から出力された画素データを示し、１８０１〜１８０５は、垂直方向に補間された補間ラインを示している。整列処理ブロック１７０８では、垂直方向演算処理ブロック１４０１の各々から出力された変換後の５ラインの画像データを、垂直方向倍率に応じたバス切り替え信号１４０９に従って不要ならインを間引いて、整列処理後の画素データ１７２９を出力する。
【００８１】
以上のように処理することにより、水平方向および垂直方向の画素数を変換することができる。
【００８２】
本実施例によれば、予め補間する画素数と補間位置とを倍率に応じて規定しておくことができる。また、隣接する画素の画像データの差により濃淡の境界を認識し、これに応じて補間画素の画像データを決定することができる。本実施例によれば、原画像の画素数を増やす解像度変換において、モザイク状のギザギザが目立つ画像を防止し、高品質な画像を実現することができる。また、濃淡の境界がはっきりとした画像の輪郭部分等の高周波成分を保存し、高品質な画像を実現することができる。さらに、デジタル動画像処理を満足する高速な解像度変換処理を実現することができる。また、最小限のハードウエア規模で任意の解像度変換処理を実現することができる。
【００８３】
【発明の効果】
本発明によれば、デジタル原画像を異なる画素数のデジタル画像に変換して、ディスプレイに表示する解像度変換において、高品質な画像を再現することができる。さらに、解像度変換処理の高速化および低価格化が図れる。
【図面の簡単な説明】
【図１】画像スケーリング処理方法のブロック図である。
【図２】画像スケーリング処理方法の説明図である。
【図３】画像スケーリング処理方法のフローチャートである。
【図４】水平方向補間画素生成テーブルである。
【図５】垂直方向補間画素生成テーブルである。
【図６】画像スケーリング処理方法の説明図である。
【図７】画像スケーリング処理におけるシステム構成図である。
【図８】水平方向スケーリング演算部のブロック図である。
【図９】水平方向スケーリング演算部のブロック図である。
【図１０】水平方向スケーリング演算部のブロック図である。
【図１１】水平方向スケーリング演算部のブロック図である。
【図１２】水平方向スケーリング処理方法の説明図である。
【図１３】画像スケーリング処理方法の説明図である。
【図１４】垂直方向スケーリング演算部のブロック図である。
【図１５】垂直方向スケーリング演算部のブロック図である。
【図１６】垂直方向スケーリング演算部のブロック図である。
【図１７】垂直方向スケーリング演算部のブロック図である。
【図１８】垂直方向スケーリング処理方法の説明図である。
【図１９】バス制御のブロック図である。
【図２０】従来の画像スケーリング処理方法のブロック図である。
【図２１】画像スケーリング処理方法のフローチャートである。
【図２２】画像スケーリング処理方法の説明図である。
【符号の説明】
１０１…水平方向スケーリング演算部、１０２…垂直方向スケーリング演算部、
７０１…ＣＰＵ、７０２…画像入力部、７０３…バッファメモリ、７０４…スケーリング制御部、７０５…ＶＲＡＭ、７０６…表示制御部、７０７…液晶パネル。
【産業上の利用分野】
本発明は、文字、グラフィックス、自然画像で構成した静止画像や動画像のデジタル画像情報を異なる画素数の画像情報に変換して、ディスプレイに表示する解像度変換装置に係り、特に、マルチメディアの動画像表示において、入力した画像情報を異なる解像度を有する表示装置やウインドウ環境で表示するのに良好な解像度変換方法並びに表示制御方法に関する。
【０００２】
【従来の技術】
デジタル画像の解像度変換において、原画像の画素数を減らす場合、同じ表示装置上であれば原画像の縮小表示となる。このため、原画像の画素数を減らすことは、ウインドウの縮小表示等に有効である。また、原画像の解像度に比べて低い解像度を有する表示装置に表示することが可能になる。原画像の画素数を減らすのに最も簡単な方法としては、画素を間引くことによって、原画像の画素数を減らす方法がある。また、原画像に対して、例えば、単純に３×３＝９画素分の輝度情報（各画素が８ビットの輝度情報であれば２５６階調の情報）の平均をとり１画素分の輝度情報に変換し、原画像の画素数を減らす方法がある。さらに、特開平６−１２４１８９号公報に記載されている「画像表示装置および画像表示制御方法」には、原画像の水平方向と垂直方向との画素データの平均化を行い、原画像の画素数を減らす方法がある。この方法は、従来技術として知られている直線描画アルゴリズムを用いて描画し、原画像の水平方向の直線は、少なくとも１ドット以上のｙ個の水平成分の集合で表わされる。各水平線分の長さは、ＶＲＡＭに書き込む縮小スケーリング後の１画素データに対応する画像入力の画素データの個数を表わすと考えることができる。各水平線分の長さは異なる場合もあるし、すべて同一の場合も存在するが、ｎドット分の画素データの平均化を行うことで、水平方向の縮小スケーリングを行っている。垂直方向についても同様である。
【０００３】
一方、原画像の画素数を増やす場合、同じ表示装置上であれば原画像の拡大表示となる。このため、原画像の画素数を増やすことは、ウインドウの拡大表示等に有効である。また、原画像の解像度に比べて高い解像度を有する表示装置に表示することが可能になる。原画像の画素数を増やす最も簡単な方法としては、原画像の１画素に対して、同一画素を水平方向および垂直方向に埋めていくことで原画像の画素数を増やす方法がある。
【０００４】
また、単純に同一画素を埋めるのではなく、埋めていく際に、原画像の両端画素の階調値を直線で結ぶように補間画素の階調値を算出し、画素を埋めていくことで原画像の画素数を増やす方法がある。
【０００５】
さらに、原画像を任意の解像度変換する方法を図２０に示す。２００１は、原画像データであり、２００２は、原画像を縦にＬ１倍、横にＭ１倍する処理を示し、２００３は、Ｌ１×Ｍ１倍拡大処理が施された画像データである。２００４は、拡大された画像データを、縦に１／Ｌ２倍、横に１／Ｍ２倍する処理を示し、２００５は、１／Ｌ２×１／Ｍ２倍縮小処理が施された画像データである。ここで、Ｌ１、Ｌ２、Ｍ１およびＭ２は、正の整数である。このＬ１×Ｍ１倍拡大処理および１／Ｌ２×１／Ｍ２倍縮小処理は、Ｌ１＞Ｌ２、Ｍ１＞Ｍ２ならば画像の拡大に、またＬ１＜Ｌ２，Ｍ１＜Ｍ２ならば画像の縮小に相当する。このように、画像サイズの拡大処理と縮小処理を組み合わせることにより、画像サイズをより自由に変換できる。
【０００６】
【発明が解決しようとする課題】
《課題１》上記従来方法の原画像の画素数を増やす場合、原画像の１画素に対して、同一画素を水平方向および垂直方向に埋めていくことで原画像の画素数を増やす方法では、モザイク状のギザギザが目立つ画像となり、画質が劣化する問題がある。
【０００７】
《課題２》上記従来方法の原画像の画素数を増やす場合、単純に同一画素を埋めるのではなく、埋めていく際に、原画像の両端画素の階調値を直線で結ぶように補間画素の階調値を算出し、画素を埋めていくことで原画像の画素数を増やす方法では、モザイク状のギザギザが目立つ画像とはならないが、濃淡の境界がはっきりとした画像の輪郭部分等の高周波成分が平滑化されて、画像全体がぼやけてしまう問題がある。
【０００８】
《課題３》上記従来方法の原画像の画素数を増やす場合、画像サイズの拡大処理と縮小処理とを組み合わせることにより、画像サイズをより自由に変換する方法では、画像の拡大処理を行ってからから縮小処理を行うので、解像度変換処理に時間がかかるという問題がある。
【０００９】
《課題４》上記従来方法の原画像の画素数を増やす場合、画像サイズの拡大処理と縮小処理を組み合わせることにより、画像サイズをより自由に変換する方法では、一旦、拡大処理を行うため、拡大処理した画像データを格納しておくメモリが必要となり、ハードウエア規模の増大を招くという問題がある。
【００１０】
そこで、本発明の第１の目的は、原画像の画素数を増やす解像度変換において、モザイク状のギザギザが目立つ画像を防止し、高品質な画像を実現することである。
【００１１】
また、本発明の第２の目的は、原画像の画素数を増やす解像度変換において、濃淡の境界がはっきりとした画像の輪郭部分等の高周波成分を保存し、高品質な画像を実現することである。
【００１２】
さらに、本発明の第３の目的は、原画像の画素数を増やす解像度変換において、デジタル動画像処理を満足する高速な解像度変換処理を実現することである。
【００１３】
また、本発明の第４の目的は、原画像の画素数を増やす解像度変換において、最小限のハードウエア規模で任意の解像度変換処理を実現することである。
【００１４】
【課題を解決するための手段】
上記課題を解決するために、本発明は、デジタル原画像を、指定された変換倍率に応じて異なる画素数のデジタル画像に変換する解像度変換装置において、
前記デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対して補間する、前記変換倍率に応じた補間画素数と補間位置とを決定する決定手段と、
前記デジタル原画像の前記ブロックごとに、前記決定手段に決定する前記補間画素数と補間位置とに従い、当該デジタル原画像の前記ブロックに対して補間する画素の画像データを生成し、前記デジタル原画像の画素の画像データと当該生成した補間する画素の画像データとから変換後のデジタル画像を出力する生成部とを有し、
前記生成部は、前記補間位置ごとに、当該補間位置に隣接する前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合には、前記２つの画素の画像データと予め定めた第１の補間式とに基づいて補間する画素の画像データを生成し、前記差分値が予め定めた閾値を超える場合には、前記２つの画素の画像データと、前記第１の補間式と異なる第２の補間式とに基づいて補間する画素の画像データを生成する。
【００１５】
また、他の解決手段としては、デジタル原画像を、指定された変換倍率に応じて異なる画素数のデジタル画像に変換する解像度変換装置において、
前記デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対して補間する、前記変換倍率に応じた補間画素数と補間位置とを決定する決定手段と、
前記デジタル原画像の前記ブロックごとに、前記決定手段に決定する前記補間画素数と補間位置とに従い、当該デジタル原画像の前記ブロックに対して補間する画素の画像データを生成し、前記デジタル原画像の画素の画像データと当該生成した補間する画素の画像データとから変換後のデジタル画像を出力する生成部とを有する。
【００１６】
さらに、画像情報処理システムとして、
画像データを入力する画像入力部と、
前記画像入力部により入力された画像データを記憶する記憶部と、
前記画像データを他の異なる画素数に変換する際の変換倍率を受け付ける受け付け部と、
前記記憶部に記憶する画像データを、前記受け付け部で受け付けた変換倍率に従って変換する画像処理部と、
前記画像処理部により変換された画像データを出力する出力部とを有し、
前記画像処理部は、
前記デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対して補間する、前記変換倍率に応じた補間画素数と補間位置とを決定する決定手段と、
前記デジタル原画像の前記ブロックごとに、前記決定手段に決定する前記補間画素数と補間位置とに従い、当該デジタル原画像の前記ブロックに対して補間する画素の画像データを生成し、前記デジタル原画像の画素の画像データと当該生成した補間する画素の画像データとから変換後のデジタル画像を出力する生成部とを備え、
前記生成部は、前記補間位置ごとに、当該補間位置に隣接する前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超える場合には、前記２つの画素の画像データと予め定めた第１の補間式とに基づいて補間する画素の画像データを生成し、前記差分値が予め定めた閾値を超えない場合には、前記２つの画素の画像データと、前記第１の補間式と異なる第２の補間式とに基づいて補間する画素の画像データを生成するようにしてもよい。
【００１７】
【作用】
本発明において、決定手段は、デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対して補間する、前記変換倍率に応じた補間画素数と補間位置とを決定する。
【００１８】
生成部は、デジタル原画像の前記ブロックごとに、前記決定手段に決定する前記補間画素数と補間位置とに従い、当該デジタル原画像の前記ブロックに対して補間する画素の画像データを生成し、前記デジタル原画像の画素の画像データと当該生成した補間する画素の画像データとから変換後のデジタル画像を出力する。また、生成部は、前記補間位置ごとに、当該補間位置に隣接する前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合には、前記２つの画素の画像データと予め定めた第１の補間式とに基づいて補間する画素の画像データを生成し、前記差分値が予め定めた閾値を超える場合には、前記２つの画素の画像データと、前記第１の補間式と異なる第２の補間式とに基づいて補間する画素の画像データを生成する。
【００１９】
本発明においては、濃淡のはっきりした高周波成分領域では、２つの画素の画像データ（例えば、階調値）の差の絶対値ｄが、ある一定以上の値をとることに着目している。濃淡のはっきりしない低周波成分領域のように２つの画素の画像データの差の絶対値ｄが一定値未満であるときには、画像の高周波成分を保存しないような第１の補間式（例えば、２つの画素位置における画像データの値を通る１次関数などの直線式）上の画像データになるように補間画素の画像データを生成する。また、濃淡のはっきりした高周波成分領域のように２つの画素の画像データの差の絶対値ｄが一定値以上のときは、第１の補間式より、画像の高周波成分を保存するような第２の補間式（例えば、２つの画素位置における画像データの値を通るスプライン関数等の曲線式）上の画像データになるように補間画素の画像データを生成する。
【００２０】
これにより、原画像の画素データの階調値に対して、モザイク状のギザギザが目立つ画像を防止し、高品質な画像を実現することができる。また、輪郭のはっきりとしない自然画像等に対して高品質な画像を実現することができ、輪郭のはっきりとした文字、図形に対しては、濃淡の境界がはっきりとした画像の輪郭部分等の高周波成分を保存し、高品質な画像を実現することができる。
【００２１】
また、生成部が、前記補間する画素の画像データの生成を、前記水平方向について行う水平方向生成手段と、前記垂直方向について行う垂直方向生成手段とを備える場合には、水平方向と垂直方向との解像度の変換をそれぞれにおいて行えるのでデジタル画像の解像度変換処理のハードウエア規模を縮小することできる。
【００２２】
【実施例】
以下、本発明の実施例を詳細に説明する。
【００２３】
まず初めに、図２１および図２２を参照して、本発明の大まかな処理の流れと概念とを説明してから、その次に、課題を解決するための詳細な構成と処理の流れとを説明する。
【００２４】
図２１に、デジタル原画像を異なる画素数のデジタル画像に変換する処理の流れ（フローチャート）を示す。本実施例においては、補間画素を発生して画素数を増やして拡大画像に変換するものであり、予め定めた画素数の単位画素ブロックごとに、倍率に応じて補間する画素数と画素を補間する位置とを規定しておき、補間画素の階調は画素を補間する位置に隣接する画素間の階調差に応じて求める。この隣接する画素間の階調差が予め定めた階調差の閾値より小さい場合には、隣接する画素の階調値間を予め定めた第１の補間式の関数ｆ１（例えば、直線を示す関数）で結び、その関数ｆ１上にある階調値となるように補間画素を生成する。また、隣接する画素間の階調差が予め定めた階調差の閾値より大きい場合には、隣接する画素の階調値間を予め定めた第２の補間式の関数ｆ２（例えば、曲線を示す関数）で結び、その関数ｆ２上にある階調値となるように補間画素を生成する。
【００２５】
図２１において、１フレームの原画像をｍ×ｎ画素のブロック単位に、その全ての画素データを入力する（Ｓ２１０１）。ここで、画素データとは、画素の階調値を示すデータである。つぎに、倍率に応じて補間する画素の位置を求め、入力された画素データから、予め定められた補間する画素位置に隣合う画素の階調値を抽出し（Ｓ２１０２）、隣合う画素間の階調差ｄを算出する（Ｓ２１０３）。ここで、隣合う画素とは、水平方向もしくは垂直方向に隣接する画素をいうものとする。つぎに、算出された階調差ｄがあらかじめ定められたしきい値を超えたか否かを判断する（Ｓ２１０４）。階調差ｄがしきい値を超えない場合、隣合う画素データの階調値間を結ぶ関数ｆ１（直線）上の階調値になるように補間画素データを発生する（Ｓ２１０５）。つぎに、階調差ｄがしきい値を超えた場合、隣合う画素データの階調値間を結ぶ関数ｆ２（曲線）上の階調値になるように補間画素データを発生する（Ｓ２１０６）。ここで、関数ｆ１およびｆ２は、固定された直線や曲線に限る必要はない。全ての補間画素を生成したか否かを判断し、生成されていない場合には、Ｓ２１０１に戻り、つぎの補間画素についての生成の処理を行う。補間画素は、水平方向と垂直方向とについてそれぞれ行う。全ての補間画素を生成した後に、上記の処理によって変換された新たな単位画素ブロック（ｋ×ｌ画素）の全画素データを出力する（Ｓ２１０８）。
【００２６】
図２２は、図２１で述べたデジタル原画像を異なる画素数のデジタル画像に変換する処理の流れをイメージ的に示したものである。図２２（ａ）は、変換前の単位画素ブロックと変換後の単位画素ブロックとを示し、図２２（ｂ）は、変換後の６ライン目の画素を示し、図２２（ｃ）は、変換後の６ライン目の各画素の階調値をグラフに示したものである。
【００２７】
図２２（ａ）において、例えば、２２１は、８×８画素の単位画素ブロックである。この単位画素ブロック２２１の８ライン全てにおいて、水平方向に８画素／１ラインを、１３画素／１ラインに変換する。また、垂直方向にも１３ラインとなるように変換する。２２２は、新たに生成された１３×１３画素からなる変換後の単位画素ブロックである。この場合、水平方向および垂直方向共に、１．６２５倍の拡大画像に変換される。図２２（ｂ）において、２２３は、変換された単位画素ブロック２２２の６ライン目の画素データであり、１〜８の数字は変換前の単位画素ブロック２２１の画素を示す番号である。番号の付いていない画素は、新たに発生した補間画素データである。補間画素の階調値を決める際には前述したように関数ｆ１もしくは関数ｆ２を用いる。図２２（ｃ）において、補間画素２２６、２２８、２３０は、隣合う画素の階調差がないので、２つの画素を結ぶ直線（関数ｆ１）上に階調値がくるように補間画素を生成する。また、補間画素２２９においては、隣合う画素の階調差はあるが、しきい値を超えないので、２つの画素を結ぶ直線（２２５）上に階調値がくるように補間画素を生成する。一方、補間画素２２９においては、隣合う画素の階調差がしきい値を超えるので、関数ｆ２（２２４）上に階調値がくるように補間画素を生成する。これにより、画像の輪郭部分におけるボケを防止し、緩やかに変化する部分においては、原画像と同様に緩やかに変化させることができる。補間画素を発生させる位置、階調値の閾値、関数ｆ１および関数ｆ２は、例えば、動画や静止画等の画像情報の種類により予めそれぞれ規定しておくことができる。
【００２８】
つぎに、本実施例におけるハードウエア構成とその変換動作とについて説明する。図１に、デジタル原画像を異なる画素数のデジタル画像に変換するハードウエア構成のブロック図を示す。図２に、画素変換の様子を示す。本実施例における装置は、図１に示すような構成に限定する必要はなく、マイクロコンピュータ周辺機器としてＬＳＩ化した単体素子であっても、ソフトウエアによりシステム化した装置であってもよい。ここで、静止画像や動画像等のデジタル原画像データとは、ＪＰＥＧ、ＭＰＥＧ等の圧縮データが伸長されたものや、ＮＴＳＣ等の信号をデジタル化したものである。
【００２９】
図１において、水平方向スケーリング演算部１０１は、入力された原画像データに対して、水平方向に画素数の変換を行う。水平方向スケーリング演算部１０１は、水平方向に１ライン８画素分の原画像データ１０３と、水平方向に次の１ライン８画素分の原画像データ１０４とを入力する。また、水平方向スケーリング演算部１０１は、原画像を水平方向に対して何画素増やすかを示すための水平方向倍率を表わす制御信号１０８を入力する。図２に示すように、水平方向スケーリング演算部１０１は、８×８画素の単位ブロック２０１に分割された原画像データのうち、水平方向に１ライン８画素分の原画像データ２０２と、水平方向に次の１ライン８画素分の原画像データ２０３とを入力し、２ライン同時に画素数変換を行い、１ライン８±ｎ画素分の画像データ２０４と、次の１ラインの８±ｎ画素分の画像データ２０５とを出力する。図２において、１ライン８±ｎ画素分の画像データ２０４と、次の１ラインの８±ｎ画素分の画像データ２０５とのうち、ハッチングを施した画素Ｃ１およびＣ２が、水平方向スケーリング演算部１０１よって生成された補間画素である。
【００３０】
つぎに、垂直方向スケーリング演算部１０２は、水平方向スケーリング演算部１０１が出力した水平方向に画素数変換された画像データに対して、垂直方向に画素数の変換を行う。垂直方向スケーリング演算部１０２は、水平方向スケーリング演算部１０１が出力した水平方向に１ライン８±ｎ画素分の画像データ１０５と、水平方向スケーリング演算部１０１が出力した水平方向に次の１ライン８±ｎ画素分の画像データ１０６とを入力する。また、垂直方向スケーリング演算部１０２は、原画像を垂直方向に対して何画素増やすかを示すための垂直方向倍率を表わす制御信号１０９を入力する。図２に示すように、垂直方向スケーリング演算部１０２は、水平方向に画素変換された１ライン８±ｎ画素分の画像データ２０４と、水平方向に次の１ライン８±ｎ画素分の画像データ２０５とを入力し、この入力したラインの画像データについては、図１に示すように、画像データ１０５および１０６としてそのまま出力する。また、垂直方向スケーリング演算部１０２は、図２に示すように、水平方向に画素変換された１ライン８±ｎ画素分の画像データ２０４と、水平方向に次の１ライン８±ｎ画素分の画像データ２０５とから１ライン分の画像データ２０７を生成する。画像データ２０７において、ハッチングを施した画素Ｐ１〜Ｐ１０が、垂直方向スケーリング演算部１０２よって生成された補間画素である。垂直方向スケーリング演算部１０２は、上記の処理を原画像データの８×８画素の単位ブロックに分割された原画像データに対して順に行うことにより、補間するラインの画像データ１０７を生成し、垂直方向の画素数変換を行う。これにより、図２に示すように、８×８画素の単位ブロックに分割された原画像データ２０１を、１０×１０画素の単位ブロックの画像データ２０９に画素数変換できる。
【００３１】
図７に、本発明を適用したシステム構成例を示す。ＣＰＵ７０１は情報を処理する中央演算処理装置である。画像データ入力部７０２は圧縮されたデジタル静止画像データや、動画データを入力する。バッファメモリ７０３は、画像データを記憶し、例えば画像データがＭＰＥＧ圧縮動画データである場合に、伸長する際に伸長する前と伸長した後との画像データを記憶するのに利用し、メモリ容量としては少なくとも８×８画素を格納できる容量を持つ。画像処理ＬＳＩ７０４は、前述した図１に示すような解像度変換を行う。ＶＲＡＭ７０５は、解像度変換を行った後の画像データを格納する。表示制御部７０６は、ＶＲＡＭ７０５に格納した解像度変換を行った後の画像データを読み出して液晶パネルに表示する。Ｄ／Ａ７０８は、音声出力用のデジタル／アナログ変換器である。システムバス７０９は、データバス、アドレスバス、コントロールバスからなる。入力部７１０は、解像度変換の倍率等の指示を受付ける。
【００３２】
本システム構成において、ＣＰＵ７０１、バッファメモリ７０３、本発明のスケーリングを行なう画像処理ＬＳＩ７０４、および、表示制御７０６は、一つのＬＳＩ化した単体素子であってもよい。
【００３３】
つぎに、解像度変換の詳細を図３および図７を参照して説明する。図３に、本実施例の解像度変換における処理フローを示す。
【００３４】
図３において、原画像に対して水平方向に何倍するかまた垂直方向に何倍するかを決める解像度変換の倍率を図７に示す本装置の入力部７１０で受付ける（Ｓ３０１）。ＣＰＵ７０１は、画像処理ＬＳＩ７０４のパラメータを設定するためのパラメータレジスタに解像度変換の倍率のデータを設定する。画像データ入力部７０２では、画像データを受け付け、８×８画素の単位ブロックに分割し、バッファメモリ７０３に分割した単位ブロックごとに画像データを記憶させる。つぎに、画像処理ＬＳＩ７０４は、バッファメモリ７０３に記憶する８×８画素の単位ブロックに分割された原画像データの水平方向２ライン分の８画素データを入力する（Ｓ３０２）。画像処理ＬＳＩ７０４は、入力された水平方向２ライン分の８画素データに対して、水平方向に補間画素を発生し、２ライン分同時に水平方向のスケーリング演算処理を行う（Ｓ３０３）。つぎに、画像処理ＬＳＩ７０４は、水平方向のスケーリング演算処理された２ライン分のデータに対して、垂直方向に補間画素を発生し、一度に補間ラインを生成し、垂直方向のスケーリング演算処理を行う（Ｓ３０４）。最後に、水平方向および垂直方向のスケーリング演算処理後の単位画素ブロック毎に表示メモリであるＶＲＡＭ７０５へライトする（Ｓ３０５）。
【００３５】
つぎに、倍率に応じて補間する画素数と画素を補間する位置とついて、詳細に説明する。
【００３６】
図４は、図１に示す水平方向スケーリング演算部１０１が、水平方向に補間画素を生成し、水平方向のスケーリング演算処理を行うための水平方向倍率と、それに対応する補間画素生成点数との関係を示す水平方向補間画素生成テーブルの一例を示している。原画像データに対して８×８画素の単位ブロックに分割された原画像データの水平方向のライン毎に補間画素を生成することから、入力画素数は８画素である。例えば、カラー表示でＲＧＢの各８ビットであれば、１画素あたり２４ビットのデータ長となる。また、輝度と色差で表わされたＹＵＶのデジタルデータでもよい。図４に示すように、入力画素数の８画素に対して、倍率ごとに生成画素生成点数を１点ずつ増やしていくことにより水平方向のスケーリングを実現する。例えば、水平方向の倍率を１．６２５倍に設定した場合、補間画素の生成点数は５点であり、出力画素数は１３画素となる。水平方向の倍率から補間画素の生成点数は指定できるが、補間画素の発生位置が画質に影響を及ぼす。補間画素発生位置については後で説明する。
【００３７】
図５は、図１に示す垂直方向スケーリング演算部１０２が、垂直方向に補間画素を生成し、垂直方向のスケーリング演算処理を行うための垂直方向倍率と、それに対応する補間画素生成ライン数との関係を示す垂直方向補間画素生成テーブルの一例を示している。原画像データに対して８×８画素の単位ブロックに分割された原画像データの垂直方向に補間画素を生成し、補間ラインを生成することから、入力ライン数は８ラインである。図５に示すように、入力ライン数の８ラインに対して、生成ライン数を倍率ごとに１ラインずつ増やしていくことにより垂直方向のスケーリングを実現する。例えば、垂直方向の倍率を１．３７５倍に設定した場合、補間画素の生成ライン数は３ラインであり、出力ライン数は１１ラインとなる。水平方向スケーリングと同様に、垂直方向の倍率から補間画素の生成ライン数は指定できるが、補間画素のラインの発生位置が画質に影響を及ぼす。
【００３８】
そこで、図６を参照して、水平方向の倍率から補間画素の生成点数を指定し、その補間画素の発生位置について説明する。
【００３９】
図６は、原画像データに対して、８×８画素の単位ブロックに分割された水平方向に１ライン８画素の原画像データから補間画素を生成したときに、その発生位置を補間画素数ｎごとに例示したものである。補間画素の発生位置についてはこれに限らなくてもよい。図６において、白枠の長方形の部分は、８×８画素の単位ブロックに分割された、原画像データの１ライン８画素の各画素を示している。また、ハッチングされた長方形の部分は、補間画素であり、その発生位置を示している。ｎは、０以上の整数であって、補間画素の発生点数を示している。６００は、補間画素の発生点数がｎ＝０であり、水平方向に原画像の画素１、画素２の順に画素８まで並んでいる様子を示している。６０１は、補間画素の発生点数がｎ＝１であり、水平方向に原画像の画素１と画素２との間に補間画素を１画素分発生している。６０２は、補間画素の発生点数がｎ＝２であり、水平方向に原画像の画素１と画素２との間に補間画素を１画素分発生し、画素５と画素６との間に補間画素を１画素分発生している。このときの水平方向倍率は、図４における水平方向補間画素生成テーブルに示すように１．２５倍である。さらに、水平方向倍率を上げていくと、６０８では、補間画素の発生点数がｎ＝８であり、水平方向に原画像の画素１と画素２との間に補間画素を２画素分発生し、画素２と画素３との間に補間画素を１画素分発生し、画素３と画素４との間に補間画素を１画素分発生し、画素４と画素５との間に補間画素を１画素分発生し、画素５と画素６との間に補間画素を１画素分発生し、画素６と画素７との間に補間画素を１画素分発生し、画素７と画素８との間に補間画素を１画素分発生している。このときの水平方向倍率は、図４における水平方向補間画素生成テーブルに示すように２倍である。同様にして、補間画素の発生点数ｎに対して、６０３〜６２４に示すように補間画素を発生する。
【００４０】
このように、倍率に応じて生成する補間画素の数と発生位置とを予め規定しておくことができる。
【００４１】
また、上述した説明は、水平方向の補間画素の発生位置に関するものであるが、垂直方向についても同様に補間画素を補間ラインに置き換えればよい。すなわち、垂直方向の倍率から補間画素の生成ライン数を規定し、その補間画素のラインの発生位置についても同様に規定しておくことができる。
【００４２】
つぎに、最適な補間画素の階調値を決定する方法について説明する。
【００４３】
前述したように、補間画素の階調値は、画素を補間する位置に隣接する画素間の階調差に応じて求める。隣接する画素間の階調差が予め定めた階調差の閾値より小さい場合には、隣接する画素の階調値間を予め定めた関数ｆ１（例えば、直線を示す関数）で結び、その関数ｆ１上にある階調値となるように補間画素を生成する。また、隣接する画素間の階調差が予め定めた階調差の閾値より大きい場合には、隣接する画素の階調値間を予め定めた関数ｆ２（例えば、曲線を示す関数）で結び、その関数ｆ２上にある階調値となるように補間画素を生成する。この関数ｆ２としては、例えば、スプライン関数を利用することができる。ｎ次のスプライン関数は、区分的多項式関数であり、小区間内ではｎ次の異なる多項式曲線で定義できる。
【００４４】
本実施例における関数ｆ１とｆ２とについて、図１３を参照して説明する。図１３（ａ）は、原画像データ１３０１とこれを３倍した場合の変換後の画像データ１３０２とを示している。図１３において、原画像データは、自然画と文字「山」が混在している静止画像もしくは動画像データである。特に、文字の近傍は、濃淡のはっきりした高周波成分領域であり、１３０３は、その部分を拡大したものである。例えば、高周波成分領域の画素１および画素２（１３０４）を水平方向に解像度変換する場合、原画像データ１３０１のある一部の画素１および画素２とから画素Ｃ１、画素Ｃ２、画素Ｃ３を生成し、変換後のデータは、画素１、画素Ｃ１、画素Ｃ２、画素Ｃ３および画素２（１３０５）となる。ここで、補間画素である画素Ｃ１、画素Ｃ２、画素Ｃ３のデータ値が画質の優劣に影響を与える。例えば、画素のデータ値を階調で考えるものとする。画素１の階調値はＰ１とし、画素２の階調値はＰ５とする。この場合の画素１、画素２、画素Ｃ１、Ｃ２およびＣ３に対する階調値のグラフを図１３（ｂ）に示す。図１３（ｂ）において、画素１の階調値Ｐ１と、画素２の階調値Ｐ５を関数ｆ１（直線）１３０６で結ぶ。その関数ｆ１（直線）上に補間画素である画素Ｃ１、画素Ｃ２、画素Ｃ３の階調値がくるように補間画素を算出する場合、画素Ｃ１の階調値はＰ２、画素Ｃ２の階調値はＰ３、画素Ｃ３の階調値はＰ４となる。このような補間画素の階調値を直線的に決定する方式の場合、自然画像等の濃淡のはっきりしない低周波成分領域では、良好な再生画像が得られる。しかしながら、文字やグラフィックス等の濃淡のはっきりした高周波成分領域では、上記のように補間画素の階調値を直線的の決定してしまうと、ぼやけた再生画像となってしまうことがある。その原因は、画素Ｃ１、画素Ｃ２、画素Ｃ３の階調値が緩やかに変化する中間調をとるためである。したがって、濃淡のはっきりした高周波成分領域では、点線で示すように、補間画素の階調値を決定する最適な関数ｆ２（曲線）１３０７が存在する。そこで、本実施例においては、文字やグラフィックス等の濃淡のはっきりした高周波成分領域では、この関数ｆ２（曲線）１３０７上に補間画素である画素Ｃ１、画素Ｃ２、画素Ｃ３の階調値がくるように補間画素を算出する。したがって、画素Ｃ１の階調値はＰ１、画素Ｃ２の階調値はＰ２、画素Ｃ３の階調値はＰ４となる。実際には、関数ｆ２（曲線）１３０７に基づいて階調値を計算してもよいし、近似的に階調値を計算してもよい。原画像データは、自然画像や文字やグラフィックスが混在している静止画像や動画像データであることから、補間画素の階調値を関数ｆ１（直線）１３０６上に決定するか、関数ｆ２（曲線）１３０７上に決定するかを切り替えることにする。この切り替えの方法として、濃淡のはっきりした高周波成分領域では、画素１と画素２との階調値の差の絶対値ｄが、ある一定以上の値をとることに着目する。濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値ｄが一定値未満であるときには、関数ｆ１（直線）１３０６上の階調値になるように補間画素の階調値を決定する。濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値ｄが一定値以上のときは、最適な関数ｆ２（曲線）１３０７上の階調値になるように補間画素の階調値を決定する。
【００４５】
本実施例においては、解像度変換の高速化を考慮して、関数ｆ１（直線）１３０６および関数ｆ２（曲線）１３０７上の階調値Ｐ２、Ｐ３、Ｐ４を以下の数式で算出する。
【００４６】
【数１】
Ｐ２＝Ｐ１＋｜Ｐ１−Ｐ５｜／４
Ｐ３＝Ｐ１＋｜Ｐ１−Ｐ５｜／２
Ｐ４＝Ｐ１＋｜Ｐ１−Ｐ５｜／４＋｜Ｐ１−Ｐ５｜／２
数１に示すようにＰ２、Ｐ３およびＰ４を求め、画素１と画素２との階調値の差の絶対値ｄが一定値未満であるときには、関数ｆ１（直線）１３０６上の階調値になるように、画素Ｃ１の階調値はＰ２、画素Ｃ２の階調値はＰ３、画素Ｃ３の階調値はＰ４とし、階調値の差の絶対値ｄが一定値以上のときは、関数ｆ２（曲線）１３０７上の階調値になるように、画素Ｃ１の階調値はＰ１、画素Ｃ２の階調値はＰ２、画素Ｃ３の階調値はＰ４とする。
【００４７】
また、図１３（ｂ）に示すように、画素１の階調値が画素２の階調値より大きい場合には、画素１と画素２との階調値が水平方向に対して右下がりになる。この場合、本実施例においては、画素１の階調値と画素２の階調値とを結んだ関数−ｆ１（直線）１３０９と、関数−ｆ２（曲線）１３０８とを隣接する画素の階調値の差に従って切り替えるようにする。
【００４８】
つぎに、図８〜図１２を参照して具体的な水平方向スケーリング演算部の構成を説明する。
【００４９】
図８は、図１に示す水平方向スケーリング演算部１０１の内部をさらに詳細に示したブロック図である。図８において、水平方向演算処理ブロック８０１は、隣接する画素の画素データを入力し、生成する画素の画素データを演算処理する。図１に示す水平方向スケーリング演算部１０１の内部には、水平方向演算処理ブロック８０１が複数設けられ、複数の水平方向演算処理ブロック８０１にて隣接する画素の画素データをそれぞれ入力し、並列処理できる。例えば、８×８画素の単位ブロックでは、水平方向に隣接する画素の組合せが７つあるので、図１１に示すように、水平方向演算処理ブロック８０１が７つ並列に配置され、水平方向演算処理ブロック８０１のそれぞれにおいて処理を行う。さらに、複数のラインを同時に処理できるようにしてもよい。例えば、２ライン分の処理を同時に処理したい場合には、水平方向演算処理ブロック８０１を１４個配置することができる。
【００５０】
図８において、水平方向補間画素演算部８０２は、原画像データの隣接する２画素分のデータ値から、指定された水平方向倍率１０８に応じた補間画素数の補間画素のデータ値を算出する。例えば、図６に示すように、原画像データの隣接する２画素として画素１と画素２とを入力した場合、１．１２５倍〜１．８７５倍までは、画素１と画素２間で補間画素数は１画素であり、２倍〜２．８７５倍までは２画素であり、水平方向補間画素演算部８０２では、画素数分の補間画素のデータ値をそれぞれ算出する。図８においては、水平方向補間画素演算部８０２で生成する画素数を０〜３画素数とする場合を例にし、画素データ８０５（階調値Ｐ１）および画素データ８０６（階調値Ｐ５）を入力し、数１に基づいてＰ２、Ｐ３およびＰ４を求め、補間画素データ９０６、９０７および９０８として出力する。差分器８０４は、原画像の隣接する画素データ８０５および８０６を受けて階調値の差を求める。差分器８０４は、二つの制御信号として切り替え信号８０７および正／負符号８０８を出力する。切り替え信号８０７は、データ値の差の絶対値ｄが設定値を超えた場合にアクティブになり、関数ｆ１と関数ｆ２とを切り替えるための制御信号である。正／負符号８０８は、データ値の差の値が正か負かを示す。バス制御部８２０は、図１９に示すように、水平方向倍率１０８に応じたバス切り替え信号８０９を、バススイッチ８０３に対して出力する。水平方向倍率に対して生成する補間画素数および補間位置は図４および図６に示すように予め規定されているので、バス制御部８２０は、この規定に基づいてバス切り替え信号を出力し、バススイッチ８０３のスリーステートバッファを制御する。バススイッチ８０３は、水平方向補間画素演算部８０２から出力された補間画素データ値に対して、切り替え信号８０７および正／負符号８０８とにより補間画素データ値を選択し、バス制御部８２０から指示される倍率に応じたバス切り替え信号８０９に従って補間画素データ値を選択してローカルなデータバス８１０に出力する。すなわち、正／負符号８０８のデータ値の差の値が正か負かにより、図１３に示す画素１と画素２との階調値が水平方向に対して右上がりか右下がりかを判断し、また、切り替え信号８０７およびバス切り替え信号８０９により、補間画素データ９０６、９０７および９０８として出力された画像データのＰ２、Ｐ３およびＰ４と原画像データとして出力されたＰ１およびＰ５とから、補間する位置に応じた画素データを決定してローカルバス８１０に出力する。
【００５１】
つぎに、水平方向補間画素演算部８０２について図９を参照して詳細に説明する。図９に、水平方向補間画素演算部８０２の構成を示す。水平方向補間画素演算部８０２は、数１に示す演算処理を実行する。
【００５２】
図９において、画素データ８０５および８０６は、原画像の２画素データの階調値であり、Ｐ１およびＰ５に相当する。減算器９０１は、Ｐ１−Ｐ５を演算し、その出力データは、｜Ｐ１−Ｐ５｜（９０５）である。１／４シフタ９０２は、出力データ｜Ｐ１−Ｐ５｜（９０５）を１／４にし、１／２シフタ９０３は、出力データ｜Ｐ１−Ｐ５｜（９０５）を１／２にする。加算器９０４は、１／４シフタ９０２の出力データ｜Ｐ１−Ｐ５｜／４と、１／２シフタ９０３の出力データ｜Ｐ１−Ｐ５｜／２とを加算する。セレクタ９２０は、正／負符号８０８に基づいて、画素データＰ１（８０５）とＰ５（８０６）とを切り替える。データ値の差の値が正のとき、すなわち、画素データＰ１（８０５）が大きいときには、セレクタ９２０は画像データＰ５（８０６）を選択する。また、データ値の差の値が負のとき、すなわち、画素データＰ５（８０６）が大きいときには、セレクタ９２０は画像データＰ１（８０５）を選択する。このように、セレクタ９２０により、画素データＰ１（８０５）とＰ５（８０６）とのうち小さい方の値が出力される。
【００５３】
また、加算器９０９は、１／４シフタ９０２の出力データ｜Ｐ１−Ｐ５｜／４と、セレクタ９２０から出力されたＰ１もしくはＰ５とを加算し、Ｐ２（９０６）を出力する。加算器９１０は、１／２シフタ９０３の出力データ｜Ｐ１−Ｐ５｜／２と、セレクタ９２０から出力されたＰ１もしくはＰ５とを加算し、Ｐ３（９０７）を出力する。加算器９１１は、加算器９０４の出力データ｜Ｐ１−Ｐ５｜／４＋｜Ｐ１−Ｐ５｜／２と、セレクタ９２０から出力されたＰ１もしくはＰ５とを加算し、Ｐ４（９０８）を出力する。これにより、Ｐ２（９０６）、Ｐ３（９０７）およびＰ４（９０８）は、画素データＰ１（８０５）とＰ５（８０６）とのうち小さい方の値に、それぞれ｜Ｐ１−Ｐ５｜／４、｜Ｐ１−Ｐ５｜／２、｜Ｐ１−Ｐ５｜／４＋｜Ｐ１−Ｐ５｜／２が加算された値となる。
【００５４】
このようにして、水平方向補間画素演算部８０２は、入力画素データＰ１（８０５）およびＰ５（８０６）に対して、出力画素データとして、Ｐ１（８０５）Ｐ５（８０６）と、生成した補間画素を出力する。
【００５５】
つぎに、図１０を参照してバススイッチ８０３について詳細に説明する。図１０に、バススイッチ８０３の構成を示す。水平方向補間画素演算部８０２が算出した画素データを選択し、共通のローカルバスに出力するものである。
【００５６】
図１０において、バススイッチ８０３は、水平方向補間画素演算部８０２が算出した画素データのＰ１（８０５）、Ｐ２（９０６）、Ｐ３（９０７）、Ｐ４（９０８）およびＰ５（８０６）を入力する。セレクタ１００１〜１００３は正／負符号８０８に従って２つの入力信号のうちいずれかを選択して出力し、セレクタ１００４および１００５は、切り替え信号８０７に従って２つの入力信号のうちいずれかを選択して出力する。また、バススイッチ１００９〜１０１２は、バス切り替え信号８０９に従っていずれかが選択され、選択されたバススイッチから画像データが出力される。
【００５７】
図１３に示す画素と階調値との関係が、水平方向に対して階調値が右上がりに増加傾向にあるのか、逆に右下がりの減少傾向にあるのかによって、Ｐ１（８０５）、Ｐ２（９０６）、Ｐ３（９０７）、Ｐ４（９０８）、Ｐ５（８０６）の出力順序が変わり、また、隣接する画素の階調値の差に従って出力する画像データの値が異なる。
【００５８】
図１０において、バススイッチ８０３は、切り替え信号８０７および正／負符号８０８に従い、セレクタ１００１〜１００５を切り替える。右上がりの場合であって、濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｐ１−Ｐ５｜が一定値以上のときは、正／負符号８０８は負を示し、切り替え信号８０７はアクティブとなり、図１３（ｂ）における関数ｆ２（曲線）１３０７上の階調値になるように、Ｐ１（８０５）、Ｐ１（８０５）、Ｐ２（９０６）、Ｐ４（９０８）およびＰ５（８０６）を、バススイッチ８０３はセレクタ１００１〜１００５を切り替えることにより選択する。右上がりの場合であって、濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｐ１−Ｐ５｜が一定値未満のときは、正／負符号８０８は負を示し、切り替え信号８０７はノンアクティブとなり、図１３（ｂ）における関数ｆ１（直線）１３０６上の階調値になるように、Ｐ１（８０５）、Ｐ２（９０６）、Ｐ３（９０７）、Ｐ４（９０８）およびＰ５（８０６）を、バススイッチ８０３はセレクタ１００１〜１００５を切り替えることにより選択する。
【００５９】
また、右下がりの場合であって、濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｐ１−Ｐ５｜が一定値以上のときには、正／負符号８０８は正を示し、切り替え信号８０７はアクティブとなり、図１３（ｂ）における関数−ｆ２（曲線）１３０８上のＰ１（８０５）、Ｐ１（８０５）、Ｐ４（９０８）、Ｐ２（９０６）およびＰ５（８０６）を、バススイッチ８０３はセレクタ１００１〜１００５を切り替えることにより選択する。また、右下がりの場合であって、濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｐ１−Ｐ５｜が一定値未満のときは、正／負符号８０８は正を示し、切り替え信号８０７はノンアクティブとなり、図１３（ｂ）における関数−ｆ１（直線）１３０９上の階調値になるように、Ｐ１（８０５）、Ｐ４（９０８）、Ｐ３（９０７）、Ｐ２（９０６）およびＰ５（８０６）を選択する。
【００６０】
さらに、出力する画素データの数は、水平方向倍率により変化するので、共通のローカルバス８１０に出力するためにバススイッチ１００９〜１０１２を設けておき、バス制御部８２０から指示されたバス切り替え信号８０９に従って、バススイッチ１００９〜１０１２のうちいずれか一つを選択することにより、水平方向倍率に応じた画素数の画像データを出力する。例えば、隣接する画素間で１画素補間する場合には、バススイッチ１０１０が選択され、３画素分の画像データがローカルバス８１０に出力される。このローカルバス８１０は、本実施例においては５本のバスから構成されるので、例えば、バススイッチ１０１０が選択されたときには３画素（３本）分の画像データが有効なデータであり、残りの２本のバスのデータは不要である。この不要なバスのデータ（以下、無効データという）は、後述する図１１に示す整列処理ブロックにおいて削除される。
【００６１】
このように、水平方向演算処理ブロック８０１のバススイッチ８０３から画像データが出力される。
【００６２】
さらに、図１１に示すように、水平方向演算処理ブロック８０１が７つ並列に配置されている場合について説明する。図１１は、水平方向演算処理ブロック８０１を並列に接続した構成例を示している。図１１において、１１０９〜１１１６は、入力する画素１〜画素８である。水平方向演算処理ブロック８０１−１〜８０１−８では、前述したように画像データをそれぞれ出力する。整列処理ブロック１１０８は、水平方向演算処理ブロック８０１−１〜８０１−８から出力された画像データを、整列処理し、整列処理後の画素データ１１１７を出力する。
【００６３】
図１２（ａ）および図１２（ｂ）を参照して整列処理ブロック１１０８の処理を説明する。図１２（ａ）に、解像度変換後の画素データを整列処理する様子を示す。例えば、水平方向に発生する補間画素発生点数が、ｎ＝９点の場合を例にする。図１１における水平方向演算処理ブロック８０１−１からは、画素データ１２０１が出力される。水平方向演算処理ブロック８０１−２からは、画素データ１２０２が出力される。水平方向演算処理ブロック８０１−３からは、画素データ１２０３が出力される。水平方向演算処理ブロック８０１−４からは、画素データ１２０４が出力される。水平方向演算処理ブロック８０１−５からは、画素データ１２０５が出力される。水平方向演算処理ブロック８０１−６からは、画素データ１２０６が出力される。水平方向演算処理ブロック８０１−７からは、画素データ１２０７が出力される。ここで、出力された画素データ１２０１〜１２０７には、矢印で示すように無効データがローカルバス上に存在する。そこで、整列処理ブロック１１０８では、図１２（ｂ）に示すように、整列処理するためのバス変換部１２０９−１〜１２０９−８を、水平方向演算処理ブロック８０１−１〜８０１−８の各々に対応させて設けておき、バス変換部１２０９−１〜１２０９−８の各々において、水平方向倍率に応じたバス切り替え信号８０９に従ってこの無効データを間引いてデータ幅を圧縮し、整列処理後の画素データ１２０８を出力する。
【００６４】
以上のように処理することにより、水平方向の画素数を変換することができる。
【００６５】
つぎに、図１４〜図１８を参照して具体的な垂直方向スケーリング演算部の構成について説明する。垂直方向の画素変換も、前述した水平方向の画素変換と同様に行うことができる。
【００６６】
図１４は、垂直方向スケーリング演算部１０２の内部をさらに詳細に示したブロック図である。図１４において、垂直方向演算処理ブロック１４０１は、垂直方向に隣接する画素の画素データを入力し、生成する画素の画素データを演算処理する。図１に示す垂直方向スケーリング演算部１０２の内部には、垂直方向演算処理ブロック１４０１が複数設けられ、複数の垂直方向演算処理ブロック１４０１にて、水平方向に変換された後の隣接する画素の画素データをそれぞれ入力し、並列処理できる。例えば、８×８画素の単位ブロックを入力し、最高でＭ×Ｍ画素に変換する場合には、垂直方向に隣接する画素の組合せが（Ｍ−１）個あるので、垂直方向演算処理ブロック１４０１を（Ｍ−１）個並列に配置し、垂直方向演算処理ブロック１４０１のそれぞれにおいて処理を行う。さらに、複数のラインを同時に処理できるようにしてもよい。例えば、２ライン分の処理を同時に処理したい場合には、垂直方向演算処理ブロック１４０１を２×（Ｍ−１）個配置することができる。
【００６７】
図１４において、垂直方向補間画素演算部１４０２は、垂直方向に隣接する２画素分のデータ値から補間画素のデータ値を算出する。差分器１４０４は、二つの制御信号として切り替え信号１４０７および正／負符号１４０８を出力する。切り替え信号１４０７は、データ値の差の絶対値ｄが設定値を超えた場合にアクティブになり、関数ｆ１と関数ｆ２とを切り替えるための制御信号である。正／負符号１４０８は、データ値の差の値が正か負かを示す。１４１０は、垂直方向にスケーリングされた画素データである。バス制御部１４２０は、図１９に示すように、垂直方向倍率１０９に応じたバス切り替え信号１４０９を、バススイッチ１４０３に対して出力する。垂直方向倍率に対して図５に示すように、生成する補間画素数および補間位置は予め規定されているので、バス制御部１４２０は、この規定に基づいてバス切り替え信号を出力する。バススイッチ１４０３は、垂直方向補間画素演算部１４０２から出力された補間画素データ値に対して、切り替え信号１４０７および正／負符号１４０８とにより補間画素データ値を選択し、バス制御部１４２０から指示される倍率に応じたバス切り替え信号１４０９に従って補間画素データ値を選択してローカルなデータバス１４１０に出力する。
【００６８】
つぎに、垂直方向補間画素演算部１４０２について図１５を参照して詳細に説明する。図１５に、垂直方向補間画素演算部１４０２の構成を示す。垂直方向補間画素演算部１４０２は、水平方向と同様に数１に示す式に基づいて、原画像データの隣接する２画素分のデータ値から、補間画素数の補間画素のデータ値を算出する。水平方向と垂直方向とを区別するために、以下、数１に示す階調値をＰの代わりにＬで表わす。本実施例においては、垂直方向補間画素演算部１４０２で生成するライン数を３ラインとする場合を例にする。垂直方向補間画素演算部１４０２は、画素データ１４０５（階調値Ｌ１）および画素データ１４０６（階調値Ｌ５）を入力し、数１に基づいてＬ２、Ｌ３およびＬ４を求め、補間画素データ１５０６、１５０７および１５０８として出力する。
【００６９】
図１５において、画素データ１４０５および画素データ１４０６は、原画像の２画素データの階調値であり、Ｌ１もしくはＬ５に相当する。減算器１５０１は、Ｌ１−Ｌ５を演算し、その出力データは、｜Ｌ１−Ｌ５｜（１５０５）である。１／４シフタ１５０２は、出力データ｜Ｌ１−Ｌ５｜（１５０５）を１／４にし、１／２シフタ１５０３は、出力データ｜Ｌ１−Ｌ５｜（１５０５）を１／２にする。加算器１５０４は、１／４シフタ１５０２の出力データ｜Ｌ１−Ｌ５｜／４と、１／２シフタ１５０３の出力データ｜Ｌ１−Ｌ５｜／２とを加算する。加算器１５０９は、１／４シフタ１５０２の出力データ｜Ｌ１−Ｌ５｜／４とＬ１とを加算する。加算器１５１０は、１／２シフタ１５０３の出力データ｜Ｌ１−Ｌ５｜／２とＬ１とを加算する。加算器１５１１は、加算器１５０４の出力データ｜Ｌ１−Ｌ５｜／４＋｜Ｌ１−Ｌ５｜／２とＬ１とを加算する。セレクタ１５２０は、正／負符号１４０８に基づいて、画素データＬ１（１４０５）とＬ５（１４０６）とを切り替える。データ値の差の値が正のとき、すなわち、画素データＬ１（１４０５）が大きいときには、セレクタ１５２０は画像データＬ５を選択する。また、データ値の差の値が負のとき、すなわち、画素データＬ１が大きいときには、セレクタ１５２０は画像データＬ１を選択する。このように、セレクタ１５２０により、画素データＬ１とＬ５とのうち小さい方の値が出力される。
【００７０】
また、加算器１５０９は、１／４シフタ１５０２の出力データ｜Ｌ１−Ｌ５｜／４と、セレクタ１５２０から出力されたＬ１もしくはＬ５とを加算し、Ｌ２（１５０６）を出力する。加算器１５１０は、１／２シフタ１５０３の出力データ｜Ｌ１−Ｌ５｜／２と、セレクタ１５２０から出力されたＬ１もしくはＬ５とを加算し、Ｌ３（１５０７）を出力する。加算器１５１１は、加算器１５０４の出力データ｜Ｌ１−Ｌ５｜／４＋｜Ｌ１−Ｌ５｜／２と、セレクタ１５２０から出力されたＬ１もしくはＬ５とを加算し、Ｌ４（１５０８）を出力する。これにより、Ｌ２（１５０６）、Ｌ３（１５０７）およびＬ４（１５０８）は、画素データＬ１（１４０５）とＬ５（１４０６）とのうち小さい方の値に、それぞれ｜Ｌ１−Ｌ５｜／４、｜Ｌ１−Ｌ５｜／２、｜Ｌ１−Ｌ５｜／４＋｜Ｌ１−Ｌ５｜／２が加算された値となる。
【００７１】
このようにして、水平方向補間画素演算部１４０２は、入力画素データＬ１（１４０５）およびＬ５（１４０６）に対して、出力画素データＬ１（１４０５）、Ｌ２（１５０６）、Ｌ３（１５０７）、Ｌ４（１５０８）およびＬ５（１４０６）を出力する。
【００７２】
つぎに、図１６を参照してバススイッチ１４０３について詳細に説明する。図１６に、バススイッチ１４０３の構成を示す。垂直方向補間画素演算部１４０２が算出した画素データを選択し、共通のローカルバスに出力するものである。
【００７３】
図１６において、バススイッチ１４０３は、垂直方向補間画素演算部１４０２が算出した画素データのＬ１（１４０５）、Ｌ２（１５０６）、Ｌ３（１５０７）、Ｌ４（１５０８）およびＬ５（１４０６）を入力する。セレクタ１６０１〜１６０３は正／負符号１４０８に従って２つの入力信号のうちいずれかを選択して出力し、セレクタ１６０４および１６０５は、切り替え信号１４０７に従って２つの入力信号のうちいずれかを選択して出力する。
【００７４】
また、水平方向の変換と同様に、隣接する画素のＬ１（１４０５）とＬ５（１４０６）との階調値の大小関係により、Ｌ１（１４０５）、Ｌ２（１５０６）、Ｌ３（１５０７）、Ｌ４（１５０８）、Ｌ５（１４０６）の出力順序が変わり、また、隣接する画素の階調値の差に従って出力する画像データの値が異なる。
【００７５】
図１６において、バススイッチ１４０３は、切り替え信号１４０７および正／負符号１４０８に従い、セレクタ１６０１〜１６０５を切り替える。Ｌ１（１４０５）がＬ５（１４０６）より小さい場合であって、濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｌ１−Ｌ５｜が一定値以上のときは、正／負符号１４０８は負を示し、切り替え信号１４０７はアクティブとなり、図１３（ｂ）における関数ｆ２（曲線）１３０７上の階調値になるように、Ｌ１（１４０５）、Ｌ１（１４０５）、Ｌ２（１５０６）、Ｌ４（１５０８）およびＬ５（１４０６）を、バススイッチ１４０３はセレクタ１６０１〜１６０５を切り替えることにより選択する。Ｌ１（１４０５）がＬ５（１４０６）より小さい場合であって、濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｌ１−Ｌ５｜が一定値未満のときは、正／負符号１４０８は負を示し、切り替え信号１４０７はノンアクティブとなり、図１３（ｂ）における関数ｆ１（直線）１３０６上の階調値になるように、Ｌ１（１４０５）、Ｌ２（１５０６）、Ｌ３（１５０７）、Ｌ４（１５０８）およびＬ５（１４０６）を、バススイッチ１４０３はセレクタ１６０１〜１６０５を切り替えることにより選択する。
【００７６】
また、Ｌ１（１４０５）がＬ５（１４０６）より大きい場合であって、濃淡のはっきりした高周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｌ１−Ｌ５｜が一定値以上のときには、正／負符号１４０８は正を示し、切り替え信号１４０７はアクティブとなり、図１３（ｂ）における関数−ｆ２（曲線）１３０８上のＬ１（１４０５）、Ｌ１（１４０５）、Ｌ４（１５０８）、Ｌ２（１５０６）およびＬ５（１４０６）を、バススイッチ１４０３はセレクタ１６０１〜１６０５を切り替えることにより選択する。また、Ｌ１（１４０５）がＬ５（１４０６）より大きい場合であって、濃淡のはっきりしない低周波成分領域のように画素１と画素２との階調値の差の絶対値｜Ｌ１−Ｌ５｜が一定値未満のときは、正／負符号１４０８は正を示し、切り替え信号１４０７はノンアクティブとなり、図１３（ｂ）における関数−ｆ１（直線）１３０９上の階調値になるように、Ｌ１（１４０５）、Ｌ４（１５０８）、Ｌ３（１５０７）、Ｌ２（１５０６）およびＬ５（１４０６）を選択する。
【００７７】
バススイッチ１４０３は、入力した画素と生成した画素とを合わせて出力する。図１６において、画素（１，１）および画素（２，１）は、入力した画素の１ライン１画素目のデータ、入力した画素の２ライン１画素目のデータを示し、Ｃ（１，１）１６０６、Ｃ（２，１）１６０７、Ｃ（３，１）１６０８は、補間画素の垂直方向において、補間ラインの１ライン１画素目のデータ、補間ラインの２ライン１画素目のデータ、補間ラインの３ライン１画素目のデータを示す。
【００７８】
このように、垂直方向演算処理ブロック１４０１のバススイッチ１４０３から画像データが出力される。
【００７９】
さらに、図１７に示すように、垂直方向演算処理ブロック１４０１が複数並列に配置されている場合について説明する。図１７は、垂直方向演算処理ブロック１４０１を並列に接続した構成例を示している。図１７において、１７１０〜１７２８は、入力する画素（１，１）〜画素（２，９）である。ここで、画素（２，９）とは、２ライン９画素目を表わす。図１７において、垂直方向演算処理ブロック１４０１−１〜１４０１−９は、前述したように画像データをそれぞれ出力する。整列処理ブロック１７０８は、垂直方向演算処理ブロック１４０１−１〜１４０１−９から出力された画像データを、整列処理し、整列処理後の画素データ１７２９を出力する。
【００８０】
図１８を参照して整列処理ブロック１７０８の処理を説明する。図１８に、水平方向および垂直方向に画像変換した後の画像データを示し、例えば、垂直方向に発生する補間ライン数が、ｎ＝１４ラインの場合を例にする。図１８において、１８０６〜１８０７は、整列処理ブロック１７０８から出力された画素データを示し、１８０１〜１８０５は、垂直方向に補間された補間ラインを示している。整列処理ブロック１７０８では、垂直方向演算処理ブロック１４０１の各々から出力された変換後の５ラインの画像データを、垂直方向倍率に応じたバス切り替え信号１４０９に従って不要ならインを間引いて、整列処理後の画素データ１７２９を出力する。
【００８１】
以上のように処理することにより、水平方向および垂直方向の画素数を変換することができる。
【００８２】
本実施例によれば、予め補間する画素数と補間位置とを倍率に応じて規定しておくことができる。また、隣接する画素の画像データの差により濃淡の境界を認識し、これに応じて補間画素の画像データを決定することができる。本実施例によれば、原画像の画素数を増やす解像度変換において、モザイク状のギザギザが目立つ画像を防止し、高品質な画像を実現することができる。また、濃淡の境界がはっきりとした画像の輪郭部分等の高周波成分を保存し、高品質な画像を実現することができる。さらに、デジタル動画像処理を満足する高速な解像度変換処理を実現することができる。また、最小限のハードウエア規模で任意の解像度変換処理を実現することができる。
【００８３】
【発明の効果】
本発明によれば、デジタル原画像を異なる画素数のデジタル画像に変換して、ディスプレイに表示する解像度変換において、高品質な画像を再現することができる。さらに、解像度変換処理の高速化および低価格化が図れる。
【図面の簡単な説明】
【図１】画像スケーリング処理方法のブロック図である。
【図２】画像スケーリング処理方法の説明図である。
【図３】画像スケーリング処理方法のフローチャートである。
【図４】水平方向補間画素生成テーブルである。
【図５】垂直方向補間画素生成テーブルである。
【図６】画像スケーリング処理方法の説明図である。
【図７】画像スケーリング処理におけるシステム構成図である。
【図８】水平方向スケーリング演算部のブロック図である。
【図９】水平方向スケーリング演算部のブロック図である。
【図１０】水平方向スケーリング演算部のブロック図である。
【図１１】水平方向スケーリング演算部のブロック図である。
【図１２】水平方向スケーリング処理方法の説明図である。
【図１３】画像スケーリング処理方法の説明図である。
【図１４】垂直方向スケーリング演算部のブロック図である。
【図１５】垂直方向スケーリング演算部のブロック図である。
【図１６】垂直方向スケーリング演算部のブロック図である。
【図１７】垂直方向スケーリング演算部のブロック図である。
【図１８】垂直方向スケーリング処理方法の説明図である。
【図１９】バス制御のブロック図である。
【図２０】従来の画像スケーリング処理方法のブロック図である。
【図２１】画像スケーリング処理方法のフローチャートである。
【図２２】画像スケーリング処理方法の説明図である。
【符号の説明】
１０１…水平方向スケーリング演算部、１０２…垂直方向スケーリング演算部、
７０１…ＣＰＵ、７０２…画像入力部、７０３…バッファメモリ、７０４…スケーリング制御部、７０５…ＶＲＡＭ、７０６…表示制御部、７０７…液晶パネル。
Claims (12)
- デジタル原画像を、指定された変換倍率に応じて異なる画素数のデジタル画像に変換する解像度変換装置において、
前記指定された変換倍率に応じて、前記デジタル原画像の予め定めた画素数のブロックごとに、当該ブロックに対する複数の補間画素の補間画素数および補間位置を決定する決定手段と、
前記デジタル原画像の前記ブロックごとに、前記決定手段により決定された補間画素数および補間位置に従い、当該ブロックに対する複数の補間画素の画像データを生成し、前記デジタル原画像の画素の画像データおよび当該生成した補間画素の画像データから変換後のデジタル画像を出力する生成部と、を有し、
前記生成部は、
前記デジタル原画像の前記ブロックごとに、前記決定手段により補間画素数および補間位置が決定された複数の補間画素に隣接する前記デジタル原画像の２つの画素の画像データの間を、前記補間画素数 + １等分することにより、前記補間画素数分の画像データを生成し、前記デジタル原画像の２つの画素の画像データおよび前記生成した前記補間画素数分の画像データからなる複数の画像データを出力する画素演算手段と、
前記デジタル原画像の２つの画素の画像データの差分値に基づいて、前記画素演算部が出力した複数の画素の画像データから、前記デジタル原画像の２つの画素間に配置する複数の補間画素の画像データを選択する選択手段と、を有し、
前記選択手段は、
前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第１の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記画素演算手段が出力した複数の画像データから選択し、前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超える場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第２の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記画素演算手段が出力した複数の画像データから選択すること
を特徴とする解像度変換装置。 - 請求項１において、
前記画素演算手段が生成した前記補間画素数分の画像データは、前記第１の補間式から求めた場合と前記第２の補間式から求めた場合とで、画素位置が異なること
を特徴とする解像度変換装置。 - 請求項１において、
前記第１の補間式は、画像の高周波成分を保存しないような補間式であり、前記第２の補間式は、前記第１の補間式より、画像の高周波成分を保存するような補間式であること
を特徴とする解像度変換装置。 - 請求項１において、
前記決定手段は、前記変換倍率を、水平方向と垂直方向との変換倍率とし、
前記生成部は、補間画素の画像データの生成を水平方向について行う水平方向生成手段および垂直方向について行う垂直方向生成手段を有すること
を特徴とする解像度変換装置。 - デジタル原画像を、指定された変換倍率に応じて異なる画素数のデジタル画像に変換する解像度変換方法において、
前記指定された変換倍率に応じて、前記デジタル原画像の予め定めた画素数のブロックごとに、前記デジタル原画像の前記ブロックに対する複数の補間画素の補間画素数および補間位置を決定する第１のステップと、
前記デジタル原画像の前記ブロックごとに、前記決定した補間画素数および補間位置に従い、当該ブロックに対する複数の補間画素の画像データを生成する第２のステップと、
前記デジタル原画像の画素の画像データおよび当該生成した補間画素の画像データから変換後のデジタル画像を出力する第３のステップと、を有し、
前記第２のステップは、
前記デジタル原画像の前記ブロックごとに、前記補間画素数および補間位置が決定された複数の補間画素に隣接する前記デジタル原画像の２つの画素の画像データの間を、前記補間画素数 + １等分することにより、前記補間画素数分の画像データを生成し、前記デジタル原画像の２つの画素の画像データおよび前記生成した前記補間画素数分の画像データからなる複数の画像データを出力する生成ステップと、
前記デジタル原画像の２つの画素の画像データの差分値に基づいて、前記出力した複数の画素の画像データから、前記デジタル原画像の２つの画素間に配置する複数の補間画素の画像データを選択する選択ステップと、を有し、
前記選択ステップは、
前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第１の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記生成した複数の画素の画像データから選択し、前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超える場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第２の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記生成した複数の画素の画像データから選択すること
を特徴とする解像度変換方法。 - 画像データを入力する画像入力部と、
前記画像入力部により入力された画像データを記憶する記憶部と、
前記画像データを他の異なる画素数に変換する際の変換倍率を受け付ける受け付け部と、
前記記憶部に記憶する画像データを、前記受け付け部で受け付けた変換倍率に従って変換する画像処理部と、
前記画像処理部により変換された画像データを出力する出力部とを有し、
前記画像処理部は、
前記変換倍率に応じて、前記デジタル原画像の予め定めた画素数のブロックごとに、当該ブロックに対する複数の補間画素の補間画素数および補間位置を決定する決定手段と、
前記デジタル原画像の前記ブロックごとに、前記決定手段により決定された補間画素数および補間位置に従い、当該ブロックに対する複数の補間画素の画像データを生成し、前記デジタル原画像の画素の画像データおよび当該生成した補間画素の画像データから変換後のデジタル画像を出力する生成部と、を有し、
前記生成部は、
前記デジタル原画像の前記ブロックごとに、前記決定手段により補間画素数および補間位置が決定された複数の補間画素に隣接する前記デジタル原画像の２つの画素の画像データの間を、前記補間画素数 + １等分することにより、前記補間画素数分の画像データを生成し、前記デジタル原画像の２つの画素の画像データおよび前記生成した前記補間画素数分の画像データからなる複数の画像データを出力する画素演算手段と、
前記デジタル原画像の２つの画素の画像データの差分値に基づいて、前記画素演算部が出力した複数の画素の画像データから、前記デジタル原画像の２つの画素間に配置する複 数の補間画素の画像データを選択する選択手段と、を有し、
前記選択手段は、
前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第１の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記画素演算手段が出力した複数の画像データから選択し、前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超える場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第２の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記画素演算手段が出力した複数の画像データから選択すること
を特徴とする画像情報処理システム。 - 請求項１において、前記第２の補間式は、スプライン関数を含むことを特徴とする解像度変換装置。
- デジタル原画像を、指定された変換倍率に応じて異なる画素数のデジタル変換画像に変換する解像度変換装置において、
前記デジタル原画像の入力を受ける入力部と、
前記変換倍率に応じた補間画素数及び補間位置に従い、前記入力部によって入力された前記デジタル原画像に対する複数の補間画素の画像データを生成し、前記複数の補間画素の画像データを用いて前記デジタル原画像を補間し、前記デジタル変換画像を得る生成部と、を有し、
前記生成部は、
前記デジタル原画像の前記ブロックごとに、前記補間画素数および補間位置で特定される複数の補間画素に隣接する前記デジタル原画像の２つの画素の画像データの間を、前記補間画素数 + １等分することにより、前記補間画素数分の画像データを生成し、前記デジタル原画像の２つの画素の画像データおよび前記生成した前記補間画素数分の画像データからなる複数の画像データを出力する画素演算手段と、
前記デジタル原画像の２つの画素の画像データの差分値に基づいて、前記画素演算部が出力した複数の画素の画像データから、前記デジタル原画像の２つの画素間に配置する複数の補間画素の画像データを選択する選択手段と、を有し、
前記選択手段は、
前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第１の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記画素演算手段が出力した複数の画像データから選択し、前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超える場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第２の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記画素演算手段が出力した複数の画像データから選択すること
を特徴とする解像度変換装置。 - 請求項８において、前記第２の補間式は、スプライン関数を含むことを特徴とする解像度変換装置。
- デジタル原画像を、拡大指令に応じて、異なる画素数のデジタル変換画像へ変換する処理部と、前記デジタル変換画像を表示する表示パネルとを備えた表示装置において、
前記処理部は、前記デジタル原画像の入力を受ける入力部と、前記拡大指令に従って前記デジタル原画像に対する補間画素の画像データを生成し、前記補間画素の画像データによって前記デジタル原画像を補間し、前記デジタル変換画像を生成する生成部とを備え、
前記生成部は、
複数の補間画素に隣接する前記デジタル原画像の２つの画素の画像データの間を、前記複数の補間画素の補間画素数 + １等分することにより、前記補間画素数分の画像データを生成し、前記デジタル原画像の２つの画素の画像データおよび前記生成した前記補間画素数分の画像データからなる複数の画像データを出力する画素演算手段と、
前記デジタル原画像の２つの画素の画像データの差分値に基づいて、前記画素演算部が出力した複数の画素の画像データから、前記デジタル原画像の２つの画素間に配置する複数の補間画素の画像データを選択する選択手段と、を有し、
前記選択手段は、
前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超えない場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第１の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記画素演算手段が出力した複数の画像データから選択し、前記デジタル原画像の２つの画素の画像データの差分値が予め定めた閾値を超える場合に、前記デジタル原画像の２つの画素間に配置する複数の補間画素各々の画像データを、画素位置と画像データとの関係式である第２の補間式により求まる前記複数の補間画素各々の補間位置に対応する画像データとなるように、前記画素演算手段が出力した複数の画像データから選択すること
を特徴とする表示装置。 - 請求項１０において、前記拡大指令は、拡大率を含むことを特徴とする表示装置。
- 請求項１０において、前記複数の補間画素の補間位置は、予め決定された位置であることを特徴とする表示装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8961095A JP3599413B2 (ja) | 1995-04-14 | 1995-04-14 | 解像度変換装置および解像度変換方法 |
| TW085103666A TW377431B (en) | 1995-04-14 | 1996-03-27 | Method and apparatus for changing resolution |
| KR1019960011176A KR100229516B1 (ko) | 1995-04-14 | 1996-04-13 | 해상도변환장치 및 해상도변환방법 |
| US08/633,310 US6002810A (en) | 1995-04-14 | 1996-04-15 | Resolution conversion system and method |
| US09/452,169 US6151425A (en) | 1995-04-14 | 1999-12-01 | Resolution conversion system and method |
| US09/636,059 US6389180B1 (en) | 1995-04-14 | 2000-08-10 | Resolution conversion system and method |
| US10/099,951 US6587602B2 (en) | 1995-04-14 | 2002-03-19 | Resolution conversion system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8961095A JP3599413B2 (ja) | 1995-04-14 | 1995-04-14 | 解像度変換装置および解像度変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08287244A JPH08287244A (ja) | 1996-11-01 |
| JP3599413B2 true JP3599413B2 (ja) | 2004-12-08 |
Family
ID=13975526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8961095A Expired - Lifetime JP3599413B2 (ja) | 1995-04-14 | 1995-04-14 | 解像度変換装置および解像度変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3599413B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09244609A (ja) * | 1996-03-06 | 1997-09-19 | Matsushita Electric Ind Co Ltd | 映像表示装置 |
| EP0863665B1 (en) * | 1997-03-07 | 2003-09-10 | Matsushita Electric Industrial Co., Ltd. | Video display monitor |
| KR20010040895A (ko) * | 1998-02-17 | 2001-05-15 | 모리시타 요이찌 | 보간화소생성 장치 및 방법 |
| US6724398B2 (en) | 2000-06-20 | 2004-04-20 | Mitsubishi Denki Kabushiki Kaisha | Image processing method and apparatus, and image display method and apparatus, with variable interpolation spacing |
| JP3833212B2 (ja) * | 2003-11-19 | 2006-10-11 | シャープ株式会社 | 画像処理装置、画像処理プログラムおよび可読記録媒体 |
| US7576749B2 (en) * | 2005-09-15 | 2009-08-18 | Microsoft Corporation | Positioning screen elements |
| JP5151177B2 (ja) * | 2007-02-22 | 2013-02-27 | 株式会社Ｊｖｃケンウッド | 画素数変換装置 |
| JP5419491B2 (ja) * | 2009-02-20 | 2014-02-19 | 三菱重工業株式会社 | 文字認識装置及び文字認識方法 |
| JP2010186194A (ja) * | 2010-04-09 | 2010-08-26 | Seiko Epson Corp | 画像処理装置 |
-
1995
- 1995-04-14 JP JP8961095A patent/JP3599413B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08287244A (ja) | 1996-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100229516B1 (ko) | 해상도변환장치 및 해상도변환방법 | |
| JP4209599B2 (ja) | ２次元非線形補間システム及び補間方法、並びに２次元混合補間システム及び混合補間方法 | |
| US5875268A (en) | Image processing with low-resolution to high-resolution conversion | |
| JP3620521B2 (ja) | 画像処理装置、画像伝送装置、画像受信装置及び画像処理方法 | |
| JP3210248B2 (ja) | 画像処理装置及びその方法 | |
| JP3599413B2 (ja) | 解像度変換装置および解像度変換方法 | |
| JP4274238B2 (ja) | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム | |
| JP2806086B2 (ja) | 画像データ処理装置 | |
| JP2000339449A (ja) | 画像処理装置及び方法 | |
| US6232978B1 (en) | Image processing apparatus, and method of controlling same, using a combination of enlargement and fixed ratio reduction processing | |
| JP2006308665A (ja) | 画像処理装置 | |
| JP3582540B2 (ja) | 解像度変換装置および解像度変換方法 | |
| JP3716855B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004213464A (ja) | 画像処理装置 | |
| WO2000057631A1 (fr) | Dispositif de traitement d'images et procede de traitement associe | |
| JP3624153B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4662325B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4024643B2 (ja) | 画像信号処理装置 | |
| JP4682380B2 (ja) | 画像処理装置および画像処理方法 | |
| JPH1063826A (ja) | 画像拡大縮小処理装置 | |
| KR100695916B1 (ko) | 큐빅 스프라인 보간을 이용한 이미지 스케일러 장치 | |
| JPH09130597A (ja) | 画像処理方法とその装置 | |
| JP2002149105A (ja) | 画像拡大制御装置 | |
| KR20040065806A (ko) | 큐빅 컨벌루션 보간 장치 및 방법 | |
| JP3054299B2 (ja) | 画像処理装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031225 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040812 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040914 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070924 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |