JP4018601B2 - 内蔵形システムのデジタル画像スケーリング方法 - Google Patents
内蔵形システムのデジタル画像スケーリング方法 Download PDFInfo
- Publication number
- JP4018601B2 JP4018601B2 JP2003185831A JP2003185831A JP4018601B2 JP 4018601 B2 JP4018601 B2 JP 4018601B2 JP 2003185831 A JP2003185831 A JP 2003185831A JP 2003185831 A JP2003185831 A JP 2003185831A JP 4018601 B2 JP4018601 B2 JP 4018601B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- minimum processing
- processing unit
- target
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 54
- 238000012545 processing Methods 0.000 claims description 277
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000015654 memory Effects 0.000 description 36
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像スケーリング(scaling)方法に関し、特に内蔵形システム(embedded system)においてデジタル画像を縮小または拡大してディスプレー(display)するための画像スケーリング方法に関するものである。
【０００２】
【従来の技術】
デジタル画像の普遍化により多様なサイズと形式のデジタル画像器機が商用化されて市販されている。デジタルＴＶ、ＨＤＴＶ(High Definition Television)、ＰＤＡ(Personal Digital Assistant)、ＩＭＴ-２０００(International Mobile Telecommunications-2000)端末機などのデジタル画像器機は従来のアナログ画像に比べて一層鮮明な画像を提供するだけでなく、デジタル画像処理のみにより可能な画面の分離、拡大、縮小、平滑化などの多様な画像処理機能を提供する。
【０００３】
上記のような各種デジタル画像処理機能の具現のためには多くのシステム資源が要求される。これにより、デジタルＴＶ、ＤＶＤ(Digital Video Disc)プレーヤなどのように電力が十分に供給され、製品のサイズも十分に大きくてデジタル画像処理機能の具現に要求されるシステム資源に不足さがない場合には、各種デジタル画像処理機能を別の難しさなしに具現できる。しかし、ＩＭＴ-２０００移動通信端末機、ＰＤＡ、デジタルカムコーダ(camcorder)などの内蔵形システムは製品のサイズが小さく、供給電力容量が少なく、プロセッサーの演算速度が低く、メモリ容量が少ないことなど、多くの制約事項を伴うので、デジタル画像処理機能の具現に難しさがあるだけでなく、その性能も制限的な場合が多い。
【０００４】
一方、デジタル画像処理の一つとして、画像を拡大/縮小する画像スケーリング技術は一般的にカメラから入力される画像に対して適用し、あるいはデジタル画像出力装置で部分拡大機能やＰＩＰ(Picture In Picture)機能を具現するのに応用された。しかし、最近のようにカラー/動画像移動通信端末機が普遍化した時点では標準ビデオＣＯＤＥＣ(coder/decoder)と多様なサイズのＬＣＤ(Liquid Crystal Display)装置との間のインタフェース(interface)問題を解決する非常に重要な技術となってきている。標準ビデオＣＯＤＥＣは１７６×１４４(ここで、176×144は横方向の画素(pixel)数×縦方向の画素数の画像サイズを意味し、以下の説明でも画像サイズは上記と同様に示すこと)のＱＣＩＦ(Quadraturde Common Interface Format)サイズを主に支援するように設計されている。これに反して、各種端末機に採択されるＬＣＤ装置はディスプレーする画像のサイズが端末機のサイズと製造コストに合わせて多様に生産されるが、例えば、１２８×１９２のような小サイズから２４０×２４０のような大サイズまで多様のサイズのうちいずれか一つのサイズで生産される。それにより、標準ビデオＣＯＤＥＣから出力される画像をＬＣＤ装置の画面上にディスプレーするためには拡大または縮小の必要性が求められることである。
【０００５】
このように画像を拡大または縮小するための画像のスケーリング技術は複雑であり、多くの多様な技術が知られている。これは、拡大/縮小によりサイズが変わったときにもソースイメージの特性をその通り維持するための方法がそのほど多様であるという意味である。しかし、内蔵形システムのようにシステム資源が非常に脆弱なシステムに適した画像スケーリング技術はほとんど知られていない。これは画像スケーリング技術の具現には多くの演算量が伴うので、内蔵形システムに適用するのに適合しないと認識されてきたためである。画素単位の演算量のみを見ればあまり多くはないが、実際に使用される画像は数多くの画素の集合で、このような画像が秒当たり１０フレーム(frame)以上の速度で出力されるので、実時間動画像の出力のためには相当な演算量を要求するようになる。これにより、現在まで知られている技術により画像スケーリング機能をハードウェアで具現すれば、複雑なハードウェアの設計及び高性能システムが要求されるので、携帯用デジタル画像器機のような内蔵形システムでは使用されていなかった。のみならず、ハードウェアで画像スケーリング機能を具現する場合にはいくつかの定められた形式のみを具現するしかないので、ソフトウェアで具現する場合に比べてアプリケーション(application)との円滑なインタフェースを得にくい。その反面、画像スケーリング機能をソフトウェアで具現すれば、入力及び出力で画素単位の制御が可能であり、ＬＣＤ出力応用プログラミングの設計に制約を受けない多様なアプリケーションが可能になり、いかなるビデオＣＯＤＥＣ及びＬＣＤ入出力インタフェースとの具現も可能なインタフェースが得られる。しかし、多くの演算量により内蔵形システムでは相当な高性能のチップを採用しても動画像を具現するのは不可能である。
【０００６】
上記したようなことを考えると、内蔵形システムのための画像スケーリング機能はソフトウェアで具現するのが望ましいが、ソフトウェアで具現しても無理のない程度の演算量を持つように演算量が少なくなければならない。画像スケーリング機能を具現する一番簡単な方法は、スケーリング比率によりソースイメージ(source image)の画素を単にダウンサンプリング(down sampling)して画素数を減少して縮小させ、あるいはソースイメージの画素を単にコピーして画素数を増加して拡大させる技術がある。画像を拡大するアップスケーリングの例を示す図１を参照してこのような技術を説明すれば、次のようである。図１に示すように、３つのソースイメージ画素、すなわちソース画素Ｐ１〜Ｐ３から９つの拡大画像画素、すなわちターゲット画素Ｐ１’〜Ｐ９’を生成する場合であれば、ターゲット画素Ｐ１’〜Ｐ３’はソース画素Ｐ１をコピーして生成し、ターゲット画素Ｐ４’〜Ｐ６’はソース画素Ｐ２をコピーして生成し、ターゲット画素Ｐ７’〜Ｐ９’はソース画素Ｐ３をコピーして生成する。これにより、演算しなくても画像のサイズを拡大することができるが、単純にソース画素をコピーすることなので拡大画像の画質が大きく落ちる。
【０００７】
拡大画像の画質を改善できる技術として、ソースイメージに対するターゲットイメージの画面サイズに比例してスケーリング比率だけの加重値を付与して補間(interpolation)をするＤＤＡ(Digital Differential Analyzer)アルゴリズム(algorithm)がある。上記した図１を参照して、ＤＤＡアルゴリズムにより画像を拡大するアップスケーリング(up-scaling)の例を説明すれば、次のようである。図１に示したように、３つのソース画素Ｐ１〜Ｐ３から９つのターゲット画素Ｐ１’〜Ｐ９’を生成する場合であれば、ターゲット画素Ｐ１’〜Ｐ９’の画素値は下記の表１のようである。
【０００８】
【表１】
【０００９】
すなわち、ターゲット画素Ｐ１’〜Ｐ９’は該当ターゲット画素値に反映される一つまたは二つの隣接したソース画素値に、ソースイメージのサイズと拡大画像のサイズのスケーリング比率による勾配(＝1/3)と、該当ターゲット画素が隣接したソース画素から離隔された距離に対応する加重値とを乗算した後、これら値を加算した値を有するようになる。これにより、補間(interpolation)によりターゲット画素値に該当ターゲット画素が隣接するソース画素値を反映することにより、ソース画素をコピーする場合に比べて拡大画像の画質は改善されるが、単純にスケーリング比率による勾配と加重値とをソース画素値にかけ算することにより高画質の拡大画像を得にくい。また、それだけでなく、かけ算と共に除算の演算も含むので、演算量が多くなる。
【００１０】
上述したように、内蔵形システムのための画像スケーリング機能はソフトウェアで具現するのが望ましく、ソフトウェアで具現しても無理のないほど演算量が少ないことが望ましい。しかし、演算量が少ない画像スケーリング技術はスケーリングされた画像の画質が低下し、スケーリングされた画像の画質低下を減少させるためには演算量が多くなるので、内蔵形システムのためには画質の低下を最小化しながらも演算量を減少することができる画像スケーリングが必要である。
【００１１】
【発明が解決しようとする課題】
したがって本発明の目的は、内蔵形システムに適合したデジタル画像スケーリング方法を提供することにある。
また本発明の他の目的は、画質の低下を最小化しつつ演算量も減少することができるデジタル画像スケーリング方法を提供することにある。
【００１２】
【課題を達成するための手段】
上述した目的を達成するために本発明は、内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージそれぞれの最小処理ユニットのサイズを決定する過程と、前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ(ｎは自然数)に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求める過程と、前記ソースイメージの最小処理ユニットに対応する前記ターゲットイメージの最小処理ユニットそれぞれのターゲット画素値を該当ターゲット画素値に反映するソース画素値と、そのソース画素と離隔された距離に対応する加重値を使用して求め、前記ターゲットイメージを生成する過程とを備えることを特徴とする。
【００１３】
上記他の目的を達成するために本発明は、内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により、前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージの最小処理ユニットのサイズをそれぞれ決定する過程と、前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ（ｎは自然数）に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求める過程と、前記ソースイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックにそれぞれ対応するように前記ターゲットイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックの最小処理ユニットそれぞれのターゲット画素値を該当ターゲット画素値に反映するソース画素値とそのソース画素と離隔された距離に対応する加重値を使用して求めて前記ターゲットイメージを生成する過程とを備えることを特徴とする。
【００１４】
また他の目的を達成するために本発明は、内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により、前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージの最小処理ユニットのサイズをそれぞれ決定する過程と、前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ（ｎは自然数）に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求め、それぞれの加重値を一つの画素が有する画素値とそれぞれ掛けてルックアップテーブルを生成する過程と、前記ソースイメージの最小処理ユニットに対応する前記ターゲットイメージの最小処理ユニットのターゲット画素値をそれぞれ該当ターゲット画素値に反映するソース画素値とその離隔された距離に対応するように前記ルックアップテーブルを参照した演算により求めて前記ターゲットイメージを生成する過程とを備えることを特徴とする。
【００１５】
また本発明は、内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により、前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージの最小処理ユニットのサイズをそれぞれ決定する過程と、前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ（ｎは自然数）に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求め、それぞれの加重値を一つの画素が有する画素値とをそれぞれ掛けてルックアップテーブルを生成する過程と、前記ソースイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックにそれぞれ対応するように前記ターゲットイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックの最小処理ユニットそれぞれのターゲット画素値を該当ターゲット画素値に反映するソース画素とその離隔された距離に対応するようにルックアップテーブルを参照した演算により求めて前記ターゲットイメージを生成する過程とを備えることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の望ましい実施例を添付の図面を参照して詳細に説明する。下記では本発明の要旨を不明にする可能性のある公知の機能及び構成に対する詳しい説明は省略する。
【００１７】
まず、本発明は画像を拡大または縮小するとき、図２（ａ）及び図２（ｂ）に示すようにスケーリング比率(scaling ratio)によりソースイメージとターゲットイメージを横方向と縦方向に対してそれぞれ相互に同一の個数のユニット(unit)に分割し、このように分割されたユニットに対して一つずつ順次にスケーリング処理を行う。本発明において、分割されたユニットを“最小処理ユニット”と称し、最小処理ユニット×最小処理ユニットからなるブロックを“最小処理ブロック”と称する。最小処理ユニットのサイズはソースイメージとターゲットイメージの横方向のサイズと縦方向のサイズに対してそれぞれ最大公約数を求めて決定する。
【００１８】
図２（ａ）に示す２４２×１９８サイズの画像を、図２（ｂ）に示す１７６×１４４サイズの画像に縮小するダウンスケーリング(down-scaling)の場合に、２４２と１７６の最大公約数が２２であるので、図２（ａ）のソースイメージと図２（ｂ）のターゲットイメージが横方向には２２つの最小処理ユニットに分割され、縦方向には１８つの最小処理ユニットに分割される例を示すものである。そして、ソースイメージの最小処理ユニットは１１つの画素からなり、ターゲットイメージの最小処理ユニットは８つの画素からなる。こうすると、ソースイメージの最小処理ブロックのサイズは１１×１１となり、ターゲットイメージの最小処理ブロックのサイズは８×８となり、ソースイメージとターゲットイメージはサイズが相互に異なるが、同一の個数、すなわち２２×１８つの最小処理ブロックに分割される。後述するように、最小処理ブロックのサイズは少ないほど有利になるが、スケーリング比率により異なるようになり、最上の場合には２×２となる反面、最悪の場合にはターゲットイメージのサイズと同一になる。ここで、最上の場合とはスケーリング比率が２倍または０.５倍の場合を意味し、最悪の場合とはソースイメージのサイズとターゲットイメージのサイズとの間に最大公約数を探すことができない場合を意味する。
【００１９】
一方、本発明において加重値はソースイメージの２つの隣接画素間を一定等分した地点に対応し、０〜２ｎに属し、２つの画素間の加重値和が２ｎとなる整数に定められる。ここで、ｎは自然数で、以下の説明でも同様である。前記加重値はソースイメージから生成するターゲットイメージの画素値に反映されるソース画素からターゲット画素が離隔された距離に対応するようにソース画素値に掛けるための値である。隣接する２つの画素間の間隔をより多くの数で均等に分割すると、加重値がさらに細分化されるので、画像スケーリングによる演算がより精密に行われてターゲットイメージの画質がよくなる反面、演算量が増加する。また、ｎ値も大きいほど加重値をさらに細分化させうるので、画像スケーリングによる演算がより精密に行われてターゲットイメージの画質がよくなる反面、演算量が増加する。したがって、本発明による画像スケーリング技術を採用する内蔵形システムで要求される画像の精密度、すなわちターゲットイメージで要求される画質によりn値を適切に決定する。本発明の発明者が実験した結果、ＩＭＴ-２０００端末機、ＰＤＡなどに対してはｎを１０に選択すれば適切であるという結論が得られ、ＰＣ(Personal Computer)に対してはｎを８に選択すれば適切であるとういう結論が得られた。
【００２０】
図３Ａは隣接した２つの画素Ｐａ、Ｐｂ間を８等分し、ｎを１０に選択した場合に２つの画素Ｐａ、Ｐｂのうち画素Ｐａを基準として画素Ｐａから離隔された距離に対応する加重値を示す。このとき、２10＝１０２４なので、画素Ｐａから１/８地点の加重値は１２８(＝1024×1/8)、２/８地点の加重値は２５６(＝1024×2/8)、…、８/８地点の加重値は１０２４(＝1024×8/8)となる。ここで、画素Ｐａから１/８地点は画素Ｐａを基準とすれば加重値が１２８であるが、画素Ｐｂを基準とすれば加重値は８９６である。２つの画素Ｐａ、Ｐｂ間の残りの地点の加重値もこれと同様であり、２つの画素Ｐａ、Ｐｂ間の加重値の和は１０２４となる。
【００２１】
上記したような加重値は下記の数式１４により求められるが、本発明の説明では図３Ａに示したように２つの隣接した画素間の間隔を８等分する場合を例として説明する。
【００２２】
【数１４】
【００２３】
上記数式１４においてｉは加重値インデックス(index)として、上記したように２つの隣接画素間の間隔を８等分するので、１〜８となる。Ｖｗ[i]は加重値の貯蔵配列を意味する。Ｒｓはスケーリング比率で、ソースイメージのサイズ/ターゲットイメージのサイズである。≪ｎは最上位ビット側へのｎビットシフトを示し、ここで最上位ビット側へのｎビットシフトはRs x i-(integer cast)(Rs x i)に２nを掛けた結果となる。
【００２４】
例えば、ｎを１０として選択した場合、図３Ａに示したように隣接した２つのソース画素間の加重値の和は２10＝１０２４となり、加重値はターゲット画素が自分の生成のための演算基準となるソース画素から離隔される距離に対応するように０〜１０２４に属する整数に定められる。
【００２５】
図３Ｂは図２（ａ）及び図２（ｂ）のようにソースイメージの最小処理ユニットのサイズが１１で、ターゲットイメージの最小処理ユニットのサイズが８の場合、ソースイメージの１１つのソース画素Ｐ１〜Ｐ１１からターゲットイメージの８つのターゲット画素Ｐ１’〜Ｐ８’を生成する例を示す。この場合、ターゲット画素Ｐ１’〜Ｐ７’は隣接する該当ターゲット画素値に反映すべき２つのソース画素の画素値を該当ターゲット画素が離隔された距離に対応するように反映して生成し、ターゲット画素Ｐ８’はソース画素Ｐ１１をその通り取って生成する。その反面、ソース画素Ｐ１をその通り取ってターゲット画素Ｐ１’を生成し、隣接する該当ターゲット画素値に反映する２つのソース画素の画素値を該当ターゲット画素が離隔された距離に対応するように反映してターゲット画素Ｐ２’〜Ｐ８’を生成しても同様である。
【００２６】
上記した図３Ｂで、ターゲット画素Ｐ１’〜Ｐ７’の画素値は隣接する２つのソース画素の画素値をそれぞれ該当ターゲット画素が離隔された距離に対応する加重値を掛け、この掛けられた２つの値を加算してから最下位ビットの方にnビットシフトさせることにより得られる。デジタル画像において、一つの画素が８ビットデータで表示されると、画素値は０〜２５５のうちのいずれか一つの値となるが、このような画素値を最上位ビット方にｎビットシフトさせると、該当画素値２nを掛けた結果となり、その逆に最下位ビット方にｎビットシフトさせると、該当画素値を２nに割る結果となる。
【００２７】
図２（ａ）及び図２（ｂ）に示したように、ソースイメージの処理ユニットのサイズが１１で、ターゲットイメージの最小処理ユニットのサイズが８の場合に上記数式１４により加重値を求めると、下記の表２のようになり、これを図３Ａ、図３Ｂに示す。ただし、Ｖｗ[８]は画素Ｐｂを基準とする場合で、この場合には１０２４でなく０となる。
【００２８】
【表２】
【００２９】
図３Ｂの例において、２つのソース画素Ｐ１、Ｐ２からターゲット画素Ｐ１’を生成する例を説明すれば、ターゲット画素Ｐ１’＝(Ｐ１×６４０＋Ｐ２×３８４)≫１０となる。ここで、≫１０は最下位ビット側への１０ビットシフトを意味するが、これは２つの画素間の加重値和が２10(＝１０２４)となるようにｎを選択して上記数式１４により加重値を求めるとき、最上位ビット方に１０ビットシフトさせることにより、結果的には１０２４とのかけ算と同様なので、（Ｐ１×６４０＋Ｐ２×３８４）により得られた値を１０２４で除算して画素が有する値に戻すためのものである。このように、ターゲット画素Ｐ１’の生成は整数の加重値乗算、加算、そしてシフトのみで具現され、残りのターゲット画素Ｐ２’〜Ｐ７’も同様なので、ターゲット画素Ｐ８’はソース画素Ｐ１１の画素値をその通り取る。
【００３０】
したがって、ターゲット画素値に反映するソース画素と離隔された距離に対応し、２つの画素間の加重値の和が２nとなる整数の加重値を使用してターゲット画素値を生成するので、内蔵形システムで要求される画質を満足させ、かつ従来とは異なり乗算が含まれず、乗算も整数間の乗算だけでなり、ｎを乗算しあるいは除算する演算もビットシフトによりなされるので、演算量が大幅に減少する。
【００３１】
図４は、本発明の一実施例による画像スケーリング装置のブロック構成図を示す。画像スケーリング処理をするプロセッサー１００と画像データ、すなわち画素データを貯蔵する第１、第２フレームメモリ(frame memory)１０２、１０４で構成される。プロセッサー１００は本発明を採用する内蔵形システムの主制御プロセッサーを使用することもでき、別の専用プロセッサーを追加して使用することもできる。後述するように、第１フレームメモリ１０２は1フレームのソースイメージデータと、このソースイメージデータから生成されたターゲットイメージデータを貯蔵するのに使用され、第２フレームメモリ１０４はスケーリング処理中に必要な画像データを貯蔵するのに使用される。
【００３２】
本発明の第１実施例によるプロセッサー１００の画像スケーリング流れ図を段階２００〜２０６のように示す図５を参照すれば、第１フレームメモリ１０２に1フレームのソースイメージデータが貯蔵されている状態でプロセッサー１００は段階２００でターゲットイメージのサイズに対するソースイメージのサイズのスケーリング比率により最小処理ユニットのサイズを決定する。このとき、上述したように、ソースイメージとターゲットイメージそれぞれの最小処理ユニットはソースイメージとターゲットイメージの横方向と縦方向に対してそれぞれ相互に同一の個数で分割されるように決定する。
【００３３】
このように、最小処理ユニットを決定するプロセッサー１００の処理過程に対して図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する例を段階３００〜３０６のように示す図６を参照して詳細に説明する。まず、プロセッサー１００は段階３００でソースイメージのサイズSrcを２４２に、ターゲットイメージサイズDesを１７６に、スケーリング比率RsをSrc/Decに、カウント値Countを０に初期化する。次に、段階３０２〜３０４でRs×Count値が整数となるまでカウント値Countを１ずつ増加させる。すると、スケーリング比率Rsに対する整数倍となり、Rs×Count値が整数となる最小値が求められるが、スケーリング比率Rsは２４２/１７６＝１.３７５なので、Rs×Count値が整数となる最小値は１１であり、このときのカウント値Countは８となる。このようにRs×Count値が整数となる最小値が求められると、段階３０６でRs×Count値１１をソースイメージの最小処理ユニットのサイズに決定し、カウント値Countをターゲットイメージの最小処理ユニットのサイズに決定する。これにより、ソースイメージとターゲットイメージの最小処理ユニットのサイズが図２（ａ）及び図２（ｂ）に示したように決定される。
【００３４】
上記段階２００で、プロセッサー１００はソースイメージとターゲットイメージの最小処理ユニットのサイズを決定してから、段階２０２で数式１４により加重値を求める。このように、加重値を求めるプロセッサー１００の処理過程を図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する例を挙げて段階４００〜４０８のように示す図７を参照して詳細に説明する。まず、プロセッサー１００は段階４００でインデックスｉを１に初期化した後、段階４０２〜４０８でインデックスｉがターゲットイメージの最小処理ユニットのサイズと同一になるまで１ずつ増加させつつ、数式１４により加重値を求めると共に、index[i] = (integer cast) (Rs x i)により後述するように各ターゲット画素の生成のための演算基準となるソース画素を指定するソース画素インデックスを求める。ここで、index［i］はソース画素インデックスの貯蔵配列である。このとき、加重値は表２のように求められ、ソース画素のインデックスは下記の表３のように求められる。一方、上記した段階４０２に示す数式は数式１４と違って｛Rs x i - (integer cast) (Rs x i)｝<< nの結果に対して整数を取るのが省略されているが、これは図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合には｛Rs x i - (integer cast) (Rs x i)｝<< nの結果が整数となるので省略したものである。
【００３５】
【表３】
【００３６】
上記したようにプロセッサー１００は上記段階２０２で加重値を求めた後、段階２０４でソースイメージの画素行のそれぞれに対して横方向にソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットそれぞれのターゲット画素の値を下記の数式１５により求めて横方向にスケーリングされた画像を生成する。このとき、ソースイメージが図９（ａ）に示すようであれば、段階２０４によりソースイメージの画素行それぞれの最小処理ユニットが図９（ｂ）のように横方向にスケーリングされてターゲットイメージの最小処理ユニットが生成されるので、横方向にスケーリングされた画像が得られる。このように生成される横方向にスケーリングされた画像のデータは第２フレームメモリ１０４に貯蔵される。
【００３７】
【数１５】
【００３８】
前記数式１５で、ｉ、Vw［i］は数式１４と同一であり、index[i]はソース画素インデックスの貯蔵配列として、上記の(integer cast) (Rs x i)である。Des[i]はターゲットイメージの最小処理ユニットの貯蔵配列で、Src[index[i]]はソースイメージの最小処理ユニットの貯蔵配列である。≫nは最下位ビット側へのnビットシフトを示し、ここで最下位ビット側へのnビットシフトは(2ｎ-Vw[i]) x Src[Index[i]]+Vw[i] x Src[Index[i+1]]を２nで除算した結果となる。
【００３９】
上記したように、横方向にスケーリングされた画像を得るために図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合の例を挙げて、ソースイメージの一つの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成するプロセッサー１００の処理過程を段階５００〜５０６で示す図８を参照して詳細に説明する。プロセッサー１００は段階５００でインデックスｉを１に初期化した後、段階５０２〜５０６でインデックスｉがターゲットイメージの最小処理ユニットのサイズと同じようになるまで１ずつ増加させながら、数式１５によりターゲットイメージの最小処理ユニットのターゲット画素値を求める。これにより、求められるターゲットイメージの最小処理ユニットの８つのターゲット画素値は下記の表４のようである。
【００４０】
【表４】
【００４１】
ここで、Src[1]〜Src[11]は図３Ｂのようなソースイメージの一つの最小処理ユニットの画素Ｐ１〜Ｐ１１の画素値をそれぞれ意味する。例えば、図３Ｂの例において、２つのソース画素Ｐ１、Ｐ２からターゲット画素Ｐ１’を生成する例を表３を参照して説明すれば、ターゲット画素Ｐ１’値Des[1]＝（P1×640＋P2×384）≫１０となる。ここで、≫１０は上述したように段階４０２で数式１４により加重値を求めるとき、最上位ビットの方に１０ビットシフトさせるので、（Ｐ１×６４０＋Ｐ２×３８４）により得られた値を１０２４に除算して画素が有する値に戻すことである。そして、ターゲット画素Ｐ８’値のDes[8]はSrc[12]がソースイメージの最小処理ユニットにないので、その値が０なので、ソース画素Ｐ１１値に１０２４を掛けてからさらに最下位ビット方に１０ビットシフトさせて得るようになるので、ソース画素Ｐ１１の値をその通り取った結果となる。
【００４２】
上記したように、段階５００〜５０６によりソースイメージの１つの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成する過程を段階２０４でソースイメージの画素行それぞれの横方向に継続される最小処理ユニットに対して１つずつ順次に繰り返すことで、図９（ａ）のようなソースイメージから図９（ｂ）のように横方向にスケーリングされた画像が得られる。
【００４３】
上記のようにプロセッサー１００は段階２０４で横方向にスケーリングされた画像を生成してから、段階２０６で横方向にスケーリングされた画像の画素列をそれぞれに対して縦方向にソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットそれぞれのターゲット画素の値を数式１５により求めてターゲットイメージを生成する。このとき、ソースイメージの１つの最小処理ユニットからそれに対応するターゲットイメージの１つの最小処理ユニットを生成することは段階２０４と同様に段階５００〜５０６により遂行される。これにより、図９（ｂ）に示すように横方向にスケーリングされた画像が段階２０６により図９（ｃ）のように縦方向にスケーリングされるので、結果的に図９（ｃ）の画像は横方向及び縦方向にダウンスケーリングされたターゲットイメージとなる。このように生成されるターゲットイメージのデータはソースイメージのデータの代わりに第１フレームメモリ１０２に貯蔵される。
【００４４】
上記の説明ではソース画素インデックスindex[i]を段階４０４で求めることを説明したが、段階５０２で求めてもよい。段階５０２でソース画素インデックスを求めると、最小処理ユニットを処理する度に演算を行うべきなので演算量が多くなり、それにより段階４０４で求めることである。このように、段階４０４でソース画素インデックスindex[i]を求めると、最小処理ユニットを処理する度に演算する必要なしに１つのソースイメージに対して一度だけ演算を遂行すればよい。
【００４５】
一方、上記したように画像スケーリングをする場合、第２フレームメモリ１０４には図９（ｂ）のように横方向にスケーリングされた画像のデータを貯蔵しなければならないので、それほどのサイズを有する貯蔵容量が要求される。前述したように、内蔵形システムではメモリ容量も制約を受けるので、第２フレームメモリ１０４の貯蔵容量をできるだけ減少するのが望ましい。もし、ソースイメージ全体を横方向にスケーリングしてから縦方向にスケーリングしてターゲットイメージを生成する代わりに、最小処理ブロック単位でソースイメージからターゲットイメージを生成するとすれば、第２フレームメモリ１０４はターゲットイメージの最小処理ブロックのサイズのみ有すればよい。すなわち、上記例のようにダウンスケーリングをする場合にプロセッサー１００は第１フレームメモリ１０２に貯蔵されているソースイメージの始めからターゲットイメージを最小処理ブロック単位で生成し始める。このとき、ターゲットイメージの一つの最小処理ブロックを生成する間には画素の画像データを第２フレームメモリ１０４に貯蔵してから、該当する１つの最小処理ブロックを生成完了すれば、生成されたターゲットイメージの最小処理ブロックの画像データを第１フレームメモリ１０２に貯蔵する。このとき、第１フレームメモリ１０２でターゲットイメージの最小処理ブロックの画像データが貯蔵される貯蔵領域に貯蔵されているソースイメージのデータに対しては既にターゲットイメージの生成を完了したので、その代わりにターゲットイメージの最小処理ブロックの画像データを貯蔵してもよい。ただし、ソースイメージを拡大するアップスケーリングをする場合にはターゲットイメージの最小処理ブロックのサイズがソースイメージの最小処理ブロックのサイズより大きいので、上記のような方法を使用すればソースイメージのデータがターゲットイメージを生成する前になくなる。これに基づいてアップスケーリングをする場合にはプロセッサー１００は第１フレームメモリ１０２に貯蔵されているソースイメージの終わりからターゲットイメージを最小処理ブロック単位に生成し始める。このとき、ターゲットイメージの１つの最小処理ブロックを生成する間には画素の画像データを第２フレームメモリ１０４に貯蔵してから該当する一つの最小処理ブロックを生成完了すれば、生成された最小処理ブロックを第１フレームメモリ１０２の貯蔵領域中に端部分から貯蔵し始める。このために、第１フレームメモリ１０２は少なくとも拡大したターゲットイメージのサイズだけの貯蔵領域を有するが、アップスケーリングを始める前に1フレームのソースイメージが貯蔵されている状態で、第１フレームメモリ１０２の端部分にはソースイメージのサイズとターゲットイメージのサイズとの間の差に該当する貯蔵領域が空いているようになる。このようにソースイメージの終わりからターゲットイメージを最小処理ブロック単位に生成し始め、生成される最小処理ブロックを第１フレームメモリ１０２の空いている端部分の貯蔵領域から貯蔵し始めると、ターゲットイメージのデータを生成する前にソースイメージのデータがなくなる場合が発生しないようになる。
【００４６】
図１０は、最小処理ブロック単位でターゲットイメージを生成することを本発明の第２実施例によるプロセッサー１００の画像スケーリング流れ図を段階６００〜６０８に示すものである。プロセッサー１００は段階６００でスケーリング比率によりソースイメージとターゲットイメージの最小処理ユニットを決定し、段階６０２で加重値の数式１４により求める。この段階６００、６０２は図５の段階２００、２０２とそれぞれ同一なので、これに対する説明は省略する。その後、プロセッサー１００は段階６０４でソースイメージの最小処理ブロックの画素行それぞれに対してソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットのターゲット画素の値を数式１５により求めて横方向にスケーリングされた最小処理ブロックを生成する。このとき、ソースイメージの始めから横方向にスケーリングされた最小処理ブロックを生成し始める。そして、ソースイメージが図１２（ａ）のようであれば、段階６０４によりソースイメージの最小処理ブロックが図１２（ｂ）のように横方向にスケーリングされるので、横方向にスケーリングされた最小処理ブロックが得られる。このように生成される横方向にスケーリングされた最小処理ブロックのデータは第２フレームメモリ１０４に貯蔵される。
【００４７】
図１１は、段階６０４で横方向にスケーリングされた最小処理ブロックを得るために図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合を例に挙げ、ソースイメージの１つの最小処理ブロックからそれに対応する横方向にスケーリングされた１つの最小処理ブロックを生成するプロセッサー１００の処理過程を段階７００〜７１２に示すものである。これら段階７００〜７１２は、一つの最小処理ユニットの画像データを生成する図８の段階５００〜５０６をソースイメージの１つの最小処理ブロックの最小処理ユニットの個数だけ繰り返して横方向にスケーリングされた１つの最小処理ブロックを生成することを示す。このとき、一つの最小処理ブロックの最小処理ユニットの個数は画素行の個数と同一に１１つなので、図１１による段階７００〜７１２により横方向にスケーリングされた一つの最小処理ブロックが生成される。まず、プロセッサー１００は段階７００でカウント値Countを０に初期化し、段階７０２でターゲットイメージの最小処理ユニットのサイズ×Countをインデックスｉに定める。その後、段階７０４〜７０８で図８の段階５０２〜５０６のようにインデックスｉがターゲットイメージの最小処理ユニットのサイズと同一になるまで１つずつ増加させつつ、数式１５によりターゲットイメージの最小処理ユニットのターゲット画素値を求める。このとき、インデックスｉがターゲットイメージの最小処理ユニットのサイズと同じになると、すなわち一つの最小処理ユニットに対する処理が完了すると、段階７１０でカウント値Countを1だけ増加させてから、段階７１２でカウント値Countがソースイメージの最小処理ユニットのサイズと同じであるかどうかを確認する。もし、カウント値Countがソースイメージの最小処理ユニットのサイズに至っていないと、段階７０２に進んで次の最小処理ユニットに対する処理を繰り返す。このようにして、カウント値Countがソースイメージの最小処理ユニットのサイズと同一になると、ソースイメージの一つの最小処理ブロックのすべての最小処理ユニットに対して横方向にスケーリング処理がすべて完了したので終了する。
【００４８】
上記のように、横方向にスケーリングされた一つの最小処理ブロックが生成されると、プロセッサー１００は段階６０６で横方向にスケーリングされた最小処理ブロックの画素列のそれぞれに対してソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットのターゲット画素値を段階６０４と同様に段階７００〜７１２により数式１５により求めて横方向及び縦方向にスケーリングされた最小処理ブロックを生成する。このとき、横方向にスケーリングされた最小処理ブロックが図１２（ｂ）と同じであれば、段階６０６により図１２（ｃ）のように横方向及び縦方向にスケーリングされた最小処理ブロック、すなわちターゲットイメージの一つの最小処理ブロックが生成される。このように生成される横方向にスケーリングされた最小処理ブロックのデータは上述したように第２フレームメモリ１０４に貯蔵される。この後、プロセッサー１００は段階６０８でターゲットイメージの最小処理ブロックをすべて生成完了したかどうかを検査し、まだ完了しないと段階６０４に進んで次の最小処理ブロックを生成する。こうしてターゲットイメージの最小処理ブロックをすべて生成完了すれば終了する。
【００４９】
したがって、第２フレームメモリ１０４にはソースイメージの一つの最小処理ブロックからターゲットイメージの一つの最小処理ブロックを生成する途中で必要な画像データ、すなわち図１２（ｂ）のように横方向にスケーリングされた１つの最小処理ブロックのみを貯蔵すればよいので、横方向にスケーリングされた１つの最小処理ブロックのサイズだけの貯蔵容量のみを有すればよい。つまり、本発明の第１実施例に比して要求されるメモリの容量が大幅に減少する。
【００５０】
一方、上記したような本発明の第１及び第２実施例によれば、内蔵形システムで要求される画質を満足させつつ、従来と違って除算の演算が含まれず、乗算も整数間の乗算だけで行われ、ｎを掛けたり割ったりする演算もビットシフトにより遂行されるので、演算量が大幅に減少するが、ターゲットイメージのそれぞれのターゲット画素を生成する度に数式１５による演算が２回、すなわち横方向にスケーリングするとき１回、さらに縦方向にスケーリングするとき１回遂行される。これに対して、上記の本発明の第１及び第２実施例を説明すれば、図３Ｂのように最小処理ユニット単位でソースイメージからターゲットイメージを生成する過程が横方向と縦方向に対して反復されることが分かる。すなわち、１１つのソース画素Ｐ１〜Ｐ１１から８つのターゲット画素Ｐ１’〜Ｐ８’を生成する演算は常に数式１５により同一に行われ、デジタル画像の画素値は上述したように例えば０〜２５５のうちの一つの値を有するので、ソース画素Ｐ１〜Ｐ１１の画素値により演算に使用される値のみ異なるようになる。この点を考えるとき、ソース画素が有する画素値、例えば０から２５５までについて予め加重値を掛けてルックアップテーブル(look-up table)を生成しておけば、それぞれのターゲット画素を生成するとき前記数式１５でソース画素と加重値を乗算する演算は省略可能になる。
【００５１】
図１３は上記のようにルックアップテーブルを使用してターゲットイメージを生成するための本発明の他の実施例による画像スケーリング装置のブロック構成図をしめすものであって、図４の画像スケーリング装置でルックアップテーブルを貯蔵するためのルックアップテーブルメモリ１０６を追加して構成するものである。プロセッサー１００はソースイメージからターゲットイメージを生成処理する前に後述するようにルックアップテーブルを生成してルックアップテーブルメモリ１０６に貯蔵して置いてから使用する。
【００５２】
図１４はこのルックアップテーブルを使用する本発明の第３実施例によるプロセッサー１００の画像スケーリング処理過程を段階８００〜８０６に示す流れ図である。まず、プロセッサー１００は段階８００でスケーリング比率によりソースイメージとターゲットイメージの最小処理ユニットを決定する。段階８００は図５の段階２００と同一なので、その説明は省略する。その後、プロセッサー１００は段階８０２で加重値を数式１４により求め、下記の数式１６によりそれぞれの加重値を一つの画素が有することができる画素値のそれぞれと掛けてルックアップテーブルを生成する。
【００５３】
【数１６】
【００５４】
数式１６でｉはターゲットイメージの最小処理ユニットのターゲット画素に対するインデックス、Ｖｗ[i]はターゲットイメージの最小処理ユニットのターゲット画素に対する加重値貯蔵配列、Lookup_Table[i][Table_Index]はインデックスｉと一つの画素が有する画素値に対するインデックスTable_Indexの配列からなるルックアップテーブル貯蔵配列を示す。
【００５５】
上記段階８０２によりルックアップテーブルを生成するプロセッサー１００の具体流れ図を段階９００〜９１６に示す図１５を参照すれば、まずプロセッサー１００は段階９００でインデックスｉを１に初期化した後、段階９０２で数式１４により加重値を求める。次に、段階９０４でテーブルインデックスTable_Indexを０に初期化した後、段階９０６〜９１０でテーブルインデックスTable_Indexが２５５を超えるまでテーブルインデックスTable_Indexを１ずつ増加させつつ数式１６により一つのインデックスｉ値に対応する一つの加重値に対するルックアップテーブルを生成する。これにより、一つのインデックスｉ値に対応する一つの加重値に対して０から２５５までの値からなるルックアップテーブルが生成されると、段階９１２で図７の段階４０４と同一にソース画素インデックスを求める。その後、段階９１４でインデックスｉがターゲットイメージの最小処理ユニットのサイズが同じであるかどうかを検査し、まだ同一になければ段階９１６でインデックスｉを１増加させた後、段階９０２から繰り返す。このようにして、インデックスｉがターゲットイメージの最小処理ユニットのサイズと同じになるまで段階９０２〜９１６を繰り返すことで、下記の表５のようなルックアップテーブルLookup_Table[i][Table_Index]が生成されるとともに、表３のようなインデックス配列Index[i]が生成されてルックアップテーブルメモリ１０６に貯蔵される。
【００５６】
【表５】
【００５７】
表５でＶｗ[1]〜Ｖｗ[8]は表３と同一であり、Ｖｗ[1]×１≫１０、Ｖｗ[1]×２≫１０、Ｖｗ[1]×３≫１０、…などは実際には乗算及びシフトされた値がルックアップテーブルに生成されて貯蔵されるものであるが、便宜上数式で示すことである。
【００５８】
上記したようにルックアップテーブルを生成してルックアップテーブルメモリ１０６に貯蔵した後、プロセッサー１００は段階８０４でソースイメージの画素行のそれぞれに対して横方向にソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットそれぞれのターゲット画素値を数式１７により表５のルックアップテーブルを参照した演算により求めて横方向にスケーリングされた画像を生成する。
【００５９】
【数１７】
【００６０】
数式１７で、ｉはターゲットイメージの最小処理ユニットのターゲット画素に対するインデックスで、Lookup_Table[i][Table_Index]はインデックスｉと一つの画素が有する画素値に対するインデックスTable_Indexの配列からなるルックアップテーブル貯蔵配列であり、Des[i]はターゲットイメージの最小処理ユニットの貯蔵配列、Src[index[i]]はソースイメージの最小処理ユニットの貯蔵配列であり、Index[i]はターゲット画素の生成のための演算基準となるソース画素インデックスの貯蔵配列として前述したように（integer cast）(Rs×I)であり、Constは後述するようにターゲットイメージの最小処理ユニットのサイズの1/2値に初期化し、インデックスｉがターゲットイメージの最小処理ユニットのサイズの１/２より大きい場合には符号が反転される。
【００６１】
上記したようにルックアップテーブルを使用して横方向にスケーリングされた画像を得るために、図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合の例を挙げてソースイメージの一つの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成するプロセッサー１００の処理過程を段階１０００〜１０１０に示す図１６を参照して詳細に説明する。まず、プロセッサー１００は段階１０００でインデックスｉを１に初期化し、Const値をターゲットイメージの最小処理ユニットのサイズの１/２、すなわち４に定めた後、段階１００２〜１０１０でインデックスｉがターゲットイメージの最小処理ユニットのサイズと同じになるまで１ずつ増加させつつ、数式１７によりターゲットイメージの最小処理ユニットのターゲット画素の値を求める。このとき、Const値はインデックスｉがターゲットイメージの最小処理ユニットのサイズの１/２より大きくなると、段階１０１０で符号が反転される。これにより求められるターゲットイメージの最小処理ユニットの８つのターゲット画素値は前記表４のように求められる。しかし、ソース画素値と加重値の乗算及びビットシフトは上記したようにルックアップテーブルを生成するとき、既に遂行されたのでそれぞれのターゲット画素値は表５に示すルックアップテーブルでLookup_Table[i+Const][Src[Index[i]]]に該当する値と、Lookup_Table[i] [Src[Index[i]+1]]値を取って加算をすれば得られる。
【００６２】
上記の段階１０００〜１０１０によりソースイメージの一つの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成する過程を段階８０４でソースイメージの画素行の横方向にそれぞれ連結される最小処理ユニットに対して一つずつ順次に反復することで、図９（ａ）からソースイメージが図９（ｂ）のように横方向にスケーリングされた画像が得られる。
【００６３】
上記プロセッサー１００は段階８０４で横方向にスケーリングされた画像を生成してから、段階８０６で横方向にスケーリングされた画像の画素列のそれぞれに対して縦方向にソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットそれぞれのターゲット画素値を数式１７により表５のルックアップテーブルを参照した演算により求めてターゲットイメージを生成する。このとき、ソースイメージの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成することは、段階８０４と同様に段階１０００〜１０１０によりなる。これにより、図９（ｂ）のように横方向にスケーリングされた画像が段階８０６により図９（ｃ）のように縦方向にスケーリングされるので、結果的に図９（ｃ）の画像は横方向及び縦方向にダウンスケーリングされたターゲットイメージとなる。このように生成されるターゲットイメージのデータはソースイメージのデータの代わりに第１フレームメモリ１０２に貯蔵される。
【００６４】
したがって、ソース画素が有する画素値に対して予め加重値を掛けてルックアップテーブルを生成しておいた後、それぞれのターゲット画素を生成するとき、数式１５でソース画素と加重値を乗算する演算を省略できるので、プロセッサー１００の負荷を減少し、スケーリングの処理速度が速くなる。
【００６５】
通常に、内蔵形システムでソースイメージのサイズとターゲットイメージのサイズは固定される場合が多く、もし使用者の選択などにより変更可能に具現されるとしてもフレームごとに変更されない。そこで、このように生成されたルックアップテーブルは内蔵形システムの電源が“オン”されている間、またはソースイメージのサイズとターゲットイメージのサイズが変更される前まで使用可能であり、最悪の状況を考慮しても少なくとも１フレームに対して使用されうる。もし、本発明を採用した内蔵形システムがソースイメージのサイズとターゲットイメージのサイズは固定されている製品であれば、すなわち標準ビデオＣＯＤＥＣから出力される画像をＬＣＤの画像サイズに合わせてディスプレーするだけであれば、上記のルックアップテーブルは変更される必要がないので、製造企業で不揮発性メモリに貯蔵させておけば、実際スケーリング処理時にルックアップテーブルの生成を省略することも可能になる。
【００６６】
一方、上記のルックアップテーブルを使用してスケーリング処理をする本発明は図１０に示す本発明の第２実施例のように、最小処理ブロック単位でターゲットイメージを生成することと結合して実施することもできる。図１７はこのための本発明の第４実施例によるプロセッサー１００の画像スケーリング流れ図を段階１１００〜１１０８で示すものである。まず、プロセッサー１００は段階１１００でスケーリング比率によりソースイメージとターゲットイメージの最小処理ユニットを決定し、段階１１０２で加重値を数式１４により求め、数式１６により表５のようなルックアップテーブルを生成する。この段階１１００、１１０２は図１４の段階８００、８０２とそれぞれ同一なので、これに対する説明は省略する。その後、プロセッサー１００は段階１１０４でソースイメージの最小処理ブロックの画素行それぞれに対してソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットのターゲット画素値を数式１７により表５のルックアップテーブルを参照した演算により求めて横方向にスケーリングされた最小処理ブロックを生成する。このとき、ソースイメージの始めから横方向にスケーリングされた最小処理ブロックを生成し始める。そして、ソースイメージが図１２（ａ）と同一であるとすれば、段階１１０４によりソースイメージの最小処理ブロックが図１２（ｂ）のように横方向にスケーリングされるので、横方向にスケーリングされた最小処理ブロックが得られる。このように生成される横方向にスケーリングされた最小処理ブロックのデータは第２フレームメモリ１０４に貯蔵される。
【００６７】
図１８は、段階８０４で横方向にスケーリングされた最小処理ブロックを得るために図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合の例を挙げてソースイメージの一つの最小処理ブロックからそれに対応する横方向にスケーリングされた一つの最小処理ブロックを生成するプロセッサー１００の処理過程を段階１２００〜１２１６に示すものである。この段階１２００〜１２１６は上述のルックアップテーブルを参照して一つの最小処理ユニットの画像データを生成する図１６の段階１０００〜１０１０をソースイメージの一つの最小処理ブロックの最小処理ユニットの個数だけ繰り返して横方向にスケーリングされた一つの最小処理ブロックを生成することを示すものである。このとき、一つの最小処理ブロックの最小処理ユニットの個数は画素行の個数と同一に１１つなので、図１８による段階１２００〜１２１６により横方向にスケーリングされた一つの最小処理ブロックが生成される。まず、プロセッサー１００は段階１２００でカウント値Countを０に初期化し、段階１２０２でターゲットイメージの最小処理ユニットサイズ×Countをインデックスｉに決めるとともに、Const値をターゲットイメージの最小処理ユニットのサイズの１/２、すなわち４に定める。その後、段階１２０４〜１２１２で図１６の段階１００２〜１０１０と同様にインデックスｉがターゲットイメージの最小処理ユニットのサイズと同じになるまで１ずつ増加させつつ、数式１７により表５のルックアップテーブルを参照した演算によりターゲットイメージの最小処理ユニットのターゲット画素値を求める。このとき、インデックスｉがターゲットイメージの最小処理ユニットのサイズと同一であれば、すなわち一つの最小処理ユニットに対する処理が完了すると、段階１２１４でカウント値Countを1増加させてから、段階１２１６でカウント値Countがソースイメージの最小処理ユニットのサイズと同じであるかどうかを確認する。もし、カウント値Countがソースイメージの最小処理ユニットのサイズに到達しないと、段階１２０２に進んで次の最小処理ユニットに対する処理を反復する。このようにして、カウント値Countがソースイメージの最小処理ユニットのサイズと同一になると、ソースイメージの一つの最小処理ブロックのすべての最小処理ユニットに対して横方向にスケーリング処理がすべて完了したので終了する。
【００６８】
上記したように横方向にスケーリングされた一つの最小処理ブロックが生成されると、プロセッサー１００は段階１１０６で横方向にスケーリングされた最小処理ブロックの画素列のそれぞれに対してソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットのターゲット画素値を段階１１０４と同様に段階１２００〜１２１６により数式１７により表５のルックアップテーブルを参照した演算により求めて横方向及び縦方向にスケーリングされた最小処理ブロックを生成する。このとき、横方向にスケーリングされた最小処理ブロックが図１２（ｂ）のようであれば、段階１１０６により図１２（ｃ）のように横方向及び縦方向にスケーリングされた最小処理ブロック、すなわちターゲットイメージの一つの最小処理ブロックが生成される。このように生成される横方向にスケーリングされた最小処理ブロックのデータは、上述したように第１フレームメモリ１０４に貯蔵される。その後、プロセッサー１００は段階１１０８でターゲットイメージの最小処理ブロックをすべて生成完了したかどうかを検査し、まだ完了しないと段階１１０４に進んで次の最小処理ブロックを生成する。このようにターゲットイメージの最小処理ブロックをすべて生成完了すれば終了する。
【００６９】
したがって、ルックアップテーブルを使用することによりプロセッサー１００の負荷が減少するようになってスケーリング処理速度が速くなるだけでなく、第２フレームメモリ１０４の貯蔵容量を横方向にスケーリングされた1つの最小処理ブロックのサイズだけ減少することができる。
【００７０】
参考的に図２（ａ）のような２４２×１９８サイズの画像を図２（ｂ）のような１７６×１４４サイズの縮小するダウンスケーリングをする場合において、ルックアップテーブルを用いて横方向に縮小するプログラムの例をＡＮＳＩ(American National Standards Institute)-Ｃ言語(language)を使用して示すと、次のようである。下記のプログラムは図３（ｂ）と違って、ターゲット画素Ｐ１’の画素値はソース画素Ｐ１の画素値をその通り取って残りのターゲット画素Ｐ２’〜Ｐ８’の画素値は隣接する２つのソース画素の画素値を反映して生成する場合の例である。
【００７１】
}
【００７２】
すなわち、全体画像に対して画素行を処理して２４２つのうち１７６つの画素が得られ、最小処理ブロックが２２回反復実行されつつ該当処理が終了する。このように横方向処理の場合、処理結果による画素値が横方向に隣接する画素の画素値なので、４つの画素値を並列に、すなわち３２ビットで貯蔵すれば効率性が高くなる。
【００７３】
上記したように、横方向にスケーリングされた画像をルックアップテーブルを用いて縦方向に縮小するプログラムをANSI-C言語を使用すれば、次のようである。
【００７４】
【００７５】
すなわち、全体画像に対して画素列を処理して１９８つのうち１４４つの画素が得られ、最小処理ブロックが１８回反復実行されつつ該当処理が終了する。
【００７６】
上記したようにソースイメージを横方向に縮小するプログラムと縦方向に縮小するプログラムにおいてtb125[ ]〜tb875[ ]は、下記の表６のようなルックアップテーブルを意味する。
【００７７】
【表６】
【００７８】
表６で、tb125[i]、tb250[i]、tb375[i]、tb625[i]、tb750[i]、tb875[i]はそれぞれ(unsigned char)に与えられた画素値０〜２５５に対して図３Ａで画素Ｐａから１/８、２/８、３/８、５/８、６/８、７/８地点の加重値に対するルックアップテーブルを意味する。例えば、表２で加重値がVw[1]=384の場合では、上記の表５のLookup_Table[1][1]、Lookup_Table[1][2]、…、Lookup_Table[1][255]がtb375[i]に該当する。したがって、表６のルックアップテーブルは表５と実質的に同じである。ただし、表６で表５と違って加重値が５１２の場合に該当するルックアップテーブル、すなわちtb500[i]はない。これは上記のプログラムから分かるように、des[desIndex+4]は２つのソース画素値src[srcIndex+5]、src[srcIndex+6]と加算した後、最下位ビット方に1ビットシフトさせるとよく、des[desIndex+4*176]は２つのソース画素値src[srcIndex+5*176]、src[srcIndex+6*176]を加算した後、最下位ビット方に1ビットシフトさせるとよいので、別途のルックアップテーブルがなくてもよいためである。
【００７９】
一方、本発明の発明者が試験したことによれば、本発明は最小処理ブロックのサイズが８×８の場合、CIFを基準としてスケーリング比率は５０%〜２００%まで画質の低下なしに適用可能な結果が得られた。そして、２つの隣接画素間を８等分して加重値演算を行う場合、ルックアップテーブルを表５、表６のように生成して使用すれば、８段階の縮小、４段階の拡大が可能である。また、２つの隣接画素間を１６等分して加重値の演算をする場合には表６に加えて表７のようなルックアップテーブルを生成して使用すれば１６段階の縮小、８段階の拡大が可能になる。
【００８０】
【表７】
【００８１】
上記したように２つの隣接画素間をさらに細部的に等分してルックアップテーブルの個数を増加させて使用すれば、加重値がさらに細分化され、演算がより精密に行われるので、ターゲットイメージの画質がよくなるが、演算量が多くなる。したがって、一定個数の段階のみで拡大、縮小が可能なようにルックアップテーブルを生成させ、スケーリング比率がこのような拡大、縮小段階と正確に合わない場合には近似値を有するルックアップテーブルを使用するのが望ましい。
【００８２】
【発明の効果】
したがって本発明は、デジタル画像スケーリングを具現することにおいて、２つの画素間の加重値和が２nとなる整数の加重値を使用して整数間の乗算と加算及びビットシフトによる演算によりターゲット画素値を生成することにより、画質の低下を最小化しながら演算量も減少できるので、内蔵形システムでも多様な画像スケーリングを容易に具現することができる効果がある。
【００８３】
一方、上述した本発明の説明では具体的の実施例に関して説明したが、本発明の範囲を外れない限り多様な変形が実施可能である。特に、本発明の実施例では具体的の例として２４２×１９８サイズの画像を１７６×１４４サイズに縮小するダウンスケーリングの例を挙げたが、ソースイメージとターゲットイメージのサイズが異になっても同様に適用される。したがって、発明の範囲は説明された実施例により定められてはいけないし、特許請求の範囲と特許請求の範囲と均等なことにより定められるべきである。
【図面の簡単な説明】
【図１】 通常の画像アップ-スケーリングの一例を説明するための例示図。
【図２】 本発明によりソースイメージとターゲットイメージが最小処理ユニット及び最小処理ブロックに分割されることを示す例示図。
【図３Ａ】 本発明により２つの隣接画素間を８等分する場合の加重値の例を示す例示図。
【図３Ｂ】 本発明によりソースイメージからターゲットイメージの画素値を生成することを説明するための例示図。
【図４】 本発明の一実施例による画像スケーリング装置のブロック構成図。
【図５】 本発明の第１実施例による画像スケーリング流れ図。
【図６】 本発明の実施例による最小処理ユニットの決定流れ図。
【図７】 本発明の実施例による加重値演算流れ図。
【図８】 図５によるターゲットイメージの最小処理ユニットの生成流れ図。
【図９】 図５によりターゲットイメージが生成されることを説明するための例示図。
【図１０】 本発明の第２実施例による画像スケーリング流れ図。
【図１１】 図１０によるターゲットイメージの最小処理ブロックの生成流れ図。
【図１２】 図１１によりターゲットイメージが生成されることを説明するための例示図。
【図１３】 本発明の他実施例による画像スケーリング装置のブロック構成図。
【図１４】 本発明の第３実施例による画像スケーリング流れ図。
【図１５】 本発明の実施例によるルックアップテーブルの生成流れ図。
【図１６】 図１５によるターゲットイメージの最小処理ユニットの生成流れ図。
【図１７】 本発明の第４実施例による画像スケーリング流れ図。
【図１８】 図１７によるターゲットイメージの最小処理ブロック生成流れ図。
【符号の説明】
１００ プロセッサー
１０２ 第１フレームメモリ
１０４ 第２フレームメモリ
【発明の属する技術分野】
本発明は画像スケーリング(scaling)方法に関し、特に内蔵形システム(embedded system)においてデジタル画像を縮小または拡大してディスプレー(display)するための画像スケーリング方法に関するものである。
【０００２】
【従来の技術】
デジタル画像の普遍化により多様なサイズと形式のデジタル画像器機が商用化されて市販されている。デジタルＴＶ、ＨＤＴＶ(High Definition Television)、ＰＤＡ(Personal Digital Assistant)、ＩＭＴ-２０００(International Mobile Telecommunications-2000)端末機などのデジタル画像器機は従来のアナログ画像に比べて一層鮮明な画像を提供するだけでなく、デジタル画像処理のみにより可能な画面の分離、拡大、縮小、平滑化などの多様な画像処理機能を提供する。
【０００３】
上記のような各種デジタル画像処理機能の具現のためには多くのシステム資源が要求される。これにより、デジタルＴＶ、ＤＶＤ(Digital Video Disc)プレーヤなどのように電力が十分に供給され、製品のサイズも十分に大きくてデジタル画像処理機能の具現に要求されるシステム資源に不足さがない場合には、各種デジタル画像処理機能を別の難しさなしに具現できる。しかし、ＩＭＴ-２０００移動通信端末機、ＰＤＡ、デジタルカムコーダ(camcorder)などの内蔵形システムは製品のサイズが小さく、供給電力容量が少なく、プロセッサーの演算速度が低く、メモリ容量が少ないことなど、多くの制約事項を伴うので、デジタル画像処理機能の具現に難しさがあるだけでなく、その性能も制限的な場合が多い。
【０００４】
一方、デジタル画像処理の一つとして、画像を拡大/縮小する画像スケーリング技術は一般的にカメラから入力される画像に対して適用し、あるいはデジタル画像出力装置で部分拡大機能やＰＩＰ(Picture In Picture)機能を具現するのに応用された。しかし、最近のようにカラー/動画像移動通信端末機が普遍化した時点では標準ビデオＣＯＤＥＣ(coder/decoder)と多様なサイズのＬＣＤ(Liquid Crystal Display)装置との間のインタフェース(interface)問題を解決する非常に重要な技術となってきている。標準ビデオＣＯＤＥＣは１７６×１４４(ここで、176×144は横方向の画素(pixel)数×縦方向の画素数の画像サイズを意味し、以下の説明でも画像サイズは上記と同様に示すこと)のＱＣＩＦ(Quadraturde Common Interface Format)サイズを主に支援するように設計されている。これに反して、各種端末機に採択されるＬＣＤ装置はディスプレーする画像のサイズが端末機のサイズと製造コストに合わせて多様に生産されるが、例えば、１２８×１９２のような小サイズから２４０×２４０のような大サイズまで多様のサイズのうちいずれか一つのサイズで生産される。それにより、標準ビデオＣＯＤＥＣから出力される画像をＬＣＤ装置の画面上にディスプレーするためには拡大または縮小の必要性が求められることである。
【０００５】
このように画像を拡大または縮小するための画像のスケーリング技術は複雑であり、多くの多様な技術が知られている。これは、拡大/縮小によりサイズが変わったときにもソースイメージの特性をその通り維持するための方法がそのほど多様であるという意味である。しかし、内蔵形システムのようにシステム資源が非常に脆弱なシステムに適した画像スケーリング技術はほとんど知られていない。これは画像スケーリング技術の具現には多くの演算量が伴うので、内蔵形システムに適用するのに適合しないと認識されてきたためである。画素単位の演算量のみを見ればあまり多くはないが、実際に使用される画像は数多くの画素の集合で、このような画像が秒当たり１０フレーム(frame)以上の速度で出力されるので、実時間動画像の出力のためには相当な演算量を要求するようになる。これにより、現在まで知られている技術により画像スケーリング機能をハードウェアで具現すれば、複雑なハードウェアの設計及び高性能システムが要求されるので、携帯用デジタル画像器機のような内蔵形システムでは使用されていなかった。のみならず、ハードウェアで画像スケーリング機能を具現する場合にはいくつかの定められた形式のみを具現するしかないので、ソフトウェアで具現する場合に比べてアプリケーション(application)との円滑なインタフェースを得にくい。その反面、画像スケーリング機能をソフトウェアで具現すれば、入力及び出力で画素単位の制御が可能であり、ＬＣＤ出力応用プログラミングの設計に制約を受けない多様なアプリケーションが可能になり、いかなるビデオＣＯＤＥＣ及びＬＣＤ入出力インタフェースとの具現も可能なインタフェースが得られる。しかし、多くの演算量により内蔵形システムでは相当な高性能のチップを採用しても動画像を具現するのは不可能である。
【０００６】
上記したようなことを考えると、内蔵形システムのための画像スケーリング機能はソフトウェアで具現するのが望ましいが、ソフトウェアで具現しても無理のない程度の演算量を持つように演算量が少なくなければならない。画像スケーリング機能を具現する一番簡単な方法は、スケーリング比率によりソースイメージ(source image)の画素を単にダウンサンプリング(down sampling)して画素数を減少して縮小させ、あるいはソースイメージの画素を単にコピーして画素数を増加して拡大させる技術がある。画像を拡大するアップスケーリングの例を示す図１を参照してこのような技術を説明すれば、次のようである。図１に示すように、３つのソースイメージ画素、すなわちソース画素Ｐ１〜Ｐ３から９つの拡大画像画素、すなわちターゲット画素Ｐ１’〜Ｐ９’を生成する場合であれば、ターゲット画素Ｐ１’〜Ｐ３’はソース画素Ｐ１をコピーして生成し、ターゲット画素Ｐ４’〜Ｐ６’はソース画素Ｐ２をコピーして生成し、ターゲット画素Ｐ７’〜Ｐ９’はソース画素Ｐ３をコピーして生成する。これにより、演算しなくても画像のサイズを拡大することができるが、単純にソース画素をコピーすることなので拡大画像の画質が大きく落ちる。
【０００７】
拡大画像の画質を改善できる技術として、ソースイメージに対するターゲットイメージの画面サイズに比例してスケーリング比率だけの加重値を付与して補間(interpolation)をするＤＤＡ(Digital Differential Analyzer)アルゴリズム(algorithm)がある。上記した図１を参照して、ＤＤＡアルゴリズムにより画像を拡大するアップスケーリング(up-scaling)の例を説明すれば、次のようである。図１に示したように、３つのソース画素Ｐ１〜Ｐ３から９つのターゲット画素Ｐ１’〜Ｐ９’を生成する場合であれば、ターゲット画素Ｐ１’〜Ｐ９’の画素値は下記の表１のようである。
【０００８】
【表１】
すなわち、ターゲット画素Ｐ１’〜Ｐ９’は該当ターゲット画素値に反映される一つまたは二つの隣接したソース画素値に、ソースイメージのサイズと拡大画像のサイズのスケーリング比率による勾配(＝1/3)と、該当ターゲット画素が隣接したソース画素から離隔された距離に対応する加重値とを乗算した後、これら値を加算した値を有するようになる。これにより、補間(interpolation)によりターゲット画素値に該当ターゲット画素が隣接するソース画素値を反映することにより、ソース画素をコピーする場合に比べて拡大画像の画質は改善されるが、単純にスケーリング比率による勾配と加重値とをソース画素値にかけ算することにより高画質の拡大画像を得にくい。また、それだけでなく、かけ算と共に除算の演算も含むので、演算量が多くなる。
【００１０】
上述したように、内蔵形システムのための画像スケーリング機能はソフトウェアで具現するのが望ましく、ソフトウェアで具現しても無理のないほど演算量が少ないことが望ましい。しかし、演算量が少ない画像スケーリング技術はスケーリングされた画像の画質が低下し、スケーリングされた画像の画質低下を減少させるためには演算量が多くなるので、内蔵形システムのためには画質の低下を最小化しながらも演算量を減少することができる画像スケーリングが必要である。
【００１１】
【発明が解決しようとする課題】
したがって本発明の目的は、内蔵形システムに適合したデジタル画像スケーリング方法を提供することにある。
また本発明の他の目的は、画質の低下を最小化しつつ演算量も減少することができるデジタル画像スケーリング方法を提供することにある。
【００１２】
【課題を達成するための手段】
上述した目的を達成するために本発明は、内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージそれぞれの最小処理ユニットのサイズを決定する過程と、前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ(ｎは自然数)に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求める過程と、前記ソースイメージの最小処理ユニットに対応する前記ターゲットイメージの最小処理ユニットそれぞれのターゲット画素値を該当ターゲット画素値に反映するソース画素値と、そのソース画素と離隔された距離に対応する加重値を使用して求め、前記ターゲットイメージを生成する過程とを備えることを特徴とする。
【００１３】
上記他の目的を達成するために本発明は、内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により、前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージの最小処理ユニットのサイズをそれぞれ決定する過程と、前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ（ｎは自然数）に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求める過程と、前記ソースイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックにそれぞれ対応するように前記ターゲットイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックの最小処理ユニットそれぞれのターゲット画素値を該当ターゲット画素値に反映するソース画素値とそのソース画素と離隔された距離に対応する加重値を使用して求めて前記ターゲットイメージを生成する過程とを備えることを特徴とする。
【００１４】
また他の目的を達成するために本発明は、内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により、前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージの最小処理ユニットのサイズをそれぞれ決定する過程と、前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ（ｎは自然数）に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求め、それぞれの加重値を一つの画素が有する画素値とそれぞれ掛けてルックアップテーブルを生成する過程と、前記ソースイメージの最小処理ユニットに対応する前記ターゲットイメージの最小処理ユニットのターゲット画素値をそれぞれ該当ターゲット画素値に反映するソース画素値とその離隔された距離に対応するように前記ルックアップテーブルを参照した演算により求めて前記ターゲットイメージを生成する過程とを備えることを特徴とする。
【００１５】
また本発明は、内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により、前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージの最小処理ユニットのサイズをそれぞれ決定する過程と、前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ（ｎは自然数）に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求め、それぞれの加重値を一つの画素が有する画素値とをそれぞれ掛けてルックアップテーブルを生成する過程と、前記ソースイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックにそれぞれ対応するように前記ターゲットイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックの最小処理ユニットそれぞれのターゲット画素値を該当ターゲット画素値に反映するソース画素とその離隔された距離に対応するようにルックアップテーブルを参照した演算により求めて前記ターゲットイメージを生成する過程とを備えることを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の望ましい実施例を添付の図面を参照して詳細に説明する。下記では本発明の要旨を不明にする可能性のある公知の機能及び構成に対する詳しい説明は省略する。
【００１７】
まず、本発明は画像を拡大または縮小するとき、図２（ａ）及び図２（ｂ）に示すようにスケーリング比率(scaling ratio)によりソースイメージとターゲットイメージを横方向と縦方向に対してそれぞれ相互に同一の個数のユニット(unit)に分割し、このように分割されたユニットに対して一つずつ順次にスケーリング処理を行う。本発明において、分割されたユニットを“最小処理ユニット”と称し、最小処理ユニット×最小処理ユニットからなるブロックを“最小処理ブロック”と称する。最小処理ユニットのサイズはソースイメージとターゲットイメージの横方向のサイズと縦方向のサイズに対してそれぞれ最大公約数を求めて決定する。
【００１８】
図２（ａ）に示す２４２×１９８サイズの画像を、図２（ｂ）に示す１７６×１４４サイズの画像に縮小するダウンスケーリング(down-scaling)の場合に、２４２と１７６の最大公約数が２２であるので、図２（ａ）のソースイメージと図２（ｂ）のターゲットイメージが横方向には２２つの最小処理ユニットに分割され、縦方向には１８つの最小処理ユニットに分割される例を示すものである。そして、ソースイメージの最小処理ユニットは１１つの画素からなり、ターゲットイメージの最小処理ユニットは８つの画素からなる。こうすると、ソースイメージの最小処理ブロックのサイズは１１×１１となり、ターゲットイメージの最小処理ブロックのサイズは８×８となり、ソースイメージとターゲットイメージはサイズが相互に異なるが、同一の個数、すなわち２２×１８つの最小処理ブロックに分割される。後述するように、最小処理ブロックのサイズは少ないほど有利になるが、スケーリング比率により異なるようになり、最上の場合には２×２となる反面、最悪の場合にはターゲットイメージのサイズと同一になる。ここで、最上の場合とはスケーリング比率が２倍または０.５倍の場合を意味し、最悪の場合とはソースイメージのサイズとターゲットイメージのサイズとの間に最大公約数を探すことができない場合を意味する。
【００１９】
一方、本発明において加重値はソースイメージの２つの隣接画素間を一定等分した地点に対応し、０〜２ｎに属し、２つの画素間の加重値和が２ｎとなる整数に定められる。ここで、ｎは自然数で、以下の説明でも同様である。前記加重値はソースイメージから生成するターゲットイメージの画素値に反映されるソース画素からターゲット画素が離隔された距離に対応するようにソース画素値に掛けるための値である。隣接する２つの画素間の間隔をより多くの数で均等に分割すると、加重値がさらに細分化されるので、画像スケーリングによる演算がより精密に行われてターゲットイメージの画質がよくなる反面、演算量が増加する。また、ｎ値も大きいほど加重値をさらに細分化させうるので、画像スケーリングによる演算がより精密に行われてターゲットイメージの画質がよくなる反面、演算量が増加する。したがって、本発明による画像スケーリング技術を採用する内蔵形システムで要求される画像の精密度、すなわちターゲットイメージで要求される画質によりn値を適切に決定する。本発明の発明者が実験した結果、ＩＭＴ-２０００端末機、ＰＤＡなどに対してはｎを１０に選択すれば適切であるという結論が得られ、ＰＣ(Personal Computer)に対してはｎを８に選択すれば適切であるとういう結論が得られた。
【００２０】
図３Ａは隣接した２つの画素Ｐａ、Ｐｂ間を８等分し、ｎを１０に選択した場合に２つの画素Ｐａ、Ｐｂのうち画素Ｐａを基準として画素Ｐａから離隔された距離に対応する加重値を示す。このとき、２10＝１０２４なので、画素Ｐａから１/８地点の加重値は１２８(＝1024×1/8)、２/８地点の加重値は２５６(＝1024×2/8)、…、８/８地点の加重値は１０２４(＝1024×8/8)となる。ここで、画素Ｐａから１/８地点は画素Ｐａを基準とすれば加重値が１２８であるが、画素Ｐｂを基準とすれば加重値は８９６である。２つの画素Ｐａ、Ｐｂ間の残りの地点の加重値もこれと同様であり、２つの画素Ｐａ、Ｐｂ間の加重値の和は１０２４となる。
【００２１】
上記したような加重値は下記の数式１４により求められるが、本発明の説明では図３Ａに示したように２つの隣接した画素間の間隔を８等分する場合を例として説明する。
【００２２】
【数１４】
上記数式１４においてｉは加重値インデックス(index)として、上記したように２つの隣接画素間の間隔を８等分するので、１〜８となる。Ｖｗ[i]は加重値の貯蔵配列を意味する。Ｒｓはスケーリング比率で、ソースイメージのサイズ/ターゲットイメージのサイズである。≪ｎは最上位ビット側へのｎビットシフトを示し、ここで最上位ビット側へのｎビットシフトはRs x i-(integer cast)(Rs x i)に２nを掛けた結果となる。
【００２４】
例えば、ｎを１０として選択した場合、図３Ａに示したように隣接した２つのソース画素間の加重値の和は２10＝１０２４となり、加重値はターゲット画素が自分の生成のための演算基準となるソース画素から離隔される距離に対応するように０〜１０２４に属する整数に定められる。
【００２５】
図３Ｂは図２（ａ）及び図２（ｂ）のようにソースイメージの最小処理ユニットのサイズが１１で、ターゲットイメージの最小処理ユニットのサイズが８の場合、ソースイメージの１１つのソース画素Ｐ１〜Ｐ１１からターゲットイメージの８つのターゲット画素Ｐ１’〜Ｐ８’を生成する例を示す。この場合、ターゲット画素Ｐ１’〜Ｐ７’は隣接する該当ターゲット画素値に反映すべき２つのソース画素の画素値を該当ターゲット画素が離隔された距離に対応するように反映して生成し、ターゲット画素Ｐ８’はソース画素Ｐ１１をその通り取って生成する。その反面、ソース画素Ｐ１をその通り取ってターゲット画素Ｐ１’を生成し、隣接する該当ターゲット画素値に反映する２つのソース画素の画素値を該当ターゲット画素が離隔された距離に対応するように反映してターゲット画素Ｐ２’〜Ｐ８’を生成しても同様である。
【００２６】
上記した図３Ｂで、ターゲット画素Ｐ１’〜Ｐ７’の画素値は隣接する２つのソース画素の画素値をそれぞれ該当ターゲット画素が離隔された距離に対応する加重値を掛け、この掛けられた２つの値を加算してから最下位ビットの方にnビットシフトさせることにより得られる。デジタル画像において、一つの画素が８ビットデータで表示されると、画素値は０〜２５５のうちのいずれか一つの値となるが、このような画素値を最上位ビット方にｎビットシフトさせると、該当画素値２nを掛けた結果となり、その逆に最下位ビット方にｎビットシフトさせると、該当画素値を２nに割る結果となる。
【００２７】
図２（ａ）及び図２（ｂ）に示したように、ソースイメージの処理ユニットのサイズが１１で、ターゲットイメージの最小処理ユニットのサイズが８の場合に上記数式１４により加重値を求めると、下記の表２のようになり、これを図３Ａ、図３Ｂに示す。ただし、Ｖｗ[８]は画素Ｐｂを基準とする場合で、この場合には１０２４でなく０となる。
【００２８】
【表２】
図３Ｂの例において、２つのソース画素Ｐ１、Ｐ２からターゲット画素Ｐ１’を生成する例を説明すれば、ターゲット画素Ｐ１’＝(Ｐ１×６４０＋Ｐ２×３８４)≫１０となる。ここで、≫１０は最下位ビット側への１０ビットシフトを意味するが、これは２つの画素間の加重値和が２10(＝１０２４)となるようにｎを選択して上記数式１４により加重値を求めるとき、最上位ビット方に１０ビットシフトさせることにより、結果的には１０２４とのかけ算と同様なので、（Ｐ１×６４０＋Ｐ２×３８４）により得られた値を１０２４で除算して画素が有する値に戻すためのものである。このように、ターゲット画素Ｐ１’の生成は整数の加重値乗算、加算、そしてシフトのみで具現され、残りのターゲット画素Ｐ２’〜Ｐ７’も同様なので、ターゲット画素Ｐ８’はソース画素Ｐ１１の画素値をその通り取る。
【００３０】
したがって、ターゲット画素値に反映するソース画素と離隔された距離に対応し、２つの画素間の加重値の和が２nとなる整数の加重値を使用してターゲット画素値を生成するので、内蔵形システムで要求される画質を満足させ、かつ従来とは異なり乗算が含まれず、乗算も整数間の乗算だけでなり、ｎを乗算しあるいは除算する演算もビットシフトによりなされるので、演算量が大幅に減少する。
【００３１】
図４は、本発明の一実施例による画像スケーリング装置のブロック構成図を示す。画像スケーリング処理をするプロセッサー１００と画像データ、すなわち画素データを貯蔵する第１、第２フレームメモリ(frame memory)１０２、１０４で構成される。プロセッサー１００は本発明を採用する内蔵形システムの主制御プロセッサーを使用することもでき、別の専用プロセッサーを追加して使用することもできる。後述するように、第１フレームメモリ１０２は1フレームのソースイメージデータと、このソースイメージデータから生成されたターゲットイメージデータを貯蔵するのに使用され、第２フレームメモリ１０４はスケーリング処理中に必要な画像データを貯蔵するのに使用される。
【００３２】
本発明の第１実施例によるプロセッサー１００の画像スケーリング流れ図を段階２００〜２０６のように示す図５を参照すれば、第１フレームメモリ１０２に1フレームのソースイメージデータが貯蔵されている状態でプロセッサー１００は段階２００でターゲットイメージのサイズに対するソースイメージのサイズのスケーリング比率により最小処理ユニットのサイズを決定する。このとき、上述したように、ソースイメージとターゲットイメージそれぞれの最小処理ユニットはソースイメージとターゲットイメージの横方向と縦方向に対してそれぞれ相互に同一の個数で分割されるように決定する。
【００３３】
このように、最小処理ユニットを決定するプロセッサー１００の処理過程に対して図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する例を段階３００〜３０６のように示す図６を参照して詳細に説明する。まず、プロセッサー１００は段階３００でソースイメージのサイズSrcを２４２に、ターゲットイメージサイズDesを１７６に、スケーリング比率RsをSrc/Decに、カウント値Countを０に初期化する。次に、段階３０２〜３０４でRs×Count値が整数となるまでカウント値Countを１ずつ増加させる。すると、スケーリング比率Rsに対する整数倍となり、Rs×Count値が整数となる最小値が求められるが、スケーリング比率Rsは２４２/１７６＝１.３７５なので、Rs×Count値が整数となる最小値は１１であり、このときのカウント値Countは８となる。このようにRs×Count値が整数となる最小値が求められると、段階３０６でRs×Count値１１をソースイメージの最小処理ユニットのサイズに決定し、カウント値Countをターゲットイメージの最小処理ユニットのサイズに決定する。これにより、ソースイメージとターゲットイメージの最小処理ユニットのサイズが図２（ａ）及び図２（ｂ）に示したように決定される。
【００３４】
上記段階２００で、プロセッサー１００はソースイメージとターゲットイメージの最小処理ユニットのサイズを決定してから、段階２０２で数式１４により加重値を求める。このように、加重値を求めるプロセッサー１００の処理過程を図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する例を挙げて段階４００〜４０８のように示す図７を参照して詳細に説明する。まず、プロセッサー１００は段階４００でインデックスｉを１に初期化した後、段階４０２〜４０８でインデックスｉがターゲットイメージの最小処理ユニットのサイズと同一になるまで１ずつ増加させつつ、数式１４により加重値を求めると共に、index[i] = (integer cast) (Rs x i)により後述するように各ターゲット画素の生成のための演算基準となるソース画素を指定するソース画素インデックスを求める。ここで、index［i］はソース画素インデックスの貯蔵配列である。このとき、加重値は表２のように求められ、ソース画素のインデックスは下記の表３のように求められる。一方、上記した段階４０２に示す数式は数式１４と違って｛Rs x i - (integer cast) (Rs x i)｝<< nの結果に対して整数を取るのが省略されているが、これは図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合には｛Rs x i - (integer cast) (Rs x i)｝<< nの結果が整数となるので省略したものである。
【００３５】
【表３】
上記したようにプロセッサー１００は上記段階２０２で加重値を求めた後、段階２０４でソースイメージの画素行のそれぞれに対して横方向にソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットそれぞれのターゲット画素の値を下記の数式１５により求めて横方向にスケーリングされた画像を生成する。このとき、ソースイメージが図９（ａ）に示すようであれば、段階２０４によりソースイメージの画素行それぞれの最小処理ユニットが図９（ｂ）のように横方向にスケーリングされてターゲットイメージの最小処理ユニットが生成されるので、横方向にスケーリングされた画像が得られる。このように生成される横方向にスケーリングされた画像のデータは第２フレームメモリ１０４に貯蔵される。
【００３７】
【数１５】
前記数式１５で、ｉ、Vw［i］は数式１４と同一であり、index[i]はソース画素インデックスの貯蔵配列として、上記の(integer cast) (Rs x i)である。Des[i]はターゲットイメージの最小処理ユニットの貯蔵配列で、Src[index[i]]はソースイメージの最小処理ユニットの貯蔵配列である。≫nは最下位ビット側へのnビットシフトを示し、ここで最下位ビット側へのnビットシフトは(2ｎ-Vw[i]) x Src[Index[i]]+Vw[i] x Src[Index[i+1]]を２nで除算した結果となる。
【００３９】
上記したように、横方向にスケーリングされた画像を得るために図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合の例を挙げて、ソースイメージの一つの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成するプロセッサー１００の処理過程を段階５００〜５０６で示す図８を参照して詳細に説明する。プロセッサー１００は段階５００でインデックスｉを１に初期化した後、段階５０２〜５０６でインデックスｉがターゲットイメージの最小処理ユニットのサイズと同じようになるまで１ずつ増加させながら、数式１５によりターゲットイメージの最小処理ユニットのターゲット画素値を求める。これにより、求められるターゲットイメージの最小処理ユニットの８つのターゲット画素値は下記の表４のようである。
【００４０】
【表４】
ここで、Src[1]〜Src[11]は図３Ｂのようなソースイメージの一つの最小処理ユニットの画素Ｐ１〜Ｐ１１の画素値をそれぞれ意味する。例えば、図３Ｂの例において、２つのソース画素Ｐ１、Ｐ２からターゲット画素Ｐ１’を生成する例を表３を参照して説明すれば、ターゲット画素Ｐ１’値Des[1]＝（P1×640＋P2×384）≫１０となる。ここで、≫１０は上述したように段階４０２で数式１４により加重値を求めるとき、最上位ビットの方に１０ビットシフトさせるので、（Ｐ１×６４０＋Ｐ２×３８４）により得られた値を１０２４に除算して画素が有する値に戻すことである。そして、ターゲット画素Ｐ８’値のDes[8]はSrc[12]がソースイメージの最小処理ユニットにないので、その値が０なので、ソース画素Ｐ１１値に１０２４を掛けてからさらに最下位ビット方に１０ビットシフトさせて得るようになるので、ソース画素Ｐ１１の値をその通り取った結果となる。
【００４２】
上記したように、段階５００〜５０６によりソースイメージの１つの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成する過程を段階２０４でソースイメージの画素行それぞれの横方向に継続される最小処理ユニットに対して１つずつ順次に繰り返すことで、図９（ａ）のようなソースイメージから図９（ｂ）のように横方向にスケーリングされた画像が得られる。
【００４３】
上記のようにプロセッサー１００は段階２０４で横方向にスケーリングされた画像を生成してから、段階２０６で横方向にスケーリングされた画像の画素列をそれぞれに対して縦方向にソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットそれぞれのターゲット画素の値を数式１５により求めてターゲットイメージを生成する。このとき、ソースイメージの１つの最小処理ユニットからそれに対応するターゲットイメージの１つの最小処理ユニットを生成することは段階２０４と同様に段階５００〜５０６により遂行される。これにより、図９（ｂ）に示すように横方向にスケーリングされた画像が段階２０６により図９（ｃ）のように縦方向にスケーリングされるので、結果的に図９（ｃ）の画像は横方向及び縦方向にダウンスケーリングされたターゲットイメージとなる。このように生成されるターゲットイメージのデータはソースイメージのデータの代わりに第１フレームメモリ１０２に貯蔵される。
【００４４】
上記の説明ではソース画素インデックスindex[i]を段階４０４で求めることを説明したが、段階５０２で求めてもよい。段階５０２でソース画素インデックスを求めると、最小処理ユニットを処理する度に演算を行うべきなので演算量が多くなり、それにより段階４０４で求めることである。このように、段階４０４でソース画素インデックスindex[i]を求めると、最小処理ユニットを処理する度に演算する必要なしに１つのソースイメージに対して一度だけ演算を遂行すればよい。
【００４５】
一方、上記したように画像スケーリングをする場合、第２フレームメモリ１０４には図９（ｂ）のように横方向にスケーリングされた画像のデータを貯蔵しなければならないので、それほどのサイズを有する貯蔵容量が要求される。前述したように、内蔵形システムではメモリ容量も制約を受けるので、第２フレームメモリ１０４の貯蔵容量をできるだけ減少するのが望ましい。もし、ソースイメージ全体を横方向にスケーリングしてから縦方向にスケーリングしてターゲットイメージを生成する代わりに、最小処理ブロック単位でソースイメージからターゲットイメージを生成するとすれば、第２フレームメモリ１０４はターゲットイメージの最小処理ブロックのサイズのみ有すればよい。すなわち、上記例のようにダウンスケーリングをする場合にプロセッサー１００は第１フレームメモリ１０２に貯蔵されているソースイメージの始めからターゲットイメージを最小処理ブロック単位で生成し始める。このとき、ターゲットイメージの一つの最小処理ブロックを生成する間には画素の画像データを第２フレームメモリ１０４に貯蔵してから、該当する１つの最小処理ブロックを生成完了すれば、生成されたターゲットイメージの最小処理ブロックの画像データを第１フレームメモリ１０２に貯蔵する。このとき、第１フレームメモリ１０２でターゲットイメージの最小処理ブロックの画像データが貯蔵される貯蔵領域に貯蔵されているソースイメージのデータに対しては既にターゲットイメージの生成を完了したので、その代わりにターゲットイメージの最小処理ブロックの画像データを貯蔵してもよい。ただし、ソースイメージを拡大するアップスケーリングをする場合にはターゲットイメージの最小処理ブロックのサイズがソースイメージの最小処理ブロックのサイズより大きいので、上記のような方法を使用すればソースイメージのデータがターゲットイメージを生成する前になくなる。これに基づいてアップスケーリングをする場合にはプロセッサー１００は第１フレームメモリ１０２に貯蔵されているソースイメージの終わりからターゲットイメージを最小処理ブロック単位に生成し始める。このとき、ターゲットイメージの１つの最小処理ブロックを生成する間には画素の画像データを第２フレームメモリ１０４に貯蔵してから該当する一つの最小処理ブロックを生成完了すれば、生成された最小処理ブロックを第１フレームメモリ１０２の貯蔵領域中に端部分から貯蔵し始める。このために、第１フレームメモリ１０２は少なくとも拡大したターゲットイメージのサイズだけの貯蔵領域を有するが、アップスケーリングを始める前に1フレームのソースイメージが貯蔵されている状態で、第１フレームメモリ１０２の端部分にはソースイメージのサイズとターゲットイメージのサイズとの間の差に該当する貯蔵領域が空いているようになる。このようにソースイメージの終わりからターゲットイメージを最小処理ブロック単位に生成し始め、生成される最小処理ブロックを第１フレームメモリ１０２の空いている端部分の貯蔵領域から貯蔵し始めると、ターゲットイメージのデータを生成する前にソースイメージのデータがなくなる場合が発生しないようになる。
【００４６】
図１０は、最小処理ブロック単位でターゲットイメージを生成することを本発明の第２実施例によるプロセッサー１００の画像スケーリング流れ図を段階６００〜６０８に示すものである。プロセッサー１００は段階６００でスケーリング比率によりソースイメージとターゲットイメージの最小処理ユニットを決定し、段階６０２で加重値の数式１４により求める。この段階６００、６０２は図５の段階２００、２０２とそれぞれ同一なので、これに対する説明は省略する。その後、プロセッサー１００は段階６０４でソースイメージの最小処理ブロックの画素行それぞれに対してソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットのターゲット画素の値を数式１５により求めて横方向にスケーリングされた最小処理ブロックを生成する。このとき、ソースイメージの始めから横方向にスケーリングされた最小処理ブロックを生成し始める。そして、ソースイメージが図１２（ａ）のようであれば、段階６０４によりソースイメージの最小処理ブロックが図１２（ｂ）のように横方向にスケーリングされるので、横方向にスケーリングされた最小処理ブロックが得られる。このように生成される横方向にスケーリングされた最小処理ブロックのデータは第２フレームメモリ１０４に貯蔵される。
【００４７】
図１１は、段階６０４で横方向にスケーリングされた最小処理ブロックを得るために図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合を例に挙げ、ソースイメージの１つの最小処理ブロックからそれに対応する横方向にスケーリングされた１つの最小処理ブロックを生成するプロセッサー１００の処理過程を段階７００〜７１２に示すものである。これら段階７００〜７１２は、一つの最小処理ユニットの画像データを生成する図８の段階５００〜５０６をソースイメージの１つの最小処理ブロックの最小処理ユニットの個数だけ繰り返して横方向にスケーリングされた１つの最小処理ブロックを生成することを示す。このとき、一つの最小処理ブロックの最小処理ユニットの個数は画素行の個数と同一に１１つなので、図１１による段階７００〜７１２により横方向にスケーリングされた一つの最小処理ブロックが生成される。まず、プロセッサー１００は段階７００でカウント値Countを０に初期化し、段階７０２でターゲットイメージの最小処理ユニットのサイズ×Countをインデックスｉに定める。その後、段階７０４〜７０８で図８の段階５０２〜５０６のようにインデックスｉがターゲットイメージの最小処理ユニットのサイズと同一になるまで１つずつ増加させつつ、数式１５によりターゲットイメージの最小処理ユニットのターゲット画素値を求める。このとき、インデックスｉがターゲットイメージの最小処理ユニットのサイズと同じになると、すなわち一つの最小処理ユニットに対する処理が完了すると、段階７１０でカウント値Countを1だけ増加させてから、段階７１２でカウント値Countがソースイメージの最小処理ユニットのサイズと同じであるかどうかを確認する。もし、カウント値Countがソースイメージの最小処理ユニットのサイズに至っていないと、段階７０２に進んで次の最小処理ユニットに対する処理を繰り返す。このようにして、カウント値Countがソースイメージの最小処理ユニットのサイズと同一になると、ソースイメージの一つの最小処理ブロックのすべての最小処理ユニットに対して横方向にスケーリング処理がすべて完了したので終了する。
【００４８】
上記のように、横方向にスケーリングされた一つの最小処理ブロックが生成されると、プロセッサー１００は段階６０６で横方向にスケーリングされた最小処理ブロックの画素列のそれぞれに対してソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットのターゲット画素値を段階６０４と同様に段階７００〜７１２により数式１５により求めて横方向及び縦方向にスケーリングされた最小処理ブロックを生成する。このとき、横方向にスケーリングされた最小処理ブロックが図１２（ｂ）と同じであれば、段階６０６により図１２（ｃ）のように横方向及び縦方向にスケーリングされた最小処理ブロック、すなわちターゲットイメージの一つの最小処理ブロックが生成される。このように生成される横方向にスケーリングされた最小処理ブロックのデータは上述したように第２フレームメモリ１０４に貯蔵される。この後、プロセッサー１００は段階６０８でターゲットイメージの最小処理ブロックをすべて生成完了したかどうかを検査し、まだ完了しないと段階６０４に進んで次の最小処理ブロックを生成する。こうしてターゲットイメージの最小処理ブロックをすべて生成完了すれば終了する。
【００４９】
したがって、第２フレームメモリ１０４にはソースイメージの一つの最小処理ブロックからターゲットイメージの一つの最小処理ブロックを生成する途中で必要な画像データ、すなわち図１２（ｂ）のように横方向にスケーリングされた１つの最小処理ブロックのみを貯蔵すればよいので、横方向にスケーリングされた１つの最小処理ブロックのサイズだけの貯蔵容量のみを有すればよい。つまり、本発明の第１実施例に比して要求されるメモリの容量が大幅に減少する。
【００５０】
一方、上記したような本発明の第１及び第２実施例によれば、内蔵形システムで要求される画質を満足させつつ、従来と違って除算の演算が含まれず、乗算も整数間の乗算だけで行われ、ｎを掛けたり割ったりする演算もビットシフトにより遂行されるので、演算量が大幅に減少するが、ターゲットイメージのそれぞれのターゲット画素を生成する度に数式１５による演算が２回、すなわち横方向にスケーリングするとき１回、さらに縦方向にスケーリングするとき１回遂行される。これに対して、上記の本発明の第１及び第２実施例を説明すれば、図３Ｂのように最小処理ユニット単位でソースイメージからターゲットイメージを生成する過程が横方向と縦方向に対して反復されることが分かる。すなわち、１１つのソース画素Ｐ１〜Ｐ１１から８つのターゲット画素Ｐ１’〜Ｐ８’を生成する演算は常に数式１５により同一に行われ、デジタル画像の画素値は上述したように例えば０〜２５５のうちの一つの値を有するので、ソース画素Ｐ１〜Ｐ１１の画素値により演算に使用される値のみ異なるようになる。この点を考えるとき、ソース画素が有する画素値、例えば０から２５５までについて予め加重値を掛けてルックアップテーブル(look-up table)を生成しておけば、それぞれのターゲット画素を生成するとき前記数式１５でソース画素と加重値を乗算する演算は省略可能になる。
【００５１】
図１３は上記のようにルックアップテーブルを使用してターゲットイメージを生成するための本発明の他の実施例による画像スケーリング装置のブロック構成図をしめすものであって、図４の画像スケーリング装置でルックアップテーブルを貯蔵するためのルックアップテーブルメモリ１０６を追加して構成するものである。プロセッサー１００はソースイメージからターゲットイメージを生成処理する前に後述するようにルックアップテーブルを生成してルックアップテーブルメモリ１０６に貯蔵して置いてから使用する。
【００５２】
図１４はこのルックアップテーブルを使用する本発明の第３実施例によるプロセッサー１００の画像スケーリング処理過程を段階８００〜８０６に示す流れ図である。まず、プロセッサー１００は段階８００でスケーリング比率によりソースイメージとターゲットイメージの最小処理ユニットを決定する。段階８００は図５の段階２００と同一なので、その説明は省略する。その後、プロセッサー１００は段階８０２で加重値を数式１４により求め、下記の数式１６によりそれぞれの加重値を一つの画素が有することができる画素値のそれぞれと掛けてルックアップテーブルを生成する。
【００５３】
【数１６】
数式１６でｉはターゲットイメージの最小処理ユニットのターゲット画素に対するインデックス、Ｖｗ[i]はターゲットイメージの最小処理ユニットのターゲット画素に対する加重値貯蔵配列、Lookup_Table[i][Table_Index]はインデックスｉと一つの画素が有する画素値に対するインデックスTable_Indexの配列からなるルックアップテーブル貯蔵配列を示す。
【００５５】
上記段階８０２によりルックアップテーブルを生成するプロセッサー１００の具体流れ図を段階９００〜９１６に示す図１５を参照すれば、まずプロセッサー１００は段階９００でインデックスｉを１に初期化した後、段階９０２で数式１４により加重値を求める。次に、段階９０４でテーブルインデックスTable_Indexを０に初期化した後、段階９０６〜９１０でテーブルインデックスTable_Indexが２５５を超えるまでテーブルインデックスTable_Indexを１ずつ増加させつつ数式１６により一つのインデックスｉ値に対応する一つの加重値に対するルックアップテーブルを生成する。これにより、一つのインデックスｉ値に対応する一つの加重値に対して０から２５５までの値からなるルックアップテーブルが生成されると、段階９１２で図７の段階４０４と同一にソース画素インデックスを求める。その後、段階９１４でインデックスｉがターゲットイメージの最小処理ユニットのサイズが同じであるかどうかを検査し、まだ同一になければ段階９１６でインデックスｉを１増加させた後、段階９０２から繰り返す。このようにして、インデックスｉがターゲットイメージの最小処理ユニットのサイズと同じになるまで段階９０２〜９１６を繰り返すことで、下記の表５のようなルックアップテーブルLookup_Table[i][Table_Index]が生成されるとともに、表３のようなインデックス配列Index[i]が生成されてルックアップテーブルメモリ１０６に貯蔵される。
【００５６】
【表５】
表５でＶｗ[1]〜Ｖｗ[8]は表３と同一であり、Ｖｗ[1]×１≫１０、Ｖｗ[1]×２≫１０、Ｖｗ[1]×３≫１０、…などは実際には乗算及びシフトされた値がルックアップテーブルに生成されて貯蔵されるものであるが、便宜上数式で示すことである。
【００５８】
上記したようにルックアップテーブルを生成してルックアップテーブルメモリ１０６に貯蔵した後、プロセッサー１００は段階８０４でソースイメージの画素行のそれぞれに対して横方向にソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットそれぞれのターゲット画素値を数式１７により表５のルックアップテーブルを参照した演算により求めて横方向にスケーリングされた画像を生成する。
【００５９】
【数１７】
数式１７で、ｉはターゲットイメージの最小処理ユニットのターゲット画素に対するインデックスで、Lookup_Table[i][Table_Index]はインデックスｉと一つの画素が有する画素値に対するインデックスTable_Indexの配列からなるルックアップテーブル貯蔵配列であり、Des[i]はターゲットイメージの最小処理ユニットの貯蔵配列、Src[index[i]]はソースイメージの最小処理ユニットの貯蔵配列であり、Index[i]はターゲット画素の生成のための演算基準となるソース画素インデックスの貯蔵配列として前述したように（integer cast）(Rs×I)であり、Constは後述するようにターゲットイメージの最小処理ユニットのサイズの1/2値に初期化し、インデックスｉがターゲットイメージの最小処理ユニットのサイズの１/２より大きい場合には符号が反転される。
【００６１】
上記したようにルックアップテーブルを使用して横方向にスケーリングされた画像を得るために、図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合の例を挙げてソースイメージの一つの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成するプロセッサー１００の処理過程を段階１０００〜１０１０に示す図１６を参照して詳細に説明する。まず、プロセッサー１００は段階１０００でインデックスｉを１に初期化し、Const値をターゲットイメージの最小処理ユニットのサイズの１/２、すなわち４に定めた後、段階１００２〜１０１０でインデックスｉがターゲットイメージの最小処理ユニットのサイズと同じになるまで１ずつ増加させつつ、数式１７によりターゲットイメージの最小処理ユニットのターゲット画素の値を求める。このとき、Const値はインデックスｉがターゲットイメージの最小処理ユニットのサイズの１/２より大きくなると、段階１０１０で符号が反転される。これにより求められるターゲットイメージの最小処理ユニットの８つのターゲット画素値は前記表４のように求められる。しかし、ソース画素値と加重値の乗算及びビットシフトは上記したようにルックアップテーブルを生成するとき、既に遂行されたのでそれぞれのターゲット画素値は表５に示すルックアップテーブルでLookup_Table[i+Const][Src[Index[i]]]に該当する値と、Lookup_Table[i] [Src[Index[i]+1]]値を取って加算をすれば得られる。
【００６２】
上記の段階１０００〜１０１０によりソースイメージの一つの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成する過程を段階８０４でソースイメージの画素行の横方向にそれぞれ連結される最小処理ユニットに対して一つずつ順次に反復することで、図９（ａ）からソースイメージが図９（ｂ）のように横方向にスケーリングされた画像が得られる。
【００６３】
上記プロセッサー１００は段階８０４で横方向にスケーリングされた画像を生成してから、段階８０６で横方向にスケーリングされた画像の画素列のそれぞれに対して縦方向にソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットそれぞれのターゲット画素値を数式１７により表５のルックアップテーブルを参照した演算により求めてターゲットイメージを生成する。このとき、ソースイメージの最小処理ユニットからそれに対応するターゲットイメージの一つの最小処理ユニットを生成することは、段階８０４と同様に段階１０００〜１０１０によりなる。これにより、図９（ｂ）のように横方向にスケーリングされた画像が段階８０６により図９（ｃ）のように縦方向にスケーリングされるので、結果的に図９（ｃ）の画像は横方向及び縦方向にダウンスケーリングされたターゲットイメージとなる。このように生成されるターゲットイメージのデータはソースイメージのデータの代わりに第１フレームメモリ１０２に貯蔵される。
【００６４】
したがって、ソース画素が有する画素値に対して予め加重値を掛けてルックアップテーブルを生成しておいた後、それぞれのターゲット画素を生成するとき、数式１５でソース画素と加重値を乗算する演算を省略できるので、プロセッサー１００の負荷を減少し、スケーリングの処理速度が速くなる。
【００６５】
通常に、内蔵形システムでソースイメージのサイズとターゲットイメージのサイズは固定される場合が多く、もし使用者の選択などにより変更可能に具現されるとしてもフレームごとに変更されない。そこで、このように生成されたルックアップテーブルは内蔵形システムの電源が“オン”されている間、またはソースイメージのサイズとターゲットイメージのサイズが変更される前まで使用可能であり、最悪の状況を考慮しても少なくとも１フレームに対して使用されうる。もし、本発明を採用した内蔵形システムがソースイメージのサイズとターゲットイメージのサイズは固定されている製品であれば、すなわち標準ビデオＣＯＤＥＣから出力される画像をＬＣＤの画像サイズに合わせてディスプレーするだけであれば、上記のルックアップテーブルは変更される必要がないので、製造企業で不揮発性メモリに貯蔵させておけば、実際スケーリング処理時にルックアップテーブルの生成を省略することも可能になる。
【００６６】
一方、上記のルックアップテーブルを使用してスケーリング処理をする本発明は図１０に示す本発明の第２実施例のように、最小処理ブロック単位でターゲットイメージを生成することと結合して実施することもできる。図１７はこのための本発明の第４実施例によるプロセッサー１００の画像スケーリング流れ図を段階１１００〜１１０８で示すものである。まず、プロセッサー１００は段階１１００でスケーリング比率によりソースイメージとターゲットイメージの最小処理ユニットを決定し、段階１１０２で加重値を数式１４により求め、数式１６により表５のようなルックアップテーブルを生成する。この段階１１００、１１０２は図１４の段階８００、８０２とそれぞれ同一なので、これに対する説明は省略する。その後、プロセッサー１００は段階１１０４でソースイメージの最小処理ブロックの画素行それぞれに対してソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットのターゲット画素値を数式１７により表５のルックアップテーブルを参照した演算により求めて横方向にスケーリングされた最小処理ブロックを生成する。このとき、ソースイメージの始めから横方向にスケーリングされた最小処理ブロックを生成し始める。そして、ソースイメージが図１２（ａ）と同一であるとすれば、段階１１０４によりソースイメージの最小処理ブロックが図１２（ｂ）のように横方向にスケーリングされるので、横方向にスケーリングされた最小処理ブロックが得られる。このように生成される横方向にスケーリングされた最小処理ブロックのデータは第２フレームメモリ１０４に貯蔵される。
【００６７】
図１８は、段階８０４で横方向にスケーリングされた最小処理ブロックを得るために図２（ａ）のような２４２×１９８サイズのソースイメージを図２（ｂ）のような１７６×１４４サイズのターゲットイメージに縮小する場合の例を挙げてソースイメージの一つの最小処理ブロックからそれに対応する横方向にスケーリングされた一つの最小処理ブロックを生成するプロセッサー１００の処理過程を段階１２００〜１２１６に示すものである。この段階１２００〜１２１６は上述のルックアップテーブルを参照して一つの最小処理ユニットの画像データを生成する図１６の段階１０００〜１０１０をソースイメージの一つの最小処理ブロックの最小処理ユニットの個数だけ繰り返して横方向にスケーリングされた一つの最小処理ブロックを生成することを示すものである。このとき、一つの最小処理ブロックの最小処理ユニットの個数は画素行の個数と同一に１１つなので、図１８による段階１２００〜１２１６により横方向にスケーリングされた一つの最小処理ブロックが生成される。まず、プロセッサー１００は段階１２００でカウント値Countを０に初期化し、段階１２０２でターゲットイメージの最小処理ユニットサイズ×Countをインデックスｉに決めるとともに、Const値をターゲットイメージの最小処理ユニットのサイズの１/２、すなわち４に定める。その後、段階１２０４〜１２１２で図１６の段階１００２〜１０１０と同様にインデックスｉがターゲットイメージの最小処理ユニットのサイズと同じになるまで１ずつ増加させつつ、数式１７により表５のルックアップテーブルを参照した演算によりターゲットイメージの最小処理ユニットのターゲット画素値を求める。このとき、インデックスｉがターゲットイメージの最小処理ユニットのサイズと同一であれば、すなわち一つの最小処理ユニットに対する処理が完了すると、段階１２１４でカウント値Countを1増加させてから、段階１２１６でカウント値Countがソースイメージの最小処理ユニットのサイズと同じであるかどうかを確認する。もし、カウント値Countがソースイメージの最小処理ユニットのサイズに到達しないと、段階１２０２に進んで次の最小処理ユニットに対する処理を反復する。このようにして、カウント値Countがソースイメージの最小処理ユニットのサイズと同一になると、ソースイメージの一つの最小処理ブロックのすべての最小処理ユニットに対して横方向にスケーリング処理がすべて完了したので終了する。
【００６８】
上記したように横方向にスケーリングされた一つの最小処理ブロックが生成されると、プロセッサー１００は段階１１０６で横方向にスケーリングされた最小処理ブロックの画素列のそれぞれに対してソースイメージの最小処理ユニットに対応するターゲットイメージの最小処理ユニットのターゲット画素値を段階１１０４と同様に段階１２００〜１２１６により数式１７により表５のルックアップテーブルを参照した演算により求めて横方向及び縦方向にスケーリングされた最小処理ブロックを生成する。このとき、横方向にスケーリングされた最小処理ブロックが図１２（ｂ）のようであれば、段階１１０６により図１２（ｃ）のように横方向及び縦方向にスケーリングされた最小処理ブロック、すなわちターゲットイメージの一つの最小処理ブロックが生成される。このように生成される横方向にスケーリングされた最小処理ブロックのデータは、上述したように第１フレームメモリ１０４に貯蔵される。その後、プロセッサー１００は段階１１０８でターゲットイメージの最小処理ブロックをすべて生成完了したかどうかを検査し、まだ完了しないと段階１１０４に進んで次の最小処理ブロックを生成する。このようにターゲットイメージの最小処理ブロックをすべて生成完了すれば終了する。
【００６９】
したがって、ルックアップテーブルを使用することによりプロセッサー１００の負荷が減少するようになってスケーリング処理速度が速くなるだけでなく、第２フレームメモリ１０４の貯蔵容量を横方向にスケーリングされた1つの最小処理ブロックのサイズだけ減少することができる。
【００７０】
参考的に図２（ａ）のような２４２×１９８サイズの画像を図２（ｂ）のような１７６×１４４サイズの縮小するダウンスケーリングをする場合において、ルックアップテーブルを用いて横方向に縮小するプログラムの例をＡＮＳＩ(American National Standards Institute)-Ｃ言語(language)を使用して示すと、次のようである。下記のプログラムは図３（ｂ）と違って、ターゲット画素Ｐ１’の画素値はソース画素Ｐ１の画素値をその通り取って残りのターゲット画素Ｐ２’〜Ｐ８’の画素値は隣接する２つのソース画素の画素値を反映して生成する場合の例である。
【００７１】
【００７２】
すなわち、全体画像に対して画素行を処理して２４２つのうち１７６つの画素が得られ、最小処理ブロックが２２回反復実行されつつ該当処理が終了する。このように横方向処理の場合、処理結果による画素値が横方向に隣接する画素の画素値なので、４つの画素値を並列に、すなわち３２ビットで貯蔵すれば効率性が高くなる。
【００７３】
上記したように、横方向にスケーリングされた画像をルックアップテーブルを用いて縦方向に縮小するプログラムをANSI-C言語を使用すれば、次のようである。
【００７４】
すなわち、全体画像に対して画素列を処理して１９８つのうち１４４つの画素が得られ、最小処理ブロックが１８回反復実行されつつ該当処理が終了する。
【００７６】
上記したようにソースイメージを横方向に縮小するプログラムと縦方向に縮小するプログラムにおいてtb125[ ]〜tb875[ ]は、下記の表６のようなルックアップテーブルを意味する。
【００７７】
【表６】
表６で、tb125[i]、tb250[i]、tb375[i]、tb625[i]、tb750[i]、tb875[i]はそれぞれ(unsigned char)に与えられた画素値０〜２５５に対して図３Ａで画素Ｐａから１/８、２/８、３/８、５/８、６/８、７/８地点の加重値に対するルックアップテーブルを意味する。例えば、表２で加重値がVw[1]=384の場合では、上記の表５のLookup_Table[1][1]、Lookup_Table[1][2]、…、Lookup_Table[1][255]がtb375[i]に該当する。したがって、表６のルックアップテーブルは表５と実質的に同じである。ただし、表６で表５と違って加重値が５１２の場合に該当するルックアップテーブル、すなわちtb500[i]はない。これは上記のプログラムから分かるように、des[desIndex+4]は２つのソース画素値src[srcIndex+5]、src[srcIndex+6]と加算した後、最下位ビット方に1ビットシフトさせるとよく、des[desIndex+4*176]は２つのソース画素値src[srcIndex+5*176]、src[srcIndex+6*176]を加算した後、最下位ビット方に1ビットシフトさせるとよいので、別途のルックアップテーブルがなくてもよいためである。
【００７９】
一方、本発明の発明者が試験したことによれば、本発明は最小処理ブロックのサイズが８×８の場合、CIFを基準としてスケーリング比率は５０%〜２００%まで画質の低下なしに適用可能な結果が得られた。そして、２つの隣接画素間を８等分して加重値演算を行う場合、ルックアップテーブルを表５、表６のように生成して使用すれば、８段階の縮小、４段階の拡大が可能である。また、２つの隣接画素間を１６等分して加重値の演算をする場合には表６に加えて表７のようなルックアップテーブルを生成して使用すれば１６段階の縮小、８段階の拡大が可能になる。
【００８０】
【表７】
上記したように２つの隣接画素間をさらに細部的に等分してルックアップテーブルの個数を増加させて使用すれば、加重値がさらに細分化され、演算がより精密に行われるので、ターゲットイメージの画質がよくなるが、演算量が多くなる。したがって、一定個数の段階のみで拡大、縮小が可能なようにルックアップテーブルを生成させ、スケーリング比率がこのような拡大、縮小段階と正確に合わない場合には近似値を有するルックアップテーブルを使用するのが望ましい。
【００８２】
【発明の効果】
したがって本発明は、デジタル画像スケーリングを具現することにおいて、２つの画素間の加重値和が２nとなる整数の加重値を使用して整数間の乗算と加算及びビットシフトによる演算によりターゲット画素値を生成することにより、画質の低下を最小化しながら演算量も減少できるので、内蔵形システムでも多様な画像スケーリングを容易に具現することができる効果がある。
【００８３】
一方、上述した本発明の説明では具体的の実施例に関して説明したが、本発明の範囲を外れない限り多様な変形が実施可能である。特に、本発明の実施例では具体的の例として２４２×１９８サイズの画像を１７６×１４４サイズに縮小するダウンスケーリングの例を挙げたが、ソースイメージとターゲットイメージのサイズが異になっても同様に適用される。したがって、発明の範囲は説明された実施例により定められてはいけないし、特許請求の範囲と特許請求の範囲と均等なことにより定められるべきである。
【図面の簡単な説明】
【図１】 通常の画像アップ-スケーリングの一例を説明するための例示図。
【図２】 本発明によりソースイメージとターゲットイメージが最小処理ユニット及び最小処理ブロックに分割されることを示す例示図。
【図３Ａ】 本発明により２つの隣接画素間を８等分する場合の加重値の例を示す例示図。
【図３Ｂ】 本発明によりソースイメージからターゲットイメージの画素値を生成することを説明するための例示図。
【図４】 本発明の一実施例による画像スケーリング装置のブロック構成図。
【図５】 本発明の第１実施例による画像スケーリング流れ図。
【図６】 本発明の実施例による最小処理ユニットの決定流れ図。
【図７】 本発明の実施例による加重値演算流れ図。
【図８】 図５によるターゲットイメージの最小処理ユニットの生成流れ図。
【図９】 図５によりターゲットイメージが生成されることを説明するための例示図。
【図１０】 本発明の第２実施例による画像スケーリング流れ図。
【図１１】 図１０によるターゲットイメージの最小処理ブロックの生成流れ図。
【図１２】 図１１によりターゲットイメージが生成されることを説明するための例示図。
【図１３】 本発明の他実施例による画像スケーリング装置のブロック構成図。
【図１４】 本発明の第３実施例による画像スケーリング流れ図。
【図１５】 本発明の実施例によるルックアップテーブルの生成流れ図。
【図１６】 図１５によるターゲットイメージの最小処理ユニットの生成流れ図。
【図１７】 本発明の第４実施例による画像スケーリング流れ図。
【図１８】 図１７によるターゲットイメージの最小処理ブロック生成流れ図。
【符号の説明】
１００ プロセッサー
１０２ 第１フレームメモリ
１０４ 第２フレームメモリ
Claims (7)
- 内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、
前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により、前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージの最小処理ユニットのサイズをそれぞれ決定する過程と、
前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ（ｎは自然数）に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求め、それぞれの加重値を一つの画素が有する画素値とそれぞれ掛けてルックアップテーブルを生成する過程と、
前記ソースイメージの最小処理ユニットに対応する前記ターゲットイメージの最小処理ユニットのターゲット画素値をそれぞれ該当ターゲット画素値に反映するソース画素値とその離隔された距離に対応するように前記ルックアップテーブルを参照した演算により求めて前記ターゲットイメージを生成する過程とを備え、
前記加重値が数式８
前記ｎが８、９、１０のうちいずれか一つに定められる画像スケーリング方法。
これら数式において、ｉはターゲットイメージの最小処理ユニットのターゲット画素に対するインデックス、Ｖｗ［ｉ］は加重値の貯蔵配列、Ｒｓはスケーリング比率で、ソースイメージのサイズ／ターゲットイメージのサイズ、ｎは自然数、Ｌｏｏｋｕｐ＿Ｔａｂｌｅ［ｉ］［Ｔａｂｌｅ＿Ｉｎｄｅｘ］はインデックスｉと一つの画素が有する画素値に対するインデックスＴａｂｌｅ＿Ｉｎｄｅｘの配列からなるルックアップテーブル貯蔵配列、Ｄｅｓ［ｉ］はターゲットイメージの最小処理ユニットの貯蔵配列、Ｓｒｃ［ｉｎｄｅｘ［ｉ］］はソースイメージの最小処理ユニットの貯蔵配列、Ｉｎｄｅｘ［ｉ］はターゲット画素の生成のための演算基準となるソース画素インデックスの貯蔵配列として（ｉｎｔｅｇｅｒ ｃａｓｔ）（Ｒｓ ｘ ｉ）、Ｃｏｎｓｔはターゲットイメージの最小処理ユニットのサイズの１／２値に定められ、インデックスｉがターゲットイメージの最小処理ユニットのサイズの１／２より大きい場合には符号が反転され、≪ｎは最上位ビット側へのｎビットシフトを示し、≫ｎは最下位ビット側へのｎビットシフトを示す。 - 前記ターゲットイメージ生成過程が、
前記ソースイメージの画素行それぞれに対して横方向に前記ソースイメージの最小処理ユニットに対応する前記ターゲットイメージの最小処理ユニットそれぞれのターゲット画素の値を前記数式１０により前記ルックアップテーブルを参照した演算により求めて、前記横方向にスケーリングされた画像を生成する過程と、
前記横方向にスケーリングされた画像の画素列それぞれに対して縦方向に前記ソースイメージの最小処理ユニット単位に対応する前記ターゲットイメージの最小処理ユニットそれぞれのターゲット画素値を前記数式１０により前記ルックアップテーブルを参照した演算により求めて前記ターゲットイメージを生成する過程とからなる請求項１記載の画像スケーリング方法。 - 前記加重値を求める過程が、前記ｉｎｄｅｘ［ｉ］を求めることを含む請求項１記載の画像スケーリング方法。
- 内蔵形システムでデジタルソースイメージを拡大または縮小してデジタルターゲットイメージを得るための画像スケーリング方法において、
前記ターゲットイメージのサイズに対する前記ソースイメージのサイズのスケーリング比率により、前記ソースイメージと前記ターゲットイメージが横方向と縦方向に対してそれぞれ相互に同一の個数の最小処理ユニットに分割されるように前記ソースイメージと前記ターゲットイメージの最小処理ユニットのサイズをそれぞれ決定する過程と、
前記ソースイメージの２つの隣接画素間を一定等分した地点にそれぞれ対応し、０〜２ｎ（ｎは自然数）に属し、２つの画素間の加重値和が前記２ｎとなる整数の加重値を求め、それぞれの加重値を一つの画素が有する画素値とをそれぞれ掛けてルックアップテーブルを生成する過程と、
前記ソースイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックにそれぞれ対応するように前記ターゲットイメージの最小処理ユニット×最小処理ユニットからなる最小処理ブロックの最小処理ユニットそれぞれのターゲット画素値を該当ターゲット画素値に反映するソース画素とその離隔された距離に対応するようにルックアップテーブルを参照した演算により求めて前記ターゲットイメージを生成する過程とを備え、
前記加重値が数式１１
前記ｎが８、９、１０のうちいずれか一つに定められる画像スケーリング方法。
これら数式において、ｉはターゲットイメージの最小処理ユニットのターゲット画素に対するインデックス、Ｖｗ［ｉ］は加重値の貯蔵配列、Ｒｓはスケーリング比率で、ソースイメージのサイズ／ターゲットイメージのサイズ、ｎは自然数、Ｌｏｏｋｕｐ＿Ｔａｂｌｅ［ｉ］［Ｔａｂｌｅ＿Ｉｎｄｅｘ］はインデックスｉと一つの画素が有する画素値に対するインデックスＴａｂｌｅ＿Ｉｎｄｅｘの配列からなるルックアップテーブル貯蔵配列、Ｄｅｓ［ｉ］はターゲットイメージの最小処理ユニットの貯蔵配列、Ｓｒｃ［ｉｎｄｅｘ［ｉ］］はソースイメージの最小処理ユニットの貯蔵配列、Ｉｎｄｅｘ［ｉ］はターゲット画素の生成のための演算基準となるソース画素インデックスの貯蔵配列として（ｉｎｔｅｇｅｒ ｃａｓｔ）（Ｒｓ ｘ ｉ）、Ｃｏｎｓｔはターゲットイメージの最小処理ユニットのサイズの１／２値に定められ、インデックスｉがターゲットイメージの最小処理ユニットのサイズの１／２より大きい場合には符号が反転され、≪ｎは最上位ビット側へのｎビットシフトを示し、≫ｎは最下位ビット側へのｎビットシフトを示す。 - 前記ターゲットイメージ生成過程が、
前記ソースイメージの最小処理ブロックの画素行それぞれに対して前記ソースイメージの最小処理ユニットに対応する前記ターゲットイメージの最小処理ユニットのターゲット画素値を前記数式１３により前記ルックアップテーブルを参照した演算により求め、前記横方向にスケーリングされた最小処理ブロックを生成する過程と、
前記横方向にスケーリングされた最小処理ブロックの画素列それぞれに対して前記ソースイメージの最小処理ユニットに対応する前記ターゲットイメージの最小処理ユニットのターゲット画素値を前記数式１３により前記ルックアップテーブルを参照した演算により求めて前記ターゲットイメージの最小処理ブロックを生成する過程とを備える請求項４記載の画像スケーリング方法。 - 前記ターゲットイメージの生成過程が、前記ソースイメージをダウンスケーリングする場合には前記ソースイメージの始めから前記ターゲットイメージの最小処理ブロックを生成し始め、前記ソースイメージをアップスケーリングする場合には前記ソースイメージの終わりから前記ターゲットイメージの最小処理ブロックを生成し始める請求項５記載の画像スケーリング方法。
- 前記加重値を求める過程が、前記ｉｎｄｅｘ［ｉ］を求めることを含む請求項４〜請求項６のうちいずれか一つに記載の画像スケーリング方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020056555A KR100594073B1 (ko) | 2002-09-17 | 2002-09-17 | 내장형 시스템의 디지털 영상 스케일링방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004110776A JP2004110776A (ja) | 2004-04-08 |
| JP4018601B2 true JP4018601B2 (ja) | 2007-12-05 |
Family
ID=31944879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003185831A Expired - Lifetime JP4018601B2 (ja) | 2002-09-17 | 2003-06-27 | 内蔵形システムのデジタル画像スケーリング方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7228008B2 (ja) |
| EP (1) | EP1400919A3 (ja) |
| JP (1) | JP4018601B2 (ja) |
| KR (1) | KR100594073B1 (ja) |
| CN (1) | CN1229975C (ja) |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI20045201A (fi) * | 2004-05-31 | 2005-12-01 | Nokia Corp | Menetelmä ja järjestelmä kuvien katsomiseksi ja parantamiseksi |
| US7319797B2 (en) * | 2004-06-28 | 2008-01-15 | Qualcomm Incorporated | Adaptive filters and apparatus, methods, and systems for image processing |
| CN100395811C (zh) * | 2005-03-29 | 2008-06-18 | 威盛电子股份有限公司 | 可编程的图像大小转换方法及装置 |
| US7623711B2 (en) | 2005-06-30 | 2009-11-24 | Ricoh Co., Ltd. | White space graphs and trees for content-adaptive scaling of document images |
| JP4830401B2 (ja) * | 2005-08-24 | 2011-12-07 | カシオ計算機株式会社 | 画像変換装置および画像変換方法 |
| KR100657343B1 (ko) * | 2005-10-19 | 2006-12-14 | 삼성전자주식회사 | 영상처리장치 및 방법 |
| CN100401741C (zh) * | 2006-08-10 | 2008-07-09 | 威盛电子股份有限公司 | 权重调整装置与权重调整方法 |
| TWI317915B (en) * | 2006-08-23 | 2009-12-01 | Princeton Technology Corp | Image processing system and method for image scaling |
| US20080204468A1 (en) * | 2007-02-28 | 2008-08-28 | Wenlong Li | Graphics processor pipelined reduction operations |
| JP4987688B2 (ja) * | 2007-12-25 | 2012-07-25 | 株式会社東芝 | 画像高解像度化方法および装置 |
| RU2368006C1 (ru) | 2008-01-10 | 2009-09-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Способ и система адаптивного переформатирования цифровых изображений |
| JP5096247B2 (ja) * | 2008-07-08 | 2012-12-12 | ルネサスエレクトロニクス株式会社 | 画像処理装置、及び方法 |
| JP4807401B2 (ja) * | 2008-10-24 | 2011-11-02 | 富士ゼロックス株式会社 | 画像処理装置、画像形成装置およびプログラム |
| TWI456527B (zh) | 2009-01-22 | 2014-10-11 | Realtek Semiconductor Corp | 影像縮小方法及影像處理裝置 |
| CN102044065B (zh) * | 2009-10-20 | 2013-07-03 | 瑞昱半导体股份有限公司 | 图像区块内缩小的设计方法 |
| CN102263924B (zh) * | 2010-05-29 | 2014-05-28 | 比亚迪股份有限公司 | 一种基于双三次插值的图像处理方法及其图像显示方法 |
| CN101976558B (zh) * | 2010-11-12 | 2013-01-23 | 华亚微电子（上海）有限公司 | 一种视频图像缩放方法及装置 |
| CN102509259B (zh) * | 2011-09-28 | 2013-04-03 | 上海大学 | 基于图像中像素点方向的图像缩放方法 |
| US9870375B2 (en) * | 2013-12-20 | 2018-01-16 | Nvidia Corporation | Image analysis of display content for dynamic adjustment of a continuous scan display |
| US9830871B2 (en) | 2014-01-03 | 2017-11-28 | Nvidia Corporation | DC balancing techniques for a variable refresh rate display |
| US9711099B2 (en) | 2014-02-26 | 2017-07-18 | Nvidia Corporation | Techniques for avoiding and remedying DC bias buildup on a flat panel variable refresh rate display |
| US10043490B2 (en) * | 2014-12-24 | 2018-08-07 | Synaptics Incorporated | Requesting display frames from a display source |
| JP6653522B2 (ja) * | 2015-02-04 | 2020-02-26 | シナプティクス・ジャパン合同会社 | 表示装置、表示パネルドライバ、表示パネルの駆動方法 |
| EP3138721B1 (en) * | 2015-09-03 | 2018-11-14 | Continental Automotive GmbH | A method and apparatus for glare detection |
| US9940898B2 (en) | 2016-02-25 | 2018-04-10 | Nvidia Corporation | Variable refresh rate video capture and playback |
| EP3418971B1 (en) * | 2016-03-09 | 2021-05-05 | Huawei Technologies Co., Ltd. | Display method and handheld electronic device |
| KR102077214B1 (ko) | 2016-12-15 | 2020-02-14 | 경희대학교 산학협력단 | 데스크톱 스크린을 비중첩 동일 크기 블록으로 분할하기 위한 동적 분할 알고리즘 |
| WO2018110803A1 (ko) * | 2016-12-15 | 2018-06-21 | 경희대학교 산학협력단 | 데스크톱 스크린을 비중첩 동일 크기 블록으로 분할하기 위한 동적 분할 알고리즘 |
| CN106952630A (zh) * | 2017-03-23 | 2017-07-14 | 深圳市茁壮网络股份有限公司 | 像素区域处理方法、装置以及像素区域切换方法和装置 |
| CN109919842A (zh) * | 2019-01-28 | 2019-06-21 | 努比亚技术有限公司 | 图像放大控制方法、终端及计算机可读存储介质 |
| CN110335198B (zh) * | 2019-07-08 | 2021-06-08 | 威创集团股份有限公司 | 一种图像处理方法及系统 |
| CN111275615B (zh) * | 2020-01-08 | 2023-05-26 | 深圳市爱协生科技股份有限公司 | 基于双线性插值改进的视频图像缩放方法 |
| CN111917934B (zh) * | 2020-08-12 | 2022-08-30 | 珠海奔图电子有限公司 | 图像处理方法、装置、图像形成装置及存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4658300A (en) | 1983-03-08 | 1987-04-14 | Canon Kabushiki Kaisha | System and method for processing image signals |
| US5528704A (en) * | 1993-11-15 | 1996-06-18 | Xerox Corporation | Image resolution conversion using a plurality of image registrations |
| JPH08153189A (ja) * | 1994-11-28 | 1996-06-11 | Nec Niigata Ltd | ディジタル画像任意変倍装置 |
| ES2202245T3 (es) * | 1996-03-15 | 2004-04-01 | Matsushita Electric Industrial Co., Ltd. | Procedimiento y dispositivo de codificado y descodificado de imagenes. |
| JPH1091143A (ja) * | 1996-09-19 | 1998-04-10 | Hitachi Ltd | 画像表示装置 |
| US6252576B1 (en) | 1998-08-06 | 2001-06-26 | In-System Design, Inc. | Hardware-efficient system for hybrid-bilinear image scaling |
| JP2001230929A (ja) * | 2000-02-18 | 2001-08-24 | Canon Inc | ２値画像の縮小処理方法および装置 |
| JP4029253B2 (ja) * | 2000-04-10 | 2008-01-09 | 富士フイルム株式会社 | 画像リサイズ装置及びその方法 |
| US7009626B2 (en) * | 2000-04-14 | 2006-03-07 | Picsel Technologies Limited | Systems and methods for generating visual representations of graphical data and digital document processing |
| JP3522211B2 (ja) * | 2000-10-23 | 2004-04-26 | Ｎｅｃビューテクノロジー株式会社 | 画像拡大縮小方式 |
| GB2371459B (en) * | 2001-01-19 | 2005-05-04 | Pixelfusion Ltd | Image scaling |
| US6985642B2 (en) * | 2002-01-31 | 2006-01-10 | International Business Machines Corporation | Image size reduction method and system |
-
2002
- 2002-09-17 KR KR1020020056555A patent/KR100594073B1/ko not_active IP Right Cessation
-
2003
- 2003-03-24 US US10/395,918 patent/US7228008B2/en active Active
- 2003-04-29 CN CNB031241921A patent/CN1229975C/zh not_active Expired - Fee Related
- 2003-04-30 EP EP03009715A patent/EP1400919A3/en not_active Withdrawn
- 2003-06-27 JP JP2003185831A patent/JP4018601B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| CN1484434A (zh) | 2004-03-24 |
| US20040052432A1 (en) | 2004-03-18 |
| KR100594073B1 (ko) | 2006-07-03 |
| EP1400919A2 (en) | 2004-03-24 |
| EP1400919A3 (en) | 2010-11-24 |
| CN1229975C (zh) | 2005-11-30 |
| JP2004110776A (ja) | 2004-04-08 |
| KR20040026044A (ko) | 2004-03-27 |
| US7228008B2 (en) | 2007-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4018601B2 (ja) | 内蔵形システムのデジタル画像スケーリング方法 | |
| US7411628B2 (en) | Method and system for scaling, filtering, scan conversion, panoramic scaling, YC adjustment, and color conversion in a display controller | |
| JP3266273B2 (ja) | 離散コサイン変換を用いて画像をリサイズする方法および装置 | |
| US20020145610A1 (en) | Video processing engine overlay filter scaler | |
| US20090268086A1 (en) | Method and system for scaling, filtering, scan conversion, panoramic scaling, yc adjustment, and color conversion in a display controller | |
| US8159606B2 (en) | Method and apparatus for reversible, polynomial based image scaling | |
| WO2021163844A1 (en) | Super resolution using convolutional neural network | |
| WO2017152398A1 (zh) | 一种高动态范围图像处理方法及装置 | |
| JPWO2011111819A1 (ja) | 画像処理装置、画像処理プログラム、および、画像を生成する方法 | |
| US20100054621A1 (en) | Dual lookup table design for edge-directed image scaling | |
| US20120155550A1 (en) | Auto-regressive edge-directed interpolation with backward projection constraint | |
| US7848597B2 (en) | Data processing | |
| CN111447359A (zh) | 数字变焦方法、系统、电子设备、介质及数字成像设备 | |
| WO2007064341A2 (en) | Combined scaling, filtering, and scan conversion | |
| US7609900B2 (en) | Moving picture converting apparatus and method, and computer program | |
| US9741095B2 (en) | Method for electronic zoom with sub-pixel offset | |
| JP5410232B2 (ja) | 画像復元装置、そのプログラム、及び、多次元画像復元装置 | |
| Safinaz et al. | VLSI realization of Lanczos interpolation for a generic video scaling algorithm | |
| JP2017016511A (ja) | 歪み補正画像処理装置及びプログラム | |
| JP2009060464A (ja) | 映像高解像度化装置及び方法 | |
| JP5085589B2 (ja) | 画像処理装置および方法 | |
| US20080112647A1 (en) | Systems and methods for resizing multimedia data | |
| Park et al. | Implementation of CNN based Demosaicking on FPGA | |
| JP6887120B2 (ja) | 表示装置 | |
| KR20060107639A (ko) | 영상의 실감을 더하고 효과적으로 저장하기 위한 가로길이의 확대 및 축소 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061205 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070531 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070920 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4018601 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |