JP4623542B2

JP4623542B2 - 画像処理装置

Info

Publication number: JP4623542B2
Application number: JP2001290617A
Authority: JP
Inventors: 尚人白石
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-09-25
Filing date: 2001-09-25
Publication date: 2011-02-02
Anticipated expiration: 2021-09-25
Also published as: JP2003101765A

Description

【０００１】
【発明の属する技術分野】
画像の符号化データのデコードと変倍処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
画像データ圧縮技術は画像データを保持するためのメモリ量を低減したり、画像データの送信時間を短縮したりする目的で広く使用されている。多値画像の圧縮方法としては、固定長圧縮のGBTCなど、可変長圧縮のJPEGなどが知られており、基本的にN*Nの画像の単位で圧縮していく方法が多い。
【０００３】
画像の解像度変換処理技術は、入力機器及び出力機器間で取り扱われる画像の解像度が異なる場合に、入力画像と同サイズの出力画像を得るために必要とされる技術である。解像度変換の方法として最近傍法、バイリニア補間法、３次補間法などが知られている。最近傍法は、補間したい点に最も近い画素に補間するアルゴリズムである。バイリニア補間法は、補間したい点の周囲４点から、線形補間により、補間データを求める方法であり、点Zの周辺の４点J,I,G、Hから以下のような式で表される。
【０００４】
【数１】

【０００５】
３次補間法は点Zの周辺の16点から以下のような演算式で表現される。
【０００６】
【数２】

【０００７】
ここで、C(t)はサンプリング定理を構成する関数Sinπｘ／πｘの近似式である。
【０００８】
これらの解像度変換法を比較したとき、最近傍法は処理が軽いが画質はそれほどよくなく、バイリニア補間法は処理も画質も普通であり、３次補間法は処理は重たいが画質はよい。
【０００９】
近年、入力機器、出力機器はCPUの高速化やLSIの集積化などから高速化が進展するにつれて、ネットワークの転送がスピードネックとなり始めた。このため、入力機器から出力機器へのデータ転送時に画像を圧縮し、出力機器においては、入力機器から送られた符号データをデコード処理して画像データに戻し、その解像度変換を行う必要がある。
【００１０】
しかし、従来は、図２５に示すように符号デコード処理装置７０１と解像度変換処理装置７０６の間にフレームメモリ７０２を設け、符号デコード処理装置７０１で１つの画像のデコード処理を終了し画像データをフレームメモリ７０２に蓄積した後に解像度変換処理装置７０６でその解像度変換を行う方式が一般的であり、大きなメモリコストを要求された。
【００１１】
図２６に示すように、符号デコード処理装置７０１と解像度変換処理装置７０６の間に１ブロックラインの容量を持つ中間メモリ７０３を設け、符号デコード処理装置７０１で１ブロックライン分のデコード処理を行い結果を中間メモリ７０３に格納した後に、解像度変換処理装置７０６が解像度変換を行う方式も可能であるが、処理がシリアルであり高速化は望めない。
【００１２】
また、図２７に示すように、１面あたり１ブロックラインの容量を持つ２面の中間メモリ７０４を設け、符号デコード処理装置７０１と解像度変換処理装置７０６でパイプライン処理を行うことによって高速化することも可能であるが、メモリコスト的にあまりよくない。
【００１３】
【発明が解決しようとする課題】
本発明の目的は、上記の従来の問題点に鑑み、メモリコストを削減することができ、かつ、符号デコード処理と解像度変換処理をリアルタイムで高速に行うことができる画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
本発明による画像処理装置は、請求項１に記載のように、
２×２画像の符号をデコードして２×２画像データを出力する符号デコード処理手段と、
前記符号デコード処理手段よりメモリを経由せず直接的に順次入力される２×２画像データに対し２次元の変倍処理を行い、変倍画像の各ラインのデータを順次出力する解像度変換処理手段とを有し、
前記解像度変換処理手段は、
前記符号デコード処理手段より順次入力された、上下２ライン（以下、現ラインと記す）の各２×２画像データ（以下、現ラインデータと記す）と、該現ラインデータより前に入力済みの該現ラインの直前の上下２ラインの各２×２画像データのうちの下側ラインのデータとを内部メモリに一時的に記憶する手段を備えることにより、該現ラインデータ中の各２×２画像データとその所定の隣接画素のデータとを繰り返し出力する第１の手段と、
前記第１の手段により出力されたデータから変倍処理のための水平補間又は垂直補間に必要なデータを選択する第２の手段と、
前記第２の手段により選択されたデータを用いて水平補間を行うことにより、又は、前記第２の手段により選択されたデータを用いて垂直補間を行い、その結果を用いて水平補間を行うことにより、変倍画像の各ラインのデータを生成する第３の手段とを有することを特徴とする構成である。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明の形態を説明する。
【００１６】
図１は本発明の画像処理装置の全体ブロック図である。図中、１は記憶装置であり、画像データを符号化した符号データを格納する。２は符号読み込み部であり、記憶装置１から符号データを読み込み符号デコード処理装置３へ転送する。この符号デコード処理装置３は符号読み込み装置２により読み込まれた符号データを画像データに復号化し、解像度変換処理装置４へ転送する。この解像度変換処理装置４は、その画像データを変倍処理する。５は画像書き込み装置であり、解像度変倍処理装置４より変倍後の画像データを受け取って記憶装置６に書きこむ。
【００１７】
図２に、符号デコード処理装置３の処理フローを示す。図中、ステップＳ１はエントロピー復号化処理であり、ハフマン符号や、算術符号などのエントロピー符号化された符号を復号化する。ステップＳ２は逆ウェーブレット変換処理であり、図１２（ａ）のようにウェーブレット変換により変換されたLL,HL,LH,HHのデータを図１２（b)のように画像に戻す。図１３に、ウェーブレット変換処理の例を示す。なお、JPEGなどにより符号化された符号データを扱う場合には、このステップの処理は逆DCT処理となる。ここでは、可変長圧縮法の場合として説明したが、固定長圧縮法であるGBTCでもよい。
【００１８】
解像度変換処理装置４においては、以下に詳述するように、符号デコード処理装置３からデコードされたN*Nの画像データを直接受け取りつつ処理を行って内部メモリに順次格納していく。処理の進行中に現在処理しているブロックの全画像上での位置を確認し、そのブロックで行う補間処理のタイプ（ブロック・タイプ）を識別することで、補間処理を効率的に行う。内部メモリにおいても動的なメモリ管理を行うことにより処理を潤滑に進める。内部のメモリの容量は、補間方法としてバイリニア法を用いる場合は１ブロックライン＋1ライン（最近傍法ならば１ブロックライン、３次補間法ならば１ブロックライン＋２ライン）で足りる。
【００１９】
図３に、解像度変換処理装置４の全体ブロック図を示す。図中、１０１は隣接点生成装置であり、符号デコード処理装置３より入力されたＮ＊Ｎ（図２０では２＊２）の画像データ（図２０ではNOW0，NOW1，NOW2，NOW3）から、隣接する１ライン上のデータ（図２０ではラインOLD１，ラインO，ライン１）と、１画素横のデータ（図２０ではOLD1，OLD3）を生成する。この隣接点生成装置１０１については、後に図５を参照して詳しく説明する。
【００２０】
図３において、１０２はパラメータ処理装置であり、隣接点生成装置１０２より、入力された画像データ（WCOLA,B,C,D）と、隣接する１ライン上のデータ（LOLD1，LWCOL0,LWCOL1）及び１画素横のデータ（OLDB,OLDD）を受け取り、また、MKBTYPE処理装置１０３より、ブロック・タイプを受け取り、補間処理装置１０８で必要とする補間点を生成する。このパラメータ処理装置１０２の処理フローを図６に示す。
【００２１】
１０５は変倍率（拡大率）生成装置であり、変倍（拡大）される画像（ソース画像）のｘ始点SXS、ｘ終点SXE、Y始点SYS,Y終点SYEの各座標と、変倍後の画像（デイステイネーション画像）のｘ始点DXS、ｘ終点DXE、Y始点 DYS,Y終点DYEの各座標から、X、Y方向の変倍率（拡大率）RATEX,RATEYを求め、DDA処理装置１０６へ転送する。この変倍率生成装置１０５の内部構成を図７に示す。
【００２２】
DDA処理装置１０６は、変倍率生成装置１０５よりX,Y方向の変倍率とデイステイネーション画像のｘ始点DXS、Y始点DYSを受け取り、デジタル微分解析（ＤＤＡ）によって、図１４に“○”（拡大された画素）で示されるように、符号デコード処理装置３から入力したN＊N画像の変倍後の座標を随時求める。この例では、図２０のように補間するため、例えば、X方向にOLD1のX座標をＸ始点XSとして、NOW0のX座標をＸ終点XEとして、補間されるX始点、X終点、Y始点、Y終点を求める。求めた座標は、ＩＸ，ＩＹカウント装置１０４と補間係数生成装置１０７へ転送される。DDA処理装置１０６の内部構成を図８に示す。
【００２３】
IX,IYカウント装置１０４は、DDA処理装置１０６から補間するｘ方向の始点、終点とY方向の始点、終点を受け取り、図１４に”△”（補間された画素）で示されるX,Y座標を生成し、それを補間係数生成装置１０７とMKBTYPE処理装置１０３へ転送する。
【００２４】
MKBTYPE処理装置１０３は、IX,IYカウント装置１０４より受け取ったX,Y座標とデイステイネーション画像のｘ始点DXS、ｘ終点DXE、Y始点 DYS,Y終点DYEの各座標から、画像中での補間する位置を求め、また、図１７に示す９種類のブロック・タイプの識別を行い、結果をパラメータ処理装置１０２へ転送することにより、パラメータ処理装置１０２における補間点（補間処理装置１０８に与えられる）の生成を助ける。図９に、MKBTYPE処理装置１０３の処理フローを示す。
【００２５】
補間係数生成装置１０７は、DDA処理装置１０６より受け取った補間するｘ方向の始点、終点とY方向の始点、終点の座標と、IX,IYカウント装置１０４より受け取った補間する画素のX,Y座標とから、X,Y方向の補間係数（DRATEY,DRATEX）を求め、それを補間処理装置１０８へ送る。補間係数生成装置１０７の内部構成を図１０に示す。
【００２６】
補間処理装置１０８は、パラメータ処理装置１０２より補間するデータを受け取り、補間係数生成装置１０７より補間係数を受け取り、図１４に示すように拡大された画素間を補間し埋めることにより拡大画像を生成する処理（変倍処理）を実行する。図１１に、この補間処理装置１０８の内部構成を示す。
【００２７】
以上に述べた構成の解像度変換処理装置４の動作を図４に示すフローチャートに沿って説明する。ステップＳ１１において、変倍率（拡大率）生成処理装置１０５で変倍率（拡大率）を求める。ステップＳ１２において、DDA処理装置１０６で、Y方向（垂直方向）のDDA処理を行って、処理するY始点YS、Y終点YEを求める。ステップＳ１３において、IX,IYカウント装置１０４により、処理するY座標（水平ライン）IYにYS座標を指定する。ステップＳ１４において、IX,IYカウント装置１０４により、処理するX座標をデイステイネーション画像のｘ始点DXSに初期化する。ステップＳ１５において、DDA処理装置１０６で、X方向（水平方向）のDDA処理を行い、処理するX始点XS、X終点XEを求める。ステップＳ１６において、IX,IYカウント装置１０４により、処理するX座標IXにXS座標を指定する。ステップＳ１７において、MKBTYPE生成装置１０３により、処理するN*Nブロックのタイプを求める。ステップＳ１８において、隣接点生成装置１０１及びパラメータ処理装置１０８により、入力されたN*Nの画像から補間に必要なパラメータを生成する。ステップＳ１９において、補間係数生成装置１０７により、現在処理する座標での補間係数を求める。ステップＳ２０において、補間処理装置１０８により、拡大された画素間を補間し変倍画像を生成する。ステップＳ２１において、IX,IYカウント装置１０４により、次に補間するX座標を求める。ステップＳ２２において、そのｘ座標が補間するX値終点XEを超えていない場合、処理をステップＳ１９に戻す。ステップＳ２３において、XEが変倍されたデイステイネーション画像のｘ終点DXEを超えていない場合、ステップＳ１５へ処理を戻す。ステップＳ２４において、IX,IYカウント装置１０４により、次に補間するY座標を求める。ステップＳ２５において、その値が補間するY値終点YEを超えていない場合、ステップステップＳ１４へ処理を戻す。ステップＳ２６において、YEが変倍されたデイステイネーション画像のY終点DYEを超えていない場合、ステップＳ１２へ処理を戻す。
【００２８】
以下、解像度変換処理装置４の各部について詳細に説明する。
【００２９】
まず、隣接点生成装置１０１を説明する。隣接点生成装置１０１は、図２０に関連して前述したように、符号デコード処理装置３より入力されたN*N（図２０では2＊2）の画像に対する補間処理に必要な画素、つまり、入力画像の上の１ライン（もしくは複数ライン）と横の１画素（もしくは複数画素）を生成する装置である。なお、図１５のように入力された画素を図１６のように補間して変倍する時には、図２２に示すように、最初のラインでは入力されたN*N画素をメモリに書き込みながら水平方向に補間演算を行っていき、次からのラインではメモリから入力されたN*Nの画素を順次読み込み次の水平ラインの補間演算を行い、以下同様に最終ラインまで補間していく。同様の処理を次の段のN*N画像にも行っていくことにより、画像全体の補間処理を行うことができる。これを考慮し、隣接点生成装置１０１は図５のような構成とされている。
【００３０】
図５において、２０１は符号デコード処理装置３より入力されたN*N画素（ここでは２＊２）を格納するレジスタである。２０２はマルチプレクサであり、最初のラインではレジスタ２０１内のN*N画素（ここでは２＊２）を選択し、次のラインからはラインメモリ２０５に格納された値を選択する働きをする。
【００３１】
２０３はマルチプレクサであり、ラインメモリ(A,B,C)２０５に格納するデータを選択する働きをする。例えば、今入力された２ラインの各2＊2画像データA,B,C,Dが図２４のような配置であるとする。上側ラインのすべてのデータA，BをラインメモリAに格納し、下側ラインのすべてのデータC,Dをラインメモリ(B)に格納する。そして、次の２ラインの各2＊2画像データが来た時に、ラインメモリ(B)の内容（1つ前のラインのデータC,D）をそのまま保持させ、ラインメモリ(A)に上側ラインのすべてのデータA，Bを格納し、ラインメモリ(C)に下側ラインのすべてのデータC，Dを格納する。そして、次の２ラインの各2＊2画像データが来た時に、ラインメモリ(C)の内容（1つ前のラインのデータC,D）はそのまま保持し、ラインメモリ(A)に上側ラインのすべてのデータA，Bを格納し、ラインメモリ(B)に下側ラインのすべてのデータC，Dを格納する。このような制御によって、ラインメモリ２０５が有効活用される。
【００３２】
２０４はラインメモリ２０５のアドレスを生成するラインメモリアドレス生成処理装置である。２０６はラインメモリ２０５の出力データを選択するためのマルチプレクサである。２０７はレジスタであり、図２０のラインOLD1のデータを格納するために用いられる。２０８はレジスタであり、図２０のOLD1，OLD3に対応するデータを格納するために用いられる。
【００３３】
次に、MKBTYPE処理装置１０３について説明する。そのフローを図９に示す。MKBTYPE処理装置１０３は、前述したように、IX,IYカウント装置１０４より受け取ったX,Y座標とデイステイネーション画像のｘ始点DXS、ｘ終点DXE、Y始点DYS,Y終点DYEの各座標から、画像中での補間する位置を求め、また、図１７に示す９種類のブロック・タイプＡ〜Ｉの識別を行い、結果をパラメータ処理装置１０２へ転送することにより、パラメータ処理装置１０２における補間点の生成を助ける。この９種類のブロック・タイプは、図１８に示すように、その画像の画素がX,Y方向にそれぞれ奇数個あるか、偶数個あるかによって決まる。図１８の例（１）では、X,Y方向ともに画素が偶数個あるためA、B,D,Eのタイプしかないが、例（２）ではX,Y方向とも画素数は奇数個なので９種類存在する。Y方向に考えた場合、タイプA,B,Cは1番上位ラインのみのブロックであり、G,H，IはY方向に画素が奇数個の場合の最終ラインのブロックである。したがって、D,E,Fがほぼ全体をしめる中間のブロックである。X方向に考えた場合、タイプA,D,Gは左辺のブロックの画像であり、C，F,Iは右辺のブロックの画像であり、B,E,Hはその他のほぼ全体をしめる中間のブロックである。図１９及び図２１に各タイプのブロックの例を示す。各ブロックはN*N（この例では2＊2）を中心に隣り合うブロック間を補間するものである。図２１は図１９を見やすくしたものである。
【００３４】
図９に示したフローにおけるステップＳ２００〜Ｓ２１１では、現在処理中のブロックのX,Y座標が、X方向、Ｙ方向のそれぞれについて、画像の中で最初であるか、最終であるかのフラグを立てる。そして、これらフラグの組み合わせに基づいて、ステップＳ２１２〜Ｓ２２９で９種類のタイプを割り当てる。
【００３５】
次にパラメータ処理装置１０２について説明する。その処理フローを図６に示す。パラメータ処理装置１０２は、前述のように、隣接点生成装置１０１より、入力された画像データ（WCOLA,B,C,D）、隣接する１ライン上のデータ（LOLD1，LWCOL0,LWCOL1）及び１画素横のデータ（OLDB,OLDD）を、MKBTYPE処理装置１０３より補間するデータのブロック・タイプをそれぞれ受け取って、補間処理装置１０８が必要とする補間点を生成するものであり、図１９のようにタイプ分けすることにより、補間処理装置１０８が必要とする補間データを抽出する。
【００３６】
必要な補間データは、タイプAでは図２０のNOW0,NOW1,NOW2，NOW3のみであり、タイプBでは図２０のOLD1，NOW0,OLD3,NOW2とNOW0,NOW1,NOW2，NOW3であり、タイプCでは図２０OLD1，NOW0,OLD3,NOW2のみであり、タイプDでは図２０のライン0、ライン１、NOW0、NOW1とNOW0、NOW1、NOW2、NOW3であり、タイプEでは図２０のラインOLD１、ライン0、OLD1、NOW0と、ライン0、ライン１、NOW0、NOW1と、OLD1，NOW0,OLD3,NOW2と、NOW0,NOW1,NOW2，NOW3の４つの場合があり、タイプFでは図２０のラインOLD１、ライン0、OLD1、NOW0と、OLD1、NOW0、OLD3、NOW1であり、タイプGでは図２０のライン0、ライン１、NOW0、NOW1のみであり、タイプHでは図２０のラインOLD１、ライン0、OLD1、NOW0と、ライン0、ライン１、NOW0、NOW1であり、タイプIでは図２０のラインOLD１、ライン0、OLD1、NOW0である。このように抽出するデータはタイプで異なり、また、現在処理中のライン（Ｙ座標）やｘ座標により、各タイプの持つブロックを上／下、左／右の条件で選択する。
【００３７】
図６について説明する。なお、UCFLは図２０の例での上／下の区別を表すフラグであり、UCFL=0で上を表し、UCFL=1で下を表す。また、LRFLは図２０の例では左／右の区別を表すフラグであり、LRFL=0で左、LRFL=1で右を表す。
【００３８】
ステップＳ１０１で、現在の補間処理が上下のどちらかを判断する。上の場合はステップＳ１０２へ、下の場合はステップＳ１０９へ進む。ステップＳ１０２で、BTYPEがD又はGであればステップＳ１０３の処理を選択する。ステップＳ１０３で、図２０の右上を補間するパラメータの４点を求める。ステップＳ１０４で、BTYPEがF又はIであればステップＳ１０５の処理を選択する。ステップＳ１０５で、図２０の左上を補間するパラメータの４点を求める。ステップＳ１０６で、現在の補間処理が左であり、BTYPEがE又はHであれば、ステップＳ１０７の処理を選択する。ステップＳ１０７で、図２０の左上を補間するパラメータの４点を求める。ステップＳ１０８で、現在の補間処理が右であり、BTYPEがE又はHであれば、図２０の右上を補間するパラメータの４点を求める。ステップＳ１０９で、BTYPEがA又はDであればステップＳ１１０の処理を選択する。ステップＳ１１０で、図２０の右下を補間するパラメータの４点を求める。ステップＳ１１１で、BTYPEがC又はFであればステップＳ１１２の処理を選択する。ステップＳ１１２で、図２０の左下を補間するパラメータの４点を求める。ステップＳ１１３で、現在の補間処理が左であり、BTYPEがB又はEであれば、ステップＳ１１４の処理を選択する。ステップＳ１１４で、図２０の左下を補間するパラメータの４点を求める。ステップＳ１１５で、現在の補間処理が右であり、BTYPEがB又はEであれば図２０の右下を補間するパラメータの４点を求める。
【００３９】
次に変倍率（拡大率）生成装置１０５を説明する。変倍率（拡大率）生成装置１０５は、図７に示す構成であり、変倍されるソース画像のｘ始点SXS、ｘ終点SXE、Y始点SYS,Y終点SYEと、変倍後のデイステイネーション画像のｘ始点DXS、ｘ終点DXE、Y始点DYS,Y終点 DYEから、RATEX=（SXE-SXS）/(DXE-DXS)の演算によりX方向の変倍率（RATEX）を求め、RATEY=（SYE-SYS）/(DYE-DYS)の演算によりY方向の変倍率（RATEY）を求める。
【００４０】
図７において、３０１、３０２、３０３及び３０４はマルチプレクサであり、Y方向変倍率を求めるためのY座標データを選択し、X方向変倍率を求めるX座標データを選択する。３０５及び３０６は減算器である。３０７は除算器である。３０９はX方向変倍率（RATEX）を格納するためのレジスタ、３１０はY方向変倍率（RATEY）を格納するためのレジスタである。
【００４１】
次にDDA処理装置１０６について説明する。DDA処理装置１０６は、前述のように、X,Y方向の変倍率と、デイステイネーション画像のｘ始点DXS、Y始点DYSを受け取り、図１４の”○”（拡大された画素）のような変倍後の画素の座標をDDAにより求める。この例では図２０のように補間するため、例えば、X方向にOLD1のX座標をＸ始点XSとして、NOW0のX座標をＸ終点XEとして、補間されるX始点、X終点、Y始点、Y終点を求める。DDA処理装置１０６は、図８に示すように、現在のX座標にＸ方向変倍率RATEXを順次加算していくX方向DDA処理部（４０１〜４０６）と、現在のY座標にＹ方向変倍率RATEYを順次加算していくY方向DDA処理部（４０７〜４１２）とからなる。
【００４２】
図８において、４０１はマルチプレクサであり、最初のみレジスタ４０２にデイステイネーション画像のｘ始点DXSの初期値を転送し、その後は、順次加算されていく加算器４０４の出力をレジスタ４０２に送る。レジスタ４０２には現在処理中のＸ値が格納される。４０３はレジスタであり、変倍率生成装置１０５で求めたＸ方向変倍率RATEXを格納する。４０５は補間するＸ終点を格納するためのレジスタである。４０６は補間するＸ始点を格納するためのレジスタである。４０７はマルチプレクサであり、最初のみレジスタ４０８に、デイネーション画像のＹ始点DＹSの初期値を転送し、その後は加算器４１０の出力を送る。４０８は現在処理中のＹ値を格納するレジスタである。４０９はレジスタであり、変倍率生成装置１０５で求めたＹ方向変倍率RATEＹを格納する。４１１は補間するＹ終点を格納するレジスタである。４１２は補間するＹ始点を格納するレジスタである。
【００４３】
次に補間係数生成装置１０７について説明する。この補間係数生成装置１０７は、図１０に示す構成であり、DDA処理装置１０６より受け取ったX方向の始点、終点の座標とY方向の始点、終点の座標、IX,IYカウント装置１０４から受け取ったX,Y座標から、DRATEX=（IX‐XS）/(XE-XS)の演算によりX方向の補間係数（DRATEX）を、DRATEY=（IY‐YS）/(YE-YS)の演算によりY方向の補間係数（DRATEY）をそれぞれ求める。図２２に示すように、補間係数を順次水平ラインごとに求めるのでＹ方向補間係数(DRATEY)の演算は各ラインで１回のみ行えばよいため、必要演算量が少なく、ハードウエア量の減少、処理の高速化に有利である。
【００４４】
図１０において、５０１、５０２及び５０３はマルチプレクサであり、Y方向補間係数を求めるためのY座標データを選択し、X方向の補間係数を求めるためのX座標データを選択する。５０４及び５０５は減算器であり、５０６は除算器である。５０７はX方向の補間係数（DRATEX）を格納するレジスタである。５０８はY方向の補間係数（DRATEY）を格納するレジスタである。
【００４５】
補間処理装置１０８は、図１１に示す構成であり、バイリニア補間法による補間処理を実行する。ここでは、図２２に示すように各ラインを水平方向に順次補間していくため、図２３に示すように、（１）A,C間とB,D間を垂直に補間し、AV,BVを求め、その後、（２）AV,BV間を水平に補間し、Pを求める。この場合、求めたBVを次のAVとして再利用することが可能であり、補間演算の減少へつながり、かつハードウエア量の減少とスピードの高速化を達成できる。
【００４６】
図１１において、６０１及び６０２は減算器であり、垂直方向の差分を求める。６０３及び６０４は乗算器であり、補間係数（DRATEY）により、その差分の現在のライン（Y座標）の位置の差分値を求める。６０５及び６０６は加算器であり、乗算器６０３，６０４で求めた差分に始点の値を加えることにより、垂直補間されたAV,BV（図２３）を求める。６０７及び６０８は、そのAV,BVを格納するレジスタである。６０９は減算器であり、レジスタ６０７，６０８に格納されたAV,BVの差分を求める。６１０は乗算器であり、その差分と補間係数（DRATEX）の乗算により現在のX座標の位置の差分値を求める。６１１は加算器であり、乗算器６１０で求め求めた差分値に始点の値を加えることにより、水平補間されたP（図２３）を求める。この補間された値はレジスタ６１２に格納される。
【００４７】
以上に説明したように、この画像処理装置においては、（１）符号デコード処理装置３はデコード後の画像データをメモリに保存することなく直接的に解像度変換処理装置４へ転送することが可能であるため、メモリコストを削減できるとともに、メモリアクセスの低減から無駄なアイドルタイムが発生せず処理のスピードアップが可能である。（２）また、解像度変換処理装置４から水平ライン方向に補間されたデータが出力されていくため、そのデータを直接メモリに書き込む場合には、SDRAMのようにバースト書き込み可能なメモリを用いれば、アイドルタイムが少なくなり高速化が可能である。（３）解像度変換処理装置４の後でジャギをなくすために高次のフィルターをかけることがあるが、その場合も水平ラインごと出力されるデータはフィルター処理を行いやすい。（４）解像度変換処理装置４において、符号デコード処理装置３よりN＊Nの画像の受け取りと同時に補間処理と内部メモリへの格納が可能であるため、処理がシンプルであり、かつ、並列処理により高速化が可能である。（５）解像度変換処理装置４において水平方向に補間したデータを順次出力するため、補間処理装置１０８で垂直補間時処理結果を使い回しすることが可能となり処理の高速化が可能である。（６）解像度変換処理装置において水平方向に順次処理が進むため、ＤＤＡにより変倍後の座標を計算可能であり、これも処理の高速化に有利である。
【００４８】
【発明の効果】
以上の詳細な説明から明らかなように、本発明の画像処理装置は、符号デコード処理手段と解像度変換処理手段との間の中間メモリが不要で、解像度変換処理手段の内部メモリの容量も極めて小さくできるため、メモリコストを大きく削減することができ、かつ、符号デコード処理手段と解像度変換処理手段はウェイト時間を要することなくデコード処理と解像度変換処理をリアルタイムで高速に行うことができる等の効果を有する。
【図面の簡単な説明】
【図１】本発明の画像処理装置の全体構成例を示すブロック図である。
【図２】符号デコード処理のフローチャートである。
【図３】解像度変換処理装置のブロック図である。
【図４】解像度変換処理のフローチャートである。
【図５】隣接点生成装置のブロック図である。
【図６】パラメータ処理装置のフローチャートである。
【図７】拡大率生成装置のブロック図である。
【図８】ＤＤＡ処理装置のブロック図である。
【図９】ＭＫＢＴＹＰＥ処理装置のフローチャートである。
【図１０】補間係数生成装置のブロック図である。
【図１１】補間処理装置のブロック図である。
【図１２】逆ウェーブレット変換の説明図である。
【図１３】逆ウェーブレット変換の演算の説明図である。
【図１４】変倍画像の説明図である。
【図１５】入力される画像データの説明図である。
【図１６】補間の説明図である。
【図１７】ブロック・タイプの説明図である。
【図１８】ブロック・タイプと画素配置の関係の説明図である。
【図１９】画像上でのブロック・タイプ及び補間を説明するための図である。
【図２０】入力画像データの隣接データの説明図である。
【図２１】図１９を見やすく展開した図である。
【図２２】補間処理装置の補間処理の説明図である。
【図２３】バイリニア補間法による補間処理の説明図である。
【図２４】隣接点生成装置のラインメモリへのデータ格納の説明のための図である。
【図２５】従来技術を示すブロック図である。
【図２６】従来技術を示すブロック図である。
【図２７】従来技術を示すブロック図である。
【符号の説明】
３符号デコード処理装置
４解像度変換処理装置
１０１隣接点生成装置
１０２パラメータ処理装置
１０３ＭＫＢＴＹＰＥ処理装置
１０４ＩＸ，ＩＹカウント装置
１０５変倍率生成装置
１０６ＤＤＡ処理装置
１０７補間係数生成装置
１０８補間処理装置
２０５ラインメモリ

Claims

２×２画像の符号をデコードして２×２画像データを出力する符号デコード処理手段と、
前記符号デコード処理手段よりメモリを経由せず直接的に順次入力される２×２画像データに対し２次元の変倍処理を行い、変倍画像の各ラインのデータを順次出力する解像度変換処理手段とを有し、
前記解像度変換処理手段は、
前記符号デコード処理手段より順次入力された上下２ライン（以下、現ラインと記す）の各２×２画像データ（以下、現ラインデータと記す）と、該現ラインデータより前に入力済みの該現ラインの直前の上下２ラインの各２×２画像データのうちの下側ラインのデータとを内部メモリに一時的に記憶する手段を備えることにより、該現ラインデータ中の各２×２画像データとその所定の隣接画素のデータとを繰り返し出力する第１の手段と、
前記第１の手段により出力されたデータから変倍処理のための水平補間又は垂直補間に必要なデータを選択する第２の手段と、
前記第２の手段により選択されたデータを用いて水平補間を行うことにより、又は、前記第２の手段により選択されたデータを用いて垂直補間を行い、その結果を用いて水平補間を行うことにより、変倍画像の各ラインのデータを生成する第３の手段とを有することを特徴とする画像処理装置。