JP4127465B2

JP4127465B2 - 画像伸張装置及び方法、並びに記録媒体

Info

Publication number: JP4127465B2
Application number: JP2001142942A
Authority: JP
Inventors: 章雄松原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-05-14
Filing date: 2001-05-14
Publication date: 2008-07-30
Anticipated expiration: 2021-05-14
Also published as: JP2002344732A

Description

【０００１】
【発明の属する技術分野】
本発明は、変換符号の画像伸張技術に関し、詳細には、画像データをウェーブレット変換したサブバンド変換係数から、縮小画像サイズの高画質な伸張画像を得る技術に係り、サムネール画像の作成、任意の縮小サイズの画像への伸張に応用して好適である。
【０００２】
【従来の技術】
符号化された自然画像の伸張において、従来の符号化方式である
ＪＰＥＧ方式（例えば、ISO/IEC 10918-1 Information Technology Digital compression andcoding of continuous-tone still images）は原画像と同じサイズの伸張画像に伸張する用途に用いられていた。そのため、符号化された１つの画像を、解像度が異なる様々な出力デバイスに出力するためには伸張の後に伸張画像の拡大／縮小処理を必ず行う必要があった。
【０００３】
また、従来、ウェーブレット変換符号化方式では、伸張画像サイズは原画像と同じサイズとしていた。そのためユーザが指定したサイズで伸張画像を得るためには、ウェーブレット逆変換を行った後に変倍処理を行い、画像サイズを調整する必要があった。
【０００４】
【発明が解決しようとする課題】
本発明は、上記問題点を解決するために、階層型ウェーブレット変換方式の階層変換係数を利用して、基本的にウェーブレット逆変換後に変倍処理を行わずに、簡単な構成で高速、高信頼、高画質な伸張画像を得る画像伸張装置及び方法、並びにその方法の処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。また、本発明は、伸張処理の後で変倍処理を加えた場合においても、高速に用途に応じた画像サイズを生成させることも目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明は、階層型ウェーブレット変換された変換係数の符号から自然画像に伸張するときに、最上位階層のＬＬサブバンドの縦（横）サイズの大きさからユーザの指定した画像の縦（横）サイズの直上階層＋１までに存在する階層の変換係数の縦（横）サイズと同じ縦（横）サイズに伸張画像のサイズを決定し、変換係数を最上位階層から所定階層まで逆ウェーブレット変換して伸張画像を得ることを特徴とする。したがって、すべての階層にわたって伸張した後、サブサンプリングを行う方式よりも、ユーザが指定した画像サイズに最も近く、最も高い画質の伸張画像が高速、省メモリに得られる。
【０００６】
また、本発明は、ユーザから指定された伸張画像サイズが最上位階層の大きさよりも小さい時に最上位階層のＬＬサブバンド係数をさらに順次低周波成分を作成することによって伸張画像のサイズを決定することを特徴とする。
【０００７】
また、本発明は、前記順次低周波成分を作成する場合、この系で用いられている階層型ウェーブレット変換方式をそのまま利用することにより最上位階層を超えるＬＬサブバンドよりも高い低周波成分を作成することを特徴とする。したがって、新たなハードウェアを追加する必要はない。
【０００８】
また、本発明は、前記順次低周波成分を作成する場合、隣接画素の平均値をとることにより最上位を超えるＬＬサブバンドよりも高い低周波成分を作成することを特徴とする。したがって、追加するハードウェアは特に必要ではなく、加算回路とシフト回路だけで構成できるので、高速な演算が可能である。
【０００９】
また、本発明は、伸張画像について変倍の有無を指定することを特徴とする。ユーザが変倍なしと指定した場合、伸張した画像を変倍することなく、そのまま伸張画像とする。したがって、変倍に伴う画質の劣化の無い高画質のビットマップ画像が得られる。また、ユーザが変倍ありと指定した場合、伸張した画像をユーザが指定した画像サイズに変換する。したがって、ユーザが指定した画像サイズに完全に一致させることができる。
【００１０】
また、本発明は、変倍された画像データに対して補間処理の有無を指定することを特徴とする。ユーザが補間なしと指定した場合、変倍するときに伸張画像にはない画素はビットマップ画像に割り当てない（補間しない）。この場合、高速、省メモリな伸張ができる。また、ユーザが補間ありと指定した場合、変倍するときに伸張画像にはない画素を補間してビットマップ画像を生成する。したがって、高画質な伸張ができる。
【００１１】
また、本発明は、自然画像の圧縮／伸張をＪＰＥＧ２０００ＩｍａｇｅＣｏｄｉｎｇＳｙｓｔｅｍ（ＩＳＯ／ＩＥＣＦＣＤ１５４４４−１）で規定される方式により符号化されたコードストリームに対して適用することを特徴とする。したがって、国際的に標準化された伸張方式を用いているため、互換性が保たれているので、様々なメーカの製品で作成された符号に対しても、同じ入力ファイルとパラメータには、全く同じビットマップ画像が生成できる。
【００１２】
【発明の実施の形態】
以下、図面をもとに本発明の実施の形態を説明する。
【００１３】
（１）第１実施例
本発明の第１実施例は、画像の符号化方式に階層型ウェーブレット変換符号化方式を適用した場合について説明する。階層型ウェーブレット変換符号化方式は、符号化時に画像の低周波数成分と高周波数成分を分離することにより各サブバンドを構成する構造のため、縦／横それぞれ原画像の１／２ｎのサイズの低周波成分をそのＬＬ成分（原画像の縦横ともに低周波数成分）として構成しており、これを使うことにより後段の変倍（拡大／縮小）処理を不要とできる場合がある。
【００１４】
また、ＪＰＥＧのように伸張したビットマップ画像の隣接画素をサブサンプリングする方式と異なり、階層型ウェーブレット変換符号化方式では、指定した縮小画像に対応する最も近い階層の低周波成分よりもさらに高位階層のＬＬサブバンドを伸張画像として構成することにより、高速に伸張することができる。
【００１５】
図１は、第１実施例における既にウェーブレット変換（ウェーブレット変換係数）により符号化された自然画像に対して、ユーザが画像サイズを指定して伸張されたビットマップ画像が得られるまでの制御の流れを示す図である。図１に示す制御の流れをもとに本第１実施例を詳しく説明する。
【００１６】
まずユーザは既にウェーブレット変換された画像（ウェーブレット変換係数）に対して、画像サイズ指定手段１により、伸張された後の画像サイズを指定する。尚、この時原画像をより忠実に再現するために、縦×横比は変えないと仮定するので、以下縦×横サイズとはいわずに単にサイズと呼ぶ。
【００１７】
次に、指定された画像サイズから階層型ウェーブレット変換係数を参照し、指定された伸張画像サイズに内輪のうち最も大きいか、または、等しい直上階層（ｉ＋１）、および、指定された伸張画像サイズを上回ったもののうち最も小さいか、または、等しい直下階層（ｉ）となる階層数（整数値）ｉ（ｉ＝０，１，２，・・・）を求める。即ち、次の条件式（１）を満たすことにより一意的に決定できる整数値ｉを計算する。
（原画の画像サイズ）／２⁽ⁱ⁺¹⁾≦指定画像サイズ＜（原画の画像サイズ）／２ⁱ
・・・（１）
【００１８】
次に、伸張手段２で、この階層番号（ｉ）に対して、最上位階層から（ｉ＋２）階層までに存在する任意の階層までの変換係数の逆ウェーブレット変換を行うことにより伸張画像を得る。この場合、すべての階層にわたって伸張した後、サブサンプリングを行う方式よりも、画質が高く、高速、省メモリにユーザが指定した画像サイズに最も近く、最も高い画質の伸張画像を得ることができる。また、変倍に伴う画質の劣化の無い高画質のビットマップ画像が得られる。
【００１９】
さらに必要に応じて、この伸張画像をユーザが指定した画像サイズに変倍する変倍処理を行い、ビットマップ画像を得る方法を以下に説明する。予め変倍有無指定手段３により指定された変倍の有無の状態に応じて、変倍が指定されていなければ、この伸張画像をそのままビットマップ画像として、処理を終了する。一方、変倍が指定されている場合は、変倍手段４により伸張画像をユーザが指定した画像サイズに変倍することによって、ユーザが指定した画像サイズに完全に一致させることができる。この変倍手段４における変倍方法は、従来技術で知られている方法を使用して実現できる。
【００２０】
また、変倍に伴って、画像のサイズが変わるため、変倍処理の前後において、１画素が１画素に対応しなくなってくる。そこで予め補間有無指定手段５により補間が指定されなかった場合は、補間をすることなく、サイズの変倍だけを行い、ビットマップ画像とする。一方、補間をするよう指定された場合は、補間手段６により補間し、ビットマップ画像を得る。ここで補間をしない場合には、高速、省メモリな伸張ができるが、補間した場合には、しない場合よりも高画質な伸張が行える。ここで補間手段６における補間方法は、線形補間やｂｉ−ｃｕｂｉｃなど従来技術で広く知られている方法を使用する。
【００２１】
尚、上記の伸張手段２を、ＪＰＥＧ２０００ＩｍａｇｅＣｏｄｉｎｇＳｙｓｔｅｍ（ＩＳＯ／ＩＥＣＦＣＤ１５４４４−１）で規定される方式により符号化されたコードストリームに対して適用することによって、階層型ウェーブレット変換された符号から自然画像に伸張する。ＪＰＥＧ２０００の符号化を伸張手段２に使用することにより、国際的に標準化された方式を用いているため互換性が保たれ、様々なメーカの製品で作成された符号に対しても、同じ入力ファイルとパラメータから全く同じビットマップ画像が生成できる。
【００２２】
また、画像サイズ指定手段１から指定された伸張画像サイズが最上位階層の大きさよりも小さい時に、最上位階層のＬＬサブバンド係数からさらに順次低周波成分を作成して、以下同様の操作をしたあと、伸張手段２で伸張画像を得るようにしてもよい（図面２参照）。この低周波成分の作成は、その系において表現される色成分が符号無し整数で表現されるように必要なレベルシフトを施した後、ｗａｖｅｌｅｔフィルタバンクで用いられてきた演算式をそのまま用いて最上位階層を超えるＬＬサブバンドよりも高い低周波成分を作成してもよく、または、単に隣接画素の平均値をとることにより、最上位階層を超えるＬＬサブバンドよりも高い低周波成分を作成してもよい。どちらの場合も新たなハードウェアを追加する必要はなく、平均値を取る場合には、加算回路とシフト回路だけで構成できるので、高速な演算が可能である。
【００２３】
（２）第２実施例
サブバンド変換符号化方式は、上述したウェーブレット変換符号化方式に比較して、各階層において、低周波成分だけでなく、高周波成分も順次成分分解して持つという違いをもっている。したがって、第１実施例のウェーブレット変換符号化方式をサブバンド変換符号化方式に置き換える本第２実施例においても、本発明の「ユーザが指定した画像サイズに最も近く、高画質の伸張画像が高速、省メモリ容量で得られる」というポイントはそのまま適用できる。
【００２４】
図３は、第２実施例における既にサブバンド変換（サブバンド変換係数）により符号化された自然画像に対して、ユーザが画像サイズを指定して伸張されたビットマップ画像が得られるまでの制御の流れを示す図である。図３に示す制御の流れをもとに本第２実施例を詳しく説明する。
【００２５】
まずユーザは既にサブバンド変換された画像（サブバンド変換係数）に対して、画像サイズ指定手段１により、伸張された後の画像サイズを指定する。尚、この時原画像をより忠実に再現するために、縦×横比は変えないと仮定するので、以下縦×横サイズとはいわずに単にサイズと呼ぶ。
【００２６】
次に、指定された画像サイズからサブバンド変換係数を参照し、指定された伸張画像サイズに内輪のうち最も大きいか、または、等しい直上階層（ｉ＋１）、および、指定された伸張画像サイズを上回ったもののうち最も小さいか、または、等しい直下階層（ｉ）となる階層数（整数値）ｉを求める。即ち、第１実施例で説明した条件式（１）を満たすことにより一意的に決定できる整数値ｉを計算する。
【００２７】
次に、伸張手段２で、この階層番号（ｉ）に対して、最上位階層から（ｉ＋１）階層までに存在する任意の階層までの逆サブバンド変換を行うことにより、伸張画像を得る。この場合、すべての階層にわたって伸張した後、サブサンプリングを行う方式よりも、画質が高く、高速、省メモリにユーザが指定した画像サイズに最も近く、最も高い画質の伸張画像を得ることができる。また、変倍に伴う画質の劣化の無い高画質のビットマップ画像が得られる。
【００２８】
さらに必要に応じて、この伸張画像をユーザが指定した画像サイズに変倍する変倍処理を行い、ビットマップ画像を得る方法を以下に説明する。予め変倍有無指定手段３により指定された変倍の有無の状態に応じて、変倍が指定されていなければ、この伸張画像をそのままビットマップ画像として、処理を終了する。一方、変倍が指定されている場合は、変倍手段４により伸張画像をユーザが指定した画像サイズに変倍することによって、ユーザが指定した画像サイズに完全に一致させることができる。この変倍手段４における変倍方法は、従来技術で知られている方法を使用して実現できる。
【００２９】
また、変倍に伴って、画像のサイズが変わるため、変倍処理の前後において、１画素が１画素に対応しなくなってくる。そこで予め補間有無指定手段５により補間が指定されなかった場合は、補間をすることなく、サイズの変倍だけを行い、ビットマップ画像とする。一方、補間をするよう指定された場合は、補間手段６により補間し、ビットマップ画像を得る。ここで補間をしない場合には、高速、省メモリな伸張ができるが、補間した場合には、しない場合よりも高画質な伸張が行える。ここで補間手段６における補間方法は、線形補間やｂｉ−ｃｕｂｉｃなど従来技術で広く知られている方法を使用する。
【００３０】
また、画像サイズ指定手段１から指定された伸張画像サイズが最上位階層の大きさよりも小さい時に、最上位階層のＬＬサブバンド係数をさらに順次低周波成分を作成して、以下同様の操作をしたあと、伸張手段２で伸張画像を得るようにしてもよい（図面４参照）。この低周波成分の作成は、その系において階層型サブバンド変換式をそのまま用いて最上位階層を超えるＬＬサブバンドよりも高い低周波成分を作成してもよく、または、単に隣接画素の平均値をとることにより、最上位階層を超えるＬＬサブバンドよりも高い低周波成分を作成してもよい。どちらの場合も新たなハードウェアを追加する必要はなく、平均値を取る場合には、加算回路とシフト回路だけで構成できるので、高速な演算が可能である。
【００３１】
（３）第３実施例
本発明は上述した実施例のみに限定されたものではない。上述した実施例に示した各機能（画像サイズ指定手段１、伸張手段２、変倍有無指定手段３、変倍手段４、補間有無指定手段５、補間手段６およびこれらの制御手段等）を、コンピュータに実行させることのできるプログラムとして、例えば、磁気媒体（例えば、磁気テープ、フレキシブルディスク、ハードディスク等）、光媒体（例えば、ＤＶＤ，ＭＯ，ＭＤ，ＣＤ−Ｒ等）、半導体メモリ（例えば、ＲＯＭ、ＩＣメモリカード等）などの記録媒体に書き込んで各種装置に適用することも可能である。本発明を実現するコンピュータは、この記録媒体に記録されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【００３２】
また、インターネットなどのネットワークに接続したサーバから上記プログラムをダウンロードし、コンピュータにインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、本発明の記録媒体である。尚、プログラムの指示に基づき、オペレーティングシステム等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も本発明に含まれる。
【００３３】
このように上述した機能をプログラムとして、コンピュータで実行できるため、ウェーブレット変換方式またはサブバンド変換方式で符号化された符号データに対して、動作実験、再利用、評価を進めることができる。
【００３４】
【発明の効果】
以上説明したように、本発明によれば、ウェーブレット変換符号（変換係数）から、ユーザが指定したサイズ、またはそれに近い高画質、省メモリの縮小ビットマップ画像が高速で伸張できる。
【図面の簡単な説明】
【図１】第１実施例における既にウェーブレット変換により符号化された自然画像に対して、ユーザが画像サイズを指定して伸張されたビットマップ画像が得られるまでの制御の流れを示す図である。
【図２】第１実施例でユーザが指定した画像サイズが最上位階層の大きさよりも小さいときの制御の流れを示す図である。
【図３】第２実施例における既にサブバンド変換により符号化された自然画像に対して、ユーザが画像サイズを指定して伸張されたビットマップ画像が得られるまでの制御の流れを示す図である。
【図４】第２実施例でユーザが指定した画像サイズが最上位階層の大きさよりも小さいときの制御の流れを示す図である。
【符号の説明】
１…画像サイズ指定手段
２…伸張手段
３…変倍有無指定手段
４…変倍手段
５…補間有無指定手段
６…補間手段

Claims

画像データを階層ウェーブレット変換した変換係数を入力して伸張画像を得る画像伸張装置であって、
画像データの伸張後の画像サイズを指定する画像サイズ指定手段と、
前記画像サイズ指定手段によって指定された画像サイズから前記変換係数を参照して、
（原画の画像サイズ）／２ ⁽ⁱ⁺¹⁾ ≦指定画像サイズ＜（原画の画像サイズ）／２ ⁱ
の条件を満たす階層数である整数値ｉを算出する計算手段と、
前記算出された整数値ｉに対して、前記変換係数について、最上位階層から（ｉ＋２）階層までに存在する任意の階層までの逆ウェーブレット変換を行って伸張画像を得る伸張手段と、
を有することを特徴とする画像伸張装置。
前記伸張画像について変倍処理の有無を指定する変倍指定手段と、
前記変倍指定手段で変倍処理を指定された場合、前記伸張手段で得られた伸張画像を指定された画像サイズに変倍する変倍手段と、
をさらに有することを特徴とする請求項１に記載の画像伸張装置。
前記変倍された伸張画像に対して補間処理の有無を指定する補間指定手段と、
前記補間指定手段で補間処理が指定された場合、前記変倍手段で変倍された伸張画像に対して補間処理を行う補間手段と、
をさらに有することを特徴とする請求項２に記載の画像伸張装置。
画像データにウェーブレット変換を行うことで低周波成分と高周波成分との変換係数を得るウェーブレット変換手段をさらに有し、
前記ウェーブレット変換手段は、前記画像サイズ指定手段によって指定された画像サイズが前記入力された変換係数の最上位階層の大きさよりも小さい場合に、該最上位階層のＬＬサブバンド係数を順次ウェーブレットと変換してさらに上位階層の変換係数を作成し、
前記伸張手段は、前記ウェーブレット変換手段で作成された変換係数について逆ウェーブレット変換を行って伸張画像を得ることを特徴とする請求項１乃至３のいずれか１項に記載の画像伸張装置。
画像データを階層ウェーブレット変換した変換係数を入力して伸張画像を得る画像伸張方法であって、
画像データの伸張後の画像サイズを指定する画像サイズ指定ステップと、
前記画像サイズ指定ステップによって指定された画像サイズから前記変換係数を参照して、
（原画の画像サイズ）／２⁽ⁱ⁺¹⁾≦指定画像サイズ＜（原画の画像サイズ）／２ⁱ
の条件を満たす階層数である整数値ｉを算出する計算ステップと、
前記算出された整数値ｉに対して、前記変換係数について、最上位階層から（ｉ＋２）階層までに存在する任意の階層までの逆ウェーブレット変換を行って伸張画像を得る伸張ステップと、
を有することを特徴とする画像伸張方法。
前記伸張画像について変倍処理の有無を指定する変倍指定ステップと、
前記変倍指定ステップで変倍処理を指定された場合、前記伸張ステップで得られた伸張画像を指定された画像サイズに変倍する変倍ステップと、
をさらに有することを特徴とする請求項５記載の画像伸張方法。
前記変倍された伸張画像に対して補間処理の有無を指定する補間指定ステップと、
前記補間指定ステップで補間処理が指定された場合、前記変倍ステップで変倍された伸張画像に対して補間処理を行う補間ステップと、
をさらに有することを特徴とする請求項６に記載の画像伸張方法。
画像データにウェーブレット変換を行うことで低周波成分と高周波成分との変換係数を得るウェーブレット変換ステップをさらに有し、
前記ウェーブレット変換ステップは、前記画像サイズ指定ステップによって指定された画像サイズが前記入力された変換係数の最上位階層の大きさよりも小さい場合に、該最上位階層のＬＬサブバンド係数を順次ウェーブレット変換してさらに上位階層の変換係数を作成し、
前記伸張ステップは、前記ウェーブレット変換ステップで作成された変換係数について逆ウェーブレット変換を行って伸張画像を得ることを特徴とする請求項５乃至７のいずれか１項に記載の画像伸張方法。
請求項５乃至８に記載の画像伸張方法の処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。