JP5019477B2 - 画像処理装置 - Google Patents

Description

本発明は、圧縮された符号として与えられた画像を復号して表示する画像処理装置に係り、特に、表示画像の拡大操作が可能な画像処理装置に関する。

画像データベース内の画像を閲覧する場合、ユーザが目的とする画像を検索する必要がある。画像を検索する手法としては、検索対象画像の画像名（ファイル名）が既知であれば、画像名の一覧から検索する場合もあるが、多くの場合はサムネイルの一覧表示が使用される。例えば、文書画像を検索する場合、キーワード検索した後にキーワードにヒットした候補画像をサムネイル一覧表示して、最終的に検索対象画像を選択する方法や、最初からサムネイル一覧表示のみを使用して検索対象画像を探し出したりする方法が用いられている。このようなサムネイル一覧表示では、解像度を落とした縮小画像の状態なので画像の詳細な内容を把握する事が難しいため、画像を拡大表示させる必要がある。

このように画像の拡大表示が必要とされる場合は少なくない。しかし、通常、画像は圧縮された符号として記憶・伝送されるため、低解像度から段階的に高い解像度へと拡大操作を行った場合に、ある解像度の画像を得るための符号の復号処理を行い、次に、より高い解像度の画像を得るための符号の復号処理を行い、というように連続して何度も復号処理を行うのでは処理に時間がかかり、高速なズーミングが難しい。そこで、拡大操作の途中では低解像度の復号画像を画像補間により拡大した画像を表示する「過渡的なズーミング表示動作」を行い、拡大操作が終了した時点で、最終的な高解像度の画像表示に必要な符号の復号処理を行い、復号した高解像度画像で表示を更新するという手法が用いられる（例えば特許文献１を参照）。

特開平１０−１９８３３７号公報

上に述べた「過渡的なズーミング表示動作」による補間拡大画像から、高解像度の復号画像の表示へと切り替えた瞬間に、画像が全体的にずれる、もしくは揺れる現象が起きることがある。本発明の目的は、そのような画像の「ずれ」もしくは「揺れ」の発生を抑えることにある。

まず、従来、過渡的ズーミング表示動作で表示された補間拡大画像から高解像度復号画像に置き換わった瞬間に画像がずれたり、揺れたりするように見える現象の発生メカニズムについて簡単に説明する。

例えばＪＰＥＧ２０００のロスレス圧縮モードは、５／３フィルタによる可逆な離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を用いており、垂直方向、水平方向にそれぞれ１次元可逆離散ウェーブレット変換がかけられる。通常は離散ウェーブレット変換後のダウンサンプリングを考慮して計算を省いたリフティング演算が用いられる、このリフティング演算は以下のような式で与えられる。

垂直、水平方向にリフティング演算を行った後に、図４のようにデインターリーブされサブバンドに分けられる。図４において、ＬＬは垂直水平ともに低周波の成分、ＨＬは垂直方向の低周波成分から水平方向の高周波成分を抽出した信号、ＬＨは垂直方向の高周波成分から水平方向の低周波成分を抽出した信号、ＨＨは垂直水平ともに高周波成分を抽出した信号である。

低解像度の画像を生成するときはＬＬの成分のみを使う。ズーミング中に低解像度の画素値を使って補間拡大するということは、このＬＬ成分の値を画素値として画像補間することに他ならない。

ここで簡単のために信号を１次元に限定して考える。図５に示すような1次元のオリジナルデータに５／３可逆ＤＷＴを施し低周波成分を抜き出すと、図６のようになる。抜き出された低周波成分がズーミング前の画素値であり、この画素値を使って２倍に補間拡大するものとする。

画像補間方法として、ニアレストネイバーを用いた場合のオリジナルデータとの比較を図７に示す。ニアレストネイバーでは、オリジナルデータの偶数番目の画素と同じ値をその隣の奇数番目の画素にも使うので、そもそも画質が汚い印象を与えるうえに、高解像度の画像を重ねたときに奇数番目の画素値が本来の値に修正される形になるため、左にずれるように見える。１次元データで左にずれて見える現象は、２次元の画像では左上にずれて見えることになる。

５／３可逆ＤＷＴを２回適用し、抜き出された低周波成分をニアレストネイバー法で補間拡大したデータとオリジナルデータを比較すると図８のようになり、さらにオリジナルデータとのズレが大きく見える。

ここまではニアレストネイバーを用いる例について説明したが、複数の参照画素の値を用いた演算により補間画素の値を決定する画像補間法を用いる場合も同様の現象が生じる。そのような画像補間法として広く使われているバイリニア法で補間拡大したデータは、通常、図９のようになり、補間拡大したデータに比べてオリジナルデータ（高解像度の画像）は全体的に左側にずれる。

このことについて、さらに説明する。バイリニア法では、補間画素の４近傍の参照画素の値から線形近似によって補間画素値を決める。入力画像ｆ（ｉ，ｊ）を水平、垂直方向にＡ倍する場合、４つの参照画素（左上のものをf00、右上のものをf10、左下のものをf01、右下のものをf11とする）などを次式のように定義する。

補間画素の値は次式により計算される。

ここで、バイリニア法では、参照画素と補間画素の位置が同一の格子を使って示されているのではなく、図１０に示すように、参照画素が、補間拡大画像の画素の格子点の間に配置されるのが通常である（図１０はＡ＝２の例である）。したがって、この場合、例えば補間画素g00の値は次式で計算される。

このような参照画素の配置は、参照画素をオリジナルデータ（高解像度の画像）の２×２画素の中央に仮想的に存在する代表画素のように扱っていることを意味する。しかるに、５／３可逆ＤＷＴで得られる低周波成分は、ダウンサンプリングされる画素を中心とした画素から計算されており、いわば偶数番目の画素値に近い値が低周波成分となるため、５／３可逆ＤＷＴで得られる低周波成分を用いて、図１０のような補間画像の格子点の間に参照画素を配置するような画像補間を行うと、図９に見られるように、オリジナルデータ（高解像度の画像）と補間拡大画像の間にギャップが生じてしまい、補間拡大画像に高解像度画像を上書き表示した時に、画像が左上にずれたように見えてしまうわけである。

このような画像の「ずれ」もしくは「揺れ」は、参照画素を図１１のように補間拡大画像の画素の格子点上に配置することで防止することができる（図１１ではＡ＝２としている）。このように参照画素を配置する場合、補間画素g00，g10，g01，g11の算出式は次のように表され、偶数番目の補間画素値として参照画素の値がそのまま使われ、奇数番目の補間画素の値は両隣の参照画素の値を用いて決定される。

このように、補間拡大画像の画素の格子点上に参照画素を配置してバイリニア法により補間拡大を施した結果は、図１２のようになり、オリジナルデータとほぼ同じ変化をしている。したがって、補間拡大画像に高解像度画像を上書きした瞬間のずれ、もしくは揺れは目立たない。

なお、ＪＰＥＧ２０００では、周波数変換として５／３可逆ＤＷＴと９／７非可逆ＤＷＴを使用できるが、そのいずれを選択するとしても、高い解像度の画像の奇数個の画素値から低い解像度の画像の画素値を生成する変換である点で共通している。

次に、高い解像度の画像の偶数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式の画像符号の場合について説明する。このような符号化方式の例として、現在標準化が進められているＪＰＥＧ−ＸＲがある。

ＪＰＥＧ−ＸＲによる画像符号の場合、１つの符号から、最高解像度及び１／４のスケールの画像を得られる符号と、１／１６のスケールの画像を得られる符号とを抜き出すことができる。ＪＰＥＧ−ＸＲの画像符号の場合、図１３に示すような周波数階層となっており、４画素×４画素のブロック単位で直交変換を行った後の係数を、４×４ブロック（マクロブロック）単位で集めたものを最高解像度の係数HPとし、マクロブロックの各ブロックの係数のDC成分を集めたものを１段階低い解像度の係数LPとし、LPに対して4×4の単位で直交変換した結果得られるDC成分を最も低い解像度の係数DCとして扱う。

ここで、LPは４画素×４画素の各ブロックを平坦化したようなものを表す係数であるので、LPのみを使って復号した低い解像度の画像をバイリニア法で補間拡大した画像に、HP係数を全て使って復号した高解像度の画像を上書きした時に画像のずれを生じさせないためには、ＪＰＥＧ２０００の場合とは逆に、図１０に示すように、補間拡大画像の画素の格子点の間に参照画素を配置して補間拡大を行えばよい。
同様の符号の別の例としてＦｌａｓｈＰｉｘ符号がある。

以上では、圧縮された画像が解像度スケーラブルの符号として与えられる場合を想定して説明した。しかし、高い解像度の画像の奇数個の画素値から低い解像度の画像の画素値を生成する解像度変換により得られた複数の異解像度画像それぞれの独立した符号の集まりとして与えられる圧縮画像は、ＪＰＥＧ２０００符号などと同様に、補間拡大画像の画素の格子点上に参照画素を配置して補間拡大を行えば、補間拡大画像を高解像度の復号画像で上書き表示した際の画像のずれが目立たなくなる。一方、高い解像度の画像の偶数個の画素値から低い解像度の画像の画素値を生成する解像度変換により得られた複数の異解像度画像それぞれの独立した符号の集まりとして与えられる圧縮画像は、ＪＰＥＧ−ＸＲ符号などと同様に扱うことができ、補間拡大画像の画素の格子点の間に参照画素を配置して補間拡大を行うとよい。

以上、画像補間法としてバイリニア法を例にしたが、バイキュービック法などが用いられる場合も同様である。

本発明は、以上の考察に基づき、過渡的なズーミング表示動作による補間拡大画像から高解像度の復号画像の表示へと切り替えた瞬間の画像のずれもしくは揺れの発生を抑えた画像処理装置を実現するものであり、その特徴は次の通りである。

請求項１記載の発明は、
拡大操作の対象である符号の復号処理により得られた復号画像を表示している状態でユーザによる拡大操作が始まると、当該拡大操作の継続中、当該復号画像の補間拡大処理を行い、それにより得た補間拡大画像を表示させる過渡的ズーミング表示動作を行い、当該拡大操作が終了すると拡大操作の対象である符号の復号処理を行い、それにより得た拡大後の復号画像を、当該過渡的ズーミング表示動作の最後に表示された補間拡大画像に上書きする形で表示する画像処理装置であって、
前記補間拡大処理は、補間拡大画像の各画素の値を複数の参照画素の値を用いた演算により決定する画像補間法による処理であり、
前記補間拡大処理を行う補間拡大手段は、参照画素と補間拡大画像の画素との位置関係に関連した動作モードとして、補間拡大画像の画素の格子点の間に参照画素を配置するＡモード、又は、補間拡大画像の画素の格子点上に参照画素を配置するＢモードを選択可能であり、
ユーザの指示に従って、前記補間拡大手段の動作モードとして前記Ａモード、Ｂモードのいずれかを選択するモード選択手段を有することを特徴とする画像処理装置である。

請求項２記載の発明は、
拡大操作の対象である符号の復号処理により得られた復号画像を表示している状態でユーザによる拡大操作が始まると、当該拡大操作の継続中、当該復号画像の補間拡大処理を行い、それにより得た補間拡大画像を表示させる過渡的ズーミング表示動作を行い、当該拡大操作が終了すると拡大操作の対象である符号の復号処理を行い、それにより得た拡大後の復号画像を、当該過渡的ズーミング表示動作の最後に表示された補間拡大画像に上書きする形で表示する画像処理装置であって、
前記補間拡大処理は、補間拡大画像の各画素の値をその近傍の複数の参照画素の値を用いた演算により決定する画像補間法による処理であり、
前記補間拡大処理を行う補間拡大手段は、参照画素と補間拡大画像の画素との位置関係に関連した動作モードとして、補間拡大画像の画素の格子点の間に参照画素を配置するＡモード、又は、補間拡大画像の画素の格子点上に参照画素を配置するＢモードを選択可能であり、
前記補間拡大手段の動作モードとして前記Ａモード、Ｂモードのいずれかを自動的に選択するモード選択手段を有することを特徴とする画像処理装置である。

請求項３記載の発明は、請求項２記載の発明に係る画像処理装置において、
前記モード選択手段は、高い解像度の画像の奇数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式による解像度スケーラブルの符号が拡大操作の対象である場合には、前記補間拡大手段の動作モードとしてＢモードを選択し、高い解像度の画像の偶数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式による解像度スケーラブルの符号が拡大操作の対象である場合には、前記補間拡大手段の動作モードとしてＡモードを選択することを特徴とする。

請求項４記載の発明は、請求項２記載の発明に係る画像処理装置において、
前記モード選択手段は、高い解像度の画像の奇数個の画素値から低い解像度の画像の画素値を生成する解像度変換により得られた複数の異解像度画像それぞれの独立した符号が拡大操作の対象である場合には、前記補間拡大手段の動作モードとしてＢモードを選択し、高い解像度の画像の偶数個の画素値から低い解像度の画像の画素値を生成する解像度変換により得られた複数の異解像度画像それぞれの独立した符号が拡大操作の対象である場合には、前記補間拡大手段の動作モードとしてＡモードを選択することを特徴とする。

請求項５記載の発明は、請求項３又は４に記載の発明に係る画像処理装置において、
拡大操作の対象が複数ある場合、それら対象ごとに、前記モード選択手段は前記補間拡大手段の動作モードとしてＡモード又はＢモードのいずれかを自動的に選択することを特徴とする。

本発明によれば、過渡的なズーミング表示動作による補間拡大画像から高解像度の復号画像の表示へと切り替えた瞬間の画像のずれもしくは揺れの発生を抑えることが可能な画像処理装置を実現することができる。

図１は、本発明の一実施形態に係る画像処理装置を説明するためのブロック図である。この画像処理装置は、画像の符号を記憶するための符号記憶部１００、符号記憶部１００に記憶されている符号を読み込んで復号処理を行い復号画像を出力する復号部１０２、この復号画像を一時的に記憶するための復号画像記憶部１０４、復号画像記憶部１０４より復号画像を読み込んで補間拡大処理を行い補間拡大画像を出力する補間拡大部１０６、この補間拡大画像を一時的に記憶するための補間拡大画像記憶部１０８、復号画像記憶部１０４又は補間拡大画像記憶部１０８に記憶されている画像を画面に表示する表示部１１０、復号部１０２や補間拡大部１０６、表示部１１０の制御を行う制御部１１２、ユーザが拡大操作などを行うためのユーザ操作部１１４を有する。表示部１１０の画面には、画像が１つだけ表示されることも複数が同時に表示されることもある。ユーザは、ユーザ操作部１１４による拡大操作により、画面に表示されている１つの画像だけを拡大表示させることも複数の画像を同時に拡大表示させることもできる。

符号記憶部１００に記憶される符号としては、通常、ＪＰＥＧ２０００符号、ＪＰＥＧ−ＸＲ符号、ＦｌａｓｈＰｉｘ符号のような解像度スケーラブルの符号が想定される。ただし、高い解像度の画像に低い解像度へと変換する解像度変換を適用することに得られた複数の異解像度画像それぞれの独立した符号（例えばＪＰＥＧ符号）の集まりであってもよい。

補間拡大部１０６は、補間画素値をその近傍の複数の参照画素の値を用いた演算により決定する画像補間法、例えばバイリニア法を利用するものである。そして、補間拡大部１０６は、参照画素と補間拡大画像の画素との位置関係に関連した動作モードとして、図１０に例示したように補間拡大画像の画素の格子点の間に参照画素を配置するＡモードを選択することも、図１１に例示したように補間拡大画像の画素の格子点上に参照画素を配置するＢモードを選択することもできる。

制御部１１２は、補間拡大部１０６をＡ，Ｂモードのいずれで動作させるかのモード選択を行うモード選択部１１６を含んでいる。このモード選択は、ユーザからの指示に基づいて行わせることも、対象とする符号に応じて自動的に行わせることも可能である。

このような画像処理装置は、例えば、図２に示すようなＣＰＵ２００、メモリ２０２、ディスプレイ２０４、マウス２０６、キーボード２０８、ハードディスク２１０、ネットワーク・インターフェース２１２などから構成される一般的なコンピュータを利用しソフトウェアによって実現される。各記憶部１００，１０４，１０８としてはメモリ２０２の特定の記憶域が利用される。ユーザ操作部１１４としては例えばマウス２０６が利用され、ユーザの拡大操作は例えばマウス２０６のホイールを回転させる操作である。表示される画像の符号は、ハードディスク２１０に蓄積されているものであったり、ネットワーク・インターフェース２１２を通じリモート・サーバ等からダウンロードされたものであったりする。

例えば、解像度スケーラブルの符号の復号処理により得られた低解像度の復号画像（復号画像記憶部１０４に記憶されている）が表示部１１０の画面に表示されている状態でユーザの拡大操作が行われる場合の動作について、図３の状態遷移図を参照し、説明する。

拡大操作の対象である符号の復号処理により得られた低解像度の復号画像が表示されている操作待ちの状態Ｓ０で、ユーザがユーザ操作部１１４で拡大操作を開始すると、制御部１１２は拡大操作中の状態Ｓ１に遷移する。この拡大操作とは、ここではマウス２０６のホイールを回転させる操作であるとする。

状態Ｓ１では、制御部１１２は、補間拡大部１０６に、拡大倍率を指定して復号画像記憶部１０４内の復号画像の補間拡大処理を行わせて補間拡大画像を補間拡大画像記憶部１０８に出力させ、この補間拡大画像を表示部１１０の画面に表示させる。拡大操作が継続中は、拡大倍率を徐々に上げて補間拡大処理と補間拡大画像の表示を繰り返し行わせる。すなわち、過渡的ズーミング表示動作が行われるわけである。

ユーザの拡大操作が終了すると（具体的にはマウス２０６のホイールからユーザが指を離すと）、制御部１１２は状態Ｓ２に遷移する。制御部１１２は、当該符号について、過渡的ズーミング表示動作の最後で表示された補間拡大画像のサイズに対応した高い解像度の画像（拡大後の画像）を得るための復号処理を復号部１０２に実行させ、復号部１０２より出力され復号画像記憶部１０４に記憶されている高解像度の復号画像を、表示部１１０の画面に、それまで表示されていた補間拡大画像に上書きする形で表示させる。この処理が終わると、操作待ち状態Ｓ０に戻る。

さて、過渡的ズーミング表示動作において補間拡大部１０６がＡモード、Ｂモードのいずれのモードで動作するかはモード選択部１１６で選択される。拡大操作の対象となる符号の符号化方式が予め決まっているような場合、その符号化方式に適した特定のモードをモード選択部１１６で選択させるように、ユーザ側で例えばユーザ操作部１１４の操作を通じて予め指示することができる。

すなわち、高い解像度の画像の奇数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式による解像度スケーラブルの符号、例えばＪＰＥＧ２０００符号が拡大操作の対象である場合には（もしくは、同様の解像度変換により得られた複数の異解像度画像それぞれの独立した符号が拡大操作の対象である場合には）、補間拡大画像の画素の格子点上に参照画素を配置するＢモードを選択するように指示すればよい。このようなモード選択を行えば、過渡的ズーミング表示動作で最後に表示された補間拡大画像に高解像度復号画像を上書き表示した時の画像のずれは目立たなくなる。

一方、高い解像度の画像の偶数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式による解像度スケーラブルの符号、例えばＪＰＥＧ−ＸＲ符号やＦｌａｓｈＰｉｘ符号が拡大操作の対象である場合には（もしくは、同様の解像度変換により得られた複数の異解像度画像それぞれの独立した符号が拡大操作の対象である場合には）、補間拡大画像の画素の格子点の間に参照画素を配置するＡモードを選択するように指示すればよい。このようなモード選択を行えば、過渡的ズーミング表示動作の最後に表示された補間拡大画像に高解像度復号画像を上書き表示した時の画像のずれ、もしくは揺れは目立たなくなる。

また、ユーザはユーザ操作部１１４の操作を通じて、モード選択部１１６で、拡大操作の対象となる符号に適したモードを自動的に選択させるように指示することができる。この場合、モード選択部１１６では、高い解像度の画像の奇数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式による解像度スケーラブルの符号、例えばＪＰＥＧ２０００符号が拡大操作の対象である場合には（もしくは同様の解像度変換により得られた複数の異解像度画像それぞれの独立した符号が拡大操作の対象である場合には）Ｂモードを自動選択し、高い解像度の画像の偶数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式による解像度スケーラブルの符号、例えばＪＰＥＧ−ＸＲ符号やＦｌａｓｈＰｉｘ符号が拡大操作の対象である場合には（もしくは、同様の解像度変換により得られた複数の異解像度画像それぞれの独立した符号が拡大操作の対象である場合には）Ａモードを自動選択する。

このような自動的なモード選択は、例えば、符号のヘッダに記述されている符号化方式に関する情報や、符号のヘッダに予め記述したモード選択に関する情報、あるいは、符号ごとにＡ，Ｂモードのいずれを適用するかを管理するために用意したテーブルの情報などを参照することにより、容易に行うことができる。そして、このような自動的なモード選択を行わせるならば、対象とする符号の符号化方式などをユーザが意識しなくとも、過渡的ズーミング表示動作で表示された補間拡大画像に高解像度復号画像を上書き表示した時の画像のずれ、もしくは揺れを目立たなくすることができる。

なお、ユーザの拡大操作により、表示部１１０の画面に表示されている複数の画像を同時に拡大表示させることもできる。このように拡大操作の対象が複数ある場合においても、モード選択部１１６により、過渡的ズーミング表示における補間拡大処理のモードを拡大操作の対象ごとに適切に選択することにより、補間拡大画像に高解像度復号画像を上書き表示した際の画像のずれを目立たなくすることができる。拡大操作の対象に符号化方式などの異なる画像が混在している場合には、画像ごとに適したモードを選択させる必要があるが、これは上述の自動的なモード選択により可能である。

なお、本発明は以上に述べた実施形態のみに限定されるものではなく、様々に変形して実施し得るものである。

本発明の画像処理装置のブロック図である。 本発明の画像処理装置が実現されるコンピュータの一例を示すブロック図である。 拡大操作に関連した動作を説明するための状態遷移図である。 ２次元ＤＷＴを１回適用した後のサブバンド分割を示す図である。 ５／３ＤＷＴの対象となる１次元のオリジナルデータを示す図である。 オリジナルデータと、それに５／３ＤＷＴを適用した後のデータの低周波成分とをプロットした図である。 オリジナルデータと、それに５／３ＤＷＴを適用した後のデータの低周波成分をニアリストネイバーにより２倍拡大したデータとをプロットした図である。 オリジナルデータと、それに５／３ＤＷＴを２回適用した後のデータの低周波成分をニアレストレイバーにより２倍拡大したデータとをプロットした図である。 オリジナルデータと、それに５／３ＤＷＴを適用した後のデータの低周波成分をバイリニアで２倍拡大したデータとをプロットした図である。 バイリニア法において補間画像の画素の格子点の間に参照画素を配置するモードの説明図である。 バイリニア法において補間画像の画素の格子点上に参照画素を配置するモードの説明図である。 オリジナルデータと、それに５／３ＤＷＴを適用した後のデータの低周波成分を、バイリニア法により、補間画像の画素の格子点上に参照画素を配置するモードで２倍拡大したデータとをプロットした図である。 ＪＰＥＧ−ＸＲの周波数階層の説明図である。

符号の説明

１００ 符号記憶部
１０２ 復号部
１０４ 復号画像記憶部
１０６ 補間拡大部
１０８ 補間拡大画像記憶部
１１０ 表示部
１１２ 制御部
１１４ ユーザ操作部
１１６ モード選択部

Claims (5)

1. 拡大操作の対象である符号の復号処理により得られた復号画像を表示している状態でユーザによる拡大操作が始まると、当該拡大操作の継続中、当該復号画像の補間拡大処理を行い、それにより得た補間拡大画像を表示させる過渡的ズーミング表示動作を行い、当該拡大操作が終了すると拡大操作の対象である符号の復号処理を行い、それにより得た拡大後の復号画像を、当該過渡的ズーミング表示動作の最後に表示された補間拡大画像に上書きする形で表示する画像処理装置であって、
   前記補間拡大処理は、補間拡大画像の各画素の値を複数の参照画素の値を用いた演算により決定する画像補間法による処理であり、
   前記補間拡大処理を行う補間拡大手段は、参照画素と補間拡大画像の画素との位置関係に関連した動作モードとして、補間拡大画像の画素の格子点の間に参照画素を配置するＡモード、又は、補間拡大画像の画素の格子点上に参照画素を配置するＢモードを選択可能であり、
   ユーザの指示に従って、前記補間拡大手段の動作モードとして前記Ａモード、Ｂモードのいずれかを選択するモード選択手段を有することを特徴とする画像処理装置。
2. 拡大操作の対象である符号の復号処理により得られた復号画像を表示している状態でユーザによる拡大操作が始まると、当該拡大操作の継続中、当該復号画像の補間拡大処理を行い、それにより得た補間拡大画像を表示させる過渡的ズーミング表示動作を行い、当該拡大操作が終了すると拡大操作の対象である符号の復号処理を行い、それにより得た拡大後の復号画像を、当該過渡的ズーミング表示動作の最後に表示された補間拡大画像に上書きする形で表示する画像処理装置であって、
   前記補間拡大処理は、補間拡大画像の各画素の値をその近傍の複数の参照画素の値を用いた演算により決定する画像補間法による処理であり、
   前記補間拡大処理を行う補間拡大手段は、参照画素と補間拡大画像の画素との位置関係に関連した動作モードとして、補間拡大画像の画素の格子点の間に参照画素を配置するＡモード、又は、補間拡大画像の画素の格子点上に参照画素を配置するＢモードを選択可能であり、
   前記補間拡大手段の動作モードとして前記Ａモード、Ｂモードのいずれかを自動的に選択するモード選択手段を有することを特徴とする画像処理装置。
3. 前記モード選択手段は、高い解像度の画像の奇数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式による解像度スケーラブルの符号が拡大操作の対象である場合には、前記補間拡大手段の動作モードとしてＢモードを選択し、高い解像度の画像の偶数個の画素値から低い解像度の画像の画素値を生成する変換が用いられる符号化方式による解像度スケーラブルの符号が拡大操作の対象である場合には、前記補間拡大手段の動作モードとしてＡモードを選択することを特徴とする請求項２に記載の画像処理装置。
4. 前記モード選択手段は、高い解像度の画像の奇数個の画素値から低い解像度の画像の画素値を生成する解像度変換により得られた複数の異解像度画像それぞれの独立した符号が拡大操作の対象である場合には、前記補間拡大手段の動作モードとしてＢモードを選択し、高い解像度の画像の偶数個の画素値から低い解像度の画像の画素値を生成する解像度変換により得られた複数の異解像度画像それぞれの独立した符号が拡大操作の対象である場合には、前記補間拡大手段の動作モードとしてＡモードを選択することを特徴とする請求項２に記載の画像処理装置。
5. 拡大操作の対象が複数ある場合、それら対象ごとに、前記モード選択手段は前記補間拡大手段の動作モードとしてＡモード又はＢモードのいずれかを自動的に選択することを特徴とする請求項３又は４に記載の画像処理装置。

Images