JP4409897B2 - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、画像処理の分野に係り、特に、画像表示領域に比べサイズの大きな画像の表示・閲覧を容易にするための画像処理装置及び画像処理方法に関する。

巨大な高精細画像の表示の迅速化のために、最高解像度ファイル、第１の中間解像度ファイル、第２の中間解像度ファイル、・・・などの形で画像を保存すると共に、それぞれのファイルについて画像をマトリクス状に区分した画像ブロックとして保持する技術が特許文献１に記載されている。

特開１１−８８８６６号公報

極端に大きな画像をそのままディスプレイ装置で表示すると、不都合が多い。例えば、画像の目的の部分を表示させるためには、スクロール操作を何度も繰り返す必要がある。また、画像の表示処理にも時間がかかり、迅速な表示・閲覧が困難である。

また、巨大な画像を見るといっても、全体を見渡したい場合や細部を詳細に見たい場合など、様々なニーズがある。例えば、地図画像では、広域図が見たい場合や市街地図を見たい場合がある。そして、市街地図を見る場合には、その詳細を識別できるだけの解像度を要求されるであろうが、広域図を見る場合には解像度を落としても広い範囲を一度に閲覧できるほうが望ましいであろう。

本発明は、大きな画像の閲覧に関する上述の問題点を解消し、かつ、上述のような多様なニーズに応えるための新規な画像処理装置及び画像処理方法を提供することを目的とする。

請求項１の発明は、画像に対し解像度変換処理及び分割処理を行う手段と、前記分割処理による画像の分割数を、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御する手段とを有し、
前記解像度変換処理及び分割処理を行う手段は、画像の階層符号化された符号データを符号状態のまま分割画像の符号データに変換する符号分割手段と、該符号分割手段により分割後の符号データを最上位階層から所要階層数だけ復号化する復号化手段とからなり、
前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理装置である。

請求項２の発明は、画像に対し解像度変換処理及び分割処理を行う手段と、前記分割処理による画像の分割数を、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御する手段とを有し、
前記解像度変換処理及び分割処理を行う手段は、画像の階層符号化された符号データを、その最上位階層から所要階層数の符号のみを用いて、符号状態のまま分割画像の符号データに変換する符号分割手段からなり、
前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理装置である。

請求項３の発明は、画像に対し解像度変換処理及び分割処理を行う手段と、前記分割処理による画像の分割数を、画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御する手段とを有し、
前記解像度変換処理及び分割処理を行う手段は、画像の階層符号化された符号データを符号状態のまま分割画像の符号データに変換する符号分割手段と、該符号分割手段により分割後の符号データを最上位階層から所要階層数だけ復号化する復号化手段とからなり、
前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理装置である。

請求項４の発明は、画像に対し解像度変換処理及び分割処理を行う手段と、前記分割処理による画像の分割数を、画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御する手段とを有し、
前記解像度変換処理及び分割処理を行う手段は、画像の階層符号化された符号データを、その最上位階層から所要階層数の符号のみを用いて、符号状態のまま分割画像の符号データに変換する符号分割手段からなり、
前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理装置である。

請求項５の発明は、請求項２又は４に記載の画像処理装置において、前記解像度変換処理及び分割処理を行う手段は、前記符号分割手段により変換後の符号データを復号する復号化手段を含むことを特徴とする。

請求項６の発明は、請求項１乃至５のいずれか１項に記載の画像処理装置において、符号データはウェーブレット変換を用いて階層符号化された符号データであることを特徴とする。

請求項７の発明は、請求項６に記載の画像処理装置において、符号データはＪＰＥＧ２０００準拠の符号データであることを特徴とする。

請求項８の発明は、画像に対し解像度変換処理及び分割処理を行うステップと、前記分割処理による画像の分割数を、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御するステップとを有し、
前記解像度変換処理及び分割処理を行うステップは、画像の階層符号化された符号データを符号状態のまま分割画像の符号データに変換する符号分割ステップと、該符号分割ステップにより分割後の符号データを最上位階層から所要階層数だけ復号化する復号化ステップとからなり、
前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理方法である。

請求項９の発明は、画像に対し解像度変換処理及び分割処理を行うステップと、前記分割処理による画像の分割数を、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御するステップとを有し、
前記解像度変換処理及び分割処理を行うステップは、画像の階層符号化された符号データを、その最上位階層から所要階層数の符号のみを用いて、符号状態のまま分割画像の符号データに変換する符号分割ステップからなり、
前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理方法である。

請求項１０の発明は、画像に対し解像度変換処理及び分割処理を行うステップと、前記分割処理による画像の分割数を、画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御するステップとを有し、
前記解像度変換処理及び分割処理を行うステップは、画像の階層符号化された符号データを符号状態のまま分割画像の符号データに変換する符号分割ステップと、該符号分割ステップにより分割後の符号データを最上位階層から所要階層数だけ復号化する復号化ステップとからなり、
前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理方法である。

請求項１１の発明は、画像に対し解像度変換処理及び分割処理を行うステップと、前記分割処理による画像の分割数を、画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御するステップとを有し、
前記解像度変換処理及び分割処理を行うステップは、画像の階層符号化された符号データを、その最上位階層から所要階層数の符号のみを用いて、符号状態のまま分割画像の符号データに変換する符号分割ステップからなり、
前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理方法である。

請求項１２の発明は、請求項９又は１１に記載の画像処理方法において、前記解像度変換処理及び分割処理を行うステップは、前記符号分割ステップにより変換後の符号データを復号する復号化ステップを含むことを特徴とする。

請求項１３の発明は、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラムである。

請求項１４の発明は、請求項１３に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

請求項１乃至１２の発明によれば、解像度変換及び画像分割により、大きな画像の好適な表示・閲覧が可能になる。大きな地図画像を例にして説明すれば、広域地図を見たい場合には、解像度を下げて画像の分割数を少なくすることにより、広い範囲をカバーする分割画像を生成することができ、そのような分割画像を表示することにより、広域地図を効率よく閲覧することができる。逆に、市街地図を見たい場合には、解像度をあまり下げず、画像の分割数を多くすることにより、詳細な内容を識別可能な分割画像を生成することができ、そのような分割画像を表示することにより、市街地図の目的地域を詳細に閲覧することができる。以上の２例の中間的な解像度、分割数の分割画像の生成も当然に可能である。そして、画像表示領域のサイズが分割数に反映されるので、画像表示領域と分割画像のサイズを近づけることができ、したがって、スクロール操作を行うことなく、又は、スクロール操作をほとんど行うことなく、分割画像を閲覧することができるようになる。また、分割画像は、元の大きな分割画像に比べ表示処理の時間が大幅に短縮されるため、迅速な表示が可能になるととも、表示処理に必要なメモリ容量も削減できる。また、元の画像から好適な解像度とサイズの分割画像を生成するため、予め生成した様々な画像を保存しておく方式（例えば前記特許文献１記載の方式）のように、大容量の画像記憶装置を必要としない。また、画像分割、あるいは、画像分割及び解像度変換の両方が符号レベルで行われるため、その処理時間の短縮及び使用メモリ容量の削減が可能である等々の効果を得られる。また、請求項１３，１４の発明によれば、コンピュータを利用し、請求項１乃至７の発明を容易に実施することができる。

本発明の画像処理装置は、図１に示すような基本構成であり、入力される画像に対し解像度変換処理及び分割処理を行うブロック１０と、このブロックにおける分割処理による画像の分割数を、「画像表示領域のサイズ及び前記解像度変換処理後の解像度」、あるいは、「画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度」に応じて制御するブロック１１とからなる。

本発明の１つの態様においては、画像は画素値データとして入力される。別の態様においては、画像は符号データとして入力される。さらに別の態様では、画像は階層符号化された符号データとして入力される。このような入力画像の態様に応じて、解像度変換・分割処理のブロック１０は後記各実施例の如き構成をとることができる。なお、複数の入力画像のデータ形式に対応するため、後記の複数の実施例に係る構成を組み合わせることも可能であることは明らかである。

図１は、本発明の画像処理方法の基本的構成を示すものでもある。すなわち、本発明の画像処理方法は、ブロック１０に対応する処理ステップと、ブロック１１に対応する処理ステップとを含むことが主たる特徴である。画像処理装置に関連して上に述べたように、入力画像の態様に応じてブロック１０対応の処理ステップの具体的内容は異なってくるが、これについても後記各実施例に関連して説明する。

本発明の画像処理装置及び画像処理方法は、パソコンなどの汎用のコンピュータ、あるいは、機器組込型のマイクロコンピュータなどを利用し、１つ又は複数のプログラムにより実現することも可能である。すなわち、ブロック１０，１１としてコンピュータを機能させるプログラム、あるいは、ブロック１０，１１に対応する処理ステップをコンピュータに実行させるプログラムも本発明に包含される。また、そのようなプログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの、コンピュータが読み取り可能な各種情報記録（記憶）媒体も本発明に含まれる。

この実施例に係る画像処理装置のブロック図を図２に、また、処理フローを図３にそれぞれ示す。この実施例においては、画像の画素値データ（デジタル画像）が入力され、この画素値データに関して解像度変換処理及び分割処理が行われる。

図２において、解像度変換部１０１及び画像分割部１０２は図１中のブロック１０の機能を実現する手段であり、分割数決定部１０３は図１中のブロック１１の機能を実現する手段である。

入力画像の画素値データは解像度変換部１０１に入力される。また、入力画像の画像サイズが分割数決定部１０３に入力される。分割数決定部１０３及び解像度変換部１０１には解像度指定も入力される。この解像度指定は、例えば600dpi→300dpiのように解像度変換前と解像度変換後の両方の解像度を指定するものであるか、解像度変換後の解像度のみを指定するものである。

分割数決定部１０３には、画像表示領域のサイズも与えられる。この画像表示領域とは、例えばディスプレイ装置の画面上に開かれる画像表示用ウィンドウの大きさである。画像表示領域のサイズは、ユーザが直接指定することも可能であるが、この実施例においては（後記各実施例においても同様）、画像表示領域のサイズを自動的に取得する表示領域取得部１０５が設けられている。この表示領域取得部１０５は、例えば画像の表示処理に関わるアプリケーション・プログラムより画像表示領域のサイズを取得する。画像表示領域のサイズは様々に変化する場合があるので、それを自動的に取得する手段を設けるのが好ましい。

画像表示部１０４は、画像分割部１０２より出力される各分割画像を１ページとして、分割画像をページ単位でディスプレイ装置の画像表示領域に表示させる手段である。なお、この画像表示部１０４は、本発明の画像処理装置の外部に設けることも可能である。

次に、図３のフローチャートも参照し、この画像処理装置の動作を説明する。以下の説明は、本発明の画像処理方法の一実施例の説明でもある。

まず、画像が入力され（ステップＳ１）、ついで、入力画像の画像サイズ、解像度指定及び画像表示領域サイズが入力される（ステップＳ２）。

分割数決定部１０３は、解像度指定（解像度変換後の解像度）、画像表示領域サイズ及び画像サイズに応じて画像の分割数を決定し、その結果を画像分割部１０２に指定する（ステップＳ３）。

解像度変換部１０１により、入力画像に対し指定された解像度への解像度変換（解像度を落とす変換）の処理を行う（ステップＳ４）。そして、画像分割部１０２は、分割数決定部１０３により指定された分割数に従って、解像度変換後の画像の分割処理を行う（ステップＳ４）。なお、解像度変換後に画像分割を行うのが一般に実際的ではあるが、画像分割を先に行い、その後に解像度変換を行う構成を排除するものではなく、かかる構成も本実施例に包含される。

そして、画像分割部１０２による分割処理後の分割画像は、前述のように画像表示部１
０２によりページ単位で表示される（ステップＳ５）。

図４の（ａ）は分割数決定の例を示し、（ｂ）は画像分割の例を示す。

図４（ａ）に示すように、解像度変換後の解像度が大きく、画像表示領域が小さいときには分割数は大きくなる（例では、入力画像は３６枚の画像に分割される）。逆に、解像度変換後の解像度が小さく、画像表示領域が大きいときには分割数を小さくなる（例では、入力画像は４枚の画像に分割される）。その中間的な条件では中間的な分割数となる（例では入力画像は９枚の画像に分割される）。

なお、入力画像のサイズによっても分割数は変化する。上の例より入力画像がさらに大きければ、画像分割数はさらに多くなる。つまり、分割数は、入力画像サイズと解像度と画像表示領域サイズの関数である。ただし、入力画像サイズが一定であれば、解像度と画像表示領域サイズのみに応じて分割数を制御することが可能であり、かかる構成も本発明に包含されることは特許請求の範囲の請求項１，１２に記載の通りである。

図４（ｂ）の左部に入力画像を、右部に分割画像を示す。Ｐ１〜Ｐ３６はそれぞれ分割画像につけられたページ番号である。画像表示部１０４は、１つの入力画像より生成された１組の分割画像をページ単位でディスプレイ装置の画面上の画像表示領域（ウィンドウ）に表示させる。

この実施例の画像処理装置のブロック図を図５に示す。

この実施例の画像処理装置は、画像の符号データが入力されるため、その符号データを復号するための復号化部１１０を備え、さらに、前記実施例１と同様の解像度変換部１０１、画像分割部１０２、画像表示部１０４、分割数決定部１０３、表示領域取得部１０５を備える構成である。解像度変換処理と分割処理は、復号化部１１０により復号された画素値データに関して行われる。

分割数決定部２０５の分割数決定の方法は前記実施例１と同様であるので説明を繰り返さない。また、この画像処理装置における全体的な処理フローは、復号化部１１０による復号処理が含まれること以外は前記実施例１と同様であるので、説明を繰り返さない。

この実施例は、入力画像は符号データであるため、例えば、処理対象の大きな画像が多数ある場合でも、それら画像を符号データとして保存しておくことができるため、その保存のための記憶装置の容量を節約できる。この点は前記実施例１にない利点である。なお、符号データの符号化方式は、復号化部１１０により復号可能である限り任意であり、以下に説明する実施例と違って階層符号化に限定されない。

この実施例に係る画像処理装置のブロック図を図６に、また、処理フローを図７にそれぞれ示す。この実施例においては、階層符号化された画像の符号データが入力される。この符号データは、最上位階層ほど解像度が低く、下位階層ほど解像度が高く、最上位階層から下位階層へ向かって復号される階層数が多いほど、復号される画像の解像度が増加するような構造である。基本的には任意の階層符号化方式を用いて構わないが、好ましい態様においては、高圧縮率での画像劣化の少ないウェーブレット変換（離散ウェーブレット変換）を用いる階層符号化方式が適用される。そのような階層符号化方式の一つが、ＪＰＥＧ後継の静止画符号化方式と目されているＪＰＥ２０００である。本実施例においては、このＪＰＥＧ２０００により階層符号化された符号データが入力されるものとして説明する。

図６において、符号分割部２０１及び復号化２０２は図１中のブロック１０の機能を実現する手段であり、分割数決定部１０３は図１中のブロック１１の機能を実現する手段である。

入力画像の符号データは符号分割部２０１に入力される。また、入力画像の画像サイズが分割数決定部２０４に入力される。分割数決定部２０４及び復号化部２０２には、復号する階層数の指定も入力される。この復号する階層数によって、復号化部２０２により復号される画像（画素値データ）の解像度が決まるので、分割数決定部２０３においては、復号する階層数を、解像度変換後の解像度に対応した情報として扱って分割数の決定を行う。ただし、前記実施例１，２と同様に、解像度変換後の解像度を分割数決定部２０４に入力するようにしてもよく、かかる態様も本実施例に包含される。この場合においても、復号化部２０２に対しては復号する階層数は指定される。

分割数決定部２０４には、画像表示領域のサイズも与えられる。この画像表示領域とは、例えばディスプレイ装置の画面上に開かれる画像表示用ウィンドウの大きさである。画像表示領域のサイズは、ユーザが直接指定することも可能であるが、この実施例においては、画像表示領域のサイズを自動的に取得する表示領域取得部２０５が設けられている。この表示領域取得部２０５は、例えば画像の表示処理に関わるアプリケーション・プログラムより画像表示領域のサイズを取得する。

画像表示部２０３は、復号化部２０２より出力される各分割画像を１ページとして、分
割画像をページ単位でディスプレイ装置に表示させる手段である。なお、この画像表示部
２０３は、当該画像処理装置の外部に設けることも可能である。

この実施例は、解像度変換処理及び分割処理に関し、２つの態様を包含している。その第１の態様では、符号分割部２０２において、符号データを、符号状態のまま、分割数決定部２０４で決定された分割数に従って分割した画像の符号データに変換し、復号化部２０２において、分割画像の符号データを、指定された階層数だけ上位階層より復号化する。すなわち、この態様においては、符号分割部２０２は画像分割のみを行う手段として作用し、復号化部２０２は復号化と同時に解像度変換を行う手段として作用する（請求項５，１６）。

第２の態様では、符号分割部２０２において、分割数決定部２０４において、符号データを、符号状態のまま、分割数決定部２０４で決定された分割数に従って分割した画像の符号データに変換するが、その際に、指定された階層数の上位階層の符号のみ利用し、それより下位の階層の符号を破棄し、復号化部２０２においては、分割画像の符号データを全階層について復号化する。この態様では、符号化分割部２０２が、符号状態で画像分割及び解像度変換を行う手段として作用する（請求項４，１５）。この態様においては、復号する階層数の指定は符号分離部２０２にも入力される。復号化部２０２には復号する階層数の指定は入力されなくとも構わない。

次に、図７のフローチャートも参照し、この画像処理装置の動作を説明する。以下の説明は、本発明の画像処理方法の一実施例の説明でもある。

まず、階層符号化された画像の符号データが入力され（ステップＳ１１）、ついで、入力画像の画像サイズ、復号する階層数の指定及び画像表示領域のサイズが入力される（ステップＳ１２）。

分割数決定部２０４は、復号する階層数（解像度）、画像表示領域サイズ及び画像サイズに応じて画像の分割数を決定し、その結果を符号分割部２０１に指定する（ステップＳ１３）。

これ以降の処理は、上に述べた第１の態様と第２の態様とで異なる。

まず、前記第１の態様の場合には、符号分割部２０１により、符号状態での画像分割が行われる（ステップＳ１４ａ）。そして、復号化部２０２により、分割画像の符号データが最上位階層から指定された階層数まで復号化される（ステップＳ１５ａ）。つまり、復号化と同時に解像度変換が行われる。

前記第２の態様の場合には、符号分割部２０１により、符号状態での画像分割が行われるが、この際に、指定された階層数だけの上位階層の符号だけが用いられ、それより下位階層の符号は破棄されることにより、画像分割と同時に解像度変換も行われる（ステップＳ１４ｂ）。そして、解像度変換済みの各分割画像の符号データが全階層について復号化部２０２により復号化される（ステップＳ１５ｂ）。

最後に、画像表示部２０３により分割画像がページ単位で表示される（ステップＳ１６）。

図１０の（ａ）は分割数決定の例を示し、（ｂ）は画像分割の例を示す。ここでは、入力画像の符号データの階層数を５階層としている。

図１０（ａ）に示すように、復号する階層数が１乃至５で、画像表示領域が小さい場合には分割数を多くする。図の例では１つの大画像を３６に分割する。逆に、復号する階層数が３乃至５で、画像表示領域が大きい場合には分割数を少なくする。図の例では１つの大画像を４枚に分割する。復号する階層数が１乃至５で、画像表示領域が大きい場合、又は、復号する階層数が３乃至５で、画像表示領域が小さい場合には、中間的な分割数にする。図の例では１つの大画像を９枚に分割する。

なお、入力画像のサイズによっても分割数は変化する。上の例より入力画像がさらに大きければ、画像分割数はさらに多くなる。つまり、分割数は、入力画像サイズと復号する階層数と画像表示領域サイズの関数である。ただし、入力画像サイズが一定であれば、復号する階層数と画像表示領域サイズのみに応じて分割数を制御することが可能であり、かかる構成も本発明に包含されることは特許請求の範囲の請求項１，１２記載の通りである。

図１０（ｂ）の左部に入力画像を、右部に分割画像を示す。Ｐ１〜Ｐ３６はそれぞれ分割画像につけられたページ番号である。画像表示部２０３は、１つの入力画像より生成された１組の分割画像をページ単位でディスプレイ装置の画面上の画像表示領域（ウィンドウ）に表示させる。

ここで、符号分割部２０１の処理の説明に必要な範囲で、ＪＰＥＧ２０００の概要について説明する。

ＪＰＥＧ２０００の符号化処理は概ね図１３に示す流れで行われる。

例えばＲＧＢの３コンポ−ネントで構成されるカラー画像を符号化する場合、各コンポ
ーネントは重複しないタイルに分割され、各コンポーネントの各タイル毎に処理が行われ
る。

各タイル毎に、ＤＣレベルシフトと輝度・色差コンポ−ネントへの色変換がなされる。ただし、ＤＣレベルシフト及び色変換は必須ではない。

次に、各コンポーネントの各タイル毎にウェーブレット変換（離散ウェーブレット変換）が行われる。ＪＰＥＧ２０００では、ウェーブレット変換として可逆の５×３ウェーブレット変換と非可逆の９×７ウェーブレット変換が規定されている。ウェーブレット変換のデコンポジションレベル数（ウェーブレット変換の適用回数、階層数）はユーザにより指定可能である。

ウェーブレット係数は、サブバンド毎に、（９×７ウェーブレット変換が用いられる場合には線形量子化された後に）エントロピー符号化されるが、通常、圧縮効率を高めるため、ウェーブレット係数はビットプレーンに分解され、ビットプレーンを単位としたエントロピー符号化（ビットプレーン符号化）が行われる。正確には、ビットプレーンは３つのサブビットプレーンに細分化されて符号化（サブビットプレーン符号化）される。

そして、得られた符号の中から不要な符号がトランケート（破棄）され、必要な符号がまとめられてパケットが生成される。最後に、パケットが所定の順序に並べられ、また必要なタグ又はタグ情報が付加されることにより、所定のフォーマットのコードストリーム（符号データ）が形成される。

復号化処理は符号化処理と丁度逆の処理である。コードストリームは各コンポーネントの各タイルのコードストリームに分解され、エントロピー復号化によりウェーブレット係数に戻される。ウェーブレット係数は、符号化時に量子化されている場合には逆量子化された後、逆ウェーブレット変換が施されて画素値に戻される。符号化時にＤＣレベルシフトと色変換が適用された場合には、逆ウェーブレット変換後の画素値に逆色変換と逆ＤＣレベルシフトが適用され、元のＲＧＢの画素値に戻される。

符号化時のエントロピー符号化、パケット生成、符号形成についてさらに説明する。

図１４に、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す。ここではタイルサイズと画像サイズが同一（タイル分割数＝１）とされている。また、ウェーブレット変換のデコンポジションレベル数は３であり、サブバンドとして、デコンポジションレベル１の１ＬＨ，１ＨＬ，１ＨＨの各サブバンド、デコンポジションレベル２の２ＬＨ，２ＨＬ，２ＨＨの各サブバンド、デコンポジションレベル３の３ＬＬ，３ＬＨ，３ＨＬ，３ＨＨの各サブバンドがある。

プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割したもので、画像中の大まかな場所を表すものである。ＨＬ，ＬＨ，ＨＨの各サブバンドを分割したプリシンクトについては、各サブバンドの対応位置のプリシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割したプリシンクトは、１つでひとまとまりとして扱われる。プリシンクトはサブバンドと同じサイズにすることもできる。プリシンクトを（ユーザが指定可能なサイズの）矩形に分割したものが、コードブロックである。サブバンドの係数はコードブロック毎に符号化される。

プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）がパケットである。

また、ＪＰＥＧ２０００では、レイヤー構造をとることができる。全てのプリシンクト（＝全てのコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これをレイヤーと呼ぶ。レイヤーは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤー数が増えれば画質は上がる。すなわち、レイヤはいわば画質の単位である。

図１５は、デコンポジションレベル数（階層数)＝２，プリシンクトサイズ＝サブバンドサイズ、としたときのレイヤー構造の例を示し、また、図１６に、レイヤーに含まれるパケットの例が太線で囲んで示されている。ここに示す例では、プリシンクトサイズ＝サブバンドサイズであり、またプリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４つのコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに、それぞれ分割されている。パケットはプリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合には、パケットはＨＬ〜ＨＨサブバンドをまたいだものとなる。

ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号はパケットとして生成する必要はない。例えば、図１５のレイヤー９に含まれる様な下位ビットプレーンの符号は破棄（トランケート）されるのが通常である。したがって、トランケーションによる画質制御は、コードブロック単位（かつサブビットプレーン単位）で可能である。つまり、トランケーションによる画質制御単位はコードブロックである。なお、パケットの並びをプログレッション順序と呼ぶ。

ＪＰＥＧ２０００は、符号データを、符号のまま多様な加工が可能な高度のパーサ機能を備えている。符号分割部２０１は、そのパーサ機能により符号データに対し、符号状態のままで、画像分割及び解像度変換を行う手段である。

次に、符号分割部２０１による分割処理の例を図８により説明する。この例では、図８の上側の図に示すように、画像を４つのタイルに分割し、２階層に符号化されたＪＰＥＧ２０００の符号データが入力されたとする。この符号データは、ＳＯＣタグ、メインヘッダの後に、各タイル毎に、ＳＯＴタグ、タイルヘッダ、ＳＯＳタグ、タイルデータ（符号、ビットストリーム）が続き、ＥＯＣタグで終わる構造である。タイルデータは２階層の符号の列である。

このような画像の符号データを、タイル単位で、４つの分割画像の符号データに分割した結果が、図８の下側の図である。各分割画像の符号データは、元のタイルの符号データの先頭にＳＯＣタグとメインヘッダを付加し、最後にＥＯＣタグを付けた１タイル１画像の構造である。タイルデータそのものは分割前と変わらない。つまり、この例は、分割のみを行い、解像度変換を行わない例である。

次に、符号分割部２０１による分割処理及び解像度変換の例を図９により説明する。この例では、図９の上側の図に示すように、画像を４つのタイルに分割し、２階層に符号化されたＪＰＥＧ２０００の符号データが入力されたとする。そして、各タイルのタイルデータは、デコンポジションレベル２の各サブバンドの符号（最上位階層の符号）と、デコンポジションレベル１の各サブバンドの符号（第２階層の符号）とを順に並べられている。符号データの全体構造は図８で述べた通りである。

このような画像の符号データを、タイル単位で、４つの分割画像の符号データに分割し、かつ、解像度を１／２に変換した結果が、図９の下側の図である。各分割画像の符号データは、各タイルの符号データの先頭にＳＯＣタグとメインヘッダを付加し、最後にＥＯＣタグを付けた１タイル１画像の構造であるが、タイルデータは、元のタイルデータに含まれていたデコンポジションレベル１の符号（第２階層符号）が破棄されている。この符号破棄の結果、解像度が１／２になる。

なお、図８及び図９の例ではタイルを単位として符号状態での画像分割を行ったが、ＪＰＥＧ２０００の符号データはタイルより小さなプリシンクト又はコードブロックを単位とした画像分割も可能である。そのような単位での画像分割も本実施例に包含されることは明らかである。

本実施例においては、符号データの状態で画像分割、あるいは、画像分割と解像度変換が行われるため、画素値データに対して同様の処理を行う場合に比べ、それら処理に必要なメモリ量が少なくて足り、また、処理時間も短縮できる。また、画像は符号データとして保存すればよいため、処理対象の大きな画像が多数ある場合でも、それら画像の保存のための記憶装置の容量を節約できる。

この実施例の画像処理装置のブロック図を図１１に示す。この実施例では、分割画像を符号データとして保存するために、復号化部２０２より出力される分割画像の画素値データを再び符号化する符号化部２１０と、これにより符号化後の符号データが格納されるハードディスク装置などの保存部２１１が設けられている。これ以外の構成は、前記実施例３（図６）と同様である。

このように、分割画像の符号データを保存する手段を備えると、同じ画像を同じ条件で再度表示した場合に、保存されている分割画像の符号データをそのまま再利用できるなどの利点がある。また、保存されるデータは符号データであり、しかも解像度変換済みであり、そのデータ量は小さいため、その保存に必要な記憶容量もそれほど負担になるものではない。

また、保存部２１１を、処理前の画像の符号データの保存部と共通化してもよい。この場合、図１２に示すように、処理すべき画像の符号データは保存部２１１より取り出されて符号分割部２０１に入力されることになる。なお、分割画像の符号データを符号分割部２０１に入力し、再度処理することも可能である。

なお、前記実施例３において説明したように、符号分割部２０１で画像分割と解像度分割を同時に行うことも可能である。この場合、符号分割部２０１より各分割画像の解像度変換済みの符号データが出力されるため、それを直接、保存部２１１に格納することができるので、符号化部２１０を省くこともできる。かかる態様も本実施例に包含される。

本発明の画像処理装置は、サーバ・クライアント構成にすることもできる。この場合、例えば、画像表示部だけクライアント側で持ち、それ以外の処理機能はサーバに持たせるような構成にしてもよい。また、図１１又は図１２に示す保存部だけサーバ側で持ち、それ以外の処理機能はクライアント側に持たせるような構成としてもよい。

本発明の画像処理装置の基本構成を示すブロック図である。 実施例１に係る画像処理装置のブロック図である。 実施例１における処理フローを示すフローチャートである。 実施例１における分割数の決定例と画像分割例を示す図である。 実施例２に係る画像処理装置のブロック図である。 実施例３に係る画像処理装置のブロック図である。 実施例３における処理フローを示すフローチャートである。 実施例３における符号レベルでの画像分割の例を示す図である。 実施例３における符号レベルでの画像分割及び解像度変換の例を示す図である。 実施例３における分割数の決定例と画像分割例を示す図である。 実施例４に係る画像処理装置のブロック図である。 実施例４の変形例を説明するためのブロック図である。 ＪＰＥＧ２０００の基本的な処理フローの説明図である。 ＪＰＥＧ２０００における画像、タイル、サブバンド、プリシンクト、コードブロックの関係を説明するための図である。 マルチレイヤ構造の例を示す図である。 レイヤに含まれるパケットの例を示す図である。

１０ 解像度変換処理及び画像分割処理のブロック
１１ 分割制御のブロック
１０１ 解像度変換部
１０２ 画像分割部
１０３ 分割数決定部
１０４ 画像表示部
１０５ 表示領域取得部
１１０ 復号化部
２０１ 符号分割部
２０２ 復号化部
２０３ 画像表示部
２０４ 分割数決定部
２０５ 表示領域取得部
２１０ 符号化部
２１１ 保存部

Claims (14)

1. 画像に対し解像度変換処理及び分割処理を行う手段と、前記分割処理による画像の分割数を、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御する手段とを有し、
   前記解像度変換処理及び分割処理を行う手段は、画像の階層符号化された符号データを符号状態のまま分割画像の符号データに変換する符号分割手段と、該符号分割手段により分割後の符号データを最上位階層から所要階層数だけ復号化する復号化手段とからなり、
   前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理装置。
2. 画像に対し解像度変換処理及び分割処理を行う手段と、前記分割処理による画像の分割数を、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御する手段とを有し、
   前記解像度変換処理及び分割処理を行う手段は、画像の階層符号化された符号データを、その最上位階層から所要階層数の符号のみを用いて、符号状態のまま分割画像の符号データに変換する符号分割手段からなり、
   前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理装置。
3. 画像に対し解像度変換処理及び分割処理を行う手段と、前記分割処理による画像の分割数を、画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御する手段とを有し、
   前記解像度変換処理及び分割処理を行う手段は、画像の階層符号化された符号データを符号状態のまま分割画像の符号データに変換する符号分割手段と、該符号分割手段により分割後の符号データを最上位階層から所要階層数だけ復号化する復号化手段とからなり、
   前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理装置。
4. 画像に対し解像度変換処理及び分割処理を行う手段と、前記分割処理による画像の分割数を、画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御する手段とを有し、
   前記解像度変換処理及び分割処理を行う手段は、画像の階層符号化された符号データを、その最上位階層から所要階層数の符号のみを用いて、符号状態のまま分割画像の符号データに変換する符号分割手段からなり、
   前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理装置。
5. 請求項２又は４に記載の画像処理装置において、前記解像度変換処理及び分割処理を行う手段は、前記符号分割手段により変換後の符号データを復号する復号化手段を含むことを特徴とする画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置において、符号データはウェーブレット変換を用いて階層符号化された符号データであることを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、符号データはＪＰＥＧ２０００準拠の符号データであることを特徴とする画像処理装置。
8. 画像に対し解像度変換処理及び分割処理を行うステップと、前記分割処理による画像の分割数を、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御するステップとを有し、
   前記解像度変換処理及び分割処理を行うステップは、画像の階層符号化された符号データを符号状態のまま分割画像の符号データに変換する符号分割ステップと、該符号分割ステップにより分割後の符号データを最上位階層から所要階層数だけ復号化する復号化ステップとからなり、
   前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理方法。
9. 画像に対し解像度変換処理及び分割処理を行うステップと、前記分割処理による画像の分割数を、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御するステップとを有し、
   前記解像度変換処理及び分割処理を行うステップは、画像の階層符号化された符号データを、その最上位階層から所要階層数の符号のみを用いて、符号状態のまま分割画像の符号データに変換する符号分割ステップからなり、
   前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理方法。
10. 画像に対し解像度変換処理及び分割処理を行うステップと、前記分割処理による画像の分割数を、画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御するステップとを有し、
    前記解像度変換処理及び分割処理を行うステップは、画像の階層符号化された符号データを符号状態のまま分割画像の符号データに変換する符号分割ステップと、該符号分割ステップにより分割後の符号データを最上位階層から所要階層数だけ復号化する復号化ステップとからなり、
    前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理方法。
11. 画像に対し解像度変換処理及び分割処理を行うステップと、前記分割処理による画像の分割数を、画像のサイズ、画像表示領域のサイズ及び前記解像度変換処理後の解像度に応じて制御するステップとを有し、
    前記解像度変換処理及び分割処理を行うステップは、画像の階層符号化された符号データを、その最上位階層から所要階層数の符号のみを用いて、符号状態のまま分割画像の符号データに変換する符号分割ステップからなり、
    前記解像度変換処理後の解像度は前記所要階層数に対応した解像度である、ことを特徴とする画像処理方法。
12. 請求項９又は１１に記載の画像処理方法において、前記解像度変換処理及び分割処理を行うステップは、前記符号分割ステップにより変換後の符号データを復号する復号化ステップを含むことを特徴とする画像処理方法。
13. 請求項１乃至７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
14. 請求項１３に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images