JP4609918B2 - 画像処理システム、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Description

本発明は、画像の符号データの保存、表示、加工を行う画像処理システム及び画像処理方法に関する。

画像処理システムにおいて、蓄積されている画像の符号データの編集（画像の分割、合
成）は、多くの場合、図２４に示すような手順で行われている。すなわち、画像の符号デ
ータの伸長処理を行い、伸長された画像データを表示する。ユーザインターフェースを通
じて、その画像の編集を行い、編集後の画像データの再圧縮処理を行い、生成された符号
データを保存する。

なお、符号化して蓄積した画像の出力に関連して、特許文献１には、入力された静止画、動画、テキスト文書、音声を関連付けて複合文書を生成する機能を備えるマルチメディア・ファクシミリが記載されている。特許文献２には、動画像のフレームデータをサブフレームデータに分割して記憶媒体から読み出し、表示する機能を有する動画出力システムが記載されている。特許文献３には、ＪＰＥＧ２０００により符号化された多数の静止画のサムネイル画像を１ページの文書に編集し出力する機能を有するプリンタ制御装置が記載されている。

特開平７−２０３１００号公報 特開平５−１２８８１０号公報 特開２００２−２４０３６８号公報

画像表示機器の最大表示可能サイズに比べ、表示対象の画像のサイズが極めて大きい場合（縮小表示するにも限界があるほど大きい画像の場合）、スクロール等の表示操作によって目的の画像部分（領域）を表示させるには大きな困難を伴う。また、画像は一般に符号化して保存されるが、そのようなサイズの大きな画像の符号データはデータ量が相当に大きいため、それを伸長して表示するにはかなりの時間を要するという問題もある。

かかる問題を解決するために、画像を分割して保存することが考えられる。しかし、図２４に示したように、ユーザが介入する編集処理により画像を分割し、再圧縮して保存するのでは、多くの手間と処理時間を必要とし効率的ではない。特に、携帯電話のような極めて小さな表示画面サイズを持つ機器では、そのような編集処理を行うことは極めて困難である。

よって、本発明の目的は、符号データとして蓄積されている画像を表示手段の表示サイズに適したサイズに分割して保存する処理を効率的に行う画像処理システム及び画像処理方法を提供することにある。本発明のもう１つの目的は、そのような分割処理の後の画像の符号データを容易に検索可能な画像処理システムを提供することにある。

請求項１の発明は、
画像の符号データを保存する符号データ保存手段と、
前記符号データ保存手段に保存されている画像の符号データを伸長する伸長手段と、
前記伸長手段で伸長された画像を表示する表示手段と、
前記表示手段によって表示されている画像の表示範囲を検出する表示範囲検出手段と
前記符号データ保存手段に保存されている、前記表示手段によって表示されている画像の符号データを、前記表示範囲検出手段により検出された表示範囲のサイズに基づいて決められたサイズの複数の分割画像の符号データへと分割する手段と、
前記分割する手段によって分割された複数の分割画像の符号データを、モーション符号データ又はマルチページ符号データとして前記符号データ保存手段に保存する手段とを有することを特徴とする画像処理システムである。

請求項２の発明は、請求項１の発明による画像処理システムにおいて、符号データ保存手段に、符号データが小ブロック単位に領域区分して保存されていることを特徴とする画像処理システムである。

請求項３の発明は、前記小ブロック分割の区切り単位で分割の範囲を指定する手段を有することを特徴とする請求項２の発明による画像処理システムである。

請求項４の発明は、前記表示手段により表示される画像に重ねて小ブロック分割の区切りを表示させる手段を有することを特徴とする請求項３の発明による画像処理システム
である。

請求項５の発明は、請求項２の発明による画像処理システムにおいて、前記分割する手段は、必要なブロックを小ブロック単位で合成する手段を含むことを特徴とする画像処理システムである。

請求項６の発明は、分割された符号データが前記符号データ保存手段に保存される際に、該符号データに自動的にファイル名を付与する手段を有することを特徴とする請求項１の発明による画像処理システムである。

請求項７の発明は、検索用のファイル名を列挙した一覧表を作成し、それを必要に応じて前記表示手段に表示させる手段を有することを特徴とする請求項６の発明による画像処理システムである。

請求項８の発明は、検索用のファイル名を列挙した一覧表を作成し、必要に応じて、前記一覧表に基づいてファイル名と概略画像を対応付けて前記表示手段に表示させる手段を有することを特徴とする請求項６の発明による画像処理システムである。

請求項９の発明は、請求項１の発明による画像処理システムにおいて、前記分割する手段は、分割画像のサイズを略均等にするための手段を含むことを特徴とする画像処理システムである。

請求項１０の発明は、請求項１の発明による画像処理システムにおいて、符号データは、領域毎の符号データを重畳した構造であることを特徴とする画像処理システムである。

請求項１１の発明は、請求項１の発明による画像処理システムにおいて、符号データはＪＰＥＧ２０００準拠の符号データであることを特徴とする画像処理システムである。

請求項１２の発明は、請求項１の発明による画像処理システムにおいて、前記各手段はネットワークを介して結合される画像サーバと画像出力装置とに分散され、前記表示手段に表示される画像の符号データは前記画像サーバからネットワークを介して前記画像出力装置へ転送されることを特徴とする画像処理システムである。

請求項１３の発明は、前記画像サーバは、外部より入力される画像の符号データを再分割する手段を有することを特徴とする請求項１２の発明による画像処理システムである。

請求項１４の発明は、
符号データ保存手段に保存されている画像の符号データを伸長する伸長ステップと、
前記伸長ステップで伸長された画像を表示手段に表示させる表示ステップと、
前記表示手段によって表示されている画像の表示範囲を検出するステップと、
前記符号データ保存手段に保存されている、前記表示手段によって表示されている画像の符号データを、前記検出された表示範囲のサイズに基づいて決められたサイズの複数の分割画像の符号データへと分割する符号データ分割ステップと、
前記符号データ分割ステップによって分割された複数の分割画像の符号データを、モーション符号データ又はマルチページ符号データとして前記符号データ保存手段に保存するステップと有することを特徴とする画像処理方法。

請求項１５の発明は、請求項１４の発明による画像処理方法の各ステップをコンピュータに実行させるプログラムである。

請求項１６の発明は、請求項１５の発明のプログラムが記録された、コンピュータが読
み取り可能な情報記録媒体である。

請求項１，１４の発明によれば、表示手段の表示可能サイズに対して表示対象の画像サイズが膨大である場合などに、表示可能サイズに対応した適切なサイズに画像の符号データを分割して保存する処理を、人手を要することなく効率的に行うことができる。分割後の符号データは、分割前の符号データに比べ復号処理に要する時間が少なくて済むため、高速に表示させることができる。

さらに、分割後の画像をモーション静止画又はマルチページ静止画として表示することができ、その検索が容易になる。

請求項２乃至５の発明によれば、小ブロック単位に予め符号データを領域区分（分割）し、予め分割部分を識別可能に区分しておくことができ、この領域区分（分割）情報を使用することで分割処理、特に符号レベルでの分割処理を容易かつ効率的に行うことができる。領域区分情報がない状態で編集する場合は、まず分割の区切り（境界）を計算しなければならないが、そのような計算は不要になるからである（請求項２）。また、上記理由により、任意サイズの符号データの合成を、より容易かつ効率的に行うことができる（請求項５）。さらに、小ブロック分割の区切り単位に分割範囲を指定することにより、指定されたサイズの符号列を容易に取り出すことができるため、より効率的な分割が可能になる（請求項３）。また、表示される画像に重ねて小ブロック分割の区切りを表示することにより、上記指定をより容易かつ確実に行うことができる（請求項４）。

請求項６乃至８の発明によれば、分割された画像データの再利用が容易になる。特に、請求項６又は７の発明によれば、分割後の画像データの検索が容易になる。

請求項９の発明によれば、分割後の画像サイズを略均等にすることができるため、分割後の画像の扱いが容易であり、特に、分割後の画像をモーション符号データとして生成する場合には、その各フレームの画像サイズが略均等になり好都合である。

請求項１０，１２の発明によれば、符号レベルでの分割処理を効率的に行うことができる。

請求項１２の発明によれば、画像サーバの機能を複数の画像出力装置で共有させることができ、また各画像出力装置の機能を単純化することができるため、画像処理システム全体のコスト削減及び個々の画像出力装置のコスト削減を図ることができる。また、分割処理などの機能を画像サーバに集中できるため、機能集中形の画像処理システムに比べ管理コストも削減できる。さらに、請求項１３の発明によれば、画像サーバにおける処理能力（あるいはメモリ容量）に応じてより適応的な処理が可能となる。

請求項１５，１６の発明によれば、請求項１４の発明をコンピュータを利用して実施し、その効果を奏することができる。

本発明の画像処理システムは、処理機能を単独の装置に集中させる形態と、複数の装置（例えばサーバと画像出力装置）に分散させる形態のいずれをも取り得る。

まず、処理機能を単独の装置に集中させる形態の画像処理システムについて説明する。 ［装置構成］
図１は、処理機能を単独装置に集中させる形態の画像処理システムの典型的な構成を示すブロック図である。

図中において、画像符号データ保存手段１は画像の符号データを保存する手段である。ここに保存される符号データの構造については後記［符号データの構造］において説明する。

伸長手段２は画像の符号データを伸長する手段である。この伸長処理の前後で他の処理、例えば画質向上のための画像処理が施される構成とすることも可能である。画像データバッファ手段３は、伸長手段により伸長された画像データを保存する手段である。表示手段４は、画像データバッファ手段３に保存されている画像データなどを画像として表示する手段である。

ファイル名自動割付手段５は、新たに生成され画像符号データ保存手段１に保存される、分割後の画像符号データに対してファイル名（識別記号）を自動的に付与する手段である。これについては後に図１０に関連して説明する。

小ブロック分割手段６は、符号データを小ブロック単位で区切る（分割する）手段である。詳しくは図７に関連して後述する。

小ブロック分割情報保存手段７は、小ブロック分割手段６による分割された符号データ
の小ブロック単位の分割と表示位置を関係づけたデータ（符号データと表示位置との対応表）を作成し、保存する手段である。

表示範囲読取り手段８は、表示データバッファ手段３に保存されている画像データの、表示手段４により実際に表示されている範囲（表示範囲）を読み取る手段である（図６参照）。この表示範囲のサイズに基づいて分割画像サイズを決めるが、その詳細については後述する。

略同一サイズ計算手段９は、画像を略均等分割する時の分割サイズを計算する手段である。詳しくは後述する。

分割手段１０は、分割方法に従って符号データを分割する手段である。この分割手段１０は、例えば、図２に示すように、分割数を設定する分割数設定手段２１、分割サイズを設定する分割サイズ設定手段２２，分割方法を設定する分割方法指定手段２３、これに手段による決められた分割数、分割サイズ、分割方法に従った分割処理を制御する分割制御手段２４から構成される。分割の詳細は後述する。

モーション合成手段１１は、複数の符号データを時系列に並べたモーション静止画の符号データ（分割された各符号データをフレームとするモーション符号データ）を生成する手段である。なお、モーション合成手段１１は、複数の符号データから、それぞれをページとするマルチページ符号データを生成する手段であってもよい。静止画合成手段１２は、静止画の符号データを生成する手段である。

［典型的な処理フロー］
図３は、本発明の画像処理装置の典型的な処理フローを説明するための概略フローチャートである。図３中のステップＳ３以降は、分割指令が与えられた場合の処理である。分割指令がない場合の動作は本発明の内容と関係がないため図示及び説明を省略する。

ステップＳ１：指定されている画像の符号データが画像符号データ保存手段１より読み出されて伸長手段２により伸長処理され、伸長された画像データは画像データバッファ手段３に保存される。この画像データは表示手段４により画像として表示される。

ステップＳ２：表示範囲読み取り手段８は、画像データバッファ手段３の画像データを調べ、その画像の表示範囲を読み取る。

ステップＳ３：分割手段１０において、前記表示範囲に基づき分割方法を決める。以下のような分割方法を選ぶことができる。
（１）分割後のそれぞれの画像サイズが略同一サイズになるように分割する方法。この場合の分割サイズは、表示範囲の大きさに基づいて略同一サイズ計算手段９により計算される。
（２）分割サイズ設定手段２２により設定された分割サイズに基づいて分割する方法。なお、分割サイズ設定手段２２は、例えば、ユーザインターフェースを介してユーザが分割サイズを指定するような手段とすることができる。
（３）分割数設定手段２１により設定された分割数に基づいて分割する方法。なお、分割数設定手段２１は、例えば、ユーザインターフェースを介してユーザが分割数を設定するような手段とすることができる。

なお、このような分割方法を分割方法指定手段２３により指定することができる。この分割方法指定手段２３も、例えば、ユーザインターフェースを介しユーザが分割方法を指定するような手段とすることができる。

ステップＳ４：分割手段１０において、前ステップで決定された分割方法に従い、現在表示されている画像の符号データ（画像符号データ保存手段１に保存されている）が、符号状態で複数の符号データに分割される。この分割処理の制御は分割制御手段２４により行われる。分割処理の詳細は後述するが、この分割は以下のように実施することができる。
（１）表示中の画像の符号データ中のヘッダ情報に記述されたデータ量に基づいて分割する。
（２）小ブロック分割情報保存手段７に保存されている小ブロック分割情報を利用し、小ブロックを合成して要求されたサイズの符号列データを作成する。ここで、小ブロック分割情報は、符号データの小ブロック単位の分割と表示位置を関係づけるデータである（図７に示すように、小ブロック分割手段６で符号データが分割された場合に作成される、各小ブロックの符号データと表示位置との対応表である）。

ステップＳ５：分割後の符号データがファイルとして画像符号データ保存手段１に保存される。このステップにおいて、以下の処理を行ってもよい。
（１）新たに作成された符号データのファイルの夫々に識別子（名前であっても番号であってもよい）を付ける（これはファイル名自動割付手段５による）。
（２）さらに、ファイル名を列挙した検索用の一覧表（図１１（ａ）参照）を作成し、必要に応じて表示する。この際、図１１（ｂ）に示すように、概略画像（サムネイルル画像）とファイル名とを対応付けて表示してもよい。

ここで、分割後の符号データは、夫々を独立した静止画の符号データとすることも、複数の符号データをまとめた符号データとすることもできる。後者の符号データは、複数の静止画が連続的に動画のごとく表示されるモーション符号データとすることも、複数の静止画をそれぞれページとし、指示された任意のページが静止画像として表示されるマルチページ符号データとすることもできる。分割処理は、分割制御手段２４とモーション合成手段１１又は静止画合成手段１２との協働により実行される。そして、モーション符号データ又はマルチページ符号データを生成する手段がモーション合成手段１１であり、独立した静止画としての符号データを生成する手段が静止画合成手段１２である。

［符号データの構造］
画像符号データ保存手段１に予め保存されている画像の符号データの典型的な構造について図８により説明する。図８の最上段は元の画像を示し、２段目は元の画像の分割領域（タイル）を示す。図８の３段目に符号化後の符号データであり、各領域（タイル）に対応して区分された構造である。すなわち、符号データ（コードストリーム）の先頭と元画像の各領域に対応した各タイルを構成する部分タイルの先頭にヘッダと呼ばれるタグ情報が付加され、その後に、各領域（タイル）の符号列（ビットストリーム）が続き、終端には終了タグが置かれる。このような符号データの構造が、画像符号データ保存手段１に予め保存されている符号データの典型的な構造であり、符号列が元画像の領域に対応して区分されて保存されていることが特徴である。このような構造の符号データは、図８の最下段に示すように、領域毎の符号データに容易に分割することができる。その逆の合成処理も容易である。

図９は、図８の３段目に示すような構造の符号データを生成する過程の説明図である。図９の最上段に示す元の画像データは、２段目に示すような領域毎に区分され、各領域毎の符号化処理によって３段目に示すような領域毎の符号データが生成される。最後に、これら複数領域の符号データを重乗し、必要なタグ情報（ヘッダ）及びタグを付加することによって最下段に示す構造の符号データが形成される。なお、符号化処理の方法は、ＪＰＥＧ２０００のようなウェーブレット変換を用いる符号化方法であっても、ＪＰＥＧのような離散コサイン変換（ＤＣＴ）を用いる符号化方法であってもよい。

［分割処理の考え方］
図８に示すような領域毎に区分されている符号データは、領域毎に独立して符号データを再構成することで符号レベルで簡単に分割することができる。本発明の一つの態様によれば、元の画像の符号データを予め小さな領域（小ブロック）毎に分割しておき、選択した小ブロックの符号データから新たな符号データを再構成することによって分割処理を実現する。これについて図７により説明する。

まず、元の画像の符号データ２２０が小ブロック分割手段６により小ブロック毎に分割
された符号データ２２１が生成され、これが画像符号データ保存手段１に保存される。そ
の際に得られた小ブロック分割情報は小ブロック分割情報保存手段７に保存される。分割
手段１０の分割方法指定手段２３により指定された分割方法に従って、分割制御手段１０
は、小ブロック分割情報を参照することにより、分割後の画像に含まれる小ブロック群を選択する。選択された小ブロック群の符号データから、静止画合成手段１２により静止画の符号データ２２３が生成され、あるいは、モーション合成手段１２によりモーション静止画の符号データ２２４が生成される。分割後のこれら符号データは画像符号データ保存手段１に保存される。

図７においては、小ブロック分割処理後の符号データを用いて目的の符号データを再構成することを想定しているが、保存されている符号データが既に元画像の小領域に対応して区分されている場合は、小ブロック分割処理をしないで、目的の分割画像の符号データを再構成することができる。また、さらに小さく再分割をしておく必要性があれば、小ブロック分割を繰り返してもよい。

上に説明したような構造の符号データは、例えば、後に説明するＪＰＥＧ２０００の符号化処理によっても生成することができる。

［分割範囲の決め方］
分割処理における分割範囲は、表示範囲読み取り手段８により認識された表示範囲に基づいて決められる。典型的には、表示範囲よりもやや広い範囲を選択する（図６参照）。しかしこれに限定されるわけではない。なお、図６において、２０１は表示手段４の表示画面、２００は表示対象の画像、２０２は表示範囲である。この場合、元の画像は表示範囲２０２よりやや大きな分割画像に分割され、分割画像の符号データ（静止画符号データ２０３又はモーション静止画符号データ２０４）が生成されて保存されることになる。

最も好適な分割範囲の決め方は、後述するように符号レベルの操作だけで分割が確実にできるように、小ブロック分割の区切り単位に分割範囲を指定することである。すなわち、小ブロック単位に分割部分を識別可能に領域区分しておき、分割方法を指定する時には、小ブロック分割の区切り単位に分割範囲を指定することにより、該当した符号列を取り出すことで、指定されたサイズの符号列を取り出す。かかる指定にあって、画像表示の際に画像データの上に重ねて小ブロック分割の区切りを表示することで、小ブロック分割の区切り単位の分割範囲の指定が容易になる。

ここで、画像の表示範囲から符号データの分割部分を抽出することは、符号データが領域ごとに区分された構造を持つならば容易である。即ち、画像データの各領域に符号データを対応させておくことにより、画像データ領域を指定することで分割領域を特定することができる。

なお、分割領域の形状は矩形領域に限定する必要はなく、画像データの関心範囲や目的に応じて任意に指定できるようにしてよい。また、分割範囲は相互に重複してもかまわない。

［符号列変換（パーサ）機能の活用］
最も好適な分割処理の実施形態は、符号レベルでの分割を行うことである。例えばＪＰＥＧ２０００準拠の符号データは、符号列変換（パーサ）の機能を容易に実現でき、タイル単位の分割や合成を符号レベルで行うことができる。

画像表示の際に小ブロック分割の区切り単位に分割を指定する機能を有することで、分割単位が小ブロック単位の区切りと一致していれば、パーサ機能を利用することにより、符号レベルの操作だけで、必要な小ブロックの符号データを重畳・合成し、分割画像の符号データを生成することができる。ここで、分割範囲を指定する便宜として、画像データ表示の際に、画像データの上に重ねて小ブロック分割の区切りを表示すると好ましいことは前述した通りである。

［ＪＰＥＧ２０００のアルゴリズムの概要］
ここで、ＪＰＥＧ２０００のアルゴリズムの概要について説明する。図１５は、そのアルゴリズムの基本を説明するためのブロック図である。図１５において、１１１は色空間変換・逆変換部、１１２は２次元ウェーブレット変換・逆変換部、１１３は量子化・逆量子化部、１１４はエントロピー符号化・復号化部、１１５はタグ処理部である。

カラー画像を符号化（圧縮）する場合、一般に、図１６に示すように、各コンポーネント１２１，１２２，１２３（ここではＲＧＢ原色系）が矩形をした領域（タイル）に分割される。そして、各コンポーネントの個々のタイル（例えば、Ｒ００
，Ｒ０１ ，…，Ｒ１５／Ｇ００ ，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５）が、圧縮伸長プロセスを実行する際の基本単位となる。すなわち、圧縮伸長処理はコンポーネント毎、そしてタイル毎に、独立に行なわれる。

画像データの符号化時には、各コンポーネントの各タイルのデータが、色空間変換・逆変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯（サブバンド）に空間分割される。

図１７に、デコンポジションレベル数が３の場合の、各デコンポジション・レベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像１３１（デコンポジション・レベル０）に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１のサブバンド１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨを分離する（１３２）。引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２のサブバンド２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨを分離する（１３３）。同様に、低周波成分２ＬＬに対して２次元ウェーブレット変換を施し、デコンポジション・レベル３のサブバンド３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する（１３４）。

前述のような２次元ウェーブレット変換の後、ウェーブレット変換係数は量子化・逆量子化部１１３により量子化される（ただし、可逆ウェーブレット変換が行われた場合には量子化は行われない）。その後、エントロピー符号化・復号化部１１４により、ウェーブレット係数はサブバンド毎にエントロピー符号化される。サブバンド毎に、指定された符号化の順番で符号化の対象となるビットが定められ、量子化・逆量子化部１１３で対象ビット周辺のビットからコンテキストが生成され、このコンテキストと対象ビットとからこのコンテキストと対象ビットの確率推定による算術符号化が行われる。

エントロピー符号化においては、ウェーブレット係数はサブバンド毎に「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図１９に示すように、一つのプレシンクトは空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行なう際の基本単位となる。

ウェーブレット変換係数は、そのまま符号化することも可能であるが、ＪＰＥＧ２０００では、符号化効率を上げるために、係数値を「ビットプレーン」に分解し、ビットプレーン毎に符号化される（より正確にはビットプレーンは３つのサブビットプレーンに分割して符号化される）。

図２０に、処理手順を簡単に示した。この例は、原画像（３２×３２ 画素）を１６ ×１６ 画素のタイル４つで分割した場合で、デコンポジションレベル１
のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４ 画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５
×３ ）フィルタでウェーブレット変換を行ない、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０ ／プレシンクト３／コード・ブロック３について、代表的な「レイヤ」についての概念図をも併せて示している。レイヤの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤは任意の数のビットプレーンから構成される。この例では、レイヤ０，１，２，３は、各々、１，３，１の３つのビットプレーンから成っている。そして、ＬＳＢ
に近いビットプレーンを含むレイヤ程、先に量子化の対象となり、逆に、ＭＳＢ に近いレイヤは最後まで量子化されずに残ることになる。レイヤを破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。

このようにして、全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５で、エントロピー符号を１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行なう。

図１８にコード・ストリームの構造を簡単に示した。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。

一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１５を用いて簡単に説明する。タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解する。その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー符号化・復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行ない対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータはサブバンドに空間分割されているため、これを２次元ウェーブレット変換・逆変換部１１２で２次元ウェーブレット逆変換を行なうことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間変換・逆変換部１１１によって元の表色系のデータに変換される。

以上が、ＪＰＥＧ２０００のアルゴリズムの概要であり、静止画像、すなわち単フレームに対する方式を複数フレームに拡張したものがＭｏｔｉｏｎ−ＪＰＥＧ２０００アルゴリズムである。

［ＪＰＥＧ２０００のパーサ機能の概要］
ＪＰＥＧ２０００における符号列変換部（パーサ）は、符号データを符号レベルで加工し別の符号データを生成する機能をもつ。

図２１は、符号列変換部が行なう具体的処理を説明する機能ブロック図である。この符号列変換部は、画像読込部３１、ヘッダ・符号データ分割処理部３２、ヘッダ処理部３３、符号データ合成部３４からなる。

画像読込部３１は、各第１の符号データａ１〜ａＮを順次読み込む。読み込まれた各符号データは、ヘッダ・符号データ分割処理部３２でヘッダ部分と符号部分とに分割され、ヘッダ処理部３３でメインヘッダはタイルパートヘッダに変更される。その際、順次、タイルインデックスが付与される。すべての第１の符号データのヘッダを処理し終えると、符号データ合成部３４で、第１の符号データａ１〜ａＮを合成することにより、符号データａ１〜ａＮで表される静止画を各フレームとして時系列に並べたモーション画像の符号データ、すなわちMotion−JPEG2000準拠の第２の符号データが生成される。

図２２は符号列変換部で処理する前の複数の第１の符号データａ１〜ａＮのデータ構成を説明するための図である。ここに示す例では、符号データａ１〜ａＮは、メインヘッダ４１、タイルパートヘッダ４２、ビットストリーム（ＬＬ１成分〜ＨＨ３成分）４３、ＥＯＣマーカ４４からなる。ここでは便宜上、すべての第１の符号データが同サイズの１タイル構成である。

図２３は、符号列変換部で変換後の第２の符号データｂのデータ構成を説明するための図である。この例では、第２の符号データｂは、メインヘッダ４５、タイルパートヘッダ４６、ビットストリーム４７、ＥＯＣマーカ４８を示している。ここでも便宜上、第２の符号データの各フレームが１タイル構成である場合を図示している。この例では、各第１の符号データのうち４枚の静止画を１フレームに集約した例を示していて、４つの第１の符号データから、所定の解像度のデータだけを選択する。すなわち、この例では、それぞれＬＬ１，ＨＬ１，ＬＨ１，ＨＨ１の成分だけを取り出して、各フレーム（この例では前述のように単一のタイル）のビットストリーム４７としている。

符号列変換部は、逆向きの処理によって、第２の符号データを第１の符号データに再度変換することもできる（図２１の括弧内参照）。

以上のように、ＪＰＥＧ２０００準拠の符号データであれば、先に説明した本発明の主要な要素である分割符号データを生成する処理を、符号レベルでのタイル単位の分割や合成により行うことができる。また、符号レベルで、フレーム単位でMotion−JPEG2000準拠の符号データを生成することも容易に行うことができる。かかる機能を活用し、本発明ではJPEG2000準拠の符号データを予め細かいタイル単位に分けたデータに分割しておくことで、分割要求がタイル単位のサイズであれば、符号列変換部（パーサ）で符号レベルで簡単に分割符号データを生成することが可能となる。

［検索環境自動生成］
本発明の画像処理システムは、分割処理により生成された符号データのファイル名（あるいは識別子）を自動割付けし、検索環境を自動生成する機能を有する。図１０及び図１１はその説明図である。この例では、静止画の符号データのファイルを作成し保存する場合だけを示しているが、マルチページ符号データのファイルを作成し保存する場合も同様である。後者の場合、検索はマルチページ画像の該当するページを探す。

［検索環境生成処理］
図４は典型的な検索環境自動生成処理フローである。

ステップＳ１０：画像符号データ保存手段１に保存されている指定された画像の符号データを伸長し表示する。ステップＳ１１以降は分割指令があった場合の処理ステップである。

ステップＳ１１：表示されている画像の符号データに対し、前述したような符号レベルでの分割処理を行う。図１０の例では、静止画合成手段１２により静止画符号データが生成されるが、モーション合成手段１１によりマルチページ符号データを生成してもよいことは前述の通りである。

ステップＳ１２：分割された符号データを、ファイル名自動割付手段５により識別子（名前であっても番号であってもよい）を付けて、独立したファイルとして画像符号データ保存手段１に保存する。図１０の例では、各静止画符号データがファイルとして保存されるが、ＦＮ１〜ＦＮ８が各ファイルに付けられた識別子である。なお、マルチページ符号データが生成される場合には、そのファイルの識別子に加え、各ページにページ番号を付けるようにしてもよい。

ステップＳ１３：ファイル名自動割付手段５により、ファイル名符号データファイル対応の検索用データベース（ＤＢ）を作成する。この検索用データベースは、ファイル名とそのファイル名をもつ符号データ・ファイルとが対となっている一覧表である。検索用データベースは、ファイル名と、そのファイル名をもつ符号データ・ファイルと、その符号データの表示位置とが対となった一覧表であってもよい。ここで、マルチページ符号データ・ファイルについては、この検索用データベースは、ページ番号と該当ページの識別番号が付された対の一覧表であってもよい。

ステップ１４：さらに、検索環境構築手段１４によって、図１１（ａ）に示したようなファイル名を列挙した検索用の一覧表を作成し、必要に応じて表示してもよい。また、図１１（ｂ）に示すような、概略画像（サムネイル画像）を表示し、その対応位置にファイル名を表示するようにしてもよい。

［検索処理］
図５は典型的な検索処理フローである。この処理は検索要求を受けて実行される。

ステップＳ３０：検索したいファイルの識別子（ファイル名）またはページ番号を入力する。このとき、図１１に示すようなファイル名又はページ番号の一覧表を表示し、その中より選択させるようにしてもよい。なお、図１には明記されていないが、かかるユーザ入力のための手段は当然存在する。

ステップＳ３１：検索用データベースより該当するファイルまたはページの識別記号を得る。

ステップＳ３２：その識別記号を用いて該当するファイルまたはページの符号データを画像符号データ保存手段１より取り出す。ここで、その符号データを伸長し表示してもよい。

［分散形の画像処理システム］
前述のように、本発明の画像処理システムは、複数の装置に処理機能を分散させる形態をとることもできる。

図１２は、そのような形態の画像処理システムの典型的な構成例を示すブロック図である。ここに示す画像処理システムは、画像サーバ３００と画像表示装置４００（より一般的には画像出力装置）をネットワークを介して結合される構成である。図１２には画像表示装置４００は１台のみ示されているが、通常、画像サーバ３００は複数の画像表示装置４００により共有される形態をとる。

図１２中の各手段１〜１２は図１中の対応手段と同様の手段である。図１に示された手段のうち、伸長手段２、画像データバッファ手段３及び表示手段４は画像表示装置４００側に含まれ、それ以外の手段は画像サーバ３００側に含まれる。なお、図中省略されているが、画像サーバ３００及び画像表示装置４００は、ネットワーク経由の情報交換のためのネットワーク・インターフェース手段を当然に備える。

［画像サーバの受信処理］
図１３は、画像サーバ３００が外部より画像の符号データを受信する場合の典型的な処理フローである。この処理は、受信要求を受けて開始する。

ステップＳ５０：画像の符号データを受信して画像符号データ保存手段１に保存する。
ここでは符号データの受信を想定しているが、受信されるデータは画像データであっても
かまわない。その場合、画像サーバ３００は符号化手段（図１２には示されていない）により、受信した画像データの符号化（圧縮）処理を行い、その符号データを保存する。

ステップＳ５１：小ブロック分割手段６により、受信した画像の符号データを小ブロック単位に区分して小ブロック分割情報を作成し、それを小ブロック分割情報保存手段７に保存する。前述のように、ＪＰＥＧ２０００の符号データを対象とする場合は、典型的には、符号データをタイル単位に分割した符号データを生成することで、小ブロック分割を実現できる。この場合、各タイルと画像の位置関係の対応表（小ブロック分割情報）を作ることができる。ここで、前記対応表（小ブロック分割情報）は、符号データの小ブロック単位の分割と表示位置を関係づけられたデータで構成される。図７に示すように、小ブロック分割手段６で符号データが分割され、符号データと表示位置との対応表が作成されたものである。

［画像サーバの送信処理］
図１４は、画像サーバ３００から画像表示装置４００へ画像の符号データを送信する時の典型的な処理フローである。この処理は、画像表示装置４００からの画像送信要求を受けて開始する。

ステップＳ６０：ファイル名と画像のサイズを受信する。

ステップＳ６１：小ブロック分割情報を利用し、小ブロックを合成して要求されたサイズの画像の符号データを作成する。前述のように、小ブロック分割情報は小ブロック分割情報保存手段７に保存されており、符号データの小ブロック単位の分割と表示位置を関係づけた情報である。

ステップＳ６２：作成した符号データを画像表示装置４００へ送信する。これで一連の処理を終了する。

なお、図１２には明示されていないが、分割された画像ファイルは、予め想定されるサイズに（例えば、画像表示装置の画面サイズに合うように）分割して保存されてもよい。その場合、画像サーバ上に前述したよう検索環境を構築し、画像表示装置４００で必要としているファイルを検索要求に応じて検索してもかまわない。

JPEG2000の符号データを対象とする場合は、前述のパーサ機能を利用し、符号列の操作によって、符号データをタイル単位に分割してよいし、タイル単位のデータを更に細かくプレシンクト単位に分割してもよい。

以上、画像処理システムとして本発明を説明したが、以上の説明は本発明の画像処理方法の説明でもあることは明白である。

また、本発明の画像処理システム及び画像処理方法は、コンピュータを利用しプログラムにより実現することも可能であることは明白である。そのためのプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種情報記録（記憶）媒体も本発明に包含されるものである。

本発明による処理機能集中形の画像処理システムの典型的な構成例を示すブロック図である。 分割手段の機能構成例を示すブロック図である。 分割処理の典型的な処理フローを示すフローチャートである。 検索環境生成処理の典型的な処理フローを示すフローチャートである。 検索処理の典型的な処理フローを示すフローチャートである。 画像表示範囲と分割処理の説明図である。 小ブロック分割と符号データ生成の説明図である。 符号データ構造の説明図である。 領域分割された符号データの生成の説明図である。 ファイル名自動割付と検索用データベース生成の説明図である。 検索用表示画面例を示す図である。 処理機能を画像サーバと画像表示装置に分散させた、本発明の画像処理システムの典型的構成例を示すブロック図である。 画像サーバにおける符号データ受信処理の典型的な処理フローを示すフローチャートである。 画像送信要求時の画像サーバの典型的な処理フローを示すフローチャートである。 ＪＰＥＧ２０００のアルゴリズムの基本を説明するためのブロック図である。 カラー画像の各コンポーネントのタイル分割の説明図である。 ２次元ウェーブレット変換によるサブバンド分解の説明図である。 ＪＰＥＧ２０００のコードストリームの構造の説明図である。 ＪＰＥＧ２０００におけるタイル、プレシンクト、コードブロックの説明図である。 ＪＰＥＧ２０００における係数値のビットプレーン符号化とレイヤの説明図である。 ＪＰＥＧ２０００の符号変換部（パーサ）の機能ブロック図である。 合成前の符号データの構造説明図である。 合成後の符号データの構造説明図である。 一般的な画像分割方法を説明するための図である。

符号の説明

１ 画像符号データ保存手段
２ 伸長手段
３ 画像データバッファ手段
４ 表示手段
５ ファイル名自動割付手段
６ 小ブロック分割手段
７ 小ブロック分割情報保存手段
８ 表示範囲読み取り手段
９ 略同一サイズ計算手段
１０ 分割手段
１１ モーション合成手段
１２ 静止画合成手段
２１ 分割数設定手段
２２ 分割サイズ設定手段
２３ 分割方法指定手段
３４ 分割制御手段

Claims (16)

1. 画像の符号データを保存する符号データ保存手段と、
   前記符号データ保存手段に保存されている画像の符号データを伸長する伸長手段と、
   前記伸長手段で伸長された画像を表示する表示手段と
   前記表示手段によって表示されている画像の表示範囲を検出する表示範囲検出手段と、
   前記符号データ保存手段に保存されている、前記表示手段によって表示されている画像の符号データを、前記表示範囲検出手段により検出された表示範囲のサイズに基づいて決められたサイズの複数の分割画像の符号データへと分割する手段と、
   前記分割する手段によって分割された複数の分割画像の符号データを、モーション符号データ又はマルチページ符号データとして、前記符号データ保存手段に保存する手段とを有することを特徴とする画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、符号データ保存手段に、符号データが小ブロック単位に領域区分して保存されていることを特徴とする画像処理システム。
3. 前記分割する手段は、前記小ブロック分割の区切り単位で分割の範囲を指定する手段を有することを特徴とする請求項２に記載の画像処理システム。
4. 前記表示手段により表示される画像に重ねて小ブロック分割の区切りを表示させる手段を有することを特徴とする請求項３に記載の画像処理システム。
5. 請求項２に記載の画像処理システムにおいて、前記分割する手段は、必要なブロックを小ブロック単位で合成する手段を含むことを特徴とする画像処理システム。
6. 分割された符号データが前記符号データ保存手段に保存される際に、該符号データに自動的にファイル名を付与する手段を有することを特徴とする請求項１に記載の画像処理システム。
7. 検索用のファイル名を列挙した一覧表を作成し、それを必要に応じて前記表示手段に表
   示させる手段を有することを特徴とする請求項６に記載の画像処理システム。
8. 検索用のファイル名を列挙した一覧表を作成し、必要に応じて、前記一覧表に基づいて
   ファイル名と概略画像を対応付けて前記表示手段に表示させる手段を有することを特徴と
   する請求項６に記載の画像処理システム。
9. 請求項１に記載の画像処理システムにおいて、前記分割する手段は、分割画像のサイズを略均等にするための手段を含むことを特徴とする画像処理システム。
10. 請求項１に記載の画像処理システムにおいて、符号データは、領域毎の符号データを重畳した構造であることを特徴とする画像処理システム。
11. 請求項１に記載の画像処理システムにおいて、符号データはＪＰＥＧ２０００準拠の符号データであることを特徴とする画像処理システム。
12. 請求項１に記載の画像処理システムにおいて、前記各手段はネットワークを介して結合される画像サーバと画像出力装置とに分散され、前記表示手段に表示される画像の符号データは前記画像サーバからネットワークを介して前記画像出力装置へ転送されることを特徴とする画像処理システム。
13. 前記画像サーバは、外部より入力される画像の符号データを再分割する手段を有することを特徴とする請求項１２に記載の画像処理システム。
14. 符号データ保存手段に保存されている画像の符号データを伸長する伸長ステップと、
    前記伸長ステップで伸長された画像を表示手段に表示させる表示ステップと、
    前記表示手段によって表示されている画像の表示範囲を検出するステップと、
    前記符号データ保存手段に保存されている、前記表示手段によって表示されている画像の符号データを、前記検出された表示範囲のサイズに基づいて決められたサイズの複数の分割画像の符号データへと分割する符号データ分割ステップと、
    前記符号データ分割ステップによって分割された複数の分割画像の符号データを、モーション符号データ又はマルチページ符号データとして前記符号データ保存手段に保存するステップと有することを特徴とする画像処理方法。
15. 請求項１４に記載の画像処理方法の各ステップをコンピュータに実行させるプログラム。
16. 請求項１５に記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images