本発明は、静止画又は動画の符号化データの復号処理又は符号変換処理のための装置及び方法、並びに、静止画又は動画の画像データの符号化処理のための装置及び方法に関する。
動画の符号化データを復号する装置において、各フレームの復号が規定時間内に完了しない情勢になった時に、それ以降の復号を簡略化処理に切り替える技術が特許文献1に記載されている。より具体的には、新しい国際標準符号化方式JPEG2000により符号化された各フレームの符号化データについて、低い周波数のサブバンド係数より復号を実行しつつ、コンポーネント毎又はタイル毎に経過時間を監視し、制限時間に達した後は、そのコンポーネント又はタイルの復号処理を簡略化する例が記載されている。
また、送信装置から動画の符号化データをネットワーク経由で受信装置へ送信し、受信装置で動画の符号化データを復号するシステムにおいて、ネットワークの輻輳に対応するため、送信装置から、各フレームの符号を画質上の重要度の高い順に送信し、フレーム時間内で送信不可能な符号は破棄する技術が特許文献2に記載されている。より具体的には、8×8画素のブロック単位でDCT(離散コサイン変換)を行い、各ブロックのDCT係数を低、中、高の周波数帯域に分割して周波数帯域毎に階層符号化し、最も低い周波数帯域の符号から送信し、時間不足となった場合に高い周波数帯域の符号を破棄する例が記載されている。
特開2002−325257号公報
特開平10−262245号公報
特許文献1の技術によれば、駒落ちなどを防止することができる。しかし、復号される符号と簡略化処理される符号をユーザ側でコントロールすることができないため、必ずしもユーザが望むような画像を再生できるものではない。
例えば、各フレームをJPEG2000により符号化したMotion−JPEG2000の動画において、各フレームの符号化データを構成するパケットは、解像度、色成分、位置、画質のインデックスを持ち、それらの組み合わせによってパケットを様々な順序(プログレッション・オーダー)で並べることができる。つまり、各フレームの符号化データにおいて、特許文献1に記載されているように低周波成分の符号から順に並んでいるとは限らない。また、解像度を重視したいユーザ、画質を重視したいユーザ、色再生を重視したいユーザなど、画像の再生品質に対する好みもユーザによって様々であろう。さらに、画像の表示サイズの違いもあろう。したがって、フレームの符号を順に復号し、制限時間を経過したら簡略化処理に切り替えるというような方法では、必ずしもユーザの意図するような再生画像を得られないおそれがある。
なお、JPEG2000の静止画などを規定時間内でリアルタイム性良く再生したい場
合において、特許文献1の技術を応用することも可能であろう。しかし、動画の場合と同
様に、必ずしもユーザの意向にそった再生画像を得られるとは限らない。
また、特許文献2に記載の技術は、ネットワークの状況を考慮して送信する符号量を制御するものであるから、必ずしも受信装置(画像表示装置)での駒落ちなどの防止を保証するものではない。受信装置によって復号処理能力に違いがあるため、受信装置側で復号処理能力が不足したり処理負荷が増加したような場合に駒落ちなどが生じる。また、画質、解像度、色成分などについてのユーザの意向が反映されるものではない。
なお、送信装置側で個々の受信装置の復号処理能力に応じて送信符号量を制御するならば、より確実に駒落ちなどを防止できるであろう。しかし、送信装置から多数の受信装置に動画を配信するような場合には、同じ動画について、符号量の異なるデータが重複して送信されることになってしまい、ネットワークの負荷が増大するという問題がある。さらに、個々の受信装置のユーザの意向を反映した構造の符号データを送信することは非現実的であるため、ユーザの意向に沿った画像再生を可能にすることは困難である。したがって、送信側で符号量を調整するのではなく、受信側で復号処理能力、さらにはユーザの意向などを考慮して復号処理を制御することが望まれる。
本発明は、以上の諸点に鑑み、符号化された動画又は静止画に関し、復号処理能力やユーザの意向などを反映した好適な画像再生を可能にするための新規な画像処理装置を提供することを目的とするものである。
ここまでは、動画又は静止画の符号化データを処理対象とする場合について述べたが、符号化されない静止画又は動画の画像データから符号化データを生成する場合についても同様の要請に応えることが望まれる。
よって、本発明のもう1つの目的は、符号化データを復号する機器の復号処理能力やユーザの意向などを反映した符号構造の符号化データを、符号化されていない動画又は静止画の画像データから直接生成する新規な画像処理装置を提供することにある。
請求項1に記載の発明は、静止画又は動画の符号化データを処理する画像処理装置であって、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも1つにより符号を分類し、選択したい符号の分類を、符号の選択したい順に従って並べた符号分類リストを作成する手段を含み、符号化データから前記符号分類リスト中の分類に合致する符号を前記符号分類リスト中の分類の並び順に従って順次選択する符号選択制御手段と、前記符号選択制御手段により順次選択された符号に対し順に復号処理を行う処理手段と、を有し、前記符号選択制御手段は、処理進行状況に応じて前記符号分類リストを修正する手段をさらに含むことを特徴とする画像処理装置である。
請求項2に記載の発明は、請求項1に記載の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。
請求項3に記載の発明は、請求項2に記載の発明によるプログラムが記録された、コンピュータが読み取り可能な記録媒体である。
請求項1記載の発明によれば、静止画又は動画の符号化データより、解像度、画質、色成分、位置、重要領域などによる分類に従い符号の選択を制御して、復号処理を行うことができる。したがって、解像度、画質、色成分、位置、重要領域の優先度などを考慮した好適な静止画又は動画の再生が可能となる。また、処理の進行状況に応じて符号分類リストを修正することにより、処理の進行状況に適応した柔軟な符号選択制御が可能である、等々の効果を得られる。
以下、本発明の実施の形態について図面を用い詳細に説明する。
<実施形態1>
本実施形態においては、JPEG2000の静止画符号化データ又はMotion−JPEG2000の動画符号化データを対象とする。Motion−JPEG2000の動画の各フレームは、JPEG2000により符号化されている。したがって、以下の説明に関連する範囲でJPEG2000の概要について説明する。
図12はJPEG2000のアルゴリズムを説明するためのブロック図である。図中、1は色空間変換・逆変換部、2は2次元ウェーブレット変換・逆変換部、3は量子化・逆量子化部、4はエントロピー符号化・復号化部、5はタグ処理部である。
符号化(圧縮)時には、原画像の各コンポーネントは、必要に応じてタイルと呼ばれる重複しない矩形の領域に分割され、各コンポーネントの各タイルのデータが色空間変換・逆変換部1に入力される。
図13にタイル分割の例を示す。この例では、原画像のR,G,Bの各コンポーネントがそれぞれ16個のタイルに分割されている。このような各コンポーネントの各タイルが圧縮/伸長の処理単位となる。各コンポーネントの各タイルは、そのまま、又は色空間変換・逆変換部1でYCrCbもしくはYUV表色系へ変換された後、2次元ウェーブレット変換・逆変換部2で2次元ウェーブレット変換(順変換)を適用されることにより、周波数帯(サブバンド)に空間分割される。
図14に、デコンポジションレベル数=3の場合の、各デコンポジションレベルにおけるサブバンドを示す。すなわち、原画像のタイル分割によって得られたタイル画像(0LL)(デコンポジションレベル0)に対して、2次元ウェーブレット変換を施すことにより、デコンポジションレベル1のサブバンド(1LL,1HL,1LH,1HH)が得られる。この階層における低周波成分である1LLサブバンドの係数に対して2次元ウェーブレット変換を施すことより、デコンポジションレベル2のサブバンド(2LL,2HL,2LH,2HH)が得られる。この階層での低周波成分である2LLサブバンド係数に対し2次元ウェーブレット変換を施すことにより、デコンポジションレベル3のサブバンド(3LL,3HL,3LH,3HH)が得られる。デコンポジションレベル3の各サブバンドに括弧書きされた数字は解像度レベルである。
各サブバンドの係数は、必要に応じて、量子化・逆量子化部3で線形量子化された後、エントロピー符号化・復号化部4でエントロピー符号化される。JPEG2000では、各サブバンド係数はビットプレーンに分解され、また、各サブバンドは重複しないプレシンクトと呼ばれる矩形領域に分割され、各プレシンクトはコードブロックと呼ばれる重複しない矩形領域に分割される。そして、各サブバンドの係数は上位のビットプレーンから下位のビットプレーンへ向かってコードブロック毎に符号化される(より正確には、各ビットプレーンは3つのサブビットプレーンに分割されて符号化される)。このエントロピー符号化においては、指定した符号化の順番で符号化対象ビットが定められ、量子化部・逆量子化部3で対象ビットの周辺ビットからコンテキストが生成され、このコンテキストと対象ビットの確率推定による算術符号化が行われる。
タグ処理部5は符号形成プロセスのブロックであり、エントロピー符号をまとめてパケットを生成し、パケットをプログレッション・オーダーに従って並べるとともに必要なタグ及びタグ情報を付加することにより、図15に示すようなフォーマットの1本のコードストリーム(符号化データ)を生成する。コードストリームの先頭と各タイル部の先頭にはメインヘッダ(Main Header)及びタイルパートヘッダ(Tile-part Header)と呼ばれるタグ情報が付加され、その後に、各タイルの符号(ビットストリーム)が続く。そして、コードストリームの終端に終了タグ(End of codestream)が置かれる。
画像、タイル、サブバンド、プレシンクト、コードブロックの間には
画像≧タイル≧サブバンド≧プレシンクト≧コードブロック
の大小関係がある。
プレシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのHL,LH,HHサブバンドの空間的に同じ位置にある3つの領域の組が1つのプレシンクトとして扱われる。ただし、LLサブバンドでは、1つの領域が1つのプレシンクトとして扱われる。プレシンクトのサイズをサブバンドと同じサイズにすることも可能である。前述のように、プレシンクトを分割した矩形領域がコードブロックである。図16にデコンポジションレベル2におけるプレシンクトと、そのコードブロックを例示した。図中のプレシンクトと記された空間的に同じ位置にある3つの領域の組が、1つのプレシンクトとして扱われる。なお、プレシンクトはタイル画像上の特定の矩形領域に対応する。つまり、図16に示す例では、タイル画像は3×3の矩形領域に分割され、その矩形領域がプレシンクトであると言うこともできる。
プレシンクトに含まれる全てのコードブロックの符号の一部(例えば最上位から3ビット目までの3枚のビットプレーンの符号)を取り出して集めたものがパケットである。符号が空(から)のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション・オーダーに従ってパケットを並べたものが、図15中のビットストリームである。
全てのプレシンクト(つまり、全てのコードブロック、全てのサブバンド)のパケットを集めると、画像全域の符号の一部(例えば、画像全域のウェーブレット係数の最上位のビットプレーンから3枚目までのビットプレーンの符号)ができるが、これがレイヤである(ただし、必ずしも全てのプレシンクトのパケットをレイヤに含めなくともよい)。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位である。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
タイル分割を行わず、コンポート数=1、デコンポジションレベル数=2(解像度レベル数=3)とした場合のパケットとレイヤの例を図17に示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字は便宜的に付与したパケット番号である。図17では、レイヤを濃淡を付けた横長矩形領域として示している。すなわち、この例では、パケット番号0〜16のパケットの符号からなるレイヤ0、パケット番号17〜33のパケットの符号からなるレイヤ1、パケット番号34〜50のパケットの符号からなるレイヤ2、パケット番号51〜67のパケットの符号からなるレイヤ3、パケット番号68〜84のパケットの符号からなるレイヤ4、パケット番号85〜101のパケットの符号からなるレイヤ5、パケット番号102〜118のパケットの符号からなるレイヤ6、パケット番号119〜135のパケットの符号からなるレイヤ7、パケット番号136〜148のパケットの符号からなるレイヤ8、及び、残りのパケット番号149〜161のパケットの符号からなるレイヤ9の10レイヤに分割されている。なお、パケットとプレシンクトとの対応関係などは、プログレッション・オーダーの違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
以上の説明から明らかなように、JPEG2000の符号化データを構成するパケットは解像度、色成分、位置、画質の各パラメータにより分類されているため、符号状態で解像度、色成分、位置、画質の各パラメータで符号の取捨選択が可能である。すなわち、ある符号化データを、伸長することなく、位置(タイル、プレシンクト、コードブロック)、画質(レイヤ、ビットプレーン、サブビットプレーン、周波数成分(サブバンド))、色成分(Y,Cr,Cbの各コンポーネント、R,G,Bの各コンポーネントなど)、解像度(解像度レベル、デコンポジションレベル)の各パラメータに関し変更した別の符号化データに再構成可能である。
また、JPEG2000には、選択した領域(ROI領域)の画質を他の領域よりも向上させる機能がある。JPEG2000の基本仕様では、ROI領域のウェーブレット係数のビットシフトによる”Max Shift”方式が規定されている。ROI領域に関する情報は、符号化データ中のメインヘッダ又はタイルパートヘッダに記述される。
一方、復号(伸長)時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。この場合、タグ処理部5は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、量子化・逆量子化部3で、その対象ビット位置の周辺ビット(既に復号化を終えている)の並びからコンテキストが生成される。エントロピー符号化・復号化部4で、このコンテキストとコードストリームから確率推定によって復号化を行って対象ビットを生成し、それを対象ビットの位置に書き込む。
このようにして復元された各サブバンドの係数は、符号化時に量子化が行われているならば量子化・逆量子化部3で逆量子化された後、2次元ウェーブレット変換・逆変換部2で2次元ウェーブレット逆変換を施されることにより、各コンポーネントの各タイルのデータが復元される。復元されたデータは、符号化時に色空間変換が行われたならば色空間変換・逆変換部1で逆色変換を施され、元の表色系のデータに戻される。
本発明は、パソコンなどの汎用コンピュータや、画像表示機能を有する携帯情報端末、携帯電話などの情報処理機器の内蔵マイクロコンピュータにおいてプログラムの形で実現されるのが、1つの典型的な態様である。
このような態様について、図1に示すような構成のコンピュータを例にさらに説明する。ここに示すコンピュータは、CPU100、メモリ102、ディスプレイ装置104、ハードディスク等の補助記憶装置106、キーボードやポインティングデバイスなどの入力装置108、通信インターフェース110、入出力インターフェース112、各種記録媒体(磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子など)の読み書きのための媒体ドライブ装置114などを備え、それらがシステムバス116で相互接続された一般的な構成である。
本発明を実施するためのプログラム120(以下、画像処理プログラムと称する)は、それが記録された記録媒体より媒体ドライブ装置114によって読み込まれて補助記憶装置106に格納され、あるいはネットワーク経由で通信インターフェース110より取り込まれて補助記憶装置106に格納される。そして、画像処理プログラム120は、補助記憶装置106よりメモリ102にロードされ、CPU100により実行されることにより、コンピュータ上で本発明の画像処理装置又は画像処理方法が実現される。なお、携帯情報端末などの機器では、画像処理プログラム120はROMの形で実装されることもあり、係る態様も本実施形態に含まれる。画像処理プログラム120と、これが記録された各種記録媒体(上記ROMなどの半導体記憶素子も含む)、画像処理プログラム120によりコンピュータ上で実現させる画像処理装置も、本実施形態に包含されることは当然である。
処理対象となる静止画又は動画の符号化データは、例えば、ネットワーク上のサーバーなどから通信インターフェース110を通じて取り込まれたり、入出力インターフェース112に接続された記憶装置やデジタルカメラ等の画像入力装置から取り込まれ、あるいは、補助記憶装置106より取り込まれて処理される。
1つの典型的な態様によれば、画像処理プログラム120は、ビューア、ブラウザなどと呼ばれる静止画又は動画の閲覧のための他のプログラム122(以下、ビューア/ブラウザと称する)と連携して動作する形をとる。ただし、ビューア/ブラウザ122と画像処理プログラム120とを統合することも可能である。そのような統合された形のプログラム、それが記録された記録媒体、同プログラムによりコンピュータ上で実現される画像処理システムも本実施形態に包含される。
ビューア/ブラウザ122は、ディスプレイ装置104の画面上に、例えば図2に模式的に示すように、画像表示ウィンドウ130を開き、そこに動画又は静止画を表示させ、また、コントロール領域132には、ユーザが各種の指定を行うためのボタンやスライドバーなどを表示する。通常、表示させる画像の指定(ファイル名やURLの指定)のほか、ユーザ入力装置108に含まれるマウスなどのポインティングデバイスの操作により、画像表示ウィンドウ130の縦横サイズの変更、画像の表示倍率の変更、画像表示ウィンド130より大きな画像のスクロール、特定領域(位置)の指定などが可能である。画像表示ウィンドウ130の縦横サイズ、画像表示倍率、画像の領域の位置などの条件は画像処理プログラム120に通知される。また、コントロール領域132に表示されたボタンやスライドバーなどにより、動画又は静止画に関する様々な条件の指定を行うことができ、その例を示せば、
(1)動画再生のフレームレートの指定
(2)復号処理又は符号変換処理の対象として選択される符号量の指定
(3)復号処理又は符号変換処理の処理時間の指定
(4)復号処理又は符号変換処理の強制終了
(5)カラー再生/モノクロ再生の指定
(6)画質の指定
(7)解像度、画質、色の間の優先順位の指定
(8)重要領域(ROI領域)の優先指定
などである。いずれもユーザに指定されないときはデフォルト指定となる。
ビューア/ブラウザ122は、以上に述べたような解像度、画質、色成分、位置、重要領域、フレームレート、符号量、処理時間などに関わる条件を画像処理プログラム120に通知する。
画像処理プログラム120は、その復号処理能力や画像表示ウィンドウのサイズ等々の条件に応じて、かつ、ユーザの意向にそった形で静止画又は動画を表示できるように、静止画又は動画の符号化データの符号を選択的に復号して画像データを再生し、この画像データをビューア/ブラウザ122が画像表示ウィンドウ130に表示させる。このように、符号化データの符号の選択的な復号処理は画像処理プログラム120で行われるが、ディスプレイ装置104の画面への画像表示の制御はビューア/ブラウザ130により行われる。
あるいは、画像処理プログラム120は、符号化データを復号処理するのではなく、元の符号化データから、その選択した符号のみからなる別の符号化データに変換する処理を行う。この符号変換処理を行う場合には、変換後の符号化データの復号処理はビューア/ブラウザ122で行われるか、他のプログラム(又はハードウェアのデコーダ)により行われることになる。この符号変換処理の場合においても、復号処理能力や画像表示ウィンドウのサイズ等々の条件に応じて、かつ、ユーザの意向にそった形で静止画又は動画を表示できるように、符号選択を制御する。
画像処理プログラム120は、復号処理を行うにしても符号変換処理を行うにしても、各静止画毎に又は動画の各フレーム毎に、元の符号化データより符号を選択するための符号分類リストを作成する。符号化データ中の符号は、解像度、画質、色成分、位置、重要領域に関するパラメータの少なくとも1つに基づいて分類することが可能である。例えば、レイヤ番号もしくはレイヤ数(画質)、ビットプレーン数又はサブビットプレーン数(画質)、周波数成分(画質)、解像度レベル又はデコンポジションレベル(解像度)、コンポーネント番号(色成分)、タイル番号(位置)、プレシンクト番号(位置)、コードブロック番号(位置)、ROI領域か否か(重要領域)、等々のパラメータによって、符号を分類することができる。そのような分類とパラメータの例を図3に示す。符号分類リストは、選択したい符号に関する、そのような分類を並べたリストである。
符号分類リスト上の分類の並び順であるが、符号分類リスト上の分類の並び順に従った順序で符号の選択を行う場合には、選択順の早い符号の分類ほど符号分類リストの先頭側に置かれる。符号分類リスト上の分類の並び順に従わずに符号の選択を行う場合には、符号分類リスト上の分類の並び順は基本的には任意である。しかし、後述のように、符号分類リストの並び順の遅い分類を削除するようなリスト修正を行う場合には、そのようなリスト修正を行われても画像の復号に支障が生じないような順番で符号の分類が並べられる。これは、符号の選択順に分類を並べるリストでも同様である。
図4乃至図7に符号分類リストの具体例を示す。ただし、いずれの例も、簡略化のため、分類のパラメータとしてレイヤ番号、解像度レベル、コンポーネント番号、プレシンクト番号のみが示されている。特定のタイルの符号を優先したり、ROI領域の符号を優先するような符号選択制御を行う場合には、タイルやROI領域に関するパラメータも分類に用いられることは明らかである。
なお、図5の符号分類リストにおいては、先頭の分類に該当する符号から順に符号を選択すると、解像度を優先した復号処理(早い段階で解像度を上げる)を行うことができるような順番で符号の分類が並べられている。図6の符号分類リストにおいては、先頭の分類に該当する符号から順に符号を選択すると、色を優先した復号処理(早い段階で色を再生する)を行うことができるような順番で符号の分類が並べられている。また、図7の符号分類リストにおいては、先頭の分類から該当する符号を順に選択すると、解像度レベル1までは解像度を優先し、次に画質を優先し、再び解像度を優先するような復号処理を行うことができる順番で符号の分類が並べられている。
画像処理プログラム120は、ビューア/ブラウザ122より通知された各種の条件、並びに、画像処理プログラム自体の復号処理能力あるいはビューア/ブラウザ122又は他のプログラム(もしくはハードウェアのデコーダ)の復号処理能力を考慮して、前述の如き符号分類リストを作成する。そして、静止画又は動画のフレームの符号化データより、符号分類リスト上の分類に合致する符号を選択し、復号処理又は符号変換処理を行う。この符号の選択は、符号データ中の符号の並びに沿って行われる場合と、符号分類リスト上の分類の並び順に従った順番で行われる場合とがあることは前述の通りである。
以下、より具体的な処理フローについて説明する。
図8に、一実施例における静止画又は動画の各フレームに対する画像処理プログラム120の概略処理フローチャートを示す。なお、復号処理を行う場合と符号変換処理を行う場合とでステップS8とステップS9の処理内容が異なる。復号処理の場合、ステップS8で復号処理の前半処理が実行され、ステップS9で前半処理の結果に基づく後半処理が実行される。復号処理の前半処理とは、例えば、符号のエントロピー復号と復号されたウェーブレット係数の逆量子化、後半処理は逆ウェーブレット変換と逆色空間変換である。逆量子化を後半処理に含めてもよい。符号変換処理の場合、ステップS8では符号の保存と符号形成の準備処理が行われ、ステップS9で保存した符号を用いてJPEG2000フォーマットの符号化データを形成する処理が行われる。
以下、処理フローに沿って説明する。まず、処理対象の符号化データのメインヘッダ(及び最初のタイルパートヘッダ)を解析する(ステップS1)。2番目以降のタイルヘッダは処理の途中で随時解析される。ヘッダ解析の結果は、以下のパラメータ設定、符号分類リストの作成、復号処理もしくは符号変換処理に利用される。
次に、ビューア/ブラウザ122より通知された各種条件に応じて、解像度、画質、色成分、位置、重要領域に関するパラメータのうちの少なくとも1つのパラメータを設定する(ステップS2)。例えば、解像度ならば解像度レベル0〜1、画質ならばレイヤ0,1、色成分ならばコンポーネント0〜2、等々である。画像表示ウィンドウのサイズが小さいならば、低解像度でよいので解像度レベルを低くし、画像表示ウィンドウのサイズが大きいならば、それに見合った解像度レベルを設定する。画質優先の指定があったならば、解像度を犠牲にしてもレイヤ数を大きくする。また、画像の中央部分のみ表示させるような設定の場合には、中央部分の特定のプレシンクト(タイル分割されているならば中央部分のタイル、あるいはタイル及びプレシンクト、より詳細な制御を必要とするならば特定のプレシンクトの特定のコードブロックなど)の符号を優先する、といったパラメータの設定を行うわけである。
そして、ビューア/ブラウザ122(又は他のプログラムもしくはデコーダ)の復号処理能力を考慮し、設定されたパラメータと、ビューア/ブラウザ122より通知された処理時間やフレームレートの条件を満たすような符号選択を行うための、例えば図4に示すような符号分類リストを作成する(ステップS3)。
以上の準備処理を終わると、符号化データ中の符号をパケット単位で取り込み(ステップS5)、そのパケットの分類と符号分類リスト上の分類とを照合する(ステップS6)。分類が一致したときには(ステップS7,Yes)、そのパケットを選択し処理する(ステップS8)。分類が一致しないパケットは破棄される。
以上のステップS5〜S8をステップS4で終了と判断するまで繰り返し、符号分類リスト上の分類に合致するパケット(符号)を順次選択して処理する。なお、タイルヘッダの解析は以上の処理過程で行われる。なお、タイル単位のROI領域の有無などはメインヘッダ又はタイルヘッダの解析で認識できるが、パケット単位のROI領域の有無などはパケットヘッダの解析により認識される。
符号化データの最後のパケットまで処理済みとなったとき、選択すべき全ての符号の選択が完了したと判断されるとき、ユーザにより指定された処理時間に達したとき、あるいは、ユーザにより処理終了指示がなされ終了要求がビューア/ブラウザ122より発行されたときに、ステップS4で終了と判断され、ステップS9の処理が実行される。このステップS9において、復号処理の場合には、選択された符号についての前半処理の結果を用いて画像データを再生する処理が実行される。符号変換処理の場合には、選択された符号を用いた符号形成プロセスが実行され、新しい符号化データが生成される。生成された画像データ又は符号化データはメモリ102の特定エリアに書き込まれ、その画像データはビューア/ブラウザ122により表示され、その符号化データは復号処理の後に表示されることになる。
なお、パケット中の一部のコードブロック、又は、ビットプレーンもしくはサブビットプレーンの符号を選択する場合には、ステップS8において、パケット中の不要なコードブロック又はビットプレーンもしくはサブビットプレーンの符号の破棄が行われる。
以上の説明から明らかなように、本実施例によれば、ビューア/ブラウザ122を通じて指定された条件や復号処理能力に応じて符号選択を適切に制御して復号処理又は符号変換処理を行うことにより、静止画又は動画をユーザの意向にそった形で表示することが可能である。
図9に、別の実施例における静止画又は動画の各フレームに対する画像処理プログラム120の概略処理フローチャートを示す。
このフローチャートにおいて、ステップS21〜S24は図8の対応ステップS1〜SS4と同じ処理ステップであるので説明を省略する。また、ステップS28〜S32は図8の対応ステップS5〜S9と同じ処理ステップであるので説明を省略する。
本実施例においては、処理の進行状況を確認する(ステップS25)。進行状況の確認は、単純には、その時点までに処理された符号量(選択された符号量)から行うことができる。あるいは、符号化データ上の処理済みの符号の位置から、符号分類リスト上の処理済みの位置を調べることにより進行状況を確認することができる。そして、進行状況から符号分類リストの修正の要否と修正方法を判断する(ステップS26)。
進行状況から、現在の符号分類リストの内容では、ビューア/ブラウザ122より通知された条件を満たすために最低限処理すべき符号に関してフレームレートを維持できそうもないとき、あるいは、そのような符号の処理を指定された処理時間内で完了できないときには、符号分類リストから重要度の低い分類、つまり、リスト末尾側の分類を削除し、それとは逆に時間的に余裕があるときには、符号分類リストの末尾に分類を追加する処理を行う(ステップS27)。追加する分類の決定方法はステップS23と同様でよい。
すなわち、個々の静止画又は動画の各フレーム毎に、同じ条件であっても復号処理に要する時間にばらつきがあるため、処理が間に合わないと予測される場合には、重要度の低い符号を選択しないように制御し、時間的に余裕があると予測される場合には、可能な限り良好な画像再生を可能にするため、重要度の低い符号も選択するように符号選択を制御するわけである。
以上の説明から明らかなように、本実施例によれば、ユーザにより指定された条件などや復号処理能力に応じて、さらに、処理の進行状況に応じて、符号選択を適切に制御することにより、静止画又は動画をユーザの意向にそった形で表示することが可能である。
図10に、別の実施例における静止画又は動画の各フレームに対する画像処理プログラム120の概略処理フローチャートを示す。
本実施例においては、まず、符号化データ全体を読み込み、メインヘッダ及びタイルヘッダの解析を行うとともに、全ての符号(パケット)を分類別に整理してメモリ102に記憶する(ステップS41)。したがって、どのような分類の符号がどこに記憶されているか認識可能である。解析結果もメモリ102に記憶されることは当然である。
なお、動画の場合に、現フレームの処理中に、バックグラウンド処理として、次フレームに対するステップ41の処理を行うようにしてもよく、かかる態様も本実施形態に包含される。複数の静止画を順次処理するようなケースでも、次に処理する静止画に対し同様のバックグラウンド処理を行うことも可能である。
続いて、パラメータの設定を行い(ステップS42)、符号分類リストを作成する(ステップS43)。ステップS42の処理内容は図8のステップS2と同様である。ステップS43は図8のステップS3と同様であるが、ここで作成される符号分類リストは、符号の分類を選択順に並べたものである。すなわち、解像度優先ならば例えば図5のような符号分類リストが作成され、色成分優先ならば例えば図6のような符号分類リストが作成される。
続いてステップS44〜S49の処理ループが実行される。この処理ループにおいて、符号分類リスト上の分類の並び順に従って、その分類と合致する符号(パケット)を順次取り込み(ステップS48)、その符号に対し復号処理の前半処理又は符号変換処理の前処理を行う(ステップS49)。また、処理の進行状況を確認し(ステップS45)、進行状況から符号分類リストの修正の要否と修正方法を判断する(ステップS46)。本実施例では、符号分類リスト上の先頭の分類に合致する符号より順に選択し処理されるため、直前に処理した符号の分類の符号分類リスト上の位置を調べることにより、進行状況を確認することができる。もちろん、その時点までに処理(選択)された符号量から進行状況を確認することも可能である。そして、進行状況から、符号分類リストの修正の要否と修正方法を判断し(ステップS46)、符号分類リストの必要な修正を行う(ステップS47)。この修正の方法は図9のステップS27と同様である。
このような処理ループは、ステップS44で終了と判断されるまで繰り返し実行される。符号分類リストの最後の分類に該当する符号が処理済みとなったとき、符号データの全ての符号が処理済みとなったとき、ユーザにより指定された処理時間に達したとき、あるいは、ユーザにより処理終了指示がなされ終了要求がビューア/ブラウザ122より発行されたときに、ステップS44で終了と判断される。
終了と判断すると、ステップS50の処理が実行される。復号処理の場合には、選択された符号についての前半処理の結果を用いて画像データを再生する処理が実行される。符号変換処理の場合には、選択された符号を用いた符号形成プロセスが実行され、新しい符号化データが生成される。生成された画像データ又は符号化データはメモリ102の特定エリアに書き込まれ、その画像データはビューア/ブラウザ122により表示され、その符号化データは復号処理の後に表示されることになる。
以上の説明から明らかなように、本実施例によれば、ユーザにより指定された条件などや復号処理能力に応じて符号選択を適切に制御し、静止画又は動画をユーザの意向にそった形で表示することが可能である。さらに、本実施例によれば、処理の進行状況に適応して符号の選択を柔軟に制御できる利点がある。例えば、次のような処理の制御を容易に実現できる。
(1)動画の場合に、画像の中心部分のタイルについて符号の選択を優先させ、早い段階で符号を処理することにより、中心部分のタイルではフレームレートを維持させ、周辺タイルについては時間的な余裕のある限度で符号を処理させる。同様の制御は、静止画についても可能である。
(2)静止画又は動画において、LLサブバンドの符号を優先的に選択して処理し、時間的な余裕がある限度でHL,LH,HHサブバンドの順に符号を処理する。
(3)静止画又は動画において、上位のレイヤ又はビットプレーンの符号を優先的に選択して処理し、時間的な余裕の限度で順次下位のレイヤ又はビットプレーンの符号を処理する。
(4)静止画又は動画において、ROI領域の符号を優先的に処理し、時間的な余裕の限度で他の符号を処理する。
(5)静止画又は動画において、輝度成分の符号を優先して処理し、時間的な余裕の限度で色差成分の符号を処理する。したがって、動画の場合、輝度成分についてはフレームレートが維持されるが、画像再生に支障のない限度で、色差成分についてはフレームレートを維持できないこともあり得る。
(6)図6の符号分類リストに関連して述べたような、早い段階で色を再生させる順で符号を処理する。
(7)図7の符号分類リストに関連して述べたように、ある解像度レベルまでは解像度を優先し、次に画質を優先し、再び解像度を優先するような順で符号を処理する。
(8)符号化データのプログレッション・オーダーに従った符号選択順に設定して符号変換処理を行う。このようにするならば、符号変換後の符号化データも、予定されたプログレッシブ再生が可能である。
以上の説明から理解されるように、本実施形態に係る画像処理装置の典型的な機能ブロック図は図11のように表すことができる。
図11において、符号化データ読込部201は、動画の各フレームの符号化データ又は静止画の符号化データを、ローカルな画像ソース又はネットワーク上の画像ソースより読み込む手段である。処理部203は、復号処理又は符号変換処理、すなわち前記フローチャート中のステップS8,S9,S31,S32,S49,S50の処理を実行する手段である。条件受取部205は、前記ビューア/ブラウザ122より与えられる各種条件を取り込む手段である。符号選択制御部204は、前述したようなパラメータ設定、符号分類リストの作成・修正、符号分類リストに基づく符号選択の制御やそれに関連した処理を実行する手段である。記憶部202は、読み込まれた符号化データ、復号処理により復元された画像データ、符号変換処理後の符号化データ、符号分類リストなどを一時的に記憶するための手段である。
既に述べたように、かかる画像処理装置と、前記ビューア/ブラウザ122に相当する画像表示制御手段を統合した構成の画像処理システムも本実施形態に含まれる。
なお、本発明は、JPEG2000の静止画やMotion−JPEG2000の動画に好適に適用できるが、他の符号化方式による静止画又は動画に対しても適用し得るものである。例えば、JPEG2000の規格とは異なっても、ウェーブレット変換を行い、その係数をビットプレーン符号化する符号化方式の静止画や動画ならば、前記各実施例における符号選択制御をほぼそのまま適用し得る。また、周波数変換として例えば8×8画素ブロック単位の離散コサイン変換(DCT)を行い、DCT係数を複数の周波数帯域に分割し、周波数帯域毎に階層的に符号化された符号化データの場合、8×8画素のブロックを位置のパラメータ、DCT係数の周波数帯域を画質のパラメータなどとして符号を分類し、同様の符号選択制御を適用することにより、ユーザの意向などを反映した静止画又は動画の再生が可能となる。
<実施形態2>
本実施形態に係る画像処理装置は、図18に示すように、画像データ記憶手段300、符号化処理手段301、符号分類リスト記憶手段302及び符号化制御手段303から構成される。
画像データ記憶手段300は、符号化されない画像データ(静止画の画像データ又は動画像のフレームの画像データ)を一時的に記憶する手段である。符号化処理手段301は、画像データ記憶手段300より画像データを読み込み、その符号化処理を行う手段である。
符号分類リスト記憶手段302は、1つ以上の符号分類リストを記憶する手段である。この符号分類リストは、解像度、位置、色成分、画質に関するパラメータのうちの少なくとも1つによる符号の分類を、符号の生成順に並べたリストである。
符号化制御手段303は、符号分類リスト記憶手段302より符号分類リストを読み込み、この符号分類リスト上の分類に合致する符号が符号分類リスト上の分類の並び順に従って符号化処理手段301の符号化処理により生成されるように符号化処理手段301を制御する手段である。符号化処理により生成された符号が生成順に整列された符号化データが符号化処理手段301より出力される。
このような本実施形態に係る画像処理装置は、パソコンなどの汎用コンピュータや、デジタルカメラなどの画像処理機能を持つ機器の内蔵マイクロコンピュータのようなコンピュータにおいてプログラムの形で実現されるのが、1つの典型的な態様である。かかる態様について、便宜、図1に示したコンピュータを例に説明する。
本実施形態に係る画像処理装置の各構成手段300〜303としてコンピュータを機能させるためのプログラム(画像処理プログラム)は、それが記録された記録媒体より媒体ドライブ装置114によって読み込まれて補助記憶装置106に格納され、あるいはネットワーク経由で通信インターフェース110より取り込まれて補助記憶装置106に格納される。そして、この画像処理プログラムは、補助記憶装置106よりメモリ102にロードされ、CPU100により実行されることにより、コンピュータ上で本実施形態に係る画像処理装置が実現される。なお、画像処理プログラムがROMの形で実装される態様も本実施形態に含まれる。画像処理プログラムと、これが記録された各種記録媒体(上記ROMなどの半導体記憶素子も含む)も本実施形態に包含される。
処理対象となる画像データは、例えば、入出力インターフェース112に接続された記憶装置や画像入力装置から取り込まれ、あるいは、補助記憶装置106より取り込まれて処理される。
符号分類リストは補助記憶装置106に記憶されており、処理時に符号分類リストがメモリ102に読み込まれて処理に利用される。なお、複数種類の符号分類リストを補助記憶装置106に記憶しておき、ユーザからの指示に応じて最適な符号分類リストを選択して利用するようにしてもよく、かかる態様も本実施形態に包含される。また、前記実施形態1と同様に、ユーザからの指示などに応じて、符号分類リストを新規に作成し、あるいは、予め用意された符号分類リストを修正するようにしてもよい。すなわち、本実施形態に係る画像処理装置は、符号分類リストの作成・修正のための手段を備えてもよく、かかる態様も本実施形態に包含される。
以下、本実施形態の一実施例について詳細に説明する。
本実施例においては、符号化処理は前述したJPEG2000のアルゴリズムにより行われる。また、符号分類リストとして、前記実施形態1の場合と同様、レイヤ番号(画質のパラメータ)、解像度レベル(解像度のパラメータ)、コンポーネント番号(色成分のパラメータ)、プレシンクト番号(位置のパラメータ)による符号の分類を並べた図4〜図7に示したようなリストが用いられる。色成分は、色変換を行う場合にはYCrCbもしくはYUV成分であり、色変換を行わない場合には例えばRGB成分である。
図19は、本実施例に係る画像処理装置の動作を説明するためのフローチャートである。当該画像処理装置がコンピュータ上で実現される場合、図19に示すような処理及び制御を行うための画像処理プログラムが用いられるということでもある。
図19のフローチャートにおいて、ステップS301〜S304は符号化制御手段303に係るステップであり、ステップS306は符号化処理手段301に係るステップであ
る。ステップS305は処理ループS305_1〜S305_nを選択的に実行する、符号化処理手段301と符号化制御手段303の両方に係るステップである。
ステップS305で実行される処理ループの基本構造は次のようなネストされたforループで表すことができる。
for(条件1){
for(条件2){
for(条件3){
for(条件4){
for(条件5){
符号生成・保存
}
}
}
}
}
本実施例では、各forループの条件としてタイル番号、コンポーネント番号、プレシンクト番号、解像度レベル、レイヤ番号のうちのいずれかの最小値と最大値が用いられる。タイル、コンポーネント、プレシンクト、解像度レベル、レイヤの条件をどのような順番で適用するか、つまり、それらをループ条件1〜5のどれに用いるかが後述の「オーダーO」であり、最大5!通りのオーダーが考えられる。本実施例では、オーダーOの値に対応したn種類の処理ループS305_1〜S305_nが用意されている。
なお、ループ条件1としてタイルの条件を用いる場合、JPEG2000ではLRCP,RLCP,RPCL,PCRL,CPRLの5通りのオーダー(プログレッション・オーダー)が規定されている。例えばLRCPは、ループ条件2,3,4,5としてレイヤ(L),解像度レベル(R),コンポーネント(C),プレシンクト(P)の条件を順に用いるオーダーである。このような5通りのプログレッション・オーダーのいずれかの処理ループを選択するならば、JPEG2000標準のプログレッション・オーダーの符号化データを生成することができる利点がある。なお、タイリングを行わない場合には、タイル番号に関するforループを省略可能である。
オーダO=1に対応した処理ループS305_1の具体的な処理フローを図20に示す。図20から明らかなように、この処理ループでは、ループ条件1としてタイルの条件が、ループ条件2としてコンポーネントの条件が、ループ条件3としてプレシンクトの条件が、ループ条件4として解像度レベルの条件が、ループ条件5としてレイヤの条件がそれぞれ用いられている。すなわち、JPEG2000のCPRLプログレッション・オーダーに従っている。
図19を参照して説明する。符号化制御手段303は、ステップS302で、符号分類リストの先頭より(又は前回までに処理済みとなった分類の次の分類より)分類の解析を行う。符号化制御手段303は、この解析の結果を基に以下に述べるような符号化処理手段301による符号生成の制御を行う。
すなわち、ステップS303で、解析の結果を基に、オーダーOを設定し、そのオーダーを適用して一定のループ条件で生成可能な連続した符号の分類の範囲を決定し、その範囲(符号化範囲と呼ぶ)の分類の符号を生成するためのループ条件を設定する。
このループ条件の設定では、タイル番号Tの最小値T0と最大値TM、コンポーネント番号Cの最小値C0と最大値CM、プレシンクト番号Pの最小値P0と最大値PM、解像度レベルRの最小値R0と最大値RM、レイヤ番号Lの最小値L0と最大値LMがそれぞれ設定される。
本実施例で用いる符号分類リストはタイル番号のパラメータを分類に用いないため、タイル番号のループ条件に関しては常に全タイルを含めるように、すなわちT0=0、TM=最大タイル番号+1に設定される。しかし、タイル番号を符号の分類パラメータに加えた符号分類リストを用いることも当然に本実施形態に包含される。この場合、符号分類リスト上の分類の解析の結果に従って、タイル番号のループ条件であるT0,TMを設定することになる。
ステップS304で、符号化制御手段303は直前ステップで設定したオーダーOの値により、次ステップS305で実行すべき処理ループを選択する。選択された処理ループにおいて、実際に符号の生成・保存が行われ、また、符号分類リストの生成された符号に対応する分類の処理済みフラグがオンに設定される(初期段階では全ての分類の処理済みフラグはオフ状態である)。
ステップS305での処理ループが終了すると、符号化制御手段303は、ステップS302で、符号分類リスト上の前回の符号化範囲の次の分類より分類の解析を行い、ステップS303で、解析結果に基づいて、オーダーOを設定し、そのオーダーOを適用して一定のループ条件で生成可能な連続した符号の分類の範囲を決定し、その範囲(符号化範囲と呼ぶ)の分類の符号を生成するためのループ条件を設定する。ステップS304で、オーダーOの値によりステップS305で実行する処理ループを選択する。
符号化制御手段303は、ステップS301で終了と判定するまで、具体的には、符号分類リストの全ての分類の処理済みフラグがオン状態となったと判定するまで、又は、符号化中断信号が発生したと判定するまで、ステップS301〜S305の制御のループを繰り返す。終了と判定すると、符号化制御手段303はステップS306で符号化処理手段301にタグ処理を実行させる。このタグ処理は、符号化処理手段301の内部に保存されている符号が生成順(保存順)に整列し、必要なヘッダ情報とタグが付加された符号化データを形成する処理である。
ステップS304で実行される処理ループとしてオーダーO=1に対応する処理ループS305_1が選択されたとして、その処理ループ内の処理について図20を参照し説明する。
符号化制御手段303は、タイル番号T、コンポーネント番号C、プレシンクト番号P、レイヤ番号Lの符号が生成済みであるか、符号分類リスト上の対応した分類の処理済みフラグを参照して調べる(ステップS410)。その分類済みの処理済みフラグがオフ状態(未処理)ならば、その分類の符号を生成する符号化処理を符号化処理手段301に実行させる(ステップS412)。生成された符号は符号化処理手段301の内部の記憶手段に生成順に保存される(ステップS413)。符号化制御手段303は生成された符号に対応する符号分類リストの分類の処理済みフラグをオン状態(処理済み)に設定する(ステップS414)。
符号化制御手段303は、ステップS415の後、又はステップS410で処理済みフラグがオン状態と判定した後に、レイヤ番号Lを1だけインクリメントし(ステップS411)、インクリメント後のレイヤ番号LがLMより小さいならば(ステップS408,YES)、ステップS410以降の制御を繰り返す。
レイヤ番号LがLMに達すると(ステップS410,NO)、符号化制御手段303はレイヤ番号Lを最小値L0に戻すとともに解像度レベルLを1だけインクリメントし(ステップS409)、解像度レベルRがRMより小さいか判定する(ステップS406)。R<TMと判定したならば、符号化制御手段303は、タイル番号T、コンポーネント番号C、プレシンクト番号P、レイヤ番号Lの分類の処理済みフラグを調べ(ステップS410)、その処理済みフラグがオフ状態ならば、その分類の符号を生成する符号化処理を符号化処理手段301に実行させ(ステップS413)、生成した符号を保存させ(ステップS413)、生成した符号に対応した分類の処理済みフラグをオン状態に設定し(ステップS414)、レイヤ番号Lをインクリメントし(ステップS411)、レイヤ番号Lの判定を行う(ステップS408)。
ステップS408でレイヤ番号LがLMに達したと判定したときには、符号化制御手段303はレイヤ番号LをL0に戻すとともに解像度レベルRをインクリメントし(ステップS409)、解像度レベルRがRMより小さいか判定する(ステップS406)。その判定結果がNOならば、解像度レベルRをR0に戻すとともにプレシンクト番号Pをインクリメントし(ステップS407)、プレシンクト番号PがPMより小さいか判定する(ステップS404)。P<PMと判定されたならば、符号化制御手段303は、タイル番号T、コンポーネント番号C、プレシンクト番号P、解像度レベルR、レイヤ番号Lの分の処理済みフラグの状態を調べ(ステップS410)、そのフラグがオフ状態ならば、符号化処理手段301に、その分類の符号を生成させ(ステップS412)、生成された符号を保存させ(ステップS413)、当該分類の処理済みフラグをオン状態に設定する(ステップS414)。
符号化制御手段303は、ステップS404でプレシンクト番号PがPMに達したと判定したときには、プレシンクト番号PをP0に戻すとともにコンポーネント番号Cをインクリメントする(ステップS405)。そして、インクリメント後のコンポーネント番号CがCMより小さいとステップS402で判定したならば、タイル番号T、コンポーネント番号C、プレシンクト番号P、解像度レベルR、レイヤ番号Lの分類の処理済みフラグの状態を調べ(ステップS410)、この処理済みフラグかオフ状態ならば、符号化処理手段301に当該分類の符号の生成と保存を行わせ(ステップS412,S413)、当該分類の処理済みフラグをオン状態に設定する(ステップS415)。
符号化制御手段303は、ステップS402でコンポーネント番号CがCMに達したと判定したときには、コンポーネント番号CをC0に戻すとともにタイル番号Tをインクリメントする(ステップS403)。インクリメント後のタイル番号TがTMより小さいとステップS401で判定したならば、符号化制御手段303は、タイル番号T、コンポーネント番号C、プレシンクト番号P、解像度レベルR、レイヤ番号Lの分類の処理済みフラグを調べ(ステップS410)、この処理済みフラグがオフ状態ならば、当該分類の符号の生成と保存を符号化処理手段301に行わせ(ステップS412,S413)、当該分類の処理済みフラグをオン状態に設定する(ステップS414)。
このような処理ループは、ステップS415で、符号分類リスト上の現在の符号化範囲の全ての分類の処理済みフラグがオン状態となったと判定されたとき、又は、ステップS401でタイル番号がTMに達したと判定されたときに終了する。また、符号化動作を強制的に中断させる符号化中断信号が発生したときにも処理ループは終了する。
以上の説明から明らかなように、本実施例によれば、ユーザの要求や符号化データの復号する機器側の復号処理能力などの条件に応じた符号分類リストを用いることにより、ユーザの要求や復号処理能力などの条件に合致した符号構造の符号化データを、画像データから直接生成することができる。
なお、符号を分類するための位置のパラメータとして、プレシンクト番号に代えてコードブロック番号を用いることも可能であり、かかる態様も本実施形態に包含される。画質のパラメータとして、レイヤ番号に代えてビットプレーン番号又はサブビットプレーン番号を用いることも可能であり、かかる態様も本実施形態に包含される。解像度のパラメータとして、解像度レベルに代えてデコンポジションレベルを用いることも可能であり、かかる態様も本実施形態に包含される。
本実施形態は、符号化方式としてJPEG2000を用いる場合に好適に適用できるが、他の符号化方式を用いる場合にも適用し得るものである。例えば、JPEG2000の規格とは異なっても、ウェーブレット変換を行い、その係数をビットプレーン符号化する符号化方式を用いる場合には前記実施例4における符号生成制御をほぼそのまま適用し得る。また、周波数変換として例えば8×8画素ブロック単位の離散コサイン変換(DCT)を行い、DCT係数を複数の周波数帯域に分割し、周波数帯域毎に階層的に符号化するような符号化方式を用いる場合にも、8×8画素のブロックを位置のパラメータ、DCT係数の周波数帯域を画質のパラメータなどとして符号を分類し、同様の符号生成制御を適用することにより、ユーザの意向や復号処理能力などを反映した符号化データを生成可能となる。
本発明の実施形態1に係るコンピュータのブロック図である。
ビューア/ブラウザによる表示画面の一例を模式的に示す図である。
パラメータによる符号の分類の例を示す図である。
符号分類リストの一例を示す図である。
符号分類リストの一例を示す図である。
符号分類リストの一例を示す図である。
符号分類リストの一例を示す図である。
実施形態1の一実施例に係る概略フローチャートである。
実施形態1の他の実施例に係る概略フローチャートである。
実施形態1の他の実施例に係る概略フローチャートである。
実施形態1に係る画像処理装置の機能ブロック図である。
JPEG2000のアルゴリズム説明のためのブロック図である。
各コンポーネントのタイル分割の説明図である。
2次元ウェーブレット変換によるサブバンド分割と解像度レベルを示す図である。
JPEG2000の符号フォーマットの概略図である。
画像、タイル、サブバンド、プレシンクト、コードブロックの関係を説明するための図である。
レイヤとパケットの関係を例示した図である。
本発明の実施形態2に係る画像処理装置の機能ブロック図である。
実施形態1の一実施例における全体的処理を説明するためのフローチャートである。
図19中のステップS305で実行される処理ループの一例を説明するためのフローチャートである。
100 CPU
102 メモリ
104 ディスプレイ装置
106 補助記憶装置
108 ユーザ入力装置
110 通信インターフェース
112 入出力インターフェース
114 媒体ドライブ装置
120 画像処理プログラム
122 ビューア/ブラウザ
130 画像表示ウィンドウ
132 コントロール領域
201 符号化データ読込部
202 記憶部
203 処理部
204 符号選択制御部
205 条件受取部
300 画像データ記憶手段
301 符号化処理手段
302 符号分類リスト記憶手段
303 符号化制御手段