JP5112968B2

JP5112968B2 - 画像閲覧装置

Info

Publication number: JP5112968B2
Application number: JP2008164721A
Authority: JP
Inventors: 多聞貞末
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2008-06-24
Filing date: 2008-06-24
Publication date: 2013-01-09
Anticipated expiration: 2028-06-24
Also published as: JP2010009122A

Description

本発明は、画像閲覧装置に関し、特に、３次元仮想空間内に配置された少なくとも１つの表示対象画像を３次元仮想空間内の視点に対応する投影面に投影し、投影した各表示対象画像を表示装置に表示させる画像閲覧装置に関する。

従来、この種の画像閲覧装置としては、各表示対象画像から色、形、大きさ、種類、用途およびキーワード等の特徴量を抽出し、抽出した特徴量から特徴量ベクトルを作成し、作成した特徴量ベクトルを２次元座標軸上に自己組織化マップ等を利用して射影しつつ、奥行き方向に多段階的に代表画像を抽出して配置し、視点を３次元的に移動させることで、所望の画像を容易に探索できるようにしたものがある（例えば、特許文献１参照）。
特許第３６１４２３５号公報

しかしながら、上述したような従来の技術においては、視点から遠い表示対象画像を視点に近い表示対象画像より小さく表示させるのに対し、視点から遠い表示対象画像も視点に近い表示対象画像と同じ解像度で表示装置に表示させようとするため、表示にかかる復号処理量が必要以上に大きくなってしまうといった課題があった。

本発明は、従来の課題を解決するためになされたもので、表示にかかる復号処理量を従来のものより低減することができる画像閲覧装置を提供することを目的とする。

本発明の画像閲覧装置は、記憶媒体に格納された画像ファイルが表す画像のうち３次元仮想空間内に配置された少なくとも１つの表示対象画像を前記３次元仮想空間内の任意の視点に対応する投影面に投影し、投影した各表示対象画像を表示装置に表示させる画像閲覧装置において、前記視点と前記各表示対象画像との位置関係に基づいて、該各表示対象画像を前記表示装置に表示させるときの解像度を算出する解像度算出部と、前記解像度算出部によって算出された解像度の表示対象画像を前記記憶媒体から取得する画像取得部と、前記画像取得部によって取得されて前記投影面に投影された表示対象画像を前記表示装置に表示させる表示制御部と、を備え、前記解像度算出部は、算出した解像度の表示対象画像の面積の累計値が予め定められた閾値を超えたときに、他の表示対象画像の解像度を前記視点との位置関係に基づいて算出した解像度よりも低くなるように算出する構成を有している。

本発明は、表示にかかる復号処理量を従来のものより低減することができる画像閲覧装置を提供することができる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施の形態においては、ハードディスク装置等の記憶媒体を有するサーバ装置に圧縮符号の状態で格納された画像をネットワークを介して受信し、受信した画像を伸長して表示するクライアント装置に本発明に係る画像閲覧装置を適用した例について説明する。

また、本実施の形態においては、サーバ装置に圧縮符号の状態で格納された画像としてＪＰＥＧ２０００（Joint Photographic Experts Group 2000）画像を適用し、サーバ装置とクライアント装置との間のプロトコルとしてＪＰＩＰ（Jpeg2000 Interactive Protocol）を適用した例について説明する。

まず、ＪＰＥＧ２０００とＪＰＩＰとについて簡単に説明する。ＪＰＥＧ２０００は、２００１年に国際標準になったＪＰＥＧ後継の画像圧縮伸長方式である。ＪＰＥＧ２０００画像の符号化処理は、概ね図１に示す流れで行われる。

図１において、まず、ＪＰＥＧ２０００画像は、少なくとも１つの矩形のタイルに分割され、各タイルは、輝度・色差等のコンポ−ネントへ色変換される（ステップＳ１）。変換後のコンポ−ネント（「タイルコンポ−ネント」と呼ばれる）は、ウェーブレット変換によって、ＬＬ、ＨＬ、ＬＨおよびＨＨとそれぞれ略称される４つのサブバンドに分割される（ステップＳ２）。

ここで、ＬＬサブバンドに対して再帰的にウェーブレット変換（デコンポジション）が繰返されると、最終的に１つのＬＬサブバンドと、それぞれ複数のＨＬ、ＬＨおよびＨＨサブバンドとが生成される。画像にウェーブレット変換が施された回数（デコンポジションレベル）と解像度レベルとの関係は、図２に示すようになる。なお、図２は、デコンポジションレベルが３の場合の例を示している。

次に、各サブバンドの量子化（正規化）が行われる（ステップＳ３）。具体的には、図３に示すように、各サブバンドは、プリシンクトとよばれる少なくとも１つの矩形に分割される。ここで、プリシンクトは、主に画像中の場所（Position）を表す。なお、ＬＬサブバンドから分割された矩形は、１つのプリシンクトを構成し、同じ解像度レベルのＨＬ、ＬＨおよびＨＨの各サブバンドから分割された３つの矩形は、１つのプリシンクトを構成する。

プリシンクトがさらに矩形に分割されたものをコードブロックという。このように、物理的なサイズについては、画像≧タイル＞サブバンド≧プリシンクト≧コードブロックといった関係になる。

以上のように画像が分割された後、各コードブロックに対してウェーブレット係数のエントロピー符号化（ビットプレーン符号化）がビットプレーン順に行われる（ステップＳ４、図１）。次に、プリシンクトに含まれる全てのコードブロックからビットプレーンの符号の一部が集められ、ヘッダが付けられたパケットが生成される（ステップＳ５）。

例えば、パケットは、全てのコードブロックのＭＳＢから３ビット目までのビットプレーンの符号を集めたものとパケットヘッダとによって構成される。なお、パケットの中には、ビットプレーンの符号が含まれないものもある。パケットヘッダには、当該パケットに含まれる符号に関する情報が含まれ、各パケットは独立に扱うことができる。すなわち、パケットは符号の単位といえる。

全てのプリシンクト（すなわち、全てのコードブロックまたは全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、ＭＳＢから３ビットまでのビットプレーンの符号）が得られるが、この画像全域の符号の一部をレイヤという。レイヤは、画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がることになる。すなわち、レイヤは画質の単位といえる。

すべてのレイヤが得られると、画像全域の全てのビットプレーンの符号が得られたことになる。図４は、デコンポジションレベル＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤと、それに含まれるパケットとの関係の一例を示している。

なお、図４においては、レイヤ毎に異なる網掛けが施され、いくつかのパケットが太線で囲われている。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合には、図４に示すようにＨＬ〜ＨＨサブバンドをまたいだものとなる。

このように生成されたパケットやレイヤの区切りにしたがってパケットを並べることにより、最終的な符号が形成される（ステップＳ６、図１）。ここで、パケットは、どのコンポ−ネントＣに属するか、どの解像度レベルＲに属するか、どのプリシンクトＰに属するか、および、どのレイヤＬに属するかという４つの属性（以下、「プログレッション属性という」という。）を有する。

パケットには、先頭にパケットヘッダが含まれ、パケットヘッダに続いてＭＱ符号（パケットデータ）が含まれている。パケットヘッダには、当該パケットが空か否か、当該パケットにどのコードブロックが含まれるか、当該パケットに含まれる各コードブロックのゼロビットプレーン数、当該パケットに含まれる各コードブロック符号のコーディングパス数（ビットプレーン数）、および、当該パケットに含まれる各コードブロックの符号長等を表す情報が含まれている。

このパケットをどの属性の順に階層的に並べるかといったパケットの配列順をプログレッションオーダという。図５に示すように、ＩＳＯ／ＩＥＣ−１５４４４−１では、５通りのプログレッションオーダが規定されており、上から順にＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬおよびＣＰＲＬと略称される。

ここで、エンコーダがプログレッションオーダにしたがってパケットを並べる場合や、デコーダがプログレッションオーダにしたがってパケットの属性を解釈する場合については、ＩＳＯ／ＩＥＣ−１５４４４−１において、プログレッションオーダがＬＲＣＰの場合を例に、以下のように記載されている。

B.12.1.1 Layer-resolution level-component-position progression
Layer-resolution level-component-position progression is defined as the interleaving of the packets in the following order:
for each l = 0,..., L-1
for each r = 0,..., N max
for each i = 0,..., Csiz-1
for each k = 0,..., numprecincts-1
packet for component i, resolution level r, layer l, and precinct k.
Here, L is the number of layers and N max is the maximum number of decomposition levels, N L , used in any component of the tile. A progression of this type might be useful when low sample accuracy is most desirable, but information is needed for all components.

すなわち、プログレッションオーダがＬＲＣＰのときに、エンコーダがプログレッションオーダにしたがってパケットを並べる場合や、デコーダがプログレッションオーダにしたがってパケットの属性を解釈する場合は、以下のように行われる。

for (各レイヤ)｛
for (各解像度レベル)｛
for (各コンポ−ネント)｛
for (各プリシンクト)｛
エンコーダであればパケットを配置
デコーダであればパケットの属性を解釈
｝
｝
｝
｝

例えば、サイズが１００×１００画素の画像を、３段階の解像度レベル、３２×３２画素のプリシンクト、２つのレイヤおよび３つのコンポーネントに分解して得られた３６個のパケットをＲＰＣＬのプログレッションオーダにしたがって並べた場合には、図６に示すようになる。

図６に示したような各タイルを構成する符号は、パケットの切れ目で複数のタイルパートにさらに分割することができる。図７は、図６に示したように並べられたパケットを解像度レベル単位にタイルパートに分割した例を示している。

以上に説明したようにパケットを並べることにより得られる最終的な符号をコードストリームという。コードストリームは、図８に一例を示すように、メインヘッダ（Main Header）と、少なくとも１つのタイルパートヘッダ（Tile-part Header）と、各タイルパートヘッダに対応するパケット（図中「解像度レベル０」、「解像度レベル１」と記載した。）とを有する。

メインヘッダには、当該コードストリームの開始点を示すＳＯＣ（Start Of Codestream）マーカと、当該コードストリーム全般に関する情報を表すメインヘッダマーカセグメント（Main Header marker segments）とが含まれる。また、ＳＯＣに対して、コードストリームは、コードストリームの終了点を示すＥＯＣ（End Of Codestream）マーカを末尾に有する。

メインヘッダマーカセグメントには、図９に示すようにＣＯＤ（Coding style default）マーカセグメントが含まれる。図９において、ＣＯＤは、当該マーカセグメントがＣＯＤマーカセグメントであることを示す識別子（０ｘｆｆ５２）を表し、Ｌｃｏｄは、当該マーカセグメントの大きさを表し、Ｓｃｏｄは、全コンポーネントに対する符号スタイルを表し、ＳＧｃｏｄは、コンポーネントに依存しない符号スタイルのパラメータを表し、ＳＰｃｏｄは、コンポーネントに関係する符号スタイルのパラメータを表す。

ＳＧｃｏｄには、プログレッションオーダを表す情報が含まれ、各プログレッションオーダは、図１０に示すように表現される。各パケットがどのレイヤのどの解像度レベルのものかをデコード時に判別するためには、ＳＧｃｏｄに記述されたプログレッションオーダに基づいて、前述したようなforループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがforループ内のどの位置でハンドリングされたかを判別すればよい。

このため、パケットヘッダ中の符号長を読み込むことによって、エントロピー符号をデコードしなくても、次のパケットを検出でき、任意のパケットにアクセスすることができる。

一方、タイルパートヘッダには、タイルパートの開始点を示すＳＯＴ（Start of tile-part）マーカと、タイルパートに関する情報を表すタイルパートヘッダマーカセグメント（Tile-part Header marker segments）と、符号の開始点を示すＳＯＤ（Start of data）とが含まれる。

ＳＯＴマーカには、該当するタイルパートの長さを表すＰｓｏｔが含まれる。このため、ＳＯＴマーカを読み込むことによって、パケットヘッダをデコードしなくてもタイルパート単位で符号にアクセスすることができる。

なお、前述したＣＯＤマーカセグメントは、タイルパートヘッダマーカセグメントに含めることもできる。この場合には、ＣＯＤマーカセグメントに記述された設定は、該当するタイルパートに適用される。

以上に説明したように、ＪＰＥＧ２０００画像の符号に対しては、パケット単位でのアクセス、または、より簡易にはタイルパート単位でのアクセスが可能である。したがって、ＪＰＥＧ２０００画像の原符号から必要な符号だけを抜き出して、新たな符号を生成することができる。

すなわち、ＪＰＥＧ２０００画像の原符号から、必要に応じた部分的な符号だけを復号することができる。例えば、サーバ装置に格納された大きな画像をクライアント装置側で表示する場合には、クライアント装置は、必要な画質だけの符号、必要な解像度だけの符号、見たい場所だけの符号、または、見たいコンポ−ネントだけの符号をサーバ装置から受信して復号することができる。このように、サーバ装置に格納されたＪＰＥＧ２０００画像の原符号から、必要な符号だけをクライアント装置に受信させるためのプロトコルをＪＰＩＰという。

ＪＰＩＰにおいて、クライアント装置は、描画したい解像度と実際に描画するウィンドウサイズをサーバ装置に要求する。この要求を受けたサーバ装置は、要求された解像度の該当する領域を覆うプリシンクトのパケットまたはタイルパートを送信する。

ここで、サーバ装置から送信されるプリシンクトのパケットのストリームをＪＰＰストリームといい、サーバ装置から送信されるタイルパートのストリームをＪＰＴストリームという。なお、本実施の形態においては、サーバ装置からクライアント装置にＪＰＴストリームが送信されるものとする。

ここで、サーバ装置がＪＰＴストリームを送信する場合に、画像全体を構成するタイルパートの中から、該当する領域をカバーするタイルパートを抽出する手順について説明する。なお、サーバ装置は、格納している各符号が、どのようにタイルパートに分割されているか（以下、「分割方法」という）を管理している。

例えば、図６に示したパケットからなるＪＰＥＧ２０００画像に対して、クライアント装置からサーバ装置に「２５×２５画素に相当する解像度部分を、２０×２０のウィンドウサイズで表示したい」といった要求があったとする。

ここで、２５×２５画素に相当する解像度とは、１００／２^２＝２５であるため解像度レベル０の部分を指し、２０×２０のウィンドウとは、解像度レベル０の画素のうちの２０×２０の部分だけを表示したいということを表す。

この要求を受けたサーバ装置は、格納したＪＰＥＧ２０００画像の符号から、解像度レベル０をカバーするタイルパートを抽出し、抽出したタイルパートをメインヘッダの情報とともにクライアント装置に送信する。このように、表示画素数以上で、最も近い解像度のタイルパートを選択して送信することを、ＪＰＩＰではＲｏｕｎｄ−ｕｐと呼ぶ。

ここで、サーバ装置は、タイルパートの先頭に必ず含まれているＳＯＴマーカからタイルパートの長さが分かるため、タイルパートの境界を常に判別することができる。また、サーバ装置は、メインヘッダマーカセグメントやタイルパートヘッダマーカセグメントに含まれるＣＯＤマーカセグメントのＳＧｃｏｄに含まれているプログレッションオーダと、タイルパートの既知の分割方法とに基づいて、(何番目から)何番目までのタイルパートをクライアント装置に送信すればよいかも判別することができる。

（第１の実施の形態）
図１１に示すように、本発明の実施の形態は、サーバ装置１と、本発明の画像閲覧装置を構成するクライアント装置２とによって構成される。サーバ装置１は、少なくとも１つのＪＰＥＧ２０００画像が格納された画像格納部１０と、ＪＰＩＰサーバ１１とを備える。

具体的なハードウェア構成としては、サーバ装置１は、図１２に示すように、ＣＰＵ（Central Processing Unit）２０と、ＲＯＭ（Read-Only Memory）２１と、ＲＡＭ（Random Access Memory ）２２と、大容量の記憶媒体としてのハードディスク装置２３と、ネットワークに接続された各機器と通信を行うための通信モジュール２６とを備えたコンピュータ装置によって構成されている。

ＲＯＭ２１やハードディスク装置２３には、当該コンピュータ装置をサーバ装置１として機能させるためのプログラムが格納されている。ＣＰＵ２０は、ＲＯＭ２１やハードディスク装置２３に格納されたプログラムをＲＡＭ２２に読み込みながら実行することにより、サーバ装置１の各部を制御するようになっている。

なお、図１１において、画像格納部１０は、図１２におけるハードディスク装置２３によって構成され、ＪＰＩＰサーバ１１は、ＣＰＵ２０および通信モジュール２６によって構成されている。

クライアント装置２は、３次元仮想空間内のモデルを表す情報を格納する３次元仮想空間モデル格納部３０と、３次元仮想空間における視点および視軸等が入力される入力部３１と、入力部３１に入力された視点および視軸を３次元仮想空間内に配置する視点配置部３２と、３次元仮想空間内に配置されている各画像モデルの解像度を算出する解像度算出部３３と、解像度算出部３３によって算出された解像度の各画像をサーバ装置１から取得する画像取得部を構成するＪＰＩＰクライアント３４と、ＪＰＩＰクライアント３４によって取得された各画像を各画像モデルにテクスチャとして貼り付ける画像貼り付け部３５と、表示部３６と、画像貼り付け部３５によって各画像モデルに貼り付けられた画像を表示対象画像として３次元仮想空間内の視点に対応する投影面に投影し、投影した各表示対象画像を表示部３６に表示させる表示制御部３７とを備えている。

具体的なハードウェア構成としては、クライアント装置２は、図１３に示すように、ＣＰＵ４０と、ＲＯＭ４１と、ＲＡＭ４２と、ハードディスク装置４３と、キーボードやポインティングデバイス等の入力デバイス４４と、液晶ディスプレイ等からなるディスプレイ装置４５と、ネットワークに接続された各機器と通信を行うための通信モジュール４６とを備えたコンピュータ装置によって構成されている。

ＲＯＭ４１やハードディスク装置４３には、当該コンピュータ装置をクライアント装置２として機能させるためのプログラムが格納されている。ＣＰＵ４０は、ＲＯＭ４１やハードディスク装置４３に格納されたプログラムをＲＡＭ４２に読み込みながら実行することにより、クライアント装置２の各部を制御し、クライアント装置２を本発明の画像閲覧装置として機能させるようになっている。

なお、図１１において、３次元仮想空間モデル格納部３０は、図１３におけるハードディスク装置４３によって構成され、入力部３１は、入力デバイス４４によって構成され、視点配置部３２、解像度算出部３３、画像貼り付け部３５および表示制御部３７は、ＣＰＵ４０によって構成される。また、ＪＰＩＰクライアント３４は、ＣＰＵ４０および通信モジュール４６によって構成され、表示部３６は、ディスプレイ装置４５によって構成される。

３次元仮想空間モデル格納部３０には、少なくとも１つの画像モデルが格納されている。例えば、各画像モデルは、ハードディスク装置４３に格納された画像ファイルに対応し、当該画像ファイルを表す情報、３次元仮想空間における位置情報、サイズ情報およびテクスチャよりなる。すなわち、３次元仮想空間においては、図１４に一例を示すように、画像モデル５０ａ乃至５０ｇが配置されている。

３次元仮想空間における画像モデルを２次元の投影面に投影する方法としては、平行投影と透視投影とがある。図１５に示すように、表示制御部３７は、透視投影によって画像モデル５１ａ、５１ｂを視点５２に対応する投影面５３に投影するようになっている。

平行投影の場合には、画像モデルの表示サイズは視点の近さに関わらず一定であるが、透視投影の場合には、図１６に示すように、同じサイズの画像モデルでも視点から離れるにつれて表示サイズが小さくなる。

したがって、同じサイズの画像モデルであっても、視点から遠くにある画像モデルに対しては、視点の近くにある画像モデルよりも表示する画素数が少なくなるため、低い解像度のテクスチャを取得すればよい。

図１７に示すように、透視投影においては、視点５２からの視軸５４に対して垂直な投影面、すなわち、表示部３６の表示画面に対する投影であるから、画像モデル５０ｈ、５０ｉの表示サイズは、視軸５４に直交して視点５２を含む平面（以下、「視点面」という。）５５からの距離ｄｈ、ｄｉにそれぞれ反比例する。

また、視野角θが広がると、各画像モデル５０ｈ、５０ｉの表示サイズは小さくなる。このため、解像度算出部３３は、３次元仮想空間における視点５２の位置情報と、各画像モデルの位置情報とを３次元仮想空間モデル格納部３０から取得し、取得した各位置情報に基づいて、画像モデル５０ｈ、５０ｉを含み、視軸５４に垂直な視野内の仮想平面５６ｈ、５６ｉの幅Ｆを算出するようになっている。

具体的には、視点面５５から仮想平面５６ｈ、５６ｉまでの距離をｄとすると、解像度算出部３３は、以下の数式を用いて仮想平面５６ｈ、５６ｉの幅Ｆを算出するようになっている。

なお、視野角θは、表示部３６の表示画面の幅をＷ_{ｓｃｒｅｅｎ}とし、視点５２から投影面までの距離をＬとすると、以下の数式を用いて算出することができる。

また、解像度算出部３３は、幅がｗの画像モデルが表示部３６の表示画面に表示されるときの幅ｗ'を以下の数式を用いて算出するようになっている。

また、解像度算出部３３は、高さがｈの画像モデルが表示部３６の表示画面に表示されるときの高さｈ'を幅ｗ'と同様に算出するようになっている。

図１１において、ＪＰＩＰクライアント３４は、各画像モデルにテクスチャとして貼り付けるための画像として、上述したように解像度算出部３３によって算出された幅ｗ'および高さｈ'よりなるサイズ（Frame Size）の画像をＪＰＩＰサーバ１１に要求するようになっている。

画像貼り付け部３５は、ＪＰＩＰクライアント３４の要求に応じてＪＰＩＰサーバ１１からＪＰＩＰクライアント３４に送信された各画像を各画像モデルにテクスチャとして貼り付けるようになっている。

具体的には、画像貼り付け部３５は、ＪＰＩＰクライアント３４に送信された各画像を３次元仮想空間モデル格納部３０に格納された画像モデルのテクスチャとして３次元仮想空間モデル格納部３０に登録するようになっている。

表示制御部３７は、画像貼り付け部３５によってテクスチャが貼り付けられた画像モデルが表示対象画像として配置された３次元仮想空間を視点配置部３２によって配置された視点に対応する２次元の投影面に投影し、投影した画像を表示部３６に表示させるようになっている。

以上のように構成されたクライアント装置２の画像表示動作について図１８を用いて説明する。なお、以下に説明する画像表示動作は、クライアント装置２のハードディスク装置４３に格納された画像ファイルの追加や変更があった場合、および、入力部３１を介して視点または視軸が変更されたときにスタートする。

まず、各画像モデルに対して、３次元仮想空間モデル格納部３０に格納された画像モデルのテクスチャとして要求する画像の解像度が解像度算出部３３によって算出される（ステップＳ１０）。

次に、当該画像モデルのテクスチャとして３次元仮想空間モデル格納部３０に画像が登録されているか否かが解像度算出部３３によって判断され（ステップＳ１１）、当該画像が登録されていると判断された場合には、当該画像モデルのテクスチャとして登録されている画像の解像度よりステップＳ１０で算出された解像度が高いか否かが判断される（ステップＳ１２）。

当該画像モデルのテクスチャとして３次元仮想空間モデル格納部３０に画像が登録されていないとステップＳ１１で判断された場合、または、当該画像モデルのテクスチャとして登録されている画像の解像度よりステップＳ１０で算出された解像度が高いとステップＳ１２で判断された場合には、ステップＳ１０で算出された解像度の画像がＪＰＩＰクライアント３４からＪＰＩＰサーバ１１に要求される（ステップＳ１３）。

ＪＰＩＰサーバ１１に要求された画像がＪＰＩＰクライアント３４に受信されると(ステップＳ１４)、受信された画像が当該画像モデルのテクスチャとして３次元仮想空間モデル格納部３０に登録される（ステップＳ１５）。

このように、各画像モデルのテクスチャとしての画像の登録が完了すると、テクスチャが貼り付けられた画像モデルが配置された３次元仮想空間が、視点配置部３２によって配置された視点に対応する２次元の投影面に投影され、投影された画像が表示制御部３７によって表示部３６に表示される（ステップＳ１６）。

このように、本発明の第１の実施の形態のクライアント装置２は、３次元仮想空間内における視点からの位置関係に基づいた解像度の表示対象画像を表示部３６に表示させるため、表示にかかる復号処理量を従来のものより低減することができる。

特に、クライアント装置２は、視点から遠い表示対象画像の解像度を低くするため、視点から遠い数多くの表示対象画像を表示部３６に表示させるときに、表示にかかる復号処理量を従来のものより顕著に低減することができる。

また、クライアント装置２は、サーバ装置１に対して視点からの位置関係に応じた解像度の画像を要求するため、サーバ装置１とクライアント装置２との間のトラフィック量を低減させることができる。

（第２の実施の形態）
本発明の第１の実施の形態では、各画像モデルに対して直交する視軸が入力部３１に入力される例について説明したが、本実施の形態においては、各画像モデルに対して直交しない視軸が入力部３１に入力される例について説明する。このため、本実施の形態の説明においては、本発明の第１の実施の形態で参照した図面も必要に応じて参照される。

図１９（ａ）に示すように、視軸５４が各画像モデルに対して直交しない場合には、図１９（ｂ）に示すように、各画像モデルの見かけのサイズが小さくなる。すなわち、視軸５４が各画像モデルに対して直交するときと同じ解像度の画像を各画像モデルにテクスチャとして貼り付けた場合には、各画像モデルが幅方向に圧縮されて表示されるため、テクスチャの幅方向の全ての画素は利用されない。

このように、視軸に直交していない各画像モデルに対して、視軸に直交しているときと同じ解像度の画像をＪＰＩＰサーバ１１に要求してしまうと、各画像の表示サイズの合計が、表示部３６の表示画面のサイズと比較して非常に大きくなってしまう。

このため、解像度算出部３３は、入力部３１に入力された視軸が各画像モデルに対して直交しない場合には、投影面に投影された各画像モデルの１辺の長さに基づいて、ＪＰＩＰサーバ１１に要求する画像のサイズを算出するようになっている。

具体的には、図２０に示すように、各画像モデル５０ｈ、５０ｉの中心を含み、視軸５４に垂直な視野内の仮想平面５６ｈ、５６ｉと、各画像モデル５０ｈ、５０ｉとがなす角度をαとし、各画像モデル５０ｈ、５０ｉの幅方向の辺の長さをｗ_ｍすると、解像度算出部３３は、各仮想平面５６ｈ、５６ｉに各画像モデル５０ｈ、５０ｉを射影したときの幅方向の辺の長さ、すなわち、幅ｗをｗ＝ｗ_ｍ×ｃｏｓαとして算出するようになっている。ここで、αは、入力部３１に入力された視軸の傾きから算出することができる。

さらに、解像度算出部３３は、本発明の第１の実施の形態における場合と同様に、仮想平面５６ｈ、５６ｉの幅Ｆを算出し、幅がｗの画像モデルが表示部３６の表示画面に表示されるときの幅ｗ'を算出するようになっている。

また、解像度算出部３３は、幅ｗと同様に、各仮想平面５６ｈ、５６ｉに各画像モデル５０ｈ、５０ｉを射影したときの高さ方向の辺の長さ、すなわち、高さｈ_ｍから高さｈを算出し、算出した高さｈの画像モデルが表示部３６の表示画面に表示されるときの高さｈ'を算出するようになっている。

ここで、ＪＰＩＰサーバ１１に要求する画像のアスペクト比を画像モデルのアスペクト比と同じにするために、解像度算出部３３は、画像モデルの高さｈ_ｍから算出した高さｈ'の高さｈ_ｍに対する比率ｈ'／ｈ_ｍと、幅ｗ_ｍから算出した幅ｗ'の幅ｗ_ｍに対する比率ｗ'／ｗ_ｍを比較し、比率が低い方を基準として他方を補正するようになっている。

すなわち、解像度算出部３３は、比率ｈ'／ｈ_ｍが比率ｗ'／ｗ_ｍより低い場合には、ｗ'＝ｗ_ｍ×ｈ'／ｈ_ｍと幅ｗ'を補正し、比率ｈ'／ｈ_ｍが比率ｗ'／ｗ_ｍより高い場合には、ｈ'＝ｈ_ｍ×ｗ'／ｗ_ｍと高さｈ'を補正するようになっている。

なお、前述した仮想平面５６ｈ、５６ｉは、画像モデル５０ｈ、５０ｉの中心を含み、視軸５４に垂直な視野内の平面として説明したが、各仮想平面５６ｈ、５６ｉは、各画像モデル５０ｈ、５０ｉの頂点のうち、視点面５５に最も近い頂点を含み、視軸５４に垂直な視野内の平面としてもよく、視点面５５に最も遠い頂点を含み、視軸５４に垂直な視野内の平面としてもよい。

（第３の実施の形態）
本実施の形態においては、本発明の第２の実施の形態と同様に、各画像モデルに対して直交しない視軸が入力部３１に入力される例について説明する。このため、本実施の形態の説明においては、本発明の第１の実施の形態で参照した図面も必要に応じて参照される。

本実施の形態において、解像度算出部３３は、入力部３１に入力された視軸が各画像モデルに対して直交しない場合には、投影面に投影された各画像モデルの面積に基づいて、ＪＰＩＰサーバ１１に要求する画像のサイズを算出するようになっている。

具体的には、図２０に示すように、各画像モデル５０ｈ、５０ｉの中心を含み、視軸５４に垂直な視野内の仮想平面５６ｈ、５６ｉと、各画像モデル５０ｈ、５０ｉとがなす角度をαとし、各画像モデル５０ｈ、５０ｉの面積をＳとすると、解像度算出部３３は、各仮想平面５６ｈ、５６ｉに各画像モデル５０ｈ、５０ｉを射影したときの面積Ｓ'をＳ'＝Ｓ×ｃｏｓαとして算出するようになっている。ここで、αは、入力部３１に入力された視軸の幅方向の傾きを表す。

ここで、解像度算出部３３は、各画像モデル５０ｈ、５０ｉと相似で面積がＳ'となる矩形の幅ｗと高さｈとを算出するようになっている。さらに、解像度算出部３３は、本発明の第１の実施の形態における場合と同様に、仮想平面５６ｈ、５６ｉの幅Ｆを算出し、幅がｗの画像モデルが表示部３６の表示画面に表示されるときの幅ｗ'を算出するようになっている。

また、解像度算出部３３は、幅方向と同様に、視軸の高さ方向の傾きから各仮想平面５６ｈ、５６ｉに各画像モデル５０ｈ、５０ｉを射影したときの面積Ｓ"を算出し、各画像モデル５０ｈ、５０ｉと相似で面積がＳ"となる矩形の幅ｗと高さｈとを算出するようになっている。さらに、解像度算出部３３は、幅ｗ'を算出したときと同様に、高さがｈの画像モデルが表示部３６の表示画面に表示されるときの高さｈ'を算出するようになっている。

ここで、ＪＰＩＰサーバ１１に要求する画像のアスペクト比を画像モデルのアスペクト比と同じにするために、解像度算出部３３は、視軸の高さ方向の傾きから算出した高さｈ'の画像モデルの高さｈ_ｍに対する比率ｈ'／ｈ_ｍと、視軸の幅方向の傾きから算出した幅ｗ'の画像モデルの幅ｗ_ｍに対する比率ｗ'／ｗ_ｍを比較し、比率が低い方を基準として他方を補正するようになっている。

このように、本発明の第３の実施の形態のクライアント装置２は、各仮想平面に投影した画像モデルの面積に基づいて画像モデルのテクスチャの解像度を算出するため、画像モデルが表示部３６の表示画面を覆いつくすような場合であっても、表示部３６の表示画面に表示される画像モデルの面積の合計が表示部３６の表示画面の面積と同程度になり、サーバ装置１に要求する画像のサイズの合計をほぼ一定値内に抑制することができる。

（第４の実施の形態）
本発明の第４の実施の形態は、本発明の第１乃至第３の実施の形態に対して、ＪＰＩＰクライアント３４からＪＰＩＰサーバ１１に要求される画像の解像度をさらに抑制するよう解像度算出部３３を構成する。このため、実施の形態の説明においては、本発明の第１乃至第３の実施の形態で参照した図面も必要に応じて参照される。

表示制御部３７が各画像モデルを２次元の投影面に投影し、投影した画像を表示部３６に表示させる場合には、表示部３６の表示画面に各画像モデルの画像が重なって表示される場合がある。

このような場合には、ＪＰＥＧ２０００の符号化方式、および、ＪＰＩＰ等のプロトコルでは、原画像の符号の一部分のみを取得して復号することができるため、ＪＰＩＰクライアント３４に重なっていない部分の画像のみをＪＰＩＰサーバ１１に要求させるようにしてもよい。

この場合には、画像間の部分的な重なりを判別するために処理量が増加してしまうため、本実施の形態において、解像度算出部３３は、図２１に示すように、ＪＰＩＰサーバ１１に要求させる画像のサイズ（幅ｗ'および高さｈ'）を視点面５５（図１７および図２０を参照）から近い画像モデル６０ａから遠い画像モデル６０ｇにかけて順に累積していき、累計した値が予め定められた閾値を超えたときに、残りの画像モデルに対してＪＰＩＰサーバ１１に要求させる画像のサイズが小さくなるように算出するようなっている。ここで、閾値は、表示部３６の表示画面のサイズまたは面積に応じて予め定められている。

例えば、解像度算出部３３は、残りの画像モデルに対して、本発明の第１乃至第３の実施の形態のように算出した幅ｗ'および高さｈ'をそれぞれ半分にするようにしてもよく、最低値（１画素×１画素）にするようにしてもよい。

なお、本実施の形態においては、解像度算出部３３は、ＪＰＩＰサーバ１１に要求させる画像のサイズを視点面５５に近い距離にある画像モデルから順に累積していき、累計した値が閾値を超えたときに、残りの画像モデルに対してＪＰＩＰサーバ１１に要求させる画像のサイズが小さくなるように算出するものとして説明したが、解像度算出部３３は、ＪＰＩＰサーバ１１に要求させる画像の面積（幅ｗ'×高さｈ'）を視点面５５から近い画像モデル６０ａから画像モデル６０ｇにかけて順に累積していき、累計した値が予め定められた閾値を超えたときに、残りの画像モデルに対してＪＰＩＰサーバ１１に要求させる画像のサイズが小さくなるように算出するようにしてもよい。

また、本実施の形態においては、解像度算出部３３は、ＪＰＩＰサーバ１１に要求させる画像のサイズを視点面５５に近い距離にある画像モデルから順に累積していくものとして説明したが、解像度算出部３３は、ＪＰＩＰサーバ１１に要求させる画像のサイズが大きなものから順に累積していくようにしてもよい。

ＪＰＥＧ２０００画像の符号化処理を示すフローチャートである。ＪＰＥＧ２０００におけるデコンポジションレベルと解像度レベルとの関係を示す概念図である。ＪＰＥＧ２０００における各サブバンドの量子化を説明するための概念図である。ＪＰＥＧ２０００におけるレイヤと、それに含まれるパケットとの関係の一例を示す概念図である。ＩＳＯ／ＩＥＣ−１５４４４−１に規定されたプログレッションオーダを示す概念図である。ＪＰＥＧ２０００における各パケットの配列の一例を示す概念図である。図６に示した各パケットを解像度レベル単位にタイルパートに分割した例を示す概念図である。ＪＰＥＧ２０００のコードストリームを示す概念図である。図８に示したコードストリームのメインヘッダマーカセグメントに含まれるＣＯＤマーカセグメントを示す概念図である。図９に示したＣＯＤマーカセグメント内に示されるプログレッションオーダを示す概念図である。本発明の実施の形態を示すブロック図である。本発明の実施の形態のサーバ装置のハードウェア構成図である。本発明の実施の形態のクライアント装置のハードウェア構成図である。本発明の実施の形態に適用される画像モデルを示す概念図である。本発明の実施の形態のクライアント装置を構成する表示制御部による透視投影を説明するための概念図である。図１５を用いて説明した透視投影によって投影される画像モデルを示す概念図である。本発明の第１の実施の形態のクライアント装置を構成する解像度算出部による解像度の算出処理を説明するための概念図である。本発明の実施の形態のクライアント装置の画像表示動作を示すフローチャートである。本発明の実施の形態において視軸が各画像モデルに対して直交しない場合の表示例を示す概念図である。本発明の第２および第３の実施の形態のクライアント装置を構成する解像度算出部による解像度の算出処理を説明するための概念図である。本発明の第４の実施の形態のクライアント装置を構成する解像度算出部による解像度の算出処理を説明するための概念図である。

符号の説明

１サーバ装置
２クライアント装置
１０画像格納部
１１ＪＰＩＰサーバ
２０、４０ＣＰＵ
２１、４１ＲＯＭ
２２、４２ＲＡＭ
２３、４３ハードディスク装置
２６、４６通信モジュール
３０３次元仮想空間モデル格納部
３１入力部
３２視点配置部
３３解像度算出部
３４ＪＰＩＰクライアント
３５画像貼り付け部
３６表示部
３７表示制御部
４４入力デバイス
４５ディスプレイ装置

Claims

記憶媒体に格納された画像ファイルが表す画像のうち３次元仮想空間内に配置された少なくとも１つの表示対象画像を前記３次元仮想空間内の任意の視点に対応する投影面に投影し、投影した各表示対象画像を表示装置に表示させる画像閲覧装置において、
前記視点と前記各表示対象画像との位置関係に基づいて、該各表示対象画像を前記表示装置に表示させるときの解像度を算出する解像度算出部と、
前記解像度算出部によって算出された解像度の表示対象画像を前記記憶媒体から取得する画像取得部と、
前記画像取得部によって取得されて前記投影面に投影された表示対象画像を前記表示装置に表示させる表示制御部と、を備え、
前記解像度算出部は、算出した解像度の表示対象画像の面積の累計値が予め定められた閾値を超えたときに、他の表示対象画像の解像度を前記視点との位置関係に基づいて算出した解像度よりも低くなるように算出することを特徴とする画像閲覧装置。
記憶媒体に格納された画像ファイルが表す画像のうち３次元仮想空間内に配置された少なくとも１つの表示対象画像を前記３次元仮想空間内の任意の視点に対応する投影面に投影し、投影した各表示対象画像を表示装置に表示させる画像閲覧装置において、
前記視点と前記各表示対象画像との位置関係に基づいて、該各表示対象画像を前記表示装置に表示させるときの解像度を算出する解像度算出部と、
前記解像度算出部によって算出された解像度の表示対象画像を前記記憶媒体から取得する画像取得部と、
前記画像取得部によって取得されて前記投影面に投影された表示対象画像を前記表示装置に表示させる表示制御部と、を備え、
前記解像度算出部は、算出した解像度の表示対象画像のサイズを大きいものから累計していき、累計した値が予め定められた閾値を超えたときに、他の表示対象画像の解像度を前記視点との位置関係に基づいて算出した解像度よりも低くなるように算出することを特徴とする画像閲覧装置。
前記解像度算出部は、前記視点からの視軸に直交して前記視点を含む平面から近い距離にある前記表示対象画像から前記面積を累計していくことを特徴とする請求項１に記載の画像閲覧装置。
前記解像度算出部は、前記閾値を前記表示装置の表示画面のサイズに基づいて決定することを特徴とする請求項１または請求項２に記載の画像閲覧装置。
前記画像閲覧装置は、ネットワークを介してサーバ装置に接続され、
前記記憶媒体は、前記サーバ装置に含まれ、
前記画像取得部は、前記表示対象画像を前記サーバ装置に含まれる記憶媒体から取得することを特徴とする請求項１または請求項２に記載の画像閲覧装置。
記憶媒体に格納された画像ファイルが表す画像のうち３次元仮想空間内に配置された少なくとも１つの表示対象画像を前記３次元仮想空間内の任意の視点に対応する投影面に投影し、投影した各表示対象画像を表示装置に表示させる画像閲覧方法において、
前記視点と前記各表示対象画像との位置関係に基づいて、該各表示対象画像を前記表示装置に表示させるときの解像度を算出する解像度算出ステップと、
前記解像度算出ステップで算出された解像度の表示対象画像を前記記憶媒体から取得する画像取得ステップと、
前記画像取得ステップで取得されて前記投影面に投影された表示対象画像を前記表示装置に表示させる表示制御ステップと、を有し、
前記解像度算出ステップでは、算出した解像度の表示対象画像の面積の累計値が予め定められた閾値を超えたときに、他の表示対象画像の解像度を前記視点との位置関係に基づいて算出した解像度よりも低くなるように算出することを特徴とする画像閲覧方法。
記憶媒体に格納された画像ファイルが表す画像のうち３次元仮想空間内に配置された少なくとも１つの表示対象画像を前記３次元仮想空間内の任意の視点に対応する投影面に投影し、投影した各表示対象画像を表示装置に表示させる画像閲覧方法において、
前記視点と前記各表示対象画像との位置関係に基づいて、該各表示対象画像を前記表示装置に表示させるときの解像度を算出する解像度算出ステップと、
前記解像度算出ステップで算出された解像度の表示対象画像を前記記憶媒体から取得する画像取得ステップと、
前記画像取得ステップで取得されて前記投影面に投影された表示対象画像を前記表示装置に表示させる表示制御ステップと、を有し、
前記解像度算出ステップでは、算出した解像度の表示対象画像のサイズを大きいものから累計していき、累計した値が予め定められた閾値を超えたときに、他の表示対象画像の解像度を前記視点との位置関係に基づいて算出した解像度よりも低くなるように算出することを特徴とする画像閲覧方法。
前記解像度算出ステップでは、前記視点からの視軸に直交して前記視点を含む平面から近い距離にある前記表示対象画像から前記面積を累計していくことを特徴とする請求項６に記載の画像閲覧方法。
前記解像度算出ステップでは、前記閾値を前記表示装置の表示画面のサイズに基づいて決定することを特徴とする請求項６または請求項７に記載の画像閲覧方法。
前記画像取得ステップでは、前記表示対象画像をサーバ装置に含まれる記憶媒体からネットワークを介して取得することを特徴とする請求項６または請求項７に記載の画像閲覧方法。