JP5039922B2 - 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム - Google Patents

画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム Download PDF

Info

Publication number
JP5039922B2
JP5039922B2 JP2008073506A JP2008073506A JP5039922B2 JP 5039922 B2 JP5039922 B2 JP 5039922B2 JP 2008073506 A JP2008073506 A JP 2008073506A JP 2008073506 A JP2008073506 A JP 2008073506A JP 5039922 B2 JP5039922 B2 JP 5039922B2
Authority
JP
Japan
Prior art keywords
image
viewpoint
avatar
dimensional
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008073506A
Other languages
English (en)
Other versions
JP2009230344A (ja
Inventor
洋 堀井
清久仁 河内谷
聰 古関
俊博 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2008073506A priority Critical patent/JP5039922B2/ja
Priority to US12/407,085 priority patent/US8411091B2/en
Publication of JP2009230344A publication Critical patent/JP2009230344A/ja
Application granted granted Critical
Publication of JP5039922B2 publication Critical patent/JP5039922B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、クライアント端末に3次元仮想世界を提供するための画像描画システム、画像描画サーバ、画像描画方法、およびコンピュータ・プログラムに関する。
3次元インターネットや3次元ゲームが流行する中、携帯電話機等の低性能デバイスからも3次元仮想世界(3次元仮想空間ともいい、以下、仮想世界という)にアクセスしたいというユーザからの要望が高くなってきている。しかし、携帯電話機等の低性能デバイスに大量の仮想世界の画像情報を送信するのは、携帯電話機等の低性能デバイスのデータ転送用バス幅が狭いことから生じる通信時間や通信量の問題により困難である。また、送信された大量の仮想世界の画像情報を3次元レンダリングさせるのは、携帯電話機等の低性能デバイスの処理能力の問題により困難である。そこで、携帯電話機等の低性能デバイスからも、仮想世界へのアクセスを可能にするために方法が、いろいろと提案されている。
例えば、特許文献1には、2次元静止画を用いて、遠近法により3次元空間模倣描画を行なう方法が開示されている。特許文献1に記載の方法によれば、まず、クライアント端末が、各アバタの視点から見た空間の背景を示す遠近法による2次元静止画上に、オブジェクトやアバタの姿を示す静止画をその配置の奥行きの深さに応じて縮小する。そして、クライアント端末が、深い方から順に背景画に上書きし、アバタやオブジェクトの相互の位置の衝突を検出して、移動を制御する。
また、特許文献2には、3次元画像や多くの2次元静止画像データを用いなくてもスムーズな画像の動きを実現する方法が開示されている。特許文献2に記載の方法によれば、画像処理装置が、仮想世界を遠近法により立体的に見えるように表した少なくとも1枚の2次元静止画像データに対して、上記2次元静止画像データ上の所定点を中心として拡大あるいは縮小のズーム処理を、倍率を変えて段階的に行い、段階的に行ったズーム処理の結果をコンピュータ等の表示画面に逐次表示する。
また、特許文献3には、ウェブページをダウンロードするのに必要な時間数を減少する方法が開示されている。特許文献3に記載の方法によれば、ウェブサーバが、ウェブページの構成要素、例えば、動画またはビデオストリームデータ等を静止画像としてのみ表示させることでグラフィック画像構成要素のサイズを減少させ、ダウンロードに必要な時間を減少させる。
特開平10−021215号公報 特開2002−140731号公報 特表2003−511782号公報
しかしながら、特許文献1,2に記載の方法は、アバタの視点から見える範囲の背景の2次元静止画像を用いていることにより、視点が同じであってもアバタの見る方向が変わる毎に新たな2次元静止画像をサーバは作成し、クライアント端末は新たな2次元静止画像を受信し、処理しなければならないという問題点がある。一方、特許文献1,2に記載の方法は、画像の動きを仮想世界内のオブジェクトやアバタを拡大縮小することにより、クライアント端末がサーバから、画像の動きを表現するためのデータを逐次受信せずに実現することができる。しかし、特許文献1においては、アバタの移動できる範囲が狭く限られているという問題がある。また、特許文献2の方法においては、アバタが移動すると、移動後の位置を視点とした新たな2次元静止画像をサーバが作成し、クライアント端末は新たな2次元静止画像を受信し背景画像とする。そのため、アバタが移動する度に2次元静止画像がクライアント端末へ送信され、処理が発生するという問題点がある。これらの問題点により、クライアント端末が携帯電話機等の低性能デバイスである場合には3次元仮想世界を提供することができない。
そこで、本発明は上記課題に鑑み、低性能デバイスのクライアント端末にも3次元仮想世界を提供するための画像描画システム、画像描画サーバ、画像描画方法、およびコンピュータ・プログラムを目的とする。
本発明の1つの態様によると、ネットワークを介してクライアント端末と接続され、3次元仮想世界を構築する画像描画サーバ装置を提供する。前記画像描画サーバ装置は、受信部、立体作成部、パノラマ画像作成部、および送信部を備える。受信部は、前記クライアント端末のユーザの仮想世界における分身であるアバタの位置を前記クライアント端末から取得する。立体作成部は、前記アバタの近傍に視点を設け、前記視点を中心とし略水平の複数の同心多角形または同心円を断面とする立体を作成する。パノラマ画像作成部は、前記立体の境界によって分割された複数の領域内に存在する前記仮想世界内の静的オブジェクトを、前記領域毎に前記領域の外側面に視点を中心として透視投影し、複数の2次元パノラマ画像を作成する。送信部は、前記2次元パノラマ画像と前記立体作成部にて作成されたいずれか1つの外傍立体の領域内に存在する動的オブジェクトの情報とを前記クライアント端末に送信する。
「略水平の複数の同心多角形または同心円を断面とする立体」とは、例えば、略合同な二つの平面図形を底面として持つ筒状の空間図形である多角形柱や円柱が入れ子になっている立体である。多角形柱や円柱の他に複数(4つ以上)の平面に囲まれた立体である多面体や、ある定点から等距離にある点の集まりである球等であってもよい。また、「仮想世界内の静的オブジェクト」とは、仮想世界内にある移動を行うことができない固定オブジェクトであって、例えば、建物や木である。一方、「動的オブジェクト」とは、仮想世界内にある移動を行うことができるオブジェクトであり、例えば、アバタや犬等である。更に、「透視投影」とは、3次元の物体を見たとおりに2次元平面に描画するための手法であって、具体的には、視点から対象物への視線を延長し、延長した視線とスクリーンの交点に対象物の投影図を描画する。
本態様によれば、アバタの周囲360度の2次元パノラマ画像(以下、パノラマ画像という)を作成することにより、アバタの見る方向が変化した場合に、クライアント端末が画像描画サーバ装置にて新たに作成されたパノラマ画像を受信する必要がなくなり、データ通信回数を削減することができる。また、仮想世界を区切る入れ子状の立体各々に基づいてパノラマ画像が作成され、作成されたパノラマ画像は視点からの距離に応じて階層化されている。パノラマ画像が階層化されていることにより、アバタが移動した際に、アバタからの距離が遠いパノラマ画像は変化が少なく、描画し直さずに再使用することができ、通信量およびクライアント端末における処理を削減することができる。
本発明の別の形態によると、パノラマ画像作成部は、前記視点から最近傍の立体の領域にある前記静的オブジェクトが投影された前記パノラマ画像に、前記静的オブジェクト各々の奥行き方向の位置を表すZ値を付加することができる。奥行き方向の位置を表すZ値を有することにより、パノラマ画像作成部はパノラマ画像を立体視化し、仮想世界を表現することができる。
更に、本発明の別の形態によると、前記立体作成部は、まず、前記アバタが前記視点の最近傍立体の側面に近づいた際に、前記クライアント端末からの要求に応じて、前記アバタから近傍の位置を新たな前記視点とする新たな前記最近傍立体を作成する。続いて、前記パノラマ画像作成部は、前記新たに作成された最近傍立体および前記視点から2番目に近い既に作成されている第2近傍立体それぞれに対応する新たなパノラマ画像を作成する。これにより、立体作成部は、アバタが移動した際に、視点から最近傍および第2近傍の立体に基づくパノラマ画像のみを作成し直し、残りのパノラマ画像は再利用できることより、通信量およびクライアント端末における処理を削減することができる。また、前記最近傍立体及びパノラマ画像の作成は、アバタの現在の動きから新しい近傍中心位置を予測し、これを事前に投機的に行ってもよい。
更に、本発明の別の形態によると、パノラマ画像作成部は、前記仮想世界内の静的オブジェクトを透視投影する際、このオブジェクトに付随しているアクションの情報を前記オブジェクトの投影範囲に関連付け、その情報を前記クライアントに前記パノラマ画像と共に送信する。ここで、アクション情報とは、静的オブジェクトが有している機能に関する情報をいい、例えば、建物のドアの開閉機能における外開きであるといったドアの開き方や自動販売機決済機能における決済方法である。前記クライアント端末は、ユーザのポインタが前記投影範囲に入ったとき等に前記オブジェクトに付随しているアクションの情報を表示しユーザにアクションを選択させることで、前記静的オブジェクトのインタラクションを可能とする。ユーザが前記アクションを選択した際は、前記クライアント端末が前記サーバと通信し、前記オブジェクトに付随しているアクションが実際に呼び出される。
また、本発明は更に別の態様として、画像描画サーバ装置、画像描画システム、画像描画方法あるいは、コンピュータにおいて実行されるコンピュータ・プログラムとしても提供できる。
本発明によれば、低性能デバイスのクライアント端末にも3次元仮想世界を提供するための画像描画システム、画像描画サーバ、画像描画方法、およびコンピュータ・プログラムを提供することができる。
以下、本発明の実施形態について図面を参照しながら説明する。図1は、本発明を適用した画像描画システム1の一実施態様の構成を示す図である。携帯電話機200−1、200−2・・・200―n(以下、携帯電話機200−1から200―nを区別する必要がない場合は、単に携帯電話機200という)は、クライアント端末であり、インターネットやイントラネットに代表されるネットワーク300と接続され、画像描画サーバ装置100と送受信が行えるようになっている。ネットワーク300を介して、ユーザが携帯電話機200で行った操作の情報はサーバへ送信され、また、携帯電話機200は画像描画サーバ装置100が保持している情報を受信することができる。ここで、クライアント端末は携帯電話機200としているが、コンピュータでも携帯電話機200以外の低性能デバイスのよい。なお、本構成における画像描画サーバ装置100は必ずしも1台とは限らず、複数台で構成されてもよい。
図2は、一実施形態における画像描画システム1の携帯電話機200と画像描画サーバ装置100の基本システム構成を示す図である。画像描画サーバ装置100は、通信部101、およびパノラマ画像制御部110を備える。パノラマ画像制御部110は、パノラマ画像作成部111、解像度変換部112を有する。一方、携帯電話機200は、通信部201、合成レンダリング部202、入力部203、出力部204、およびパノラマ画像記憶部220を備える。
以下に画像描画サーバ装置100、および携帯電話機200の各機能部について説明する。通信部101,201は、携帯電話機200にて仮想世界を表示するために必要な情報の送受信を行う。具体的には、画像描画サーバ装置100で作成されたパノラマ画像や、携帯電話機200のユーザが操作を行うアバタ(以下、自アバタという)の移動情報である。パノラマ画像作成部111は、携帯電話機200の自アバタを中心に、そこから見える360度のパノラマ画像を作成する。解像度変換部112は、パノラマ画像作成部111にて作成された画像を送信先の携帯電話機200の表示画像に合った解像度に変換する処理を行う。
合成レンダリング部202は、画像描画サーバ装置100の通信部101から送信された携帯電話機200にて仮想世界を表示するために必要な情報の編集を行う。具体的には、画像描画サーバ装置100で作成されたパノラマ画像や他の携帯電話機200−nのユーザが操作するアバタ(以下、他アバタいう)等に関する情報を合成し、携帯電話機200の画面に表示する画像を作成する。出力部204は、合成レンダリング部202にて作成された画像を出力し、例えば、液晶ディスプレイ(LCD)をいう。入力部203は、ユーザが自アバタの操作を行う際に用いられ、例えば、数字キーや十字キー、特殊キー等で構成されるキーパットをいう。パノラマ画像記憶部220は、画像描画サーバ装置100の通信部101から送信された携帯電話機200にて仮想世界を表示するために必要なパノラマ画像を記憶する。
通信部101,201は、受信部および送信部の一例であり、パノラマ画像作成部111は、立体作成部およびパノラマ画像作成部の一例であり、合成レンダリング部202は、描画部の一例である。なお、パノラマ画像記憶部220はハード・ディスク上のデータベースに限らず、メモリ等の外部記憶装置でもよい。画像描画サーバ装置100と携帯電話機200のハードウェア構成については後述する。
図3は、画像描画サーバ装置100、および、クライアント端末200上での画像描画処理のフローチャートである。図4は、仮想世界の一例を示す図であり、本図を基に図3から図15を説明する。図4に示す仮想世界は、建物04、建物05、建物06、および、道07の静的オブジェクトと、携帯電話機200のユーザが操作する自アバタ02および他のクライアント端末のユーザが操作する他アバタ03の動的オブジェクトから構成される。視点01は、後述するパノラマ画像を作成する際に使用される。
画像描画処理は、ユーザが仮想世界にログインした時、または、自アバタ02が移動したときに、携帯電話機200からそれらの情報が送信され開始する。ステップS1において、パノラマ画像作成部111は、視点01から見える360度風景のパノラマ画像を作成する。パノラマ画像は近景や遠景等に分けて複数枚作成される。従来の平面パノラマ画像は、視点01から見える視界内の風景であるため、利用者に与える視野角が狭く、臨場感を与えることができないという問題点があった。前記問題点は、本発明において、視点01から見える視界内の風景でなく、360度の風景からパノラマ画像を作成とすることにより解消される。ここで、視点01は自アバタ02の地点から少し離れた位置とする。自アバタ02の位置を視点01としてしまうと、パノラマ画像内に自アバタ02を描画することができなくなってしまうためである。
360度風景から作成されるパノラマ画像は、仮想世界に視点01を中心とする仮想円筒(以下、円筒という)を作成し、円筒内に存在する静的オブジェクトをその側面にレンダリングすることにより作成される。つまり、円筒の側面がパノラマ画像となる。なお、円筒に限らず、仮想多角形筒(以下、多角形筒という)であってもよい。また、仮想半球(以下、半球という)や仮想半多面体(以下、半多面体という)であってもよい。パノラマ画像は、視点01から見える360度風景であるので、視点01を取り囲む立体であればよく、その形状は任意である。
ここで、パノラマ画像が、仮想世界内に作成された円筒や多角形筒の側面である場合と、半球や半多面体の側面である場合とを比較する。パノラマ画像が円筒や多角形筒の側面である場合には、パノラマ画像は水平方向360度風景である。一方、パノラマ画像が半球や半多面体の側面である場合には、パノラマ画像は水平垂直方向360度風景であり、仮想世界の真上もパノラマ画像に含まれるというメリットがある。一般的に、仮想世界においての自アバタの見る範囲は水平方向360度風景であるので、パノラマ画像が円筒や多角形筒の側面であっても十分であるといえる。
また、パノラマ画像が、円筒や半球の側面である場合と、多角形筒や半多面体の側面である場合を比較する。パノラマ画像が円筒や半球の側面である場合と比べ、パノラマ画像が多角形筒や多面体の側面である場合の方が、処理速度は速い。しかし、パノラマ画像が、円筒や半球の側面である場合の方が、画像のゆがみは少ない。なぜならば、多角形柱や多面体は面で画像処理が行われるが、円柱や球は点で画像処理が行われるからである。ただし、パノラマ画像が多角形筒や半多面体の側面である場合の画像のゆがみは誤差の範囲であり、パノラマ画像が円柱や球の側面である場合と大きく差があるわけでないので、パノラマ画像が円筒や半球の側面であっても多角形筒や半多面体の側面であってもよい。
図5は、仮想世界に視点01を中心とする半径を変えた2つの円筒を作成した図である。図5では、半径の異なった円筒10と円筒11のそれぞれの側面が、2つのパノラマ画像となる。円筒10内部に存在する建物04および道07が、円筒10の側面にレンダリングされ、パノラマ画像が作成される。また、円筒11内部に存在する建物05、および建物06が、円筒11の側面にレンダリングされ、パノラマ画像が作成される。なお、道07は円筒10および円筒11にまたがっているが、内側の円筒10の側面のみにレンダリングされる。
すなわち、円筒11の側面であるパノラマ画像には、円筒11内に存在しても円筒11より半径の短い円筒10内に存在する静的オブジェクトはレンダリングされていない。まとめると、ある円筒の側面であるパノラマ画像には、その円筒より半径の小さい円筒の側面であるパノラマ画像にレンダリングされている静的オブジェクトは、レンダリンされていない。静的オブジェクトは、1つのパノラマ画像にレンダリングされればよいからである。
なお、上記例では、2つのパノラマ画像を作成しているが、作成されるパノラマ画像は2つに限られずいくつでもよい。複数のパノラマ画像を作成することにより、自アバタが移動した際に作成するパノラマ画像が少なくてすむというメリットがあるからである。詳細については、後述する。また、円筒等の視点01からの距離は任意でよい。理由については後述する。更に、円筒は、必ずしも等間隔に作成されなくともよく、例えば、視点01から遠ざかるにつれて半径を大きくしてもよい。
図6は、パノラマ画像作成処理のフローチャートである。上述したように、パノラマ画像は円筒から作成されても多角形筒から作成されてもよいため、正八角形からパノラマ画像を作成する場合について説明する。図7は、図5の円筒を正八角形筒とし、その正八角形筒からパノラマ画像の作成する方法を示す図である、図7は、正八角形筒を上から見ている図であり、仮想世界を2次元で現している。これを用いて画像描画処理のフローチャートを説明する。
ステップS11において、パノラマ画像作成部111は、正八角形の辺の両頂点と視点01とからなる三角形に含まれる静的オブジェクトの集合Oを特定する。パノラマ画像作成処理は、視点01に近いパノラマ画像から作成されるため、図7においては正八角形10´、正八角形11´の順にパノラマ画像が作成される。ステップS11の処理を、図7を用いて具体的に説明すると、パノラマ画像作成部111は、頂点10´aおよび10´bからなる辺と視点01からなる三角形(以下、三角形1という)に含まれる建物04を集合Oとして特定する。三角形1には、他に静的オブジェクトが含まれないため、集合Oには建物04のみが含まれる。
次に、ステップS12において、パノラマ画像作成部111は、対象とするパノラマ画像に集合Oを特定していない三角形があるか否かを判断する。図7において、まだ集合Oを特定していない三角形があるので、続いて、頂点10´bと10´cとからなる辺と視点01からなる三角形(以下、三角形2という)に含まれる静的オブジェクトを集合Oに特定する。三角形2に含まれる静的オブジェクトはないため、集合Oに静的オブジェクトは追加されない。このように、正八角形10´を構成する三角形全てについて、それぞれに含まれる静的オブジェクトを集合Oとして特定し、集合Oには、建物04のみが含まれる。
次に、パノラマ画像作成部111は、対象とするパノラマ画像より、半径の小さい正八角形に描画されている静的オブジェクトを集合Oより除く(ステップS13)。正八角形10´においては、正八角形10´よりも半径の小さい正八角形がないので、この処理は行われない。そして、パノラマ画像作成部111は、集合Oに含まれる静的オブジェクトのそれぞれについて、辺に対して視点01を中心とした斜視投影図を描画する。(ステップS14)。具体的には、パノラマ画像作成部111は、視点01から集合Oに含まれる建物04への視線を延長し、延長した視線と頂点10´aおよび頂点10´bからなる辺との交点に建物04の投影図であるパノラマ建物34を描画する。
次に、パノラマ画像作成部111は、半径の大きい正八面体があるかの判断が行われ(ステップS15)、ある場合にはステップS11からステップS15の処理が繰り返される。次に、正八角形11´における画像作成処理について説明する。ステップS11およびステップS12において、パノラマ画像作成部111は、正八角形10´の場合と同様に集合Oを作成し、集合Oには建物04、建物05、建物06が特定される。ステップS13において、パノラマ画像作成部111は、正八角形11´より小さい半径の小さい正八角形10´の側面であるパノラマ画像に描画されているオブジェクト、建物04を集合Oより除く。その結果、ステップS14において、集合Oに含まれる建物05および建物06が、パノラマ建物35、パノラマ建物36として描画される。図7において、正八角形11´より大きい正八角形はないため画像作成処理は終了する。
このようにして作成されたパノラマ画像を図8に示す。図8は、作成されたパノラマ画像を示す図である。正八角形10´の側面であるパノラマ画像20には、建物04のレンダリング結果であるパノラマ建物34が描画されている。また、正八角形11´から作成されたパノラマ画像21には、パノラマ建物35、パノラマ建物36が描画されている。
図3に戻って、ステップS1にてパノラマ画像が作成されると、解像度変換部112は、ステップS1にて作成されたパノラマ画像の解像度を送信先の携帯電話機200の表示画像に合った解像度に変換する(ステップS2)。図1に示したように、クライアント端末はコンピュータでも携帯電話機等の低性能デバイスでもよい。そのため、クライアント端末の種類によりディスプレイの解像度は異なり、クライアント端末の解像度にあったパノラマ画像を送る必要が生じる。
なぜならば、コンピュータ用の解像度に合わせたパノラマ画像を携帯電話機200のような低性能デバイスに送信すると、携帯電話機200のような低性能デバイスは処理することが困難であるからである。また、携帯電話機200のような低性能デバイスの解像度に合わせたパノラマ画像をコンピュータに送信すると、コンピュータのディスプレイに表示される画像や文字に「ジャギ」と呼ばれるギザギザが現れ、ユーザにとって見にくい画像となってしまうからである。
パノラマ画像制御部110は、通信部101を介して携帯電話機200にパノラマ画像と動的オブジェクトの情報を送信する(ステップS3)。動的オブジェクトは、例えば、アバタである。ただし、ステップS3にて送信される動的オブジェクトの情報は他アバタ03の情報であり、自アバタ02の情報は含まれない。自アバタ02の情報は、携帯電話機200に有しているため、画像描画サーバ装置100から送信される必要はないからである。
動的オブジェクト情報を取得する範囲は、最外傍のパノラマ画像の内側であればよい。自アバタの近くの動的オブジェクトしか表示しないとしてもよいし。視点から見える範囲すべての動的オブジェクトを表示するとしてもよいからである。ステップS3において、通信部101が携帯電話機200へ送信したパノラマ画像は、合成レンダリング部202によりパノラマ画像記憶部220に記憶される(ステップS4)。パノラマ画像記憶部220に記憶されたパノラマ画像は、自アバタ02が移動すると呼び出され、レンダリング処理に用いられる。
次に、パノラマ画像と動的オブジェクト情報から、仮想世界画像を作成し(ステップS5)出力画像を仮想世界画像にて出力する(ステップS6)。まず、携帯電話機200にて行われるパノラマ画像と動的オブジェクト情報から、仮想世界画像を作成するレンダリング処理について説明する。図9は、合成レンダリング部202が行うレンダリング処理のフローチャートである。携帯電話機200は、画像描画サーバ装置100からパノラマ画像と他アバタ03の情報を受信する、または、携帯電話機200のユーザにより自アバタ02が移動される、とレンダリング処理が開始する。
視点01を中心とし視点01から近い順にN個のパノラマ画像が作成され、1番からN番まで番号が付けられているとする。まず、合成レンダリング部202は、視点01から一番遠いN番のパノラマ画像を表示する(ステップS21)。次に、合成レンダリング部202は、N−1番、N−2番、として徐々に視点01に近いパノラマ画像を表示する(ステップS22)。N−1番のパノラマ画像はN番のパノラマ画像の上に重ねられる。以降もパノラマ画像も同様に視点01に近い画像を上に重ねて表示する。
最後に、合成レンダリング部202は視点01から一番近い1番のパノラマ画像を表示する(ステップS23)。全てのパノラマ画像が表示され、背景画像作成されると、背景画像と携帯電話機200に保持されている自アバタ02および画像描画サーバ装置100から受信した動的オブジェクトである他アバタ03との表示が行われる(ステップS24)。自アバタ02および動的オブジェクトである他アバタ03の表示が終了すると、ディスプレイに表示する画像が完成し、完成した画像は出力部204に送られる。
ここで、ステップS24における、ステップS23にて作成された背景画像と自アバタ02および動的オブジェクトである他アバタ03との表示処理について詳細に説明する。図10は、背景画像に自アバタ02および動的オブジェクトである他アバタ03を表示する処理のフローチャートである。まず、合成レンダリング部202は、視点01からの自アバタ02のいる方向を特定する(ステップS31)。背景画像は360度景色の画像であるので、全画像を携帯電話機200のディスプレイに表示することはできない。そのため、視点01からの自アバタ02のいる方向を特定し、特定された方向の一部分の画像のみを携帯電話機200のディスプレイの表示対象とするためである。
続いて、合成レンダリング部202は、背景画像を特定した方向が中心となるように変換する(ステップS32)。視点01から一番近いパノラマ画像は奥行き方向の位置を表すZ値を有し、合成レンダリング部202は、視点01に一番近い1番のパノラマ画像のうち、自アバタ02と視点01との距離よりもZ値が大きい部分を表示する(ステップS33)。Z値については、後述する。
また、視点01から一番近いパノラマ画像は、アクション情報を有する。アクション情報とは、上述したように、例えば、ドアの開閉機能に関する情報である。具体例として、視点01から一番近いパノラマ画像の建物のドア部分に、「ドアが外開きに開く」というアクション情報を付加した場合について説明する。自アバタ02がそのドアに手をかけると、「ドアをあけますか?」というメッセージと共に「はい いいえ」というボタンが表示され、「はい」を選択すると、ドアが外開きに開く。このように、パノラマ画像がアクション情報を有することにより、パノラマ画像に動きを持たせることができる。また、静的オブジェクトの動きを表現するために画像描画サーバ装置100と通信を行う必要がなく、携帯電話機200においてもスムーズな静的オブジェクトの動きを表現することができる。
更に、合成レンダリング部202は、自アバタ02の大きさおよび動的オブジェクトである他アバタ03の大きさを、自アバタ02および動的オブジェクトである他アバタ03のそれぞれの視点との距離分だけ縮小した画像を表示する(ステップS34)。最後に、1番のパノラマ画像のうち、自アバタ02と視点01との距離よりもZ値が小さい部分を表示する(ステップS35)。自アバタ02と動的オブジェクトである他アバタ03の大きさを、自アバタ02および動的オブジェクトである他アバタ03それぞれと視点01と距離に応じて縮小することにより、仮想世界を表現することができる。
次に、自アバタ02が移動した場合の画像作成処理について説明する。図11は、図4に示すアバタ02の位置からの自アバタ02が移動した図を示す。図12は、携帯電話機200のディスプレイに仮想世界内のさまざまな位置にいる自アバタ02の表示した図を示す。図12(a)は、図4に示す仮想世界を自アバタ02のユーザの携帯電話機ディスプレイに表示した図である。自アバタ02が図4に示す位置から図11に示す位置に移動すると、携帯電話機200のディスプレイには図12(b)のように表示される。自アバタ02の移動に伴って、図12の(a)から(b)へ携帯電話機200のディスプレイの表示は変化する。図12(a)、(b)に示すように、携帯電話機200のディスプレイの表示は変化しているが、使用されている背景画像は同じである。このように、同じ背景画像であっても、自アバタ02の縮尺を変えること、および全背景画像のうちディスプレイに表示する部分を変化させることで、自アバタ02の移動を表現することができる。なお、他アバタ03が移動した場合には、携帯電話機200は、画像描画サーバ装置100から他アバタ03の移動に関する情報を適宜受信する。携帯電話機200が受信した他アバタ03の移動に関する情報に基づいて、合成レンダリング部202は、他アバタ03の描画を行う。
上述したように、自アバタ02の移動を移動前と同じ背景画像を用いて、自アバタ02の縮尺とディスプレイ表示部分とを変化させることで表現することができるのは、自アバタ02の移動が背景画像を作成している、視点01と視点01に一番近いパノラマ画像との距離内を自アバタ02が移動するときである。視点01と視点01に一番近いパノラマ画像との距離を越えて自アバタ02が移動をすると、視点01に一番近いパノラマ画像は自アバタ02から見えなくなるため、新たな背景画像を作成する必要があるからである。
視点01と視点01に一番近いパノラマ画像との距離内を自アバタ02が移動するときには、移動前の背景画像を使用することができるため、新たなパノラマ画像を画像描画サーバ装置100が作成、送信する必要がない。よって、画像描画サーバ装置100の負荷および通信料を減らすことができる。また、携帯電話機200にて、新たな背景画像を作成する必要がないために、携帯電話機200の負荷をも軽減することができる。
図12(c)は、建物に隠れる自アバタ02を表示した携帯電話機200のディスプレイを示した図である。背景画像が作成される際に一番上に重ねられる視点01から一番近いパノラマ画像の自アバタ02が移動を行う際に障害物となる建物等には、奥行き方向の位置を表すZ値が設定されている。建物等にZ値を設定することで、自アバタ02が移動することができない領域を表現することができる。また、自アバタ02および他アバタ03等の動的オブジェクトが建物の後ろに移動した際に、自アバタ02を建物等より更にZ値分視点01から離れているとみなし、自アバタ02の縮尺がそれに伴い変化することにより遠近感を出すことができる。図12(c)において、パノラマ建物34にZ値を設定することにより、自アバタ02はパノラマ建物34の後ろにいることを表現することができる。以上より、Z値を有することにより、パノラマ画像を用いて作成された背景画像に遠近感を出し、3次元仮想世界を表現することができる。
図13は、視点01の近傍に自アバタ02がいた際に作成されたパノラマ画像10の半径を自アバタ02が越えた時を示す上面図である。パノラマ画像10の半径を自アバタ02が越えた場合、携帯電話機200は、画像描画サーバ装置100に新しいパノラマ画像を要求する。画像描画サーバ装置100は、現在の自アバタ02の至近位置に新たな視点01´を作成し、それを中心としたパノラマ画像を作成する。図14は、新たに作成されるパノラマ画像の円筒を示す上面図である。新たな視点01´を中心としてパノラマ画像12,13が作成される。パノラマ画像12,13が作成されると、元の視点01のパノラマ画像10,11は使用されなくなる。
図15は、自アバタ02が移動した際に、自アバタ02に1番近いパノラマ画像以外がそのまま使用されることを示す上面図である。図15(a)は、自アバタ02が移動したことにより、新たな視点01´が元の視点のパノラマ画像14の外側に作成されることを示す図である。図15(b)は新たな視点01´を中心にしたパノラマ画像17が作成された図である。図15(b)においては、新たな視点01´を中心とした視点01´に一番近いパノラマ画像17は作成されるが、新たに作成されたパノラマ画像と交差しない、視点01´に移動する前に使用されていたパノラマ画像15,16はそのまま使用することができる。ただし、新たに作成されたパノラマ画像の1つ外側のパノラマ画像15を新たな視点01との距離に応じて拡大、縮小する等の補正が必要である。視点01から視点01´へと変更されたことにより、新たに作成されたパノラマ画像の1つ外側のパノラマ画像15は視点との距離が大きく変化しているからである。
自アバタ02が移動した際に、図14に示すように、パノラマ画像を全て作成しなおしてもよいが、図15に示すように、パノラマ画像記憶部220に記憶されているパノラマ画像を再利用することにより、画像描画サーバ装置100は必要最低限のパノラマ画像のみを作成し、携帯電話機200に送信すればよい。それにより、画像描画サーバ装置100および携帯電話機200の処理負荷を軽減することができ、画像描画サーバ装置100からの通信量を削減することができる。携帯電話機200へ送信される通信量が削減され、携帯電話機200の処理負荷が軽減されることにより、携帯電話機200のような低性能デバイスに3次元仮想世界を提供することができる。また、新しく作成されたパノラマ画像について、パノラマ画像記憶部220に記憶されているパノラマ画像との差分のみを送信することにより更に通信量を小さくすることができる。
図14および図15において、自アバタ02がパノラマ画像の半径を越えて場合に、新たな視点01´を設け、新たなパノラマ画像を作成すると述べた。しかし、半径を越えてから新たな画像を作成するのでは、迅速な描画が行えないこともある。その場合には、半径が越えそうになった時点で、新たな視点01´を設け、その視点01´に基づいて画像描画サーバ装置100にてパノラマ画像を作成し、予め携帯電話機200へ送信しておくとよい。このようにすることで、自アバタ02がパノラマ画像の半径を越えたときに、携帯電話機200のパノラマ画像記憶部220が記憶しているパノラマ画像を描画するだけでよくなり、迅速な画面切り替えを行うことができる。
更に、予め任意のいくつかの視点01についてのパノラマ画像を作成し、画像描画サーバ装置100に保持しておくことで、パノラマ画像の同じ半径内にいる自アバタ02のユーザに対して繰り返し利用することができる。これにより、同じ画像を何度も作成することがなくなり、画像描画サーバの負荷を減らすことができる。また、予め作成しておくパノラマ画像は高解像度のものとし、さまざまな携帯電話機200に解像度を低く変換することで提供できるようにする。低解像度であると、高解像度には変換できないからである。
図16は、図1で説明した画像描画サーバ装置100の典型的なハードウェア構成例として情報処理装置400を示した図である。以下、この情報処理装置400のハードウェア構成の一例を示す。情報処理装置400は、CPU(Central Processing Unit)1010、バスライン1005、通信I/F1040、メインメモリ1050、BIOS(Basic Input Output System)1060、パラレルポート1080、USBポート1090、グラフィック・コントローラ1020、VRAM1024、音声プロセッサ1030、I/Oコントローラ1070、ならびにキーボードおよびマウス・アダプタ等1100の入力手段を備える。I/Oコントローラ1070には、フレキシブル・ディスク(FD)ドライブ1072、ハード・ディスク1074、光ディスクドライブ1076、半導体メモリ1078等の記憶手段を接続することができる。
音声プロセッサ1030には、増幅回路1032、およびスピーカ1034が接続される。また、グラフィック・コントローラ1020には、表示装置1022が接続されている。
BIOS1060は、情報処理装置400の起動時にCPU1010が実行するブートプログラムや、情報処理装置400のハードウェアに依存するプログラム等を格納する。FD(フレキシブル・ディスク)ドライブ1072は、フレキシブル・ディスク1071からプログラムまたはデータを読み取り、I/Oコントローラ1070を介してメインメモリ1050またはハード・ディスク1074に提供する。
光ディスクドライブ1076としては、例えば、DVD−ROMドライブ、CD−ROMドライブ、DVD−RAMドライブ、CD−RAMドライブを使用することができる。この際は各ドライブに対応した光ディスク1077を使用する必要がある。光ディスクドライブ1076は光ディスク1077からプログラムまたはデータを読み取り、I/Oコントローラ1070を介してメインメモリ1050またはハード・ディスク1074に提供することもできる。
情報処理装置400に提供されるコンピュータ・プログラムは、フレキシブル・ディスク1071、光ディスク1077、またはメモリカード等の記録媒体に格納されて利用者によって提供される。このコンピュータ・プログラムは、I/Oコントローラ1070を介して、記録媒体から読み出され、または通信I/F1040を介してダウンロードされることによって、情報処理装置400にインストールされ実行される。コンピュータ・プログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。
前述のコンピュータ・プログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはフレキシブル・ディスク1071、光ディスク1077、またはメモリカードの他に、MD等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハード・ディスクまたは光ディスク・ライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータ・プログラムを情報処理装置400に提供してもよい。
以上の例は、情報処理装置400について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。従って、本発明において1つの実施形態として説明した情報処理装置は、方法およびそのコンピュータ・プログラムによっても実現可能である。
本発明の装置は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせとして実現可能である。ハードウェアとソフトウェアの組み合わせによる実施では、所定のプログラムを有するコンピュータ・システムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、または表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、または(1)他の言語、コード、もしくは表記への変換、(2)他の媒体への複製、のいずれか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、MO、CD−ROM、DVD、ハード・ディスク装置、ROM、MRAM、RAM等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一または複数の記録媒体に格納することもできる。
図17は、図1で説明した携帯電話機200の典型的なハードウェア構成例として携帯電話装置500を示した図である。以下、この携帯電話装置500のハードウェア構成の一例を示す。携帯電話装置500は、CPU2010、メインメモリ2020、キーパット2030、通信処理部2040、外部メモリI/F2050、音響処理部2060、画像処理部2070を備える。その他、カメラ機能部、TV放送受信部、RFID(RadioFrequency Identification)機能部等を備えることもできる。
CPU2010は、メインメモリ2020に記憶されるプログラムを実行するための処理ユニットであり、携帯電話装置500の各機能部を制御する処理を行うと共に、各機能部を実現する。メインメモリ2020は、RAM(Random Access Memory)等で構成され、携帯電話装置500の各機能部を実施するためのプログラムやデータを記憶している。また、CPU2010のワークメモリとしても動作する。
キーパット2030は、数字キーや十字キー、特殊キー等で構成され、形態は任意であり、タッチパネル等としてもよい。また、キーパット2030は、このユーザからの入力操作を受け付け、入力されたデータをCPU2010に出力する。前記データには、例えば、メールの内容を示すデータ等種々のものが含まれる。
通信処理部2040には、基地局装置(図示せず)との間で無線通信と通信を行うメインアンテナ2041が接続されている。通信処理部2040は、基地局装置から受信した通信データに対し復調処理等の信号処理を行いCPU2010に出力すると共に、CPU2010から入力される通信データに対し変調処理行いを基地局装置に対して送信する。また、通信処理部2040は、電波による通信を行ってもよい。そうすることで、携帯電話装置500を読み取り端末にかざすだけで、読み取り端末との通信を行うことができる。
外部メモリI/F2050には、例えばSDメモリカードI/FやminiSDカードI/Fがあり、SDメモリカードやminiSDカード等の外部メモリ2051からプログラムまたはデータを読み取り、メインメモリ2020に提供することもできる。
音響処理部2060には、音声出力部2061、音声入力部2062、ならびに着信音等が出力されるスピーカ2063が接続されている。画像処理部2070には、ディスプレイ2071が接続されている。ディスプレイ2071には、CPU2010から入力される着信通知やメール作成画面、電子マネーの支払い候補等のデータを表示出力する。
以上、本発明を実施形態に則して説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態または実施例に記載されたものに限定されるものではない。
本発明を適用した画像描画システムの一実施態様の構成を示す図である。 一実施形態における画像描画システムの携帯電話機と画像描画サーバの基本システム構成を示す図である。 画像描画処理のフローチャートである。 仮想世界の一例を示す図である。 仮想世界に視点を中心とする半径を変えた2つの仮想円筒を作成した図である。 パノラマ画像作成処理のフローチャートである。 仮想正八角形筒からパノラマ画像の作成する方法の上面図である。 作成されたパノラマ画像を示す図である。 合成レンダリング部が行うレンダリング処理のフローチャートである。 背景画像に自アバタおよび動的オブジェクトを表示する処理のフローチャートである。 図4に示す位置からの自アバタが移動した後の仮想世界を示す図である。 携帯電話機のディスプレイに仮想世界内のさまざまな位置にいる自アバタ02の表示した図を示す。 視点の近傍に自アバタがいた際に作成されたパノラマ画像の半径を自アバタが越えた時を示す図である。 新たに作成されるパノラマ画像の円筒を示す上面図である。 アバタが移動した際に、自アバタに一番近いパノラマ画像以外がそのまま使用されることを示す図である。 図1で説明した画像描画サーバ装置の典型的なハードウェア構成例として情報処理装置を示す図である。 図1で説明した携帯電話機の典型的なハードウェア構成例として携帯電話装置を示す図である。
符号の説明
100 画像描画サーバ装置
101 通信部
110 パノラマ画像制御部
111 パノラマ画像作成部
112 解像度変換部
200 携帯電話機
201 通信部
202 合成レンダリング部
203 入力部
204 出力部
220 パノラマ画像作成部

Claims (16)

  1. ネットワークを介してクライアント端末と接続され、3次元仮想世界を構築する画像描画サーバ装置であって、
    前記クライアント端末のユーザの仮想世界における分身であるアバタの位置を前記クライアント端末から取得する受信部と、
    前記アバタの近傍に視点を設け、前記視点を中心とした略水平の複数の同心多角形または同心円を断面とする立体を作成する立体作成部と、
    前記立体の境界によって分割された複数の領域内に存在する前記3次元仮想世界内の静的オブジェクトを、前記領域毎に前記領域の外側面に前記視点を中心として透視投影し、複数の2次元パノラマ画像を作成するパノラマ画像作成部と、
    前記2次元パノラマ画像と前記立体作成部にて作成されたいずれか1つの外傍立体の領域内に存在する動的オブジェクトの情報とを前記クライアント端末に送信する送信部とを備え、
    前記パノラマ画像作成部は、前記視点から最近傍の立体の領域にある前記静的オブジェクトが投影された前記2次元パノラマ画像に、前記静的オブジェクト各々の奥行き方向の位置を表すZ値を付加して、前記Z値を用いて前記2次元パノラマ画像に動的オブジェクトが入ることのできない領域に関するデータを付加する画像描画サーバ装置。
  2. 更に、前記2次元パノラマ画像の解像度を変換する解像度変換部を備える請求項1に記載の画像描画サーバ装置。
  3. 前記パノラマ画像作成部は、前記静的オブジェクトが有するアクション情報を前記2次元パノラマ画像に付加する請求項1に記載の画像描画サーバ装置。
  4. 前記立体は、前記視点を地表上に設けた場合の前記断面を底面とする柱体である請求項1に記載の画像描画サーバ装置。
  5. 前記立体は、前記視点を地表上に設けた場合の前記断面を底面とする半多面体または半球である請求項1に記載の画像描画サーバ装置。
  6. 前記立体作成部は、前記アバタが前記視点の最近傍立体の側面に近づいた際に、前記クライアント端末からの要求に応じて、前記アバタから近傍の位置を新たな前記視点とする新たな前記最近傍立体を作成し、
    前記パノラマ画像作成部は、前記新たに作成された最近傍立体および前記視点から2番目に近い既に作成されている第2近傍立体のそれぞれに対応する新たな2次元パノラマ画像を作成する請求項1に記載の画像描画サーバ装置。
  7. 前記送信部は、動的オブジェクトを逐次送信する請求項1に記載の画像描画サーバ装置。
  8. ネットワークを介して接続されたクライアント端末とサーバ装置とが、構築する3次元仮想世界における画像描画システムであって、
    前記クライアント端末のユーザの前記3次元仮想世界における分身であるアバタの近傍に視点を設け、前記視点を中心とした略水平の複数の同心多角形または同心円を断面とする立体を作成する立体作成部と、
    前記立体の境界によって分割された複数の領域内に存在する前記3次元仮想世界内の静的オブジェクトを、前記領域毎に前記領域の外側面に前記視点を中心として透視投影し、複数の2次元パノラマ画像を作成するパノラマ画像作成部と、
    前記2次元パノラマ画像、前記立体作成部にて作成されたいずれか1つの外傍立体の領域内に存在する動的オブジェクトの情報、および前記アバタの画像を重ね合わせる描画部と、
    前記2次元パノラマ画像を記憶するパノラマ画像記憶部とを備え、
    前記パノラマ画像作成部は、前記視点から最近傍の立体の領域にある前記静的オブジェクトが投影された前記2次元パノラマ画像に、前記静的オブジェクト各々の奥行き方向の位置を表すZ値を付加して、前記Z値を用いて前記2次元パノラマ画像に動的オブジェクトが入ることのできない領域に関するデータを付加する画像描画システム。
  9. 更に、前記2次元パノラマ画像の解像度を変換する解像度変換部を備える請求項に記載の画像描画システム。
  10. 前記パノラマ画像作成部は、前記アバタが移動した際に、前記アバタの画像を前記視点からの距離に基づいて拡大縮小する請求項に記載の画像描画システム。
  11. 前記立体作成部は、前記アバタが前記視点の最近傍立体の側面に近づいた際に、前記クライアント端末からの要求に応じて、前記アバタから近傍の位置を新たな視点とする新たな前記最近傍立体を作成し、
    前記パノラマ画像作成部は、前記新たに作成された最近傍立体および前記新たな視点から2番目に近い既に作成されている第2近傍立体それぞれに対応する新たな2次元パノラマ画像を作成し、
    前記描画部は、前記最近傍立体および前記第2近傍立体それぞれに対応する既に作成された2次元パノラマ画像を、前記新たに作成された2次元パノラマ画像にて描画し直す請求項に記載の画像描画システム。
  12. ネットワークを介して接続されたクライアント端末とサーバ装置とが、構築する3次元仮想世界における画像描画のための方法であって、
    前記クライアント端末のユーザの仮想世界における分身であるアバタの近傍に視点を設け、前記視点を中心とした略水平の複数の同心多角形または同心円を断面とする立体を作成する立体作成ステップと、
    前記立体の境界によって分割された複数の領域内に存在する前記3次元仮想世界内の静的オブジェクトを、前記領域毎に前記領域の外側面に前記視点を中心として透視投影し、複数の2次元パノラマ画像を作成するパノラマ画像作成ステップと、
    前記2次元パノラマ画像、前記立体作成ステップにて作成されたいずれか1つの外傍立体の領域内に存在する動的オブジェクトの情報、および前記アバタの画像を重ね合わせる描画ステップと、
    前記2次元パノラマ画像を記憶するパノラマ画像記憶ステップとを含み、
    前記視点から最近傍の立体から作成される前記2次元パノラマ画像は、静的オブジェクト各々の奥行き方向の位置を表すZ値を有し、前記Z値を用いて動的オブジェクトが入ることのできない領域に関するデータを有する画像描画のための方法。
  13. 前記視点から最近傍の立体から作成される前記2次元パノラマ画像は、前記静的オブジェクトが有するアクション情報を有する請求項12に記載の画像描画のための方法。
  14. 前記アバタが移動した際に、前記アバタの画像が、前記視点からの距離に基づいて拡大縮小されるステップを含む請求項12に記載の画像描画のための方法。
  15. 前記アバタが前記視点の最近傍立体の側面に近づいた際に、前記クライアント端末からの要求に応じて、前記アバタから近傍の位置を新たな視点とする新たな前記最近傍立体を作成するステップと、
    前記新たに作成された最近傍立体および前記視点から2番目に近い既に作成されている第2近傍立体それぞれに対応する新たな2次元パノラマ画像を作成するステップと、
    前記最近傍立体および前記第2近傍立体それぞれに対応する既に作成された2次元パノラマ画像を、前記新たに作成された2次元パノラマ画像にて描画し直すステップと、
    を含む請求項12に記載の画像描画のための方法。
  16. 請求項12乃至15までのいずれか一項に記載の方法の各ステップをコンピュータに実行させるためのコンピュータ・プログラム。
JP2008073506A 2008-03-21 2008-03-21 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム Expired - Fee Related JP5039922B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008073506A JP5039922B2 (ja) 2008-03-21 2008-03-21 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム
US12/407,085 US8411091B2 (en) 2008-03-21 2009-03-19 Image drawing system, image drawing server, image drawing method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008073506A JP5039922B2 (ja) 2008-03-21 2008-03-21 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2009230344A JP2009230344A (ja) 2009-10-08
JP5039922B2 true JP5039922B2 (ja) 2012-10-03

Family

ID=41088421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008073506A Expired - Fee Related JP5039922B2 (ja) 2008-03-21 2008-03-21 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US8411091B2 (ja)
JP (1) JP5039922B2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990394B2 (en) * 2007-05-25 2011-08-02 Google Inc. Viewing and navigating within panoramic images, and applications thereof
US8619071B2 (en) * 2008-09-16 2013-12-31 Microsoft Corporation Image view synthesis using a three-dimensional reference model
US8271888B2 (en) * 2009-01-23 2012-09-18 International Business Machines Corporation Three-dimensional virtual world accessible for the blind
US9477368B1 (en) 2009-03-31 2016-10-25 Google Inc. System and method of indicating the distance or the surface of an image of a geographical object
JP5008703B2 (ja) * 2009-08-18 2012-08-22 株式会社ソニー・コンピュータエンタテインメント コンテンツ作成支援装置、画像処理装置、コンテンツ作成支援方法、画像処理方法、および画像表示コンテンツのデータ構造
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US9635251B2 (en) 2010-05-21 2017-04-25 Qualcomm Incorporated Visual tracking using panoramas on mobile devices
US8933986B2 (en) 2010-05-28 2015-01-13 Qualcomm Incorporated North centered orientation tracking in uninformed environments
GB2481790A (en) * 2010-07-02 2012-01-11 Txt Tv Fz Llc Displaying a simulated environment on a mobile device
CN102915232B (zh) * 2011-08-01 2016-08-10 华为技术有限公司 一种3d控件的交互方法及通信终端
KR101818778B1 (ko) * 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3d 데이터 포맷 생성/소비 장치 및 방법
CN102902485A (zh) * 2012-10-25 2013-01-30 北京华达诺科技有限公司 360度全景多点触控展示平台构建方法
US20150130799A1 (en) 2013-11-12 2015-05-14 Fyusion, Inc. Analysis and manipulation of images and video for generation of surround views
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
US9813621B2 (en) * 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US10217283B2 (en) 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
KR20170079198A (ko) * 2015-12-30 2017-07-10 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10038894B1 (en) * 2017-01-17 2018-07-31 Facebook, Inc. Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality
CN107329566B (zh) * 2017-06-23 2020-03-24 联想(北京)有限公司 虚拟对象处理方法及其系统、虚拟现实设备
US11455974B2 (en) 2018-02-06 2022-09-27 Sony Corporation Image processing device, image processing method, and image provision system for the display of viewpoint images of a shared environment
JP7040080B2 (ja) * 2018-02-07 2022-03-23 凸版印刷株式会社 仮想空間画像提示システム、仮想空間画像提示方法及びプログラム
US11140380B2 (en) * 2018-06-06 2021-10-05 Lg Electronics Inc. Method and apparatus for processing overlay media in 360 degree video system
JP7249755B2 (ja) * 2018-10-26 2023-03-31 キヤノン株式会社 画像処理システムおよびその制御方法、プログラム
CN113096254B (zh) * 2021-04-23 2023-09-22 北京百度网讯科技有限公司 目标物渲染方法及装置、计算机设备和介质
WO2023002687A1 (ja) * 2021-07-19 2023-01-26 ソニーグループ株式会社 情報処理装置及び情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1021215A (ja) 1996-06-28 1998-01-23 Ritsumeikan サイバースペースの作成方法及びその作成装置
IL132284A0 (en) 1999-10-08 2001-03-19 Menachem Reinschmidt System and method for content analysis and minimization
US6452598B1 (en) * 2000-01-18 2002-09-17 Sony Corporation System and method for authoring and testing three-dimensional (3-D) content based on broadcast triggers using a standard VRML authoring tool
JP2001283022A (ja) * 2000-03-29 2001-10-12 Digicube Co Ltd 3次元cgによりサイバースペース上に仮想店舗を構築する方法
JP2002140731A (ja) 2000-11-01 2002-05-17 Esuroku:Kk 画像処理装置および方法、画像処理システム、記録媒体
US6760026B2 (en) * 2001-01-02 2004-07-06 Microsoft Corporation Image-based virtual reality player with integrated 3D graphics objects
US6633317B2 (en) * 2001-01-02 2003-10-14 Microsoft Corporation Image-based walkthrough system and process employing spatial video streaming
JP4351084B2 (ja) * 2004-02-03 2009-10-28 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像通信システム、画像配信サーバ、画像通信方法、およびプログラム
JP4437677B2 (ja) * 2004-03-01 2010-03-24 三菱電機株式会社 景観表示装置
US20070011617A1 (en) * 2005-07-06 2007-01-11 Mitsunori Akagawa Three-dimensional graphical user interface

Also Published As

Publication number Publication date
US8411091B2 (en) 2013-04-02
JP2009230344A (ja) 2009-10-08
US20090237403A1 (en) 2009-09-24

Similar Documents

Publication Publication Date Title
JP5039922B2 (ja) 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム
JP6798019B2 (ja) パノラマ画像の表示制御方法、装置及び記憶媒体
US10310730B2 (en) Display device for controlling displaying of a window and method of controlling the same
US10893092B2 (en) Electronic device for sharing application and control method thereof
EP3822918A1 (en) Image rendering method and apparatus, and storage medium
JP6181917B2 (ja) 描画システム、描画サーバ、その制御方法、プログラム、及び記録媒体
US20150325211A1 (en) Display device and control method therefor
CN106325649B (zh) 3d动态显示的方法及移动终端
KR20110038980A (ko) 이동 단말기 및 그 제어방법
EP1780633A2 (en) Three-dimensional motion graphic user interface and apparatus and method for providing three-dimensional motion graphic user interface
CN103513951A (zh) 使用三维地图提供增强现实信息的设备和方法
CN107771310B (zh) 头戴式显示设备及其处理方法
WO2007102110A2 (en) Method of transferring data
US9558579B2 (en) Apparatus and method for synthesizing additional information while rendering object in 3D graphic-based terminal
CN102375718A (zh) 在无线显示表面上显示特定窗口
KR20160144197A (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
CN103298530B (zh) 信息处理装置
KR20140073381A (ko) 디스플레이 장치 및 그 제어 방법
KR20140120243A (ko) 사용자 인터페이스를 디스플레이하는 장치 및 사용자 인터페이스 제공 방법
US20210090330A1 (en) Virtual exhibition space providing method for efficient data management
CN111930233B (zh) 一种全景视频图像显示方法及显示设备
KR20160006965A (ko) 디스플레이 장치 및 이의 하이라이트 표시 방법
JP6975370B1 (ja) 画像表示方法、プログラム及びデータ生成方法
KR102261739B1 (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
KR101116733B1 (ko) 3차원 공간에서 틀린 그림 판별장치 및 방법 및 기록매체

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20120509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees