JP3641391B2 - 情報視覚化システム、空間映像生成装置、空間映像再生装置、情報視覚化方法 - Google Patents
情報視覚化システム、空間映像生成装置、空間映像再生装置、情報視覚化方法 Download PDFInfo
- Publication number
- JP3641391B2 JP3641391B2 JP17166299A JP17166299A JP3641391B2 JP 3641391 B2 JP3641391 B2 JP 3641391B2 JP 17166299 A JP17166299 A JP 17166299A JP 17166299 A JP17166299 A JP 17166299A JP 3641391 B2 JP3641391 B2 JP 3641391B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- partial
- video
- walk
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、計算機によって仮想的に生成した空間映像の所望の位置に各種情報を視覚的オブジェクトとして埋め込むことによって、利用者に情報提示を行ない、軽量な処理で３次元ウォークスルーすることのできる情報視覚化システム、空間映像生成装置、空間映像再生総理、情報視覚化方法に関する。
【０００２】
【従来の技術】
従来、情報処理学会研究報告96-IM-28-7の報告を始めとして、計算機を用いた情報視覚化システムにおいて、計算機によって生成した3次元コンピュータグラフィックス(3次元CG)映像の所望の位置に各種情報(コンテンツ)を視覚的オブジェクトとして埋め込むことによって、情報提示環境を構築する情報視覚化システムがある。
【０００３】
これらのシステムでは、前記情報提示環境において利用者が3次元空間映像における仮想的な視点を変更する操作や、前記情報提示環境において前記視覚的オブジェクトに対して選択あるいは移動などの操作を行なうことによって、視覚的オブジェクトを順次画面に表示し、そこに埋め込まれた情報を利用者が選択的に獲得することができる。
【０００４】
さらに、視覚化された情報の関連情報(例えば対象が図書であればその書誌情報や同じ著者の図書一覧など)を利用者に提示するシステムが多く実現されており、画面内で視覚的オブジェクトの一つを直接的なポインティングで選択することによって、それと関連した情報を追加表示する方式や、画面内のアイコンやメニュー選択によって関連情報を追加表示する方式などが広く一般的に用いられている。
【０００５】
これらのシステムにおいて、利用者が3次元空間映像における仮想視点を移動するインタフェースとしては、あたかも歩いている様な感覚で情報を検索することのできるウォークスルーインタフェースが直感性に優れたものとして広く用いられている。
【０００６】
特に、利用者がその都度自由に仮想視点の移動方向を決定し、システムがそれに応じた空間映像を逐一表示することのできる方式は、利用者が思い通りにウォークスルーして所望の検索を行うことが可能であり有効である。
【０００７】
しかし、これらのウォークスルー映像を生成するためには、多量な3次元CG演算を行う必要があり、例えば、利用者の操作に応じて実時間でウォークスルー映像を生成するには、3次元CG処理のための専用のハードウェアを必要とする。以上を第一の従来技術と呼ぶこととする。
【０００８】
これに対して、3次元CG専用のハードウェアを用いずに上記の情報視覚化を可能とする方式として、Apple社QuickTimeVR方式を始めとしたムービーファイルを用いる方式が広く知られている。この従来技術によれば、例えば利用者は、ウォークスルーする経路を予め想定した映像をムービーファイルとして生成しておき、実行時には、ムービーファイルを再生することで、利用者にウォークスルー映像を提示することが可能である。
【０００９】
ここで、ムービーファイルを生成する際には、上記の３次元CG処理と同様の多大な処理が必要であるが、一旦ムービーファイルを生成してしまえば、その後のムービーファイルの再生は比較的少ない処理量で実現することが可能である。さらに、この方式では、ムービーファイル中に複数経路の映像を埋め込み、利用者が選択的に再生することが可能である。すなわち、利用者は完全に自由ではないが、ある程度思い通りのウォークスルーを行うことができる。以上を第二の従来技術と呼ぶこととする。
【００１０】
また、これとは別に、ムービーファイルの各場面において表示された物体と、別途格納された関連情報との対応づけを管理するための、いわゆるハイパーリンク情報を生成し、ムービーファイルの所定の場面の所定の位置をマウスなどで選択した場合に、それと関連づけられた情報を呼出表示する技術としては、情報処理学会第49回全国大会論文集1W-7で提案された方式が知られている。
【００１１】
この技術を用いることで、利用者がムービーファイルを用いたウォークスルーをしながら空間映像中に表示された特定の物体を選択することによって、それと関連する情報を獲得することのできる、いわゆるハイパーリンクインタフェースを実現することが可能である。以上を第三の従来技術と呼ぶこととする。
【００１２】
【発明が解決しようとする課題】
しかし、これらの従来技術には、次のような問題があった。すなわち、上記QuickTimeVRを始めとする第二の従来技術によれば、第一の従来技術における３次元CG専用のハードウェアを用いずに、予め決められた複数経路上を選択的にウォークスルーしつつ、空間映像中に埋め込まれた各種情報を獲得することが可能であるが、これらのウォークスルー映像を作成するには各経路のムービーファイルを生成した上で、さらに手作業でそれらのムービーファイル間の関連付けを行う必要があった。
【００１３】
さらに、ムービーファイル間の関連付け情報や、複数のムービーファイルを最終的に一つのファイルに結合した形で生成するために、ウォークスルー経路の追加や一部の変更などの小規模な変更を行う場合にも、ムービーファイル全体を再生成する必要があり、しかもこの作業を前述の通り手作業により行わなければならない。このように、第二の従来技術による方式では、最初にムービーファイルを生成する際にも、ムービーファイルの関連付けを行う際にも、後になってウォークスルー経路の追加変更があった場合に、この追加変更を反映したウォークスルー映像を再生成する際にも、人手により多大な作業が必要となるという問題があった。
【００１４】
さらに、第三の従来技術によれば、ウォークスルー映像のムービーファイルの各場面において、そこに表示されているコンテンツとその関連情報の間のハイパーリンク情報のオーサリングを手動で行う必要があり、そのためハイパーリンク情報を生成する際に多大な作業を要することに加えて、ムービーファイル生成後に仮想空間の内容やハイパーリンク情報が更新された場合に、自動的にそれらの更新を反映した空間映像を利用者に提示することができないという第二の問題があった。
【００１５】
本発明は、上記の問題を解決するためになされたもので、その第一の目的は、利用者が３次元空間において複数経路を選択的にウォークスルーすることが可能な情報視覚化システムを、３次元ＣＧ専用のハードウェアを用いることなく実現し、なおかつ３次元空間情報やウォークスルー経路等が変更された場合に、それらを自動的にウォークスルー映像に反映することのできるシステムを提供することである。
【００１６】
本発明の第二の目的は、情報視覚化システムにおいて、ウォークスルー映像の各場面において、そこに表示されているコンテンツとその関連情報との間のハイパーリンク情報を自動的に生成することである。
【００１７】
【課題を解決するための手段】
本発明による空間映像生成装置は、３次元空間情報を用いて３次元ＣＧウォークスルー映像を生成し、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換し、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割して、部分経路ウォークスルームービーを生成する部分映像生成手段と、前記部分経路ウォークスルームービーに関する情報を前記部分映像生成手段から受け取り、当該受け取った情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐に関する分岐情報を生成する分岐情報生成手段とを備え、空間映像再生装置に対して、利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示させることを特徴とする。
また、本発明は、上述の空間映像生成装置において、前記部分経路ウォークスルームービーに関する情報を前記部分映像生成手段から受け取り、当該受け取った情報と表示するオブジェクトに関する情報を示す視覚化オブジェクト情報とを用いて、前記部分経路ウォークスルー映像と前記オブジェクトとの表示関係を示すハイパーリンク情報を生成するハイパーリンク情報生成手段を備え、ハイパーリンク処理手段に対して、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示する際に、前記ハイパーリンク情報を用いて前記オブジェクトを表示させることを特徴とする。
また、本発明による空間映像再生装置は、空間映像生成装置に対して、３次元空間情報を用いて３次元ＣＧウォークスルー映像を生成させ、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換させ、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割することにより部分経路ウォークスルームービーを生成させ、当該生成させた部分経路ウォークスルームービーに関する情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐に関する分岐情報を生成させ、利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示することを特徴とする。
【００１８】
また、本発明による情報視覚化システムは、３次元空間情報および分岐情報を含むウォークスルー経路情報を基に、ウォークスルー経路に沿った３次元ＣＧ映像を生成し、この３次元ＣＧ映像をムービー形式のウォークスルームービー映像に変換し、さらにこのウォークスルームービー映像をウォークスルー経路の分岐点で分割し、ムービー形式の複数の部分映像を生成する部分映像生成手段と、この部分映像生成手段によって生成された各部分映像の間の分岐接続（ウォークスルー経路上での位置関係）に関する分岐情報を生成する分岐情報生成手段と、この分岐情報生成手段によって生成された分岐情報を一旦格納する分岐情報格納手段と、前記部分映像生成手段によって生成された部分映像を一旦格納し、後述する部分映像連結再生手段によって送出される部分映像選択指示に応じた特定の部分映像を送出する部分映像格納手段と、この部分映像格納手段に格納された部分映像を、利用者の経路選択操作に応じて切り換えるための部分映像切換指示を送出する部分映像選択手段と、この部分映像選択手段が送出する部分映像切換指示に応じて前記部分映像選択指示を送出すると同時に、前記特定の部分映像を連結再生する部分映像連結再生手段とを有する。
上記構成は、３次元空間情報およびウォークスルー経路の情報から自動的に生成されるムービー形式の部分映像を用いて、利用者が選択的にウォークスルーできることを特徴とする。また、３次元空間情報やウォークスルー経路が変更された場合にも、この変更を自動的に反映することが可能な点を特徴とする。
【００１９】
さらに、ウォークスルームービーを部分映像に分割して用いているため、３次元空間情報やウォークスルー経路が変更された場合には、すべての部分映像ではなく、その変更に関連する部分映像のみを再生成すればよい点も特徴である。
【００２０】
なお、上記の分岐情報生成手段における３次元ＣＧ処理は、利用者の操作とは関係なく事前に行う処理であるため、実時間で処理する必要はない。そのため、本発明においては、３次元ＣＧ処理のための専用ハードウェアを用いることなく、本発明を効果的に実施することが可能である。
【００２１】
すなわち、３次元ＣＧ専用のハードウェアを用いずにウォークスルーを実現し、なおかつ、ウォークスルー映像生成時や映像更新時の作業量を、前記第二の従来技術と比較して格段に少なくすることが可能である。
【００２２】
本発明による情報視覚化システムは、前記第二の問題を解決するための手段として、上記第一の問題を解決するための手段に加えて、３次元空間において視覚化されるコンテンツ（視覚化オブジェクト）についての３次元形状情報、３次元位置情報および前記コンテンツ（視覚化オブジェクト）の関連情報へのリンク情報を基に、それぞれの部分映像において前記コンテンツ（視覚化オブジェクト）がどの場面のどの位置に表示されており、さらに利用者がそのコンテンツ映像（視覚化オブジェクト）を選択した際に、利用者に提示すべき関連情報が何であるかを示すハイパーリンク情報を生成するハイパーリンク情報生成手段をさらに有する。
【００２３】
上記構成は、ムービー形式の部分映像を用いて、利用者が選択的にウォークスルーをしながら、画面に表示された視覚化オブジェクトを選択することによって、選択された視覚化オブジェクトに関連するコンテンツ(関連情報)を利用者に提示することができるというハイパーリンク機能を、利用者に提供することが可能であり、さらに、前記ハイパーリンク機能のためのハイパーリンク情報を、３次元空間情報、ウォークスルー経路情報および視覚化オブジェクト情報から自動的に生成できることを特徴とする。
【００２４】
従って、ハイパーリンク情報の生成に必要な作業量を、前記第三の従来技術と比較して格段に少なくすることが可能である。さらに、ムービーファイル生成後に仮想空間の内容やハイパーリンク情報が更新された場合にも、自動的にそれらの更新を反映した空間映像を利用者に提示することが可能である。
また、本発明は、３次元空間情報を用いて３次元ＣＧウォークスルー映像を生成し、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換し、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割して、部分経路ウォークスルームービーを生成する部分映像生成処理と、前記生成された部分経路ウォークスルームービーに関する情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐に関する分岐情報を生成する分岐情報生成処理と、利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示することを特徴とする。
【００２５】
【発明の実施の形態】
図１は本発明によるところの情報視覚化システムを説明するための構成図である。この情報視覚化システムは、空間映像生成装置1と、空間映像再生装置装置2と、各種関連情報を格納するコンテンツ格納手段5と、空間映像再生装置装置2で生成されたハイパーリンク情報113を一旦格納し、必要に応じてハイパーリンク情報124として送出するハイパーリンク情報格納手段6と、ハイパーリンク処理を行い空間映像126上に関連情報129の映像を合成して出力映像128として送出するハイパーリンク処理手段4と、出力映像128を表示する映像出力装置7と、利用者の操作を入力する利用者操作手段3とで構成される。
【００２６】
空間映像生成装置1は、ウォークスルーの経路情報101を格納する経路情報格納装置11と、３次元空間形状情報102を格納する３次元空間形状情報格納手段12と、視覚化対象のオブジェクトの情報103を格納する視覚化オブジェクト情報格納手段13と、３次元空間形状情報102および視覚化オブジェクト情報103から３次元ＣＧによる空間映像を生成すると同時に、ウォークスルーの経路情報101に基づき分岐点間の経路ごとの部分的な空間映像を部分映像112として出力する部分映像生成手段15と、生成された部分映像における各分岐点でのフレーム番号情報104と経路情報との対応づけを管理するための分岐情報111を生成する分岐情報生成手段14と、視覚化オブジェクト情報103に含まれる視覚化オブジェクトの３次元空間での位置情報を基にして、該視覚化オブジェクトが部分映像中に表示されている場合の画面上での２次元位置情報と、その時点の映像の時間的な位置情報（例えばフレーム番号）を対応づけたものをハイパーリンク情報113として生成するハイパーリンク情報生成手段16とで構成される。
【００２７】
空間映像再生装置2は、分岐情報111を一旦格納する分岐情報格納手段21と、分割して格納された部分映像を利用者の経路選択操作に応じて切り換えるための部分映像切換指示122を送出する部分映像選択手段24と、複数の部分映像112を一旦格納しておき部分映像選択指示131に基づいて指示された部分映像123を送出する部分映像格納手段22と、部分映像切換指示122に応じて部分映像選択指示131を送出すると同時に、切り換えられた部分映像を空間映像126として円滑に連結再生する部分映像連結再生手段23とで構成される。
【００２８】
図1、図5および図6を用いて、経路情報格納手段11および経路情報101について説明する。図5は３次元空間における視点の移動経路を説明する図である。ここでは、３次元空間上の地点P1を始点として、地点P2およびP3で分岐する移動経路を示しており、図中の括弧内は対応する地点の３次元座標値である。この時、このような移動経路を表現するために、経路情報格納手段11に格納される経路情報101は、例えば図6に示す地点情報テーブルと経路情報テーブルによって実現される。地点情報テーブルは、それぞれの地点番号と対応する３次元座標値を格納し、経路情報テーブルは分岐点で区分される各経路の情報を、前記地点番号を用いて表現するものである。例えば、区間1はP1→P2→P3→P4の各地点を順にたどる経路であり、区間10は地点P2で区間１から分岐したP2→P5の経路である。ここで区分された各経路を部分経路と呼ぶ。
【００２９】
次に、図1および図2を用いて視覚化オブジェクト情報格納手段13と、視覚化オブジェクト情報103について説明する。ここで、視覚化オブジェクトとは、視覚化対象の情報を３次元空間において視覚的に表現するものであり、視覚化対象の情報を直接視覚化オブジェクトとする場合や、視覚化対象の情報を象徴的に表現する３次元オブジェクトを視覚化オブジェクトとして用いる場合が考えられる。
【００３０】
視覚化対象の情報が、例えば３次元形状情報であれば、それを直接３次元空間内で視覚化オブジェクトとすることが効果的であり、視覚化対象の情報が、例えばテキスト情報であれば、それを象徴的に表現する３次元物体（例えば書籍の３次元モデル）を視覚化オブジェクトとして３次元空間に配置することが効果的である。
【００３１】
図2は、視覚化オブジェクト情報格納手段13において管理される視覚化オブジェクト情報103の一例である。視覚化オブジェクト情報103は、視覚化オブジェクトを一意に識別するための視覚化オブジェクト名、視覚化オブジェクトの３次元形状情報を格納したファイルを指定する３次元形状モデル、視覚化オブジェクトの３次元空間における位置を示す３次元座標、視覚化オブジェクトと関連づけられる関連情報へのリンク情報から成る。
【００３２】
ここで関連情報リンクとは、例えば視覚化オブジェクトが情報Aを象徴的に表現している場合に、情報Aを参照するための手段あるいは情報Aの格納場所など、情報Aを参照するのに必要な情報である。例えば図2では、視覚化オブジェクトBird＃1は、視覚化対象の情報である「鳥類．txt」を３次元空間の（10，20，30）において象徴的に表現しているものと考えることができる。
【００３３】
なお、関連情報リンクは前記のものに限定されることなく、視覚化オブジェクトが視覚化対象の情報を直接表現しているか、象徴的に表現しているかにかかわらず、その情報に何らかの関連のある情報へのリンクを広い意味での関連情報へのリンクとして格納する場合もある。
【００３４】
次に、図1、図7および図8を用いて、部分映像生成手段14、部分映像生成手段15、ハイパーリンク情報生成手段16について説明する。ここで、以下で用いる「フレーム」とは、映像を静止画の連続と見なした時の、各静止画のことであり、「フレーム番号」とは、映像の先頭からのフレームの番号を意味している。
【００３５】
まず、部分映像生成手段15においては、視覚化オブジェクト情報103と３次元空間形状情報102と経路情報101とを基に、従来の３次元ＣＧ技術を用いて経路情報101で示される経路上を網羅するウォークスルー映像を生成する。ここで、生成されるウォークスルー映像は、１フレームずつ３次元ＣＧ技術におけるレンダリング処理を行った結果として生成された映像である。部分映像生成手段15においては、この映像を生成すると同時に、逐一ムービー形式（例えばMicrosoft社提唱によるAVI形式）に変換する。変換された映像をウォークスルームービーと呼ぶ。
【００３６】
さらに、部分映像生成手段15においては、経路情報101から得られるウォークスルー経路の分割情報を基に、前記ウォークスルームービーを各部分経路に合わせて複数のムービーに分割する。分割されたムービーは、部分映像112として送出される。すなわち、一つの部分経路をウォークスルーする映像が一つの部分映像として送出される。
【００３７】
例えば、図5および図6に示した経路情報であれば、区間1、区間10、区間20のそれぞれについての部分映像が生成送出される。
【００３８】
また、例えば、図2に示した視覚化オブジェクト情報が定義されていた場合の部分映像の一場面を図7に示す。図7の例では、表示画面31上に、House＃2に対応する視覚化オブジェクト33と、Bird＃1に対応する視覚化オブジェクト34とが埋め込まれた３次元空間32の映像が表示される。
【００３９】
分岐情報生成手段14では、前記の部分映像生成手段15において生成されたフレーム番号情報104と、経路情報101とを用いて分岐情報111を生成する。
【００４０】
ここで、分岐情報111は、どの部分映像のどのフレームを再生している時に、利用者がどのような経路選択操作を行えば、次にどの経路へ分岐するかを管理するための情報であり、また、本実施形態では、分岐するか否かの選択は、映像が分岐点に近づいた際に、利用者が分岐方向に対応する画面の領域をポインティングするか否かによって行うこととする。
【００４１】
この時、画面上の分岐方向に対応する領域のことを分岐路選択領域と呼ぶ。分岐路選択領域は、例えば左方向に分岐路が存在する場合は、画面の概ね左半分にその領域を設定することなどが考えられる。
【００４２】
なお、前記の「分岐するか否かの選択」方法によって、本発明が限定されるものではなく、この他に、キーボードを用いて、予め分岐方向と対応づけられたキーを押すことによって分岐する方法、利用者が音声によって「右」「左」などと指定する方法など、本方式の実施者が任意の手段を利用者に提供することが可能である。
【００４３】
また、前記のポインティングによる「分岐するか否かの選択」方法を用いる場合の、分岐路選択領域を設定する実施方法についても、利用者が自然に分岐方向と対応づけて意識することのできる方法であれば、領域のサイズや形状は問わない。さらに、同方法において、分岐路選択領域の存在を利用者に提示する方法についても、視覚的に矢印を表示する方法、文字を表示する方法、領域の形状をそのまま表示する方法、聴覚的に音の定位方向で提示する方法、音声で「右」や「左」と提示する方法など、本方式の実施者が任意の手段を用いることが可能である。
【００４４】
次に、分岐情報111の実施の例を図4を用いて説明する。図4において、各行の情報それぞれが分岐点に対応しており、部分映像番号は対応する分岐点での映像を含む部分映像の指定、開始点座標は対応する分岐点に関する分岐路選択領域が最初に画面上に出現する際の、画面上での位置情報（この例では、分岐路選択領域を示す矩形領域の左上座標と右下座標の組）、最終点座標は対応する分岐点に関する分岐路選択領域が最後に画面上に出現する際（すなわち消滅する直前）の画面上での位置情報（この例では、分岐路選択領域を示す矩形領域の左上座標と右下座標の組）、開始フレームは分岐路選択領域が最初に出現する時点の映像のフレーム番号、最終フレームは分岐路選択領域が最後に出現する（消滅する直前）時点の映像のフレーム番号、接続先部分映像番号は分岐する先の経路に対応する部分映像を指定する映像番号情報である。
【００４５】
図4の１行目の情報は、区間１から区間10へ分岐する地点に関する情報であり、最初に出現する分岐路選択領域が300番目のフレームの左上座標（10，10）、右下座標（400，700）の領域であり、消滅する直前の分岐路選択領域が400番目のフレームの左上座標（110，10）、右下座標（500，700）の領域であることを示している。
【００４６】
本実施形態では、開始フレームと最終フレームの間のフレームにおける分岐路選択領域については、後述の空間映像再生装置2において、開始フレームと最終フレームでの右上座標と左下座標の値から適宜算出することができる。例えば、開始フレームと最終フレームでの各座標値をその間のフレーム数で等分する方法がある。
【００４７】
また、別の実施形態として、上記算出を分岐情報生成手段14において行い、生成した各フレームでの分岐路選択領域の座標値を分岐情報111に含めることも可能である。
【００４８】
次に、分岐情報生成手段14において、分岐情報111を生成するための処理について図5および図10を用いて説明する。分岐情報生成手段14は、図5に示した経路情報101と、部分映像生成手段からのフレーム番号情報104を受け取る。ここでフレーム番号情報104は、部分映像において、各分岐点に対応する時点の映像のフレーム番号である。
【００４９】
例えば、図5の区間1の部分映像を例とすると、P1，P2，P3，P4での映像を表示する時点のフレーム番号である。ここで、P1，P4は図中では分岐点ではないが、図示した以外の経路との接続が存在することを考えれば分岐点である。また、ここで得られたフレーム番号情報は、各分岐点を丁度通り過ぎる時点のフレーム番号を示しており、この値を図4における分岐情報111の最終フレーム情報とする。
【００５０】
次に、各分岐点へ到達する一定間隔前の地点から、利用者は分岐するか否かの選択を行うことが適当である。例えば、図10に示すように区間１の部分映像を表示している場合には、P1からP2に到達する少し前の地点であるP1’を過ぎたP1’→P2の区間において、区間10へ分岐するか否かの選択を行うことが考えられる。そこで、各分岐点の一定間隔前の地点のフレーム番号を図4の分岐情報における開始フレーム情報として算出する。図10の例では、P1’，P2’の各地点でのフレーム番号がこれに相当する。この時の間隔の大きさについては、本方式を実施する際に適宜決定すれば良い。分岐路選択領域の開始点座標および最終点座標については、経路情報を基に現在表示している部分映像に対して分岐路がどちらの方向にあるかを算出し、その結果に応じた画面上の位置に分岐路選択領域を設定することが有効である。
【００５１】
例えば、図10におけるP1’→P2の区間では、分岐路選択領域は図9（a）に示すように画面上左側に設定し、図10におけるP2'→P3の区間では分岐路選択領域は図9（b）に示すように画面上右側に設定することが有効である。ここで、各座標値の算出方法としては、分岐方向が右か左かで予め分岐路選択領域の座標を決めておく方法、経路情報から分岐先経路との角度を算出し、その結果に応じて分岐路選択領域を設定する方法、分岐先経路上に適当な目標地点を設定し、画面上でその地点を中心に分岐路選択領域を設定する方法などが考えられる。この算出方法については、前述した通り、利用者が自然に分岐方向と対応づけて意識することのできる方法であれば、詳細は問わない。
【００５２】
次に、ハイパーリンク情報生成手段16では、視覚化オブジェクト情報103と、前記の部分映像生成手段15において生成された視覚化オブジェクト選択領域情報105とを用いて、ハイパーリンク情報113を生成する。ここでいうハイパーリンク情報とは、どの部分映像のどのフレームを再生している時に、画面上のどの領域に視覚化オブジェクトが存在するかを示す情報であり、さらに、その視覚化オブジェクトが選択された場合に参照する関連情報、すなわちハイパーリンクのリンク先に関する情報をも含んでいる。
【００５３】
なお、ここでは画面上の視覚化オブジェクトの表示位置に対応する領域を視覚化オブジェクト選択領域と呼び、利用者が然るべき操作（例えばマウスによるポインティング操作）によって視覚化オブジェクト選択領域を選択することによって、視覚化オブジェクトに対応する関連情報が利用者に提示される。ここで、視覚化オブジェクト選択領域は、図8における視覚化オブジェクト34に対するバウンディングボックス35の様な領域とすることも可能であるし、より詳細に画素単位で視覚化オブジェクトが表示されているか否かによって設定（すなわち、視覚化オブジェクトの形状に一致する領域）しても構わない。
【００５４】
図3にハイパーリンク情報113の例を示す。図3において視覚化オブジェクト名は対応する視覚化オブジェクトを指定する情報、部分映像番号は該視覚化オブジェクトが表示される部分映像を指定する情報、開始フレームは視覚化オブジェクトが最初に画面上に出現する時点のフレーム番号、最終フレームは視覚化オブジェクトが最後に画面上に出現する時点（消失する直前）のフレーム番号、開始点座標は開始フレームの時点での視覚化オブジェクト選択領域の位置情報、最終点座標は最終フレームの時点での視覚化オブジェクト選択領域の位置情報、関連情報リンクは該視覚化オブジェクトに関連付けられた関連情報へのリンク情報である。
【００５５】
図3の例では、区間1に対応する部分映像における視覚化オブジェクトBird＃1の関連情報のリンク先が「鳥類．txt」であることと、視覚化オブジェクトが100番から200番フレームまで画面上に表示されており、100番フレーム時点では、左上座標（100，150）、右下座標（180，200）で示される矩形領域が視覚化オブジェクト選択領域であり、200番目のフレームの時点では左上座標（150，150）、右下座標（230，200）で示される矩形領域が視覚化オブジェクト選択領域であることを示している。
【００５６】
次にハイパーリンク情報113の算出方法について説明する。前述した通り部分映像生成手段15においては、視覚化オブジェクト情報103と３次元空間形状情報102と経路情報101とを基に、従来の３次元ＣＧ技術を用いて３次元空間の部分映像を生成する。この時、視覚化オブジェクトについても、図8に示す様に、３次元空間映像の一部として画面に表示される。したがって、部分映像生成手段においては、部分映像112を分割生成すると同時に、視覚化オブジェクト情報103に含まれる視覚化オブジェクトの３次元座標と３次形状モデルの内容から、部分映像の各フレームにおいて視覚化オブジェクトが画面上に表示されているか否かに関する情報や、表示されている場合に画面上のどの位置に表示されているかに関する情報を算出することが可能であり、これらの情報を視覚化オブジェクト選択情報領域情報105として送出する。なお、送出する視覚化オブジェクト選択情報領域情報105には、その時点のフレーム番号情報と対応する視覚化オブジェクト名に関する情報も含む。
【００５７】
次に、ハイパーリンク情報生成手段においては、視覚化オブジェクト選択情報領域情報105を逐一受信し、その情報を基に、図3における開始フレーム、最終フレーム、両フレームにおける視覚化オブジェクト選択領域の位置に関する情報（すなわち、開始点座標および最終点座標）を算出し、さらに、視覚化オブジェクト選択情報領域情報105に含まれる視覚化オブジェクト名を基に、それに応じた関連リンク情報を視覚化オブジェクト情報格納手段13から獲得することによって、ハイパーリンク情報113を生成する。
【００５８】
ここで、部分映像生成手段15において、視覚化オブジェクトに関して第一に生成される情報は各フレームでの視覚化オブジェクト映像の表示の有無に関する情報と、表示されている場合の位置に関する情報であるので、これをハイパーリンク情報113とするためには、最初に視覚化オブジェクトが出現した時点のフレーム番号（すなわち開始フレームの番号）の抽出、最後に表示された時点のフレーム番号（すなわち最終フレームの番号）の抽出、視覚化オブジェクトの映像に対応する視覚化オブジェクト選択領域の生成（例えば視覚化オブジェクト映像のバウンディングボックスの生成）を行う必要があるが、これらのハイパーリンク情報113とするための処理は、部分映像生成手段15において実施することも可能であるし、ハイパーリンク情報生成手段16おいて実施することも可能である。
【００５９】
例えば、部分映像生成手段15において実施する場合には、上記の処理を行った後の情報である開始フレーム番号、最終フレーム番号、開始フレーム時点での視覚化オブジェクト選択領域の位置情報（すなわち、図3における開始点座標）、最終フレーム時点での視覚化オブジェクト選択領域の位置情報（すなわち、図3における終了点座標）を視覚化オブジェクト選択情報領域情報105として送出し、ハイパーリンク情報生成手段16においては、それらの情報をそのままハイパーリンク情報113とする。
【００６０】
一方、ハイパーリンク情報生成手段16において実施する場合には、例えば部分映像生成手段15は各フレーム毎の視覚化オブジェクト映像の表示の有無に関する情報と、表示されている場合の位置に関する情報を視覚化オブジェクト選択情報領域情報105として送出し、ハイパーリンク情報生成手段16においては、送られてくる一連の情報を参照することによって、上記のハイパーリンク情報113とするための処理を行うことが考えられる。
【００６１】
また、これらの中間的な方法として、一部を部分映像生成手段15において実施し、残りをハイパーリンク情報生成手段16おいて実施することも可能である。
【００６２】
以上によって、空間映像生成装置1は、経路情報101および３次元空間形状情報102および視覚化オブジェクト情報103を基に、経路に沿ったすべての区間に対応する部分映像112および分岐情報111およびハイパーリンク情報113を生成することが可能である。
【００６３】
また、以上の処理はすべて人手を介すことなく自動的に処理することが可能であり、経路や３次元空間形状や視覚化オブジェクトが更新された場合には、それに応じて最新の状態を反映した部分映像112および分岐情報111およびハイパーリンク情報113を生成することが可能である。さらに、これらの情報の生成は、経路や３次元空間形状や視覚化オブジェクトの更新された部分に関連する箇所のみ行うことが可能である。
【００６４】
次に、空間映像再生装置２の各部の処理について詳細に説明する。まず、分岐情報格納手段２１について、図１および図４を用いて詳細に説明する。分岐情報格納手段２１は、分岐情報生成手段１４で生成される分岐情報１１１（図４を参照）を一旦格納し、部分映像選択手段からの分岐情報選択指示１３０に応じて、要求された分岐情報１２１を送出する。ここで、分岐情報１２１は内容的には格納前の分岐情報１１１と同一である。
【００６５】
部分映像格納手段22について、図1および図5を用いて詳細に説明する。部分映像格納手段22は、部分映像生成手段15において生成される複数の部分映像を一旦格納し、部分映像連結再生手段からの部分映像選択指示131に応じて選ばれた部分映像123を送出する。部分映像格納手段に格納される部分映像は、経路情報101で示される各区間ごとに分割され、保存される。例えば、図5の経路情報が用いられる場合には、部分映像は区間1、区間10、区間20のそれぞれに対応する３つの部分映像となる。
【００６６】
ここで、部分映像123の送出については、部分映像連結再生手段での再生状況にかかわらず一括して送出する方式とすることも、部分映像連結再生手段での再生とタイミングを合わせて部分映像の先頭から順次送出する方式とすることも可能である。
【００６７】
また、部分映像を格納する方式としては、計算機上のムービーファイル（例えばMicrosoft社のAVI形式など）として保存する方法や、ビデオディスク装置の他、ＶＴＲ装置などの各種映像記録装置を用いることが可能であるが、本発明を効果的に実施するためには、部分映像選択指示131に瞬時に応答する必要があり、映像へのランダムアクセス性に優れる計算機上のムービーファイルやビデオディスク装置などを用いることが望ましい。
【００６８】
部分映像選択手段24は、利用者が利用者操作手段3を介して、ウォークスルー操作すなわち経路選択操作を行った際に、その時点で再生中の部分映像に対応する分岐情報121を参照することによって、次に再生すべき部分映像を決定し、その部分映像への切り換えを指示するための部分映像切換指示122を送出する機能を有する。また、分岐情報121を参照する際には、分岐情報格納手段21に対して分岐情報選択指示130を行う。
【００６９】
部分映像連結再生手段23について、図1、図4および図10を用いて詳細に説明する。部分映像連結再生手段23は、部分映像選択手段24からの部分映像切換指示122に応じて、次に再生する必要のある部分映像を部分映像選択指示131によって部分映像格納手段22から受け取り、切換前後の部分映像を連結再生し空間映像126として送出する。ここで、部分映像連結再生手段23は、部分映像を切り換え時に利用者が感じる違和感を低減するために、切り換え前後の部分映像を円滑に連結再生する機能を有する。
【００７０】
例えば、図4および図10の分岐点P1において、区間1の部分映像（部分映像Aとする）から区間10の部分映像（部分映像Bとする）に切り換える場合を考える。ここで、部分映像Aの310番目のフレームを再生している時点で、部分映像Bへの切り換えを指示する部分映像切換指示122が届いた場合に、瞬時に部分映像Aの再生を中断して部分映像Bへ切り換え再生したとすると、図10に示したところのP1'近くの点（すなわち部分映像Aのフレーム番号310の地点）の映像から、突然P2地点の映像（すなわち部分映像Bの最初のフレーム）に切り替わることになり、利用者に３次元空間での視点が不連続的に移動した違和感を与えることとなる。
【００７１】
そこで、本発明における部分映像連結手段23では、部分映像Aの310番目のフレームを再生している時点で、部分映像Bへの切り換えを指示する部分映像切換指示122が届いた場合でも、瞬時に部分映像の切り換えを行わずに、部分映像Aを最終フレーム（ここでは400）まで再生した後、部分映像Bの再生を開始する機能を有する。
【００７２】
これによって、部分映像Aと部分映像Bは、図10の経路上のP1地点で連続的に切り替わることになり、部分映像の継ぎ目における上記の違和感を確実に低減することが可能となる。この時、部分映像Aの最終フレームの値は、分岐情報格納手段21からの分岐情報121を参照することによって知ることができ、部分映像Aの現在再生中のフレーム番号は、部分映像連結再生手段23の内部情報として知ることができる（部分映像Aの先頭から、何フレーム再生したかを計数しておけば良い）。
【００７３】
さらに、部分映像Aから部分映像Bに切り換える際に、部分映像格納手段23から部分映像Bを受け取るまでに一定以上の時間を必要とする場合には、部分映像Aを最終フレームまで再生した後も、部分映像Bを再生開始することができず、空間映像126において何も映像が存在しない状態（ブランク状態）を生じる可能性がある。
【００７４】
このような場合、部分映像連結再生手段23においては、分岐情報121を参照することで部分映像Aにおける分岐点までのフレーム数を算出し、その間の部分映像Aの再生速度を通常より落すことによってブランク状態の発生を防ぐこと、あるいはブランク状態の期間を短縮することが可能である。
【００７５】
なお、映像切り換え時の違和感を低減する方法として、映像スイッチャ等で広く用いられるワイプやフェードインといった映像効果を用いることも可能であるが、これらは元々関連のない２つの映像を連結再生する際に効果的な方法である。しかしながら、本発明によるところの部分映像格納手段22に格納されている複数の部分映像は、元々一連の経路上をウォークスルーした映像を分岐点で分割したものであり、この場合はワイプやフェードインではなく、上記で述べた方式、すなわち部分映像切換指示を受けたタイミングにかかわらず、必ず部分映像の最終フレームで連結する方式の方がより効果的である。
【００７６】
以上によって、空間映像再生装置2は、前記空間映像生成装置1において生成された部分映像112および分岐情報111を一旦格納し、これらの情報を参照しつつ、利用者のウォークスルー操作に応じた経路選択操作情報125に応じて、複数の部分映像を違和感無く連結再生することによって、利用者が複数経路の中から所望の経路をウォークスルーすることを可能とする。この空間映像再生装置2における処理は、計算機性能としては一般の計算機が備えるムービーファイルの再生機能によって実現可能であり、３次元ＣＧのための専用ハードウェアなどの高価な装置を用いる必要はない。
【００７７】
【発明の効果】
第１の効果は、３次元ＣＧ専用のハードウェアを用いていないにもかかわらず、3次元空間情報およびウォークスルー経路の情報から、自動的にウォークスルー映像を、自動的に生成されるムービー形式の部分映像を用いて、利用者が選択的にウォークスルーできることに加えて、３次元空間情報やウォークスルー経路が変更された場合に、それを自動的に部分映像に反映することができる。
【００７８】
さらに、ウォークスルームービーを部分映像に分割して用いているため、３次元空間情報やウォークスルー経路が変更された場合には、すべての部分映像ではなく、その変更に関連する部分映像のみを再生成すればよい。これらによって、ウォークスルー映像生成時や映像更新時の作業量を従来技術と比較して格段に少なくすることが可能である。
【００７９】
第２の効果は、ムービーファイルの映像に含まれる視覚化オブジェクトと関連情報の関連を示すハイパーリンク情報を自動的に生成できることにある。これは、視覚化オブジェクトを含むウォークスルー映像を自動生成する際に、各フレームにおいて、視覚化オブジェクトが表示映像に含まれているか否かと、含まれている場合には画面上での位置に関する情報をも自動的に生成する手段を備えているからである。
【図面の簡単な説明】
【図１】 本発明による情報視覚化システムの構成図。
【図２】 視覚化オブジェクト情報の説明図。
【図３】 ハイパーリンク情報の説明図。
【図４】 分岐情報の説明図。
【図５】 経路の説明図。
【図６】 経路情報の説明図。
【図７】 ３次元空間映像の説明図。
【図８】 視覚化オブジェクトとバウンディングボックスの説明図。
【図９】 分岐路選択領域の説明図。
【図１０】 分岐点とフレーム番号の説明図。
【符号の説明】
1…空間映像生成装置
2…空間映像再生装置
3…利用者操作手段
4…ハイパーリンク処理手段
5…コンテンツ格納手段
6…ハイパーリンク情報格納手段
7…映像出力装置
11…経路情報格納手段
12…３次元空間形状情報格納手段
13…視覚化オブジェクト情報格納手段
14…分岐情報生成手段
15…部分映像生成手段
16…ハイパーリンク情報生成手段
21…分岐情報格納手段
22…部分映像格納手段
23…部分映像連結再生手段
24…部分映像選択手段
31…表示画面
32…３次元空間
33…視覚化オブジェクト
34…視覚化オブジェクト
35…バウンディングボックス
41…分岐路選択領域
42…分岐路選択領域
101…経路情報
102…３次元空間形状情報
103…視覚化オブジェクト情報
104…フレーム番号情報
105…視覚化オブジェクト選択領域情報
111…分岐情報
112…部分映像
113…ハイパーリンク情報
121…分岐情報
122…部分映像切換指示
123…部分映像
124…ハイパーリンク情報
125…経路選択操作情報
126…空間映像
127…視覚化オブジェクト選択操作情報
128…出力映像
129…関連情報
130…分岐情報選択指示
131…部分映像選択指示
【発明の属する技術分野】
本発明は、計算機によって仮想的に生成した空間映像の所望の位置に各種情報を視覚的オブジェクトとして埋め込むことによって、利用者に情報提示を行ない、軽量な処理で３次元ウォークスルーすることのできる情報視覚化システム、空間映像生成装置、空間映像再生総理、情報視覚化方法に関する。
【０００２】
【従来の技術】
従来、情報処理学会研究報告96-IM-28-7の報告を始めとして、計算機を用いた情報視覚化システムにおいて、計算機によって生成した3次元コンピュータグラフィックス(3次元CG)映像の所望の位置に各種情報(コンテンツ)を視覚的オブジェクトとして埋め込むことによって、情報提示環境を構築する情報視覚化システムがある。
【０００３】
これらのシステムでは、前記情報提示環境において利用者が3次元空間映像における仮想的な視点を変更する操作や、前記情報提示環境において前記視覚的オブジェクトに対して選択あるいは移動などの操作を行なうことによって、視覚的オブジェクトを順次画面に表示し、そこに埋め込まれた情報を利用者が選択的に獲得することができる。
【０００４】
さらに、視覚化された情報の関連情報(例えば対象が図書であればその書誌情報や同じ著者の図書一覧など)を利用者に提示するシステムが多く実現されており、画面内で視覚的オブジェクトの一つを直接的なポインティングで選択することによって、それと関連した情報を追加表示する方式や、画面内のアイコンやメニュー選択によって関連情報を追加表示する方式などが広く一般的に用いられている。
【０００５】
これらのシステムにおいて、利用者が3次元空間映像における仮想視点を移動するインタフェースとしては、あたかも歩いている様な感覚で情報を検索することのできるウォークスルーインタフェースが直感性に優れたものとして広く用いられている。
【０００６】
特に、利用者がその都度自由に仮想視点の移動方向を決定し、システムがそれに応じた空間映像を逐一表示することのできる方式は、利用者が思い通りにウォークスルーして所望の検索を行うことが可能であり有効である。
【０００７】
しかし、これらのウォークスルー映像を生成するためには、多量な3次元CG演算を行う必要があり、例えば、利用者の操作に応じて実時間でウォークスルー映像を生成するには、3次元CG処理のための専用のハードウェアを必要とする。以上を第一の従来技術と呼ぶこととする。
【０００８】
これに対して、3次元CG専用のハードウェアを用いずに上記の情報視覚化を可能とする方式として、Apple社QuickTimeVR方式を始めとしたムービーファイルを用いる方式が広く知られている。この従来技術によれば、例えば利用者は、ウォークスルーする経路を予め想定した映像をムービーファイルとして生成しておき、実行時には、ムービーファイルを再生することで、利用者にウォークスルー映像を提示することが可能である。
【０００９】
ここで、ムービーファイルを生成する際には、上記の３次元CG処理と同様の多大な処理が必要であるが、一旦ムービーファイルを生成してしまえば、その後のムービーファイルの再生は比較的少ない処理量で実現することが可能である。さらに、この方式では、ムービーファイル中に複数経路の映像を埋め込み、利用者が選択的に再生することが可能である。すなわち、利用者は完全に自由ではないが、ある程度思い通りのウォークスルーを行うことができる。以上を第二の従来技術と呼ぶこととする。
【００１０】
また、これとは別に、ムービーファイルの各場面において表示された物体と、別途格納された関連情報との対応づけを管理するための、いわゆるハイパーリンク情報を生成し、ムービーファイルの所定の場面の所定の位置をマウスなどで選択した場合に、それと関連づけられた情報を呼出表示する技術としては、情報処理学会第49回全国大会論文集1W-7で提案された方式が知られている。
【００１１】
この技術を用いることで、利用者がムービーファイルを用いたウォークスルーをしながら空間映像中に表示された特定の物体を選択することによって、それと関連する情報を獲得することのできる、いわゆるハイパーリンクインタフェースを実現することが可能である。以上を第三の従来技術と呼ぶこととする。
【００１２】
【発明が解決しようとする課題】
しかし、これらの従来技術には、次のような問題があった。すなわち、上記QuickTimeVRを始めとする第二の従来技術によれば、第一の従来技術における３次元CG専用のハードウェアを用いずに、予め決められた複数経路上を選択的にウォークスルーしつつ、空間映像中に埋め込まれた各種情報を獲得することが可能であるが、これらのウォークスルー映像を作成するには各経路のムービーファイルを生成した上で、さらに手作業でそれらのムービーファイル間の関連付けを行う必要があった。
【００１３】
さらに、ムービーファイル間の関連付け情報や、複数のムービーファイルを最終的に一つのファイルに結合した形で生成するために、ウォークスルー経路の追加や一部の変更などの小規模な変更を行う場合にも、ムービーファイル全体を再生成する必要があり、しかもこの作業を前述の通り手作業により行わなければならない。このように、第二の従来技術による方式では、最初にムービーファイルを生成する際にも、ムービーファイルの関連付けを行う際にも、後になってウォークスルー経路の追加変更があった場合に、この追加変更を反映したウォークスルー映像を再生成する際にも、人手により多大な作業が必要となるという問題があった。
【００１４】
さらに、第三の従来技術によれば、ウォークスルー映像のムービーファイルの各場面において、そこに表示されているコンテンツとその関連情報の間のハイパーリンク情報のオーサリングを手動で行う必要があり、そのためハイパーリンク情報を生成する際に多大な作業を要することに加えて、ムービーファイル生成後に仮想空間の内容やハイパーリンク情報が更新された場合に、自動的にそれらの更新を反映した空間映像を利用者に提示することができないという第二の問題があった。
【００１５】
本発明は、上記の問題を解決するためになされたもので、その第一の目的は、利用者が３次元空間において複数経路を選択的にウォークスルーすることが可能な情報視覚化システムを、３次元ＣＧ専用のハードウェアを用いることなく実現し、なおかつ３次元空間情報やウォークスルー経路等が変更された場合に、それらを自動的にウォークスルー映像に反映することのできるシステムを提供することである。
【００１６】
本発明の第二の目的は、情報視覚化システムにおいて、ウォークスルー映像の各場面において、そこに表示されているコンテンツとその関連情報との間のハイパーリンク情報を自動的に生成することである。
【００１７】
【課題を解決するための手段】
本発明による空間映像生成装置は、３次元空間情報を用いて３次元ＣＧウォークスルー映像を生成し、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換し、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割して、部分経路ウォークスルームービーを生成する部分映像生成手段と、前記部分経路ウォークスルームービーに関する情報を前記部分映像生成手段から受け取り、当該受け取った情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐に関する分岐情報を生成する分岐情報生成手段とを備え、空間映像再生装置に対して、利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示させることを特徴とする。
また、本発明は、上述の空間映像生成装置において、前記部分経路ウォークスルームービーに関する情報を前記部分映像生成手段から受け取り、当該受け取った情報と表示するオブジェクトに関する情報を示す視覚化オブジェクト情報とを用いて、前記部分経路ウォークスルー映像と前記オブジェクトとの表示関係を示すハイパーリンク情報を生成するハイパーリンク情報生成手段を備え、ハイパーリンク処理手段に対して、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示する際に、前記ハイパーリンク情報を用いて前記オブジェクトを表示させることを特徴とする。
また、本発明による空間映像再生装置は、空間映像生成装置に対して、３次元空間情報を用いて３次元ＣＧウォークスルー映像を生成させ、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換させ、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割することにより部分経路ウォークスルームービーを生成させ、当該生成させた部分経路ウォークスルームービーに関する情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐に関する分岐情報を生成させ、利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示することを特徴とする。
【００１８】
また、本発明による情報視覚化システムは、３次元空間情報および分岐情報を含むウォークスルー経路情報を基に、ウォークスルー経路に沿った３次元ＣＧ映像を生成し、この３次元ＣＧ映像をムービー形式のウォークスルームービー映像に変換し、さらにこのウォークスルームービー映像をウォークスルー経路の分岐点で分割し、ムービー形式の複数の部分映像を生成する部分映像生成手段と、この部分映像生成手段によって生成された各部分映像の間の分岐接続（ウォークスルー経路上での位置関係）に関する分岐情報を生成する分岐情報生成手段と、この分岐情報生成手段によって生成された分岐情報を一旦格納する分岐情報格納手段と、前記部分映像生成手段によって生成された部分映像を一旦格納し、後述する部分映像連結再生手段によって送出される部分映像選択指示に応じた特定の部分映像を送出する部分映像格納手段と、この部分映像格納手段に格納された部分映像を、利用者の経路選択操作に応じて切り換えるための部分映像切換指示を送出する部分映像選択手段と、この部分映像選択手段が送出する部分映像切換指示に応じて前記部分映像選択指示を送出すると同時に、前記特定の部分映像を連結再生する部分映像連結再生手段とを有する。
上記構成は、３次元空間情報およびウォークスルー経路の情報から自動的に生成されるムービー形式の部分映像を用いて、利用者が選択的にウォークスルーできることを特徴とする。また、３次元空間情報やウォークスルー経路が変更された場合にも、この変更を自動的に反映することが可能な点を特徴とする。
【００１９】
さらに、ウォークスルームービーを部分映像に分割して用いているため、３次元空間情報やウォークスルー経路が変更された場合には、すべての部分映像ではなく、その変更に関連する部分映像のみを再生成すればよい点も特徴である。
【００２０】
なお、上記の分岐情報生成手段における３次元ＣＧ処理は、利用者の操作とは関係なく事前に行う処理であるため、実時間で処理する必要はない。そのため、本発明においては、３次元ＣＧ処理のための専用ハードウェアを用いることなく、本発明を効果的に実施することが可能である。
【００２１】
すなわち、３次元ＣＧ専用のハードウェアを用いずにウォークスルーを実現し、なおかつ、ウォークスルー映像生成時や映像更新時の作業量を、前記第二の従来技術と比較して格段に少なくすることが可能である。
【００２２】
本発明による情報視覚化システムは、前記第二の問題を解決するための手段として、上記第一の問題を解決するための手段に加えて、３次元空間において視覚化されるコンテンツ（視覚化オブジェクト）についての３次元形状情報、３次元位置情報および前記コンテンツ（視覚化オブジェクト）の関連情報へのリンク情報を基に、それぞれの部分映像において前記コンテンツ（視覚化オブジェクト）がどの場面のどの位置に表示されており、さらに利用者がそのコンテンツ映像（視覚化オブジェクト）を選択した際に、利用者に提示すべき関連情報が何であるかを示すハイパーリンク情報を生成するハイパーリンク情報生成手段をさらに有する。
【００２３】
上記構成は、ムービー形式の部分映像を用いて、利用者が選択的にウォークスルーをしながら、画面に表示された視覚化オブジェクトを選択することによって、選択された視覚化オブジェクトに関連するコンテンツ(関連情報)を利用者に提示することができるというハイパーリンク機能を、利用者に提供することが可能であり、さらに、前記ハイパーリンク機能のためのハイパーリンク情報を、３次元空間情報、ウォークスルー経路情報および視覚化オブジェクト情報から自動的に生成できることを特徴とする。
【００２４】
従って、ハイパーリンク情報の生成に必要な作業量を、前記第三の従来技術と比較して格段に少なくすることが可能である。さらに、ムービーファイル生成後に仮想空間の内容やハイパーリンク情報が更新された場合にも、自動的にそれらの更新を反映した空間映像を利用者に提示することが可能である。
また、本発明は、３次元空間情報を用いて３次元ＣＧウォークスルー映像を生成し、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換し、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割して、部分経路ウォークスルームービーを生成する部分映像生成処理と、前記生成された部分経路ウォークスルームービーに関する情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐に関する分岐情報を生成する分岐情報生成処理と、利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示することを特徴とする。
【００２５】
【発明の実施の形態】
図１は本発明によるところの情報視覚化システムを説明するための構成図である。この情報視覚化システムは、空間映像生成装置1と、空間映像再生装置装置2と、各種関連情報を格納するコンテンツ格納手段5と、空間映像再生装置装置2で生成されたハイパーリンク情報113を一旦格納し、必要に応じてハイパーリンク情報124として送出するハイパーリンク情報格納手段6と、ハイパーリンク処理を行い空間映像126上に関連情報129の映像を合成して出力映像128として送出するハイパーリンク処理手段4と、出力映像128を表示する映像出力装置7と、利用者の操作を入力する利用者操作手段3とで構成される。
【００２６】
空間映像生成装置1は、ウォークスルーの経路情報101を格納する経路情報格納装置11と、３次元空間形状情報102を格納する３次元空間形状情報格納手段12と、視覚化対象のオブジェクトの情報103を格納する視覚化オブジェクト情報格納手段13と、３次元空間形状情報102および視覚化オブジェクト情報103から３次元ＣＧによる空間映像を生成すると同時に、ウォークスルーの経路情報101に基づき分岐点間の経路ごとの部分的な空間映像を部分映像112として出力する部分映像生成手段15と、生成された部分映像における各分岐点でのフレーム番号情報104と経路情報との対応づけを管理するための分岐情報111を生成する分岐情報生成手段14と、視覚化オブジェクト情報103に含まれる視覚化オブジェクトの３次元空間での位置情報を基にして、該視覚化オブジェクトが部分映像中に表示されている場合の画面上での２次元位置情報と、その時点の映像の時間的な位置情報（例えばフレーム番号）を対応づけたものをハイパーリンク情報113として生成するハイパーリンク情報生成手段16とで構成される。
【００２７】
空間映像再生装置2は、分岐情報111を一旦格納する分岐情報格納手段21と、分割して格納された部分映像を利用者の経路選択操作に応じて切り換えるための部分映像切換指示122を送出する部分映像選択手段24と、複数の部分映像112を一旦格納しておき部分映像選択指示131に基づいて指示された部分映像123を送出する部分映像格納手段22と、部分映像切換指示122に応じて部分映像選択指示131を送出すると同時に、切り換えられた部分映像を空間映像126として円滑に連結再生する部分映像連結再生手段23とで構成される。
【００２８】
図1、図5および図6を用いて、経路情報格納手段11および経路情報101について説明する。図5は３次元空間における視点の移動経路を説明する図である。ここでは、３次元空間上の地点P1を始点として、地点P2およびP3で分岐する移動経路を示しており、図中の括弧内は対応する地点の３次元座標値である。この時、このような移動経路を表現するために、経路情報格納手段11に格納される経路情報101は、例えば図6に示す地点情報テーブルと経路情報テーブルによって実現される。地点情報テーブルは、それぞれの地点番号と対応する３次元座標値を格納し、経路情報テーブルは分岐点で区分される各経路の情報を、前記地点番号を用いて表現するものである。例えば、区間1はP1→P2→P3→P4の各地点を順にたどる経路であり、区間10は地点P2で区間１から分岐したP2→P5の経路である。ここで区分された各経路を部分経路と呼ぶ。
【００２９】
次に、図1および図2を用いて視覚化オブジェクト情報格納手段13と、視覚化オブジェクト情報103について説明する。ここで、視覚化オブジェクトとは、視覚化対象の情報を３次元空間において視覚的に表現するものであり、視覚化対象の情報を直接視覚化オブジェクトとする場合や、視覚化対象の情報を象徴的に表現する３次元オブジェクトを視覚化オブジェクトとして用いる場合が考えられる。
【００３０】
視覚化対象の情報が、例えば３次元形状情報であれば、それを直接３次元空間内で視覚化オブジェクトとすることが効果的であり、視覚化対象の情報が、例えばテキスト情報であれば、それを象徴的に表現する３次元物体（例えば書籍の３次元モデル）を視覚化オブジェクトとして３次元空間に配置することが効果的である。
【００３１】
図2は、視覚化オブジェクト情報格納手段13において管理される視覚化オブジェクト情報103の一例である。視覚化オブジェクト情報103は、視覚化オブジェクトを一意に識別するための視覚化オブジェクト名、視覚化オブジェクトの３次元形状情報を格納したファイルを指定する３次元形状モデル、視覚化オブジェクトの３次元空間における位置を示す３次元座標、視覚化オブジェクトと関連づけられる関連情報へのリンク情報から成る。
【００３２】
ここで関連情報リンクとは、例えば視覚化オブジェクトが情報Aを象徴的に表現している場合に、情報Aを参照するための手段あるいは情報Aの格納場所など、情報Aを参照するのに必要な情報である。例えば図2では、視覚化オブジェクトBird＃1は、視覚化対象の情報である「鳥類．txt」を３次元空間の（10，20，30）において象徴的に表現しているものと考えることができる。
【００３３】
なお、関連情報リンクは前記のものに限定されることなく、視覚化オブジェクトが視覚化対象の情報を直接表現しているか、象徴的に表現しているかにかかわらず、その情報に何らかの関連のある情報へのリンクを広い意味での関連情報へのリンクとして格納する場合もある。
【００３４】
次に、図1、図7および図8を用いて、部分映像生成手段14、部分映像生成手段15、ハイパーリンク情報生成手段16について説明する。ここで、以下で用いる「フレーム」とは、映像を静止画の連続と見なした時の、各静止画のことであり、「フレーム番号」とは、映像の先頭からのフレームの番号を意味している。
【００３５】
まず、部分映像生成手段15においては、視覚化オブジェクト情報103と３次元空間形状情報102と経路情報101とを基に、従来の３次元ＣＧ技術を用いて経路情報101で示される経路上を網羅するウォークスルー映像を生成する。ここで、生成されるウォークスルー映像は、１フレームずつ３次元ＣＧ技術におけるレンダリング処理を行った結果として生成された映像である。部分映像生成手段15においては、この映像を生成すると同時に、逐一ムービー形式（例えばMicrosoft社提唱によるAVI形式）に変換する。変換された映像をウォークスルームービーと呼ぶ。
【００３６】
さらに、部分映像生成手段15においては、経路情報101から得られるウォークスルー経路の分割情報を基に、前記ウォークスルームービーを各部分経路に合わせて複数のムービーに分割する。分割されたムービーは、部分映像112として送出される。すなわち、一つの部分経路をウォークスルーする映像が一つの部分映像として送出される。
【００３７】
例えば、図5および図6に示した経路情報であれば、区間1、区間10、区間20のそれぞれについての部分映像が生成送出される。
【００３８】
また、例えば、図2に示した視覚化オブジェクト情報が定義されていた場合の部分映像の一場面を図7に示す。図7の例では、表示画面31上に、House＃2に対応する視覚化オブジェクト33と、Bird＃1に対応する視覚化オブジェクト34とが埋め込まれた３次元空間32の映像が表示される。
【００３９】
分岐情報生成手段14では、前記の部分映像生成手段15において生成されたフレーム番号情報104と、経路情報101とを用いて分岐情報111を生成する。
【００４０】
ここで、分岐情報111は、どの部分映像のどのフレームを再生している時に、利用者がどのような経路選択操作を行えば、次にどの経路へ分岐するかを管理するための情報であり、また、本実施形態では、分岐するか否かの選択は、映像が分岐点に近づいた際に、利用者が分岐方向に対応する画面の領域をポインティングするか否かによって行うこととする。
【００４１】
この時、画面上の分岐方向に対応する領域のことを分岐路選択領域と呼ぶ。分岐路選択領域は、例えば左方向に分岐路が存在する場合は、画面の概ね左半分にその領域を設定することなどが考えられる。
【００４２】
なお、前記の「分岐するか否かの選択」方法によって、本発明が限定されるものではなく、この他に、キーボードを用いて、予め分岐方向と対応づけられたキーを押すことによって分岐する方法、利用者が音声によって「右」「左」などと指定する方法など、本方式の実施者が任意の手段を利用者に提供することが可能である。
【００４３】
また、前記のポインティングによる「分岐するか否かの選択」方法を用いる場合の、分岐路選択領域を設定する実施方法についても、利用者が自然に分岐方向と対応づけて意識することのできる方法であれば、領域のサイズや形状は問わない。さらに、同方法において、分岐路選択領域の存在を利用者に提示する方法についても、視覚的に矢印を表示する方法、文字を表示する方法、領域の形状をそのまま表示する方法、聴覚的に音の定位方向で提示する方法、音声で「右」や「左」と提示する方法など、本方式の実施者が任意の手段を用いることが可能である。
【００４４】
次に、分岐情報111の実施の例を図4を用いて説明する。図4において、各行の情報それぞれが分岐点に対応しており、部分映像番号は対応する分岐点での映像を含む部分映像の指定、開始点座標は対応する分岐点に関する分岐路選択領域が最初に画面上に出現する際の、画面上での位置情報（この例では、分岐路選択領域を示す矩形領域の左上座標と右下座標の組）、最終点座標は対応する分岐点に関する分岐路選択領域が最後に画面上に出現する際（すなわち消滅する直前）の画面上での位置情報（この例では、分岐路選択領域を示す矩形領域の左上座標と右下座標の組）、開始フレームは分岐路選択領域が最初に出現する時点の映像のフレーム番号、最終フレームは分岐路選択領域が最後に出現する（消滅する直前）時点の映像のフレーム番号、接続先部分映像番号は分岐する先の経路に対応する部分映像を指定する映像番号情報である。
【００４５】
図4の１行目の情報は、区間１から区間10へ分岐する地点に関する情報であり、最初に出現する分岐路選択領域が300番目のフレームの左上座標（10，10）、右下座標（400，700）の領域であり、消滅する直前の分岐路選択領域が400番目のフレームの左上座標（110，10）、右下座標（500，700）の領域であることを示している。
【００４６】
本実施形態では、開始フレームと最終フレームの間のフレームにおける分岐路選択領域については、後述の空間映像再生装置2において、開始フレームと最終フレームでの右上座標と左下座標の値から適宜算出することができる。例えば、開始フレームと最終フレームでの各座標値をその間のフレーム数で等分する方法がある。
【００４７】
また、別の実施形態として、上記算出を分岐情報生成手段14において行い、生成した各フレームでの分岐路選択領域の座標値を分岐情報111に含めることも可能である。
【００４８】
次に、分岐情報生成手段14において、分岐情報111を生成するための処理について図5および図10を用いて説明する。分岐情報生成手段14は、図5に示した経路情報101と、部分映像生成手段からのフレーム番号情報104を受け取る。ここでフレーム番号情報104は、部分映像において、各分岐点に対応する時点の映像のフレーム番号である。
【００４９】
例えば、図5の区間1の部分映像を例とすると、P1，P2，P3，P4での映像を表示する時点のフレーム番号である。ここで、P1，P4は図中では分岐点ではないが、図示した以外の経路との接続が存在することを考えれば分岐点である。また、ここで得られたフレーム番号情報は、各分岐点を丁度通り過ぎる時点のフレーム番号を示しており、この値を図4における分岐情報111の最終フレーム情報とする。
【００５０】
次に、各分岐点へ到達する一定間隔前の地点から、利用者は分岐するか否かの選択を行うことが適当である。例えば、図10に示すように区間１の部分映像を表示している場合には、P1からP2に到達する少し前の地点であるP1’を過ぎたP1’→P2の区間において、区間10へ分岐するか否かの選択を行うことが考えられる。そこで、各分岐点の一定間隔前の地点のフレーム番号を図4の分岐情報における開始フレーム情報として算出する。図10の例では、P1’，P2’の各地点でのフレーム番号がこれに相当する。この時の間隔の大きさについては、本方式を実施する際に適宜決定すれば良い。分岐路選択領域の開始点座標および最終点座標については、経路情報を基に現在表示している部分映像に対して分岐路がどちらの方向にあるかを算出し、その結果に応じた画面上の位置に分岐路選択領域を設定することが有効である。
【００５１】
例えば、図10におけるP1’→P2の区間では、分岐路選択領域は図9（a）に示すように画面上左側に設定し、図10におけるP2'→P3の区間では分岐路選択領域は図9（b）に示すように画面上右側に設定することが有効である。ここで、各座標値の算出方法としては、分岐方向が右か左かで予め分岐路選択領域の座標を決めておく方法、経路情報から分岐先経路との角度を算出し、その結果に応じて分岐路選択領域を設定する方法、分岐先経路上に適当な目標地点を設定し、画面上でその地点を中心に分岐路選択領域を設定する方法などが考えられる。この算出方法については、前述した通り、利用者が自然に分岐方向と対応づけて意識することのできる方法であれば、詳細は問わない。
【００５２】
次に、ハイパーリンク情報生成手段16では、視覚化オブジェクト情報103と、前記の部分映像生成手段15において生成された視覚化オブジェクト選択領域情報105とを用いて、ハイパーリンク情報113を生成する。ここでいうハイパーリンク情報とは、どの部分映像のどのフレームを再生している時に、画面上のどの領域に視覚化オブジェクトが存在するかを示す情報であり、さらに、その視覚化オブジェクトが選択された場合に参照する関連情報、すなわちハイパーリンクのリンク先に関する情報をも含んでいる。
【００５３】
なお、ここでは画面上の視覚化オブジェクトの表示位置に対応する領域を視覚化オブジェクト選択領域と呼び、利用者が然るべき操作（例えばマウスによるポインティング操作）によって視覚化オブジェクト選択領域を選択することによって、視覚化オブジェクトに対応する関連情報が利用者に提示される。ここで、視覚化オブジェクト選択領域は、図8における視覚化オブジェクト34に対するバウンディングボックス35の様な領域とすることも可能であるし、より詳細に画素単位で視覚化オブジェクトが表示されているか否かによって設定（すなわち、視覚化オブジェクトの形状に一致する領域）しても構わない。
【００５４】
図3にハイパーリンク情報113の例を示す。図3において視覚化オブジェクト名は対応する視覚化オブジェクトを指定する情報、部分映像番号は該視覚化オブジェクトが表示される部分映像を指定する情報、開始フレームは視覚化オブジェクトが最初に画面上に出現する時点のフレーム番号、最終フレームは視覚化オブジェクトが最後に画面上に出現する時点（消失する直前）のフレーム番号、開始点座標は開始フレームの時点での視覚化オブジェクト選択領域の位置情報、最終点座標は最終フレームの時点での視覚化オブジェクト選択領域の位置情報、関連情報リンクは該視覚化オブジェクトに関連付けられた関連情報へのリンク情報である。
【００５５】
図3の例では、区間1に対応する部分映像における視覚化オブジェクトBird＃1の関連情報のリンク先が「鳥類．txt」であることと、視覚化オブジェクトが100番から200番フレームまで画面上に表示されており、100番フレーム時点では、左上座標（100，150）、右下座標（180，200）で示される矩形領域が視覚化オブジェクト選択領域であり、200番目のフレームの時点では左上座標（150，150）、右下座標（230，200）で示される矩形領域が視覚化オブジェクト選択領域であることを示している。
【００５６】
次にハイパーリンク情報113の算出方法について説明する。前述した通り部分映像生成手段15においては、視覚化オブジェクト情報103と３次元空間形状情報102と経路情報101とを基に、従来の３次元ＣＧ技術を用いて３次元空間の部分映像を生成する。この時、視覚化オブジェクトについても、図8に示す様に、３次元空間映像の一部として画面に表示される。したがって、部分映像生成手段においては、部分映像112を分割生成すると同時に、視覚化オブジェクト情報103に含まれる視覚化オブジェクトの３次元座標と３次形状モデルの内容から、部分映像の各フレームにおいて視覚化オブジェクトが画面上に表示されているか否かに関する情報や、表示されている場合に画面上のどの位置に表示されているかに関する情報を算出することが可能であり、これらの情報を視覚化オブジェクト選択情報領域情報105として送出する。なお、送出する視覚化オブジェクト選択情報領域情報105には、その時点のフレーム番号情報と対応する視覚化オブジェクト名に関する情報も含む。
【００５７】
次に、ハイパーリンク情報生成手段においては、視覚化オブジェクト選択情報領域情報105を逐一受信し、その情報を基に、図3における開始フレーム、最終フレーム、両フレームにおける視覚化オブジェクト選択領域の位置に関する情報（すなわち、開始点座標および最終点座標）を算出し、さらに、視覚化オブジェクト選択情報領域情報105に含まれる視覚化オブジェクト名を基に、それに応じた関連リンク情報を視覚化オブジェクト情報格納手段13から獲得することによって、ハイパーリンク情報113を生成する。
【００５８】
ここで、部分映像生成手段15において、視覚化オブジェクトに関して第一に生成される情報は各フレームでの視覚化オブジェクト映像の表示の有無に関する情報と、表示されている場合の位置に関する情報であるので、これをハイパーリンク情報113とするためには、最初に視覚化オブジェクトが出現した時点のフレーム番号（すなわち開始フレームの番号）の抽出、最後に表示された時点のフレーム番号（すなわち最終フレームの番号）の抽出、視覚化オブジェクトの映像に対応する視覚化オブジェクト選択領域の生成（例えば視覚化オブジェクト映像のバウンディングボックスの生成）を行う必要があるが、これらのハイパーリンク情報113とするための処理は、部分映像生成手段15において実施することも可能であるし、ハイパーリンク情報生成手段16おいて実施することも可能である。
【００５９】
例えば、部分映像生成手段15において実施する場合には、上記の処理を行った後の情報である開始フレーム番号、最終フレーム番号、開始フレーム時点での視覚化オブジェクト選択領域の位置情報（すなわち、図3における開始点座標）、最終フレーム時点での視覚化オブジェクト選択領域の位置情報（すなわち、図3における終了点座標）を視覚化オブジェクト選択情報領域情報105として送出し、ハイパーリンク情報生成手段16においては、それらの情報をそのままハイパーリンク情報113とする。
【００６０】
一方、ハイパーリンク情報生成手段16において実施する場合には、例えば部分映像生成手段15は各フレーム毎の視覚化オブジェクト映像の表示の有無に関する情報と、表示されている場合の位置に関する情報を視覚化オブジェクト選択情報領域情報105として送出し、ハイパーリンク情報生成手段16においては、送られてくる一連の情報を参照することによって、上記のハイパーリンク情報113とするための処理を行うことが考えられる。
【００６１】
また、これらの中間的な方法として、一部を部分映像生成手段15において実施し、残りをハイパーリンク情報生成手段16おいて実施することも可能である。
【００６２】
以上によって、空間映像生成装置1は、経路情報101および３次元空間形状情報102および視覚化オブジェクト情報103を基に、経路に沿ったすべての区間に対応する部分映像112および分岐情報111およびハイパーリンク情報113を生成することが可能である。
【００６３】
また、以上の処理はすべて人手を介すことなく自動的に処理することが可能であり、経路や３次元空間形状や視覚化オブジェクトが更新された場合には、それに応じて最新の状態を反映した部分映像112および分岐情報111およびハイパーリンク情報113を生成することが可能である。さらに、これらの情報の生成は、経路や３次元空間形状や視覚化オブジェクトの更新された部分に関連する箇所のみ行うことが可能である。
【００６４】
次に、空間映像再生装置２の各部の処理について詳細に説明する。まず、分岐情報格納手段２１について、図１および図４を用いて詳細に説明する。分岐情報格納手段２１は、分岐情報生成手段１４で生成される分岐情報１１１（図４を参照）を一旦格納し、部分映像選択手段からの分岐情報選択指示１３０に応じて、要求された分岐情報１２１を送出する。ここで、分岐情報１２１は内容的には格納前の分岐情報１１１と同一である。
【００６５】
部分映像格納手段22について、図1および図5を用いて詳細に説明する。部分映像格納手段22は、部分映像生成手段15において生成される複数の部分映像を一旦格納し、部分映像連結再生手段からの部分映像選択指示131に応じて選ばれた部分映像123を送出する。部分映像格納手段に格納される部分映像は、経路情報101で示される各区間ごとに分割され、保存される。例えば、図5の経路情報が用いられる場合には、部分映像は区間1、区間10、区間20のそれぞれに対応する３つの部分映像となる。
【００６６】
ここで、部分映像123の送出については、部分映像連結再生手段での再生状況にかかわらず一括して送出する方式とすることも、部分映像連結再生手段での再生とタイミングを合わせて部分映像の先頭から順次送出する方式とすることも可能である。
【００６７】
また、部分映像を格納する方式としては、計算機上のムービーファイル（例えばMicrosoft社のAVI形式など）として保存する方法や、ビデオディスク装置の他、ＶＴＲ装置などの各種映像記録装置を用いることが可能であるが、本発明を効果的に実施するためには、部分映像選択指示131に瞬時に応答する必要があり、映像へのランダムアクセス性に優れる計算機上のムービーファイルやビデオディスク装置などを用いることが望ましい。
【００６８】
部分映像選択手段24は、利用者が利用者操作手段3を介して、ウォークスルー操作すなわち経路選択操作を行った際に、その時点で再生中の部分映像に対応する分岐情報121を参照することによって、次に再生すべき部分映像を決定し、その部分映像への切り換えを指示するための部分映像切換指示122を送出する機能を有する。また、分岐情報121を参照する際には、分岐情報格納手段21に対して分岐情報選択指示130を行う。
【００６９】
部分映像連結再生手段23について、図1、図4および図10を用いて詳細に説明する。部分映像連結再生手段23は、部分映像選択手段24からの部分映像切換指示122に応じて、次に再生する必要のある部分映像を部分映像選択指示131によって部分映像格納手段22から受け取り、切換前後の部分映像を連結再生し空間映像126として送出する。ここで、部分映像連結再生手段23は、部分映像を切り換え時に利用者が感じる違和感を低減するために、切り換え前後の部分映像を円滑に連結再生する機能を有する。
【００７０】
例えば、図4および図10の分岐点P1において、区間1の部分映像（部分映像Aとする）から区間10の部分映像（部分映像Bとする）に切り換える場合を考える。ここで、部分映像Aの310番目のフレームを再生している時点で、部分映像Bへの切り換えを指示する部分映像切換指示122が届いた場合に、瞬時に部分映像Aの再生を中断して部分映像Bへ切り換え再生したとすると、図10に示したところのP1'近くの点（すなわち部分映像Aのフレーム番号310の地点）の映像から、突然P2地点の映像（すなわち部分映像Bの最初のフレーム）に切り替わることになり、利用者に３次元空間での視点が不連続的に移動した違和感を与えることとなる。
【００７１】
そこで、本発明における部分映像連結手段23では、部分映像Aの310番目のフレームを再生している時点で、部分映像Bへの切り換えを指示する部分映像切換指示122が届いた場合でも、瞬時に部分映像の切り換えを行わずに、部分映像Aを最終フレーム（ここでは400）まで再生した後、部分映像Bの再生を開始する機能を有する。
【００７２】
これによって、部分映像Aと部分映像Bは、図10の経路上のP1地点で連続的に切り替わることになり、部分映像の継ぎ目における上記の違和感を確実に低減することが可能となる。この時、部分映像Aの最終フレームの値は、分岐情報格納手段21からの分岐情報121を参照することによって知ることができ、部分映像Aの現在再生中のフレーム番号は、部分映像連結再生手段23の内部情報として知ることができる（部分映像Aの先頭から、何フレーム再生したかを計数しておけば良い）。
【００７３】
さらに、部分映像Aから部分映像Bに切り換える際に、部分映像格納手段23から部分映像Bを受け取るまでに一定以上の時間を必要とする場合には、部分映像Aを最終フレームまで再生した後も、部分映像Bを再生開始することができず、空間映像126において何も映像が存在しない状態（ブランク状態）を生じる可能性がある。
【００７４】
このような場合、部分映像連結再生手段23においては、分岐情報121を参照することで部分映像Aにおける分岐点までのフレーム数を算出し、その間の部分映像Aの再生速度を通常より落すことによってブランク状態の発生を防ぐこと、あるいはブランク状態の期間を短縮することが可能である。
【００７５】
なお、映像切り換え時の違和感を低減する方法として、映像スイッチャ等で広く用いられるワイプやフェードインといった映像効果を用いることも可能であるが、これらは元々関連のない２つの映像を連結再生する際に効果的な方法である。しかしながら、本発明によるところの部分映像格納手段22に格納されている複数の部分映像は、元々一連の経路上をウォークスルーした映像を分岐点で分割したものであり、この場合はワイプやフェードインではなく、上記で述べた方式、すなわち部分映像切換指示を受けたタイミングにかかわらず、必ず部分映像の最終フレームで連結する方式の方がより効果的である。
【００７６】
以上によって、空間映像再生装置2は、前記空間映像生成装置1において生成された部分映像112および分岐情報111を一旦格納し、これらの情報を参照しつつ、利用者のウォークスルー操作に応じた経路選択操作情報125に応じて、複数の部分映像を違和感無く連結再生することによって、利用者が複数経路の中から所望の経路をウォークスルーすることを可能とする。この空間映像再生装置2における処理は、計算機性能としては一般の計算機が備えるムービーファイルの再生機能によって実現可能であり、３次元ＣＧのための専用ハードウェアなどの高価な装置を用いる必要はない。
【００７７】
【発明の効果】
第１の効果は、３次元ＣＧ専用のハードウェアを用いていないにもかかわらず、3次元空間情報およびウォークスルー経路の情報から、自動的にウォークスルー映像を、自動的に生成されるムービー形式の部分映像を用いて、利用者が選択的にウォークスルーできることに加えて、３次元空間情報やウォークスルー経路が変更された場合に、それを自動的に部分映像に反映することができる。
【００７８】
さらに、ウォークスルームービーを部分映像に分割して用いているため、３次元空間情報やウォークスルー経路が変更された場合には、すべての部分映像ではなく、その変更に関連する部分映像のみを再生成すればよい。これらによって、ウォークスルー映像生成時や映像更新時の作業量を従来技術と比較して格段に少なくすることが可能である。
【００７９】
第２の効果は、ムービーファイルの映像に含まれる視覚化オブジェクトと関連情報の関連を示すハイパーリンク情報を自動的に生成できることにある。これは、視覚化オブジェクトを含むウォークスルー映像を自動生成する際に、各フレームにおいて、視覚化オブジェクトが表示映像に含まれているか否かと、含まれている場合には画面上での位置に関する情報をも自動的に生成する手段を備えているからである。
【図面の簡単な説明】
【図１】 本発明による情報視覚化システムの構成図。
【図２】 視覚化オブジェクト情報の説明図。
【図３】 ハイパーリンク情報の説明図。
【図４】 分岐情報の説明図。
【図５】 経路の説明図。
【図６】 経路情報の説明図。
【図７】 ３次元空間映像の説明図。
【図８】 視覚化オブジェクトとバウンディングボックスの説明図。
【図９】 分岐路選択領域の説明図。
【図１０】 分岐点とフレーム番号の説明図。
【符号の説明】
1…空間映像生成装置
2…空間映像再生装置
3…利用者操作手段
4…ハイパーリンク処理手段
5…コンテンツ格納手段
6…ハイパーリンク情報格納手段
7…映像出力装置
11…経路情報格納手段
12…３次元空間形状情報格納手段
13…視覚化オブジェクト情報格納手段
14…分岐情報生成手段
15…部分映像生成手段
16…ハイパーリンク情報生成手段
21…分岐情報格納手段
22…部分映像格納手段
23…部分映像連結再生手段
24…部分映像選択手段
31…表示画面
32…３次元空間
33…視覚化オブジェクト
34…視覚化オブジェクト
35…バウンディングボックス
41…分岐路選択領域
42…分岐路選択領域
101…経路情報
102…３次元空間形状情報
103…視覚化オブジェクト情報
104…フレーム番号情報
105…視覚化オブジェクト選択領域情報
111…分岐情報
112…部分映像
113…ハイパーリンク情報
121…分岐情報
122…部分映像切換指示
123…部分映像
124…ハイパーリンク情報
125…経路選択操作情報
126…空間映像
127…視覚化オブジェクト選択操作情報
128…出力映像
129…関連情報
130…分岐情報選択指示
131…部分映像選択指示
Claims (6)
- ３次元空間情報を用いて３次元ＣＧウォークスルー映像を生成し、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換し、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割して、部分経路ウォークスルームービーを生成する部分映像生成手段と、
前記部分経路ウォークスルームービーに関する情報を前記部分映像生成手段から受け取り、当該受け取った情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐に関する分岐情報を生成する分岐情報生成手段とを備え、
空間映像再生装置に対して、利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示させることを特徴とする空間映像生成装置。 - 前記部分経路ウォークスルームービーに関する情報を前記部分映像生成手段から受け取り、当該受け取った情報と表示するオブジェクトに関する情報を示す視覚化オブジェクト情報とを用いて、前記部分経路ウォークスルー映像と前記オブジェクトとの表示関係を示すハイパーリンク情報を生成するハイパーリンク情報生成手段を備え、
ハイパーリンク処理手段に対して、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示する際に、前記ハイパーリンク情報を用いて前記オブジェクトを表示させることを特徴とする請求項１に記載の空間映像生成装置。 - 空間映像生成装置に対して、
３次元空間情報を用いて３次元ＣＧウォークスルー映像を生成させ、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換させ、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割することにより部分経路ウォークスルームービーを生成させ、当該生成させた部分経路ウォークスルームービーに関する情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐 に関する分岐情報を生成させ、
利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示することを特徴とする空間映像再生装置。 - ３次元空間情報および分岐情報を含むウォークスルー経路情報を基に、ウォークスルー経路に沿った３次元ＣＧ映像を生成し、この３次元ＣＧ映像をムービ形式のウォークスルームービー映像に変換し、さらにこのウォークスルームービー映像をウォークスルー経路の分岐点で分割し、ムービー形式の複数の部分映像を生成する部分映像生成手段と、
この部分映像生成手段によって生成された各部分映像の間の分岐接続に関する分岐情報を生成する分岐情報生成手段と、
この分岐情報生成手段によって生成された分岐情報を格納する分岐情報格納手段と、
前記部分映像生成手段によって生成された部分映像を格納し、後述する部分映像連結再生手段によって送出される部分映像選択指示に応じた特定の部分映像を送出する部分映像格納手段と、
この部分映像格納手段に格納された部分映像を、利用者の経路選択操作に応じて切り換えるための部分映像切換指示を送出する部分映像選択手段と、
この部分映像選択手段が送出する部分映像切換指示に応じて前記部分映像選択指示を送出すると同時に、前記特定の部分映像を連結再生する部分映像連結再生手段と
を有することを特徴とする情報視覚化システム。 - ３次元空間において視覚化されるコンテンツについての３次元形状情報、３次元位置情報および前記コンテンツの関連情報へのリンク情報を基に、それぞれの部分映像において前記コンテンツがどの場面のどの位置に表示されており、さらに利用者がそのコンテンツ映像を選択した際に、利用者に提示すべき関連情報が何であるかを示すハイパーリンク情報を生成するハイパーリンク情報生成手段
をさらに有することを特徴とする請求項４に記載の情報視覚化システム。 - ３次元空間情報を用いて３次元ＣＧウォークスルー映像を生 成し、当該３次元ＣＧウォークスルー映像をウォークスルームービーに変換し、部分経路に関する情報を示した経路情報に基づいて当該ウォークスルームービーを部分経路に沿ったウォークスルームービーに分割して、部分経路ウォークスルームービーを生成する部分映像生成処理と、
前記生成された部分経路ウォークスルームービーに関する情報と前記経路情報とを用いて、前記部分経路ウォークスルームービーの間の分岐に関する分岐情報を生成する分岐情報生成処理と、
利用者操作に従って、前記分岐情報を用いて前記部分経路ウォークスルームービーを連結して表示することを特徴とする情報視覚化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17166299A JP3641391B2 (ja) | 1999-06-17 | 1999-06-17 | 情報視覚化システム、空間映像生成装置、空間映像再生装置、情報視覚化方法 |
| US09/670,104 US6661439B1 (en) | 1999-06-17 | 2000-09-26 | Information visualization system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17166299A JP3641391B2 (ja) | 1999-06-17 | 1999-06-17 | 情報視覚化システム、空間映像生成装置、空間映像再生装置、情報視覚化方法 |
| US09/670,104 US6661439B1 (en) | 1999-06-17 | 2000-09-26 | Information visualization system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002327236A Division JP2003141570A (ja) | 2002-11-11 | 2002-11-11 | 情報視覚化システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001005998A JP2001005998A (ja) | 2001-01-12 |
| JP3641391B2 true JP3641391B2 (ja) | 2005-04-20 |
Family
ID=32178972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17166299A Expired - Fee Related JP3641391B2 (ja) | 1999-06-17 | 1999-06-17 | 情報視覚化システム、空間映像生成装置、空間映像再生装置、情報視覚化方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6661439B1 (ja) |
| JP (1) | JP3641391B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6961912B2 (en) * | 2001-07-18 | 2005-11-01 | Xerox Corporation | Feedback mechanism for use with visual selection methods |
| US20040205658A1 (en) * | 2002-02-21 | 2004-10-14 | International Business Machines Corporation | Data processor controlled interactive document editing display system with an implementation for swapping the positions of tow designated segments of data in a displayed document |
| US20050015370A1 (en) * | 2003-07-14 | 2005-01-20 | Stavely Donald J. | Information management system and method |
| US20060190812A1 (en) * | 2005-02-22 | 2006-08-24 | Geovector Corporation | Imaging systems including hyperlink associations |
| FI20055369A0 (fi) * | 2005-06-30 | 2005-06-30 | Nokia Corp | Menetelmä ja laite digitaalisten mediatiedostojen käsittelemiseksi |
| US9339932B2 (en) * | 2012-11-14 | 2016-05-17 | Fanuc America Corporation | Teaching point program selection method for robot simulator |
| JP6123618B2 (ja) * | 2013-09-30 | 2017-05-10 | 大日本印刷株式会社 | 映像出力装置、映像出力方法、及びプログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5566294A (en) * | 1989-09-29 | 1996-10-15 | Hitachi, Ltd. | Method for visual programming with aid of animation |
| JP3136209B2 (ja) | 1992-11-09 | 2001-02-19 | 松下電器産業株式会社 | プログラム動作視覚化装置及びプログラム動作視覚化方法 |
| US5790950A (en) * | 1994-03-18 | 1998-08-04 | Fujitsu Limited | Computer graphics apparatus having an improved walk-through function |
| EP0690378A1 (en) | 1994-06-30 | 1996-01-03 | Tandem Computers Incorporated | Tool and method for diagnosing and correcting errors in a computer programm |
| US6351321B1 (en) * | 1995-02-14 | 2002-02-26 | Eastman Kodak Company | Data scanning and conversion system for photographic image reproduction |
| US5956028A (en) * | 1995-09-14 | 1999-09-21 | Fujitsu Ltd. | Virtual space communication system, three-dimensional image display method, and apparatus therefor |
| JPH1011247A (ja) | 1996-06-20 | 1998-01-16 | Mitsubishi Electric Corp | コンピュータ制御視覚化装置 |
| US5929861A (en) * | 1996-08-23 | 1999-07-27 | Apple Computer, Inc. | Walk-through rendering system |
| JPH10107794A (ja) | 1996-09-30 | 1998-04-24 | Matsushita Electric Works Ltd | ネットワーク管理方法及びその装置及びそのシステム |
| JP3500027B2 (ja) | 1997-01-29 | 2004-02-23 | 日本電信電話株式会社 | 映像統合装置 |
| US6023714A (en) * | 1997-04-24 | 2000-02-08 | Microsoft Corporation | Method and system for dynamically adapting the layout of a document to an output device |
| US6480191B1 (en) * | 1999-09-28 | 2002-11-12 | Ricoh Co., Ltd. | Method and apparatus for recording and playback of multidimensional walkthrough narratives |
-
1999
- 1999-06-17 JP JP17166299A patent/JP3641391B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-26 US US09/670,104 patent/US6661439B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US6661439B1 (en) | 2003-12-09 |
| JP2001005998A (ja) | 2001-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107682688B (zh) | 基于增强现实的视频实时录制方法及录制设备 | |
| KR101623288B1 (ko) | 렌더링 시스템, 렌더링 서버, 그 제어 방법, 및 기록 매체 | |
| US11841901B2 (en) | Automatic video production device, automatic video production method, and video recording medium used therefor | |
| US11070724B2 (en) | Image processing apparatus and method | |
| US6307561B1 (en) | Animation generating apparatus and method | |
| JP3641391B2 (ja) | 情報視覚化システム、空間映像生成装置、空間映像再生装置、情報視覚化方法 | |
| KR20210028198A (ko) | 아바타 애니메이션 | |
| US20050104882A1 (en) | Mixed reality presentation method and mixed reality presentation apparatus | |
| JP2000250942A (ja) | 図書情報検索空間構築・検索装置および図書情報検索空間構築・検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2019103126A (ja) | カメラシステム、カメラ制御装置、カメラ制御方法及びプログラム | |
| JP2006196017A (ja) | アニメーション作成装置および方法、記憶媒体 | |
| KR20130067855A (ko) | 시점 선택이 가능한 3차원 가상 콘텐츠 동영상을 제공하는 장치 및 그 방법 | |
| JP3500027B2 (ja) | 映像統合装置 | |
| JP2003141570A (ja) | 情報視覚化システム | |
| JPH10222692A (ja) | 仮想空間表示装置 | |
| JP2015136069A (ja) | 映像配信システム、映像配信方法及び映像配信プログラム | |
| JP3712175B2 (ja) | 画像合成装置並びに方法及び情報記憶媒体 | |
| JP2021033347A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP3485459B2 (ja) | 被写体映像統合方法及び装置及び記録媒体 | |
| JP2001283244A (ja) | ３次元画像合成装置及び方法、情報記憶媒体、プログラム配信装置及び方法 | |
| JP7049515B1 (ja) | 情報処理装置、プログラム及び描画方法 | |
| JP7072706B1 (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
| JPH11184453A (ja) | 表示装置及びその制御方法、コンピュータ可読メモリ | |
| JPH0962866A (ja) | 情報提示装置 | |
| WO2023276252A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20020910 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050121 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130128 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |