JP3179318B2 - 情報提示装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、計算機を用いて３次元
空間映像の所望の位置にデータを配置することによって
検索などを目的としたデータ表示を行う機能を備えた情
報提示装置に関し、特に、表示すべきデータが動画像で
ある時に該動画像内部の空間と周辺の３次元空間映像と
を連続した空間として管理する機能と、死角にあるデー
タの存在を音声によって利用者に認知させる機能とを備
えることを特徴とする情報提示装置に関する。

【０００２】

【従来の技術】従来、計算機において臨場感ある映像出
力を行う方式として、３次元空間モデルに基づく透視変
換によって出力するＣＧ映像を決定する表示方式が知ら
れている。さらに、このＣＧ映像表示方式に実写動画像
を合成表示する方式として、３次元空間モデルに基づい
て表現されたＣＧ画像空間内の一つの平面あるいは曲面
図形に動画像を張り付けて表示する動画像テクスチャマ
ッピング方式が知られている（以下、従来方式１）。

【０００３】さらに、従来、計算機を用いた情報提示シ
ステムにおいて、計算機によって生成した３次元空間映
像の所望の位置に検索対象データを埋め込むことによっ
て視覚的な検索環境を構築し、該検索環境において利用
者が視点変更操作を行い３次元空間内を移動することに
よって検索を行うことのできるシステムが例えば「電子
図書館システム『Ｖｉｒｔｕａｌ Ｌｉｂｒａｒｙ』の
ユーザインタフェース」（第４８回情報処理学会全国大
会予稿集一分冊，ｐｐ．３４３−３４４）が知られてい
る（以下、従来方式２）。

【０００４】

【発明が解決しようとする課題】第１に、従来方式１に
示されるところの方式では、ＣＧ映像と動画像を合成を
制御するのは計算機上のプログラムである。この計算機
上のプログラムにおいては、動画像に映し出される物体
や空間の情報を抽出して合成方法を決定する処理は行わ
れておらず、もっぱらプログラム内部の状態に基づいて
合成方法（動画像の表示位置、表示サイズ、表示形状な
ど）を決定している。したがって、ＣＧ映像と動画像の
３次元空間的な特性（傾き、縮尺、明るさなど）に格差
が大きい場合には、合成後の映像を見る利用者に大きな
違和感を生じさせるという第１の問題があった。本発明
の第１の目的は、動画像の内容に含まれる３次元空間情
報を抽出し、その情報を合成方法を決定する判断基準に
加えることによって、ＣＧ映像と動画像のより自然な合
成を可能とし、さらに、ＣＧ映像と動画像の連続性を演
出する画像を生成して画像合成することによって、確実
に違和感の少ないＣＧ映像と動画像の合成を行うことに
ある。

【０００５】第２に、従来方式２に示されるところの方
式では、実世界を近似した空間を視覚的に表現してお
り、視覚的な障害物（例えば図書室の壁）が存在する空
間を３次元空間として表現した場合には、死角となる位
置のデータは見ることができないという問題点がある。
すなわち、３次元空間表示による情報提示を行う場合に
は、臨場感は向上するがその反面情報量が制限されてし
まうという第２の問題があった。本発明の第２の目的
は、画面の表示範囲にデータが存在しない場合であって
も、データと関連の深い音すなわち利用者がその音を聞
いて容易にデータを連想できるような音（例えばデータ
が鳥であればその鳴き声）を、画面に表示された３次元
空間に合わせた状態（例えば所望の音量や音声定位）に
加工して出力することによって、３次元空間表示の臨場
感を保ちつつ情報量の制限を解消することにある。

【０００６】

【課題を解決するための手段】本発明の第１の発明の情
報提示装置では上述した第１の問題点を解決するため
に、３次元空間モデルに基づいた情報提示空間を管理す
る情報提示空間管理手段と、前記情報提示空間管理手段
からの管理情報に基づいて提示すべきデータを含んだＣ
Ｇによる空間映像を生成する空間映像生成手段と、前記
提示すべきデータが動画像である場合に、前記動画像デ
ータを生成する動画像信号生成手段と、前記ＣＧによる
空間映像と前記動画像データを合成する画像合成手段
と、合成されたデータを表示する画像表示装置と、利用
者が操作入力を行う利用者操作入力手段とで構成され、
計算機内に蓄積されたデータと動画像データを３次元空
間モデルに基づいた空間表現を用いて提示する計算機シ
ステムの情報提示装置において、前記動画像データの内
容から前記動画像データで表現されている映像の３次元
情報を抽出する３次元情報抽出手段と、前記抽出した空
間情報を基に実写動画像の空間を３次元空間として前記
３次元空間モデルに統合する空間情報統合手段と、前記
統合した空間情報に基づいて情報提示空間と動画像空間
との連続性を演出する画像を生成する演出画像生成手段
と、から構成される動画像演出装置を備えたことを特徴
とし、ＣＧによる情報提示空間と動画像空間を違和感な
く合成表示することを可能とする。

【０００７】さらに、本発明の第２の発明の情報提示装
置では上述した第２の問題を解決するために、３次元空
間モデルに基づいた情報提示空間を管理する情報提示空
間管理手段と、前記情報提示空間管理手段からの管理情
報に基づいて提示すべきデータを含んだＣＧによる空間
映像を生成する空間映像生成手段と、前記提示すべきデ
ータが動画像である場合に、前記動画像データを生成す
る動画像信号生成手段と、前記ＣＧによる空間映像と前
記動画像データを合成する画像合成手段と、合成された
データを表示する画像表示装置と、利用者が操作入力を
行う利用者操作入力手段とで構成され、計算機内に蓄積
されたデータと動画像データを３次元空間モデルに基づ
いた空間表現を用いて提示する計算機システムの情報提
示装置において、提示すべきデータを利用者に聴覚的に
イメージさせるための効果音を生成する効果音生成手段
と、前記生成した効果音を加工する音声加工手段と、前
記情報提示空間管理手段の情報提示空間の管理情報に基
づいて前記効果音生成手段と前記音声加工手段とを制御
する音声演出制御手段と、前記加工された効果音を出力
する音声出力装置と、から構成される音声演出装置を備
えたことを特徴とし、画面の情報提示空間において表示
範囲に存在しないデータの存在を音声の有無や定位方向
によって表現することを可能とする。

【０００８】さらに、本発明の第３の発明は、第１の発
明である情報提示装置において、提示すべきデータを利
用者に聴覚的にイメージさせるための効果音を生成する
効果音生成手段と、前記生成した効果音を加工する音声
加工手段と、前記情報提示空間管理手段の情報提示空間
の管理情報に基づいて前記効果音生成手段と前記音声加
工手段とを制御する音声演出制御手段と、前記加工され
た効果音を出力する音声出力装置と、から構成される音
声演出装置をさらに備えたことを特徴とする。

【０００９】

【作用】第１の発明の演出画像によって、利用者に対し
て実写動画像と情報提示ＣＧ空間との連続性を印象づけ
ることが可能となり、情報提示空間と実写動画像の合成
表示において確実に違和感の少ない情報提示を行うこと
が可能となる。

【００１０】さらに、第２の発明の音声演出によって、
利用者に対して画面の表示範囲の外に存在するデータの
存在を知らせることが可能となり、例えば画面表示との
対話的な操作によって検索処理を行う場合などには、目
的のデータをより早く少ない操作で見つけ出すことが可
能となる。

【００１１】

【実施例】ここで、本発明の実施例について説明する。

【００１２】図１は本発明における情報提示装置を説明
するための構成の一実施例を表す構成図である。本発明
によるところの情報提示装置は、従来方式１による情報
提示手法を基本として画像合成方式を拡張した情報提示
基本装置３と、本発明の第１の発明によるところの動画
像と情報提示空間の連続性を演出する映像を生成するた
めの動画像演出装置１と、本発明の第２の発明によると
ころの表示範囲に存在しないデータの存在を音声の有無
や定位方向によって表現を可能とする音声演出装置２と
で構成される。

【００１３】動画像演出装置１は、実写動画像データ３
０１からその画像の３次元空間情報である動画像空間情
報１０１を抽出する３次元情報抽出手段１１と、３次元
情報抽出手段１１から得られる動画像空間情報１０１を
情報提示空間情報３０７に統合し統合空間情報１０２と
して送信すると同時に統合空間情報１０２に基づいた画
像合成指示１０４を送信する空間情報統合手段１２と、
ＣＧ情報提示空間画像３０４と実写動画像データ３０１
との連続性を効果的に表現する演出画像１０３を統合空
間情報１０２に基づいて生成する演出画像生成手段１３
とで構成される。ここで、動画像空間情報１０１とは、
実写動画像データ３０１に撮影されている空間や物体の
位置、大きさ、傾き、陰影の方向（すなわち光源との位
置関係）、明るさなどの要素を含むものとする。

【００１４】音声演出装置２は、音によって利用者にデ
ータを連想させることが可能なように、ＣＧや実写によ
る画像データと関連の深い音声データを蓄積しておくた
めの音声データ蓄積手段２１と、情報提示空間の情報提
示空間情報３０７に基づいて効果音生成指示２０４と音
声加工指示２０５を生成する音声演出制御手段２５と、
効果音生成指示２０４に応じて蓄積音声２０１を読み出
し演出効果音２０２を生成する効果音生成手段２２と、
音声加工指示２０５に基づいて演出効果音２０２を加工
する音声加工手段２３と、演出加工後音声２０３を出力
するための音声出力装置２４とで構成される。ここで、
音声加工手段２３としては、音声の定位、残響、周波数
特性、音量などを制御することのできる装置を用いるこ
とができる。

【００１５】情報提示基本装置３は、従来方式１で用い
られるところの従来型情報提示基本装置４を一部拡張し
たものである。まず、図５を用いて従来型情報提示基本
装置４について説明する。

【００１６】従来型情報提示基本装置４は、３次元空間
モデル情報を蓄積する３次元空間モデル蓄積手段３３
と、実写動画像を除く提示すべきデータを格納するデー
タ蓄積手段３２と、利用者が画面上でのポインティング
などの操作を行うための利用者操作入力手段３７と、空
間モデル情報３０３を基に構築した仮想的な情報提示空
間の状態を管理すると同時に利用者操作入力３０５に応
じて該情報提示空間の状態を更新した結果を情報提示空
間情報３０７として送出する情報提示空間管理手段３５
と、情報提示空間情報３０７から透視変換などによって
実際に画面に表示する空間映像を算出すると同時に画面
の表示範囲に含まれるデータを表示対象データ３０２と
してデータ蓄積手段３２から取り出し空間映像の所望の
位置に配置することによってＣＧ情報提示空間画像３０
４を生成すると同時に空間内に提示すべき動画像データ
がある場合に該動画像データを送出するための動画像制
御指示３０８を送信する空間映像生成手段３４と、実写
動画像データ３０１を生成する動画像信号生成手段３１
と、ＣＧ情報提示空間画像３０４と実写動画像を合成し
表示画像３０６とする画像合成手段３６と、画像表示装
置３８とで構成される。

【００１７】動画像信号生成手段３１としては、ビデオ
カメラなどの実時間映像入力装置や、ビデオディスクな
どの蓄積映像再生装置などを用いることが可能である。
また、空間映像生成手段３４における空間映像の算出方
式としては、透視変換以外にも３次元情報を２次元平面
に射影変換する一般的な手法（例えば正射影）を用いる
ことが可能である。

【００１８】図１と図５を用いて本発明における情報提
示基本装置３の構成について説明する。従来型情報提示
基本装置４では、画像合成手段３６における合成方法
（動画像の表示位置、表示サイズ、表示形状など）は、
空間映像生成手段３４からの画像合成指示３０９によっ
て決定される。一方、情報提示基本装置３では、合成方
法の判断基準の一つとして動画像に含まれる３次元情報
を用いるために、合成方法は動画像演出装置１からの画
像合成指示１０４によって決定される。さらに、情報提
示基本装置３では、画像合成手段３６は、ＣＧ情報提示
空間画像３０４と実写動画像データ３０２の合成に加え
て動画像演出装置１からの演出画像１０３をも合成する
機能を備える。

【００１９】次に、従来型情報提示基本装置４の処理に
ついて図５と図２を用いて詳細に説明する。図２は、情
報提示空間管理手段３５と空間映像生成手段３４と画像
合成手段３６とにおいて、蓄積されたデータを仮想的な
情報提示空間に配置し、実際に画面に表示する画像を算
出した後、実写動画像を合成する処理の一つの実施例を
示すものである。３次元空間モデル５２は、３次元空間
モデル蓄積手段３３に格納されるものであり、情報提示
空間の初期状態がこれによって定義される（ここでは、
３次元空間は道と樹木から成っている）。データベース
５１は、基本的なデータ管理手段の例として関係データ
ベースを用いた場合を示しており、情報提示空間管理手
段３５から参照可能な任意の場所に格納されているもの
とする。情報提示空間管理手段３５は、３次元空間モデ
ル５２で定義される空間に、データベース５１の各デー
タを配置することによって情報提示空間５３を構成す
る。データの配置は、利用者がより理解しやすくなるこ
とを目的として決定する。例えばここでは、「生物」と
いうデータベースの各データを、「種別」という属性を
基準に哺乳類と鳥類を道の左右に分けて配置している。
さらに、情報提示空間管理手段３５は、ポインティング
などによる利用者操作入力３０５から仮想的な視点およ
び視野を決定する。図１において情報提示空間管理手段
３５が送出するところの情報提示空間情報３０７は、情
報提示空間５３の情報と仮想的な視点および視野の情報
で構成される。次に、空間映像生成手段３４では、まず
情報提示空間情報３０７を基にＣＧ空間画像５４を算出
し、さらにＣＧ空間画像５４に含まれるべきデータの内
でデータ蓄積手段３２に格納されているもの、すなわち
図５における表示対象データ３０２からＣＧデータ画像
５５を生成し、ＣＧ空間画像５４の所望の位置にＣＧデ
ータ画像５５を配置してＣＧ情報提示空間画像３０４と
する。

【００２０】図２の実施例では、ＣＧデータ画像５５は
「ハト」を表現するＣＧ画像である。また、ＣＧ空間画
像５４の範囲に実写動画像データが含まれる場合には、
空間映像生成手段３４からの動画像制御指示３０８によ
って、該当する実写動画像データ３０１が動画像信号生
成手段３１より送信される。ここで、画像合成装置３６
では、空間映像生成手段からの画像合成指示３０９（例
えば、動画像の表示位置、表示サイズ、表示形状などの
情報を含む）に基づいて、図５における実写動画像デー
タ３０１を図２の実写動画像５６の様にＣＧ情報提示空
間画像３０４と合成し表示画像３０６を生成する。図２
の実施例では、実写動画像データ３０１は「ツバメ」を
撮影した実写動画像であり、表示画像３０６上に動画像
ウィンドウとして表示されている。

【００２１】また、本発明によるところの情報提示基本
装置３の処理は、画像合成装置３６に対する画像合成指
示の送信元が動画像演出装置１の内部となることを除い
て従来型情報提示基本装置４の場合と同様である。

【００２２】次に動画像演出装置１の処理について図３
を用いて詳細に説明する。図３（ａ）は本発明の第１の
発明による一実施例を示しており、３次元空間モデルに
基づいて表現されたＣＧ情報提示空間画像３０４と、該
ＣＧ情報提示空間内の所望の位置に配置された実写動画
像データ３０１との画像合成において実写動画像データ
３０１とＣＧ情報提示空間画像３０４の空間的な連続感
を演出するための演出画像４３を用いた様子を示してい
る。図３（ｂ）および図３（ｃ）は、従来方式によって
実写動画像データ３０１とＣＧ情報提示空間画像３０４
を合成した場合の例を示している。図３の例では（ａ）
（ｂ）（ｃ）いずれの場合も、ＣＧ情報提示空間画像３
０４の空間内に樹木を表現するＣＧ画像４４と樹木の陰
影４２が存在する状態において、陰影と重なる位置に実
写動画像データ３０１がウィンドウ表示されている。こ
こで、図３（ｂ）の従来例１は、オーバレイ方式によっ
て実写動画像データ３０１を表示した状態を示してお
り、実写動画像を表示するウィンドウと重なる領域のＣ
Ｇ画像はすべて隠されてしまう。図３（ｃ）の従来例２
は、アンダーレイ方式による画像合成の様子を示してい
る。この場合には、ＣＧによる陰影４２を実写動画像デ
ータ３０１の上に重ねて表示することが可能であるが、
従来方式では実写動画像データ３０１の空間情報をＣＧ
画像の３次元空間に統合する処理が行われていないた
め、実写動画像データの中に立体的な物体（この例では
建物）が存在するにもかかわらず、陰影４２は平坦な地
面に影を落とした状態となっている。このように従来方
式を用いた場合には、いずれの場合にも動画像データ３
０１とＣＧ情報提示空間画像３０４の連続感が表現され
ないため違和感のある表示画像となる。

【００２３】一方、本発明による実施例である図３
（ａ）では、３次元情報抽出手段１１において実写動画
像データ３０１に映された建物の立体的な情報（例え
ば、建物の各部の３次元座標値）を抽出し、これを空間
情報統合手段１２においてＣＧ情報提示空間画像３０４
の空間座標と統合し統合空間情報１０２とする。座標系
の統合は、例えば、３次元情報抽出手段１１において抽
出した３次元情報とまったく同じ３次元情報を持つＣＧ
立体図形を、ＣＧ情報提示空間内に仮に定義することに
より可能となる。図３（ａ）の例では、実写の建物と同
様のＣＧによる建物が、実写建物と同様の位置に存在す
るものとして仮に定義する。次に、演出画像生成手段１
３では、統合空間情報１０２を用いて例えば陰影計算を
行うことによって、統合された空間での陰影画像（すな
わち演出画像）を算出することができる。図３（ａ）の
例では、統合空間での陰影計算によって建物の壁に写っ
た形状の陰影画像を演出映像４３として得ている。この
演出映像４３を、従来例１と同様の方式によって合成さ
れた動画像データ３０１とＣＧ情報提示空間画像３０４
の合成画像の上に、従来例２の方式によってさらに合成
することによって図３（ａ）に示す表示画像を出力する
ことが可能となる。これによって、ＣＧ情報提示空間と
実写動画像の空間があたかも連続したものであるかのよ
うな視覚的な効果が得られる。ここで、３次元情報抽出
手段１１における３次元情報の抽出方式としては、画像
認識によって抽出する方式や、蓄積動画像を対象として
予め時系列に沿って画像に写っている物体や空間の３次
元空間情報を手動や半手動で抽出しておき、実行時には
時間をパラメータとして３次元空間情報を得る方式や、
カメラで同時に撮影している場合にカメラを固定あるい
は半固定方式として撮影の対象を限定し、それによって
撮影される映像の３次元情報を予め算出しておく方式な
どがある。

【００２４】連続感を演出する演出画像１０３の別の実
施例としては、動画像データ３０１とＣＧ情報提示空間
画像３０４の明るさに格差がある場合に、両画像の境界
領域に明るさを段階的に変化させたＣＧ画像を演出画像
１０３として表示することによって連続感を演出する方
式がある。

【００２５】また、画像合成指示１０４を用いて連続感
を演出する実施例として、動画像データ３０１とＣＧ情
報提示空間画像３０４の双方に本来同程度の大きさの物
体が、それぞれまったく異なる大きさで表示されている
場合（例えば双方に大きさの格差の大きい人間が表示さ
れている場合）に、画像合成指示１０４によって実写動
画像を拡大あるいは縮小して双方の物体の大きさを同程
度に合わせてから画像合成する方式がある。

【００２６】また、画像合成指示１０４を用いて連続感
を演出する実施例として、動画像データ３０１とＣＧ情
報提示空間画像３０４に表示される光線の方向（あるい
は、陰影の伸びる方向）が食い違っている場合に、画像
合成指示１０４によって実写同画像データ３０１の向き
を変換することによって、両者の差を軽減する方式があ
る。

【００２７】次に、音声演出装置２の処理について図
１、図２、図４を用いて詳細に説明する。ここでは、音
声加工手段２３としては音声の定位を制御する装置を用
いるものとする。

【００２８】図２に示すように、情報提示基本装置３で
は対象データを例えばデータの属性値を基準として情報
提示空間内に配置する。ここで、利用者がポインティン
グなどの利用者操作入力３０５によってこの空間内での
視点の位置を変化させることによって対象データを捜す
処理、すなわち視覚的な操作による検索処理を行うこと
が考えられる。本発明の第２の発明における音声演出装
置２は、このような検索処理において視覚的には提示さ
れていない情報を音声によって利用者に伝えることを可
能とするものである。音声演出制御手段２５は、現在の
情報提示空間を表現する情報提示空間情報３０７を受け
取ることによって、画面の状態を知ることができる。そ
こで、音声演出制御手段２５は、画面の状態と予め決め
られた基準とを比較評価することによって、音声演出を
行うか否かを決定する。予め決める基準としては、例え
ば、利用者操作入力に伴う画面の移動において、ある区
間を一定回数以上繰り返し往復移動しているか否かとい
う条件が挙げられる。この場合、一定回数以上往復して
いれば利用者が迷っていることが推定されるので、音声
演出を行うことが適当であると判断できる。

【００２９】例えば、図２の表示画像３０６では「ライ
オン」のデータは画面左方の表示範囲外に配置されてい
る状態であり、ここで音声演出を行うと決定した場合を
考える。この場合には、音声演出制御手段２５は効果音
生成指示２０４を効果音生成手段２２に対して送る。図
４の実施例においては、効果音生成指示２０４は「ライ
オン」を印象付ける音声（例えばライオンの鳴き声）を
音声データ蓄積手段２１から取り出すことを効果音生成
手段２２に対して指示するものとなる。また音声演出制
御手段２５は、これと並行して音声加工手段２３に対し
て音声加工指示２０５を送信する。図４の実施例におい
ては、音声加工指示２０５は、「ライオン」の鳴き声を
画面左方に定位させるような指示となる。これによっ
て、演出加工後音声２０３は「ライオン」の鳴き声を画
面左方へ定位させた音声となる。以上の処理を行うこと
により、例えば利用者が「ライオン」のデータを捜して
いれば、左方から聴こえる該演出音声を手がかりとして
容易に「ライオン」のデータの位置を知ることができ、
円滑に視点を左方向へ移動することが可能となる。

【００３０】

【発明の効果】以上、詳細に説明したように、３次元情
報抽出手段１１と空間情報統合手段１２によって、実写
動画像の空間情報を情報提示空間の３Ｄ空間モデルに統
合し、演出画像生成手段１３によって実写動画像で表示
された物体が情報提示空間に平面ではなく立体的なもの
として存在していることを示す演出画像を生成する。こ
れによって、利用者に対して実写動画像と情報提示ＣＧ
空間との連続性を印象づけることが可能となり、情報提
示空間と実写動画像の合成表示において確実に違和感の
少ない情報提示を行うことが可能となる。

【００３１】さらに、効果音生成手段２２と音声演出制
御手段２５によって画面の表示範囲の外に存在するデー
タについて、その内容を利用者にイメージさせる演出音
声を生成し、音声加工手段２３と音声演出制御手段２５
によって、該演出音声を画面に表示された情報提示空間
に合わせて加工することにより、画面の表示範囲の外に
存在するデータについても、演出音声の種別や有無や定
位方向などによって利用者にデータの存在を知覚させる
ことができる。これによって、利用者が情報提示空間か
ら得る情報量が増加し、情報提示空間に対する操作（例
えば検索）を行う場合に、無駄な操作を確実に減少させ
ることが可能となる。

【図面の簡単な説明】

【図１】本発明による情報提示装置の構成の一実施例を
示す構成図

【図２】本発明の情報提示基本装置の処理を説明する図

【図３】本発明の動画像演出装置を説明する図

【図４】本発明の音声演出装置を説明する図

【図５】従来技術の情報提示基本装置を説明する構成
図。

【符号の説明】

１ 動画像演出装置 ２ 音声演出装置 ３ 情報提示基本装置 ４ 従来型情報提示基本装置 １１ ３次元情報抽出手段 １２ 空間情報統合手段 １３ 演出画像生成手段 ２１ 音声データ蓄積手段 ２２ 効果音生成手段 ２３ 音声加工手段 ２４ 音声出力装置 ２５ 音声演出制御手段 ３１ 動画像信号生成手段 ３２ データ蓄積手段 ３３ ３次元空間モデル蓄積手段 ３４ 空間映像生成手段 ３５ 情報提示空間管理手段 ３６ 画像合成手段 ３７ 利用者操作入力手段 ３８ 画像表示装置 ４２ 陰影 ４３ 演出画像 ４４ ＣＧ画像 ５１ データベース ５２ ３次元空間モデル ５３ 情報提示空間 ５４ ＣＧ空間画像 ５５ ＣＧデータ画像 ５６ 実写動画像 １０１ 動画像空間情報 １０２ 統合空間情報 １０３ 演出画像 １０４ 画像合成指示 ２０１ 蓄積音声 ２０２ 演出効果音 ２０３ 演出加工後音声 ２０４ 効果音生成指示 ２０５ 音声加工指示 ３０１ 実写動画像データ ３０２ 表示対象データ ３０３ 空間モデル情報 ３０４ ＣＧ情報提示空間画像 ３０５ 利用者操作入力 ３０６ 表示画像 ３０７ 情報提示空間情報 ３０８ 動画像制御指示 ３０９ 画像合成指示

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０９Ｇ 5/377 Ｇ０９Ｇ 5/36 ５２０Ｍ (72)発明者 広明 敏彦 東京都港区芝五丁目７番１号 日本電気 株式会社内 (72)発明者 呂 山 東京都港区芝五丁目７番１号 日本電気 株式会社内 (56)参考文献 特開 平７−212653（ＪＰ，Ａ) 特開 平７−72877（ＪＰ，Ａ) 特開 平８−65573（ＪＰ，Ａ) テレビジョン学会技術報告Ｖｏｌ. 18，Ｎｏ．74，ＰＰ13−18，平成６年12 月２日発行

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】利用者の仮想的な視点及び視野を決定する
   ための視覚管理情報を入力するための利用者操作入力手
   段と、 ３次元空間モデルに基づいた情報提示空間と前記視覚管
   理情報とを含む管理情報を管理する情報提示空間管理手
   段と、 前記情報提示空間管理手段からの前記管理情報に基づい
   て提示すべきデータを含んだＣＧによる空間映像を生成
   する空間映像生成手段と、 前記提示すべきデータが動画像である場合に、前記動画
   像データを生成する動画像信号生成手段と、 前記ＣＧによる空間映像と前記動画像データを合成する
   画像合成手段と、 合成されたデータを表示する画像表示装置とを含んで構
   成され、計算機内に蓄積されたデータと動画像データを
   ３次元空間モデルに基づいた空間表現と前記視覚管理情
   報とを用いて提示する計算機システムの情報提示装置に
   おいて、前記 提示すべきデータを利用者に聴覚的にイメージさせ
   るための効果音を生成する効果音生成手段と、 前記生成した効果音を加工する音声加工手段と、 前記情報提示空間管理手段の前記管理情報に基づいて前
   記効果音生成手段と前記音声加工手段とを制御する音声
   演出制御手段と、 前記加工された効果音を出力する音声出力装置とを含ん
   で構成する音声演出装置を備えたことを特徴とする情報
   提示装置。
2. 【請求項２】利用者の仮想的な視点及び視野を決定する
   ための視覚管理情報を入力するための利用者操作入力手
   段と、 ３次元空間モデルに基づいた情報提示空間と前記視覚管
   理情報とを含む管理情報を管理する情報提示空間管理手
   段と、 前記情報提示空間管理手段からの前記管理情報に基づい
   て提示すべきデータを含んだＣＧによる空間映像を生成
   する空間映像生成手段と、 前記提示すべきデータが動画像である場合に、前記動画
   像データを生成する動画像信号生成手段と、 前記ＣＧによる空間映像と前記動画像データを合成する
   画像合成手段と、 合成されたデータを表示する画像表示装置とを含んで構
   成され、計算機内に蓄積されたデータと動画像データを
   ３次元空間モデルに基づいた空間表現と前記視覚管理情
   報とを用いて提示する計算機システムの情報提示装置に
   おいて、 前記動画像データの内容から前記動画像データで表現さ
   れている映像の３次元情報を抽出する３次元情報抽出手
   段と、 前記抽出した空間情報を基に実写動画像の空間を３次元
   空間として前記３次元空間モデルに統合する空間情報統
   合手段と、 前記統合した空間情報に基づいて情報提示空間と動画像
   空間との連続性を演出する画像を生成する演出画像生成
   手段と、を備え、 提示すべきデータを利用者に聴覚的にイメージさせるた
   めの効果音を生成する効果音生成手段と、 前記生成した効果音を加工する音声加工手段と、 前記情報提示空間管理手段の前記管理情報に基づいて前
   記効果音生成手段と前記音声加工手段とを制御する音声
   演出制御手段と、 前記加工された効果音を出力する音声出力装置とを含ん
   で構成する音声演出装置をさらに備えたことを特徴とす
   る情報提示装置。