JPH113195A - インタラクティブシステム及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】操作者の自由な動きを妨げることなく操作者の
動作を検出し、操作者が自然に感じることのできる臨場
感に富んだインタラクティブシステムを提供することを
目的とする。 【解決手段】入力される制御信号に応じて表示される映
像が変化するように構成されたインタラクティブシステ
ム１であって、映像を表示するディスプレイ装置１２、
ディスプレイ装置１２の前方に存在する対象物の空間的
位置を検出するための位置検出センサ２１、位置検出セ
ンサ２１の出力に基づいて対象物の空間的位置の予め定
められた基準位置からの変位を検出する変位検出手段３
１、対象物の発する音声を検出するためのマイクロフォ
ンＭＣ１、音声を解析する音声解析手段３２、変位及び
音声の解析結果に応じてディスプレイ装置１２に表示さ
れる映像の内容を変更するように制御する映像制御手段
３３を有してなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば画面を見て
いる人間の動きと音声を検出し、これによって入力され
る制御信号に応じて表示される映像が変化するように構
成されたインタラクティブシステム及び記憶媒体に関す
る。

【０００２】近年において、３次元グラフィックスによ
って仮想都市や仮想店舗などの仮想空間（サイバースペ
ース）の映像を画面に表示し、表示された仮想空間を変
化させてそれを見ている人間があたかもその仮想空間の
中を歩き回っているかのような疑似体験をすることので
きる、インタラクティブなアプリケーションがしばしば
用いられている。

【０００３】そのようなウォークスルーの疑似体験又は
ゲームなどのアプリケーションの効果を一層高め、より
臨場感のあるものとするために、人間にとってより自然
に感じることのできるマンマシンインタフェースが求め
られている。

【０００４】

【従来の技術】従来のインタラクティブなアプリケーシ
ョンにおいては、画面に表示される映像（画像）を制御
するための入力インタフェースとして、キーボード、マ
ウス、ジョイパッドなどの入力操作機器を用い、操作者
がそれらの機器を自身の手先で操作することが一般的で
ある。

【０００５】また、人間が知りたいさまざまな情報をま
るで現実と同じように体験するようにしたバーチャルリ
アリティシステムでは、電磁位置センサ又はデータグロ
ーブなどの新しい入力インタフェースが用いられてい
る。これらは操作者に装着され、操作者の頭や手の動き
を直接に検出し、その検出出力に基づいて画面又は機器
の動作が制御される。

【０００６】

【発明が解決しようとする課題】さて、例えば映像とし
て仮想都市を画面に表示し、その仮想都市のウォークス
ルーを体験する場合において、映像を表示する画面が大
きければ大きい程、体感できる臨場感や現実感は増大す
る。

【０００７】しかし、マウスやキーボードなどの機器を
用いて大画面の映像を制御しようとすると、大画面の極
近傍に着席した操作者は画面を凝視することが困難とな
るので、大画面である場合にはこれは余り実用的とはい
えない。

【０００８】また、電磁位置センサ又はデータグローブ
などを用いて大画面の映像を制御した場合には、それら
の機器を操作者の身体に装着しなければならず、しかも
データの送受のためのケーブルを接続する場合もあるの
で、操作者の自然な動作を妨げるという問題がある。

【０００９】本発明は、上述の問題に鑑みてなされたも
ので、操作者の自由な動きを妨げることなく操作者の動
作を検出し、操作者が自然に感じることのできる臨場感
に富んだインタラクティブシステム及びそれに用いる記
憶媒体を提供することを目的とする。

【００１０】

【課題を解決するための手段】請求項１の発明に係るイ
ンタラクティブシステムは、入力される制御信号に応じ
て表示される映像が変化するように構成されたインタラ
クティブシステムであって、前記映像を表示する表示手
段と、前記表示手段の前方に存在する対象物の空間的位
置を検出するための位置検出センサと、前記位置検出セ
ンサの出力に基づいて、前記対象物の空間的位置の予め
定められた基準位置からの変位を検出する変位検出手段
と、前記対象物の発する音声を検出するための音声検出
センサと、前記音声検出センサにより検出された音声を
解析する音声解析手段と、前記変位検出手段から出力さ
れる変位及び前記音声解析手段から出力される解析結果
に応じて、前記表示手段に表示される映像の内容を変更
するように制御する映像制御手段と、を有してなる。

【００１１】請求項２の発明に係るインタラクティブシ
ステムでは、前記映像制御手段は、前記変位検出手段に
より検出された変位に対応して前記表示手段に表示され
た映像中の特定のオブジェクトを指定し、指定されたオ
ブジェクトに割り当てられた制御コマンドを、前記音声
解析手段による解析結果に対応して起動する。

【００１２】請求項３の発明に係るインタラクティブシ
ステムでは、前記変位検出手段により検出される変位に
対応して前記表示手段に表示される映像を移動させ、表
示されている映像中のオブジェクトが前記表示手段の表
示領域中に設定されたマーカ領域に入ったときに、前記
特定のオブジェクトを指定する。

【００１３】請求項４の発明に係るインタラクティブシ
ステムでは、前記変位検出手段により検出される変位に
対応して前記表示手段に表示されるマーカカーソルを移
動させ、前記マーカカーソルによって、前記表示手段に
表示されている映像の中から前記特定のオブジェクトを
指定する。

【００１４】請求項５の発明に係るインタラクティブシ
ステムでは、前記音声解析手段は、前記音声検出センサ
により検出された音声の大きさを解析し、前記映像制御
手段は、前記音声解析手段による解析結果に基づいて、
前記オブジェクトに割り当てられている複数の制御コマ
ンドの中から選択された制御コマンドを起動する。

【００１５】請求項６の発明に係るインタラクティブシ
ステムでは、前記音声解析手段は、前記音声検出センサ
により検出された音声の周波数成分を解析し、前記映像
制御手段は、前記音声解析手段による解析結果に基づい
て、前記オブジェクトに割り当てられている複数の制御
コマンドの中から選択された制御コマンドを起動する。

【００１６】請求項７の発明に係るインタラクティブシ
ステムでは、前記音声解析手段は、前記音声検出センサ
により検出された音声の言語的意味を解析し、前記映像
制御手段は、前記音声解析手段による解析結果に基づい
て、前記オブジェクトに割り当てられている複数の制御
コマンドの中から選択された制御コマンドを起動する。

【００１７】請求項８の発明に係るインタラクティブシ
ステムでは、前記位置検出センサは、前記表示手段の基
部において、前記映像の表示される画面と平行な方向に
沿って配置された複数の赤外線距離センサである。

【００１８】請求項９の発明に係る記憶媒体は、表示手
段の前方に存在する対象物の空間的位置を検出するため
の位置検出センサの出力に基づいて、前記対象物の空間
的位置の予め定められた基準位置からの変位を検出する
変位検出手段と、音声検出センサにより検出される前記
対象物の発する音声を解析する音声解析手段と、前記変
位検出手段から出力される変位及び前記音声解析手段か
ら出力される解析結果に応じて、前記表示手段に表示さ
れる映像の内容を変更するように制御する映像制御手段
と、をコンピュータ上で実現するためのプログラムを記
憶したコンピュータ読み取り可能な記憶媒体である。

【００１９】本発明に係るインタラクティブシステム１
における映像の制御を、図８及び図９の例にしたがって
説明する。図８（Ａ）において、画面ＨＧの中央付近に
建物が表示され、その右方に出入口の扉ＴＣが表示され
ている。画面ＨＧの中央にはマーカ領域ＥＭが表示され
ている。操作者ＯＰが自身の体を前後左右に移動して画
面ＨＧ上の映像ＦＧ１１を移動させ、図８（Ｂ）に示す
ように扉ＴＣを画面ＨＧの中央に持ってきてマーカ領域
ＥＭに入れる。これによって、オブジェクトである扉Ｔ
Ｃが指定されたことになる。扉ＴＣには例えば「中に入
る」という制御コマンドが割り当てられている。

【００２０】操作者ＯＰが拍手を２回して２つの連続す
る制御信号ＳＣを発生させると、「中に入る」という制
御コマンドが起動され実行される。これによって、画面
ＨＧは、図８（Ｃ）に示すように建物の内部の映像ＦＧ
１３に切り替わる。

【００２１】図８の例では、操作者ＯＰは、自分の位置
を前後左右に移動して映像の中をウオークスルーするこ
とができる。画面ＨＧに表示されたマーカ領域ＥＭは位
置が固定され、映像が移動する。音声解析部３２から制
御信号ＳＣが出力された場合に、マーカ領域ＥＭに入っ
たオブジェクトに割り当てられた制御コマンドが実行さ
れる。オブジェクトに複数の制御コマンドが割り当てら
れている場合には、制御信号ＳＣの個数又は内容によっ
て制御コマンドが選択され、実行される。

【００２２】図９において、３次元仮想都市の映像が表
示されており、操作者ＯＰの位置の移動に応じてマーカ
カーソルＣＭの位置が移動する。マーカカーソルＣＭが
画面ＨＧの端までくると次のシーンの映像が表示され
る。また、音声による制御信号ＳＣによって制御コマン
ドを起動すると、その制御コマンドに応じて、他の異な
る映像が表示される。

【００２３】本発明に係るインタラクティブシステム
は、例えばパーソナルコンピュータ又はワークステーシ
ョンと大型の画面ＨＧを有するディスプレイ装置を用い
て実現される。本発明に係る映像の制御を実行するため
のプログラムは、半導体メモリ、ハードディスク、ＣＤ
−ＲＯＭ、フロッピーディスク、又は光磁気ディスクな
どの記憶媒体に格納される。記憶媒体に格納されたプロ
グラムは、必要に応じ、ＣＤ−ＲＯＭドライブ、フロッ
ピーディスクドライブ、又は光磁気ディスクドライブな
どを用いて適時読み出される。記憶媒体が例えばサーバ
内に設けられている場合には、通信回線を介してサーバ
からプログラムが読み取られ又はダウンロードされる。
プログラムは、種々のＯＳ、プラットホーム、システム
環境、又はネットワーク環境の下で動作するように供給
可能である。

【００２４】

【発明の実施の形態】図１は本発明に係るインタラクテ
ィブシステム１の構成を示すブロック図、図２はディス
プレイ装置１２及び位置検出センサ群２１を示す図、図
３は位置検出センサ群２１による検出範囲ＥＲの状態を
示す図である。

【００２５】図１において、インタラクティブシステム
１は、処理装置１１、人物の高さと同程度の大きい画面
例えば１００インチ以上の画面ＨＧを有したディスプレ
イ装置１２、磁気ディスク装置１３、キーボード１４、
マウス１５、媒体ドライブ装置１６、位置検出センサ群
２１、及び音声検出センサとしてのマイクロフォンＭＣ
１などから構成される。プリンタ装置も必要に応じて接
続される。図示は省略したが、ケーブルにより通信回線
を介してネットワークに接続されている。

【００２６】磁気ディスク装置１３には、種々の映像デ
ータ又は画像データのファイル、それらのファイルによ
るデータベース、映像を提示する種々のアプリケーショ
ンプログラム、その他の種々のプログラム又はデータが
格納されている。それらのプログラム又はデータは適時
メインメモリにロードされる。磁気ディスク装置１３に
格納されたファイルなどに基づいて、画面ＨＧに動画又
は静止画による映像（画像）が表示される。

【００２７】媒体ドライブ装置１６は、フロッピィディ
スクドライブ、ＣＤ−ＲＯＭドライブ、光磁気ディスク
ドライブなどであり、それぞれに対応する記憶媒体、例
えばＣＤ−ＲＯＭ４１、フロッピィディスク４２をセッ
トしてアクセス可能である。なお、これらの記憶媒体に
よって、種々の映像、画像、アプリケーションプログラ
ム、及びデータなどが供給され、適宜、磁気ディスク装
置１３やメインメモリに転送される。

【００２８】検出センサ群２１は、ディスプレイ装置１
２の画面ＨＧの前方に立っている操作者ＯＰの空間的位
置を検出するためのものであり、多数の赤外線距離セン
サＳＥ１，ＳＥ２…からなる。

【００２９】マイクロフォンＭＣ１は、ディスプレイ装
置１２の上部中央に設置され、操作者ＯＰなどの発する
音声をとらえて電気信号である出力信号ＳＢに変換す
る。但し、マイクロフォンＭＣ１の設置場所は任意であ
り、複数個のマイクロフォンを用いて音源位置又は音源
方向を検出することも可能である。

【００３０】処理装置１１には、図示しないＣＰＵ（中
央処理装置）、メモリ、グラフィックス・アクセラレー
タ、モデム、音源、種々のインタフェース回路、及びそ
の他の周辺回路などが内蔵されている。メモリとして、
ＢＩＯＳ及びＯＳなどを格納したＲＯＭ、メインメモリ
又はキャッシュメモリとして用いられるＲＡＭ、及びビ
デオＲＡＭなどが含まれる。

【００３１】処理装置１１は、磁気ディスク装置１３か
ら読み出したフィルなどに基づいて画面ＨＧに映像を表
示するための処理、その他の種々の処理を行う。処理装
置１１には、変位検出部３１、音声解析部３２、及び映
像制御部３３が設けられてる。

【００３２】変位検出部３１は、検出センサ群２１から
の出力信号ＳＡに基づいて、操作者ＯＰの空間的位置の
予め定められた基準位置ＰＳからの変位を検出する。音
声解析部３２は、マイクロフォンＭＣ１からの出力信号
ＳＢを元にして、検出された音声を解析する。

【００３３】映像制御部３３は、変位検出部３１から出
力される変位及び音声解析部３２から出力される解析結
果に応じて、画面ＨＧに表示される映像の内容を変更す
るように制御する。処理装置１１のこれらの処理は、メ
インメモリ又は磁気ディスク装置１３などに格納された
プログラムをＣＰＵが実行することにより実現される。
処理装置１１として、いわゆるパーソナルコンピュータ
又はワークステーションなどを利用することができる。

【００３４】図２及び図３に示すように、検出センサ群
２１を構成する赤外線距離センサＳＥ１，２，３…は、
ディスプレイ装置１２の基部１２１において、画面ＨＧ
と平行な方向に沿って互いに等間隔に配置されている。
各赤外線距離センサＳＥは、それぞれの前方方向に存在
する物体までの距離を、それぞれ限られた角度範囲にお
いて計測するように取り付けられている。したがって、
これら赤外線距離センサＳＥ１，２，３…からの出力信
号ＳＡ１，２，３…を総合することによって、画面ＨＧ
の前方に立っている操作者ＯＰの空間的位置が検出され
る。

【００３５】検出範囲ＥＲは、検出センサ群２１によっ
て操作者ＯＰを検出することの可能な範囲を示す。検出
範囲ＥＲの中の特定の位置が、基準位置ＰＳとして予め
定められている。つまり、処理装置１１の変位検出部３
１では、検出センサ群２１からの出力信号ＳＡに基づい
て、操作者ＯＰの基準位置ＰＳからの変位、つまり変位
方向ＤＲ及び変位量ＤＶを検出する。

【００３６】なお、基準位置ＰＳは、画面ＨＧの概ね正
面に人物が立って映像を眺めることを想定して、画面Ｈ
Ｇの正面中央から少し偏った位置に設定されている。し
かし、画面ＨＧの正面中央であってもよい。

【００３７】変位方向ＤＲは、基準位置ＰＳを中心とし
て、画面ＨＧに近づく方向が前進方向Ｆ、遠ざかる方向
が後退方向Ｂであり、画面ＨＧと平行な方向が右方向Ｒ
及び左方向Ｌである。なお、基準位置ＰＳからの任意の
方向は、その成分である複数の方向で示される。

【００３８】処理装置１１の映像制御部３３では、変位
方向ＤＲ及び変位量ＤＶに応じて、画面ＨＧに表示され
る映像又はマーカカーソルを移動させる。映像又はマー
カカーソルのいずれを移動させるかは、映像を表示する
アプリケーションプログラムの内容による。映像の移動
は次のように行われる。

【００３９】すなわち、変位方向ＤＲが前進方向Ｆであ
る場合には映像を拡大し、後退方向Ｂである場合には映
像を縮小し、右方向Ｒである場合に映像を右に平行移動
し、左方向Ｌである場合に映像を左に平行移動する。ま
た、映像を移動させる場合に、変位量ＤＶの大きさに応
じて映像の移動速度を大きくする。変位量ＤＶが零であ
る場合、つまり操作者ＯＰが基準位置ＰＳにいる場合に
は、映像はその状態で停止している。

【００４０】したがって、検出範囲ＥＲに立った操作者
ＯＰは、基準位置ＰＳからの自分自身の変位方向ＤＲ及
び変位量ＤＶによって、画面ＨＧに表示された映像を操
作することができる。

【００４１】画面ＨＧには、予めマーカ領域が設定され
ており、映像の移動によって映像中のオブジェクトがマ
ーカ領域に入ったときに、そのオブジェクトが特定のオ
ブジェクトとして指定される。

【００４２】オブジェクトとして、例えば、建物の入口
の扉、案内板、看板、人物、仮想生物、種々のアイコン
など、種々のものが考えられる。それらのオブジェクト
には、予め１つ又は複数の制御コマンドが割り当てられ
ている。何がオブジェクトであるか、またどのような制
御コマンドであるかは、映像を提示するアプリケーショ
ンプログラムによる。

【００４３】図４は画面ＨＧに表示されて制御された映
像ＦＧの例を示す図である。ここでは、３次元グラフィ
ック技術を用いて構築した３次元仮想都市の中を、あた
かも実際に歩いて動き回っているように表示される映像
ＦＧを用いた例について説明する。

【００４４】この場合、３次元仮想都市を表現するデー
タをコンピュータ内部に記憶しておき、その中に仮想的
に人間を配置したときの視点を設定することで、その人
間の目に見える都市の情景を画面表示用の映像ＦＧとし
て再構築して画面ＨＧに表示する。

【００４５】例えば、この視点位置を仮想都市内の道に
沿って前方に順次移動させていき、それに対応させて映
像の再構築を行って画面ＨＧに表示していけば、あたか
も道に沿って仮想都市内を歩いていくように映像ＦＧが
変化していく。

【００４６】図４において、中央に示す画面ＨＧ０に
は、操作者ＯＰが基準位置ＰＳに立ったときの３次元仮
想都市の映像ＦＧ０が表示されている。操作者ＯＰが基
準位置ＰＳから画面ＨＧの方向に近づいた場合には、上
記の視点の設定位置を３次元仮想都市の前方へ順次移動
させることで、仮想都市内を歩いて前進していくように
映像ＦＧが変化していく。

【００４７】また、操作者ＯＰが画面ＨＧから離れた場
合には、上記の視点の設定位置を３次元仮想都市内の後
方へ順次移動させることで、仮想都市内で後ずさりして
いくように映像ＦＧが変化していく。

【００４８】同様に、操作者ＯＰが基準位置ＰＳから右
方向へ移動した場合には、視点の設定位置を３次元仮想
都市内の右方向へ順次移動させることで、仮想都市内で
右方向に平行移動していくように映像ＦＧが変化してい
き、左方向へ移動した場合には、上記の視点の設定位置
を３次元仮想都市内の左方向へ順次移動させることで、
左方向に平行移動していくように映像ＦＧが変化してい
く。

【００４９】その時の映像ＦＧの変化速度、すなわち視
点の移動速度は、操作者ＯＰの基準基準位置ＰＳからの
変位量ＤＶに比例する。図４の画面ＨＧ０の上下左右に
示された画面ＨＧ１〜４には、それぞれ、前進していく
映像ＦＧ１、後退していく映像ＦＧ２、左へ平行移動し
ていく映像ＦＧ３、又は右へ平行移動していく映像ＦＧ
４が表示されている。

【００５０】変位量ＤＶが零でない間においては、その
大きさに応じて映像の移動が継続される。したがって、
映像をその状態で停止させるには、操作者ＯＰが基準位
置ＰＳに戻って変位量ＤＶを零とすればよい。

【００５１】したがって、検出範囲ＥＲ内に存在する操
作者ＯＰは、自身の移動によって画面ＨＧに表示される
３次元仮想都市の中を歩いているような感覚を得ること
ができる。基準位置ＰＳからの変位量ＤＶに応じて移動
速度が変わるので、映像の操作が容易であり、現実感が
増す。

【００５２】また、操作者ＯＰは、マウスやキーボード
を操作して映像を移動させる場合のように、画面ＨＧの
近傍に着席して操作をする必要がないので、画面ＨＧを
凝視するのが容易である。操作者ＯＰは、電磁位置セン
サ又はデータグローブなどを装着する必要がなく、ケー
ブルを引きずる必要もないので、自由な動きを妨げられ
ることがない。したがって、操作者ＯＰは映像の変化を
極めて自然に感じることができ、より豊かな臨場感を得
ることができる。

【００５３】しかも、基準位置ＰＳを原位置として変位
方向ＤＲ及び変位量ＤＶを定めているので、変位方向Ｄ
Ｒ及び変位量ＤＶの検出が容易且つ確実であり、基準位
置ＰＳを適宜変更することにより、任意の視点から映像
ＦＧを制御することができる。

【００５４】なお、映像の制御は、操作者ＯＰが検出範
囲ＥＲ内に入ってから行われる。操作者ＯＰが画面ＨＧ
に近づき過ぎると、画面ＨＧにその旨の警告メッセージ
が表示される。これによって、操作者ＯＰが画面ＨＧに
接触することが防止され、且つ検出センサ群２１による
検出範囲ＥＲから出てしまうことが防止される。警告メ
ッセージとしては、例えば「ＳＴＯＰ」の文字が、画面
ＨＧの中央に、表示中の映像の上に重ねて大きく表示さ
れる。その場合に、映像の色と異なった色、例えば赤色
で、且つ点滅して表示される。操作者ＯＰが画面ＨＧに
近づき過ぎたか否かは、検出センサ群２１からの出力信
号ＳＡに基づいて距離が計算され、警告基準距離ＢＤと
の比較が行われる。

【００５５】また、操作者ＯＰが画面ＨＧから遠ざかる
ことによって検出範囲ＥＲから出てしまうと、検出セン
サ群２１による検出が不能となり、そのときの状態で映
像が停止する。

【００５６】また、マーカカーソルの移動は次のように
行われる。すなわち、変位方向ＤＲが前進方向Ｆである
場合にはマーカカーソルを上方へ移動し、後退方向Ｂで
ある場合にはマーカカーソルを下方へ移動し、右方向Ｒ
である場合にはマーカカーソルを右へ移動し、左方向Ｌ
である場合にはマーカカーソルを左へ移動する。また、
変位量ＤＶの大きさに応じてマーカカーソルの移動速度
を大きくする。変位量ＤＶが零である場合、つまり操作
者ＯＰが基準位置ＰＳにいる場合には、マーカカーソル
はその状態で停止している。

【００５７】マーカカーソルによって、画面ＨＧに表示
されている映像の中から特定のオブジェクトが指定され
る。画面ＨＧに表示されるマーカカーソルの形状、大き
さ、及び色は、映像及びアプリケーションプログラムの
内容に応じて種々のものが採用される。また、マーカ領
域又はマーカカーソルのいずれによって特定のオブジェ
クトを指定するかは、アプリケーションプログラムによ
る。

【００５８】図５乃至図７は音声解析部３２による音声
解析処理の例を示す図である。図５は音声の大きさを解
析する例を示し、図６は音声の周波数成分を解析する例
を示す。図７は音声の言語的意味を解析する例を示す。

【００５９】図５に示すように、音声の大きさについて
しきい値ＴＨ１が設定されており、例えば操作者ＯＰの
拍手の音のピーク値がしきい値ＴＨ１を越えた場合に制
御信号ＳＣを出力する。制御信号ＳＣが１つの場合に
は、そのときに指定されたオブジェクトに割り当てられ
ている制御コマンドのうちの１つ（制御コマンド１）が
実行され、制御コマンドが所定時間Ｔｓ内に２つ続いた
場合には、他の１つの制御コマンド（制御コマンド２）
が実行される。つまり、１回の拍手は例えばマウスのク
リックに相当し、２回の拍手はマウスのダブルクリック
に相当する。

【００６０】なお、制御コマンド１，２の内容は映像を
提示するアプリケーションプログラムによる。またこの
場合の音声として、拍子木又は鐘などを叩く音、笛の
音、操作者ＯＰ自身の声、又は操作者ＯＰ以外から発せ
られる音声などであってもよい。しきい値ＴＨ１の大き
さは種々設定が可能である。

【００６１】また、しきい値ＴＨ１を複数個設定し、音
声の大きさのレベルに応じて異なる制御信号ＳＣを出力
し、異なる種々の制御コマンドを実行するようにしても
よい。例えば、オブジェクトが仮想生物である場合に、
大きな音声では怖がったり泣いたりさせ、小さな音声で
は喜んだり眠ったりさせることも可能である。

【００６２】図６に示すように、検出された音声の周波
数成分のピークがどこにあるかによって、異なる制御信
号ＳＣが出力される。一般に、成人男子の声の基本周波
数は１２５Ｈｚ近辺、女子は２５０Ｈｚ近辺が中心周波
数となる。そこで２００Ｈｚを境界としてどちらに周波
数成分のピークがあるかによって、男性と女性を判別
し、それぞれに対応した制御信号ＳＣを生成する。男性
か女性かに応じて、それぞれ異なる制御コマンドを起動
する。

【００６３】例えば、男性による制御コマンドでは、男
性用品の店舗やフロア、男性好みのスポーツの案内な
ど、男性好みの映像を表示し、女性による制御コマンド
では、女性用品の店舗やフロア、女性好みの趣味の案内
など、女性好みの映像を表示することが考えられる。な
お、操作者ＯＰが意識的に声の高さを変えることによ
り、異なる制御コマンドを起動することも可能である。

【００６４】また、ある特定の周波数ｆｓの音を出す笛
を用いて、検出された音声のうちの周波数ｆｓの成分の
大きさがしきい値ＴＨ１を越えた場合に、笛が吹かれた
ことを示す制御信号ＳＣを出力し、それに対応した制御
コマンドを起動することも可能である。笛の音程を変え
ることによって、種々の制御コマンドを起動することも
可能である。

【００６５】図７に示すように、マイクロフォンＭＣ１
からの出力信号ＳＢを音響分析部３２１で分析し、単語
認識部３２２で単語辞書３２３を参照して言語的意味を
認識する。認識出力ＳＲに基づいて、種々の異なる制御
コマンドを実行する。

【００６６】例えば、オブジェクトが建物の入口の扉で
ある場合に、「はいる」「ひらけ」「ここ」などの語句
によってその扉を開けて建物内の映像を表示する。上述
のように、操作者ＯＰの位置によって画面ＨＧに表示さ
れた映像中の特定のオブジェクトを指定し、そのオブジ
ェクトに割り当てられた制御コマンドを音声によって選
択し起動する。

【００６７】次に、インタラクティブシステム１におけ
る映像の制御の例について説明する。図８は３次元仮想
都市の中をウオークスルーしたときの映像の制御の過程
を示す図である。

【００６８】図８（Ａ）において、画面ＨＧの中央付近
に建物が表示され、その右方に出入口の扉ＴＣが表示さ
れている。画面ＨＧの中央にはマーカ領域ＥＭが表示さ
れている。建物の中に入るために、操作者ＯＰが前後左
右に移動して画面ＨＧ上の映像ＦＧ１１を移動させ、図
８（Ｂ）に示すように扉ＴＣを画面ＨＧの中央に持って
きてマーカ領域ＥＭに入れる。これによって、オブジェ
クトである扉ＴＣが指定されたことになる。扉ＴＣには
「中に入る」という制御コマンドが割り当てられてい
る。

【００６９】そこで、操作者ＯＰが拍手を２回して、２
つの連続する制御信号ＳＣを発生させると、「中に入
る」という制御コマンドが起動され実行される。これに
よって、画面ＨＧは、図８（Ｃ）に示すように建物の内
部の映像ＦＧ１３に切り替わる。

【００７０】操作者ＯＰは、同様に自分の位置を前後左
右に移動することによって、建物の内部をウオークスル
ーすることができる。建物の内部には、案内板ＧＢが設
けられており、操作者ＯＰの位置の移動によって案内板
ＧＢに近づいていくと、案内板ＧＢの輝度が高くなった
り点滅したりして強調表示される。

【００７１】案内板ＧＢには「詳細表示」という制御コ
マンドが割り当てられているので、案内板ＧＢがマーカ
領域ＥＭに入り、上述と同様に拍手を２回すると、案内
の内容の詳細が画面ＨＧの全面に表示される。

【００７２】上述の例では、画面ＨＧに表示されたマー
カ領域ＥＭは位置が固定され、映像が移動する。音声解
析部３２から制御信号ＳＣが出力された場合に、マーカ
領域ＥＭに入ったオブジェクトに割り当てられた制御コ
マンドが実行される。オブジェクトに複数の制御コマン
ドが割り当てられている場合には、制御信号ＳＣの個数
又は内容によって制御コマンドが選択され、実行され
る。

【００７３】なお、拍手による２つの制御信号ＳＣはマ
ウスのダブルクリックに相当する。つまり、マウスの操
作が、操作者ＯＰの位置の移動と音声の発生とによって
置き換えられている。したがって、大きな画面ＨＧに表
示された映像の制御が容易である。

【００７４】図９は画面ＨＧに表示されて制御された映
像ＦＧの他の例を示す図である。図９では、３次元仮想
都市の映像が表示されており、操作者ＯＰの位置の移動
に応じてマーカカーソルＣＭの位置が移動する。マーカ
カーソルＣＭが画面ＨＧの端までくると次のシーンの映
像が表示される。また、音声による制御信号ＳＣによっ
て制御コマンドを起動すると、その制御コマンドに応じ
て、他の異なる映像が表示される。

【００７５】図９において、中央に示す画面ＨＧ２０に
は、操作者ＯＰが基準位置ＰＳに立ったときの３次元仮
想都市の映像ＦＧ２０が表示されている。画面ＨＧ２０
の中央には、マーカカーソルＣＭが表示されている。

【００７６】画面ＨＧ２０の上下左右には、操作者ＯＰ
が前進した場合の映像ＦＧ２１、後退した場合の映像Ｆ
Ｇ２２、左へ平行移動した場合の映像ＦＧ２３、及び右
へ平行移動した場合の映像ＦＧ２４が表示されている。

【００７７】つまり、操作者ＯＰが基準位置ＰＳから画
面ＨＧの方向に近づいた場合には、マーカカーソルＣＭ
が画面ＨＧの上方に移動する。操作者ＯＰが画面ＨＧか
ら離れた場合には、マーカカーソルＣＭが画面ＨＧの下
方に移動する。操作者ＯＰが右方向へ移動した場合には
マーカカーソルＣＭは右方に移動し、操作者ＯＰが左方
向へ移動した場合にはマーカカーソルＣＭは左方に移動
する。

【００７８】このように、操作者ＯＰが前後左右に移動
することにより、マーカカーソルＣＭの位置を移動させ
ることができる。マーカカーソルＣＭを任意のオブジェ
クトに合わせ、音声によって制御信号ＳＣを与えると、
そのオブジェクトに割り当てられた制御コマンドが起動
される。

【００７９】上述の実施形態によると、操作者ＯＰが操
作のための器具を所持したり取り付けたりする必要がな
く、したがって操作者ＯＰの自由な動きを妨げることな
く、操作者ＯＰの動作及び音声を検出し、ディスプレイ
装置１２に表示された映像ＦＧを容易に制御することが
できる。したがって、映像ＦＧを見て操作を行っている
操作者ＯＰは自然に感じることができ、臨場感に富んだ
インタラクティブシステム１となる。

【００８０】上述の実施形態では、検出センサ群２１に
赤外線距離センサＳＥを用いたが、これに代えて、超音
波距離センサを用いてもよい。また、ディスプレイ装置
１２に液晶ディスプレイを適用した場合には、検出セン
サ群２１を液晶パネルの背面に配置することも可能であ
る。さらに、複数のビデオカメラをディスプレイ装置１
２の上部、左右、基部などの適当な位置に取り付け、そ
れらから得られる複数の画像に基づいてステレオ画像処
理（立体画像処理）を行い、操作者ＯＰの変位方向ＤＲ
及び変位量ＤＶを検出してもよい。なお、検出センサ群
２１によって操作者ＯＰを検出したが、操作者ＯＰ以外
の者、又は物体を検出してもよい。

【００８１】上述の実施形態においては、操作者ＯＰの
変位方向ＤＲが右方向Ｒ又は左方向Ｌである場合に映像
を右又は左に平行移動したが、平行移動に代えて回転移
動させてもよい。この場合には、操作者ＯＰが仮想都市
の街路又は建物などを回遊するような感覚となる。な
お、画面ＨＧに表示する映像ＦＧとして、仮想都市内の
他の種々の映像ＦＧ、仮想店舗の映像ＦＧ、その他の種
々の映像ＦＧを表示することができる。

【００８２】上述の実施形態において、ディスプレイ装
置１２として、プラズマディスプレイ装置、投影式の表
示装置、ＣＲＴなどを用いることができ、それらの大き
さは任意である。その他、インタラクティブシステム１
の全体又は各部の構成、処理の内容又は順序、画面ＨＧ
に表示される映像ＦＧの内容、マーカ領域ＥＭ及びマー
カカーソルＣＭの形状などは、本発明の主旨に沿って適
宜変更することができる。

【００８３】

【発明の効果】請求項１乃至請求項９の発明によると、
操作者の自由な動きを妨げることがなく操作者の動作を
検出し、操作者が自然に感じることのできる臨場感に富
んだインタラクティブシステムを提供することができ
る。

【００８４】請求項３の発明によると、３次元仮想都市
のような映像の中をウオークスルーしながら自然な状態
で映像の制御を行うことができる。請求項４の発明によ
ると、操作者の位置を移動することによりマーカカーソ
ルを制御してオブジェクトを指定することができるの
で、映像の制御が直観的に行えて容易である。

【図面の簡単な説明】

【図１】本発明に係るインタラクティブシステムの構成
を示すブロック図である。

【図２】ディスプレイ装置及び位置検出センサ群を示す
図である。

【図３】位置検出センサ群による検出範囲の状態を示す
図である。

【図４】画面に表示されて制御された映像の例を示す図
である。

【図５】音声解析部により音声の大きさを解析する例を
示す図である。

【図６】音声解析部により音声の周波数を解析する例を
示す図である。

【図７】音声解析部により音声の言語的意味を解析する
例を示す図である。

【図８】３次元仮想都市の中をウオークスルーしたとき
の映像の制御の過程を示す図である。

【図９】画面に表示されて制御された映像の他の例を示
す図である。

【符号の説明】

１ インタラクティブシステム １２ ディスプレイ装置（表示手段） ２１ 検出センサ群（位置検出センサ） ３１ 変位検出部（変位検出手段） ３２ 音声解析部（音声解析手段） ３３ 映像制御部（映像制御手段） ＳＥ 赤外線距離センサ ＭＣ１ マイクロフォン（音声検出センサ） ４１ ＣＤ−ＲＯＭ（記憶媒体） ４２ フロッピィディスク（記憶媒体）

Claims (9)

【特許請求の範囲】
1. 【請求項１】入力される制御信号に応じて表示される映
   像が変化するように構成されたインタラクティブシステ
   ムであって、 前記映像を表示する表示手段と、 前記表示手段の前方に存在する対象物の空間的位置を検
   出するための位置検出センサと、 前記位置検出センサの出力に基づいて、前記対象物の空
   間的位置の予め定められた基準位置からの変位を検出す
   る変位検出手段と、 前記対象物の発する音声を検出するための音声検出セン
   サと、 前記音声検出センサにより検出された音声を解析する音
   声解析手段と、 前記変位検出手段から出力される変位及び前記音声解析
   手段から出力される解析結果に応じて、前記表示手段に
   表示される映像の内容を変更するように制御する映像制
   御手段と、 を有してなることを特徴とするインタラクティブシステ
   ム。
2. 【請求項２】前記映像制御手段は、 前記変位検出手段により検出された変位に対応して前記
   表示手段に表示された映像中の特定のオブジェクトを指
   定し、指定されたオブジェクトに割り当てられた制御コ
   マンドを、前記音声解析手段による解析結果に対応して
   起動する、 請求項１記載のインタラクティブシステム。
3. 【請求項３】前記変位検出手段により検出される変位に
   対応して前記表示手段に表示される映像を移動させ、表
   示されている映像中のオブジェクトが前記表示手段の表
   示領域中に設定されたマーカ領域に入ったときに、前記
   特定のオブジェクトを指定する、 請求項２記載のインタラクティブシステム。
4. 【請求項４】前記変位検出手段により検出される変位に
   対応して前記表示手段に表示されるマーカカーソルを移
   動させ、前記マーカカーソルによって、前記表示手段に
   表示されている映像の中から前記特定のオブジェクトを
   指定する、 請求項２記載のインタラクティブシステム。
5. 【請求項５】前記音声解析手段は、前記音声検出センサ
   により検出された音声の大きさを解析し、 前記映像制御手段は、前記音声解析手段による解析結果
   に基づいて、前記オブジェクトに割り当てられている複
   数の制御コマンドの中から選択された制御コマンドを起
   動する、 請求項２乃至請求項４のいずれかに記載のインタラクテ
   ィブシステム。
6. 【請求項６】前記音声解析手段は、前記音声検出センサ
   により検出された音声の周波数成分を解析し、 前記映像制御手段は、前記音声解析手段による解析結果
   に基づいて、前記オブジェクトに割り当てられている複
   数の制御コマンドの中から選択された制御コマンドを起
   動する、 請求項２乃至請求項５のいずれかに記載のインタラクテ
   ィブシステム。
7. 【請求項７】前記音声解析手段は、前記音声検出センサ
   により検出された音声の言語的意味を解析し、 前記映像制御手段は、前記音声解析手段による解析結果
   に基づいて、前記オブジェクトに割り当てられている複
   数の制御コマンドの中から選択された制御コマンドを起
   動する、 請求項２乃至請求項６のいずれかに記載のインタラクテ
   ィブシステム。
8. 【請求項８】前記位置検出センサは、前記表示手段の基
   部において、前記映像の表示される画面と平行な方向に
   沿って配置された複数の赤外線距離センサである、 請求項１乃至請求項７のいずれかに記載のインタラクテ
   ィブシステム。
9. 【請求項９】表示手段の前方に存在する対象物の空間的
   位置を検出するための位置検出センサの出力に基づい
   て、前記対象物の空間的位置の予め定められた基準位置
   からの変位を検出する変位検出手段と、 音声検出センサにより検出される前記対象物の発する音
   声を解析する音声解析手段と、 前記変位検出手段から出力される変位及び前記音声解析
   手段から出力される解析結果に応じて、前記表示手段に
   表示される映像の内容を変更するように制御する映像制
   御手段と、 をコンピュータ上で実現するためのプログラムを記憶し
   たコンピュータ読み取り可能な記憶媒体。