JPH1165814A - インタラクティブシステム及び画像表示方法 - Google Patents

インタラクティブシステム及び画像表示方法

Info

Publication number
JPH1165814A
JPH1165814A JP9229847A JP22984797A JPH1165814A JP H1165814 A JPH1165814 A JP H1165814A JP 9229847 A JP9229847 A JP 9229847A JP 22984797 A JP22984797 A JP 22984797A JP H1165814 A JPH1165814 A JP H1165814A
Authority
JP
Japan
Prior art keywords
sound
sound source
image
source direction
interactive system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9229847A
Other languages
English (en)
Inventor
Nobuyasu Yamaguchi
伸康 山口
Fumihiko Nakazawa
文彦 中沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP9229847A priority Critical patent/JPH1165814A/ja
Publication of JPH1165814A publication Critical patent/JPH1165814A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 インタラクティブシステム及び画像表示方法
に関し、臨場感に富んだユーザーインターフェスを提供
することを目的とする。 【解決手段】 複数の入力手段による制御信号に応じて
表示する映像を変化させるインタラクティブシステムに
おいて、映像を表示する表示手段14と、前記表示手段14
の前方に存在する対象物の発する音や声を検出する1個
または複数個の音検出センサ11と、前記音検出センサ11
からの出力信号を解析し、音源方向を特定する音源方向
特定手段12と、前記音源方向特定手段12から出力される
音源方向に応じて前記表示手段14に表示される映像の内
容を変更するように制御する映像制御手段13とを有する
ように構成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の異なる入力
手段を有し、そこから得られた情報に基づいてシステム
の挙動を制御する、インタラクティブシステムに関する
ものである。
【0002】
【従来の技術】現在、表示画面に投影されたキャラクタ
やシーンを制御し、特定のストーリーを実現するコンピ
ュータゲームや、各種コンピュータアプリケーションソ
フトでは、画像を制御するための入力として、キーボー
ドやマウス、ジョイパッド等の手先で操作する入力イン
ターフェスを使用するのが一般的である。
【0003】一方、電磁位置センサやデータグローブ等
の新しい入力インターフェスの登場と共に、人物の頭や
手等の動きを検出し、それに従って画面出力や機器動作
を制御するような、バーチャルリアリティシステムが各
種提案されている。
【0004】
【発明が解決しようとする課題】現在、人間の動作を検
出するセンサとして、電磁位置センサやデータグローブ
等が用いられている。しかし、現在使用されているセン
サの多くは、人間の体にセンサ自体やマーカを取り付け
なければならず、さらにデータを取り出すためのケーブ
ルが付いているものもあり、人間の自然な動作の妨げと
なっている。
【0005】また、画面上に対象物と相対峙するエージ
ェントや電脳ペット等のキャラクタを表示・制御する場
合、人間がどの方向からその画像を見ているかという情
報が欠如しているために、見る方向によっては極めて不
自然な印象を持ってしまうような状況が発生する。
【0006】以上説明した従来のインタラクティブシス
テムにおいては、動作(操作)する人間の行動が不自然
になったり、観察者が画面上の対象物から受ける印象が
不自然な場合が在るという問題点があった。
【0007】
【課題を解決するための手段】ところで、人間のコミュ
ニケーション手段の中で、声によって自分のいる方向や
感情を相手に知らせたりすることは極めて良く使われる
方法である。この人間の発する声や音の音源方向を検出
し、入力手段として用いることで、極めて自然なインタ
ーフェスを提供することが可能となる。本発明のインタ
ラクティブシステムは、この点に着目して前記課題を解
決するものであり、以下の様に構成される。
【0008】すなわち、図1に示すように、複数の入力
手段による制御信号に応じて表示する映像を変化させる
インタラクティブシステムにおいて、映像を表示する表
示手段14と、表示手段14の前方に存在する対象物の発す
る音や声を検出する音検出センサ11と、音検出センサ11
からの出力信号を解析し、音源方向を特定する音源方向
特定手段12と、音源方向特定手段12から出力される音源
方向に応じて表示手段14に表示される映像の内容を変更
するように制御する映像制御手段13とで構成するものと
する。
【0009】前記構成により、人間の体に何も付けるこ
となくその発する音や声の音源方向を検出できると共
に、その検出結果に従って映像を制御するため、人間に
とって極めて自然に感じることのできる、臨場感に富ん
だユーザーインターフェスを提供することが可能とな
る。
【0010】
【発明の実施の形態】システムの全体構成を、図1を用
いて説明する。図1は、本発明の実施例に関するインタ
ラクティブシステムの全体構成を示すブロック図であ
る。図中、14は表示手段で、対象物が見る映像を表示す
るもの、11は音検出センサで、対象物の発した笛等の音
や音声を検出するもの、12は音源方向特定手段で、音検
出センサ11からの出力信号を解析し、音源方向を特定す
るものである。
【0011】13は映像制御手段で、音源方向特定手段12
から出力される音源方向に応じて表示手段14に表示され
る映像の内容を変更するように制御するものである。音
源方向検出手段の詳細について、図2〜図4を用いて説
明する。図2は本発明の実施例に関する音源方向特定の
原理を示す図である。図中、21、22、23、24は何れもマ
イクロフォンであり、21と22および23と24とはそれぞれ
対で使用されるものとする。
【0012】図2(1)に示すように、マイクロフォン
2個をその出力を加算して用いる場合には、音源方向27
に対する指向特性25は鋭いものではないが、同図(2)
に示すように、マイクロフォン2個をその出力を減算し
て用いる場合には、音源方向28に対する指向特性26は鋭
い、抑圧指向性が得られる。本発明ではこの鋭い抑圧指
向性を利用し、2つのマイクロフォンの差分出力から音
源方向を検出する。
【0013】図3は、マイクロフォン対に対する音源方
向とその出力の差分信号の特性を示す図である。図3
(1)中、31と32はマイクロフォンで、その出力は減算
手段33によって合成される。音源方向34は2つのマイク
ロフォン31と32とを結ぶ線と角度θをなすものとする。
図3(2)に示すように、マイクロフォン対の配置方向
に対して垂直方向に音源が存在する場合(θ=90
°)、2つのマイクロフォンの出力の差分信号は最低と
なる。この出力特性を利用して音源方向を特定すること
になる。
【0014】図4は本発明の実施例に関するマイクロフ
ォン対の配置例を示す図である。本実施例では図4に示
すように、一定半径の円の中心を挟んで同一番号(1〜
7)で示す2つのマイクロフォン(マイクと略すること
がある)を対で使用する。7つのマイクロフォン対は角
度を変えて配置することで、マイクロフォンが円状に配
置される例を示している。本例の場合、音源方向41は3
−3のマイクロフォン対(3番のマイクロフォン対)に
対して直角を成す。
【0015】図5は、図4中に示す方向に音源がある場
合の各マイクロフォン対の差分出力の例を示す図であ
る。前述の如く、3番のマイクロフォン対の配置方向は
音源方向に対して垂直であり、差分出力は最も小さくな
る。このように、各マイクロフォン対の差分出力を比較
して最も小さいものを選べば、 音源方向を特定すること
ができる。以下では、実際の画像制御の例について説明
する。
【0016】まず、第1の画像制御例について説明す
る。図6は本発明の実施例に係るインタラクティブシス
テムにおける、視点方向に対応して画像表示を制御する
一例を示したものである。図中、61は表示装置(表示画
面)であり、表示画像として仮想生物62が表示されてい
る。表示装置の手前の平面には図4のようなマイクロフ
ォン対が配されている(図中の番号1、7等は同番号の
マイクロフォン対の感知するべき音源方向を示す)。す
なわち、表示画面からみた音源方向63が検出可能な配置
とする。図6(1)の様に検出した音源方向63がマイク
ロフォン対6(図中番号略)の方向から音声が聞こえて
くると、仮想生物62は顔を向かって右に向け、図6
(2)の様に検出した音源方向63がマイクロフォン対2
(図中番号略)の方向から音声が聞こえてくると、仮想
生物62は顔を向かって左に向けるように制御する。この
ように、表示画像として仮想生物を用いた場合、検出し
た音源方向に対し、仮想生物が顔を向けたように画像を
構成し表示する。
【0017】この場合、対象人物が画面の前を動き回り
ながら仮想生物に声をかけても、仮想生物がそれに追従
して常にその声がする方向を見つめてくれているように
見えるため、より臨場感・現実感に富んだ印象を得るこ
とが可能となる。
【0018】次に、第2の画像制御例について説明す
る。図7は、本発明の実施例に係るインタラクティブシ
ステムにおける、視点方向に対応して画像表示を制御す
る他の一例を示したものである。図中、71は表示装置
(表示画面)であり、表示画像として三次元物体(例え
ば、白・黒の丸模様が付いた円柱状の物体)が表示され
ている。
【0019】本実施例では、音検出センサを2つ使用し
ている。これらは、その音の検出軸が互いに直交するよ
うに配置されている。すなわち、第1のマイクロフォン
対を図6と同様に表示装置71の手前の平面に配し、さら
に第2のマイクロフォン対を表示装置の手前の平面と垂
直な面内に(例えば、表示装置側面に)配する。これに
より、表示部の前に立つ対象物の発する音や声の音源方
向を3次元的に検出することが可能となる。
【0020】図7(1)の様に検出した(水平方向)音
源方向73がマイクロフォン対4(図中番号略)の方向か
ら、また(垂直方向)音源方向74がマイクロフォン対4
(図中番号略)の方向から音声が聞こえてくると、観察
者は画面の正面から観察していると判断されるので、三
次元物体72は最初の表示のままに表示される。一方、図
7(2)の様に検出した(水平方向)音源方向73がマイ
クロフォン対6(図中番号略)の方向から、また(垂直
方向)音源方向74がマイクロフォン対6(図中番号略)
の方向から音声が聞こえてくると、観察者は画面の右下
から観察していると判断されるので、観察者は三次元物
体72の右下に関心を寄せているものとして、その方向か
ら見た表示に変えられる。
【0021】このように、表示画像として、本実施例の
ように3次元物体を用いた場合、対象人物(観察者)が
表示手段の前でしゃがみこんで下から覗き込むような体
勢で声を発した場合、この視点位置から見えるような映
像、すなわち3次元物体を下から覗き込んだ時に見える
画像を表示すると、この3次元物体の立体感が強調さ
れ、より現実的な映像としてとらえられるようになる。
【0022】同様に、伸び上がって上から見下ろすよう
にして声を発した場合とか、右や左に回り込んで声を発
した場合には、その方向から見たときに見える映像を表
示するようにする。
【0023】
【発明の効果】本発明によって、人間の体に何も付ける
ことなく、その発する音や声の音源方向を特定できると
共に、その検出結果に従って映像を制御するため、人間
にとって極めて自然に感じることのできる、臨場感・現
実感に富んだユーザーインターフェスを提供することが
可能となる。
【図面の簡単な説明】
【図1】 ブロック図
【図2】 音源方向特定の原理を示す図
【図3】 差分信号の特性を示す図
【図4】 マイクロフォン対の配置例を示す図
【図5】 マイクロフォン対の差分出力の例を示す図
【図6】 画像表示を制御する一例
【図7】 画像表示を制御する他の一例
【符号の説明】
11は音検出センサ 12は音源方向特定手段 13は映像制御手段 14は表示手段 21はマイクロフォン 22はマイクロフォン 23はマイクロフォン 24はマイクロフォン 25は指向特性 26は指向特性 27は音源方向 31はマイクロフォン 32はマイクロフォン 33は減算手段 41は音源方向 61は表示装置 62は仮想生物 63は音源方向 71は表示装置 72は3次元物体 73は検出した音源方向 74は検出した音源方向
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04N 13/04 H04N 13/04

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 複数の入力手段による制御信号に応じて
    表示する映像を変化させるインタラクティブシステムに
    おいて、 映像を表示する表示手段と、前記表示手段の前方に存在
    する対象物の発する音や声を検出する1個または複数個
    の音検出センサと、前記音検出センサからの出力信号を
    解析し、音源方向を特定する音源方向特定手段と、前記
    音源方向特定手段から出力される音源方向に応じて前記
    表示手段に表示される映像の内容を変更するように制御
    する映像制御手段とを有していることを特徴とするイン
    タラクティブシステム。
  2. 【請求項2】 前記音検出センサを複数個有する請求項
    1のインタラクティブシステムにおいて、 前記各音検出センサは、それぞれの音の検出軸が互いに
    平行にならないように配置されるものであり、 前記音源方向特定手段は、立体的に音源方向を特定する
    ことを特徴とするインタラクティブシステム。
  3. 【請求項3】 請求項1又は6記載のインタラクティブ
    システムにおいて、 前記表示手段に仮想生物もしくはエージェントの画像を
    表示する場合、前記音源方向特定手段において特定した
    対象物の発する音や声の音源方向に応じて、それらを追
    従するように仮想生物もしくはエージェントの画像の顔
    の向きや動作方向を制御した画像を作製し表示すること
    を特徴とする画像表示方法。
  4. 【請求項4】 請求項1又は6記載のインタラクティブ
    システムにおいて、 前記映像制御手段が1ないし複数の立体物が存在する三
    次元空間を表現した三次元グラフィックス画像の制御・
    作製を行い、表示手段がこの画像を表示する場合、前記
    音源方向特定手段において特定した対象物の発する音や
    声の音源方向に応じて、その方向に対象物の視点が存在
    する場合に対象人物の視野に写ることになる状況に対応
    した画像を作製し表示することを特徴とする画像表示方
    法。
JP9229847A 1997-08-26 1997-08-26 インタラクティブシステム及び画像表示方法 Pending JPH1165814A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9229847A JPH1165814A (ja) 1997-08-26 1997-08-26 インタラクティブシステム及び画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9229847A JPH1165814A (ja) 1997-08-26 1997-08-26 インタラクティブシステム及び画像表示方法

Publications (1)

Publication Number Publication Date
JPH1165814A true JPH1165814A (ja) 1999-03-09

Family

ID=16898626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9229847A Pending JPH1165814A (ja) 1997-08-26 1997-08-26 インタラクティブシステム及び画像表示方法

Country Status (1)

Country Link
JP (1) JPH1165814A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003526120A (ja) * 2000-03-09 2003-09-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 民生電子機器システムとの対話処理方法
JP2008065675A (ja) * 2006-09-08 2008-03-21 Ritsumeikan 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ
WO2012094605A1 (en) * 2011-01-06 2012-07-12 Cypher Entertainment Augmented reality system
JP2015510629A (ja) * 2012-01-12 2015-04-09 クゥアルコム・インコーポレイテッドQualcomm Incorporated 音分析および幾何解析を用いた拡張現実
US9652046B2 (en) 2011-01-06 2017-05-16 David ELMEKIES Augmented reality system
US11485101B2 (en) 2017-07-14 2022-11-01 Georgia-Pacific Corrugated Llc Controls for paper, sheet, and box manufacturing systems

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003526120A (ja) * 2000-03-09 2003-09-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 民生電子機器システムとの対話処理方法
JP2008065675A (ja) * 2006-09-08 2008-03-21 Ritsumeikan 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ
WO2012094605A1 (en) * 2011-01-06 2012-07-12 Cypher Entertainment Augmented reality system
US9092061B2 (en) 2011-01-06 2015-07-28 David ELMEKIES Augmented reality system
US9652046B2 (en) 2011-01-06 2017-05-16 David ELMEKIES Augmented reality system
JP2015510629A (ja) * 2012-01-12 2015-04-09 クゥアルコム・インコーポレイテッドQualcomm Incorporated 音分析および幾何解析を用いた拡張現実
US9563265B2 (en) 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US11485101B2 (en) 2017-07-14 2022-11-01 Georgia-Pacific Corrugated Llc Controls for paper, sheet, and box manufacturing systems

Similar Documents

Publication Publication Date Title
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
JP6893868B2 (ja) 空間依存コンテンツのための力覚エフェクト生成
US8502825B2 (en) Avatar email and methods for communicating between real and virtual worlds
US11212636B2 (en) Dual listener positions for mixed reality
US20170127023A1 (en) Virtual conference room
TWI647593B (zh) 模擬環境顯示系統及方法
US20060050069A1 (en) Virtual reality presentation device and information processing method
US20180232051A1 (en) Automatic localized haptics generation system
EP2132650A2 (en) System and method for communicating with a virtual world
JP2000163178A (ja) 仮想キャラクタとのインタラクション装置、及び仮想キャラクタの映像を生成するプログラムを記憶した記憶媒体
WO2008109299A2 (en) System and method for communicating with a virtual world
Sodnik et al. Spatial auditory human-computer interfaces
CN114693890A (zh) 一种增强现实交互方法及电子设备
JP6737942B1 (ja) コンテンツ配信システム、コンテンツ配信方法、及びコンテンツ配信プログラム
McMenemy et al. A hitchhiker's guide to virtual reality
US10582190B2 (en) Virtual training system
JP2021077255A (ja) 画像処理装置、画像処理方法及び画像処理システム
JPH1165814A (ja) インタラクティブシステム及び画像表示方法
JP6732078B2 (ja) 触覚オーバーレイを拡張現実に統合するシステム、方法及び非一時的コンピュータ可読媒体
Röber et al. Interacting With Sound: An Interaction Paradigm for Virtual Auditory Worlds.
JPH10214344A (ja) インタラクティブ表示装置
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
US11956620B2 (en) Dual listener positions for mixed reality
JPH04192066A (ja) 商品疑似体験ショウルームシステム
JP2001134362A (ja) 人形型インタフェース仮想空間ウォークスルーシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051213

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060912