JP5013398B2 - 複合現実感システムとそのイベント入力方法 - Google Patents
複合現実感システムとそのイベント入力方法 Download PDFInfo
- Publication number
- JP5013398B2 JP5013398B2 JP2006243952A JP2006243952A JP5013398B2 JP 5013398 B2 JP5013398 B2 JP 5013398B2 JP 2006243952 A JP2006243952 A JP 2006243952A JP 2006243952 A JP2006243952 A JP 2006243952A JP 5013398 B2 JP5013398 B2 JP 5013398B2
- Authority
- JP
- Japan
- Prior art keywords
- operator
- sound
- mixed reality
- space
- sound source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
より具体的には、上記検知手段は、操作者の視線を検出する視線検出手段よりなり、上記制御手段は、表示要素に対して操作者の視線が所定方向にあること又は所定動作をしたことが検出すると、表示要素に対する処理を起動させるようになっている(特許文献2参照)。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
そこで、音源方向の推定をより高精度に行うためには、操作者自身に装着可能なウェアラブルなものであることが好ましく、特に、表示部が、操作者の頭部に装着可能なヘッドマウントディスプレイの表示画面よりなる場合には、当該音響センサとして、そのディスプレイに装着されたマイクロホンアレイより構成することが好ましい。
この場合、例えば、カスタネットやステッキ等の、マイクロホンアレイで拾い易い比較的高周波の音響を発生する音響発生部材を採用することにより、現実空間で自然に発生する環境音と操作指示のための音響とを区別し易くなるので、仮想空間に対する処理が誤って起動するのを極力防止することができる。
この入力方法によれば、所定の音源方向からの操作指示を示す音響に基づいて仮想空間に対する処理を起動するので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
このディスプレイにおいても、所定の音源方向からの操作指示を示す音響に基づいて起動された仮想画像を仮想空間に表示するので、現実空間で発生した音響で複合現実空間へのイベント入力を行うことができる。
このため、従来のように操作者の視線を検出する視線検出手段を設ける必要がなく、ヘッドマウントディスプレイの構造を簡素化できるとともに、操作者の目の動きを常に捕捉しておく必要もないので、入力処理のための制御データ量が少なくて済み、比較的簡単なシステム構成で種々のイベント入力を実現することができる。
図1〜図3は、本発明の実施形態に係るMRシステムの一例を示している。
〔システムのハードウェア構成〕
図1は、上記MRシステムのハードウェア構成を示している。
この図1に示すように、本実施形態のMRシステム1は、現実空間と仮想空間を重畳してリアルタイムで表示するヘッドマウントディスプレイ2と、現実空間で発生した音響を検出する音響センサとして機能するマイクロホンアレイ3と、その音響の音源方向推定用の第一処理コンピュータ4と、MR空間管理用の第二処理コンピュータ5と、現実空間における操作者Uの位置及び方向を検出する位置検出部15の構成要素であるトランスミッタ16とから主構成されている。
本実施形態のディスプレイ2は、ビデオシースルー方式であり、ゴーグル部8の内部における両眼とほぼ対応する位置に、CCDイメージセンサを有するビデオカメラ10,10を備えている。ゴーグル部8の前面部分の裏側には、それぞれ両眼に対応する表示画面11,11が左右両側に振り分けて配置されており、この各表示画面11,11に、第二処理コンピュータ5で生成された仮想空間の画像がステレオ方式で表示されるようになっている。
図1に戻り、本実施形態の位置検出部15は、屋内の部屋(現実空間)の所定位置に固定されたトランスミッタ16と、ディスプレイ2側に設けた上記位置センサ14とからなる。トランスミッタ16と位置センサ14はそれぞれセンサコントローラ17に接続されており、このコントローラ17は第二処理コンピュータ5に接続されている。
トランスミッタ16は、一定周波数の電磁波を所定半径の領域に放出しており、この領域内に入った電磁コイル式の位置センサ14に発生する交流起電力を分析することでその絶対位置と方向が検出され、この位置センサ14の絶対位置と方向(従って、操作者Uの頭部の絶対位置と方向)が、常時、第二処理コンピュータ5に送信されるようになっている。
また、第一処理コンピュータ4は、受信した音響データを分析して、その音源方向と周波数特性を認識し、その結果を第二処理コンピュータ5に送信する。
図3は、本実施形態のMRシステムの機能ブロック図を示している。
この図3に示すように、マイクロホンアレイ3で検出した音響は、音響入力部23に入力される。この音響入力部23は、前記マイクロホンアンプ20とAD変換器21とから構成されており、当該音響入力部23においてデジタル信号に変換された音響データは第一処理コンピュータ4に送られる。
このうち、音響分析部24は、音響入力部23から入力された音響のデジタル信号に高速フーリエ変換等の処理を行う。
音源方向推定部25は、所定の音源位置の推定アルゴリズムに基づいて音響データの音源方向を推定するものである。
従って、本実施形態では、上記の音源方向推定部25と操作指示認識部26とから、マイクロホンアレイ3で検出した音響の操作者Uから見た音源方向と、当該音響が操作者Uによる操作指示か否かを認識する音響認識手段が構成されている。
このうち、仮想空間管理部27は、ヘッドマウントディスプレイ2のビデオカメラ10で撮像された映像を元に、三次元のCG画像よりなる仮想空間を生成するものであり、ビデオシースルー方式のディスプレイ2を使用する本実施形態では、ビデオカメラ10で撮像された映像と同じCG画像が生成される。
また、画像生成部28は、音源方向推定部25から入力された操作者Uから見た音源方向と、操作指示認識部26から入力された認識信号を受信すると、仮想空間である上記CG画像に対する所定の合成処理を起動し、その処理内容に対応する仮想画像(例えば、図5に示す仮想配管33や図6に示す詳細説明35)をヘッドマウントディスプレイ2の表示画面11に表示させる。
図4は、上記MRシステムで行えるイベント入力と処理の応用例の一つを示している。
この応用例では、操作者Uの頭部の手前に、仮想空間に対する合成画像である複数の操作アイコン30A〜30Dが横並びで表示されており、操作者Uは、この操作アイコン30A〜30Dに対する音響発生部材よりなる入力デバイスとして、カスタネット31を手に持っている。
そこで、操作者Uがある特定の操作アイコン30Cの場所でカスタネット31を鳴らすと、第二処理コンピュータ5の画像生成部28が当該操作アイコン30Cが操作者Uによって選択されたと判断し、その操作アイコン30Cに対応する所定の処理(例えば、仮想画像の一種である次のメニュー画面への移動)を起動するようになっている。
図5は、上記MRシステムで行えるイベント入力と処理の他の応用例を示している。
この応用例では、操作者Uは、音響発生部材よりなる入力デバイスとして、ステッキ32を手に持っている。
そこで、操作者Uが現実空間を構成する部屋内の床を叩くと(図5(a)参照)、第二処理コンピュータ5の画像生成部28が操作者Uによって叩かれた床の位置が選択されたと判断し、その位置に床下に埋設された仮想配線33を合成する処理を起動するようになっている(図5(b)参照)。
図6は、上記MRシステムで行えるイベント入力と処理の他の応用例を示している。
この応用例では、操作者Uは、操作者Uの前方の仮想空間の壁面に、複数の写真や絵画等よりなる表示物34A〜34Cが横並びで表示されており、操作者Uは、この表示物34A〜34Cに対する音響発生部材よりなる入力デバイスとして、カスタネット31を手に持っている。
そこで、操作者Uがある特定の表示物30Bの場所でカスタネット31を鳴らすと、第二処理コンピュータ5の画像生成部28が当該表示物30Bが操作者Uによって選択されたと判断し、その表示物30Bに対応する詳細説明35を起動するようになっている。
従って、上記各応用例(図4〜図6)に示すように、入力デバイスとしてカスタネット31やステッキ32といった簡単な構造の音響発生部材を使用することができる。なお、操作者Uによる拍手や指鳴らしによって入力することも可能である。
例えば、マイクロホンアレイ3は必ずしもヘッドマウントディスプレイ2に取り付けられている必要はなく、そのディスプレイ2と別体であってもよい。もっとも、前記した通り、操作入力となる音源方向の推定精度を向上させる観点からは、マイクロホンアレイ3を操作者Uに装着することが好ましい。
また、上記MRシステムでは、二台の処理コンピュータ4,5を使用しているが、これらのコンピュータ4,5を一台に纏めることもでき、また、操作者Uが携帯可能なウェアラブルなコンピュータを採用することもできる。
また、本発明のMRシステムは、屋内だけでなく、屋外を移動する操作者Uに適用することもできる。この場合には、操作者UがGPSと姿勢センサを携帯することにより、操作者Uの絶対位置と方向を計測するシステム構成にすればよい。また、この場合、環境側に位置を特定するIrDAセンサやRFIDタグを設置し、この環境インフラと操作者Uが携帯する歩数計によって操作者Uの位置を計測するようにしてもよい。
例えば、本発明は、製造現場や建物での不具合箇所の早期発見(図5参照)、美術館等のアミューズメント施設での顧客サービス(図6参照)、及び、屋外での交通ナビゲーション等に応用することができる。
2 ヘッドマウントディスプレイ
3 マイクロホンアレイ(音響センサ)
4 第一処理コンピュータ
5 第二処理コンピュータ
11 表示画面(表示部)
12 取付プレート
13 マイクロホン
14 位置センサ
15 位置検出部
16 トランスミッタ
23 音響入力部
24 音響分析部
25 音源方向推定部(音響認識手段)
26 操作指示認識部(音響認識手段)
27 仮想空間管理部
28 画像生成部(起動手段)
31 カスタネット(音響発生部材)
32 ステッキ(音響発生部材)
33 仮想配管(仮想画像)
35 詳細説明(仮想画像)
U 操作者
Claims (4)
- 操作者の頭部に装着可能なヘッドマウントディスプレイの表示画面よりなる表示部に、現実空間と仮想空間を重畳する画像生成部によって生成された複合現実空間画像をリアルタイムで表示する複合現実感システムであって、
現実空間における操作者の頭部の位置及び方向を検出する位置検出部と、
現実空間で発生した音響を検出する音響センサと、
前記位置検出部によって検出された現実空間における操作者の頭部の位置及び方向並びに前記音響センサで検出した音響の音源方向に基づいて、前記音響の操作者から見た音源方向を演算する音源方向推定部と、
前記音響センサで検出した音響が操作者による操作指示か否かを認識する操作指示認識部と、
を備え、
前記画像生成部は、前記音源方向推定部によって演算された操作者から見た音源方向に基づいて、前記表示画面に表示された前記複合現実空間画像に対して前記操作指示によるイベント入力がなされた前記複合現実空間画像における位置を判断し、前記操作指示に応じて、前記仮想空間に対する処理を起動する
ことを特徴とする複合現実感システム。 - 前記音響センサは、前記ヘッドマウントディスプレイに装着されたマイクロホンアレイよりなる請求項1に記載の複合現実感システム。
- 前記操作指示は、操作者が手に持って操作可能な音響発生部材によって発生させる音響よりなる請求項1又は2に記載の複合現実感システム。
- 操作者の頭部に装着可能なヘッドマウントディスプレイの表示画面よりなる表示部に、現実空間と仮想空間を重畳してリアルタイムで表示してなる複合現実空間に対するイベント入力方法であって、
現実空間における操作者の頭部の位置及び方向を検出し、
現実空間で発生した音響を検出し、
検出された現実空間における操作者の頭部の位置及び方向並びに検出した音響の音源方向に基づいて、前記音響の操作者から見た音源方向を演算し、
検出した音響が操作者による操作指示か否かを認識し、
操作者から見た音源方向に基づいて、前記表示画面に表示された前記複合現実空間画像に対して前記操作指示によるイベント入力がなされた前記複合現実空間画像における位置を判断し、前記操作指示に応じて、前記仮想空間に対する処理を起動することを特徴とする複合現実空間に対するイベント入力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006243952A JP5013398B2 (ja) | 2006-09-08 | 2006-09-08 | 複合現実感システムとそのイベント入力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006243952A JP5013398B2 (ja) | 2006-09-08 | 2006-09-08 | 複合現実感システムとそのイベント入力方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008065675A JP2008065675A (ja) | 2008-03-21 |
JP5013398B2 true JP5013398B2 (ja) | 2012-08-29 |
Family
ID=39288335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006243952A Expired - Fee Related JP5013398B2 (ja) | 2006-09-08 | 2006-09-08 | 複合現実感システムとそのイベント入力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5013398B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5366043B2 (ja) * | 2008-11-18 | 2013-12-11 | 株式会社国際電気通信基礎技術研究所 | 音声記録再生装置 |
JP5245808B2 (ja) * | 2008-12-25 | 2013-07-24 | ヤマハ株式会社 | ポインティングシステム |
US9132331B2 (en) | 2010-03-19 | 2015-09-15 | Nike, Inc. | Microphone array and method of use |
JP5316453B2 (ja) * | 2010-03-24 | 2013-10-16 | ブラザー工業株式会社 | ヘッドマウントディスプレイおよびプログラム |
JP2012048656A (ja) * | 2010-08-30 | 2012-03-08 | Canon Inc | 画像処理装置、画像処理方法 |
JP5664215B2 (ja) * | 2010-12-21 | 2015-02-04 | 日本電気株式会社 | 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム |
JP2017049916A (ja) * | 2015-09-04 | 2017-03-09 | 株式会社東芝 | 眼鏡型電子機器、作業管理システムおよび情報管理サーバ |
GB2557594B (en) * | 2016-12-09 | 2020-01-01 | Sony Interactive Entertainment Inc | Image processing system and method |
US20220021998A1 (en) * | 2018-11-09 | 2022-01-20 | Whoborn Inc. | Method for generating sound and devices for performing same |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1165814A (ja) * | 1997-08-26 | 1999-03-09 | Fujitsu Ltd | インタラクティブシステム及び画像表示方法 |
JP2000338858A (ja) * | 1999-05-28 | 2000-12-08 | Toshiba Corp | 仮想空間体感装置 |
JP2001337645A (ja) * | 2000-05-26 | 2001-12-07 | Fujitsu Ltd | 表示システム及び記憶媒体 |
JP2004267433A (ja) * | 2003-03-07 | 2004-09-30 | Namco Ltd | 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体 |
JP4186858B2 (ja) * | 2004-04-02 | 2008-11-26 | 松下電工株式会社 | 仮想空間内移動装置 |
-
2006
- 2006-09-08 JP JP2006243952A patent/JP5013398B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008065675A (ja) | 2008-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5013398B2 (ja) | 複合現実感システムとそのイベント入力方法 | |
US11080937B2 (en) | Wearable augmented reality devices with object detection and tracking | |
US9613262B2 (en) | Object detection and tracking for providing a virtual device experience | |
US20180373332A1 (en) | Fiducial rings in virtual reality | |
US8965741B2 (en) | Context aware surface scanning and reconstruction | |
US20130177296A1 (en) | Generating metadata for user experiences | |
KR102036545B1 (ko) | 오디오, 비주얼 및 모션 분석 기능을 갖는 디지털 카메라 | |
US20120306850A1 (en) | Distributed asynchronous localization and mapping for augmented reality | |
TW201725462A (zh) | 作業支援裝置、作業學習裝置以及作業支援系統 | |
CN105378801A (zh) | 全息图快照网格 | |
Saputra et al. | Indoor human tracking application using multiple depth-cameras | |
JP2005165776A (ja) | 画像処理方法、画像処理装置 | |
EP3528024B1 (en) | Information processing device, information processing method, and program | |
JP4716119B2 (ja) | インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム | |
KR101871359B1 (ko) | 감각 정보 제공 방법, 감각 제공 방법, 그 장치 및 그 시스템 | |
JP2007156561A (ja) | 複合現実感提示方法および複合現実感提示システム | |
JP6627775B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US11099630B2 (en) | Drift cancelation for portable object detection and tracking | |
JP5664215B2 (ja) | 拡張現実感表示システム、該システムに用いられる拡張現実感表示方法及び拡張現実感表示プログラム | |
JP6534972B2 (ja) | 映像表示装置、映像表示方法及び映像表示プログラム | |
Shen et al. | A system for visualizing sound source using augmented reality | |
WO2019054037A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20130215010A1 (en) | Portable electronic equipment and method of visualizing sound | |
US10182206B2 (en) | Image display system and image display method | |
JP2007133531A (ja) | 注目状態検出装置、及び注目状態検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110722 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120207 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120530 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5013398 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |