JP6058855B1 - 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム - Google Patents

情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム Download PDF

Info

Publication number
JP6058855B1
JP6058855B1 JP2016135192A JP2016135192A JP6058855B1 JP 6058855 B1 JP6058855 B1 JP 6058855B1 JP 2016135192 A JP2016135192 A JP 2016135192A JP 2016135192 A JP2016135192 A JP 2016135192A JP 6058855 B1 JP6058855 B1 JP 6058855B1
Authority
JP
Japan
Prior art keywords
virtual camera
sound collection
collection object
processing method
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016135192A
Other languages
English (en)
Other versions
JP2018007175A (ja
Inventor
健志 加田
健志 加田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016135192A priority Critical patent/JP6058855B1/ja
Application granted granted Critical
Publication of JP6058855B1 publication Critical patent/JP6058855B1/ja
Priority to US15/642,137 priority patent/US9875079B1/en
Publication of JP2018007175A publication Critical patent/JP2018007175A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

【課題】仮想空間へのユーザの没入感を損なわずに、仮想空間に没入するユーザに不意打ちを与える状況を防ぐことが可能な情報処理方法を提供する。【解決手段】情報処理方法は、（ａ）仮想カメラ３００と、集音オブジェクト４００と、音源オブジェクト５００とを含む仮想空間２００を規定する仮想空間データを生成するステップと、（ｂ）集音オブジェクト４００と音源オブジェクト５００との間の相対位置関係に基づいて、前記音声データを加工するステップと、（ｃ）前記加工された音声データに基づいて、ヘッドフォン１１６に音声を出力させるステップと、（ｄ）仮想カメラ３００がＨＭＤ１１０の動きに連動せずに移動したかどうかを判定するステップと、（ｅ）仮想カメラ３００と集音オブジェクト４００との間の距離Ｄを特定するステップと、（ｆ）移動した仮想カメラ３００と集音オブジェクト４００との間の距離Ｄを徐々に縮めるように、集音オブジェクト４００を移動させるステップと、を含む。【選択図】図１１

Description

本開示は、情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラムに関する。
例えば、特許文献１には、アプリケーションプログラムの進行中に、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下、ＨＭＤという。）を装着しているユーザの頭部の動きに連動してＨＭＤに表示される視野画像の表示を変更する処理を行う一方、ＨＭＤと通信可能に接続されたコントローラを用いて視野画像の表示を変更することができるヘッドマウントディスプレイシステムが開示されている。
特開２０１６−１１５１２２号公報
"［CEDEC 2015］VRで"やってはいけないこと"とは？ Oculus VRが快適なVRコンテンツ制作に向けたテクニックを伝授"、[online]、平成２７年８月２２日、４Ｇａｍｅｒ．ｎｅｔ、[平成２８年１月１３日検索]、インターネット＜URL:http://www.4gamer.net/games/195/G019528/20150828092/＞
ＨＭＤの動きと連動せずにコントローラを用いて仮想カメラの位置や向きを動かし視野画像を更新させると、ユーザはＨＭＤの動きに連動しない視覚的効果を受けることで、映像酔い（いわゆるＶＲ（Virtual Reality）酔い）を起こす可能性が高くなる。特に、非特許文献１に開示されているように、仮想カメラが後方へ移動した場合、高速で移動した場合、曲線運動により移動した場合などは、ユーザはＶＲ酔いを起こしやすい。一方、ユーザのＶＲ酔いを防ぐために、仮想カメラを瞬間的に移動（ワープともいう。）させることも考えられる。仮想カメラを瞬間的に移動させるときに、仮想カメラの移動先の近くに音声データの音源として規定された音源オブジェクトが存在する場合、集音機能を有する仮想カメラが音源オブジェクトに突如として接近する。このため、ユーザが装着しているヘッドフォン等の音声出力部から大きな音量の音声が突然出力されるため、ユーザは当該音声により不意打ちを受けてしまう。このように、ＨＭＤの動きと連動せずに仮想カメラが急に移動した場合、視野画像の変化によるＶＲ酔いだけでなく、突然の音声の音量変化による不意打ちも考慮する必要がある。
本開示は、仮想空間へのユーザの没入感を損なわずに、仮想空間に没入するユーザに不意打ちを与える状況を防ぐことが可能な情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
本開示が示す一態様によれば、ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法が提供される。
当該情報処理方法は、
（ａ）前記ヘッドマウントディスプレイの動きに連動して前記ヘッドマウントディスプレイに表示される視野画像を特定するための視軸を規定する仮想カメラと、前記仮想カメラから分離されていると共に、前記仮想カメラに追従する集音オブジェクトと、音声データの音源として規定される音源オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
（ｂ）前記集音オブジェクトと前記音源オブジェクトとの間の相対位置関係に基づいて、前記音声データを加工するステップと、
（ｃ）前記加工された音声データに基づいて、前記音声出力部に音声を出力させるステップと、
（ｄ）前記仮想カメラが前記ヘッドマウントディスプレイの動きに連動せずに移動したかどうかを判定するステップと、
前記仮想カメラが前記ヘッドマウントディスプレイの動きに連動せずに移動したと判定した場合に、
（ｅ）前記移動した仮想カメラの位置と前記集音オブジェクトの位置に基づいて、前記仮想カメラと前記集音オブジェクトとの間の距離を特定するステップと、
（ｆ）前記移動した仮想カメラと前記集音オブジェクトとの間の距離を徐々に縮めるように、前記集音オブジェクトを移動させるステップと、
を含む。
本開示によれば、仮想空間へのユーザの没入感を損なわずに、仮想空間に没入するユーザに不意打ちを与える状況を防ぐことが可能な情報処理方法を提供することができる。また、当該情報処理方法をコンピュータに実行させるためのプログラムを提供することができる。
本ヘッドマウントディスプレイ（ＨＭＤ）システムを示す概略図である。 ＨＭＤを装着したユーザの頭部を示す図である。 制御装置のハードウェア構成を示す図である。 視野画像をＨＭＤに表示する処理を示すフローチャートである。 仮想空間の一例を示すｘｙｚ空間図である。 （ａ）は、図５に示す仮想空間のｙｘ平面図である。（ｂ）は、図５に示す仮想空間のｚｘ平面図である。 ＨＭＤに表示された視野画像の一例を示す図である。 本実施形態に係る情報処理方法を説明するためのフローチャートである。 仮想カメラが音源オブジェクトの近くに移動した様子を示す模式図である。 移動した仮想カメラと集音オブジェクトとの間の距離Ｄがａ×Ｄ０となるように集音オブジェクトが移動する様子を示す模式図である。 移動した仮想カメラと集音オブジェクトとの間の距離Ｄがａ２×Ｄ０となるように集音オブジェクトが移動する様子を示す模式図である。 本実施形態の変形例に係る情報処理方法を説明するためのフローチャートである。
［本開示が示す実施形態の説明］
本開示が示す実施形態の概要を説明する。
（１）ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
（ａ）前記ヘッドマウントディスプレイの動きに連動して前記ヘッドマウントディスプレイに表示される視野画像を特定するための視軸を規定する仮想カメラと、前記仮想カメラから分離されていると共に、前記仮想カメラに追従する集音オブジェクトと、音声データの音源として規定される音源オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
（ｂ）前記集音オブジェクトと前記音源オブジェクトとの間の相対位置関係に基づいて、前記音声データを加工するステップと、
（ｃ）前記加工された音声データに基づいて、前記音声出力部に音声を出力させるステップと、
（ｄ）前記仮想カメラが前記ヘッドマウントディスプレイの動きに連動せずに移動したかどうかを判定するステップと、
前記仮想カメラが前記ヘッドマウントディスプレイの動きに連動せずに移動したと判定した場合に、
（ｅ）前記移動した仮想カメラの位置と前記集音オブジェクトの位置に基づいて、前記仮想カメラと前記集音オブジェクトとの間の距離を特定するステップと、
（ｆ）前記移動した仮想カメラと前記集音オブジェクトとの間の距離を徐々に縮めるように、前記集音オブジェクトを移動させるステップと、
を含む、情報処理方法。
上記方法によれば、仮想カメラがヘッドマウントディスプレイの動きに連動せずに移動したと判定された場合に、移動した仮想カメラの位置と集音オブジェクトとの位置に基づいて、移動した仮想カメラと集音オブジェクトとの間の距離が特定され、集音オブジェクトは、移動した仮想カメラと集音オブジェクトとの間の距離が徐々に縮まるように移動する。このように、例えば、ヘッドマウントディスプレイの動きに連動せずに仮想カメラが瞬間的に移動するときに、集音オブジェクトは仮想カメラに追従して瞬間的には移動せずに、仮想カメラに近づくように徐々に移動するため、大きな音量の音声が音声出力部から突然出力される状況が防止されると共に、仮想空間へのユーザの没入感が損なうことが防止される。従って、仮想空間へのユーザの没入感を損なわずに、仮想空間に没入するユーザに不意打ちを与える状況を防ぐことが可能な情報処理方法を提供することが可能となる。
（２）前記ステップ（ｄ）では、前記視野画像のフレーム毎に前記仮想カメラが前記ヘッドマウントディスプレイの動きに連動せずに移動したかどうかが判定される、項目（１）に記載の情報処理方法。
上記方法によれば、視野画像のフレーム毎に仮想カメラがヘッドマウントディスプレイの動きに連動せずに移動したかどうかが判定されるので、仮想カメラが瞬間的に移動したとしても、仮想空間に没入するユーザに不意打ちを与える状況を防ぐことができる。
（３）前記移動した仮想カメラと前記集音オブジェクトとの間の距離が所定の値以下となるまで、前記ステップ（ｆ）が実行される、項目（１）又は（２）に記載の情報処理方法。
上記方法によれば、仮想カメラと集音オブジェクトとの間の距離が所定の値以下となるまで、仮想カメラと集音オブジェクトとの間の距離が徐々に縮まるように、集音オブジェクトが移動する。このように、仮想カメラが移動したとしても、仮想カメラと集音オブジェクトの間の距離が所定の値以下となるので、仮想空間への没入感が損なわれることを防ぐことが可能となる。
（４）前記ステップ（ｆ）は、
（ｆ１）前記移動した仮想カメラと前記集音オブジェクトとの間の距離に所定の係数を乗算することで得られた値が前記仮想カメラと前記集音オブジェクトとの間の新たな距離となるように、前記集音オブジェクトを移動させるステップを含み、
当該所定の係数は１より小さい値であって、
前記移動後の集音オブジェクトは、前記移動前の集音オブジェクトと前記仮想カメラとを結ぶ線分上に位置し、
前記ステップ（ｆ１）は、繰り返し実行される、項目（１）から（３）のうちいずれか一項に記載の情報処理方法。
上記方法によれば、仮想カメラと集音オブジェクトとの間の距離に所定の係数（１より小さい値）を乗算することで得られた値が仮想カメラと集音オブジェクトとの間の新たな距離となるように、集音オブジェクトが移動し、当該処理は繰り返し実行される。
このように、仮想カメラと集音オブジェクトとの間の距離を徐々に縮めるように、集音オブジェクトを移動させることが可能となる。
（５）前記視野画像の複数フレームのうちの所定のフレームが所定の条件を満たした場合に、前記所定のフレームにおいて前記ステップ（ｆ１）が実行される、項目（４）に記載の情報処理方法。
上記方法によれば、所定のフレームが所定の条件を満たした場合に、当該所定のフレームにおいて、仮想カメラと集音オブジェクトとの間の距離に所定の係数（１より小さい値）を乗算することで得られた値が仮想カメラと集音オブジェクトとの間の新たな距離となるように、集音オブジェクトが移動する。このように、所定の条件を満たしたフレームにおいてのみ、集音オブジェクトが移動するので、仮想カメラと集音オブジェクトとの間の距離を適切な時間間隔で徐々に縮めることができる。例えば、ゲーム動画（視野画像）のフレームレートが９０ｆｐｓの場合であって、３０フレーム間隔で仮想カメラと集音オブジェクトとの間の距離を縮める場合、約０．３ｓ間隔で仮想カメラと集音オブジェクトとの間の距離が徐々に縮められる。このように、仮想空間に没入するユーザに不意打ちを与える状況を確実に防ぐことが可能となる。
（６）前記視野画像の複数フレームの各々において、前記ステップ（ｆ１）が実行される、項目（４）に記載の情報処理方法。
上記方法によれば、視野画像の複数フレームの各々において、仮想カメラと集音オブジェクトとの間の距離に所定の係数（１より小さい値）を乗算することで得られた値が仮想カメラと集音オブジェクトとの間の新たな距離となるように、集音オブジェクトが移動する。このように、集音オブジェクトが移動した仮想カメラに可及的速やかに近づくため、仮想カメラに対する集音オブジェクトの追従性が高くなり、仮想空間への没入感（つまり、仮想空間の臨場感）が損なわれることを防ぐことが可能となる。
（７）前記視野画像の複数フレームのうちの所定のフレームにおいて前記仮想カメラが移動したと判定された場合に、当該所定のフレームにおいて前記ステップ（ｆ１）が実行される、項目（４）または（５）に記載の情報処理方法。
上記方法によれば、所定のフレームにおいて仮想カメラが移動したと判定された場合に、当該所定のフレームにおいて、仮想カメラと集音オブジェクトとの間の距離に所定の係数（１より小さい値）を乗算することで得られた値が仮想カメラと集音オブジェクトとの間の新たな距離となるように、集音オブジェクトが移動する。
このように、仮想カメラが移動したと判定された直後に、集音オブジェクトが移動するので、仮想カメラに対する集音オブジェクトの追従性が高くなり、仮想空間への没入感（つまり、仮想空間の臨場感）が損なわれることを防ぐことが可能となる。
（８）項目（１）から（７）のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
上記によれば、仮想空間へのユーザの没入感を損なわずに、仮想空間に没入するユーザに不意打ちを与える状況を防ぐことが可能なプログラムを提供することが可能となる。
［本開示が示す実施形態の詳細］
以下、本開示が示す実施形態について図面を参照しながら説明する。尚、本実施形態の説明において既に説明された部材と同一の参照番号を有する部材については、説明の便宜上、その説明は繰り返さない。
図１は、本開示が示す実施形態（以下、単に本実施形態という。）に係るヘッドマウントディスプレイ（以下、単にＨＭＤという。）システム１を示す概略図である。図１に示すように、ＨＭＤシステム１は、ユーザＵの頭部に装着されたＨＭＤ１１０と、ヘッドフォン１１６（音声出力部の一例）と、位置センサ１３０と、外部コントローラ３２０と、制御装置１２０とを備える。
ＨＭＤ１１０は、表示部１１２と、ＨＭＤセンサ１１４と、注視センサ１４０とを備えている。表示部１１２は、ＨＭＤ１１０を装着したユーザＵの視界（視野）を完全に覆うように構成された非透過型の表示装置を備えている。これにより、ユーザＵは、表示部１１２に表示された視野画像のみを見ることで仮想空間に没入することができる。尚、表示部１１２は、ユーザＵの左目に画像を提供するように構成された左目用の表示部とユーザＵの右目に画像を提供するように構成された右目用の表示部から構成されてもよい。
ＨＭＤセンサ１１４は、ＨＭＤ１１０の表示部１１２の近傍に搭載される。ＨＭＤセンサ１１４は、地磁気センサ、加速度センサ、傾きセンサ（角速度センサやジャイロセンサ等）のうちの少なくとも１つを含み、ユーザＵの頭部に装着されたＨＭＤ１１０の各種動きを検出することができる。
注視センサ１４０は、ユーザＵの視線方向を検出するアイトラッキング機能を有する。
注視センサ１４０は、例えば、右目用注視センサと、左目用注視センサを備えてもよい。右目用注視センサは、ユーザＵの右目に例えば赤外光を照射して、右目（特に、角膜や虹彩）から反射された反射光を検出することで、右目の眼球の回転角に関する情報を取得してもよい。一方、左目用注視センサは、ユーザＵの左目に例えば赤外光を照射して、左目（特に、角膜や虹彩）から反射された反射光を検出することで、左目の眼球の回転角に関する情報を取得してもよい。
ヘッドフォン１１６は、ユーザＵの左耳と右耳にそれぞれ装着されている。ヘッドフォン１１６は、制御装置１２０から音声データ（電気信号）を受信し、当該受信した音声データに基づいて音声を出力するように構成されている。ヘッドフォン１１６の右耳用のスピーカに出力される音声は、ヘッドフォン１１６の左耳用のスピーカに出力される音声と異なってもよい。例えば、制御装置１２０は、頭部伝達関数に基づいて、右耳用スピーカに入力される音声データと、左耳用スピーカに入力される音声データを生成し、当該異なる２つの音声データをヘッドフォン１１６に出力してもよい。尚、音声出力部の他の一例として、独立した２つの据置型スピーカやイヤホンを設けてもよい。
位置センサ１３０は、例えば、ポジション・トラッキング・カメラにより構成され、ＨＭＤ１１０と外部コントローラ３２０の位置を検出するように構成されている。位置センサ１３０は、制御装置１２０に無線又は有線により通信可能に接続されており、ＨＭＤ１１０に設けられた図示しない複数の検知点の位置、傾き又は発光強度に関する情報を検出するように構成されている。さらに、位置センサ１３０は、外部コントローラ３２０に設けられた図示しない複数の検知点の位置、傾き及び／又は発光強度に関する情報を検出するように構成されている。検知点は、例えば、赤外線や可視光を放射する発光部である。また、位置センサ１３０は、赤外線センサや複数の光学カメラを含んでもよい。
外部コントローラ３２０は、例えば、仮想空間内に表示される手指オブジェクトの動作を制御するために使用される。外部コントローラ３２０は、ユーザＵが右手に持って使用する右手用外部コントローラと、ユーザＵが左手に持って使用する左手用外部コントローラを有してもよい。右手用外部コントローラは、ユーザＵの右手の位置や右手の手指の動きを検出する装置である。左手用外部コントローラは、ユーザＵの左手の位置や左手の手指の動きを検出する装置である。外部コントローラ３２０は、複数の操作ボタンと、複数の検知点と、センサと、トランシーバとを備えてもよい。例えば、外部コントローラ３２０の操作ボタンがユーザＵに操作されることで、仮想空間内にメニューオブジェクトが表示されてもよい。さらに、外部コントローラ３２０の操作ボタンがユーザＵに操作されることで、仮想空間上におけるユーザＵの視野が変更されてもよい（つまり、視野画像が変更されてもよい）。この場合、外部コントローラ３２０から出力される操作信号に基づいて、制御装置１２０は、仮想カメラを所定の位置に移動させてもよい。
制御装置１２０は、位置センサ１３０から取得された情報に基づいて、ＨＭＤ１１０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間における仮想カメラの位置と、現実空間におけるＨＭＤ１１０を装着したユーザＵの位置を正確に対応付けることができる。さらに、制御装置１２０は、位置センサ１３０から取得された情報に基づいて、外部コントローラ３２０の位置情報を取得し、当該取得された位置情報に基づいて、仮想空間内に表示される手指オブジェクトの位置と現実空間における外部コントローラ３２０とＨＭＤ１１０との間の相対関係位置を正確に対応付けることができる。
また、制御装置１２０は、注視センサ１４０から送信された情報に基づいて、ユーザＵの右目の視線と左目の視線をそれぞれ特定し、当該右目の視線と当該左目の視線の交点である注視点を特定することができる。さらに、制御装置１２０は、特定された注視点に基づいて、ユーザＵの視線方向を特定することができる。ここで、ユーザＵの視線方向は、ユーザＵの両目の視線方向であって、ユーザＵの右目と左目を結ぶ線分の中点と注視点を通る直線の方向に一致する。
次に、図２を参照して、ＨＭＤ１１０の位置や傾きに関する情報を取得する方法について説明する。図２は、ＨＭＤ１１０を装着したユーザＵの頭部を示す図である。ＨＭＤ１１０を装着したユーザＵの頭部の動きに連動したＨＭＤ１１０の位置や傾きに関する情報は、位置センサ１３０及び／又はＨＭＤ１１０に搭載されたＨＭＤセンサ１１４により検出可能である。図２に示すように、ＨＭＤ１１０を装着したユーザＵの頭部を中心として、３次元座標（ｕｖｗ座標）が規定される。ユーザＵが直立する垂直方向をｖ軸として規定し、ｖ軸と直交しＨＭＤ１１０の中心を通る方向をｗ軸として規定し、ｖ軸およびｗ軸と直交する方向をｕ軸として規定する。位置センサ１３０及び／又はＨＭＤセンサ１１４は、各ｕｖｗ軸回りの角度（すなわち、ｖ軸を中心とする回転を示すヨー角、ｕ軸を中心とした回転を示すピッチ角、ｗ軸を中心とした回転を示すロール角で決定される傾き）を検出する。制御装置１２０は、検出された各ｕｖｗ軸回りの角度変化に基づいて、仮想カメラの視軸を制御するための角度情報を決定する。
次に、図３を参照することで、制御装置１２０のハードウェア構成について説明する。図３は、制御装置１２０のハードウェア構成を示す図である。図３に示すように、制御装置１２０は、制御部１２１と、記憶部１２３と、Ｉ／Ｏ（入出力）インターフェース１２４と、通信インターフェース１２５と、バス１２６とを備える。制御部１２１と、記憶部１２３と、Ｉ／Ｏインターフェース１２４と、通信インターフェース１２５は、バス１２６を介して互いに通信可能に接続されている。
制御装置１２０は、ＨＭＤ１１０とは別体に、パーソナルコンピュータ、タブレット又はウェアラブルデバイスとして構成されてもよいし、ＨＭＤ１１０に内蔵されていてもよい。また、制御装置１２０の一部の機能がＨＭＤ１１０に搭載されると共に、制御装置１２０の残りの機能がＨＭＤ１１０とは別体の他の装置に搭載されてもよい。
制御部１２１は、メモリとプロセッサを備えている。メモリは、例えば、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えばＣＰＵ(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ)、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び／又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、ＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されている。
特に、プロセッサが本実施形態に係る情報処理方法をコンピュータに実行させるためのプログラム（後述する）をＲＡＭ上に展開し、ＲＡＭとの協働で当該プログラムを実行することで、制御部１２１は、制御装置１２０の各種動作を制御してもよい。制御部１２１は、メモリや記憶部１２３に格納された所定のアプリケーションプログラム（ゲームプログラム）を実行することで、ＨＭＤ１１０の表示部１１２に仮想空間（視野画像）を表示する。これにより、ユーザＵは、表示部１１２に表示された仮想空間に没入することができる。
記憶部（ストレージ）１２３は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢフラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。記憶部１２３は、本実施形態に係る情報処理方法をコンピュータに実行させるプログラムを格納してもよい。また、ユーザＵの認証プログラムや各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納されてもよい。さらに、記憶部１２３には、各種データを管理するためのテーブルを含むデータベースが構築されてもよい。
Ｉ／Ｏインターフェース１２４は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０と、ヘッドフォン１１６とをそれぞれ制御装置１２０に通信可能に接続するように構成されており、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ―Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子等により構成されている。尚、制御装置１２０は、位置センサ１３０と、ＨＭＤ１１０と、外部コントローラ３２０のそれぞれと無線接続されていてもよい。
通信インターフェース１２５は、制御装置１２０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はインターネット等の通信ネットワーク３に接続させるように構成されている。通信インターフェース１２５は、通信ネットワーク３を介して外部サーバ等の外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んでおり、通信ネットワーク３を介して通信するための通信規格に適合するように構成されている。
次に、図４から図７を参照することで視野画像をＨＭＤ１１０に表示するための処理について説明する。図４は、視野画像をＨＭＤ１１０に表示する処理を示すフローチャートである。図５は、仮想空間２００の一例を示すｘｙｚ空間図である。図６（ａ）は、図５に示す仮想空間２００のｙｘ平面図である。図６（ｂ）は、図５に示す仮想空間２００のｚｘ平面図である。図７は、ＨＭＤ１１０に表示された視野画像Ｖの一例を示す図である。
図４に示すように、ステップＳ１において、制御部１２１（図３参照）は、仮想カメラ３００と、各種オブジェクトとを含む仮想空間２００を示す仮想空間データを生成する。図５に示すように、仮想空間２００は、中心位置２１を中心とした全天球として規定される（図５では、上半分の天球のみが図示されている）。また、仮想空間２００では、中心位置２１を原点とするｘｙｚ座標系が設定されている。仮想カメラ３００は、ＨＭＤ１１０に表示される視野画像Ｖ（図７参照）を特定するための視軸Ｌを規定している。仮想カメラ３００の視野を定義するｕｖｗ座標系は、現実空間におけるユーザＵの頭部を中心として規定されたｕｖｗ座標系に連動するように決定される。また、ＨＭＤ１１０を装着したユーザＵの現実空間における移動に連動して、仮想カメラ３００を仮想空間２００内で移動させてもよい。
次に、ステップＳ２において、制御部１２１は、仮想カメラ３００の視野ＣＶ（図６参照）を特定する。具体的には、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の状態を示すデータに基づいて、ＨＭＤ１１０の位置や傾きに関する情報を取得する。次に、制御部１２１は、ＨＭＤ１１０の位置や傾きに関する情報に基づいて、仮想空間２００内における仮想カメラ３００の位置や向きを特定する。次に、制御部１２１は、仮想カメラ３００の位置や向きから仮想カメラ３００の視軸Ｌを決定し、決定された視軸Ｌから仮想カメラ３００の視野ＣＶを特定する。ここで、仮想カメラ３００の視野ＣＶは、ＨＭＤ１１０を装着したユーザＵが視認可能な仮想空間２００の一部の領域に相当する（換言すれば、ＨＭＤ１１０に表示される仮想空間２００の一部の領域に相当する）。また、視野ＣＶは、図６（ａ）に示すｘｙ平面において、視軸Ｌを中心とした極角αの角度範囲として設定される第１領域ＣＶａと、図６（ｂ）に示すｘｚ平面において、視軸Ｌを中心とした方位角βの角度範囲として設定される第２領域ＣＶｂとを有する。尚、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、ユーザＵの視線方向を特定し、ユーザＵの視線方向に基づいて仮想カメラ３００の向きを決定してもよい。
このように、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４からのデータに基づいて、仮想カメラ３００の視野ＣＶを特定することができる。ここで、ＨＭＤ１１０を装着したユーザＵが動くと、制御部１２１は、位置センサ１３０及び／又はＨＭＤセンサ１１４から送信されたＨＭＤ１１０の動きを示すデータに基づいて、仮想カメラ３００の視野ＣＶを変化させることができる。つまり、制御部１２１は、ＨＭＤ１１０の動きに応じて、視野ＣＶを変化させることができる。同様に、ユーザＵの視線方向が変化すると、制御部１２１は、注視センサ１４０から送信されたユーザＵの視線方向を示すデータに基づいて、仮想カメラ３００の視野ＣＶを移動させることができる。つまり、制御部１２１は、ユーザＵの視線方向の変化に応じて、視野ＣＶを変化させることができる。
次に、ステップＳ３において、制御部１２１は、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖを示す視野画像データを生成する。具体的には、制御部１２１は、仮想空間２００を規定する仮想空間データと、仮想カメラ３００の視野ＣＶとに基づいて、視野画像データを生成する。
次に、ステップＳ４において、制御部１２１は、視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に視野画像Ｖを表示する（図７参照）。このように、ＨＭＤ１１０を装着しているユーザＵの動きに応じて、仮想カメラ３００の視野ＣＶが変化し、ＨＭＤ１１０の表示部１１２に表示される視野画像Ｖが変化するので、ユーザＵは仮想空間２００に没入することができる。
尚、仮想カメラ３００は、左目用仮想カメラと右目用仮想カメラを含んでもよい。この場合、制御部１２１は、仮想空間データと左目用仮想カメラの視野に基づいて、左目用の視野画像を示す左目用視野画像データを生成する。さらに、制御部１２１は、仮想空間データと、右目用仮想カメラの視野に基づいて、右目用の視野画像を示す右目用視野画像データを生成する。その後、制御部１２１は、左目用視野画像データと右目用視野画像データに基づいて、ＨＭＤ１１０の表示部１１２に左目用視野画像と右目用視野画像を表示する。このようにして、ユーザＵは、左目用視野画像と右目用視野画像から、視野画像を３次元画像として視認することができる。尚、本明細書では、説明の便宜上、仮想カメラ３００の数は一つとする。勿論、本開示の実施形態は、仮想カメラの数が２つの場合でも適用可能である。
次に、本実施形態に係る情報処理方法について図８から図１０を参照して説明する。図８は、本実施形態に係る情報処理方法を説明するためのフローチャートである。図９は、仮想カメラ３００が音源オブジェクト５００の近くに移動した様子を示す模式図である。図１０は、移動した仮想カメラ３００と集音オブジェクト４００との間の距離Ｄがａ×Ｄ０となるように集音オブジェクト４００が移動する様子を示す模式図である。図１１は、移動した仮想カメラ３００と集音オブジェクト４００との間の距離Ｄがａ２×Ｄ０となるように集音オブジェクト４００が移動する様子を示す模式図である。
最初に、図９に示すように、仮想空間２００（図５参照）は、仮想カメラ３００と、集音オブジェクト４００と、音源オブジェクト５００と、図示しない各種オブジェクト（敵アバターや味方アバター等）とを含む。制御部１２１は、これらのオブジェクトを含む仮想空間２００を規定する仮想空間データを生成している。
集音オブジェクト４００は、仮想空間２００上を伝搬する音声を収集する集音器として規定されている。集音オブジェクト４００は、仮想カメラ３００から分離されていると共に、仮想カメラ３００に追従する。特に、集音オブジェクト４００は、集音オブジェクト４００と仮想カメラ３００との間の距離Ｄが所定の距離Ｄｔｈとなっている状態で、仮想カメラ３００に近接している。ここで、所定の距離Ｄｔｈとは、集音オブジェクト４００と仮想カメラ３００が十分に近接していると考えられる距離であって、ゲームプログラムの仕様に応じて適宜変更されてもよい。また、集音オブジェクト４００は、透明であってもよい。この場合、集音オブジェクト４００は、視野画像Ｖ上には表示されない。音源オブジェクト５００は、音声データの音源として規定されている。例えば、音源オブジェクト５００は、スポーツゲーム（テニス）を観戦しつつ、声援を送る観客オブジェクトや、戦場において爆音を発生する爆音オブジェクト（戦車や爆弾等）である。本実施形態では、図９に示すように、仮想カメラ３００がＨＭＤ１１０の動きに連動せずに移動し、移動した仮想カメラ３００が音源オブジェクト５００の近くに位置することを前提とする。しかしながら、本実施形態に係る情報処理方法では、移動した仮想カメラ３００の近くに必ずしも音源オブジェクト５００が存在しなくてもよい。
図８に示すように、ステップＳ２０において、制御部１２１は、ＨＭＤ１１０の動きに連動せずに仮想カメラ３００が移動したかどうかを判定する。例えば、ユーザＵが外部コントローラ３２０の操作ボタンを操作することで、仮想カメラ３００が瞬間的に移動する場合、制御部１２１は、仮想カメラ３００はＨＭＤ１１０の動きに連動せずに移動したと判定する。具体的には、外部コントローラ３２０は、操作ボタンに対するユーザＵの入力操作に応じて、仮想カメラ３００を移動させることを指示する指示信号を生成し、当該生成された指示信号を制御装置１２０に送信する。制御装置１２０の制御部１２１は、Ｉ／Ｏインターフェース１２４を介して指示信号を受信し、当該受信した指示信号に基づいて仮想カメラ３００を仮想空間２００上の所定位置に瞬間的に移動させる。その後、制御部１２１は、仮想カメラ３００はＨＭＤ１１０の動きに連動せずに移動したと判定する。尚、制御部１２１は、所定のイベント（例えば、テニスゲームにおけるコートチェンジ）が発生した場合に仮想カメラ３００を瞬間的に移動させた後に、仮想カメラ３００はＨＭＤ１１０の動きに連動せずに移動したと判定してもよい。
制御部１２１は、ＨＭＤ１１０の動きに連動せずに仮想カメラ３００が移動したと判定した場合（ステップＳ２０でＹＥＳ）、仮想カメラ３００と集音オブジェクト４００との間の距離Ｄを特定する（ステップＳ２１）。具体的には、制御部１２１は、移動した仮想カメラ３００の位置と集音オブジェクト４００との位置に基づいて、仮想カメラ３００と集音オブジェクト４００との間の距離Ｄを特定する。距離Ｄは、仮想カメラ３００と集音オブジェクト４００との間の最短距離であってもよい。
次に、ステップＳ２２において、制御部１２１は、仮想カメラ３００が移動したと判定したときにおけるフレームの番号ＮをＮ＝１に設定する。ここで、フレームとは、動画像を構成する静止画像をいう。例えば、ゲーム動画の場合、１秒間にＨＭＤ１１０に表示される静止画像（フレーム）の枚数は９０枚であり、フレームレート（フレーム数／秒）は９０ｆｐｓとなる。
次に、ステップＳ２３において、制御部１２１は、フレームの番号Ｎが１又はＮａの倍数であるかどうかを判定する。ここで、Ｎａは１より大きい整数であってゲームプログラムの仕様に応じて適宜変更されてもよい。例えば、Ｎａ＝３０の場合、制御部１２１は、３０フレーム毎にステップＳ２４の処理を実行する。ここで、ゲーム動画のフレームレートが９０ｆｔｐの場合では、制御部１２１は、ステップＳ２４に規定される処理を約０．３ｓ間隔で実行する。
制御部１２１は、フレームの番号Ｎが１又はＮａの倍数であると判定した場合（ステップＳ２３でＹＥＳ）、距離Ｄがａ×Ｄ（ａ×Ｄ→Ｄ）となるように、集音オブジェクト４００を移動させる（ステップＳ２４）。換言すれば、制御部１２１は、移動した仮想カメラ３００と集音オブジェクト４００との間の距離Ｄに所定の係数ａ（ａは１より小さい値）を乗算することで得られた値ａ・Ｄが仮想カメラ３００と集音オブジェクト４００との間の新たな距離となるように、集音オブジェクト４００を移動させる。
例えば、図９に示すように、ステップＳ２４に規定される処理を実行する前において、移動した仮想カメラ３００と集音オブジェクト４００との間の距離ＤをＤ０とした場合、ステップＳ２４に規定される処理を１回だけ実行した後における仮想カメラ３００と集音オブジェクト４００との間の距離ＤはＤ＝ａ×Ｄ０となる（図１０参照）。また、図１０に示すように、移動後の集音オブジェクト４００（実線で示される）は、移動前の集音オブジェクト４００（破線で示される）と移動後の仮想カメラ３００とを結ぶ線分上に位置する。制御部１２１は、距離Ｄ＝ａ×Ｄ０と、移動前の集音オブジェクト４００の位置と移動後の仮想カメラ３００の位置とに基づいて、移動後の集音オブジェクト４００の位置を特定する。例えば、以下の式（１）から、移動後の集音オブジェクト４００の位置ベクトルが演算されてもよい。
・・・（１）

ｐ１：移動前の集音オブジェクト４００の位置ベクトル
ｐ２：移動後の仮想カメラ３００の位置ベクトル
ｐ３：移動後の集音オブジェクト４００の位置ベクトル
ｔ：媒介変数
所定の係数ａは、１より小さい値（例えば、０．９）であって、ゲームプログラムの仕様に応じて適宜変更されてもよい。例えば、Ｎａが大きければ、所定の係数ａを小さくしてもよい。その反対に、Ｎａが小さければ、所定の係数ａを大きくしてもよい。また、本実施形態では、Ｎ＝１において（つまり、仮想カメラ３００が移動したと判定したときのフレームにおいて）、制御部１２１は、ステップＳ２４の処理を実行する。
また、制御部１２１は、フレームの番号Ｎが１又はＮａの倍数ではないと判定した場合（ステップＳ２３でＮＯ）、処理はステップＳ２５に進む。
次に、制御部１２１は、音源オブジェクト５００と集音オブジェクト４００との間の相対位置関係に基づいて、音源オブジェクト５００に関連付けられた音声データを加工する（ステップＳ２５）。例えば、一般的に、集音オブジェクト４００と音源オブジェクト５００との間の距離が大きい場合、ヘッドフォン１１６に出力される音声の音量（音圧レベル）は小さくなる。その反対に、集音オブジェクト４００と音源オブジェクト５００との間の距離が小さい場合、ヘッドフォン１１６に出力される音声の音量は大きくなる。このように、制御部１２１は、音源オブジェクト５００と集音オブジェクト４００との間の距離に基づいて、音声データの音量（音圧レベル）を決定する。
この点において、制御部１２１は、集音オブジェクト４００と音源オブジェクト５００との間の距離と音声データの音量との関係を示すルックアップテーブル（ＬＵＴ）や関数を参照することで、音声データの音量を決定してもよい。例えば、基準距離Ｒ０における音量が既知である場合、制御部１２１は、以下の式（２）を参照して音声データの音量を決定してもよい。

Ｌ＝Ｌ０−２０ｌｏｇ（Ｒ／Ｒ０）・・・（２）

Ｒ：集音オブジェクト４００と音源オブジェクト５００との間の距離、
Ｒ０：集音オブジェクト４００と音源オブジェクト５００との間の基準距離
Ｌ：距離Ｒにおける音声データの音量（ｄＢ）
Ｌ０：基準距離Ｒ０における音声データの音量（ｄＢ）
また、制御部１２１は、集音オブジェクト４００と音源オブジェクト５００との間の相対位置関係から所定の頭部伝達関数を決定し、決定された頭部伝達関数と音声データとに基づいて音声データを加工してもよい。
次に、ステップＳ２６において、制御部１２１は、加工された音声データに基づいて、ヘッドフォン１１６に音声を出力する。その後、制御部１２１は、フレームの番号Ｎを１つ増加させた上で（Ｎ→Ｎ＋１）、次のフレーム（静止画像）をＨＭＤ１１０に表示する（ステップＳ２８）。
次に、次のフレームに対してステップＳ２０の処理が再び実行される。制御部１２１は、ＨＭＤ１１０の動きに連動せずに仮想カメラ３００が移動していないと判定した場合（ステップＳ２０でＮＯ）、ＨＭＤ１１０の動きに連動して仮想カメラ３００が移動したか判定する（ステップＳ２９）。制御部１２１は、ＨＭＤ１１０の動きに連動して仮想カメラ３００が移動したと判定した場合（ステップＳ２９でＹＥＳ）、移動した仮想カメラ３００と集音オブジェクト４００との間の距離Ｄが所定の距離Ｄｔｈとなるように、集音オブジェクト４００を移動させる（ステップＳ３１）。その後、制御部１２１は、ステップＳ３２の処理とステップＳ３３の処理を実行する。
一方、制御部１２１は、仮想カメラ３００が移動していないと判定した場合（ステップＳ２９でＮＯ）、距離Ｄが所定の距離Ｄｔｈよりも大きいかどうか判定する（ステップＳ３０）。制御部１２１は、距離Ｄが所定の距離Ｄｔｈ以下であると判定した場合（ステップＳ３０でＮＯ）、ステップＳ３２の処理とステップＳ３３の処理を実行する。ステップＳ３２の処理は、既に説明したステップＳ２５の処理と同一であると共に、ステップＳ３３の処理は、既に説明したステップＳ２６の処理と同一である。
その後、制御部１２１は、次のフレーム（静止画像）をＨＭＤ１１０に表示した上で、次のフレームに対してステップＳ２０の処理を実行する。一方、制御部１２１は、距離Ｄが所定の距離Ｄｔｈよりも大きいと判定した場合（ステップＳ３０でＹＥＳ）、ステップＳ２３の処理を実行する。このように、距離Ｄが所定の距離Ｄｔｈ以下となるまで、ステップＳ２４の処理は繰り返し実行される。
ここで、フレームの番号Ｎが増加した結果としてＮ＝Ｎａとなった場合、制御部１２１は、フレームの番号ＮがＮａであると判定した上で（ステップＳ２３でＹＥＳ）、距離Ｄがａ×Ｄ（ａ×Ｄ→Ｄ）となるように、集音オブジェクト４００を移動させる（ステップＳ２４）。図１１に示すように、ステップＳ２４に規定される処理を２回実行した後における仮想カメラ３００と集音オブジェクト４００との間の距離ＤはＤ＝ａ２×Ｄ０となる。制御部１２１は、距離Ｄ＝ａ２×Ｄ０と、移動前の集音オブジェクト４００の位置と移動後の仮想カメラ３００の位置とに基づいて、移動後の集音オブジェクト４００の位置を特定する。
また、ステップＳ２４の処理がｎ回実行された場合、仮想カメラ３００と集音オブジェクト４００との間の距離ＤはＤ＝ａｎ×Ｄ０となる。このように、ステップＳ２４が繰り返し実行されることで、移動した仮想カメラ３００と集音オブジェクト４００との間の距離Ｄを徐々に縮めるように、集音オブジェクト４００を移動させることが可能となる。
本実施形態によれば、仮想カメラ３００がＨＭＤ１１０の動きに連動せずに移動したと判定された場合に、移動した仮想カメラ３００の位置と集音オブジェクト４００の位置に基づいて、移動した仮想カメラ３００と集音オブジェクト４００との間の距離Ｄが特定され、集音オブジェクト４００は、距離Ｄが徐々に縮まるように移動する。このように、ＨＭＤ１１０の動きに連動せずに仮想カメラ３００が瞬間的に移動するときに、集音オブジェクト４００は仮想カメラ３００に追従して瞬間的には移動せずに、図１０及び１１に示すように、仮想カメラ３００に近づくように徐々に移動する。このため、大きな音量の音声がヘッドフォン１１６から突然出力される状況が防止されると共に、仮想空間２００へのユーザＵの没入感（仮想空間２００に対する臨場感）が損なわれることが防止される。従って、仮想空間２００へのユーザＵの没入感を損なわずに、仮想空間２００に没入するユーザＵに不意打ちを与える状況を防ぐことが可能な情報処理方法を提供することができる。
また、ＨＭＤ１１０に表示される各フレームに仮想カメラ３００がＨＭＤ１１０の動きに連動せずに移動したかどうかが判定されるので、仮想カメラ３００が瞬間的に移動したとしても、仮想空間２００に没入するユーザＵに不意打ちを与える状況を好適に防ぐことができる。
また、ステップＳ３０に示すように、距離Ｄが所定の距離Ｄｔｈ以下となるまで、仮想カメラ３００と集音オブジェクト４００との間の距離が徐々に縮まるように、集音オブジェクト４００が移動する。このように、仮想カメラ３００が瞬間的に移動したとしても、仮想カメラ３００と集音オブジェクト４００との間の距離Ｄが所定の距離Ｄｔｈ以下となるので、仮想空間２００への没入感が損なわれることを好適に防止することができる。
また、ステップＳ２４で説明したように、仮想カメラ３００と集音オブジェクト４００との間の距離Ｄに所定の係数ａ（ａ＜１）を乗算することで得られた値ａ×Ｄが仮想カメラ３００と集音オブジェクト４００との間の新たな距離となるように、集音オブジェクト４００が移動する。そして、ステップＳ２４の処理は繰り返し実行される。このように、仮想カメラ３００と集音オブジェクト４００との間の距離Ｄを徐々に縮めるように、集音オブジェクト４００を移動させることが可能となる。
さらに、ステップ２３に示すように、所定の条件を満たしたフレームにおいてのみ、集音オブジェクト４００が移動するので、仮想カメラ３００と集音オブジェクト４００との間の距離Ｄを適切な時間間隔で徐々に縮めることができる。例えば、フレームレートが９０ｆｐｓであると共に、Ｎａ＝３０の場合、約０．３秒間隔で仮想カメラ３００と集音オブジェクト４００との間の距離が徐々に縮められる。このように、仮想空間２００に没入するユーザＵに不意打ちを与える状況を確実に防ぐことが可能となる。
さらに、本実施形態によれば、仮想カメラ３００が移動したと判定された直後に、集音オブジェクト４００が移動するので、仮想カメラ３００に対する集音オブジェクト４００の追従性が高くなり、仮想空間２００への没入感が損なわれることが好適に防止される。
次に、本実施形態の変形例に係る情報処理方法について図１２を参照して説明する。図１２は、本実施形態の変形例（以下、単に変形例という。）に係る情報処理方法を説明するためのフローチャートである。図１２に示すように、変形例に係る情報処理方法は、各フレームにおいて距離ＤがａＤとなるように（Ｄ→ａ×Ｄ）、集音オブジェクト４００を移動させる点において、図８に示す情報処理方法と相違する。換言すれば、図８に示す情報処理方法では、フレームがステップＳ２３に示す条件を満たした場合にのみ、ステップＳ２４の処理が実行される。一方、図１２に示す情報処理方法では、特定の条件を設けずに各フレームにおいてステップＳ４２の処理が実行される。この点で、図１２に示す情報処理方法は、図８に示す情報処理方法と相違する。図１２に示すステップＳ４０からＳ５１の処理の各々は、図８に示すステップＳ２０からＳ３４の処理のいずれか一つに相当するので、ここでは、各ステップＳ４０からＳ５１の処理の説明は割愛する。
変形例によれば、複数フレームの各々において、仮想カメラ３００と集音オブジェクト４００との間の距離Ｄに所定の係数ａ（ａ＜１）を乗算することで得られた値ａ×Ｄが仮想カメラ３００と集音オブジェクト４００との間の新たな距離となるように、集音オブジェクト４００が移動する。このように、集音オブジェクト４００が移動した仮想カメラ３００に可及的速やかに接近するため、仮想カメラ３００に対する集音オブジェクト４００の追従性が高くなり、仮想空間２００への没入感（仮想空間２００に対する臨場感）が損なわれることを好適に防止することができる。
また、制御部１２１によって実行される各種処理をソフトウェアによって実現するために、本実施形態に係る表示制御方法をコンピュータ（プロセッサ）に実行させるための表示制御プログラムが記憶部１２３又はＲＯＭに予め組み込まれていてもよい。または、表示制御プログラムは、磁気ディスク（ＨＤＤ、フロッピーディスク）、光ディスク（ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ（ＳＤカード、ＵＳＢメモリ、ＳＳＤ等）等のコンピュータ読取可能な記憶媒体に格納されていてもよい。この場合、記憶媒体が制御装置１２０に接続されることで、当該記憶媒体に格納されたプログラムが、記憶部１２３に組み込まれる。そして、記憶部１２３に組み込まれた表示制御プログラムがＲＡＭ上にロードされて、プロセッサがロードされた当該プログラムを実行することで、制御部１２１は本実施形態に係る表示制御方法を実行する。
また、表示制御プログラムは、通信ネットワーク３上のコンピュータから通信インターフェース１２５を介してダウンロードされてもよい。この場合も同様に、ダウンロードされた当該プログラムが記憶部１２３に組み込まれる。
以上、本開示の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
１：ＨＭＤシステム
３：通信ネットワーク
２１：中心位置
１１２：表示部
１１４：センサ
１１６：ヘッドフォン
１２０：制御装置
１２１：制御部
１２３：記憶部
１２４：Ｉ／Ｏインターフェース
１２５：通信インターフェース
１２６：バス
１３０：位置センサ
１４０：注視センサ
２００：仮想空間
３００：仮想カメラ
３２０：外部コントローラ
４００：集音オブジェクト
５００：音源オブジェクト

Claims (8)

  1. ヘッドマウントディスプレイと音声出力部とを備えたシステムにおける情報処理方法であって、
    （ａ）前記ヘッドマウントディスプレイの動きに連動して前記ヘッドマウントディスプレイに表示される視野画像を特定するための視軸を規定する仮想カメラと、前記仮想カメラから分離されていると共に、前記仮想カメラに追従する集音オブジェクトと、音声データの音源として規定される音源オブジェクトとを含む仮想空間を規定する仮想空間データを生成するステップと、
    （ｂ）前記集音オブジェクトと前記音源オブジェクトとの間の相対位置関係に基づいて、前記音声データを加工するステップと、
    （ｃ）前記加工された音声データに基づいて、前記音声出力部に音声を出力させるステップと、
    （ｄ）前記仮想カメラが前記ヘッドマウントディスプレイの動きに連動せずに移動したかどうかを判定するステップと、
    前記仮想カメラが前記ヘッドマウントディスプレイの動きに連動せずに移動したと判定した場合に、
    （ｅ）前記移動した仮想カメラの位置と前記集音オブジェクトの位置に基づいて、前記仮想カメラと前記集音オブジェクトとの間の距離を特定するステップと、
    （ｆ）前記移動した仮想カメラと前記集音オブジェクトとの間の距離を徐々に縮めるように、前記集音オブジェクトを移動させるステップと、
    を含む、情報処理方法。
  2. 前記ステップ（ｄ）では、前記視野画像のフレーム毎に前記仮想カメラが前記ヘッドマウントディスプレイの動きに連動せずに移動したかどうかが判定される、請求項１に記載の情報処理方法。
  3. 前記移動した仮想カメラと前記集音オブジェクトとの間の距離が所定の値以下となるまで、前記ステップ（ｆ）が実行される、請求項１又は２に記載の情報処理方法。
  4. 前記ステップ（ｆ）は、
    （ｆ１）前記移動した仮想カメラと前記集音オブジェクトとの間の距離に所定の係数を乗算することで得られた値が前記仮想カメラと前記集音オブジェクトとの間の新たな距離となるように、前記集音オブジェクトを移動させるステップを含み、
    当該所定の係数は１より小さい値であって、
    前記移動後の集音オブジェクトは、前記移動前の集音オブジェクトと前記仮想カメラとを結ぶ線分上に位置し、
    前記ステップ（ｆ１）は、繰り返し実行される、請求項１から３のうちいずれか一項に記載の情報処理方法。
  5. 前記視野画像の複数フレームのうちの所定のフレームが所定の条件を満たした場合に、前記所定のフレームにおいて前記ステップ（ｆ１）が実行される、請求項４に記載の情報処理方法。
  6. 前記視野画像の複数フレームの各々において、前記ステップ（ｆ１）が実行される、請求項４に記載の情報処理方法。
  7. 前記視野画像の複数フレームのうちの所定のフレームにおいて前記仮想カメラが移動したと判定された場合に、当該所定のフレームにおいて前記ステップ（ｆ１）が実行される、請求項４または５に記載の情報処理方法。
  8. 請求項１から７のうちいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2016135192A 2016-07-07 2016-07-07 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム Active JP6058855B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016135192A JP6058855B1 (ja) 2016-07-07 2016-07-07 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US15/642,137 US9875079B1 (en) 2016-07-07 2017-07-05 Information processing method and system for executing the information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016135192A JP6058855B1 (ja) 2016-07-07 2016-07-07 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016236407A Division JP2018007227A (ja) 2016-12-06 2016-12-06 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Publications (2)

Publication Number Publication Date
JP6058855B1 true JP6058855B1 (ja) 2017-01-11
JP2018007175A JP2018007175A (ja) 2018-01-11

Family

ID=57756127

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016135192A Active JP6058855B1 (ja) 2016-07-07 2016-07-07 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム

Country Status (2)

Country Link
US (1) US9875079B1 (ja)
JP (1) JP6058855B1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6853638B2 (ja) * 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
US11373379B2 (en) * 2018-08-23 2022-06-28 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method for generating augmented reality images based on user interaction
JP7252998B2 (ja) 2021-03-15 2023-04-05 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US11660750B1 (en) 2022-07-28 2023-05-30 Altec Industries, Inc. Autonomous and semi-autonomous control of aerial robotic systems
US11749978B1 (en) 2022-07-28 2023-09-05 Altec Industries, Inc. Cross-arm phase-lifter
US11839962B1 (en) 2022-07-28 2023-12-12 Altec Industries, Inc. Rotary tool for remote power line operations
US11697209B1 (en) 2022-07-28 2023-07-11 Altec Industries, Inc. Coordinate mapping for motion control
US11689008B1 (en) 2022-07-28 2023-06-27 Altec Industries, Inc. Wire tensioning system
US11742108B1 (en) 2022-07-28 2023-08-29 Altec Industries, Inc. Operation and insulation techniques
US11794359B1 (en) 2022-07-28 2023-10-24 Altec Industries, Inc. Manual operation of a remote robot assembly
US11717969B1 (en) 2022-07-28 2023-08-08 Altec Industries, Inc. Cooperative high-capacity and high-dexterity manipulators

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09284676A (ja) * 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
JPH10137445A (ja) * 1996-11-07 1998-05-26 Sega Enterp Ltd ゲーム装置、画像音響処理装置および記録媒体
JP2003348699A (ja) * 2002-05-27 2003-12-05 Victor Co Of Japan Ltd ゲーム機及びゲーム機用プログラム並びに送信受信装置
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09284676A (ja) * 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
JPH10137445A (ja) * 1996-11-07 1998-05-26 Sega Enterp Ltd ゲーム装置、画像音響処理装置および記録媒体
JP2003348699A (ja) * 2002-05-27 2003-12-05 Victor Co Of Japan Ltd ゲーム機及びゲーム機用プログラム並びに送信受信装置
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法

Also Published As

Publication number Publication date
US20180011681A1 (en) 2018-01-11
JP2018007175A (ja) 2018-01-11
US9875079B1 (en) 2018-01-23

Similar Documents

Publication Publication Date Title
JP6058855B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6074525B1 (ja) 仮想空間における視界領域調整方法、およびプログラム
JP6087453B1 (ja) 仮想空間の提供方法、およびプログラム
JP6266814B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6228640B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
US10504296B2 (en) Information processing method and system for executing the information processing method
JP2017138973A (ja) 仮想空間の提供方法、およびプログラム
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2017142783A (ja) 仮想空間における視界領域調整方法、およびプログラム
JP6207691B1 (ja) 情報処理方法および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6118444B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6289703B1 (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6416338B1 (ja) 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置
JP2018007227A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2018109940A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6190497B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6941130B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6275809B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP6205047B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2019021331A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2018163649A (ja) 情報処理方法、情報処理プログラム、情報処理システム及び情報処理装置
JP2018028682A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161207

R150 Certificate of patent or registration of utility model

Ref document number: 6058855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250