JP6646116B2 - Video / audio processing program and game device - Google Patents
Video / audio processing program and game device Download PDFInfo
- Publication number
- JP6646116B2 JP6646116B2 JP2018150172A JP2018150172A JP6646116B2 JP 6646116 B2 JP6646116 B2 JP 6646116B2 JP 2018150172 A JP2018150172 A JP 2018150172A JP 2018150172 A JP2018150172 A JP 2018150172A JP 6646116 B2 JP6646116 B2 JP 6646116B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- user
- video
- facing
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 claims description 42
- 230000004886 head movement Effects 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 25
- 210000003128 head Anatomy 0.000 description 18
- 238000000034 method Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Images
Landscapes
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- User Interface Of Digital Computer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Description
本発明は、バーチャルリアリティ空間においてサウンドを再生する技術に関する。 The present invention relates to a technique for reproducing sound in a virtual reality space.
近年、ヘッドマウントディスプレイ(HMD)を利用したバーチャルリアリティ(VR)が普及しつつある。HMDを利用したバーチャルリアリティに対応したVRゲームでは、ユーザは、仮想3次元空間内に実際に存在しているかのような感覚が得られる。 In recent years, virtual reality (VR) using a head-mounted display (HMD) is becoming widespread. In a VR game corresponding to virtual reality using an HMD, a user can feel as if he or she actually exists in a virtual three-dimensional space.
VR空間では、ユーザは、頭を動かすことで仮想3次元空間を見渡すことができる。 In the VR space, the user can look around the virtual three-dimensional space by moving his / her head.
従来のVRゲームではないゲームでは、モニタに目線を向けてプレイするため、目線の方向を考慮してサウンドを再生する必要がなかった。しかしながら、VRゲームにおいてユーザの見ている方向を考慮せずにサウンドを出力した場合、どの方向を向いても同じサウンドが聞こえてしまうという問題があった。VRゲームでは、360度にゲーム画面が表示されるため、目線の方向を考慮してサウンドを再生する必要がある。 In a game other than the conventional VR game, since the player plays the game with his / her eyes facing the monitor, it is not necessary to reproduce the sound in consideration of the direction of the eyes. However, in the case of outputting a sound without considering the direction in which the user is looking in the VR game, there is a problem that the same sound can be heard in any direction. In the VR game, since the game screen is displayed at 360 degrees, it is necessary to reproduce the sound in consideration of the direction of the eyes.
本発明は、上記に鑑みてなされたものであり、HMDを利用したVR空間において、より臨場感が出るようにサウンドを再生することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to reproduce a sound in a VR space using an HMD so as to give a more realistic feeling.
第1の本発明に係る映像音声処理プログラムは、ユーザがヘッドマウントディスプレイを装着して映像を視聴する装置としてコンピュータを動作させる映像音声処理プログラムであって、前記コンピュータを前記ヘッドマウントディスプレイからユーザの頭の動き情報を入力し、前記ユーザの向いている方向を検出する入力手段、前記ユーザの向いている方向に応じた映像を前記ヘッドマウントディスプレイに表示する映像処理手段、前記ユーザの向いている方向に応じた音声を出力する音声処理手段、として機能させ、前記映像処理手段は、仮想空間を撮影した映像を表示し、前記音声処理手段は、前記仮想空間内で効果音を鳴らす場合、複数の方向に対応する仮想マイクを設定し、前記効果音を集音する前記仮想マイクを判定して前記効果音の方向を決定し、前記ユーザの向いている方向と前記効果音の方向に基づいて前記効果音を出力する音量を決定することを特徴とする。 A video / audio processing program according to a first aspect of the present invention is a video / audio processing program for operating a computer as a device for a user to wear a head mounted display and view a video, wherein the computer is operated by the user from the head mounted display. Input means for inputting head movement information and detecting the direction in which the user is facing; video processing means for displaying an image corresponding to the direction in which the user is facing on the head-mounted display; Functioning as sound processing means for outputting sound according to the direction , wherein the video processing means displays a video image of the virtual space, and the sound processing means outputs a sound effect in the virtual space; The virtual microphone corresponding to the direction of the sound effect is set, the virtual microphone that collects the sound effect is determined, and the effect is determined. Determining the direction of the sound, and determines the sound volume for outputting the sound effect based the direction facing the said user in the direction of the sound effect.
第2の本発明に係るゲーム装置は、上記映像音声処理プログラムを記憶したプログラム記憶部と、前記プログラム記憶部に記憶された映像音声処理プログラムを実行するコンピュータと、を備える。 A game device according to a second aspect of the present invention includes a program storage unit that stores the video / audio processing program, and a computer that executes the video / audio processing program stored in the program storage unit.
本発明によれば、ヘッドマウントディスプレイからの情報に基づいてユーザの向いている方向を検出し、ユーザの向いている方向に応じた映像を表示するとともに、ユーザの向いている方向に応じた音声を出力することで、HMDを利用したVR空間において、より臨場感が出るようにサウンドを再生することができる。 According to the present invention, a direction in which a user is facing is detected based on information from a head-mounted display, an image corresponding to the direction in which the user is facing is displayed, and a sound in accordance with the direction in which the user is facing is displayed. By outputting, the sound can be reproduced in the VR space using the HMD so as to give a more realistic feeling.
<第1の実施例>
[録音システム]
図1は、本実施形態に係る録音システムの構成を示す機能ブロック図である。
<First embodiment>
[Recording system]
FIG. 1 is a functional block diagram illustrating a configuration of a recording system according to the present embodiment.
図1に示す録音システムは、マイクアレイ10と録音装置20を備える。
The recording system shown in FIG. 1 includes a
マイクアレイ10は、同心円上に均等な間隔で配置された6つのマイクC,L,R,Ls,Rs,Bを備える。同心円の中心と各マイクC,L,R,Ls,Rs,Bを結ぶ線のなす角度は60度である。マイクC,L,R,Ls,Rs,Bは、単一指向性マイクであるとよい。図1では、マイクの数を6つとしたが、これに限らない。本録音システムは6チャンネル分の音声信号を処理できればよいので、5.1ch用の録音システムを流用することができる。
The
マイクアレイ10の周囲で録音したい音を演奏又は出力すると、録音装置20は、各マイクC,L,R,Ls,Rs,Bによって集音された音を録音する。
When a sound to be recorded around the
録音装置20は、増幅部21、アナログデジタル(A/D)変換部22、録音部23、及び蓄積部24を備える。各マイクC,L,R,Ls,Rs,Bからの音声信号は、増幅部21で増幅され、A/D変換部22でデジタルデータに変換される。録音部23は、各デジタルデータを蓄積部24に蓄積する。
The
図2に、録音装置20が録音した、各マイクC,L,R,Ls,Rs,Bで集音された音声信号の例を示す。各マイクC,L,R,Ls,Rs,Bが集音した音声は、それぞれ個別にデジタルデータに変換されて蓄積部24に蓄積される。本実施形態では、6チャンネル分のサウンドデータが蓄積部24に蓄積される。
FIG. 2 shows an example of audio signals collected by the microphones C, L, R, Ls, Rs, and B recorded by the
以上説明したように、本実施の形態によれば、マイクC,L,R,Ls,Rs,Bを同心円上に均等な間隔で配置し、各マイクC,L,R,Ls,Rs,Bで集音した音声ごとに録音することで、マイクアレイ10の周囲の各方向の音声を方向別に録音することができる。
As described above, according to the present embodiment, microphones C, L, R, Ls, Rs, and B are arranged at equal intervals on concentric circles, and microphones C, L, R, Ls, Rs, and B are arranged. By recording for each sound collected by the above, sound in each direction around the
[ゲームシステム]
次に、ユーザがHMDを装着して遊ぶVRゲームを例に、上記の録音システムで録音したサウンドを再生する装置について説明する。
[Game system]
Next, a device that reproduces a sound recorded by the above-described recording system will be described, taking a VR game in which a user wears an HMD as an example.
ユーザがHMDを装着して遊ぶゲームの一例として一人称視点のゲームがある。一人称視点のゲームでは、ユーザが操作するプレイヤキャラクタの視点で仮想3次元空間が表示される。ユーザが頭を動かすと、HMDがユーザの頭の動きを検知する。ゲームプログラムは、HMDからユーザの頭の動きの情報を受信し、ユーザの頭の動きに合わせて仮想3次元空間を撮影する仮想カメラを制御し、ユーザの頭の向きに応じた画像を表示する。本実施形態では、ゲームプログラムが、ユーザの見ている仮想3次元空間内の方向を判定し、その方向のサウンドデータを出力する。 One example of a game in which a user wears the HMD and plays is a first-person viewpoint game. In a first-person viewpoint game, a virtual three-dimensional space is displayed from the viewpoint of the player character operated by the user. When the user moves his head, the HMD detects the movement of the user's head. The game program receives information on the user's head movement from the HMD, controls a virtual camera that captures a virtual three-dimensional space in accordance with the user's head movement, and displays an image corresponding to the user's head orientation. . In the present embodiment, the game program determines the direction in the virtual three-dimensional space that the user is looking at, and outputs sound data in that direction.
図3は、本実施形態に係るゲームシステムの構成を示す概略図である。 FIG. 3 is a schematic diagram illustrating a configuration of the game system according to the present embodiment.
図3に示すゲームシステムは、ゲーム機100、コントローラ200、及びHMD300を備える。ゲーム機100は、ゲームプログラムを実行可能な、演算処理装置及び記憶装置を備えたコンピュータである。ゲーム機100は、家庭用のゲーム専用機、パーソナルコンピュータ、スマートフォンなどの携帯端末、あるいはアーケードゲーム機であってもよい。コントローラ200は、ユーザの入力した操作をゲーム機100へ送信する。コントローラ200は、有線あるいは無線でゲーム機100に接続される。HMD300は、ユーザの頭部に装着され、ユーザの頭部の回転角及び動きを検出してゲーム機100へ送信する。HMD300は、ゲーム機100から受信した画像を表示し、ゲーム機100から受信したサウンドを出力する。
The game system shown in FIG. 3 includes a
図4は、ゲーム機100のハードウェア構成を示すブロック図である。ゲーム機100は、中央演算処理装置(CPU)101、Read Only Memory(ROM)102、Random Access Memory(RAM)103、Graphics Processing Unit(GPU)104、Sound Processing Unit(SPU)105、インタフェース106、及びDRIVE107を備える。CPU101は、ゲームプログラムを実行する。ROM102は、システムプログラムを記憶する。RAM103は、ゲームプログラム及び各種データを記憶する。GPU104は、仮想空間の画像を生成する。SPU105は、音声を処理する。インタフェース106は、コントローラ200及びHMD300を接続し、操作情報とHMD情報を入力する。インタフェース106は、GPU104とSPU105で処理された画像と音声を出力する。DRIVE107は、ゲームプログラムを記録した記録媒体からゲームプログラムを読み出してRAM103に格納する。記録媒体は、CD、DVD、Blu−Ray(登録商標) Diskなどの光ディスクであってもよいし、磁気ディスク、あるいは半導体メモリであってもよい。ゲーム機100が通信機能を備えて、ネットワークを介してゲームプログラムを取得してもよい。
FIG. 4 is a block diagram illustrating a hardware configuration of the
図5は、HMD300のハードウェア構成を示すブロック図である。HMD300は、表示部301A,301B、サウンド出力部302、ジャイロセンサ303、加速度センサ304、及び制御部305を備える。表示部301A,301Bは、それぞれ右眼用画像、左眼用画像を表示する。右眼用画像と左眼用画像が視差を有すると、ユーザの見る画像は3次元立体画像となる。サウンド出力部302は、ゲーム機100から受信したサウンドを出力する。サウンド出力部302は、HMD300が備えるヘッドホンであってもよいし、ヘッドホンなどを接続する音声出力端子であってもよい。ジャイロセンサ303は、ユーザの頭部の回転角を検知する。HMD300を装着したユーザの頭部を原点として、ユーザの正面方向にロール軸、ユーザの左方向にピッチ軸、ユーザの頭上方向にヨー軸をとる。ジャイロセンサ303は、各軸についてユーザ頭部の回転角(ロール角、ピッチ角、ヨー角)を検知する。加速度センサ304は、ユーザの頭部の動きを検知する。制御部305は、ゲーム機100から画像を受信して表示部301A,301Bに表示させ、ゲーム機100からサウンドを受信してサウンド出力部302に出力させる。また、制御部305は、ジャイロセンサ303及び加速度センサ304で検知したデータをゲーム機100に送信する。
FIG. 5 is a block diagram illustrating a hardware configuration of the
なお、HMD300がサウンド出力部302を備えずに、ゲーム機100にヘッドホンなどを接続してもよい。
Note that the
[ゲーム装置]
図6は、本実施形態のゲーム装置50の機能的な構成を示す機能ブロック図である。図6に示すゲーム装置50は、キャラクタ制御部51、カメラ制御部52、レンダリング部53、サウンド処理部54、及び蓄積部55を備える。ゲーム機100が本実施形態のゲームプログラムを実行することにより、ゲーム機100は、図4に示す機能部を備えたゲーム装置50として動作する。ゲーム機100は、図示していない機能も発揮するが、ここでは本実施形態に関係する機能部のみを図示している。
[Game equipment]
FIG. 6 is a functional block diagram showing a functional configuration of the
キャラクタ制御部51は、ユーザの操作に従ってプレイヤキャラクタの位置及び向きを制御する。
The
カメラ制御部52は、プレイヤキャラクタの向きとHMD300から受信したHMD情報に含まれるユーザの頭の向きに基づいて仮想カメラの向きを設定する。例えば、プレイヤキャラクタが仮想3次元空間内の北方向を向いており、ユーザの頭が右方向に旋回した場合、カメラ制御部52は、仮想カメラを北方向から東方向に旋回させる。
The
レンダリング部53は、仮想3次元空間を仮想カメラで撮影した2次元画像を生成する。レンダリング部53が、視差を有する右眼用画像と左眼用画像を生成し、HMD300が各画像を表示部301A,301Bのそれぞれで表示した場合は、ユーザはHMD300で3次元立体画像を見ることができる。
The
サウンド処理部54は、仮想カメラの向きに応じた方向のサウンドデータを蓄積部55から読み出して出力する。また、サウンド処理部54は、仮想3次元空間内で発生する効果音が聞こえる方向を判定し、仮想カメラの向きと効果音が聞こえる方向に基づいて効果音を出力する音量を決定する。
The
蓄積部55は、仮想3次元空間内の各方向に対応するサウンドデータ及び効果音データを蓄積する。本実施形態では、蓄積部55は、図1のマイクC,L,R,Ls,Rs,Bの向きに対応した、センター(C)チャンネル、レフト(L)チャンネル、ライト(R)チャンネル、レフトサラウンド(Ls)チャンネル、ライトサラウンド(Rs)チャンネル、及びバック(B)チャンネルのサウンドデータを蓄積する。
The
[サウンド処理]
次に、サウンド処理部が仮想カメラの向きに応じた方向のサウンドデータを出力する処理について説明する。
[Sound processing]
Next, a process in which the sound processing unit outputs sound data in a direction corresponding to the direction of the virtual camera will be described.
サウンド処理部54は、仮想3次元空間のヨー軸(プレイヤキャラクタの頭上方向)回りの全周を6つの領域に分割し、仮想3次元空間の北方向の領域にCチャンネルを対応させて、時計回りに、Rチャンネル、Rsチャンネル、Bチャンネル、Lsチャンネル、及びLチャンネルを各領域に対応付ける。サウンド処理部54は、仮想カメラの向きに対応する領域のサウンドデータを出力する。
The
例えば、図7Aに示すように、仮想カメラの向きが北向きの場合は、サウンド処理部54は、Cチャンネルのサウンドデータを読み出して出力する。
For example, as shown in FIG. 7A, when the direction of the virtual camera is north, the
サウンド処理部54は、仮想カメラの向きに応じて複数のチャンネルのサウンドデータを合成して出力してもよい。例えば、仮想カメラが領域の境界を向いている場合は、境界を挟んだ両方の領域のチャンネルのサウンドデータを50%ずつの大きさで出力する。図7Bの例では、仮想カメラは、Cチャンネルの領域とRチャンネルの領域の境界を向いている。この場合、サウンド処理部54は、CチャンネルのサウンドデータとRチャンネルのサウンドデータをそれぞれ50%の大きさで出力する。また、図7Cの例では、仮想カメラは、Bチャンネルの方向とLsチャンネルの方向の間のLsチャンネル寄りの方向を向いているので、サウンド処理部54は、Lsチャンネルのサウンドデータを75%、Bチャンネルのサウンドデータを25%の大きさで出力する。より具体的に説明すると、仮想カメラがBチャンネルを向いているときの数値を0、仮想カメラがLsチャンネルを向いているときの数値を100として、BチャンネルとLsチャンネルの間の仮想カメラの向きを0から100までの数値で表す。サウンド処理部54は、仮想カメラの向きを表す数値に基づいて各チャンネルの音量を決定する。図7Cの例では、仮想カメラの向きを表す数値は75である。したがって、サウンド処理部54は、Lsチャンネルのサウンドデータを75%、Bチャンネルのサウンドデータを25%の大きさで出力する。
The
続いて、ステレオで再生する処理について説明する。 Next, processing for reproducing in stereo will be described.
サウンド処理部54は、仮想カメラの向きを基準として、ステレオの左チャンネル、右チャンネルのそれぞれから出力するサウンドデータを決定してもよい。
The
図8の例では、サウンド処理部54は、仮想カメラの向きを基準として、反時計回りに30度回転した方向に基づいてステレオの左チャンネルから出力するサウンドデータを決定し、時計回りに30度回転した方向に基づいてステレオの右チャンネルから出力するサウンドデータを決定する。ステレオの左チャンネルの基準は、Cチャンネルの領域とLチャンネルの領域の境界を指すので、ステレオの左チャンネルからはCチャンネルとLチャンネルのサウンドデータをそれぞれ50%の大きさで出力する。ステレオの右チャンネルの基準は、Cチャンネルの領域とRチャンネルの境界を指すので、ステレオの右チャンネルからはCチャンネルとRチャンネルのサウンドデータをそれぞれ50%の大きさで出力する。
In the example of FIG. 8, the
なお、上記で示した角度や割合は一例であって、これ以外の値を用いてもよい。 Note that the angles and ratios described above are only examples, and other values may be used.
[効果音の処理]
次に、サウンド処理部が効果音を出力する処理について説明する。
[Sound effect processing]
Next, a process in which the sound processing unit outputs a sound effect will be described.
これまでは、仮想カメラの向きに応じて、仮想3次元空間内の各方向に対応するサウンドデータを出力する処理について説明した。音が鳴る位置や方向が予め分かっている場合は、その方向のサウンドデータを事前に用意できる。仮想3次元空間内での位置が予め決められていないオブジェクトが鳴らす音は、どの方向のサウンドデータとして用意すれば良いのか不明である。 Up to now, the process of outputting sound data corresponding to each direction in the virtual three-dimensional space according to the direction of the virtual camera has been described. If the position and direction of the sound are known in advance, sound data in that direction can be prepared in advance. It is unknown which sound should be prepared as the sound data of an object whose position in the virtual three-dimensional space is not determined in advance.
そこで、本実施形態では、サウンド処理部54は、各方向に対応した複数の仮想マイクを仮想3次元空間内に設定しておき、仮想3次元空間内のオブジェクトが音を鳴らしたときに、その音を集音可能な仮想マイクと音の大きさを決定する。そして、サウンド処理部54は、集音できた仮想マイクの方向で音が鳴ったものとし、仮想カメラの向きに応じて音を出力する。なお、仮想マイクと仮想カメラ間の距離は例えば50cmとするが、仮想3次元空間の広さに応じて任意に設定できる。
Therefore, in the present embodiment, the
まず、効果音が聞こえる方向を決定する処理について説明する。 First, a process for determining the direction in which the sound effect is heard will be described.
図9は、効果音が聞こえる方向を説明する図である。図9の例では、点Pにおいて効果音が鳴るとする。図中の円60は、点Pで鳴る効果音が聞こえる範囲を示す。サウンド処理部54は、仮想3次元空間内に6つの仮想マイクC,L,R,Ls,Rs,Bを設定する。図9の例では、2つの仮想マイクR,Rsで効果音が集音される。したがって、サウンド処理部54は、点Pの効果音をRチャンネルとRsチャンネルの方向で鳴る効果音として扱う。効果音の大きさは、点Pから仮想マイクR,Rsまでの距離に応じて減衰させる。例えば、仮想マイクRで集音される効果音は80%減衰されて、20%の音量で聞こえるとする。
FIG. 9 is a diagram illustrating directions in which sound effects can be heard. In the example of FIG. 9, it is assumed that a sound effect sounds at the point P. A
続いて、仮想マイクで集音された効果音を出力する処理について説明する。 Subsequently, a process of outputting the sound effect collected by the virtual microphone will be described.
仮想マイクで集音された効果音は、仮想カメラの向きに応じて、出力の有無、及び音量が決定される。 For the sound effects collected by the virtual microphone, the presence or absence of output and the volume are determined according to the direction of the virtual camera.
図10は、効果音の音量の算出を説明する図である。図10の例では、仮想カメラがCチャンネルの領域とRチャンネルの領域の境界を向いている。この場合、サウンド処理部54は、CチャンネルとRチャンネルを50%の音量で出力する。したがって、サウンド処理部54は、仮想マイクRで集音した効果音を50%の音量で出力する。点Pの効果音の音量をVpとし、仮想マイクRでは点Pの効果音が20%の音量で聞こえたとすると、サウンド処理部54は、点Pの効果音を50%×20%×Vpの音量で出力する。
FIG. 10 is a diagram illustrating the calculation of the volume of the sound effect. In the example of FIG. 10, the virtual camera faces the boundary between the C channel area and the R channel area. In this case, the
<第2の実施例>
第2の実施例について説明する。第2の実施例はユーザが観客席からサッカーゲームを見ている例である。
<Second embodiment>
A second embodiment will be described. The second embodiment is an example in which a user watches a soccer game from a spectator seat.
サッカーゲームでは、ゲームプログラムは、サッカーフィールド全体を表示せずに、HMD300を装着したユーザの頭の動きに応じてサッカーフィールドの一部を表示する。例えば、仮想カメラの位置をサッカーフィールドのセンターラインの延長上の観客席に設定し、ユーザの頭の動きに合わせて仮想カメラの向きを制御して表示する位置を変更する。ユーザが左方向を向いた場合は左方向のゴール付近を表示し、ユーザが正面を向いた場合はセンターライン付近を表示する。
In a soccer game, the game program does not display the entire soccer field, but displays a part of the soccer field according to the movement of the head of the user wearing the
サッカーゲームにおいても仮想カメラの向き、つまり表示する映像に合わせて出力するチャンネルを決定する。 Also in the soccer game, the direction of the virtual camera, that is, the channel to be output in accordance with the displayed image is determined.
図11は、ゲーム内のサッカーフィールドに仮想マイクを配置した様子を示す図である。同図の例では、サッカーフィールドの周囲に仮想マイクを配置し、仮想マイクを9つのグループL1〜L3,C1〜C3,R1〜R3に分けた。サッカーフィールド内で発生した音は仮想マイクによって集音される。例えば、点Pの効果音は、円60で示す範囲まで聞こえて、グループL2,L3,C1の仮想マイクで集音される。点Pの効果音は、点Pから仮想マイクまでの距離に応じて減衰する。
FIG. 11 is a diagram showing a state where a virtual microphone is arranged on a soccer field in the game. In the example shown in the figure, virtual microphones are arranged around a soccer field, and the virtual microphones are divided into nine groups L1 to L3, C1 to C3, and R1 to R3. Sound generated in the soccer field is collected by the virtual microphone. For example, the sound effect at the point P is heard up to the range indicated by the
仮想マイクで集音された音は、仮想カメラの向きに応じて、各グループL1〜L3,C1〜C3,R1〜R3毎に、出力の有無、及び音量が決定される。 With respect to the sound collected by the virtual microphone, the presence or absence of output and the volume are determined for each of the groups L1 to L3, C1 to C3, and R1 to R3 according to the direction of the virtual camera.
例えば、仮想カメラの向きを0から100までの数値で表す。仮想カメラが最も左に向いているときの数値を0、中央を向いているときの数値を50、最も右に向いているとき数値を100とする。各グループL1〜L3,C1〜C3,R1〜R3の音量を仮想カメラの向きを表す数値に基づいて決める。 For example, the direction of the virtual camera is represented by a numerical value from 0 to 100. The numerical value when the virtual camera is facing the leftmost is 0, the numerical value when facing the center is 50, and the numerical value when the virtual camera is facing the rightmost is 100. The volume of each of the groups L1 to L3, C1 to C3, and R1 to R3 is determined based on a numerical value representing the direction of the virtual camera.
サッカーフィールドの左端に配置されたマイクを含むグループL1は、数値が0のときに最大の音量で、数値が100に近づくにつれて音量が小さくなるとする。また、グループL2,L3は、数値がそれぞれ10,20のときに最大の音量で、数値が0又は100に近づくにつれて音量が小さくなるとする。他のグループC1〜C3,R1〜R3についても、仮想カメラの向きを表す数値と音量の関係を決めておく。 It is assumed that the group L1 including the microphone arranged at the left end of the soccer field has the maximum volume when the numerical value is 0, and decreases as the numerical value approaches 100. It is also assumed that the groups L2 and L3 have the maximum volume when the numerical values are 10 and 20, respectively, and the volume decreases as the numerical value approaches 0 or 100. For the other groups C1 to C3 and R1 to R3, the relationship between the numerical value indicating the direction of the virtual camera and the volume is determined in advance.
ユーザが左方向を向き、仮想カメラが最も左に向いているときは、図12Aに示すように、左方向のゴール付近が表示される。このとき、仮想カメラの向きを表す数値は0である。サウンド処理部54は、数値が0のときの各グループL1〜L3,C1〜C3,R1〜R3の音量を求める。求めた音量が、グループL1〜L3はそれぞれ100%,90%,80%の大きさで、他のグループC1〜C3,R1〜R3は0%の大きさであったとすると、サウンド処理部54は、グループL1,L2,L3それぞれの仮想マイクで集音する音を100%,90%,80%の音量で出力する。別の例としては、図12Bに示すように、サッカーフィールドの中央が表示されているときは、サウンド処理部54は、グループC1,C2,C3それぞれの仮想マイクで集音する音を90%,100,90%の音量で出力する。なお、観客の歓声があがる場合は、仮想カメラの向きにかかわらず、大音量で再生してもよい。
When the user is facing left and the virtual camera is facing far left, as shown in FIG. 12A, the vicinity of the goal in the left direction is displayed. At this time, the numerical value indicating the direction of the virtual camera is 0. The
以上説明したように、本実施の形態によれば、ユーザがHMD300を装着して遊ぶゲームにおいて、カメラ制御部52が、HMD300の検知したユーザの頭の動きに応じて仮想カメラを制御し、仮想空間内の各方向のサウンドデータを用意しておき、サウンド処理部54が、仮想カメラの向きに応じた方向のサウンドデータを出力することにより、ユーザの見ている映像に応じたサウンドが出力されるので、より臨場感が出るようにサウンドを再生することができる。
As described above, according to the present embodiment, in a game in which the user wears the
本実施の形態によれば、サウンド処理部54が、効果音を鳴らす場合、各方向に対応した複数の仮想マイクを設定し、効果音を集音可能な仮想マイクを判定し、効果音を集音できる仮想マイクの方向で効果音が鳴ってものとして、仮想カメラの向きに応じて効果音を出力することにより、より臨場感のあるサウンドを再生することができる。なお、第1の実施例と第2の実施例を組み合わせてもよい。例えば、サッカーフィールド上で発生する音に関しては第2の実施例によって出力し、観客席で発生する音に関しては第1の実施例によって出力する。
According to the present embodiment, when
<第3の実施例>
第3の実施例について説明する。第3の実施例は、ユーザがHMDを装着し、カメラで撮影された映像を視聴するバーチャルリアリティシステムの例である。
<Third embodiment>
A third embodiment will be described. The third embodiment is an example of a virtual reality system in which a user wears an HMD and views an image captured by a camera.
本バーチャルリアリティシステムは、コンピュータが作り出した仮想3次元空間ではなく、カメラで撮影した映像をHMDに表示するとともに、撮影環境で集音した音声をHMDに表示した映像に合わせて出力する。 The virtual reality system displays an image captured by a camera on the HMD instead of a virtual three-dimensional space created by a computer, and outputs sound collected in a shooting environment in accordance with the image displayed on the HMD.
図13は、本実施形態に係るバーチャルリアリティシステムを含む全体構成図である。 FIG. 13 is an overall configuration diagram including the virtual reality system according to the present embodiment.
本実施形態に係るバーチャルリアリティシステムは、映像音声処理装置70とHMD300を備える。映像音声処理装置70は、HMD300を装着したユーザの頭の動きに応じて、カメラ30で撮影されたパノラマ映像の一部を切り出してHMD300に表示するとともに、HMD300で表示される映像に合わせてマイクアレイ10で集音された音声を出力する。
The virtual reality system according to the present embodiment includes a video /
マイクアレイ10は、撮影環境に配置された複数のマイクで構成され、撮影環境の音声を集音して送信する。図14は、マイクアレイ10の一例を示す図である。同図に示すマイクアレイ10は、サッカーフィールドの周囲に配置された複数のマイクで構成される。複数のマイクは、9つのグループL1〜L3,C1〜C3,R1〜R3に分けられている。マイクアレイ10は、各グループのマイクで入力した音声信号をグループ毎にネットワークを介して映像音声処理装置70へ送信する。
The
カメラ30は、サッカーフィールドのセンターラインの延長上の観客席に配置され、サッカーフィールド全体を撮影し、撮影した映像をネットワークを介して映像音声処理装置70へ送信する。カメラ30として、サッカーフィールド全体をパノラマ撮影できるカメラを利用してもよいし、複数のカメラでサッカーフィールドの各領域を撮影し、撮影した映像を合成してサッカーフィールド全体の映像としてもよい。
The
映像音声処理装置70は、カメラ30からサッカーフィールド全体を撮影した映像を受信し、HMD300を装着したユーザの頭の向きに応じて、受信した映像から一部を切り出してHMD300に表示させる。また、映像音声処理装置70は、マイクアレイ10から各グループの音声信号を受信し、HMD300を装着したユーザの頭の向きに応じて音声信号を選択し、選択した音声信号をミキシングして出力する。
The video and
図15は、本実施形態に係る映像音声処理装置70の構成を示す機能ブロック図である。同図に示す映像音声処理装置70は、ミキサー71、音声処理部72、映像入力部73、映像処理部74、及び制御部75を備える。映像音声処理装置70は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは映像音声処理装置70は、が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
FIG. 15 is a functional block diagram illustrating a configuration of the video and
ミキサー71は、マイクアレイ10からグループ単位で音声信号を入力し、音声選択情報に基づいて音声信号をミキシングする。音声選択情報は、音声処理部72から受信する情報であり、グループを指定する情報を含む。例えば、音声選択情報がグループL1を示す場合、ミキサー71は、グループL1の音声信号の入力をオンとし、他のグループの音声信号の入力をオフとする。音声選択情報は、複数のグループを含んでもよいし、オンとするグループについて入力する音声信号の大きさの割合を含んでもよい。例えば、音声選択情報がグループL1を100%、グループL2を90%という情報を含む場合、ミキサー71は、グループL1の音声信号を100%の大きさで入力し、グループL2の音声信号を90%の大きさで入力して、グループL1,L2の音声信号をミキシングする。
The
音声処理部72は、制御部75から受信したユーザの向いている方向に基づいて、ミキシングする音声信号を選択するための音声選択情報を生成してミキサー71へ送信する。音声処理部72は、上述のサッカーゲームにおいて各グループの音量を決定する処理と同様に、各グループについて入力する音声信号の大きさを決定して音声選択情報を生成する。例えば、ユーザが左方向を向いているときは、音声処理部72は、マイクアレイ10の左側のグループL1〜L3を選択する音声選択情報を生成する。また、音声処理部72は、ミキサー71でミキシングされた音声信号を受信してHMD300へ送信する。
The
映像入力部73は、カメラ30から受信したパノラマ映像をデコードする。
The
映像処理部74は、制御部75から受信したユーザの向いている方向に基づいて、デコードしたパノラマ映像から表示する映像を切り出してHMD300へ送信する。例えば、ユーザが左方向を向いている場合は、映像処理部74は、パノラマ映像の左側から映像を切り出してHMD300へ送信する。
The
制御部75は、HMD300から受信したHMD情報に基づいてユーザの頭の方向を判定し、ユーザの向いている方向を音声処理部72と映像処理部74へ送信する。
The
次に、本実施形態に係る映像音声処理装置70の動作について説明する。
Next, the operation of the video and
図16は、本実施形態に係る映像音声処理装置70の処理の流れを示すフローチャートである。
FIG. 16 is a flowchart illustrating a flow of processing of the video and
制御部75は、HMD300からユーザの頭の向きを含むHMD情報を入力し、ユーザの向いている方向を検出する(ステップS11)
映像処理部74は、制御部75からユーザの向いている方向を受信し、ユーザの向いている方向に基づいて、映像入力部73が受信したパノラマ映像から切り出す領域を決定する(ステップS12)。例えば、ユーザが左方向を向いている場合は、サッカーフィールド全体の映像の左側の領域を切り出してHMD300へ出力する。ユーザが正面を向いている場合は、サッカーフィールド全体の映像の中央の領域を切り出してHMD300へ出力する。
The
The
音声処理部72は、制御部75からユーザの向いている方向を受信し、ユーザの向いている方向に基づいて、ミキサー71がミキシングする音声信号を決定する(ステップS13)。例えば、ユーザが左方向を向いている場合は、サッカーフィールドの左側の音声が出力されるようにミキシングする音声信号を決定する。ユーザが正面を向いている場合は、サッカーフィールド全体の映像の中央の音声が出力されるようにミキシングする音声信号を決定する。
The
音声処理部72がユーザの向いている方向に基づいてミキシングする音声信号を決定することで、HMD300で表示される映像に合った音声を出力できる。
By determining the audio signal to be mixed by the
なお、360度全天周カメラにより360度の映像を撮影し、図1の録音システムのマイクアレイのように、同心円上に均等な間隔でマイクを配置したマイクアレイで集音してもよい。この場合も、映像音声処理装置70は、HMD300からの情報に基づいてユーザの向いている方向を特定し、ユーザの向いている方向の映像をHMD300で表示するとともに、ユーザの向いている方向のマイクが入力する音声信号を出力する。
Note that a 360-degree image may be captured by a 360-degree omnidirectional camera and collected by a microphone array in which microphones are arranged at equal intervals on concentric circles, such as the microphone array of the recording system in FIG. Also in this case, the video and
以上説明したように、本実施の形態によれば、ユーザがヘッドマウントディスプレイを装着し、カメラで撮影された映像を視聴するバーチャルリアリティシステムにおいて、制御部75がHMD300からの情報に基づいてユーザの向いている方向を検出し、映像処理部74がユーザの向いている方向の映像を表示し、音声処理部72が、ユーザの向いている方向に基づき、マイクアレイ10から受信した複数の音声信号のなかからミキシングする音声信号を選択することにより、HMD300で表示される映像に合った音声を出力することができる。
As described above, according to the present embodiment, in a virtual reality system in which a user wears a head-mounted display and views a video image captured by a camera,
10…マイクアレイ
20…録音装置
21…増幅部
22…変換部
23…録音部
24…蓄積部
30…カメラ
50…ゲーム装置
51…キャラクタ制御部
52…カメラ制御部
53…レンダリング部
54…サウンド処理部
55…蓄積部
70…映像音声処理装置
71…ミキサー
72…音声処理部
73…映像入力部
74…映像処理部
75…制御部
100…ゲーム機
101…CPU
102…ROM
103…RAM
104…GPU
105…SPU
106…インタフェース
107…DRIVE
200…コントローラ
300…HMD
301A,301B…表示部
302…サウンド出力部
303…ジャイロセンサ
304…加速度センサ
305…制御部
DESCRIPTION OF
102 ... ROM
103 ... RAM
104 ... GPU
105 ... SPU
106 ... Interface 107 ... DRIVE
200: Controller 300: HMD
301A,
Claims (5)
前記コンピュータを
前記ヘッドマウントディスプレイからユーザの頭の動き情報を入力し、前記ユーザの向いている方向を検出する入力手段、
前記ユーザの向いている方向に応じた映像を前記ヘッドマウントディスプレイに表示する映像処理手段、
前記ユーザの向いている方向に応じた音声を出力する音声処理手段、として機能させ、
前記映像処理手段は、仮想空間を撮影した映像を表示し、
前記音声処理手段は、前記仮想空間内で効果音を鳴らす場合、複数の方向に対応する仮想マイクを設定し、前記効果音を集音する前記仮想マイクを判定して前記効果音の方向を決定し、前記ユーザの向いている方向と前記効果音の方向に基づいて前記効果音を出力する音量を決定する
ことを特徴とする映像音声処理プログラム。 A video and audio processing program for operating a computer as a device for a user to view a video while wearing a head mounted display,
Input means for inputting the computer's head movement information from the head-mounted display to the computer and detecting a direction in which the user is facing,
Image processing means for displaying an image according to the direction in which the user is facing on the head mounted display,
Sound processing means for outputting sound according to the direction in which the user is facing ,
The image processing means displays an image of a virtual space,
The sound processing unit sets a virtual microphone corresponding to a plurality of directions when sounding a sound effect in the virtual space, determines the virtual microphone that collects the sound effect, and determines the direction of the sound effect. A video / audio processing program for determining a sound volume for outputting the sound effect based on a direction in which the user is facing and a direction of the sound effect .
複数の方向に対応させたサウンドデータを保持する蓄積手段、としてさらに機能させ、
前記音声処理手段は、前記ユーザの向いている方向に対応する前記サウンドデータを前記蓄積手段から読み出して出力することを特徴とする請求項1又は2に記載の映像音声処理プログラム。 Causing the computer to further function as storage means for storing sound data corresponding to a plurality of directions;
The video / audio processing program according to claim 1, wherein the audio processing unit reads out the sound data corresponding to a direction in which the user is facing from the storage unit and outputs the sound data.
前記プログラム記憶部に記憶された映像音声処理プログラムを実行するコンピュータと、
を備えたゲーム装置。 A program storage unit storing the video / audio processing program according to any one of claims 1 to 4 ,
A computer that executes a video / audio processing program stored in the program storage unit;
A game device provided with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150172A JP6646116B2 (en) | 2018-08-09 | 2018-08-09 | Video / audio processing program and game device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018150172A JP6646116B2 (en) | 2018-08-09 | 2018-08-09 | Video / audio processing program and game device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016157387A Division JP2018026701A (en) | 2016-08-10 | 2016-08-10 | Sound recording device, image/sound processing program, and game device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019013765A JP2019013765A (en) | 2019-01-31 |
JP6646116B2 true JP6646116B2 (en) | 2020-02-14 |
Family
ID=65358216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018150172A Active JP6646116B2 (en) | 2018-08-09 | 2018-08-09 | Video / audio processing program and game device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6646116B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7116690B2 (en) | 2019-01-30 | 2022-08-10 | デンカ株式会社 | Heat dissipation member and manufacturing method thereof |
JP7356854B2 (en) * | 2019-09-26 | 2023-10-05 | 株式会社Subaru | Self-driving vehicle |
CN113994426B (en) * | 2020-05-28 | 2023-08-01 | 深圳市大疆创新科技有限公司 | Audio processing method, electronic device and computer readable storage medium |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016046699A (en) * | 2014-08-25 | 2016-04-04 | 株式会社 ゼネテック | Image voice input/output system |
-
2018
- 2018-08-09 JP JP2018150172A patent/JP6646116B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019013765A (en) | 2019-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3684083A1 (en) | Processing audio signals | |
JP2022009049A (en) | Recording virtual object and real object in composite real device | |
CN1419796B (en) | Virtual sound image localizing device and virtual sound image localizing method | |
US7602921B2 (en) | Sound image localizer | |
EP1989693B1 (en) | Audio module for a video surveillance system, video surveillance system and method for keeping a plurality of locations under surveillance | |
JP5992210B2 (en) | Information processing program, information processing apparatus, information processing system, and information processing method | |
US7203327B2 (en) | Apparatus for and method of processing audio signal | |
JP6646116B2 (en) | Video / audio processing program and game device | |
JP6055657B2 (en) | GAME SYSTEM, GAME PROCESSING CONTROL METHOD, GAME DEVICE, AND GAME PROGRAM | |
US20150264502A1 (en) | Audio Signal Processing Device, Position Information Acquisition Device, and Audio Signal Processing System | |
JP2011515942A (en) | Object-oriented 3D audio display device | |
WO1995022235A1 (en) | Device for reproducing video signal and audio signal | |
US20190130644A1 (en) | Provision of Virtual Reality Content | |
JP2019087973A (en) | Information processing device, information processing method, and program | |
CN111492342B (en) | Audio scene processing | |
JP2002171460A (en) | Reproducing device | |
JP2018026701A (en) | Sound recording device, image/sound processing program, and game device | |
WO2018105552A1 (en) | Sound control device, sound control method, and program | |
CN106484099B (en) | Content playback apparatus, processing system having the same, and method thereof | |
WO2017022467A1 (en) | Information processing device, information processing method, and program | |
JP2013110633A (en) | Transoral system | |
JP2011180470A (en) | Sound visualizing device | |
JP2006287544A (en) | Audio visual recording and reproducing apparatus | |
JP2017221544A (en) | Game program and game system | |
JP5352628B2 (en) | Proximity passing sound generator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180809 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6646116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |