JP6651231B2 - Portable information terminal, information processing device, and program - Google Patents
Portable information terminal, information processing device, and program Download PDFInfo
- Publication number
- JP6651231B2 JP6651231B2 JP2015229972A JP2015229972A JP6651231B2 JP 6651231 B2 JP6651231 B2 JP 6651231B2 JP 2015229972 A JP2015229972 A JP 2015229972A JP 2015229972 A JP2015229972 A JP 2015229972A JP 6651231 B2 JP6651231 B2 JP 6651231B2
- Authority
- JP
- Japan
- Prior art keywords
- sound source
- terminal
- portable information
- angle change
- information terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Stereophonic System (AREA)
- Telephone Function (AREA)
Description
本発明は、携帯情報端末、情報処理装置、及びプログラムに係り、特に、音源を再生する携帯情報端末、情報処理装置、及びプログラムに関する。 The present invention relates to a portable information terminal, an information processing device, and a program, and more particularly, to a portable information terminal that reproduces a sound source, an information processing device, and a program.
従来より、立体音響技術は、あくまでも頭部を固定した状態での聴取を前提としている。 Conventionally, the stereophonic technology is based on the premise of listening with the head fixed.
様々な種類の立体音響技術があるが、ほぼ全てが聴取者の頭部回転に対応する事なく、聴取者の固定された頭部の周囲に音源を定位させる方式である（例えば、特許文献１）。 Although there are various types of stereophonic technologies, almost all of them are methods of localizing a sound source around a fixed head of a listener without corresponding to rotation of the listener's head (for example, Patent Document 1) ).
上述した従来の方式では、例えば聴取者が後ろを向くといった動作には対応出来ず、想定した効果を得る事は難しい。 The conventional method described above cannot cope with, for example, an operation in which the listener turns backward, and it is difficult to obtain the expected effect.
本発明は、上記の事情を鑑みてなされたもので、聴取者の向きに応じた音源を再生することができる携帯情報端末、情報処理装置、及びプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and has as its object to provide a portable information terminal, an information processing device, and a program that can reproduce a sound source according to the direction of a listener.
上記の目的を達成するために第１の発明に係る携帯情報端末は、自端末の方向情報を検出するセンサと、聴取者が自端末を携帯しているときに、複数の方向に対応して用意された複数の音源情報のうち、前記センサによって検出された方向情報から求められる、現在の自端末の方向に対応する音源情報を再生するように制御する再生制御部と、を含んで構成されている。 In order to achieve the above object, a portable information terminal according to a first aspect of the present invention has a sensor for detecting direction information of its own terminal and a plurality of directions corresponding to a plurality of directions when a listener is carrying his or her own terminal. A reproduction control unit that controls to reproduce the sound source information corresponding to the current direction of the own terminal, which is obtained from the direction information detected by the sensor, among the plurality of prepared sound source information, ing.
第２の発明に係る情報処理装置は、聴取者が携帯情報端末を携帯しているときに、複数の方向に対する複数の音源情報のうち、前記携帯情報端末の方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の方向に対応する音源情報を再生するように制御する再生制御部を含んで構成されている。 The information processing device according to the second invention is configured such that when the listener carries the portable information terminal, the information is detected by a sensor that detects direction information of the portable information terminal among a plurality of sound source information in a plurality of directions. And a reproduction control unit that controls the reproduction of the sound source information corresponding to the current direction of the portable information terminal, which is obtained from the directional information.
第３の発明に係るプログラムは、コンピュータを、聴取者が携帯情報端末を携帯しているときに、複数の方向に対する複数の音源情報のうち、携帯情報端末の方向情報を検出するセンサによって検出された方向情報から求められる、現在の携帯情報端末の方向に対応する音源情報を再生するように制御する再生制御部として機能させるためのプログラムである。 A program according to a third aspect of the present invention is a program for detecting, when a listener carries a portable information terminal, a computer that detects direction information of the portable information terminal among a plurality of sound source information in a plurality of directions. This is a program for functioning as a reproduction control unit for controlling reproduction of sound source information corresponding to the current direction of the portable information terminal, which is obtained from the directional information.
第４の発明に係る情報処理装置は、聴取者が向いている方向情報の入力を受け付ける入力部と、複数の方向に対応して用意された複数の音源情報のうち、前記入力部によって受け付けた方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御する再生制御部と、を含んで構成されている。 An information processing device according to a fourth aspect of the present invention is an information processing apparatus, wherein: an input unit that receives input of direction information that a listener is facing; And a reproduction control unit that controls the reproduction of the sound source information corresponding to the current direction of the listener, which is obtained from the direction information.
第５の発明に係る情報処理装置は、聴取者が向いている方向情報が入力されたときに、複数の方向に対する複数の音源情報のうち、前記聴取者の方向情報から求められる、現在の前記聴取者の方向に対応する音源情報を再生するように制御する再生制御部を含んで構成されている。 The information processing apparatus according to the fifth invention is configured such that, when direction information that a listener is facing is input, among a plurality of sound source information for a plurality of directions, the current sound source information is obtained from the direction information of the listener. It is configured to include a reproduction control unit that controls the reproduction of the sound source information corresponding to the direction of the listener.
第６の発明に係るプログラムは、コンピュータを、聴取者が向いている方向情報が入力されたときに、複数の方向に対応して用意された複数の音源情報のうち、前記聴取者の方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御する再生制御部として機能させるためのプログラムである。 According to a sixth aspect of the present invention, there is provided a program which, when inputting direction information of a listener, inputs direction information of the listener among a plurality of sound source information prepared corresponding to a plurality of directions. This is a program for functioning as a reproduction control unit that controls the reproduction of the sound source information corresponding to the current listener's direction, which is obtained from.
上記のプログラムは、記憶媒体に格納して提供することができる。 The above program can be provided by being stored in a storage medium.
以上説明したように、本発明の携帯情報端末、情報処理装置、及びプログラムによれば、聴取者が携帯情報端末を携帯しているときに、センサによって検出された自端末の方向情報から求められる、現在の携帯情報端末の方向に対応する音源情報を再生するように制御することにより、携帯情報端末を持つ聴取者の向きに応じた音源を再生することができる、という効果が得られる。またパノラマ映像等の再生に於いても、携帯情報端末に表示される視覚情報と同期した音が得られる為、仮想現実の効果を最大限に発揮する事が可能となる。 As described above, according to the portable information terminal, the information processing device, and the program of the present invention, when the listener is carrying the portable information terminal, it is obtained from the direction information of the own terminal detected by the sensor. By controlling the reproduction of the sound source information corresponding to the direction of the current portable information terminal, the effect that the sound source corresponding to the direction of the listener having the portable information terminal can be reproduced is obtained. Also, in reproducing a panoramic video or the like, a sound synchronized with the visual information displayed on the portable information terminal can be obtained, so that the effect of virtual reality can be maximized.
また、本発明の情報処理装置及びプログラムによれば、聴取者の方向情報が入力されるときに、入力された方向情報から求められる、現在の聴取者の方向に対応する音源情報を再生するように制御することにより、聴取者の向きに応じた音源を再生することができる、という効果が得られる。 According to the information processing device and the program of the present invention, when the direction information of the listener is input, the sound source information corresponding to the current direction of the listener, which is obtained from the input direction information, is reproduced. , The effect that the sound source corresponding to the direction of the listener can be reproduced can be obtained.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜本発明の実施の形態の概要＞
全方位音源、若しくは多方向音源を収録し、任意の聴取角に対応する音源を選択して聴取する方法について説明する。
<Outline of Embodiment of the Present Invention>
A method for recording an omnidirectional sound source or a multidirectional sound source and selecting and listening to a sound source corresponding to an arbitrary listening angle will be described.
聴取したい全ての方向の音源を予め収録、若しくはリアルタイム収録し、聴取者が携帯情報端末を携帯しているときに、携帯情報端末の向きを、聴取者の身体の向きや頭部方向等として、ジャイロセンサ等で検知する事により、その方向の音源及び音場を選択的に聴取可能とする。 Sound sources in all directions that you want to hear are recorded in advance, or recorded in real time, and when the listener is carrying the portable information terminal, the orientation of the portable information terminal, such as the direction of the listener's body or head, By detecting with a gyro sensor or the like, a sound source and a sound field in that direction can be selectively heard.
これにより、選択した聴取角に指向性マイクを向けているかの様な聴取体験が可能となる。 This allows a listening experience as if the directional microphone were pointed at the selected listening angle.
＜第１の実施の形態＞
＜システム構成＞
図１に示すように、本発明の実施の形態に係る携帯情報端末１０は、携帯情報端末１０の角速度を検出するジャイロセンサ１２と、制御部１４と、スピーカ又はヘッドホンである音源出力部１６とを備えている。
<First embodiment>
<System configuration>
As shown in FIG. 1, the portable information terminal 10 according to the embodiment of the present invention includes a gyro sensor 12 that detects an angular velocity of the portable information terminal 10, a control unit 14, and a sound source output unit 16 that is a speaker or headphones. It has.
携帯情報端末１０は、携帯電話、スマートフォン、頭部装着ディスプレイ、ウェアラブル端末、メガネ型端末、時計型端末、あるいはノート型・ブック型コンピュータ端末等からなる。なお、携帯情報端末１０を、スマートフォンを一例として以下、説明する。携帯情報端末１０は、インターネットなどのネットワークに接続されている。 The portable information terminal 10 includes a mobile phone, a smartphone, a head-mounted display, a wearable terminal, a glasses-type terminal, a watch-type terminal, a notebook / book-type computer terminal, and the like. Note that the portable information terminal 10 will be described below using a smartphone as an example. The portable information terminal 10 is connected to a network such as the Internet.
制御部１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されており、ＨＤＤやフラッシュメモリ等には、Ｗｅｂサーバ（図示省略）が提供するサイトからダウンロードし、かつ、インストールした、後述する各種処理ルーチンを含む音源再生アプリケーションソフトが記憶されている。制御部１４は、機能的には次に示すように構成されている。制御部１４は、方向算出部２０、音源記憶部２４、及び再生制御部２６を備えている。 The control unit 14 is configured by a computer including a CPU, a ROM, a RAM, an HDD, a flash memory, and the like. The HDD, the flash memory, and the like are downloaded from a site provided by a Web server (not shown), and And sound source reproduction application software including various processing routines which will be described later. The control unit 14 is functionally configured as follows. The control unit 14 includes a direction calculation unit 20, a sound source storage unit 24, and a reproduction control unit 26.
方向算出部２０は、ジャイロセンサ１２によって検出された水平面の回転角速度を積算することにより、水平面における自端末の基準方向からの角度変化を、自端末の方向として算出する。例えば、音源再生アプリケーションソフトが起動されたときを基準方向として、音源再生アプリケーションソフトが起動されたときから現時点までに検出された水平面の回転角速度を積算することにより、当該基準方向からの自端末の角度変化を算出する。 The direction calculation unit 20 calculates an angular change from the reference direction of the own terminal in the horizontal plane as the direction of the own terminal by integrating the rotational angular velocity of the horizontal plane detected by the gyro sensor 12. For example, using the time when the sound source reproduction application software is started as a reference direction, by accumulating the rotational angular velocity of the horizontal plane detected from the time the sound source reproduction application software is started to the present time, the terminal of the own terminal from the reference direction Calculate the angle change.
音源記憶部２４には、複数の方向に対応する複数の音源情報からなるマルチ音源が記憶されている。例えば、mp4、mov等の動画や、aac、aif、wav等の音データとして記憶されている。 The sound source storage unit 24 stores a multi sound source including a plurality of sound source information corresponding to a plurality of directions. For example, it is stored as moving images such as mp4 and mov, and sound data such as aac, aif, and wav.
図２に示すように、複数の発音源は、２次元の仮想空間上において、聴取者の仮想位置を中心とし、半径を所定距離とした円周（図２の聴取軌道を参照）上に配置され、複数の方向に対応している。 As shown in FIG. 2, a plurality of sound sources are arranged on a circumference (see a listening trajectory in FIG. 2) in a two-dimensional virtual space centered on a virtual position of a listener and having a predetermined radius. And is compatible with multiple directions.
また、後述するように、仮想聴取点と、発音源の配置位置との距離と定位に応じた音量と音場で、再生するように制御する。例えば、仮想聴取点が、発音源の配置位置から離れる程、音は聴こえなくなる。 In addition, as will be described later, control is performed so that the sound is reproduced at a volume and a sound field according to the distance between the virtual listening point and the arrangement position of the sound source and the localization. For example, as the virtual listening point moves away from the position of the sound source, the sound becomes inaudible.
この場合の、音量が最小になる地点から発音源までの距離を音源の最大距離とする。音源の最大距離の設定により、聴取範囲の制御が可能となり、目的に応じた立体感を得る事が出来る。図３（Ａ）、（Ｂ）、（Ｃ）にその例を示す。 In this case, the distance from the point at which the volume becomes minimum to the sound source is defined as the maximum distance of the sound source. By setting the maximum distance of the sound source, the listening range can be controlled, and a three-dimensional effect according to the purpose can be obtained. FIGS. 3A, 3B and 3C show examples.
図３（Ａ）では、音源の最大距離と、聴取者の仮想位置と発音源の距離が一致するように、音源の最大距離が設定されている例を示している。 FIG. 3A shows an example in which the maximum distance of the sound source is set so that the maximum distance of the sound source matches the distance between the virtual position of the listener and the sound source.
図３（Ｂ）では、音源の最大距離が、聴取者の仮想位置と発音源の距離より短くなるように、音源の最大距離が設定されている例を示している。この例では、別の方向の発音源との重なりを防ぐことができる。 FIG. 3B shows an example in which the maximum distance of the sound source is set such that the maximum distance of the sound source is shorter than the distance between the virtual position of the listener and the sound source. In this example, it is possible to prevent overlap with a sound source in another direction.
図３（Ｃ）では、音源の最大距離が、聴取者の仮想位置と発音源の距離より長くなるように、音源の最大距離が設定されている例を示す。この例では、方向間の自然な表現と立体感が得られる。 FIG. 3C shows an example in which the maximum distance of the sound source is set such that the maximum distance of the sound source is longer than the distance between the virtual position of the listener and the sound source. In this example, a natural expression between the directions and a three-dimensional effect can be obtained.
また、仮想現実空間をよりリアルに構築する為には、どの方向を向いても明確な音源の定位が得られるよう予め全ての方向に対して頭部伝達関数(Head-Related Transfer Function, HRTF)を畳み込んだ発音源を用意しておく。線形時不変システムでは伝達関数Ｈ（ｆ）は以下の式で表される。 In addition, in order to construct a virtual reality space more realistically, a head-related transfer function (Head-Related Transfer Function, HRTF) is required for all directions in advance so that clear sound source localization can be obtained in any direction. Prepare a pronunciation source that is convolved with. In a linear time-invariant system, the transfer function H (f) is expressed by the following equation.
また、以下の式に示すように、周波数領域に於いて発音源Ｓ（ω）に頭部伝達関数HRTFL(d,e,a,ω)とHRTFR(d,e,a,ω)を掛ける事により、左耳用の信号ＸL(ω)と右耳用の信号ＸR(ω)が得られる。 Further, as shown in the following equation, the head-related transfer functions HRTF L (d, e, a, ω) and HRTF R (d, e, a, ω) are assigned to the sound source S (ω) in the frequency domain. By multiplying, a signal X L (ω) for the left ear and a signal X R (ω) for the right ear are obtained.
ただし、ωは角周波数を表し、d、e、aは発音源の位置（距離、仰角、水平角）を表す。同様に、時間領域に於いてはベクトルＳ（ｔ）と頭部インパルス応答を畳み込む事により左耳用の信号ＸL(ｔ)と右耳用の信号XR(ｔ)が得られる。 Here, ω represents an angular frequency, and d, e, and a represent positions (distance, elevation angle, horizontal angle) of a sound source. Similarly, in the time domain, a signal X L (t) for the left ear and a signal X R (t) for the right ear are obtained by convolving the vector S (t) with the head impulse response.
上記のようにして得られた全方位音源を、全方向に対して収録しておく事で、より自然で臨場感のある仮想現実音空間を構築する事が出来、頭部回転などにより携帯情報端末１０がどの方向を向いても、明瞭な音像定位を実現する事が可能となる。 By recording the omnidirectional sound source obtained as described above in all directions, it is possible to construct a more natural and realistic virtual reality sound space. No matter which direction the terminal 10 faces, it is possible to realize clear sound image localization.
再生制御部２６は、方向算出部２０によって算出された現在の自端末の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。例えば、聴取角内の発音源の位置を仮想聴取点として決定し、聴取角内の発音源の音のみが聴こえるよう、音量や音場を制御する。 The reproduction control unit 26 determines a virtual listening point within the listening angle corresponding to the current direction of the own terminal calculated by the direction calculating unit 20, and determines the distance between the virtual listening point and the arrangement positions of the plurality of sound sources. The volume and sound field of each sound source are controlled according to the localization. For example, the position of the sound source within the listening angle is determined as a virtual listening point, and the volume and the sound field are controlled so that only the sound of the sound source within the listening angle can be heard.
なお、図４（Ａ）に示すように、ステレオ音源等、２つの発音源間での聴取がメインの場合には、聴取点から両発音源までの距離が短い程クリアに聴こえるので、両発音源を結んだ線上に仮想聴取点を決定するのが望ましい。この場合には、仮想聴取点の軌道となる円周の半径と、聴取者の仮想位置と発音源の距離の比は、１対√２になる。また、仮想空間における発音源の配位位置は円周上ではない位置となる。または、図４（Ｂ）に示すように、発音源間を結んだ線を聴取軌道として設定する事も効果的である。 As shown in FIG. 4A, when listening between two sound sources, such as a stereo sound source, is the main, the shorter the distance from the listening point to both sound sources, the clearer the sound. It is desirable to determine a virtual listening point on the line connecting the sources. In this case, the ratio of the radius of the circumference of the trajectory of the virtual listening point to the distance between the virtual position of the listener and the sound source is 1: 2. The configuration position of the sound source in the virtual space is a position that is not on the circumference. Alternatively, as shown in FIG. 4 (B), it is also effective to set a line connecting sound sources as a listening trajectory.
再生制御部２６は、聴取角に応じて各発音源の音量や音場を制御し、音源出力部１６へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。 The reproduction control unit 26 controls the volume and sound field of each sound source according to the listening angle, and transfers the sound source and the sound field to the sound source output unit 16. At this time, the reproduction data is generated such that the longer the distance between the virtual listening point and the arrangement position of the sound source is, the lower the sound volume is.
ここで、発音源から音源の最大距離に至るまでの間で音量を減衰させる際に、ロールオフ係数を設定する事により、目的に応じた音量減衰を得る事が出来る。図５にその例を示す。 Here, when the sound volume is attenuated from the sound source to the maximum distance of the sound source, by setting the roll-off coefficient, the sound volume can be attenuated according to the purpose. FIG. 5 shows an example.
例えば、発音源から離れるほど聴こえなくなるように音量を減衰させるロールオフ係数（図５の直線Ａを参照）、発音源から少し離れると急に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｂを参照）、発音源から離れていくと自然に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｃを参照）、及び発音源から離れていくと急に聴こえなくなるように音量を減衰させるロールオフ係数（図５の曲線Ｄを参照）等を設定することができる。これにより、特にパノラマ映像等の視覚情報との整合が図れる。 For example, a roll-off coefficient (see a straight line A in FIG. 5) that attenuates the volume so that the sound becomes more inaudible as the distance from the sound source increases, and a roll-off coefficient (see FIG. Curve B), a roll-off coefficient (see curve C in FIG. 5) for attenuating the volume so that the sound becomes inaudible when moving away from the sound source, and suddenly becomes inaudible when moving away from the sound source. A roll-off coefficient (see curve D in FIG. 5) or the like for attenuating the volume can be set. Thereby, matching with visual information such as a panoramic video can be achieved.
＜携帯情報端末の作用＞ <Operation of portable information terminal>
次に、本発明の第１の実施の形態に係る携帯情報端末１０の作用について説明する。 Next, the operation of the portable information terminal 10 according to the first embodiment of the present invention will be described.
まず、聴取者が、携帯情報端末１０を手に携帯し、携帯情報端末１０を操作して、音源再生アプリケーションを起動すると、携帯情報端末１０は、図６に示す再生制御処理ルーチンを実行する。 First, when the listener carries the portable information terminal 10 in his / her hand and operates the portable information terminal 10 to activate the sound source reproduction application, the portable information terminal 10 executes a reproduction control processing routine shown in FIG.
まず、ステップＳ１００において、ジャイロセンサ１２によって検出された水平面の回転角速度を取得する。聴取者が携帯情報端末１０を手に携帯したまま、向きを変えると、それに応じた水平面の回転角速度がジャイロセンサ１２によって検出される。そして、ステップＳ１０２において、上記ステップＳ１００で現時点までに取得された水平面の回転角速度を積算することにより、水平面における自端末の基準方向からの角度変化を、自端末の方向として算出する。 First, in step S100, the rotational angular velocity of the horizontal plane detected by the gyro sensor 12 is obtained. When the listener turns the portable information terminal 10 while holding it in his hand, the gyro sensor 12 detects the rotational angular velocity of the horizontal plane corresponding to the direction. Then, in step S102, the angular change from the reference direction of the own terminal on the horizontal plane is calculated as the direction of the own terminal by integrating the rotational angular velocities of the horizontal plane acquired up to the present time in step S100.
そして、ステップＳ１０４において、上記ステップＳ１０２で算出された自端末の方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離と定位を算出し、聴取角内の音のみが聴こえるよう、各発音源の音量と音場を制御する。 Then, in step S104, the position of the virtual listening point is determined based on the direction of the own terminal calculated in step S102, and for each of the plurality of sound sources, the configuration position of the sound source and the virtual listening position are determined. The distance and the localization from the position of the point are calculated, and the volume and sound field of each sound source are controlled so that only the sound within the listening angle can be heard.
ステップＳ１０６では、上記ステップＳ１０４で算出された、各発音源の仮想聴取点からの距離と定位に応じた音量と音場で、音源を再生するように、音源出力部１６に受け渡し、ステップＳ１０８において、終了指示があったか否かを判定し、終了指示がない場合には、上記ステップＳ１００へ戻り、一方、終了指示があった場合には、再生制御処理ルーチンを終了する。 In step S106, the sound source is transferred to the sound source output unit 16 so as to reproduce the sound source at the volume and sound field corresponding to the distance and the localization of each sound source from the virtual listening point calculated in step S104. It is determined whether or not there is a termination instruction. If there is no termination instruction, the process returns to step S100. On the other hand, if there is a termination instruction, the reproduction control processing routine is terminated.
以上説明したように、本発明の第１の実施の形態に係る携帯情報端末によれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御することにより、聴取者は携帯情報端末の向きに応じた音源を選択聴取することができる。 As described above, according to the portable information terminal according to the first embodiment of the present invention, when the listener is carrying the portable information terminal in his / her hand, the portable information terminal detected by the gyro sensor By controlling the sound volume and sound field of each sound source corresponding to the current direction of the portable information terminal, which is obtained from the rotational angular velocity, the listener can select and listen to the sound source corresponding to the direction of the portable information terminal.
また、任意の自端末方向の先にある発音源を選択して聴取可能にする為には、仮想聴取点を選択音源に近づける必要がある。ジャイロセンサの検出によって得られた回転角速度に対して、発音源の近くを通る聴取軌道を設定する事により、仮想聴取点と各発音源との距離に差が生まれる為、仮想聴取点から近い距離の音源のみを選択聴取する事が可能となる。 Further, in order to select a sound source located ahead of an arbitrary terminal in order to enable listening, it is necessary to bring a virtual listening point closer to the selected sound source. By setting a listening trajectory that passes near the sound source with respect to the rotational angular velocity obtained by the detection of the gyro sensor, a difference is created between the virtual listening point and each sound source. It is possible to select and listen to only the sound source.
また、各発音源上を結ぶ聴取軌道を設定する事により、選択発音源と同じ位置にある仮想聴取点では、距離による遅延が無くなり、音源をよりクリアに聴取する事が可能となる。これにより、あたかも自端末方向の先にある発音場所で聴取しているような効果を得る事が出来る。 In addition, by setting a listening trajectory connecting each sound source, at a virtual listening point at the same position as the selected sound source, there is no delay due to distance, and it is possible to listen to the sound source more clearly. As a result, it is possible to obtain an effect as if the user were listening at a sounding place ahead of the own terminal.
また、ジャイロセンサの検出によって得られた回転角速度に対して、発音源近くを通る聴取軌道上を、仮想聴取点が移動する事により、シームレスな音像定位が可能となる。これにより、全方位の中心に聴取者の仮想位置があるのに対し、仮想聴取点が、自端末方向の発音源に近くなり、その他の発音源との距離が、その発音源の最大距離を超える為、自端末方向の発音源のみを選択聴取する事が可能となる。 In addition, by moving the virtual listening point on the listening trajectory passing near the sound source with respect to the rotational angular velocity obtained by the detection of the gyro sensor, seamless sound image localization becomes possible. As a result, while the listener's virtual position is at the center of all directions, the virtual listening point is closer to the sound source in the direction of the own terminal, and the distance to the other sound sources is equal to the maximum distance of the sound source. Therefore, it is possible to selectively listen to only the sound source in the direction of the own terminal.
＜第２の実施の形態＞
次に、第２の実施の形態に係る携帯情報端末について説明する。なお、第２の実施の形態に係る携帯情報端末の構成は、第１の実施の形態と同様であるため、説明を省略する。
<Second embodiment>
Next, a portable information terminal according to a second embodiment will be described. Note that the configuration of the portable information terminal according to the second embodiment is the same as that of the first embodiment, and thus the description is omitted.
第２の実施の形態では、３次元の仮想空間に、複数の発音源が配置されている点が、第１の実施の形態と異なっている。 The second embodiment is different from the first embodiment in that a plurality of sound sources are arranged in a three-dimensional virtual space.
第２の実施の形態に係る携帯情報端末の方向算出部２０は、ジャイロセンサ１２によって検出された３軸の回転角速度を積算することにより、３次元における自端末の基準方向からの角度変化を、自端末の方向として算出する。 The direction calculator 20 of the portable information terminal according to the second embodiment integrates the three-axis rotational angular velocities detected by the gyro sensor 12 to calculate the three-dimensional change in the angle of the terminal from the reference direction, It is calculated as the direction of the own terminal.
音源記憶部２４には、複数の方向に対応する複数の音源情報からなるマルチ音源が記憶されている。図７に示すように、例えば、複数の発音源は、３次元の仮想空間上において、聴取者の仮想位置を中心とし、半径を所定距離とした球面上に配置され、複数の方向に対応している。 The sound source storage unit 24 stores a multi sound source including a plurality of sound source information corresponding to a plurality of directions. As shown in FIG. 7, for example, a plurality of sound sources are arranged on a spherical surface having a predetermined distance from the listener's virtual position in the three-dimensional virtual space and having a predetermined radius, and correspond to a plurality of directions. ing.
また、上記の第１の実施の形態と同様に、図８に示すように、複数の発音源の各々では、音源の最大距離が設定されている。 As in the first embodiment, as shown in FIG. 8, a maximum distance between sound sources is set for each of the plurality of sound sources.
再生制御部２６は、方向算出部２０によって算出された現在の自端末の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。例えば、聴取角内の発音源の位置を仮想聴取点として決定し、聴取角内の発音源の音のみが聴こえるよう、音量や音場を制御する。 The reproduction control unit 26 determines a virtual listening point within the listening angle corresponding to the current direction of the own terminal calculated by the direction calculating unit 20, and determines the distance between the virtual listening point and the arrangement positions of the plurality of sound sources. The volume and sound field of each sound source are controlled according to the localization. For example, the position of the sound source within the listening angle is determined as a virtual listening point, and the volume and the sound field are controlled so that only the sound of the sound source within the listening angle can be heard.
再生制御部２６は、聴取角に応じて各発音源の音量や音場を制御し、音源出力部１６へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。 The reproduction control unit 26 controls the volume and sound field of each sound source according to the listening angle, and transfers the sound source and the sound field to the sound source output unit 16. At this time, the reproduction data is generated such that the longer the distance between the virtual listening point and the arrangement position of the sound source is, the lower the sound volume is.
なお、第２の実施の形態に係る携帯情報端末の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。 Note that other configurations and operations of the portable information terminal according to the second embodiment are the same as those of the first embodiment, and a description thereof will be omitted.
以上説明したように、本発明の第２の実施の形態に係る携帯情報端末によれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、３次元における現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御することにより、聴取者は携帯情報端末の向きに応じた音源を選択聴取することができる。 As described above, according to the portable information terminal according to the second embodiment of the present invention, when the listener carries the portable information terminal in his hand, the portable information terminal detected by the gyro sensor By controlling the volume and sound field of each sound source corresponding to the current direction of the portable information terminal in three dimensions, which is obtained from the rotational angular velocity, the listener can selectively listen to the sound source corresponding to the direction of the portable information terminal. Can be.
また、全方位に対応する事が可能な為、例えば３６０度パノラマ映像等に取り入れる事で、視聴者の視覚と聴覚を融合する事が可能である。この場合には、携帯情報端末の表示画面に相当する、見える窓内の発音源を選択して聴取することが可能となる（図９（Ｂ）参照）。また、視覚の中心にある発音源をクローズアップして聴くという、新しい聴取体験を可能とする。 Further, since it is possible to correspond to all directions, it is possible to combine the visual sense and the auditory sense of the viewer by incorporating it into, for example, a 360-degree panoramic video. In this case, it is possible to select and listen to a sound source in a visible window corresponding to the display screen of the portable information terminal (see FIG. 9B). In addition, it enables a new listening experience, in which the sound source at the center of vision is heard close-up.
また、頭部回転や携帯情報端末の回転によって聴きたい発音源をアクティブ聴取出来る為、予め多言語を収録し、頭部回転や携帯情報端末の回転により言語を選択するといった使い方も可能である（図９（Ａ）参照）。また、前を向いた時と後ろを向いた時で、別のアーティストの演奏をクローズアップ聴取したり、様々な新しい聴取形態が可能となる。 In addition, since it is possible to actively listen to a sound source to be heard by rotating the head or rotating the portable information terminal, it is also possible to record in multiple languages in advance and select a language by rotating the head or rotating the portable information terminal. FIG. 9A). In addition, it is possible to listen to the performance of another artist in a close-up manner when facing the front and when facing the back, and various new listening modes are possible.
＜第３の実施の形態＞
次に、第３の実施の形態に係る再生システムについて説明する。なお、第１の実施の形態と同様となる部分については、同一符号を付して、説明を省略する。
<Third embodiment>
Next, a reproduction system according to the third embodiment will be described. The same parts as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
第３の実施の形態では、再生制御をサーバ側で行っている点が、第１の実施の形態と異なっている。 The third embodiment differs from the first embodiment in that playback control is performed on the server side.
図１０に示すように、第３の実施の形態に係る再生システム３００は、携帯情報端末２１０と、サーバ２２０とを備えている。携帯情報端末２１０とサーバ２２０とはネットワーク２３０を介して接続されている。 As shown in FIG. 10, the playback system 300 according to the third embodiment includes a portable information terminal 210 and a server 220. The portable information terminal 210 and the server 220 are connected via a network 230.
携帯情報端末２１０は、ジャイロセンサ１２と、通信部２１４と、音源出力部１６とを備えている。 The portable information terminal 210 includes the gyro sensor 12, the communication unit 214, and the sound source output unit 16.
通信部２１４は、ジャイロセンサ１２によって逐次検出された回転角速度をサーバ２２０へ送信すると共に、サーバ２２０から受信した再生データを、音源出力部１６により出力する。 The communication unit 214 transmits the rotational angular velocity sequentially detected by the gyro sensor 12 to the server 220, and outputs the reproduction data received from the server 220 by the sound source output unit 16.
サーバ２２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されている。サーバ２２０は、機能的には次に示すように構成されている。サーバ２２０は、通信部２２２、方向算出部２２４、音源記憶部２４、及び再生制御部２２６を備えている。 The server 220 is configured by a computer including a CPU, a ROM, a RAM, an HDD, a flash memory, and the like. The server 220 is functionally configured as follows. The server 220 includes a communication unit 222, a direction calculation unit 224, a sound source storage unit 24, and a reproduction control unit 226.
通信部２２２は、携帯情報端末２１０から送信された回転角速度を受信し、方向算出部２２４へ受け渡す。また、通信部２２２は、再生制御部２２６から出力された再生データを、携帯情報端末２１０へ送信する。 The communication unit 222 receives the rotation angular velocity transmitted from the portable information terminal 210 and transfers the rotation angular velocity to the direction calculation unit 224. The communication unit 222 transmits the reproduction data output from the reproduction control unit 226 to the portable information terminal 210.
方向算出部２２４は、通信部２２２によって受信した回転角速度を積算することにより、自端末の基準方向からの角度変化を、携帯情報端末２１０の方向として算出する。 The direction calculation unit 224 calculates an angle change from the reference direction of the own terminal as the direction of the portable information terminal 210 by integrating the rotational angular velocity received by the communication unit 222.
再生制御部２２６は、方向算出部２２４によって算出された現在の携帯情報端末２１０の方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。 The reproduction control unit 226 determines a virtual listening point within a listening angle corresponding to the current direction of the portable information terminal 210 calculated by the direction calculating unit 224, and determines the virtual listening point and the arrangement positions of the plurality of sound sources. The volume and sound field of each sound source are controlled according to the distance and the localization.
再生制御部２２６は、聴取角に応じて各発音源の音量や音場を制御し、通信部２２２へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。 The reproduction control unit 226 controls the volume and sound field of each sound source according to the listening angle, and transfers the sound source and the sound field to the communication unit 222. At this time, the reproduction data is generated such that the longer the distance between the virtual listening point and the arrangement position of the sound source is, the lower the sound volume is.
＜再生システムの作用＞
次に、本発明の第３の実施の形態に係る再生システム３００の作用について説明する。
<Operation of the playback system>
Next, the operation of the reproduction system 300 according to the third embodiment of the present invention will be described.
まず、聴取者が、携帯情報端末２１０を手に携帯し、音源再生アプリケーションを起動すると、携帯情報端末２１０は、ジャイロセンサ１２によって逐次検出された回転角速度をサーバ２２０へ送信する。 First, when the listener carries the portable information terminal 210 in his hand and activates the sound source reproduction application, the portable information terminal 210 transmits the rotation angular velocity sequentially detected by the gyro sensor 12 to the server 220.
サーバ２２０は、携帯情報端末２１０から受信した回転角速度を取得すると、現時点までに取得された回転角速度を積算することにより、携帯情報端末２１０の基準方向からの角度変化を、携帯情報端末２１０の方向として算出する。 When the server 220 acquires the rotational angular velocity received from the portable information terminal 210, the server 220 integrates the rotational angular velocity acquired up to the present time to determine a change in the angle of the portable information terminal 210 from the reference direction. Is calculated as
そして、サーバ２２０は、算出された携帯情報端末２１０の方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離や定位を算出し、各発音源の音量や音場を制御した上で音源を再生するように再生データを生成し、携帯情報端末２１０へ送信する。 Then, the server 220 determines the position of the virtual listening point based on the calculated direction of the portable information terminal 210, and for each of the plurality of sound sources, the coordinate position of the sound source and the virtual listening point. The distance and the localization with respect to the position are calculated, the reproduction data is generated so as to reproduce the sound source after controlling the volume and the sound field of each sound source, and transmitted to the portable information terminal 210.
そして、携帯情報端末２１０は、サーバ２２０から受信した再生データを、音源出力部１６により出力する。 Then, the portable information terminal 210 outputs the reproduction data received from the server 220 by the sound source output unit 16.
以上説明したように、本発明の第３の実施の形態に係る再生システムによれば、聴取者が携帯情報端末を手に携帯しているときに、ジャイロセンサによって検出された携帯情報端末の回転角速度から求められる、現在の携帯情報端末の方向に対応する各発音源の音量と音場を制御した再生データを生成し、サーバから携帯情報端末へ送信することにより、聴取者は、携帯情報端末の向きに応じた音源を選択聴取することができる。 As described above, according to the reproduction system according to the third embodiment of the present invention, when the listener is carrying the portable information terminal in his / her hand, the rotation of the portable information terminal detected by the gyro sensor is performed. By generating playback data controlling the sound volume and sound field of each sound source corresponding to the direction of the current portable information terminal, which is obtained from the angular velocity, and transmitting it from the server to the portable information terminal, the listener can use the portable information terminal. The user can select and listen to a sound source according to the direction of the sound.
なお、上記の第１の実施の形態と第２の実施の形態では、発音源が聴取者の仮想位置を中心とした円周上や球面上に配置されている場合を例に説明したが、これに限定されるものではなく、円周上や球面上ではない位置に発音源が配置されていてもよい。 In the above-described first and second embodiments, the case where the sound source is arranged on the circumference or the spherical surface around the virtual position of the listener has been described as an example. The present invention is not limited to this, and the sound source may be arranged at a position other than the circumference or the spherical surface.
また、上記の第１の実施の形態〜第３の実施の形態では、聴取者が携帯情報端末を手に携帯している場合を例に説明したがこれに限定されるものではなく、携帯情報端末がメガネ型端末や時計型端末のように聴取者に取り付けられることにより携帯している場合であってもよい。 Further, in the above-described first to third embodiments, the case where the listener is carrying the portable information terminal in his hand has been described as an example, but the present invention is not limited to this. The terminal may be carried by being attached to a listener like a glasses-type terminal or a watch-type terminal.
また、ジャイロセンサを用いる場合を例に説明したが、これに限定されるものではなく、携帯情報端末の方向情報が得られれば、他のセンサを用いてもよい。例えば、方位センサを用いて、携帯情報端末の方向情報として方角を検出してもよい。この場合には、各方角に対応して発音源を用意すればよい。 Also, the case where a gyro sensor is used has been described as an example, but the present invention is not limited to this, and other sensors may be used as long as the direction information of the portable information terminal can be obtained. For example, the direction may be detected as the direction information of the portable information terminal using the direction sensor. In this case, a sound source may be prepared corresponding to each direction.
＜第４の実施の形態＞
次に、第４の実施の形態に係る再生システムについて説明する。なお、第１の実施の形態〜第３の実施の形態と同様となる部分については、同一符号を付して、説明を省略する。
<Fourth embodiment>
Next, a reproducing system according to a fourth embodiment will be described. The same parts as those in the first to third embodiments are denoted by the same reference numerals, and description thereof is omitted.
第４の実施の形態では、聴取者が仮想的に向いている方向を入力操作で受け付けている点が、第３の実施の形態と異なっている。 The fourth embodiment is different from the third embodiment in that the direction in which the listener is virtually facing is accepted by an input operation.
図１１に示すように、第４の実施の形態に係る再生システム４００は、情報処理装置４１０と、サーバ４２０とを備えている。情報処理装置４１０とサーバ４２０とはネットワーク２３０を介して接続されている。 As shown in FIG. 11, the reproduction system 400 according to the fourth embodiment includes an information processing device 410 and a server 420. The information processing device 410 and the server 420 are connected via the network 230.
情報処理装置４１０は、入力部４１２と、通信部４１４と、音源出力部１６とを備えている。 The information processing device 410 includes an input unit 412, a communication unit 414, and the sound source output unit 16.
入力部４１２は、ユーザのマウス操作、キーボード操作、又はジョイスティック操作などにより聴取者が仮想的に向いている方向情報を受け付ける。 The input unit 412 receives direction information that the listener is virtually facing by a mouse operation, a keyboard operation, or a joystick operation of the user.
通信部４１４は、入力部４１２により受け付けた方向情報をサーバ４２０へ送信すると共に、サーバ４２０から受信した再生データを、音源出力部１６により出力する。 The communication unit 414 transmits the direction information received by the input unit 412 to the server 420, and outputs the reproduction data received from the server 420 by the sound source output unit 16.
サーバ４２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤやフラッシュメモリ等を備えたコンピュータで構成されている。サーバ４２０は、機能的には次に示すように構成されている。サーバ４２０は、通信部４２２、方向算出部４２４、音源記憶部２４、及び再生制御部２２６を備えている。 The server 420 is configured by a computer including a CPU, a ROM, a RAM, an HDD, a flash memory, and the like. The server 420 is functionally configured as follows. The server 420 includes a communication unit 422, a direction calculation unit 424, a sound source storage unit 24, and a reproduction control unit 226.
通信部４２２は、情報処理装置４１０から送信された方向情報を受信し、方向算出部４２４へ受け渡す。また、通信部４２２は、再生制御部２２６から出力された再生データを、情報処理装置４１０へ送信する。 The communication unit 422 receives the direction information transmitted from the information processing device 410 and passes the direction information to the direction calculation unit 424. Further, the communication unit 422 transmits the reproduction data output from the reproduction control unit 226 to the information processing device 410.
方向算出部４２４は、通信部４２２によって受信した方向情報に基づいて、聴取者の仮想的な方向を算出する。 The direction calculation unit 424 calculates a virtual direction of the listener based on the direction information received by the communication unit 422.
再生制御部２２６は、方向算出部４２４によって算出された現在の聴取者の仮想的な方向に対応する、聴取角内の仮想聴取点を決定し、仮想聴取点と複数の発音源の配置位置との距離や定位に応じて、各発音源の音量や音場を制御する。 The reproduction control unit 226 determines a virtual listening point within the listening angle corresponding to the current virtual direction of the listener calculated by the direction calculating unit 424, and determines the virtual listening point and the arrangement positions of the plurality of sound sources. The sound volume and sound field of each sound source are controlled according to the distance and localization of the sound source.
再生制御部２２６は、聴取角に応じて各発音源の音量や音場を制御し、通信部４２２へ受け渡す。このとき、仮想聴取点と発音源の配置位置との距離が長いほど、小さい音量で、再生するように再生データを生成する。 The reproduction control unit 226 controls the volume and sound field of each sound source according to the listening angle, and transfers the sound source and the sound field to the communication unit 422. At this time, the reproduction data is generated such that the longer the distance between the virtual listening point and the arrangement position of the sound source is, the lower the sound volume is.
＜再生システムの作用＞
次に、本発明の第４の実施の形態に係る再生システム４００の作用について説明する。
<Operation of the playback system>
Next, the operation of the reproduction system 400 according to the fourth embodiment of the present invention will be described.
まず、聴取者が、マウス操作、キーボード操作、又はジョイスティック操作などにより、情報処理装置４１０に、聴取者の仮想的な向きを示す方向情報を入力すると、情報処理装置４１０は、受け付けた方向情報をサーバ４２０へ送信する。 First, when the listener inputs direction information indicating a virtual direction of the listener to the information processing device 410 by a mouse operation, a keyboard operation, a joystick operation, or the like, the information processing device 410 transmits the received direction information. Send to server 420.
サーバ４２０は、情報処理装置４１０から受信した方向情報を取得すると、聴取者の仮想的な方向を算出する。 Upon acquiring the direction information received from the information processing device 410, the server 420 calculates a virtual direction of the listener.
そして、サーバ４２０は、算出された聴取者の仮想的な方向に基づいて、仮想聴取点の位置を決定し、複数の発音源の各々に対して、当該発音源の配位位置と仮想聴取点の位置との間の距離や定位を算出し、各発音源の音量や音場を制御した上で音源を再生するように再生データを生成し、情報処理装置４１０へ送信する。 Then, the server 420 determines the position of the virtual listening point based on the calculated virtual direction of the listener, and for each of the plurality of sound sources, the configuration position of the sound source and the virtual listening point. The position and the position of the sound source are calculated, the reproduction data is generated so that the sound source is reproduced after controlling the volume and the sound field of each sound source, and transmitted to the information processing device 410.
そして、情報処理装置４１０は、サーバ４２０から受信した再生データを、音源出力部１６により出力する。 Then, the information processing device 410 outputs the reproduction data received from the server 420 through the sound source output unit 16.
以上説明したように、本発明の第４の実施の形態に係る再生システムによれば、聴取者の方向情報が入力されるときに、入力された方向情報から求められる、現在の聴取者の方向に対応する各発音源の音量と音場を制御した再生データを生成し、サーバから情報処理装置へ送信することにより、聴取者は、入力した向きに応じた音源を選択聴取することができる。 As described above, according to the playback system according to the fourth embodiment of the present invention, when the listener's direction information is input, the current listener's direction obtained from the input direction information is obtained. By generating reproduction data in which the volume and sound field of each sound source corresponding to the sound source are controlled and transmitting the reproduction data from the server to the information processing apparatus, the listener can select and listen to a sound source corresponding to the input direction.
なお、上記第４の実施の形態において、サーバ４２０を用いずに、情報処理装置４１０が、方向算出部４２４、再生制御部２２６、及び音源記憶部２４を備えているように構成してもよい。 In the fourth embodiment, the information processing device 410 may include the direction calculation unit 424, the reproduction control unit 226, and the sound source storage unit 24 without using the server 420. .
１０ 携帯情報端末
１２ ジャイロセンサ
１４ 制御部
１６ 音源出力部
２０ 方向算出部
２４ 音源記憶部
２６ 再生制御部
２１０ 携帯情報端末
２１４、４１４ 通信部
２２０、４２０ サーバ
２２２、４２２ 通信部
２２４、４２４ 方向算出部
２２６ 再生制御部
２３０ ネットワーク
３００、４００ 再生システム
４１０ 情報処理装置
４１２ 入力部
Reference Signs List 10 portable information terminal 12 gyro sensor 14 control unit 16 sound source output unit 20 direction calculation unit 24 sound source storage unit 26 reproduction control unit 210 portable information terminals 214, 414 communication unit 220, 420 server 222, 422 communication unit 224, 424 direction calculation unit 226 Playback control unit 230 Network 300, 400 Playback system 410 Information processing device 412 Input unit
Claims (6)
聴取者が自端末を携帯しているときに、前記基準方向からの自端末の角度変化を表す複数の方向に対応して用意された複数の音源情報のうち、前記センサによって検出された方向情報から求められる、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部と、
を含み、
２次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
前記再生制御部は、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
携帯情報端末。 A sensor for detecting direction information indicating an angle change of the own terminal from the reference direction of the own terminal at a specific timing,
When the listener is carrying his / her own terminal, among a plurality of sound source information prepared corresponding to a plurality of directions representing an angle change of the own terminal from the reference direction, direction information detected by the sensor Determined from the current terminal, a reproduction control unit that controls to reproduce the sound source information corresponding to the direction representing the angle change from the reference direction,
Including
In a two-dimensional virtual space, the plurality of sound source information is arranged in the virtual space,
The playback control unit determines a virtual listening point corresponding to a direction representing an angle change from the reference direction of the current own terminal, the distance between the virtual listening point and the arrangement position of the plurality of sound source information, and A portable information terminal that controls so as to reproduce sound source information corresponding to a direction representing an angle change from the reference direction of the current own terminal according to localization.
聴取者が自端末を携帯しているときに、前記基準方向からの自端末の角度変化を表す複数の方向に対応して用意された複数の音源情報のうち、前記センサによって検出された方向情報から求められる、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部と、
を含み、
３次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
前記再生制御部は、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の自端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
携帯情報端末。 A sensor for detecting direction information indicating an angle change of the own terminal from the reference direction of the own terminal at a specific timing,
When the listener is carrying his / her own terminal, among a plurality of sound source information prepared corresponding to a plurality of directions representing an angle change of the own terminal from the reference direction, direction information detected by the sensor Determined from the current terminal, a reproduction control unit that controls to reproduce the sound source information corresponding to the direction representing the angle change from the reference direction,
Including
In a three-dimensional virtual space, the plurality of sound source information is arranged in the virtual space,
The playback control unit determines a virtual listening point corresponding to a direction representing an angle change from the reference direction of the current own terminal, the distance between the virtual listening point and the arrangement position of the plurality of sound source information, and A portable information terminal that controls so as to reproduce sound source information corresponding to a direction representing an angle change from the reference direction of the current terminal according to localization.
を含み、
２次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
前記再生制御部は、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
情報処理装置。 When the listener carries the portable information terminal, the reference direction of the plurality of sound source information in a plurality of directions representing an angle change of the portable information terminal from a reference direction of the portable information terminal at a specific timing. Sound source information corresponding to a direction representing an angle change from the reference direction of the current portable information terminal, which is obtained from direction information detected by a sensor that detects direction information representing an angle change of the portable information terminal from Including a playback control unit for controlling playback of
In a two-dimensional virtual space, the plurality of sound source information is arranged in the virtual space,
The reproduction control unit determines a virtual listening point corresponding to a direction indicating an angle change from the reference direction of the current portable information terminal, and determines the virtual listening point and the arrangement position of the plurality of sound source information. An information processing device that controls so as to reproduce sound source information corresponding to a direction representing an angle change from the reference direction of the current portable information terminal according to a distance and a localization.
を含み、
３次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
前記再生制御部は、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
情報処理装置。 When the listener carries the portable information terminal, the reference direction of the plurality of sound source information in a plurality of directions representing an angle change of the portable information terminal from a reference direction of the portable information terminal at a specific timing. Sound source information corresponding to a direction representing an angle change from the reference direction of the current portable information terminal, which is obtained from direction information detected by a sensor that detects direction information representing an angle change of the portable information terminal from Including a playback control unit for controlling playback of
In a three-dimensional virtual space, the plurality of sound source information is arranged in the virtual space,
The playback control unit determines a virtual listening point corresponding to a direction representing an angle change from the reference direction of the current portable information terminal, and determines the virtual listening point and the arrangement position of the plurality of sound source information. An information processing device that controls so as to reproduce sound source information corresponding to a direction representing an angle change from the reference direction of the current portable information terminal according to a distance and a localization.
聴取者が携帯情報端末を携帯しているときに、特定のタイミングにおける前記携帯情報端末の基準方向からの前記携帯情報端末の角度変化を表す複数の方向に対する複数の音源情報のうち、前記基準方向からの前記携帯情報端末の角度変化を表す方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部
として機能させるためのプログラムであって、
２次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
前記再生制御部は、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
プログラム。 Computer
When the listener carries the portable information terminal, the reference direction of the plurality of sound source information in a plurality of directions representing an angle change of the portable information terminal from a reference direction of the portable information terminal at a specific timing. Sound source information corresponding to a direction representing an angle change from the reference direction of the current portable information terminal, which is obtained from direction information detected by a sensor that detects direction information representing an angle change of the portable information terminal. A program for functioning as a playback control unit for controlling playback of
In a two-dimensional virtual space, the plurality of sound source information is arranged in the virtual space,
The playback control unit determines a virtual listening point corresponding to a direction representing an angle change from the reference direction of the current portable information terminal, and determines the virtual listening point and the arrangement position of the plurality of sound source information. A program for controlling reproduction of sound source information corresponding to a direction representing an angle change from the reference direction of the current portable information terminal according to a distance and a localization.
聴取者が携帯情報端末を携帯しているときに、特定のタイミングにおける前記携帯情報端末の基準方向からの前記携帯情報端末の角度変化を表す複数の方向に対する複数の音源情報のうち、前記基準方向からの前記携帯情報端末の角度変化を表す方向情報を検出するセンサによって検出された方向情報から求められる、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する再生制御部
として機能させるためのプログラムであって、
３次元の仮想空間上において、前記複数の音源情報は、前記仮想空間上に配置され、
前記再生制御部は、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する仮想聴取点を決定し、前記仮想聴取点と、前記複数の音源情報の配置位置との距離及び定位に応じて、現在の前記携帯情報端末の、前記基準方向からの角度変化を表す方向に対応する音源情報を再生するように制御する
プログラム。 Computer
When the listener carries the portable information terminal, the reference direction of the plurality of sound source information in a plurality of directions representing an angle change of the portable information terminal from a reference direction of the portable information terminal at a specific timing. Sound source information corresponding to a direction representing an angle change from the reference direction of the current portable information terminal, which is obtained from direction information detected by a sensor that detects direction information representing an angle change of the portable information terminal from A program for functioning as a playback control unit for controlling playback of
In a three-dimensional virtual space, the plurality of sound source information is arranged in the virtual space,
The playback control unit determines a virtual listening point corresponding to a direction representing an angle change from the reference direction of the current portable information terminal, and determines the virtual listening point and the arrangement position of the plurality of sound source information. A program for controlling reproduction of sound source information corresponding to a direction representing an angle change from the reference direction of the current portable information terminal according to a distance and a localization.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015205889 | 2015-10-19 | ||
| JP2015205889 | 2015-10-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017079457A JP2017079457A (en) | 2017-04-27 |
| JP6651231B2 true JP6651231B2 (en) | 2020-02-19 |
Family
ID=58666266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015229972A Active JP6651231B2 (en) | 2015-10-19 | 2015-11-25 | Portable information terminal, information processing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6651231B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107071539B (en) * | 2017-05-08 | 2020-04-17 | 深圳小辣椒科技有限责任公司 | Terminal information resource synchronous display method and system based on VR equipment |
| CN108777743B (en) * | 2018-05-24 | 2020-07-31 | 柳州智视科技有限公司 | Method for changing video color in real time based on gyroscope |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3796776B2 (en) * | 1995-09-28 | 2006-07-12 | ソニー株式会社 | Video / audio playback device |
| JP2013101248A (en) * | 2011-11-09 | 2013-05-23 | Sony Corp | Voice control device, voice control method, and program |
| JP5825176B2 (en) * | 2012-03-29 | 2015-12-02 | 富士通株式会社 | Portable terminal, sound source position control method, and sound source position control program |
-
2015
- 2015-11-25 JP JP2015229972A patent/JP6651231B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017079457A (en) | 2017-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6610258B2 (en) | Information processing apparatus, information processing method, and program | |
| JP2020509492A (en) | Recording virtual and real objects in mixed reality devices | |
| US20210112366A1 (en) | Display A Graphical Representation to Indicate Sound Will Externally Localize as Binaural Sound | |
| EP2942980A1 (en) | Real-time control of an acoustic environment | |
| US20140328505A1 (en) | Sound field adaptation based upon user tracking | |
| US10754608B2 (en) | Augmented reality mixing for distributed audio capture | |
| US10798518B2 (en) | Apparatus and associated methods | |
| GB2542609A (en) | Differential headtracking apparatus | |
| US10496360B2 (en) | Emoji to select how or where sound will localize to a listener | |
| EP3399398B1 (en) | An apparatus and associated methods for presentation of spatial audio | |
| JP5971316B2 (en) | INFORMATION PROCESSING SYSTEM, ITS CONTROL METHOD, AND PROGRAM, AND INFORMATION PROCESSING DEVICE, ITS CONTROL METHOD, AND PROGRAM | |
| US11356795B2 (en) | Spatialized audio relative to a peripheral device | |
| JP2021535632A (en) | Methods and equipment for processing audio signals | |
| JP2020520576A5 (en) | ||
| US20210058732A1 (en) | Moving an Emoji to Move a Location of Binaural Sound | |
| CN111492342B (en) | Audio scene processing | |
| Sodnik et al. | Spatial auditory human-computer interfaces | |
| KR102656969B1 (en) | Discord Audio Visual Capture System | |
| JP6651231B2 (en) | Portable information terminal, information processing device, and program | |
| US20190075417A1 (en) | Spatially representing graphical interface elements as binaural audio content | |
| US11696085B2 (en) | Apparatus, method and computer program for providing notifications | |
| JP2018152834A (en) | Method and apparatus for controlling audio signal output in virtual auditory environment | |
| JP2019153943A (en) | Audio processing device, video and audio processing device, video and audio distribution server, and program thereof | |
| WO2022070337A1 (en) | Information processing device, user terminal, control method, non-transitory computer-readable medium, and information processing system | |
| KR20160073879A (en) | Navigation system using 3-dimensional audio effect |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20160112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160128 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190905 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6651231 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |