WO2024252649A1 - 情報提示装置、及びプログラム - Google Patents

情報提示装置、及びプログラム Download PDF

Info

Publication number
WO2024252649A1
WO2024252649A1 PCT/JP2023/021449 JP2023021449W WO2024252649A1 WO 2024252649 A1 WO2024252649 A1 WO 2024252649A1 JP 2023021449 W JP2023021449 W JP 2023021449W WO 2024252649 A1 WO2024252649 A1 WO 2024252649A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sound
presentation device
information presentation
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/021449
Other languages
English (en)
French (fr)
Inventor
達也 加古
大将 千葉
賢一 野口
彰 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2025525894A priority Critical patent/JPWO2024252649A1/ja
Priority to PCT/JP2023/021449 priority patent/WO2024252649A1/ja
Publication of WO2024252649A1 publication Critical patent/WO2024252649A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers

Definitions

  • the disclosed technology relates to technology that allows users of earphones that do not block out surrounding sounds to distinguish the sound coming from the earphones from surrounding sounds.
  • hear-through earphones e.g., Non-Patent Document 1
  • Hear-through earphones pick up environmental sounds with a microphone built into the earphone, play them in the driver unit of the earphone, and supply them to the ear canal together with information sounds.
  • the hear-through function can also be turned off to block environmental sounds. Since hear-through earphones use sounds through a microphone, the tone of the captured environmental sounds may change.
  • hear-through earphones are worn in a way that blocks the ear canal, just like regular earphones, so it is difficult for people around to talk to the user of the hear-through earphones.
  • Open-ear earphones are earphones that do not block the ear canal when worn, allowing environmental sounds to reach the eardrum directly.
  • the ear canal is not blocked, so ambient sounds naturally enter the ear and mix with the information sounds emitted by the earphones, allowing the user to hear the sounds without feeling uncomfortable.
  • users of open-ear earphones may sometimes be unable to determine whether the sounds they are hearing are information sounds or ambient sounds.
  • hear-through earphones where it may become difficult to determine whether the sound being heard is information sound or environmental sound.
  • an information presentation device includes a signal processing unit that converts an information sound into an identifiable signal.
  • the identifiable signal is a signal obtained by subjecting the information sound to stereophonic processing or a signal obtained by changing the timbre of the information sound.
  • an information presentation device includes a signal processing unit and a peripheral device.
  • the signal processing unit generates identification information from an information sound.
  • the peripheral device operates according to the identification information or displays the identification information.
  • the disclosed technology allows users of earphones that allow them to simultaneously hear environmental sounds and informational sounds to distinguish and recognize the informational sounds from the environmental sounds.
  • FIG. 1A and 1B are diagrams illustrating an example of a usage scene and a device configuration of a first embodiment.
  • FIG. 2 is a functional block diagram of the information presentation device according to the first embodiment.
  • 13A and 13B are diagrams illustrating an example of a usage scene and a device configuration according to a second embodiment.
  • FIG. 11 is a functional block diagram of an information presentation device according to a second embodiment.
  • FIG. 13 is a functional block diagram of an information presentation device according to a third embodiment.
  • FIG. 13 is a functional block diagram of an information presentation device according to a fourth embodiment.
  • 13A and 13B are diagrams illustrating an example of a usage scene and a device configuration according to a fifth embodiment.
  • FIG. 13 is a functional block diagram of an information presentation device according to a fifth embodiment.
  • FIG. 23 is a functional block diagram of an information presentation device according to a sixth embodiment;
  • FIG. 23 is a functional block diagram of an information presentation device according to a seventh embodiment;
  • open earphones earphones that allow the user to hear both environmental sounds and information sounds at the same time, such as hear-through earphones and open-ear earphones, will be referred to as "open earphones.”
  • the disclosed technology controls the information sound emitted by open earphones, or controls peripheral devices in conjunction with the information sound, making it easier for earphone users to recognize that it is an "information sound.”
  • the position of the sound image of the information sound may be controlled.
  • sound image localization allows the earphone user to hear information sound supplied from the earphones as if the sound source were coming from a specific direction or position in three-dimensional space.
  • environmental sounds are often generated from sources on the horizontal plane or below eye level, and rarely come from above eye level. Therefore, the sound image of the information sound is localized above eye level, and the sound image positions of the environmental sound and the information sound are separated. This allows the earphone user to distinguish and recognize the information sound from the environmental sound.
  • the environmental sound can be picked up by a microphone capable of measuring the sound source position, the position (direction and distance) of the main environmental sound can be identified, and the information sound can be localized in a position different from that of the environmental sound.
  • This method of determining the sound image position and presenting the information sound in open earphones will be referred to as the "sound image separation method" below.
  • the tone of the information sound may be controlled.
  • the quality of the reproduced information sound is comparable to that of environmental sounds, making it difficult to distinguish between the sounds. Therefore, the information sound is low-pass converted to a sound in the telephone band (300Hz to 3.4kHz) and then reproduced.
  • noise is intentionally mixed into the sound reproduced from the earphones to distinguish it from the environmental sound.
  • Comfort noise for example, can be used as the noise.
  • the open earphones may be vibrated in conjunction with the information sound.
  • the open earphones may be vibrated continuously or intermittently while the information sound is being played.
  • the information sound may be displayed as text on the playback screen of the VR glasses.
  • a notification may be displayed on the playback screen of the VR glasses that the information sound is being played.
  • [First embodiment: simultaneous interpretation] 1 is a diagram illustrating an example of a usage scene and a device configuration of the first embodiment.
  • Reference numeral 101 denotes an open earphone
  • 102 denotes an information presentation device
  • 103 denotes a microphone
  • 104 denotes a Japanese speaker
  • 105 denotes a foreign language speaker
  • 106 denotes a virtual interpreter.
  • 2 is a functional block diagram showing an example of the configuration of the information presentation device 102 according to the first embodiment.
  • the information presentation device 102 includes a voice signal acquisition unit 201, a signal processing unit 202, an information sound output unit 203, a voice recognition unit 204, a translation unit 205, and a voice synthesis unit 206.
  • a foreign language speaker 105 and a Japanese speaker 104 have a conversation.
  • the voice of the foreign language speaker 105 is recorded as a voice signal by the microphone 103 and the voice signal acquisition unit 201.
  • the recorded voice signal is converted into text by the voice recognition unit 204 and translated into Japanese text by the translation unit 205.
  • the Japanese text is converted into a Japanese voice signal by the voice synthesis unit 206.
  • the Japanese voice signal is subjected to a predetermined process by the signal processing unit 202 and output to the open earphone 101 by the information sound output unit 203.
  • the open earphone 101 allows the speaker to talk while naturally hearing the other person's voice and listening to the translation result without blocking their ears.
  • the translated speech (output of the speech synthesis unit 206) is subjected to sound image localization processing in the signal processing unit 202, and the sound image is localized behind the Japanese speaker 104 as if the virtual interpreter 106 were behind the Japanese speaker 104. Alternatively, the sound image is localized in the direction of the foreign language speaker 105.
  • This type of stereophonic processing allows the translated speech (information sound) to be heard predominantly by the open earphone user.
  • a sound image separation method may be applied to the sound image localization by the signal processing unit 202.
  • [Second embodiment: Tourist information] 3 is a diagram illustrating an example of a usage scene and a device configuration of the second embodiment.
  • Reference numeral 101 denotes an open earphone
  • 301 denotes an information presentation device
  • 302 denotes a tourist attraction.
  • a tourist uses the open earphone 101 to listen to an explanation of the tourist attraction 302 on the information presentation device 301.
  • the open earphone of the second embodiment includes a vibration generator (not shown) on each of the left and right earphones.
  • 4 is a functional block diagram showing an example of the configuration of an information presentation device 301 according to the second embodiment.
  • the information presentation device 301 includes a vibration control unit 401, an information storage unit 402, and an information sound output unit 203.
  • the information storage unit 402 stores information sounds that have been localized in sound images according to the guide contents. That is, for example, in the case of information with a sign or a direction, the guide sound has a sound image localized in that direction. In this way, it is made clear that the guide information sound is a sound emitted from the earphones. For information without a direction, the sound image is localized above the earphone user or inside the head where no particular direction is felt, so as not to interfere with environmental sounds.
  • the vibration control unit 401 vibrates the earphone that matches the content of the guide information sound. The timing of the vibration is previously recorded in the information storage unit 402 in association with the guide information sound. It is also possible to add a microphone for picking up environmental sounds and a signal processing unit to the information presentation device 301 and apply a sound image separation method to adjust the position of the information sound according to the environmental sound.
  • FIG. 5 is a functional block diagram showing an example of the configuration of an information presentation device 501 according to the third embodiment.
  • Open earphones are used to listen to live sports commentary and narration at the stadium. Open earphones allow ambient sounds to reach your ears directly, so you can hear the sports commentary without losing the sense of realism.
  • Reference numeral 502 denotes a live information acquisition unit
  • 503 denotes a user control unit
  • 203 denotes an information sound output unit that outputs information sound to the open earphone.
  • the live information acquisition unit 502 acquires information sound that has been subjected to sound image localization according to the live information.
  • the information sound may be acquired using existing wireless communication technology or the like.
  • the user control unit 503 operates according to instructions from the user. For example, when the user selects the "concentrate on the game mode," the user control unit 503 lowers the volume of the information sound and positions the sound image of the live commentary in a position that does not interfere with the viewing, such as behind or directly above the head.
  • the commentator changes the position of the sound image according to the movement of the ball and the players, taking into account the position of the spectators in the stadium. In a soccer goal scene, for example, the position of the sound image may be moved so that the commentary sound revolves around the user's head.
  • FIG. 6 is a functional block diagram showing an example of the configuration of an information presentation device 601 according to the fourth embodiment.
  • a haunted house an experiential amusement facility, open earphones are used for the sound effects in the haunted house.
  • 3D sound processing the sound is reproduced as if it is coming from a space where no people or objects exist.
  • Reference numeral 602 denotes an effect control unit
  • 603 denotes an information storage unit
  • 203 denotes an information sound output unit that outputs information sound to the open earphone.
  • Information sounds that have been subjected to sound image localization in advance in accordance with the sound presentation are recorded in the information storage unit 603 of the information presentation device 601.
  • the information storage unit 603 may store binaurally recorded sounds called ASMR and play them through open earphones.
  • the open earphones may be provided with functions not only for playing sound but also for vibrating, emitting heat, or emitting wind or water, and these functions may be controlled by the effect control unit 602.
  • the timing of vibration, heat generation, and emission is recorded in advance in the information storage unit 603 in association with the performance information sound.
  • transceiver adapter When working using a walkie-talkie, by wearing open earphones in both ears, you can respond to nearby dangers and calls from others while listening to stereo playback without having to remove one earphone.
  • Transceivers generally have a push-to-talk (PTT) function, which means that you can speak while pressing the transceiver, and what you say will be transmitted. Normally, you speak into the microphone on the transceiver, but earphones are available as an option for some transceivers.
  • PTT push-to-talk
  • transceiver earphones are single-ear with a monaural plug. This is because transceivers do not support stereo audio transmission and because they are designed to be worn in only one ear and leave the other ear open while working. However, when using it in this way, one ear is always blocked, making it difficult to hear surrounding sounds. It is also difficult to respond to calls coming from the direction of the blocked ear. Furthermore, there are problems such as the burden being placed on only one ear, and because both ears are not used, it is difficult to hear unless the volume is turned up.
  • FIG. 7 is a diagram for explaining an example of a usage scene and a device configuration of the fifth embodiment.
  • Reference numeral 101 denotes an open earphone
  • 701 denotes a microphone
  • 702 denotes an information presentation device
  • 703 denotes a transceiver
  • 704 to 706 denote communication partners via the transceiver.
  • an open earphone with a microphone is connected to an existing transceiver via an information presentation device.
  • 8 is a functional block diagram showing an example of the configuration of an information presentation device 702 according to the fifth embodiment.
  • the information presentation device 702 includes a sound signal acquisition unit 801, a signal processing unit 802, an information sound output unit 203, a microphone signal acquisition unit 803, and a microphone signal output unit 804.
  • the audio signal output by the transceiver is acquired by an audio signal unit 801, subjected to predetermined processing by a signal processing unit 802, and output from an information sound output unit to the open earphone 101.
  • the user's voice acquired by the microphone signal acquisition unit 803 is output from the microphone signal output unit 804 to the transceiver 703 .
  • ⁇ Multi-party calls> In a call in which multiple speakers are participating, a stereophonic effect is applied by taking advantage of the fact that the earphones are worn on both ears. For example, when there are three speakers in remote locations, the signal processing unit 802 localizes the sound image of the first speaker so that the speaker sounds 45 degrees in front to the left as seen by the open earphone user (speaker 704 in FIG. 7), the second speaker so that the speaker sounds in front (speaker 705 in FIG. 7), and the third speaker so that the speaker sounds 45 degrees in front to the right (speaker 706 in FIG. 7).
  • the communication partner is generally specified for each communication channel, so the position of the sound image can be changed in conjunction with switching of the channel for communication. When there is only one communication partner, the position of the sound image may be placed at the top using a head-related transfer function.
  • the communication device may be a smartphone equipped with a call application.
  • the information presentation device 702 may obtain communication partner information from the call application and determine the position of a sound image for each communication partner. Furthermore, when the signal processing unit 802 localizes the sound image of each speaker, the position of each speaker may be adjusted by applying a sound image separation method.
  • FIG. 9 is a functional block diagram illustrating an example of the configuration of an information presentation device according to the sixth embodiment.
  • the information presentation device 901 uses VR glasses 920 with built-in open earphones to listen to the sound of a wideband communication device 910, for example.
  • Reference numeral 902 denotes a voice signal acquisition unit
  • 903 denotes a signal processing unit
  • 203 denotes an information sound output unit
  • 904 denotes a voice recognition unit
  • 905 denotes a screen control unit.
  • the signal processing unit 903 converts the wideband audio signal acquired by the audio signal acquisition unit 902 into a telephone band audio signal.
  • the information sound output unit outputs the telephone band audio signal to the open earphone.
  • the voice recognition unit 904 recognizes the voice of the signal acquired by the voice signal acquisition unit 902 and converts it into text.
  • the screen control unit displays the text obtained by voice recognition on the VR glasses in synchronization with the output of the information sound.
  • the screen control unit 905 may work in cooperation with the information sound output unit to display on the VR screen a symbol indicating that information sound is being output from the open earphones.
  • FIG. 10 is a functional block diagram illustrating an example of the configuration of an information presentation device according to the seventh embodiment.
  • the open earphones 1010 have a built-in posture detector that detects the movement of the user's head.
  • the information presentation device 1001 detects that an abnormality has occurred in the user from the output of the posture detector and applies predetermined control to the open earphones.
  • Reference numeral 1002 denotes a sound signal acquisition unit
  • 1003 denotes a signal processing unit
  • 203 denotes an information sound output unit
  • 1004 denotes an abnormality determination unit.
  • the abnormality determination unit 1004 acquires a signal from a posture detector (not shown), and if no movement is observed for a predetermined period of time, determines that an abnormality has occurred in the user.
  • the abnormality determination unit 1004 outputs the occurrence of the abnormality to the signal processing unit 1003, and the signal processing unit 1003 controls the sound output from the open earphone to notify those around the user that an abnormality has occurred.
  • the signal processing unit 1003 generates a high-pitched sound of 3 kHz or more, at which sound leakage suppression does not operate, and outputs it from the information sound output unit 203 to notify those around the user that an abnormality has occurred.
  • the signal processing unit 1003 controls the open earphone to close the opening for suppressing sound leakage of the open earphone, thereby increasing sound leakage, and notifies people around the user that an abnormality has occurred.
  • the program describing this processing can be recorded on a computer-readable recording medium.
  • Examples of computer-readable recording media include magnetic recording devices, optical disks, magneto-optical recording media, and semiconductor memories.
  • the program may be distributed, for example, by selling, transferring, or lending portable recording media such as DVDs or CD-ROMs on which the program is recorded. Furthermore, the program may be distributed by storing the program in a storage device of a server computer and transferring the program from the server computer to other computers via a network.
  • a computer that executes such a program for example, first stores in its own storage device the program recorded on a portable recording medium or the program transferred from a server computer. Then, when executing a process, the computer reads the program stored on its own recording medium and executes the process according to the read program. As another execution form of the program, the computer may read the program directly from the portable recording medium and execute the process according to the program, or may execute the process according to the received program each time a program is transferred from the server computer to the computer.
  • the above-mentioned process may also be executed by a so-called ASP (Application Service Provider) type service that does not transfer the program from the server computer to the computer, but realizes the processing function only by issuing an execution instruction and obtaining the results.
  • ASP Application Service Provider
  • the program in this form includes information used for processing by an electronic computer that is equivalent to a program (such as data that is not a direct command to the computer but has properties that specify the processing of the computer).
  • the device is configured by executing a specific program on a computer, but at least a portion of the processing may be realized by hardware.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Headphones And Earphones (AREA)

Abstract

環境音と情報音を同時に耳にすることができるイヤホンの利用者に、環境音と区別して、情報音を認識させたい。このため、開示技術の第１の態様の情報提示装置は、情報音を識別可能信号に変換する信号処理部を備える。識別可能信号は、情報音に立体音響処理を施した信号、または情報音の音色を変更した信号とする。また、開示技術の第２の態様の情報提示装置は、信号処理部と周辺機器を備える。信号処理部は、情報音から識別情報を生成する。周辺機器は、識別情報に従って動作する。または、識別情報を表示する。

Description

情報提示装置、及びプログラム
　開示技術は、周囲の音を遮らないタイプのイヤホン利用者に、イヤホンの音を周囲の音と区別できるように提供する技術に関する。
　音で利用者ごとに情報を提示するためには、スピーカの設置やイヤホンの装着が必須である。以下、スピーカやイヤホンを通じて利用者に提示する音を「情報音」と呼ぶことにする。
　スピーカで情報音を提示する場合、情報音が提示できる場所はスピーカを設置した場所に限られる。また、スピーカでは特定の利用者に情報音を提示することができない。
　イヤホンによれば、特定の利用者に情報音を提示することができるが、一般的なイヤホンは装着すると周囲の音を取り込むことが難しくなる。以下、イヤホン利用者の周囲の音を「環境音」と呼ぶ。
　環境音を取り込む技術として、例えばヒアスルー型イヤホン（例えば、非特許文献１）がある。ヒアスルー型イヤホンは、イヤホン内蔵のマイクで環境音を拾い、それをイヤホンのドライバユニットで再生して、情報音とともに外耳道に供給するものである。ヒアスルー機能をオフにして環境音を遮断することもできる。ヒアスルー型イヤホンはマイクを介した音を利用するため、取り込む環境音の音色が変化してしまうことがある。また、ヒアスルー型イヤホンは、通常のイヤホン同様、外耳孔をふさぐ形で装着するため、周囲の人は、ヒアスルー型イヤホンの利用者に話しかけづらい。
　これらの課題を解決する方法としてオープンイヤー型イヤホン（例えば、非特許文献２）を利用する方法がある。オープンイヤー型イヤホンとは、装着時に外耳孔を塞がず、環境音が直接、鼓膜に届くタイプのイヤホンを指す。
SONY、LinkBuds S、特徴、「ソニー完全ワイヤレス史上最高の外音取り込みによる「ながら聴き」と高性能ノイキャンによる「没入」を両立」、[令和５年５月２２日検索]、インターネット、<https://www.sony.jp/headphone/products/LinkBuds_S/feature_2.html> nwm、MWE-001製品ページ、［令和５年５月２２日検索］、インターネット、<https://www.nwm.global/mwe001>
　オープンイヤー型イヤホンを利用する場合、外耳孔がふさがれていないため自然に環境音が耳に入り、イヤホンが発する情報音と自然に混ざり、違和感なく音を聞くことができる。しかし、オープンイヤー型イヤホンの利用者は、耳にしている音が情報音なのか、環境音なのか、判断がつかなくなる場合がある。
　なお、ヒアスルー型イヤホンにおいても、耳にしている音が情報音なのか、環境音なのか、判断がつかなくなる場合がある事情は同様である。
　上記課題を解決するため、開示技術の第一の態様の情報提示装置は、情報音を識別可能信号に変換する信号処理部を備える。識別可能信号は、情報音に立体音響処理を施した信号、または情報音の音色を変更した信号とする。
　上記課題を解決するため、開示技術の第二の態様の情報提示装置は、信号処理部と周辺機器を備える。信号処理部は、情報音から識別情報を生成する。周辺機器は、識別情報に従って動作する。または、識別情報を表示する。
　開示技術によれば、環境音と情報音を同時に耳にすることができるイヤホンの利用者に、情報音を環境音と区別して認識させることができる。
第１実施形態の利用シーンと、装置構成の一例を説明する図。 第１実施形態に係る情報提示装置の機能ブロック図。 第２実施形態の利用シーンと、装置構成の一例を説明する図。 第２実施形態に係る情報提示装置の機能ブロック図。 第３実施形態に係る情報提示装置の機能ブロック図。 第４実施形態に係る情報提示装置の機能ブロック図。 第５実施形態の利用シーンと、装置構成の一例を説明する図。 第５実施形態に係る情報提示装置の機能ブロック図。 第６実施形態の装置構成の一例と、情報提示装置の機能ブロック図。 第７実施形態の装置構成の一例と、情報提示装置の機能ブロック図。 コンピュータの機能構成例を示す図。
　以下、開示技術の実施形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　以下、ヒアスルー型イヤホンやオープンイヤー型イヤホンなど、環境音と情報音を同時に耳にすることができるタイプのイヤホンを「オープンイヤホン」と称する。
　開示技術は、オープンイヤホンが発する情報音を制御し、あるいは情報音と連動して周辺機器を制御して、イヤホンの利用者に、それが「情報音」であることを認識しやすいものとする。
　そのためには、例えば、情報音の音像の位置を制御すればよい。
　イヤホンから供給される情報音が、あたかも３次元空間の特定の方向や位置に音源を有するようにイヤホンの利用者に聞かせる、音像定位と呼ばれる技術がある。
　例えば、環境音は、主に水平面や目線より低い位置に音源があることが多く、目線の上方から音が来ることは少ない。そこで、目線の上方に情報音の音像を定位させ、環境音と情報音の音像位置を分離する。そうすれば、イヤホンの利用者は、情報音を環境音と区別して認識することができるようになる。
　より一般には、環境音を音源位置が測定できるマイクで収音して主たる環境音の位置（方向や距離）を特定し、情報音は環境音と異なる位置に定位させればよい。このようなオープンイヤホンにおける情報音の音像位置決定と提示の方法を、以下、「音像分離法」と呼ぶことにする。
　あるいは、例えば、情報音の音色を制御すればよい。
　広帯域音（50Hzから7kHz）が再生可能なイヤホンでは、再生情報音の品質は環境音と比較して遜色がなく、音の区別がつかなくなる。そこで、情報音を電話帯域（300Hzから3.4kHz）程度の音にローパス変換し、再生する。あるいは、イヤホンからの再生音に対して意図的にノイズを混入させ、環境音との区別を行う。ノイズには、例えば、コンフォートノイズを用いればよい。
　あるいは、例えば、情報音と連動してオープンイヤホンを振動させればよい。情報音の再生中、継続して振動させてもよいし、断続的に振動させても良い。
　あるいは、例えば、ＶＲグラスの再生画面に情報音をテキスト表示すればよい。または、ＶＲグラスの再生画面に、情報音の再生中であることを通知すればよい。
　以下、上記のような情報提示方法を実現する装置について、具体的な応用例とともに詳しく説明する。
［第１実施形態：同時通訳］
　図１は、第１実施形態の利用シーンと、装置構成の一例を説明する図である。１０１はオープンイヤホン、１０２は情報提示装置、１０３はマイク、１０４は日本語話者、１０５は外国語話者、１０６は仮想通訳者である。
　図２は、第１実施形態の情報提示装置１０２の構成例を示す機能ブロック図である。情報提示装置１０２は、音声信号取得部２０１、信号処理部２０２、情報音出力部２０３，音声認識部２０４、翻訳部２０５、音声合成部２０６を備える。
　外国語話者１０５と、日本語話者１０４が会話をする。会話の際、外国語話者１０５の声をマイク１０３と音声信号取得部２０１で音声信号として収録する。収録した音声信号は、音声認識部２０４でテキスト化し、翻訳部２０５で日本語テキストに翻訳する。日本語テキストは音声合成部２０６で日本語音声信号に変換する。日本語音声信号は信号処理部２０２で所定の処理を施し、情報音出力部２０３でオープンイヤホン１０１に出力する。オープンイヤホン１０１により、耳が塞がれることなく、相手の声を自然に聞き取りながら、翻訳結果を聞きながら、会話することができる。
　翻訳音声（音声合成部２０６の出力）は、信号処理部２０２で音像定位処理を施し、日本語話者１０４の背後に仮想通訳者１０６がいるかのように、日本語話者の背後に音像を定位する。あるいは、外国語話者１０５の方向に音像を定位させる。このような立体音響処理により、翻訳音声（情報音）を支配的に、オープンイヤホン利用者に聞かせる。
　なお、信号処理部２０２による音像定位には、音像分離法を適用してもよい。
［第２実施形態：観光案内］
　図３は、第２実施形態の利用シーンと、装置構成の一例を説明する図である。１０１はオープンイヤホン、３０１は情報提示装置、３０２は観光名所である。観光客が情報提示装置３０１で観光名所３０２の説明を聞くのに、オープンイヤホン１０１を利用する。第２実施形態のオープンイヤホンは、左右それぞれに、図示しない振動発生器を備える。
　図４は、第２実施形態の情報提示装置３０１の構成例を示す機能ブロック図である。情報提示装置３０１は、振動制御部４０１、情報記憶部４０２、情報音出力部２０３を備える。
　情報記憶部４０２には、あらかじめ、ガイド内容にしたがって音像定位を施した情報音が記録されている。つまり、例えば標識や方向のある情報の場合、ガイド音声はその方向に音像定位させてある。このようにして、ガイド情報音がイヤホンから発せられた音であることを際立たせる。方向のない情報については、環境音を阻害することがないよう、イヤホン利用者の上方や、特別の方向を感じさせない頭内に音像を定位させておく。
　振動制御部４０１は、ガイド情報音の内容と一致する側のイヤホンを振動させる。振動のタイミングは、あらかじめ、ガイド情報音と関連付けて、情報記憶部４０２に記録しておく。
　なお、情報提示装置３０１に環境音を収音するマイクと信号処理部を追加して音像分離法を適用し、環境音に応じて情報音の位置を調整するようにしてもよい。
［第３実施形態：スポーツ実況解説］
　図５は、第３実施形態の情報提示装置５０１の構成例を示す機能ブロック図である。
　スタジアムでスポーツの実況や解説を聞くのにオープンイヤホンを利用する。オープンイヤホンは環境音がそのまま耳に入るので、臨場感を損なうことなくスポーツの解説を聞くことができる。
　５０２は実況情報取得部、５０３はユーザ制御部で、２０３はオープンイヤホンに情報音を出力する情報音出力部である。
　実況情報取得部５０２は、実況情報に応じて音像定位が施された情報音を取得する。情報音の取得には、既存の無線通信技術などを用いればよい。
　ユーザ制御部５０３はユーザの指示により動作する。例えば、ユーザが「試合に集中モード」を選択すると、ユーザ制御部５０３は情報音の音量を下げ、頭の後ろや頭の真上など、観戦を妨げない位置に、実況解説の音像を定位させる。
　実況情報提供者は、スタジアムで見ている客席の位置も考慮しつつ、ボールの動きや、選手の動きに合わせて、音像の位置を変更する。
　サッカーのゴールシーンなどでは、実況音声が利用者の頭の周りをぐるぐる回るように音像位置を動かすなどの演出をしてもよい。
［第４実施形態：アミューズメント演出］
　図６は、第４実施形態の情報提示装置６０１の構成例を示す機能ブロック図である。
　体験型アミューズメントであるお化け屋敷で、お化け屋敷の音響演出にオープンイヤホンを利用する。立体音響処理を利用して、人やモノが存在しない空間なのに、あたかもそこから音が出ているように、再生処理を行う。
　６０２は効果制御部、６０３は情報記憶部、２０３はオープンイヤホンに情報音を出力する情報音出力部である。
　情報提示装置６０１の情報記憶部６０３には、あらかじめ音響演出に合わせて音像定位の施された情報音が記録されている。立体音響のように離れた位置への提示だけでなく、近距離にも音像を定位することで、音が近づいてきた印象や真横で話しかけている状況を演出する。
　情報記憶部６０３には、ASMRと呼ばれるバイノーラル収録された音を記憶し、オープンイヤホンで再生するようにしてもよい。
　また、オープンイヤホンに、音を再生するだけでなく、振動したり、熱を発したり、風や水を放出する機能を加え、効果制御部６０２で制御するようにしても良い。振動や発熱や放出のタイミングは、あらかじめ、演出情報音と関連付けて、情報記憶部６０３に記録しておく。
［第５実施形態：トランシーバアダプタ］
　トランシーバを利用しながら業務をしている際に、両耳にオープンイヤホンを装着することで、イヤホンを片耳外すことなく、ステレオで再生しながら、周囲の危険や周囲の呼びかけに対応することができる。
　トランシーバには、一般に、プッシュトゥートーク（PTT）機能がついており、トランシーバを押している間に発話し、発話した内容が伝送される仕組みとなっている。通常はトランシーバについているマイクに向かって発話するが、トランシーバにはオプション品としてイヤホンが用意されている。
　トランシーバのイヤホンは、モノラルプラグが付いた片耳だけのものが主流である。これはトランシーバがそもそもステレオの音声の送信には対応していないことや、片耳だけイヤホンを装着し、もう片方の耳は開けたままにして業務にあたることが想定されているからである。
　しかし、このような使い方をする場合、片耳が常に塞がれてしまい周囲の音が聞き分けづらい。また、耳が塞がれた方向からの呼びかけに対応しづらい。
　さらに、片方の耳のみに負荷がかかったり、両耳を利用しないため音量を高くしなければ聞き取りにくかったりするという問題もある。
　オープンイヤホンを利用すると、両耳に装着したまま、トランシーバの指示を聞くことができ、また周りの音も漏らすことなく聞くことができる。
　図７は、第５実施形態の利用シーンと、装置構成の一例を説明する図である。１０１はオープンイヤホン、７０１はマイク、７０２は情報提示装置、７０３はトランシーバ、７０４から７０６はトランシーバによる通信相手である。
　図７に示したように、マイク付きオープンイヤホンを、情報提示装置を介して既存のトランシーバと接続する。
　図８は、第５実施形態の情報提示装置７０２の構成例を示す機能ブロック図である。情報提示装置７０２は、音声信号取得部８０１、信号処理部８０２、情報音出力部２０３、マイク信号取得部８０３、マイク信号出力部８０４を備える。
　トランシーバが出力した音声信号は音声信号部８０１で取得し、信号処理部８０２で所定の処理を加え、情報音出力部からオープンイヤホン１０１に出力される。
　マイク信号取得部８０３で取得した利用者の音声は、マイク信号出力部８０４からトランシーバ７０３に出力される。
＜複数話者による通話＞
　複数話者が参加している通話では、両耳に装着することを生かして立体音響効果を付与する。例えば、遠隔地の話者が３名の場合、信号処理部８０２は、オープンイヤホン利用者から見て、１話者目は左４５度前方から聞こえるように音像定位し（図７の話者７０４）、２話者目は正面から聞こえるように音像定位し（図７の話者７０５）、３話者目は右４５度前方から聞こえるように音像定位する（図７の話者７０６）。
　トランシーバでは、一般に、通信相手は通信チャネルごとに特定されるため、通話を行うチャネルの切り替えと連動して、音像の位置を変更すればよい。
　なお、通信相手が１人だけの場合、音像の位置を、頭部伝達関数を利用して、上部に配置してもよい。
　以上、第５実施形態を、通信機がトランシーバの場合を例に説明したが、通信機は通話アプリケーションを備えたスマートフォンでもよい。複数の遠隔地と同時に会話できる通話アプリケーションの場合、情報提示装置７０２は、通話アプリから通信相手情報を取得して、通信相手毎に音像の位置を定めればよい。
　また、信号処理部８０２による各話者の音像定位にあたっては、音像分離法を適用して各話者位置を調整するようにしてもよい。
［第６実施形態］
　図９は、第６実施形態の情報提示装置の構成例を示す機能ブロック図である。
　情報提示装置９０１は、例えば、広帯域通話装置９１０の音声を聞くために、オープンイヤホン内蔵ＶＲグラス９２０を利用する。
　９０２は音声信号取得部、９０３は信号処理部、２０３は情報音出力部、９０４は音声認識部、９０５は画面制御部である。
　信号処理部９０３は、音声信号取得部９０２で取得した広帯域音声信号を、電話帯域音声信号に変換する。情報音出力部は電話帯域音声信号をオープンイヤホンに出力する。
　音声認識部９０４は、音声信号取得部９０２で取得した信号を音声認識し、テキストに変換する。画面制御部は、情報音の出力と同期をとりながら、ＶＲグラスに音声認識で得たテキストを表示する。
　なお、画面制御部９０５は、音声認識したテキストをＶＲグラスに表示する代わりに、情報音出力部と連携して、オープンイヤホンから情報音が出力されていることを示す記号を、ＶＲ画面に表示することとしてもよい。
［第７実施形態］
　図１０は、第７実施形態の情報提示装置の構成例を示す機能ブロック図である。
　オープンイヤホン１０１０は利用者の頭部の動きを検出する姿勢検出器を内蔵するものとする。情報提示装置１００１は、姿勢検出器の出力から利用者に異常が発生したことを検知し、オープンイヤホンに所定の制御を施す。
　１００２は音声信号取得部、１００３は信号処理部、２０３は情報音出力部、１００４は異常判定部である。
　異常判定部１００４は、図示しない姿勢検出器の信号を取得し、所定時間動きが認められない場合、利用者に異常が発生したものと判定する。
　異常判定部１００４は信号処理部１００３に異常発生を出力し、信号処理部１００３は、オープンイヤホンから出力する音を制御して、周囲に、利用者に異常が発生したことを知らせる。例えば、信号処理部１００３は音漏れ抑制が動作しない3kHz以上の高い音を生成して情報音出力部２０３から出力し、利用者の周囲に異常の発生を通知する。
　あるいは、信号処理部１００３は、オープンイヤホンの音漏れ抑制の開口部を塞ぐようにオープンイヤホンを制御して音漏れを大きくし、利用者の周囲に異常の発生を通知する。
［プログラム、記録媒体］
　上述の各種の処理は、図１１に示すコンピュータ２０００の記録部２０２０に、上記装置の各機能を実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０、表示部２０５０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
１０１　オープンイヤホン
１０２、３０１、５０１、６０１、７０２、９０１、１００１　情報提示装置
２０１、８０１、９０２、１００２　音声信号取得部
４０２、６０３　情報記憶部
５０２　実況情報取得部
２０２　信号処理部
２０３　情報音出力部
７０１　マイク
２０００　コンピュータ
２０１０　制御部
２０２０　記録部
２０３０　入力部
２０４０　出力部
２０５０　表示部

Claims (8)

  1. 　環境音とイヤホンから出力される情報音を同時に聞くことができるオープンイヤホンの情報音を識別可能に出力する情報提示装置であって、
    　情報音を識別可能信号に変換する信号処理部を備え、
    　前記識別可能信号は、情報音に立体音響処理を施した信号、または情報音の音色を変更した信号である
    　ことを特徴とする情報提示装置。
  2. 　請求項１に記載の情報提示装置であって、
    　前記立体音響処理は、情報音が複数の話者の音声を含む場合、話者ごとに音像定位するものである
    　ことを特徴とする情報提示装置。
  3. 　請求項１に記載の情報提示装置であって、
    　前記立体音響処理は、情報音が方向や位置の情報を含む場合、当該方向や位置に音像定位するものである
    　ことを特徴とする情報提示装置。
  4. 　請求項１に記載の情報提示装置であって、
    　前記音色を変更した信号は、広帯域音声を電話帯域音声に変換したものである
    　ことを特徴とする情報提示装置。
  5. 　環境音とイヤホンから出力される情報音を同時に聞くことができるオープンイヤホンの情報音を識別可能に出力する情報提示装置であって、
    　情報音から識別情報を生成する信号処理部と、
    　前記識別情報により動作する、または前記識別情報を表示する周辺機器と
    　を備えることを特徴とする情報提示装置。
  6. 　請求項５に記載の情報提示装置であって、
    　前記周辺機器はオープンイヤホンに内蔵された振動発生器であり、
    　前記識別情報は、前記情報音に含まれる方向情報に基づいて前記振動発生器を制御する情報である
    　ことを特徴とする情報提示装置。
  7. 　請求項５に記載の情報提示装置であって、
    　前記周辺機器はＶＲグラスであり、
    　前記識別情報は、前記情報音をテキスト化したもの、または前記オープンイヤホンから前記情報音が出ていることを示す記号である
    　ことを特徴とする情報提示装置。
  8. 　請求項１から７のいずれかに記載の情報提示装置としてコンピュータを機能させるためのプログラム。
PCT/JP2023/021449 2023-06-09 2023-06-09 情報提示装置、及びプログラム Ceased WO2024252649A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2025525894A JPWO2024252649A1 (ja) 2023-06-09 2023-06-09
PCT/JP2023/021449 WO2024252649A1 (ja) 2023-06-09 2023-06-09 情報提示装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/021449 WO2024252649A1 (ja) 2023-06-09 2023-06-09 情報提示装置、及びプログラム

Publications (1)

Publication Number Publication Date
WO2024252649A1 true WO2024252649A1 (ja) 2024-12-12

Family

ID=93795583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021449 Ceased WO2024252649A1 (ja) 2023-06-09 2023-06-09 情報提示装置、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2024252649A1 (ja)
WO (1) WO2024252649A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015068756A1 (ja) * 2013-11-11 2015-05-14 シャープ株式会社 イヤホンシステム
JP2016095819A (ja) * 2014-11-17 2016-05-26 道芳 永島 音声表示装置
WO2017061218A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
WO2022176075A1 (ja) * 2021-02-17 2022-08-25 日本電信電話株式会社 振動知覚位置制御装置、振動知覚位置制御方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015068756A1 (ja) * 2013-11-11 2015-05-14 シャープ株式会社 イヤホンシステム
JP2016095819A (ja) * 2014-11-17 2016-05-26 道芳 永島 音声表示装置
WO2017061218A1 (ja) * 2015-10-09 2017-04-13 ソニー株式会社 音響出力装置、音響生成方法及びプログラム
WO2022176075A1 (ja) * 2021-02-17 2022-08-25 日本電信電話株式会社 振動知覚位置制御装置、振動知覚位置制御方法およびプログラム

Also Published As

Publication number Publication date
JPWO2024252649A1 (ja) 2024-12-12

Similar Documents

Publication Publication Date Title
JP7270820B2 (ja) 空間化オーディオを用いた複合現実システム
US11877135B2 (en) Audio apparatus and method of audio processing for rendering audio elements of an audio scene
US12147730B2 (en) Audio apparatus, audio distribution system and method of operation therefor
US11221820B2 (en) System and method for processing audio between multiple audio spaces
JP7785664B2 (ja) ハイブリッド式近距離／遠距離場スピーカー仮想化
WO2022004421A1 (ja) 情報処理装置、出力制御方法、およびプログラム
US11223920B2 (en) Methods and systems for extended reality audio processing for near-field and far-field audio reproduction
JP5281695B2 (ja) 音響変換装置
CN112689825B (zh) 实现远程用户访问介导现实内容的装置、方法、计算机程序
WO2024252649A1 (ja) 情報提示装置、及びプログラム
TW200850041A (en) Positioning and recovery headphone for the sound-source compensates the sound-image
RU2798414C2 (ru) Аудиоустройство и способ обработки аудио
RU2823573C1 (ru) Аудиоустройство и способ обработки аудио
RU2815621C1 (ru) Аудиоустройство и способ обработки аудио
WO2024257305A1 (ja) 音響信号再生装置、方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23940747

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025525894

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025525894

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE