WO2019142926A1 - 音声情報提供システム、音声情報提供装置、及びプログラム - Google Patents

音声情報提供システム、音声情報提供装置、及びプログラム Download PDF

Info

Publication number
WO2019142926A1
WO2019142926A1 PCT/JP2019/001546 JP2019001546W WO2019142926A1 WO 2019142926 A1 WO2019142926 A1 WO 2019142926A1 JP 2019001546 W JP2019001546 W JP 2019001546W WO 2019142926 A1 WO2019142926 A1 WO 2019142926A1
Authority
WO
WIPO (PCT)
Prior art keywords
voice
portable terminal
terminal
signal
information providing
Prior art date
Application number
PCT/JP2019/001546
Other languages
English (en)
French (fr)
Inventor
正義 朴
誠基 中山
ノブオ 原
俊介 加我
賢司 尾崎
健佑 松本
和久 前川
Original Assignee
株式会社電通ライブ
株式会社バスキュール
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社電通ライブ, 株式会社バスキュール filed Critical 株式会社電通ライブ
Publication of WO2019142926A1 publication Critical patent/WO2019142926A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/08—Telephonic communication systems specially adapted for combination with other electrical systems specially adapted for optional reception of entertainment or informative matter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management

Definitions

  • the present disclosure relates to an audio information providing system, an audio information providing device, and a program.
  • a voice guide system which provides an explanation of an exhibit by voice is used.
  • the voice guide system is such that when a terminal device with headphones is inputted with a number associated with an exhibit, a description of the exhibit flows from the headphones.
  • a system has also been proposed in which a voice guide pre-recorded on a portable receiver is automatically reproduced when the portable receiver carried by the user receives an ID signal transmitted from a transmitter installed in the exhibition hall. (See, for example, Patent Document 1).
  • Patent Document 1 in a system in which a voice guide recorded in advance in a portable receiver is automatically reproduced, the user can obtain only specific information according to the location.
  • the present disclosure has been made in view of such circumstances, and a voice information providing system and a voice information providing apparatus capable of providing necessary information by voice at necessary timing without forcing the user to perform troublesome operations. And one of the purposes is to provide a program.
  • an audio information providing system is a transmitter that transmits a wireless signal having a predetermined strength within a predetermined range, and is a signal that is identification information of the transmitter.
  • a transmitter that transmits an ID superimposed on the wireless signal a receiving device capable of receiving the wireless signal transmitted from the transmitter, a communication interface for transmitting and receiving information via a communication network, voice data
  • the terminal ID which is identification information of the portable terminal is transmitted to the voice information providing apparatus together with the signal ID, and the voice information is received.
  • the apparatus upon receiving the terminal ID and the signal ID from the portable terminal, transmits voice data corresponding to the terminal ID and the signal ID to the portable terminal, and the portable terminal is configured to transmit While receiving the wireless signal on which the signal ID is superimposed, the voice based on the voice data transmitted from the voice information providing apparatus is reproduced.
  • the voice information providing device carries a voice data storage unit storing a plurality of types of voice data related to a place where the transmitter is installed, and carries the portable terminal based on the signal ID.
  • the position and orientation calculation unit that calculates the direction of the user's face, and the position of the user calculated by the position and direction calculation unit
  • a voice data selection unit for selecting voice data according to the position of the voice data; and the voice data selected by the voice data selection unit, the position of the virtual sound source set in advance, the position of the user, and the face of the user
  • an audio data processing unit for processing the audio data for stereophonic reproduction according to the relationship with the direction. It transmits the voice data processed by the audio data processing unit in the portable terminal, the portable terminal, based on said processed audio data may be performed stereophonic reproduction.
  • the portable terminal when the portable terminal receives a wireless signal transmitted from two or more of the plurality of transmitters, the portable terminal transmits the signal ID of the two or more transmitters to the voice.
  • the position and orientation calculation unit may calculate the position of the user and the orientation of the user's face based on the signal IDs of the two or more transmitters.
  • the audio output device is a headphone or an earphone provided with a first audio output unit attached to the right ear and a second audio output unit attached to the left ear;
  • Each of the first and second audio output units is provided with a tag for transmitting a wireless signal, and further comprises a reader for detecting the wireless signal transmitted from the tag and outputting positional information of the tag, the position and orientation
  • the calculation unit may estimate the position of the user and the orientation of the user's face based on position information of the tag output from the reader.
  • the voice information providing apparatus includes a voice data storage unit storing a plurality of types of voice data related to a place where the transmitter is installed, and information on a user who carries the portable terminal. Based on the terminal ID and the database stored in association with the terminal ID, and the terminal ID and the signal ID from the portable terminal, according to the information on the user among the plurality of types of voice data based on the terminal ID And a voice data selection unit for selecting voice data and transmitting the selected voice data to the portable terminal.
  • the mobile terminal while the mobile terminal is receiving the wireless signal from the transmitter, the mobile terminal provides the voice information to the voice information providing device at predetermined intervals of the terminal ID and the signal ID.
  • the voice information providing device may transmit to the device, record the reception log of the terminal ID and the signal ID, and count the total time in which the portable terminal has received the wireless signal.
  • the portable terminal when the portable terminal starts to receive the wireless signal from the transmitter, information indicating that the wireless signal has started to be received together with the terminal ID and the signal ID When it is transmitted to the voice information providing device and the reception of the wireless signal is finished, information indicating that the reception of the wireless signal is finished is sent to the voice information providing device together with the terminal ID and the signal ID.
  • the voice information providing apparatus records a reception log of information indicating that the reception of the wireless signal has started and information indicating that the reception of the wireless signal has ended, and the portable terminal receives the wireless signal. You may add up the total time that was spent.
  • the voice information providing device transmits voice data for sub voice according to the terminal ID and the signal ID to the portable terminal, and the portable terminal is voice data for the sub voice Setting means for setting whether or not to reproduce the sound based on.
  • the portable terminal can further receive a GPS signal, and the portable terminal transmits information on the received GPS signal to the voice information providing device together with the terminal ID, and the voice information is provided.
  • the providing device receives the information on the GPS signal and the terminal ID from the portable terminal, the providing device specifies the position of the portable terminal based on the information on the GPS signal, and corresponds to the position and the terminal ID. Audio information may be sent to the mobile terminal.
  • An audio information providing apparatus is an audio information providing apparatus used in an audio information providing system for causing a portable terminal connected to a communication network to reproduce audio, wherein the audio information providing system A transmitter for transmitting a radio signal having a predetermined strength within the range of the transmitter, and transmitting the signal ID which is identification information of the transmitter superimposed on the radio signal; A receiving device capable of receiving the wireless signal transmitted from the transmitter; a communication interface for transmitting and receiving information via the communication network; and an audio output device for reproducing audio based on audio data.
  • An audio data storage unit for storing the plurality of types of audio data; a terminal ID which is identification information of the portable terminal from the portable terminal; and the signal An audio data selection unit that selects audio data according to the terminal ID and the signal ID from the plurality of types of audio data when D is transmitted, and audio data selected by the audio data selection unit And a communication interface for transmitting to the portable terminal via the communication network.
  • a program according to still another aspect of the present invention is a program for causing a computer to execute an audio information providing system that causes a portable terminal connected to a communication network to reproduce audio, wherein the audio information providing system has a predetermined range.
  • the terminal ID and the signal ID are transmitted from the portable terminal when the terminal ID and the signal ID are transmitted.
  • a program according to still another aspect of the present invention is a program for causing a portable terminal connected to a communication network to reproduce voice, the program being executed by the portable terminal, the voice information providing system comprising A transmitter for transmitting a radio signal having a predetermined strength within the range of the transmitter, the transmitter transmitting a signal ID which is identification information of the transmitter superimposed on the radio signal, and a plurality of types of voice data
  • An audio information providing apparatus for storing, the portable terminal having a receiving device capable of receiving the wireless signal transmitted from the transmitter, and displaying a screen for allowing the user to input information related to the user And transmitting the input information about the user to the voice information providing apparatus together with a terminal ID that is identification information of the portable terminal.
  • audio data corresponding to the terminal ID and signal ID of the transmitter transmitted from the portable terminal is transmitted from the audio information providing apparatus to the portable terminal, and audio based on the audio data is reproduced on the portable terminal. It becomes possible to provide information necessary for each portable terminal by voice at necessary timing without forcing the user to perform troublesome operations.
  • server server
  • FIG. 1 is a schematic view showing an example of an audio information providing system according to a first embodiment of the present invention.
  • FIG. 2 is a schematic view showing an example of an exhibition hall where the voice information providing system shown in FIG. 1 is used. Below, as shown in FIG. 2, the example which applies an audio
  • the voice information providing system 1 is conceptually a system that plots “invisible additional information” in voice in the real world such as a space or a specific exhibit. It can be said that there is.
  • the user is made to carry a portable terminal (such as a smartphone) 10 having a predetermined application program installed thereon, and the portable terminal receives a wireless signal such as a beacon, a GPS signal, or a specific high frequency signal as a trigger.
  • the voice data is transmitted from the server 20 to the portable terminal 10 via the communication network N such as the Internet, and the voice is automatically reproduced.
  • the voice information received by the user can be changed according to the action or attribute of the user, or the progress of time or progress of an event.
  • the user can obtain information according to the situation without interrupting visual information from the real world or being compelled to perform troublesome operations, thereby providing a more flexible expansion experience. It becomes possible.
  • the voice information providing system 1 includes a portable terminal 10 used by a user visiting the exhibition hall 2, a server 20 as a voice information providing device, and an entrance of the exhibition hall 2. And an operation terminal 30 installed at the exit, and a plurality of transmitters 40 installed at various places in the exhibition hall 2.
  • the portable terminal 10, the server 20, and the operation terminal 30 are connected via the communication network N.
  • Communication network N includes a communication network capable of mutually transmitting and receiving information among portable terminal 10, server 20 and operation terminal 30.
  • the communication network N may be, for example, the Internet, a LAN, a dedicated line, a telephone line, an in-house network, a mobile communication network, Bluetooth (registered trademark), WiFi (Wireless Fidelity), any other communication line, or a combination thereof. It may be either wired or wireless.
  • the exhibition hall 2 is laid out such that a route connecting the entrance and the exit where the user enters and leaves is formed, and in this hall, a story is developed along the path , Various exhibits 3 are displayed.
  • a transmitter 40 for transmitting a specific wireless signal to a predetermined range around each exhibit 3 is installed so as not to interfere with viewing of the exhibit 3.
  • the transmitter 40 may be installed at the entrance and exit where the user always passes.
  • Each transmitter 40 transmits a radio signal (hereinafter referred to as a beacon) using a predetermined radio wave based on a communication standard such as BLE (Bluetooth (registered trademark) Low Energy).
  • a beacon ID signal ID
  • each transmitter 40 is assigned a beacon ID (signal ID) which is identification information, and this beacon ID is superimposed on a radio signal and transmitted.
  • each transmitter 40 is linked to a specific exhibit 3, and the transmission intensity of the beacon by each transmitter 40 is a predetermined range R around the corresponding display 3 (for example, several tens of cm In order to be able to be received by the portable terminal 10 in a range of about several meters, and so as not to cause interference with the beacon transmitted by the adjacent transmitter 40.
  • FIG. 3 is a system block diagram showing an example of the hardware configuration of the mobile terminal 10.
  • the mobile terminal 10 is a terminal device having a communication function with the communication network N.
  • the mobile terminal 10 is configured of a smartphone, a mobile phone, a tablet terminal, and the like.
  • an application program P10 for utilizing a voice information providing service in an event held in the exhibition hall 2 in these terminal devices the mobile terminal 10 operates as the portable terminal 10 in the voice information providing system 1.
  • FIG. 1 Only one mobile terminal 10 is shown in FIG. 1, actually, a plurality of mobile terminals 10 with different users may be used at the same time.
  • the portable terminal 10 includes a processor 11, a storage unit 12, an audio input / output device 13, an input device 14, a display device 15, a communication interface 16, a receiving device 17, and a sensor unit. 18, a camera 19 and a system bus B1 connecting them.
  • the processor 11 includes an arithmetic logic operation unit (such as a CPU) that processes arithmetic operations, logical operations, bit operations, and the like, and various registers, and executes various programs stored in the storage unit 12. Centrally control each part.
  • the various registers are, for example, a program counter, a data register, an instruction register, a general purpose register, and the like. Further, the processor 11 implements various functions for providing voice information according to the user's location by executing the application program P10.
  • the storage unit 12 is a logic device provided by a storage area of a physical device (for example, a computer readable recording medium such as a semiconductor memory), and an operating system program, a driver program, various data, etc. used for processing of the mobile terminal 10 Store
  • a driver program for example, an input / output device driver program for controlling the voice input / output device 13, an input device driver program for controlling the input device 14, an output device driver program for controlling the display device 15, etc. It can be mentioned.
  • the audio input / output device 13 may be, for example, a general microphone (audio input device) that converts input audio into an electrical signal (audio signal), and a sound player (audio output device) capable of reproducing audio signals as audio. ).
  • audio input device the speaker incorporated in the portable terminal 10 may be sufficient, and the headphone or earphone connected to the portable terminal 10 by radio
  • the input device 14 is configured using, for example, various operation buttons and a touch panel provided in the display device 15, and provides an interface for receiving an input operation on the operation buttons and the touch panel.
  • the display device 15 is configured using, for example, a liquid crystal display or an organic EL display.
  • the communication interface 16 is a hardware module for connecting the mobile terminal 10 to the communication network N and communicating with other terminals on the communication network N.
  • the communication interface 16 is, for example, a modulation and demodulation device such as an ISDN modem, an ADSL modem, a cable modem, an optical modem, and a soft modem.
  • the receiving device 17 receives radio signals such as a beacon transmitted from the transmitter 40, a GPS signal transmitted from a GPS (Global Positioning System) satellite 45, and other high frequency signals transmitted from the signal source 46. .
  • radio signals such as a beacon transmitted from the transmitter 40, a GPS signal transmitted from a GPS (Global Positioning System) satellite 45, and other high frequency signals transmitted from the signal source 46. .
  • the sensor unit 18 includes, for example, a sensing device such as a gyro sensor, an acceleration sensor, an illuminance sensor, or a magnetic sensor, and detects motion (moving speed, rotational speed, etc.) or posture (tilting, etc.) of the mobile terminal 10.
  • a sensing device such as a gyro sensor, an acceleration sensor, an illuminance sensor, or a magnetic sensor
  • a chip for near field communication (NFC) is mounted on the portable terminal 10
  • the portable terminal 10 is in contact (or It is possible to detect a close place, and in this case, an NFC chip can be used as a contact sensor.
  • the camera 19 includes an optical element such as a condenser lens and an imaging element such as a CCD image sensor or a CMOS image sensor, and provides a function of photographing an object to generate an image signal.
  • an optical element such as a condenser lens and an imaging element such as a CCD image sensor or a CMOS image sensor, and provides a function of photographing an object to generate an image signal.
  • FIG. 4 is a block diagram showing an example of the functions of the portable terminal 10. As shown in FIG. As shown in FIG. 4, the display control unit 111, the signal acquisition information processing unit 112, the sound reproduction processing unit 113, and the sub sound setting unit 114 are function units realized by the processor 11 executing the application program P10. Is included. The display control unit 111 controls the display device 15 to display a predetermined screen.
  • the signal acquisition information processing unit 112 extracts information superimposed on the wireless signal, and performs a process of transmitting the information to the server 20 via the communication network N.
  • the signal acquisition information processing unit 112 extracts the beacon ID superimposed on the beacon, and this beacon ID is preset to the portable terminal 10
  • the identification information (hereinafter referred to as a terminal ID) is transmitted to the server 20 via the communication network N.
  • the signal acquisition information processing unit 112 may extract the beacon ID from the beacon with the strongest reception strength. Note that "when a wireless signal is received" includes the case where the strength of the received wireless signal exceeds a predetermined threshold.
  • the signal acquisition information processing unit 112 performs transmission processing of the above-described beacon ID and terminal ID at a predetermined cycle.
  • the predetermined cycle is, for example, a time interval of several seconds to several minutes.
  • the signal acquisition information processing unit 112 detects a beacon transmitted from a certain transmitter 40, the signal acquisition information processing unit 112 transmits, to the server 20, information indicating that reception of the beacon has been started, together with the beacon ID and the terminal ID.
  • information indicating that reception of the beacon has been stopped may be transmitted to the server 20 together with the beacon ID and the terminal ID.
  • the audio reproduction processing unit 113 causes the audio input / output device 13 to reproduce audio based on the audio data transmitted from the server 20.
  • the audio reproduction processing unit 113 may be configured to stop the reproduction of the audio data transmitted from the server 20 when the reception strength of the wireless signal falls below a predetermined threshold. As a result, in the portable terminal 10, it is possible to control to reproduce voice data only when the wireless signal is received with the predetermined reception strength or more.
  • the sub audio setting unit 114 sets whether to reproduce the sub audio when the audio data transmitted from the server 20 includes the audio data for main audio and the audio data for sub audio. I do.
  • FIG. 5 is a system block diagram showing an example of the hardware configuration of the server 20.
  • the server 20 is formed of, for example, a computer with high arithmetic processing capability, and executes the predetermined program (program P20) to cooperate with the portable terminal 10, the operation terminal 30, and the transmitter 40 to the portable terminal 10 It functions as an audio information providing device that provides audio information.
  • program P20 the predetermined program
  • the server 20 includes a processor 21, a storage unit 22, a communication interface 23, and a system bus B 2 that connects these.
  • the processor 21 includes an arithmetic logic operation unit (such as a CPU) that processes arithmetic operations, logic operations, bit operations, and the like, and various registers, and executes various programs stored in the storage unit 22 to execute each program of the server 20. Central control. In addition, the processor 21 implements various functions for providing audio information to the portable terminal 10 by executing the program P20.
  • arithmetic logic operation unit such as a CPU
  • the storage unit 22 is, for example, a logical device provided by a storage area of a physical device made of a computer readable recording medium such as a disk drive or a semiconductor memory.
  • the storage unit 22 may be constructed by mapping a plurality of physical devices to one logical device, or may be constructed by mapping one physical device to a plurality of logical devices.
  • the storage unit 22 stores various programs such as an operating system program and a driver program, and various data used during execution of these programs.
  • FIG. 6 is a block diagram showing an example of data stored in the storage unit 22 of the server 20.
  • the storage unit 22 includes audio data D1 used to reproduce voice in the portable terminal 10, screen data D2 used to display a specific screen on the portable terminal 10, and a log.
  • Data D3, a user information database D4, a hall information database D5, and a history information database D6 are stored.
  • the voice data D1 is a main voice data for providing a main voice such as a description of the exhibit 3 and a speech of a character, and a secondary voice for providing related information (for example, a secondary voice such as a background description of the exhibit 3). It includes data and voice data for BGM. For the same exhibit 3, multiple types of voice data in different languages are prepared, and multiple types of voice data for providing different types of voice according to the user's attribute, action history, etc. It is prepared.
  • the audio data may be registered in association with the identification information of the exhibit 3 (or the beacon ID of the transmitter 40) related to the audio data. Furthermore, in the voice data D1, the voice data may be registered in association with related user information (details will be described later) and the degree of association thereof. For example, in certain voice data, gender may be registered as related user information, a woman may be registered with a high degree of association, and a man may be registered with a low degree of association.
  • the user information associated with the voice data is not limited to the gender, and may be configured to be associated with any user information such as the age, the country of residence, the language used, and information about preferences.
  • the voice data may be registered in association with information related to the external environment of the mobile terminal 10.
  • the information may be registered in association with the type and volume of environmental sound of the portable terminal 10, temperature, humidity, congestion degree, and the like.
  • voice data may be registered in association with the priority.
  • the screen data D2 is data for causing the display device 15 to display information related to the sound while the sound is reproduced in the portable terminal 10.
  • the screen data D2 includes the title of the exhibit 3, the description of the scene, the text data such as the BGM song title and the artist name, and the background image data.
  • the log data D3 is a record of the reception log of the information transmitted from the portable terminal 10 to the server 20.
  • the log data includes the reception time of the information in the server 20 (or the reception time of the beacon in the portable terminal 10), the beacon ID, the terminal ID, and the like.
  • the user information database D4 stores information (user information) on the user who uses the mobile terminal 10.
  • User information includes attributes such as gender, age, country of residence (residential area), etc. in addition to basic information such as identification information (terminal ID) of the mobile terminal 10, user name (nickname), language used (Japanese, English etc.) Includes information and information about preferences such as hobbies and interests. Furthermore, the user information may include an answer to the questionnaire transmitted by the user information management unit 211 described later.
  • the hall information database D5 stores information (hall information) on the hall where the voice information providing system 1 is provided.
  • Venue information includes the beacon ID of the transmitter 40 installed in the exhibition hall 2, the installation location of the transmitter 40, the identification information (name, number, etc.) of the exhibit 3 linked to the transmitter 40, and the exhibit 3 Information such as the address of the storage area in which the voice data and the screen data are stored.
  • the history information database D6 stores information (history information) on the action history of the user carrying the portable terminal 10. Specifically, history information includes the entry time and exit time to the exhibition hall 2, the time and number of browsing times of each display 3, the order in which each display 3 was browsed, and the exhibition hall 2 It includes the number of times, position information of the user at reception time, and the like. These pieces of information can be obtained by aggregating log data.
  • the communication interface 23 is a hardware module for connecting the server 20 to the communication network N and communicating with other terminals on the communication network N.
  • the communication interface 23 is, for example, a modulation and demodulation device such as an ISDN modem, an ADSL modem, a cable modem, an optical modem, and a soft modem.
  • the computer constituting the server 20 does not necessarily have to be one, and may be constituted by a plurality of computers distributed on the communication network N.
  • the user information database D4 may be provided on another computer and cooperated with the server 20.
  • FIG. 7 is a block diagram showing an example of the function of the server 20.
  • the function units realized by the server 20 executing the program P20 include a user information management unit 211, a hall information management unit 212, an audio data selection unit 213, a screen data selection unit 214, and a log.
  • a recording processing unit 215 and a counting unit 216 are included.
  • the user information management unit 211 registers the user information transmitted from the mobile terminal 10 in the user information database D4 and manages the user information by correcting it as necessary.
  • the user information management unit 211 can transmit a registration request for user information in the form of a questionnaire to the portable terminal 10, and can register the response in the user information database D4.
  • the user information management unit 211 transmits, as a questionnaire, information that the organizer of the exhibition has confirmed to the user, such as a trigger for visiting the exhibition hall 2, for example, and registers the response in the user information management unit 211. It is also possible.
  • the hall information management unit 212 creates a hall information database D5 based on the hall information transmitted from the operation terminal 30 or the like, and manages the hall information database D5 as necessary.
  • the audio data selection unit 213 selects, among the audio data D1 stored in the storage unit 22, a plurality of items relating to the exhibit 3 corresponding to the beacon ID.
  • the voice data of the type is extracted, the user information corresponding to the terminal ID is searched, and the voice data corresponding to the user information is further selected from the plurality of types of voice data extracted, and transmitted to the portable terminal 10 .
  • the voice data selection unit 213 can select voice data having a high degree of association in the voice data D1 and transmit it to the mobile terminal 10.
  • voice data having a high degree of association with the age "twenties" is selected from the plurality of types of extracted voice data, and is transmitted to the mobile terminal 10. be able to.
  • the voice data selection unit 213 preferably transmits voice data of the same type of language as the language used registered in the user information database D4 to the portable terminal 10.
  • the voice data selection unit 213 may determine whether the history information of the user or the user information satisfies the specific condition, and may transmit the voice data to the portable terminal 10 if the condition is satisfied.
  • Specific conditions include, for example, the viewing time of a specific exhibit 3 (ie, the reception time of beacons transmitted from a specific transmitter 40) and the order in which a plurality of exhibits 3 are viewed (ie, the order in which beacons are received) And the number of visits to the exhibition hall 2, the registration rate of user information, and the like.
  • the audio data selection unit 213 can also select audio data to be transmitted according to the external environment of the portable terminal 10 (type and volume of environmental sound of the portable terminal 10, temperature and humidity, congestion degree, etc.).
  • the audio data selection unit 213 can analyze the distribution and motion of a plurality of users in the exhibition hall 2 and can output audio data according to the analysis result. Specifically, with reference to the log data D3, the number of user IDs linked to each beacon ID is calculated for each reception time (or reception time included in a certain range of time), and thus a plurality of pieces at the exhibition hall 2 The distribution and movement (person flow) of the user of can be analyzed.
  • the voice data selection unit 213 sends, for example, to the portable terminal 10 that has received the beacon of the transmitter 40 corresponding to the exhibit 3 in which a predetermined ratio or more (for example, a majority) users are gathered or the exhibit 3 having a long residence time. May transmit high priority voice data. Further, for example, when a user having a predetermined ratio or more (for example, a majority) browses the exhibits 3 in a certain order, the audio data may be selected in accordance with the order.
  • the voice data selection unit 213 may be configured to stop transmission of voice data when receiving information indicating that reception of a beacon has been stopped from the signal acquisition information processing unit 112 of the mobile terminal 10. As a result, in the portable terminal 10, it is possible to control to reproduce voice data only when the wireless signal is received with the predetermined reception strength or more.
  • the screen data selection unit 214 selects the screen data associated with the voice data selected by the voice data selection unit 213 from the screen data D2 stored in the storage unit 22 and selects the screen data together with the voice data in the portable terminal 10. Send.
  • the log recording processing unit 215 records a reception log of the information transmitted from the mobile terminal 10 to the server 20. Specifically, the log recording processing unit 215 records, for each terminal ID, the beacon ID and the reception time and the like.
  • the aggregation unit 216 aggregates the log data D3 stored in the storage unit 22 for each terminal ID and for each beacon ID at a predetermined cycle or at a predetermined timing, and adds the aggregation result to the history information database D6 as history information. Record.
  • the predetermined cycle is, for example, a time interval of several seconds to several minutes.
  • the predetermined timing is, for example, the timing at which the portable terminal 10 receives information indicating that reception of a beacon has been received, the timing at which information on the reception of the beacon has been stopped, or the like.
  • the counting unit 216 counts the time during which the mobile terminal 10 continuously receives the beacon transmitted from the same transmitter 40, and extracts the exhibit 3 linked to the beacon ID, The counted time is recorded in the history information database D6 as the time during which the user browsed the exhibit 3.
  • the counting unit 216 can calculate the order in which the exhibits 3 have been browsed and the number of browsing times based on the beacon ID of the transmitter 40 and the reception time, and can record them in the history information database D6.
  • the aggregation unit 216 may aggregate the position information of the user at the reception time based on the arrangement position of the transmitter 40 corresponding to the beacon ID with reference to the log data D3, and may record the information in the history information database D6. .
  • the operation terminal 30 is a terminal device operated by the operator 4 at receptions (event operations) installed at the entrance and the exit of the exhibition hall 2. Specifically, a personal computer (PC), a notebook PC , Tablet terminal etc. Each function of the operation terminal 30 described below may be included in the server 20.
  • the operation terminal 30 downloads user information, venue information, history information, etc. from the server 20, and the number of users browsing in the exhibition hall 2, crowdedness of the exhibition hall 2, moving speed, attributes of the user browsing etc. On the screen.
  • the operation terminal 30 can provide predetermined voice data as a novelty to the portable terminal 10 of the user.
  • the operation terminal 30 may be configured to determine whether the user's history information and user information satisfy the specific condition, and provide the novelty if the condition is satisfied.
  • Specific conditions include, for example, the viewing time of a specific exhibit 3 (ie, the reception time of beacons transmitted from a specific transmitter 40) and the order in which a plurality of exhibits 3 are viewed (ie, the order in which beacons are received) ), The number of times of visiting the exhibition hall 2, the registration rate of user information, and the like.
  • the operation terminal 30 can determine whether the user satisfies the specific condition by referring to the user information database D4, the log data D3, the history information database D6, and the like.
  • the operation terminal 30 may select or generate the novelty to be provided according to the user's history information.
  • the operation terminal 30 may select the novelty based on the browsing time (that is, the time when a beacon is received from a certain transmitter 40) recorded in the history information database D6 (or log data D3).
  • the operation terminal 30 refers to the history information database D6, and the voice data on the exhibit 3 (ie, the transmitter 40 having the longest beacon reception time) with the longest browsing time of the user of the portable terminal 10 (For example, audio data reproduced in the exhibit 3 or the like) may be provided to the portable terminal 10.
  • the operation terminal 30 may be configured to select the novelty based on the browsing order of the exhibits 3 (the order in which the beacons are received).
  • the display object 3 that the user browsed to the Nth and Mth for example, the first and last
  • the audio data associated with the received transmitter 40 may be provided as a novelty, or the audio data in which the audio data associated with each exhibit 3 are combined in the order in which the respective exhibit 3 is viewed is considered as a novelty May be provided.
  • the operation terminal 30 may be configured to select the novelty based on the number of times of viewing a certain exhibit 3 (the number of times of receiving a beacon from the same transmitter 40).
  • audio data relating to the exhibit 3 with the largest number of browsing times can be provided as a novelty.
  • the operation terminal 30 may select the novelty according to the user information.
  • the operation terminal 30 may provide the novelty to the portable terminal 10 based on the response rate to the questionnaire transmitted by the user information management unit 211 with reference to the user information database D4.
  • the novelty may be provided based on information on the user's language used, gender, age, and preferences.
  • the operation terminal 30 may select voice data having a high degree of association in the voice data D1 and provide it as a novelty. For example, when the gender of the user is registered as a female, voice data having a high degree of association with the gender "female" can be provided as a novelty. Further, for example, voice data of the same type of language as the language used registered in the user information database D4 can be provided as a novelty.
  • the provision of the novelty is not limited to the configuration automatically performed by the operation terminal 30, and may be manually performed by the operator 4.
  • the operator 4 may adjust the timing for guiding the user into the exhibition hall 2 or select novelty items to be delivered to the user who has finished viewing, by viewing the information displayed on the operation terminal 30. it can.
  • the operation terminal 30 preferably provides a novelty when the user escapes from the exhibition hall 2.
  • FIG. 8 is a flowchart showing an example of the operation of the mobile terminal 10.
  • FIG. 9 is a flowchart showing an example of the operation of the server 20.
  • 10 to 12 are schematic views showing an example of a screen displayed on the display device 15 of the portable terminal 10.
  • the operation of the voice information providing system 1 will be described with reference to FIGS. 8 to 12.
  • the mobile terminal 10 displays a user information input screen illustrated in FIG. 10 (step S10 in FIG. 8).
  • the user information input screen is provided with an input field a1 of basic information such as the user's nickname, gender, and language used.
  • the user information input screen may be provided with an input field a2 for a questionnaire item such as a user's age, a user's hobby or interest, a trigger for visiting the exhibition hall 2 or the like.
  • the portable terminal 10 displays the information (user information) input in the input fields a1 and a2, It transmits to server 20 with terminal ID of the portable terminal 10 concerned (Step S11 of Drawing 8).
  • the mobile terminal 10 may display a start screen of the automatic reproduction function exemplified in FIG.
  • the start screen shows a message a4 for the user to wear a headphone and touch the screen.
  • a service by the voice information providing system 1 (step S12 of FIG. 8 to be described later) is disclosed. In this way, by using the operation by the user as a trigger, it is possible to eliminate the habit of starting the service.
  • a logo or a service mark may be displayed in the space a5 in the start screen.
  • the server 20 When the portable ID and the user information are transmitted from the portable terminal 10, the server 20 accepts login of the portable terminal 10 (step S20 in FIG. 9), receives the terminal ID and user information (step S21), and receives the user information. It registers (step S22). Thereafter, the server 20 starts recording a log of the information transmitted from the mobile terminal 10 (step S23).
  • the portable terminal 10 When the portable terminal 10 receives a beacon at the exhibition hall 2 (Step S12 in FIG. 8: Yes), it extracts the beacon ID superimposed on the received beacon, and transmits its own terminal ID and the extracted beacon ID to the server 20 (Step S13). At this time, the mobile terminal 10 may also transmit, to the server 20, information representing the motion and posture of the mobile terminal 10 detected by the sensor unit 18. Moreover, when the mobile terminal 10 receives the beacons transmitted from the plurality of transmitters 40, it extracts the beacon ID of the beacon with the strongest reception strength. Moreover, when not receiving a beacon (step S12: No), operation
  • step S24 in FIG. 9: Yes the server 20 refers to the hall information database D5 to specify the exhibit 3 corresponding to the received beacon ID.
  • the position of the portable terminal is detected (step S25).
  • Step S24: No operation of server 20 shifts to Step S30.
  • step S26 When the position of the mobile terminal 10 is outside the exhibition hall 2 (step S26: No), the operation of the server 20 shifts to step S30. For example, when the beacon ID of the transmitter 40 installed at the entrance or exit of the exhibition hall 2 is transmitted from the portable terminal 10, it is determined that the portable terminal 10 is located outside the exhibition hall.
  • the server 20 transmits voice data according to the position of the portable terminal 10 and the attribute of the user to the portable terminal 10 (step S27). Specifically, the server 20 extracts a plurality of types of audio data relating to the exhibit 3 corresponding to the beacon ID from the audio data stored in the storage unit 22, and further, a terminal ID from the audio data. Are selected and transmitted to the portable terminal 10.
  • voice data of the explanation about the exhibit 3 corresponding to the beacon ID when the voice data of the explanation about the exhibit 3 corresponding to the beacon ID is selected, voice data (Japanese, English, etc.) corresponding to the language used by the user or voice data according to the age of the user (for adults , Voice for children, etc., voice data according to the interest of the user (detailed explanation for people who are interested, simple explanation for beginners, etc.) are further selected. Further, when information representing the motion or posture of the portable terminal 10 is transmitted from the portable terminal 10, voice data may be further selected according to the information. For example, when the moving speed of the portable terminal 10 is high, processing such as transmitting voice data of simple explanation may be performed.
  • the transmission format of audio data from the server 20 to the portable terminal 10 may be streaming format or download format. Further, the server 20 may transmit screen data corresponding to the audio data to the portable terminal 10 together with the audio data.
  • the server 20 tabulates the logs of the information transmitted from the portable terminal 10 (step S28 in FIG. 9), and transmits the tabulation result to the operation terminal 30 (step S29).
  • the operator 4 operating the operation terminal 30 can grasp the action (such as the route, the position and time at which he / she stayed) of the user carrying the portable terminal 10 at any time.
  • the aggregation and transmission of logs may be performed as needed in the server 20 regardless of the presence or absence of transmission of audio data (step S27). Thereafter, the operation of the server 20 returns to step S24.
  • the portable terminal 10 When the portable terminal 10 receives audio data from the server 20 (step S14 in FIG. 8: Yes), the portable terminal 10 reproduces audio based on the received audio data (step S15).
  • the portable terminal 10 receives screen data as well as voice data, it displays a service screen illustrated in FIG. 12 based on the screen data.
  • the service screen includes a title display area a6 in which the text of the name of the voice and music being reproduced automatically and a background image are displayed, and an area map display area a7 indicating the position of the user in the exhibition hall 2. Further, a setting icon (setting means) a8 for setting on / off of the sub sound may be displayed on the service screen.
  • step S14 When the setting icon a8 is set to the side of the secondary audio on, secondary audio can be automatically reproduced when secondary audio data is included in the audio data transmitted from the server 20.
  • the voice data is not received (step S14: No)
  • the operation of the mobile terminal 10 proceeds to step S18.
  • step S16 Yes
  • step S17 the reproduction of voice
  • the mobile terminal 10 determines whether an operation to log out has been performed (step S18). For example, when the user performs an operation of stopping the execution of the application program P10 on the mobile terminal 10, the mobile terminal 10 logs out. When logging out (step S18: Yes), the operation of the mobile terminal 10 ends. On the other hand, when not logging out (Step S18: No), operation of personal digital assistant 10 returns to Step S12.
  • step S30 in FIG. 9: Yes the server 20 ends the log recording (step S31), and then ends the operation.
  • step S30: No the operation of the server 20 returns to step S24.
  • necessary information can be provided by voice at necessary timing without forcing the user to perform troublesome operations.
  • voice information according to the user's location is provided, but more personalized voice information according to the user's attributes and preferences based on pre-registered user information, It can be provided to individual users. That is, according to the present embodiment, it is possible to make the user experience the effect by voice regardless of the intention or operation of the user. Conversely, it is also possible to let the user choose whether to experience or not.
  • the reception log of the information transmitted from the portable terminal 10 is recorded and tabulated, the information on the position, such as how much the user followed the route and how long the user stayed in Can be acquired and visualized in real time. Therefore, it is possible to grasp the user's interest and preference through the action of the user, and it is also possible to utilize such user's personal information in real time. For example, by passing novelty goods related to the exhibit 3 in the area where the user has been staying for a long time, the user's impression of the event can be further enhanced. In addition, when the user visits the area of one exhibit 3 repeatedly, it is possible to use different voice data for the second and third times. Alternatively, it is also possible to change the information or presentation provided to another user according to the action of a certain user.
  • the user's action information can be accumulated.
  • Such user's action information can be used to select voice data to be transmitted to each user, and can also be used to improve the exhibition hall 2 by storing action information of a plurality of users. For example, when many users are moving frequently in front of a certain exhibit, it can be inferred that the display position of the exhibit is not appropriate and it is difficult to see.
  • voice information provision system 1 which concerns on this embodiment to the exhibition hall 2
  • this system is possible to apply to various scenes. For example, it is possible to collect information in real time through the mobile terminal 10, and to perform voice effects and screen effects that respond only to users who satisfy specific conditions such as specific attributes and preferences, actions and routes. This particular condition can be arbitrarily designed by the system developer.
  • the voice according to the external environmental sound by using the on / off function of the sub audio.
  • the beacon transmitted by the transmitter 40 installed in the exhibition hall 2 is received by the portable terminal 10, but a GPS signal or a predetermined high frequency signal may be received.
  • the portable terminal 10 receives a GPS signal
  • the portable terminal 10 transmits its own position information calculated based on the GPS signal to the server 20 together with its own terminal ID.
  • reception information of GPS signals position information of GPS satellites, transmission time of GPS signals, and reception time
  • the portable terminal 10 is transmitted from the portable terminal 10 to the server 20 and the position information of the portable terminal 10 is calculated in the server 20 It is also good.
  • the voice information according to the position of the user is provided to the user via the portable terminal 10.
  • an exhibition A sound source is installed at a specific place such as a place where exhibits are displayed if it is a meeting place or a guidance point in a route if it is in a town, and from that sound source, audio information according to the position of the user is It may be possible for the user to recognize as if it is heard.
  • a virtual sound source that a user recognizes as if audio information is heard from a specific place is referred to as a virtual sound source.
  • the audio information providing system according to the second embodiment will be described as being applied to the exhibition hall 2 (see FIG. 2).
  • Configuration of Second Embodiment The configuration of the voice information providing system according to the second embodiment of the present invention is the same as the first embodiment (see FIGS. 1 to 7) as a whole, and voice information is provided. Some of the functions of the device (server 20) are different from those of the first embodiment.
  • stereophonic reproduction refers to a method of reproducing audio in which two channels of audio are respectively output from a pair of audio output units provided on the left and right.
  • position information of a plurality of virtual sound sources set in advance is stored as hall information in the hall information database D5 stored in the storage unit 22 (see FIG. 6).
  • the position of each transmitter 40 installed in the exhibition hall 2, the position of the exhibit 3, etc. are set as the position of the virtual sound source.
  • a specific route set between a certain transmitter 40 and the next transmitter 40 may be set as the position of the movable virtual sound source.
  • FIG. 13 is a block diagram showing an example of the function of the server according to the present embodiment.
  • the function units realized by the server (processor 21A) executing the program stored in the storage unit 22 (see FIG. 5) include a user information management unit 211, a hall information management unit 212, an audio data selection unit 213, In addition to the screen data selection unit 214, the log recording processing unit 215, and the aggregation unit 216, a position and orientation calculation unit 217 and an audio data processing unit 218 are included.
  • the functions of the user information management unit 211 to the aggregation unit 216 are the same as those in the first embodiment.
  • the position and orientation calculation unit 217 calculates the position of the user carrying the portable terminal 10 and the direction of the user's face based on the beacon ID and the terminal ID transmitted from the portable terminal 10.
  • the voice data processing unit 218 sets the voice data selected by the voice data selection unit 213 according to the position of the user (portable terminal 10) according to the relationship between the position of the virtual sound source and the position of the user and the orientation of the face. It is processed into audio data for stereophonic playback. Specifically, the audio data processing unit 218 extracts a virtual sound source corresponding to the position of the user, and the user can recognize the sound as if the user can hear the sound from the direction of the virtual sound source. Voice data and voice data for the left ear are generated. Note that as the virtual sound source, a virtual sound source closest to the position of the user may be extracted, or a virtual sound source at a fixed position associated with the selected audio data may be extracted.
  • step S12 in FIG. 8 Yes
  • the mobile terminal 10 extracts the beacon ID superimposed on the received beacon, and adds it to its own terminal ID and the extracted beacon ID
  • the reception strength of the beacon is transmitted to the server 20 (step S13).
  • the portable terminal 10 transmits the plurality of beacon IDs and the reception intensity of each beacon to the server 20.
  • the server 20 When the server 20 receives the reception intensity of the beacon from the portable terminal 10 in addition to the terminal ID and the beacon ID (step S24 in FIG. 9: Yes), the server 20 carries the position of the portable terminal 10 (ie, carries the portable terminal 10). In addition to the position of the user, the direction of the face of the user is calculated. Specifically, the server 20 specifies the plurality of transmitters 40 that have transmitted the beacon received by the mobile terminal 10 based on the plurality of beacon IDs, and from the transmitter 40 to the mobile terminal 10 based on the reception intensity of the beacons. Calculate the distance of Then, the server 20 calculates the position of the user based on the positions and distances of the plurality of transmitters 40. In addition, the server 20 calculates a vector representing a change in the position of the user by calculating the position of the user a plurality of times at predetermined time intervals, and estimates the direction of this vector as the direction in which the user faces the face Do.
  • the server 20 selects audio data according to the position of the user from the audio data stored in the storage unit 22, The audio data is processed into audio data for stereophonic reproduction and transmitted to the portable terminal 10 (step S27). Specifically, according to the relationship between the position of the virtual sound source extracted according to the position of the user and the position and direction of the user, the server 20 recognizes the user as if the voice is heard from the direction of the virtual sound source as well. Audio data for the right ear and audio data for the left ear.
  • a known method such as a binaural algorithm for providing a delay between the left and right audio data in accordance with the distance between the left and right ears and the virtual sound source can be used.
  • the server 20 processes the voice data in real time according to the change of the position and the direction of the user, and the change of the position of the virtual sound source when the virtual sound source moves.
  • the portable terminal 10 When the portable terminal 10 receives audio data (step S14 in FIG. 8: Yes), the portable terminal 10 reproduces audio based on the received audio data (step S15). At this time, the portable terminal 10 causes the sound output unit for the right ear to output a sound based on the sound data for the right ear, and causes the sound output unit for the left ear to output a sound based on the sound data for the left ear. . As a result, the user can recognize as if sound is coming from a sound source located in a specific direction while wearing headphones or earphones.
  • the user can receive more realistic voice information.
  • the method of detecting the position and orientation of the user is not limited to the method described in the second embodiment, and various methods can be used.
  • a positioning system configured to include a tag that transmits a wireless signal (beacon) and a reader that detects a wireless signal transmitted from the tag and outputs positional information of the tag
  • tags are attached to the left and right sides of headphones or earphones worn by the user, and a reader is installed on the ceiling of the hall or the like.
  • the reader detects a radio signal transmitted from the tag and outputs left and right position information of the headphones or earphones.
  • the server 20 associates the left and right position information of the headphone or earphone with the portable ID of the portable terminal 10 connected to the headphone or earphone, and estimates the height and direction of the user's face from the left and right position information. Do. In this case, in addition to the position of the user, the height and orientation of the user's face can be measured with high accuracy.
  • a positioning system containing a tag and a reader a system "Quuppa (registered trademark)" of Quuppa Oy company etc. is mentioned, for example.
  • a plurality of cameras are installed at the place where the voice information providing system is applied (for example, exhibition hall 2), and from the images taken by the plurality of cameras, the position and height and orientation of the user It may be detected.
  • the voice information providing system for example, exhibition hall 2
  • the user only receives the voice information, but the gesture of the user may be fed back to the voice information. That is, the portable terminal 10 detects the motion (moving speed, rotational speed, etc.) and posture (tilt) of the user carrying the portable terminal 10 by the gyro sensor or the acceleration sensor provided as the sensor unit 18, Information indicating the posture is transmitted to the server 20.
  • the server 20 processes audio data representing audio information according to the user's exercise and posture into audio data for stereophonic reproduction, and transmits the audio data to the mobile terminal 10.
  • the portable terminal 10 reproduces the voice based on the voice data received from the server 20, the user can also recognize as if the voice is generated by his / her gesture. Specifically, when the user jumps at a specific place, there is an example in which a bouncing sound is heard from the floor.
  • the voice information may be common to a plurality of users or may be different for each user.
  • the voice information corresponding to the position of the user is separately transmitted.
  • common voice information may be simultaneously transmitted to a plurality of users.
  • common voice data linked to a specific virtual sound source may be simultaneously processed to voice data according to the position and orientation of each user to a plurality of users. Thereby, a plurality of users can share the same experience.

Abstract

ユーザに煩わしい操作を強いることなく、必要な情報を必要なタイミングで音声により提供することができる音声情報提供システム等を提供する。　音声情報提供システムは、携帯端末と、携帯端末と通信ネットワークを介して接続された音声情報提供装置と、を備え、携帯端末は、発信機から発信された無線信号を受信し、当該携帯端末の端末ＩＤを発信機の信号ＩＤと共に音声情報提供装置に送信し、音声情報提供装置は受信した端末ＩＤ及び信号ＩＤに応じた音声データを携帯端末に送信し、携帯端末は無線信号を受信している間、音声情報提供装置から送信された音声データに基づく音声を再生する。

Description

音声情報提供システム、音声情報提供装置、及びプログラム 関連出願の相互参照
　本出願は、２０１８年１月１８日に出願された日本出願番号（特願）２０１８－００６７２９号に基づくもので、ここにその記載内容を援用する。
　本開示は、音声情報提供システム、音声情報提供装置、及びプログラムに関する。
　従来、美術館や博物館等の展示会場において、展示物に関する説明を音声で提供する音声ガイドシステムが利用されている。音声ガイドシステムは、ヘッドホン付きの端末装置に展示物と紐づけられた番号を入力すると、当該展示物の説明がヘッドホンから流れるというものである。
　また、近年では、展示会場に設置された発信機から発信されたＩＤ信号を、ユーザが携帯する携帯受信機で受信すると、携帯受信機に予め記録された音声ガイドが自動再生されるシステムも提案されている（例えば特許文献１参照）。
特開２０１１－１０９６２９号公報
　従来の音声ガイドシステムのように、ユーザの操作がトリガーとなって音声情報が提供されるシステムでは、ユーザは音声情報を得るために逐一操作をしなければならず、煩わしい。また、ユーザが移動している間に、操作が遅れたり操作し忘れたりした場合に、ユーザは必要な情報を必要なタイミングで得られなくなってしまう。
　また、特許文献１のように、携帯受信機に予め記録された音声ガイドが自動再生されるシステムでは、ユーザは居場所に応じた特定の情報しか得ることができない。
　そこで、本開示は、かかる事情に鑑みてなされたものであり、ユーザに煩わしい操作を強いることなく、必要な情報を必要なタイミングで音声により提供することができる音声情報提供システム、音声情報提供装置、及びプログラムを提供することを目的の一つとする。
　上記課題を解決するため、本発明の一態様である音声情報提供システムは、所定の範囲内に所定の強度を有する無線信号を発信する発信機であって、当該発信機の識別情報である信号ＩＤを前記無線信号に重畳して発信する発信機と、前記発信機から発信された前記無線信号を受信可能な受信デバイスと、通信ネットワークを介して情報を送受信するための通信インタフェースと、音声データに基づいて音声を再生する音声出力デバイスと、を有する携帯端末と、前記携帯端末と前記通信ネットワークを介して接続された音声情報提供装置と、を備え、前記携帯端末は、前記発信機から発信された前記無線信号を受信した場合に、当該携帯端末の識別情報である端末ＩＤを前記信号ＩＤと共に前記音声情報提供装置に送信し、前記音声情報提供装置は、前記携帯端末から前記端末ＩＤ及び前記信号ＩＤを受信した場合に、前記端末ＩＤ及び前記信号ＩＤに応じた音声データを前記携帯端末に送信し、前記携帯端末は、前記発信機から前記信号ＩＤが重畳された前記無線信号を受信している間、前記音声情報提供装置から送信された前記音声データに基づく音声を再生するものである。
　上記音声情報提供システムにおいて、前記音声情報提供装置は、前記発信機が設置された場所に関連する複数種類の音声データを格納する音声データ記憶部と、前記信号ＩＤに基づき、前記携帯端末を携帯するユーザの位置及び該ユーザの顔の向きを算出する位置及び向き算出部と、前記位置及び向き算出部により算出された前記ユーザの位置に基づき、前記複数種類の音声データのうちから、前記ユーザの位置に応じた音声データを選択する音声データ選択部と、前記音声データ選択部により選択された音声データを、予め設定された仮想的な音源の位置と前記ユーザの位置及び該ユーザの顔の向きとの関係に応じて、ステレオフォニック再生するための音声データに加工する音声データ加工部と、を有し、前記音声情報提供装置は、前記音声データ加工部により加工された音声データを前記携帯端末に送信し、前記携帯端末は、前記加工された音声データに基づき、ステレオフォニック再生を行っても良い。
　上記音声情報提供システムにおいて、前記携帯端末は、前記複数の発信機のうち２つ以上の発信機から発信された無線信号を受信した場合に、該２つ以上の発信機の信号ＩＤを前記音声情報提供装置に送信し、前記位置及び向き算出部は、前記２つ以上の発信機の信号ＩＤに基づいて、前記ユーザの位置及び該ユーザの顔の向きを算出しても良い。
　上記音声情報提供システムにおいて、前記音声出力デバイスは、右耳に装着される第１音声出力部と、左耳に装着される第２音声出力部とが設けられたヘッドホン又はイヤホンであり、前記第１及び第２音声出力部の各々に、無線信号を発信するタグが設けられ、前記タグから発信された無線信号を検出し、前記タグの位置情報を出力するリーダをさらに備え、前記位置及び向き算出部は、前記リーダから出力された前記タグの位置情報に基づいて、前記ユーザの位置及び該ユーザの顔の向きを推定しても良い。
　上記音声情報提供システムにおいて、前記音声情報提供装置は、前記発信機が設置された場所に関連する複数種類の音声データを格納する音声データ記憶部と、前記携帯端末を携帯するユーザに関する情報を前記端末ＩＤと関連付けて格納するデータベースと、前記携帯端末から前記端末ＩＤ及び前記信号ＩＤを受信した場合に、前記端末ＩＤに基づいて、前記複数種類の音声データのうち、前記ユーザに関する情報に応じた音声データを選択して前記携帯端末に送信する音声データ選択部と、を有してもよい。
　上記音声情報提供システムにおいて、前記携帯端末は、前記発信機から前記無線信号を受信している間、前記音声情報提供装置に向け、前記端末ＩＤ及び前記信号ＩＤを所定の周期で前記音声情報提供装置に送信し、前記音声情報提供装置は、前記端末ＩＤ及び前記信号ＩＤの受信ログを記録し、前記携帯端末が前記無線信号を受信していたトータルの時間を集計してもよい。
　上記音声情報提供システムにおいて、前記携帯端末は、前記発信機からの前記無線信号の受信を開始した際に、前記端末ＩＤ及び前記信号ＩＤと共に、前記無線信号の受信を開始した旨を表す情報を前記音声情報提供装置に送信し、前記無線信号の受信を終了した際に、前記端末ＩＤ及び前記信号ＩＤと共に、前記無線信号の受信を終了した旨を表す情報を前記音声情報提供装置に送信し、前記音声情報提供装置は、前記無線信号の受信を開始した旨を表す情報及び前記無線信号の受信を終了した旨を表す情報の受信ログを記録し、前記携帯端末が前記無線信号を受信していたトータルの時間を集計してもよい。
　上記音声情報提供システムにおいて、前記音声情報提供装置は、前記端末ＩＤ及び前記信号ＩＤに応じた副音声用の音声データを前記携帯端末に送信し、前記携帯端末は、前記副音声用の音声データに基づく音声を再生するか否かの設定を行う設定手段を有してもよい。
　上記音声情報提供システムにおいて、前記携帯端末は、さらに、ＧＰＳ信号を受信可能であり、前記携帯端末は、受信したＧＰＳ信号に関する情報を前記端末ＩＤと共に前記音声情報提供装置に送信し、前記音声情報提供装置は、前記携帯端末から前記ＧＰＳ信号に関する情報及び前記端末ＩＤを受信した場合に、前記ＧＰＳ信号に関する情報に基づいて前記携帯端末の位置を特定すると共に、該位置及び前記端末ＩＤに応じた音声情報を前記携帯端末に送信してもよい。
　本発明の別の態様である音声情報提供装置は、通信ネットワークに接続された携帯端末に音声を再生させる音声情報提供システムにおいて用いられる音声情報提供装置であって、前記音声情報提供システムは、所定の範囲内に所定の強度を有する無線信号を発信する発信機であって、当該発信機の識別情報である信号ＩＤを前記無線信号に重畳して発信する発信機を備え、前記携帯端末は、前記発信機から発信された前記無線信号を受信可能な受信デバイスと、前記通信ネットワークを介して情報を送受信するための通信インタフェースと、音声データに基づいて音声を再生する音声出力デバイスと、有し、前記複数種類の音声データを格納する音声データ記憶部と、前記携帯端末から当該携帯端末の識別情報である端末ＩＤ及び前記信号ＩＤが送信された場合に、前記複数種類の音声データの中から前記端末ＩＤ及び前記信号ＩＤに応じた音声データを選択する音声データ選択部と、前記音声データ選択部により選択された音声データを、前記通信ネットワークを介して前記携帯端末に送信する通信インタフェースと、を有するものである。
　本発明のさらに別の態様であるプログラムは、通信ネットワークに接続された携帯端末に音声を再生させる音声情報提供システムにおいて、コンピュータに実行させるプログラムであって、前記音声情報提供システムは、所定の範囲内に所定の強度を有する無線信号を発信する発信機であって、当該発信機の識別情報である信号ＩＤを前記無線信号に重畳して発信する発信機を備え、前記携帯端末は、前記発信機から発信された前記無線信号を受信可能な受信デバイスと、前記通信ネットワークを介して情報を送受信するための通信インタフェースと、音声データに基づいて音声を再生する音声出力デバイスと、有し、前記携帯端末から当該携帯端末の識別情報である端末ＩＤ及び前記信号ＩＤが送信された場合に、前記端末ＩＤ及び前記信号ＩＤを受信するステップ（ａ）と、記憶部に予め格納された複数種類の音声データの中から、前記端末ＩＤ及び前記信号ＩＤに応じた音声データを選択するステップ（ｂ）と、ステップ（ｂ）において選択された音声データを、前記通信ネットワークを介して前記携帯端末に送信するステップ（ｃ）と、を実行させるものである。
　本発明のさらに別の態様であるプログラムは、通信ネットワークに接続された携帯端末に音声を再生させる音声情報提供システムにおいて、前記携帯端末に実行させるプログラムであって、前記音声情報提供システムは、所定の範囲内に所定の強度を有する無線信号を発信する発信機であって、当該発信機の識別情報である信号ＩＤを前記無線信号に重畳して発信する発信機と、複数種類の音声データを格納する音声情報提供装置と、を備え、前記携帯端末は、前記発信機から発信された前記無線信号を受信可能な受信デバイスを有し、ユーザに該ユーザに関する情報を入力させるための画面を表示すると共に、入力された前記ユーザに関する情報を、当該携帯端末の識別情報である端末ＩＤと共に前記音声情報提供装置に送信するステップと、前記発信機から発信された前記無線信号を受信した場合に、前記端末ＩＤ及び前記信号ＩＤを前記音声情報提供装置に送信するステップと、
　前記音声情報提供装置において前記複数種類の音声データの中から前記端末ＩＤ及び前記信号ＩＤに応じて選択された音声データを受信するステップと、受信した前記音声データに基づいて音声を再生するステップと、前記発信機から発信された前記無線信号を受信しなくなった場合に、前記音声の再生を停止するステップと、を実行させるものである。
　本発明によれば、携帯端末から送信された端末ＩＤ及び発信機の信号ＩＤに応じた音声データを音声情報提供装置から携帯端末に送信し、音声データに基づく音声を携帯端末に再生させるので、ユーザに煩わしい操作を強いることなく、携帯端末ごとに必要な情報を必要なタイミングで音声により提供することが可能となる。
本発明の第１の実施形態に係る音声情報提供システムの一例を示す模式図である。 図１に示す音声情報提供システムが使用される展示会場の一例を示す模式図である。 本発明の第１の実施形態に係る携帯端末のハードウェア構成の一例を示すシステムブロック図である。 本発明の第１の実施形態に係る携帯端末の機能の一例を示すブロック図である。 本発明の第１の実施形態に係る音声情報提供装置（サーバ）のハードウェア構成の一例を示すシステムブロック図である。 本発明の第１の実施形態に係る音声情報提供装置（サーバ）に記憶されているデータの一例を示すブロック図である。 本発明の第１の実施形態に係る音声情報提供装置（サーバ）の機能の一例を示すブロック図である。 本発明の第１の実施形態に係る携帯端末の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る音声情報提供装置（サーバ）の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る携帯端末に表示される画面の一例を示す模式図である。 本発明の第１の実施形態に係る携帯端末に表示される画面の一例を示す模式図である。 本発明の第１の実施形態に係る携帯端末に表示される画面の一例を示す模式図である。 本発明の第２の実施形態に係る音声情報提供装置（サーバ）の機能の一例を示すブロック図である。
　以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。またさらに、必要に応じて示す上下左右等の位置関係は、特に断らない限り、図示の表示に基づくものとする。さらにまた、図面における各種の寸法比率は、その図示の比率に限定されるものではない。
　図１は、本発明の第１の実施形態に係る音声情報提供システムの一例を示す模式図である。図２は、図１に示す音声情報提供システムが使用される展示会場の一例を示す模式図である。以下においては、図２に示すように、展示イベントが行われる展示会場２に音声情報提供システムを適用する例を説明する。
１．実施形態の概念
　本実施形態に係る音声情報提供システム１は、概念的には、空間又は特定の展示物などの現実世界に、「目に見えない追加情報」を音声でプロットしていくシステムであると言える。システムの概要としては、所定のアプリケーションプログラムをインストールした携帯端末（スマートフォン等）１０をユーザに携帯させ、この携帯端末がビーコン、ＧＰＳ信号、特定の高周波信号などの無線信号を受信したことをトリガーとして、インターネット等の通信ネットワークＮ経由で音声データをサーバ２０から携帯端末１０に送信し、音声を自動再生させるというものである。これにより、ユーザの居場所に応じた情報であって、現実世界のみからでは得られない情報をユーザに提供することができる。この際、本実施形態においては、ユーザの行動や属性、或いは、時間経過やイベントの進行状況などに応じて、ユーザが受け取る音声情報を変化させることができる。このような機能を活用することで、様々なイベントや施設に、単なる音声ガイダンスを超える新しい体験やサービス価値を付加することが可能となる。また、ユーザは、現実世界からの視覚情報を遮られたり、煩わしい操作を強いられたりすることなく、その場に応じた情報を入手することができるので、より自由度の高い拡張体験を提供することが可能となる。
２．第１の実施形態の構成
２－１．構成概要
　図１に示すように、本実施形態に係る音声情報提供システム１は、展示会場２を訪れるユーザが使用する携帯端末１０と、音声情報提供装置であるサーバ２０と、展示会場２の入口及び出口に設置されるオペレーション端末３０と、展示会場２の各所に設置された複数の発信機４０とを備える。このうち、携帯端末１０、サーバ２０、及びオペレーション端末３０は、通信ネットワークＮを介して接続されている。
　通信ネットワークＮは、携帯端末１０、サーバ２０、及びオペレーション端末３０の間で相互に情報を送受信可能な通信網を含む。通信ネットワークＮは、例えば、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、ＷｉＦｉ（Wireless　Fidelity）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。
　図２を参照して、展示会場２は、ユーザが入出場する入口及び出口を結ぶ経路が形成されるようにレイアウトされており、この会場内には、経路に沿ってストーリーが展開されるように、種々の展示物３が展示されている。また、会場内には、各展示物３の周囲の所定範囲に特定の無線信号を発信する発信機４０が、展示物３の閲覧の妨げにならないように設置されている。また、ユーザが必ず通過する入口及び出口にも、発信機４０を設置してもよい。
　各発信機４０は、ＢＬＥ（Bluetooth（登録商標）　Low　Energy）などの通信規格に基づき、所定の電波を利用した無線信号（以下、ビーコンという）を発信する。各発信機４０には識別情報であるビーコンＩＤ（信号ＩＤ）が付与されており、このビーコンＩＤを無線信号に重畳して発信する。本実施形態において、各発信機４０は特定の展示物３と紐付けられており、各発信機４０によるビーコンの発信強度は、対応する展示物３の周囲の所定範囲Ｒ（例えば数十ｃｍ～数ｍ程度の範囲）において携帯端末１０により受信可能となるように、また、隣接する発信機４０が発信したビーコンとの間で混信が生じないように設定されている。
２－２．携帯端末１０の構成
ア）ハードウェア構成
　図３は、携帯端末１０のハードウェア構成の一例を示すシステムブロック図である。携帯端末１０は、通信ネットワークＮとの通信機能を有する端末装置であり、具体的には、スマートフォン、携帯電話、タブレット端末等によって構成される。これらの端末装置に、展示会場２で開催されるイベントにおける音声情報提供サービスを利用するためのアプリケーションプログラムＰ１０をインストールして実行することにより、当該音声情報提供システム１における携帯端末１０として動作する。なお、図１においては、携帯端末１０を１台のみ示しているが、実際には、互いにユーザが異なる複数台の携帯端末１０が同時に使用され得る。
　図３に示すように、携帯端末１０は、プロセッサ１１と、記憶部１２と、音声入出力デバイス１３と、入力デバイス１４と、表示デバイス１５と、通信インタフェース１６と、受信デバイス１７と、センサ部１８と、カメラ１９と、これらを接続するシステムバスＢ１とを備える。
　プロセッサ１１は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット（ＣＰＵなど）及び各種レジスタから構成され、記憶部１２に格納されている各種プログラムを実行することで携帯端末１０の各部を中枢的に制御する。各種レジスタは、例えば、プログラムカウンタ、データレジスタ、命令レジスタ、汎用レジスタ等である。また、プロセッサ１１は、アプリケーションプログラムＰ１０を実行することにより、ユーザの居場所に応じた音声情報を提供するための各種機能を実現する。
　記憶部１２は、物理デバイス（例えば、半導体メモリ等のコンピュータ読み取り可能な記録媒体）の記憶領域が提供する論理デバイスであり、携帯端末１０の処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、各種データ等を格納する。ドライバプログラムとしては、例えば、音声入出力デバイス１３を制御するための入出力デバイスドライバプログラム、入力デバイス１４を制御するための入力デバイスドライバプログラム、表示デバイス１５を制御するための出力デバイスドライバプログラム等が挙げられる。
　音声入出力デバイス１３は、例えば、入力された音声を電気的な信号（音声信号）に変換する一般的なマイクロフォン（音声入力デバイス）、及び音声信号を音声として再生可能なサウンドプレイヤ（音声出力デバイス）である。音声出力デバイスとしては、携帯端末１０に内蔵されたスピーカであってもよいし、携帯端末１０に無線又は有線で接続されるヘッドホン又はイヤホンであってもよい。
　入力デバイス１４は、例えば各種操作ボタンや表示デバイス１５に設けられたタッチパネルを用いて構成され、操作ボタンやタッチパネルに対する入力操作を受け付けるインタフェースを提供する。
　表示デバイス１５は、例えば液晶ディスプレイや有機ＥＬディスプレイを用いて構成される。
　通信インタフェース１６は、携帯端末１０を通信ネットワークＮに接続し、通信ネットワークＮ上の他の端末と通信をするためのハードウェアモジュールである。通信インタフェース１６は、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。
　受信デバイス１７は、発信機４０から発信されたビーコンや、ＧＰＳ（Global　Positioning　System）衛星４５から送信されたＧＰＳ信号や、その他の信号発信源４６から発信された高周波信号等の無線信号を受信する。
　センサ部１８は、例えば、ジャイロセンサ、加速度センサ、照度センサ、磁気センサ等のセンシングデバイスを含み、携帯端末１０の運動（移動速度、回転速度など）や姿勢（傾きなど）等を検出する。また、携帯端末１０に近距離無線通信（Near　Field　Communication：ＮＦＣ）用チップが搭載されている場合には、展示会場２の各所にＮＦＣ対応機器を設置することにより、携帯端末１０が接触（又は近接）した箇所を検出することが可能であり、この場合、ＮＦＣ用チップを接触センサとして利用することができる。
　カメラ１９は、集光レンズ等の光学素子、及びＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を含み、被写体を撮影して画像信号を生成する機能を提供する。
イ）機能構成
　図４は、携帯端末１０の機能の一例を示すブロック図である。図４に示すように、プロセッサ１１がアプリケーションプログラムＰ１０を実行することにより実現される機能部には、表示制御部１１１、信号取得情報処理部１１２、音声再生処理部１１３、及び副音声設定部１１４が含まれる。
　表示制御部１１１は、表示デバイス１５に所定の画面を表示させる制御を行う。
　信号取得情報処理部１１２は、受信デバイス１７が所定の無線信号を受信した場合に、当該無線信号に重畳された情報を抽出し、通信ネットワークＮを介してサーバ２０に送信する処理を行う。一例として、信号取得情報処理部１１２は、発信機４０から発信されたビーコンを受信デバイス１７が受信すると、ビーコンに重畳されたビーコンＩＤを抽出し、このビーコンＩＤを、携帯端末１０に予め設定されている識別情報（以下、端末ＩＤという）と共に、通信ネットワークＮを介してサーバ２０に送信する。信号取得情報処理部１１２は、複数の発信機４０から発信されたビーコンを受信デバイス１７が受信した場合には、受信強度が最も強いビーコンからビーコンＩＤを抽出することとしてもよい。なお、「無線信号を受信した場合」とは、受信した無線信号の強度が所定の閾値を超えた場合を含む。
　信号取得情報処理部１１２は、所定の周期で、上述したビーコンＩＤ及び端末ＩＤの送信処理を行う。ここで、所定の周期とは、例えば、数秒～数分ごとといった時間間隔である。或いは、信号取得情報処理部１１２は、ある発信機４０から発信されたビーコンを検出した際に、ビーコンＩＤ及び端末ＩＤと共に、ビーコンの受信を開始した旨の情報をサーバ２０に送信し、上記発信機４０から発信されたビーコンを検出できなくなった際に、ビーコンＩＤ及び端末ＩＤと共に、ビーコンの受信を停止した旨の情報をサーバ２０に送信してもよい。
　音声再生処理部１１３は、サーバ２０から送信された音声データに基づいて、音声入出力デバイス１３に音声を再生させる。音声再生処理部１１３は、無線信号の受信強度が所定の閾値を下回った場合には、サーバ２０から送信された音声データの再生を停止する構成でもよい。これによって、携帯端末１０においては、無線信号を所定の受信強度以上で受信している場合にのみ音声データを再生するよう制御することができる。
　副音声設定部１１４は、サーバ２０から送信された音声データに、主音声用の音声データと、副音声用の音声データとが含まれている場合に、副音声を再生するか否かの設定を行う。
２－３．サーバ２０の構成
ア）ハードウェア構成
　図５は、サーバ２０のハードウェア構成の一例を示すシステムブロック図である。サーバ２０は、例えば、演算処理能力の高いコンピュータによって構成され、所定のプログラム（プログラムＰ２０）を実行することにより、携帯端末１０、オペレーション端末３０、及び発信機４０と連携して、携帯端末１０に音声情報を提供する音声情報提供装置として機能する。
　図５に示すように、サーバ２０は、プロセッサ２１と、記憶部２２と、通信インタフェース２３と、これらを接続するシステムバスＢ２とを備える。
　プロセッサ２１は、算術演算、論理演算、ビット演算等を処理する算術論理演算ユニット（ＣＰＵなど）及び各種レジスタから構成され、記憶部２２に格納されている各種プログラムを実行することでサーバ２０の各部を中枢的に制御する。また、プロセッサ２１は、プログラムＰ２０を実行することにより、携帯端末１０に音声情報を提供するための各種機能を実現する。
　記憶部２２は、例えば、ディスクドライブ又は半導体メモリ等のコンピュータ読み取り可能な記録媒体からなる物理デバイスの記憶領域が提供する論理デバイスである。記憶部２２は、複数の物理デバイスを１つの論理デバイスにマッピングして構築してもよいし、１つの物理デバイスを複数の論理デバイスにマッピングして構築してもよい。記憶部２２は、オペレーティングシステムプログラムやドライバプログラム等の各種プログラム及びこれらのプログラムの実行中に使用される各種データを格納する。
イ）データ構造
　図６は、サーバ２０の記憶部２２に記憶されているデータの一例を示すブロック図である。図６に示すように、記憶部２２には、携帯端末１０において音声を再生させるために用いられる音声データＤ１と、携帯端末１０に特定の画面を表示させるために用いられる画面データＤ２と、ログデータＤ３と、ユーザ情報データベースＤ４と、会場情報データベースＤ５と、履歴情報データベースＤ６とが記憶されている。
　音声データＤ１は、展示物３の説明やキャラクターのセリフといった主音声を提供するための主音声データ、関連する情報（例えば、展示物３の背景説明などの副音声）を提供するための副音声データ、及びＢＧＭ用の音声データ等を含む。同一の展示物３に対しては、言語が異なる複数種類の音声データが用意されていると共に、ユーザの属性や行動履歴等に応じて異なる内容の音声を提供するための複数種類の音声データが用意されている。
　音声データＤ１において、音声データは、当該音声データに関連する展示物３の識別情報（または発信機４０のビーコンＩＤ）と対応付けられて登録されていてもよい。またさらに音声データＤ１において、音声データは、関連するユーザ情報（詳細は後述）とその関連度とが対応付けられて登録されていてもよい。例えば、ある音声データには、性別が関連するユーザ情報として登録されており、女性は関連度が高く、男性は関連度が低く登録されていてもよい。なお、音声データと関連するユーザ情報は性別に限定されず、年代や、居住国、使用言語、嗜好に関する情報等、任意のユーザ情報と関連する構成が可能である。
　さらに、音声データは、携帯端末１０の外部環境に関する情報と対応付けて登録されていてもよい。例えば、携帯端末１０の環境音の種類や音量、温度や湿度、混雑度等と対応付けて登録されてもよい。また例えば音声データは、優先度と対応付けて登録されてもよい。
　画面データＤ２は、携帯端末１０において音声が再生されている間に、音声と関連する情報を表示デバイス１５に表示させるためのデータである。具体的には、画面データＤ２は、展示物３のタイトル、シーンの説明、ＢＧＭの曲名やアーティスト名といったテキストデータ及び背景画像データを含む。
　ログデータＤ３は、携帯端末１０からサーバ２０に送信された情報の受信ログを記録したものである。具体的には、ログデータには、サーバ２０における情報の受信時刻（又は携帯端末１０におけるビーコンの受信時刻）、ビーコンＩＤ、及び端末ＩＤ等が含まれる。
　ユーザ情報データベースＤ４は、携帯端末１０を使用するユーザに関する情報（ユーザ情報）を格納する。ユーザ情報は、携帯端末１０の識別情報（端末ＩＤ）、ユーザ名（ニックネーム）、使用言語（日本語、英語等）等の基本情報に加え、性別、年代、居住国（居住地域）等の属性情報や、趣味や関心事等の嗜好に関する情報を含む。さらに、ユーザ情報は、後述するユーザ情報管理部２１１が送信したアンケートに対する回答を含んでもよい。
　会場情報データベースＤ５は、音声情報提供システム１が提供される会場に関する情報（会場情報）を格納する。会場情報は、展示会場２に設置された発信機４０のビーコンＩＤ、発信機４０の設置場所、発信機４０と紐付けられた展示物３の識別情報（名称や番号等）、当該展示物３に関する音声データや画面データが格納された記憶領域のアドレス等の情報を含む。
　履歴情報データベースＤ６は、携帯端末１０を携帯するユーザの行動履歴に関する情報（履歴情報）を格納する。具体的には、履歴情報は、展示会場２への入場時刻及び退場時刻、各展示物３を閲覧していた時間や閲覧した回数、各展示物３を閲覧した順番、展示会場２に来場した回数、受信時刻におけるユーザの位置情報などを含む。これらの情報は、ログデータを集計することにより得ることができる。
　通信インタフェース２３は、サーバ２０を通信ネットワークＮに接続し、通信ネットワークＮ上の他の端末と通信をするためのハードウェアモジュールである。通信インタフェース２３は、例えば、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等の変調復調装置である。
　ここで、サーバ２０を構成するコンピュータは、必ずしも１台である必要はなく、通信ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。例えば、ユーザ情報データベースＤ４を別のコンピュータに設け、サーバ２０と連携させてもよい。
ウ）機能構成
　図７は、サーバ２０の機能の一例を示すブロック図である。図７に示すように、サーバ２０がプログラムＰ２０を実行することにより実現される機能部には、ユーザ情報管理部２１１、会場情報管理部２１２、音声データ選択部２１３、画面データ選択部２１４、ログ記録処理部２１５、及び集計部２１６が含まれる。
　ユーザ情報管理部２１１は、携帯端末１０から送信されたユーザ情報をユーザ情報データベースＤ４に登録し、必要に応じて修正するなどして管理する。例えばユーザ情報管理部２１１は、ユーザ情報の登録依頼をアンケート形式で携帯端末１０に送信し、その回答をユーザ情報データベースＤ４に登録することができる。なお、ユーザ情報管理部２１１は、例えば展示会場２に来場したきっかけ等、展示会の主催者がユーザに確認した情報をアンケートとして携帯端末１０に送信し、その回答をユーザ情報管理部２１１に登録することも可能である。
　会場情報管理部２１２は、オペレーション端末３０等から送信された会場情報に基づいて会場情報データベースＤ５を作成し、必要に応じて修正するなどして管理する。
　音声データ選択部２１３は、携帯端末１０からサーバ２０にビーコンＩＤ及び端末ＩＤが送信された場合に、記憶部２２に記憶された音声データＤ１の中から、ビーコンＩＤに対応する展示物３に関する複数種類の音声データを抽出すると共に、端末ＩＤに対応するユーザ情報を検索し、抽出した複数種類の音声データの中から更に、ユーザ情報に応じた音声データを選択して、携帯端末１０に送信する。具体的には音声データ選択部２１３は、ユーザ情報データベースＤ４に登録されたユーザ情報について、音声データＤ１において関連度が高い音声データを選択して携帯端末１０に送信することができる。例えば、ユーザの年代が２０代として登録されている場合には、抽出した複数種類の音声データの中から、年代「２０代」と関連度が高い音声データを選択し、携帯端末１０に送信することができる。なお音声データ選択部２１３は、ユーザ情報データベースＤ４に登録された使用言語と同じ種類の言語の音声データを携帯端末１０に送信することが好ましい。
　また、例えば音声データ選択部２１３は、ユーザの履歴情報やユーザ情報が特定条件を満たしているか否かを判定し、満たしている場合には音声データを携帯端末１０に送信する構成でもよい。特定条件は、例えば、特定の展示物３の閲覧時間（すなわち、特定の発信機４０から発信されるビーコンの受信時間）や、複数の展示物３を閲覧した順番（すなわち、ビーコンを受信した順番）、特定の展示物３を閲覧した回数、展示会場２に来場した回数、ユーザ情報の登録率等である。
　さらに音声データ選択部２１３は、携帯端末１０の外部環境（携帯端末１０の環境音の種類や音量、温度や湿度、混雑度等）に応じて送信する音声データを選択することも可能である。
　また、音声データ選択部２１３は、展示会場２における複数のユーザの分布や動きを解析し、解析結果に応じて音声データを出しわけることができる。具体的には、ログデータＤ３を参照して、各受信時刻（あるいは一定範囲の時刻に含まれる受信時刻）について、各ビーコンＩＤに紐づくユーザＩＤの数を算出することで展示会場２における複数のユーザの分布や動き（人の流れ）を解析することができる。このとき音声データ選択部２１３は、例えば所定の割合以上（例えば過半数）ユーザが集まっている展示物３や、滞留時間が長い展示物３に対応する発信機４０のビーコンを受信した携帯端末１０には優先度の高い音声データを送信してもよい。また例えば、所定の割合以上（例えば過半数）のユーザが一定の順番で展示物３を閲覧している場合には、当該順番にあわせて音声データを選択してもよい。
　また、音声データ選択部２１３は、携帯端末１０の信号取得情報処理部１１２からビーコンの受信を停止した旨の情報を受信した場合には、音声データの送信を停止する構成でもよい。これによって、携帯端末１０においては、無線信号を所定の受信強度以上で受信している場合にのみ音声データを再生するよう制御することができる。
　画面データ選択部２１４は、記憶部２２に記憶された画面データＤ２の中から、音声データ選択部２１３により選択された音声データと紐付けられた画面データを選択し、音声データと共に携帯端末１０に送信する。
　ログ記録処理部２１５は、携帯端末１０からサーバ２０に送信された情報の受信ログを記録する。詳細には、ログ記録処理部２１５は、端末ＩＤごとに、ビーコンＩＤ及び受信時刻等を記録する。
　集計部２１６は、記憶部２２に記憶されたログデータＤ３を、端末ＩＤごと、且つ、ビーコンＩＤごとに所定の周期で又は所定のタイミングで集計し、集計結果を履歴情報として履歴情報データベースＤ６に記録する。ここで、所定の周期とは、例えば、数秒～数分ごとといった時間間隔である。また、所定のタイミングとは、例えば、携帯端末１０がビーコンの受信を開始した旨の情報を受信したタイミングや、該ビーコンの受信を停止した旨の情報の受信したタイミング等のことである。詳細には、集計部２１６は、携帯端末１０が同一の発信機４０から発信されたビーコンを連続して受信していた時間を集計し、ビーコンＩＤと紐付けられた展示物３を抽出し、集計した時間を、ユーザが当該展示物３を閲覧していた時間として履歴情報データベースＤ６に記録する。また集計部２１６は、発信機４０のビーコンＩＤと受信時刻とに基づいて、各展示物３を閲覧した順番や閲覧した回数を算出し、履歴情報データベースＤ６に記録することができる。さらに、集計部２１６は、ログデータＤ３を参照し、ビーコンＩＤに対応する発信機４０の配置位置に基づいて、受信時刻におけるユーザの位置情報を集計し、履歴情報データベースＤ６に記録してもよい。
２－４．オペレーション端末３０の構成
　オペレーション端末３０は、展示会場２の入口及び出口に設置された受付（イベントオペレーション）において、オペレータ４が操作する端末装置であり、具体的にはパーソナルコンピュータ（ＰＣ）、ノートＰＣ、タブレット端末等によって構成される。なお、以下に説明するオペレーション端末３０の各機能はサーバ２０が備える構成でもよい。
　オペレーション端末３０は、サーバ２０からユーザ情報、会場情報、及び履歴情報等をダウンロードし、展示会場２において閲覧中のユーザの人数や展示会場２の混み具合、移動速度、閲覧中のユーザの属性等を画面に表示する。
　また、オペレーション端末３０は、ユーザの携帯端末１０にノベルティとして所定の音声データを提供することができる。例えば、オペレーション端末３０は、ユーザの履歴情報やユーザ情報が特定条件を満たしているか否かを判定し、満たしている場合にはノベルティを提供する構成でもよい。特定条件は、例えば、特定の展示物３の閲覧時間（すなわち、特定の発信機４０から発信されるビーコンの受信時間）や、複数の展示物３を閲覧した順番（すなわち、ビーコンを受信した順番）、展示会場２に来場した回数、ユーザ情報の登録率等である。この場合、オペレーション端末３０は、ユーザ情報データベースＤ４やログデータＤ３、履歴情報データベースＤ６等を参照して、ユーザが特定条件を満たしているか否かを判定することができる。
　また、例えばオペレーション端末３０は、ユーザの履歴情報に応じて提供するノベルティを選択したり生成してもよい。例えばオペレーション端末３０は、履歴情報データベースＤ６（又はログデータＤ３）に記録された閲覧時間（すなわち、ある発信機４０からビーコンを受信した時間）に基づいて、ノベルティを選択してもよい。具体的には、オペレーション端末３０は、履歴情報データベースＤ６を参照して、携帯端末１０のユーザの閲覧時間が最も長い展示物３（すなわち、ビーコンの受信時間が最も長い発信機４０）に関する音声データ（例えば展示物３において再生される音声データ等）を携帯端末１０に提供してもよい。
　また、例えばオペレーション端末３０は、展示物３の閲覧順（ビーコンを受信した順番）に基づいてノベルティを選択する構成でもよい。この場合、例えばユーザがＮ番目とＭ番目（例えば最初と最後）に閲覧した展示物３（すなわち、展示会場２に入場してからＮ番目にビーコンを受信した発信機４０とＭ番目にビーコンを受信した発信機４０）とに関連する音声データそれぞれをノベルティとして提供してもよいし、各展示物３に関連する音声データを当該各展示物３を閲覧した順番に組み合わせた音声データをノベルティとして提供してもよい。
　また、例えばオペレーション端末３０は、ある展示物３を閲覧した回数（同一発信機４０からビーコンを受信した回数）に基づいてノベルティを選択する構成でもよい。この場合、例えば閲覧回数が最も多い展示物３に関する音声データをノベルティとして提供することができる。
　さらにオペレーション端末３０は、ユーザ情報に応じてノベルティを選択してもよい。例えば、オペレーション端末３０は、ユーザ情報データベースＤ４を参照して、ユーザ情報管理部２１１が送信したアンケートに対する回答率に基づいて、携帯端末１０にノベルティを提供してもよい。また、ユーザの使用言語や性別や年代、嗜好に関する情報に基づいてノベルティを提供してもよい。具体的には、オペレーション端末３０は、ユーザ情報データベースＤ４に登録されたユーザ情報について、音声データＤ１において関連度が高い音声データを選択してノベルティとして提供してもよい。例えば、ユーザの性別が女性として登録されている場合には、性別「女性」と関連度が高い音声データをノベルティとして提供することができる。また、例えばユーザ情報データベースＤ４に登録された使用言語と同じ種類の言語の音声データをノベルティとして提供できる。
　また、ノベルティの提供はオペレーション端末３０が自動で行う構成に限定されず、オペレータ４が手動で行う構成でもよい。この場合、オペレータ４は、オペレーション端末３０に表示された情報を見て、ユーザを展示会場２内に案内するタイミングを調整したり、閲覧が終わったユーザに渡すノベルティグッズを選択したりすることができる。
　なお、オペレーション端末３０は、ユーザが展示会場２から脱出する際に、ノベルティを提供することが好ましい。
３．第１の実施形態の動作
　図８は、携帯端末１０の動作の一例を示すフローチャートである。また、図９は、サーバ２０の動作の一例を示すフローチャートである。図１０～図１２は、携帯端末１０の表示デバイス１５に表示される画面の一例を示す模式図である。以下、図８～図１２を参照しながら、音声情報提供システム１の動作を説明する。
　まず、携帯端末１０においてアプリケーションプログラムＰ１０を実行すると、携帯端末１０は、図１０に例示するユーザ情報入力画面を表示する（図８のステップＳ１０）。ユーザ情報入力画面には、ユーザのニックネーム、性別、使用言語等の基本情報の入力欄ａ１が設けられている。この他、ユーザ情報入力画面に、ユーザの年代、ユーザの趣味や関心事、当該展示会場２を訪れるきっかけ等のアンケート項目の入力欄ａ２を設けてもよい。
　ユーザ情報入力画面に対し、ユーザが入力デバイス１４を用いて入力操作を行い、さらに、ＯＫボタンａ３をタップすると、携帯端末１０は、入力欄ａ１、ａ２に入力された情報（ユーザ情報）を、当該携帯端末１０の端末ＩＤと共にサーバ２０に送信する（図８のステップＳ１１）。
　ここで、ユーザは、展示会場２に入る前までに、携帯端末１０からサーバ２０にユーザ情報する操作を行っておくことが好ましい。また、ユーザ情報の送信後、携帯端末１０は、図１１に例示する自動再生機能のスタート画面を表示してもよい。スタート画面には、ヘッドホンを装着して画面にタッチする旨のユーザに対するメッセージａ４が示されている。メッセージａ４に従って、ユーザが画面をタッチすると、音声情報提供システム１によるサービス（後述する図８のステップＳ１２～）が開示される。このように、ユーザによる操作をトリガーとすることで、サービス開始の齟齬をなくすことができる。この他、スタート画面内のスペースａ５に、ロゴやサービスマーク等を表示してもよい。
　携帯端末１０から携帯ＩＤ及びユーザ情報が送信されると、サーバ２０は、携帯端末１０のログインを受け付け（図９のステップＳ２０）、端末ＩＤ及びユーザ情報を受信し（ステップＳ２１）、ユーザ情報を登録する（ステップＳ２２）。その後、サーバ２０は、携帯端末１０から送信された情報のログの記録を開始する（ステップＳ２３）。
　携帯端末１０は、展示会場２においてビーコンを受信すると（図８のステップＳ１２：Ｙｅｓ）、受信したビーコンに重畳されたビーコンＩＤを抽出し、自身の端末ＩＤ及び抽出したビーコンＩＤをサーバ２０に送信する（ステップＳ１３）。この際、携帯端末１０は、併せて、センサ部１８により検出された携帯端末１０の運動や姿勢を表す情報をサーバ２０に送信してもよい。また、携帯端末１０は、複数の発信機４０から発信されたビーコンを受信した場合には、受信強度が最も強いビーコンのビーコンＩＤを抽出する。また、ビーコンを受信しない場合（ステップＳ１２：Ｎｏ）、携帯端末１０の動作はステップＳ１８に移行する。
　サーバ２０は、携帯端末１０から端末ＩＤ及びビーコンＩＤを受信すると（図９のステップＳ２４：Ｙｅｓ）、会場情報データベースＤ５を参照して、受信したビーコンＩＤに対応する展示物３を特定することにより、携帯端末の位置を検出する（ステップＳ２５）。他方、端末ＩＤ及びビーコンＩＤを受信しない場合（ステップＳ２４：Ｎｏ）、サーバ２０の動作はステップＳ３０に移行する。
　携帯端末１０の位置が展示会場２の外である場合（ステップＳ２６：Ｎｏ）、サーバ２０の動作はステップＳ３０に移行する。例えば、携帯端末１０から、展示会場２の入口又は出口に設置された発信機４０のビーコンＩＤが送信された場合、当該携帯端末１０は展示会場の外に位置していると判断される。
　他方、携帯端末１０の位置が展示会場２内である場合（ステップＳ２６：Ｙｅｓ）、サーバ２０は、携帯端末１０の位置及びユーザの属性に応じた音声データを携帯端末１０に送信する（ステップＳ２７）。詳細には、サーバ２０は、記憶部２２に記憶された音声データの中から、ビーコンＩＤに対応する展示物３に関する複数種類の音声データを抽出し、これらの音声データの中から更に、端末ＩＤに対応するユーザ情報に応じた音声データを選択して携帯端末１０に送信する。例えば、ビーコンＩＤに対応する展示物３に関する説明の音声データが選択された場合、ユーザの使用言語に対応する音声データ（日本語、英語など）や、ユーザの年齢に応じた音声データ（大人向け、子ども向けなど）、ユーザの興味関心に応じた音声データ（興味がある人向けの詳しい説明、初心者向けの簡素な説明など）等がさらに選択される。また、携帯端末１０から、携帯端末１０の運動や姿勢を表す情報が送信された場合には、これらの情報に応じてさらに音声データを選択してもよい。例えば、携帯端末１０の移動速度が速い場合には、簡素な説明の音声データを送信するといった処理を行ってもよい。
　なお、サーバ２０から携帯端末１０への音声データの送信形式は、ストリーミング形式であってもよいし、ダウンロード形式であってもよい。また、サーバ２０は、音声データと共に、該音声データに対応する画面データを携帯端末１０に送信してもよい。
　続いて、サーバ２０は、携帯端末１０から送信された情報のログの集計を行い（図９のステップＳ２８）、集計結果をオペレーション端末３０に送信する（ステップＳ２９）。これにより、オペレーション端末３０を操作するオペレータ４は、携帯端末１０を携帯するユーザの行動（経路や滞留していた位置や時間など）を随時把握することが可能となる。なお、ログの集計及び送信（ステップＳ２８、Ｓ２９）は、音声データの送信（ステップＳ２７）の有無によらず、サーバ２０において随時行ってもよい。
　その後、サーバ２０の動作はステップＳ２４に戻る。
　携帯端末１０は、サーバ２０から音声データを受信すると（図８のステップＳ１４：Ｙｅｓ）、受信した音声データに基づいて音声を再生する（ステップＳ１５）。また、携帯端末１０は、音声データと共に画面データを受信した場合には、該画面データに基づいて、図１２に例示するサービス画面を表示する。サービス画面は、自動再生中の音声や音楽の名称のテキストや背景画像が表示されるタイトル表示領域ａ６と、展示会場２におけるユーザの位置を表すエリアマップ表示領域ａ７とを含む。また、サービス画面に、副音声のオン又はオフを設定するための設定アイコン（設定手段）ａ８を表示してもよい。設定アイコンａ８が副音声オンの側に設定されている場合、サーバ２０から送信された音声データに副音声データが含まれているときに、副音声も自動再生させることができる。
　他方、音声データを受信しない場合（ステップＳ１４：Ｎｏ）、携帯端末１０の動作はステップＳ１８に移行する。
　その後、携帯端末１０は、ステップＳ１２において受信したビーコンと同じビーコンＩＤを有するビーコンが停止すると（ステップＳ１６：Ｙｅｓ）、即ち、該ビーコンを所定の強度以上で受信できなくなると、音声の再生を停止する（ステップＳ１７）。
　続いて、携帯端末１０は、ログアウトする操作がなされたか否かを判定する（ステップＳ１８）。例えば、ユーザが携帯端末１０に対し、アプリケーションプログラムＰ１０の実行を中止する操作を行った場合、携帯端末１０はログアウトする。ログアウトする場合（ステップＳ１８：Ｙｅｓ）、携帯端末１０の動作は終了する。他方、ログアウトしない場合（ステップＳ１８：Ｎｏ）、携帯端末１０の動作はステップＳ１２に戻る。
　サーバ２０は、携帯端末１０がログアウトすると（図９のステップＳ３０：Ｙｅｓ）、ログの記録を終了し（ステップＳ３１）、その後、動作を終了する。他方、携帯端末１０がログアウトしない場合（ステップＳ３０：Ｎｏ）、サーバ２０の動作はステップＳ２４に戻る。
　以上説明したように、本実施形態によれば、ユーザに煩わしい操作を強いることなく、必要な情報を必要なタイミングで音声により提供することができる。特に、本実施形態においては、ユーザの居場所に応じた音声情報を提供するだけでなく、予め登録されたユーザ情報に基づいて、ユーザの属性や嗜好に応じた、よりパーソナライズされた音声情報を、個々のユーザに提供することが可能となる。つまり、本実施形態によれば、ユーザの意思や操作によらず、音声による演出をユーザに体験させることができる。反対に、体験するか否かをユーザに選択させることも可能である。
　また、本実施形態によれば、携帯端末１０から送信された情報の受信ログを記録して集計するので、ユーザがどのような経路をたどり、どのエリアにどの程度滞留していたかといった位置に関する情報を取得し、リアルタイムに可視化することができる。従って、ユーザの行動を通して、ユーザの興味や嗜好を把握することができ、このようなユーザ個人の情報をリアルタイムで活用することも可能となる。例えば、ユーザが長く滞留していたエリアの展示物３に関連するノベルティグッズを出口で渡すことにより、当該イベントに対するユーザの印象をより強めることができる。また、ユーザが１つの展示物３のエリアを繰り返し訪れている場合には、２回目、３回目で異なる音声データを提供するといった利用方法も可能である。或いは、あるユーザの行動に応じて、別のユーザに提供する情報や演出を変化させることも可能である。
　また、本実施形態によれば、センサ部１８により検出された情報を携帯端末１０からサーバ２０に送信することにより、ユーザの行動情報を蓄積することができる。このようなユーザの行動情報は、各ユーザに送信する音声データの選択に使用できる他、複数のユーザの行動情報を蓄積することにより、展示会場２の改善に活用することも可能である。例えば、ある展示物の前で多くのユーザが頻繁に動いている場合、当該展示物の展示位置が適切でないため見難いといったことを推測することができる。
　また、上記実施形態においては、本実施形態に係る音声情報提供システム１を展示会場２に提供する例を説明したが、本システムはさらに様々な場面に適用することが可能である。例えば、携帯端末１０を介してリアルタイムに情報を集約し、特定の属性や嗜好、行動や経路などの特定条件を満たしているユーザのみに反応する音声演出や画面演出を行うことが可能である。この特定条件は、システムの開発者が任意に設計することができる。
　また、本実施形態によれば、副音声のオン／オフ機能を用いることにより、外部の環境音に応じた音声を出し分けすることも可能である。例えば、特定の環境音や映像にリンクし、演出音を付加することもできる。或いは、演出音声（主音声、副音声、ＢＧＭなど）に優先順位をつけ、オン／オフの自動切り替えや、音量の大小に差をつけて同時再生することも可能である。
　上記実施形態においては、展示会場２に設置された発信機４０が発信するビーコンを携帯端末１０において受信することとしたが、ＧＰＳ信号や所定の高周波信号を受信することとしてもよい。例えば、携帯端末１０がＧＰＳ信号を受信した場合、携帯端末１０は、ＧＰＳ信号に基づいて算出した自身の位置情報を、自身の端末ＩＤと共にサーバ２０に送信する。或いは、携帯端末１０からサーバ２０に、ＧＰＳ信号の受信情報（ＧＰＳ衛星の位置情報、ＧＰＳ信号の送信時刻、及び受信時刻）を送信し、サーバ２０において携帯端末１０の位置情報を算出することとしてもよい。この場合、発信機４０を設置する必要なく、任意の場所に位置する携帯端末１０に対し、当該位置及びユーザ情報に応じた音声情報や表示デバイス１５における視覚情報を提供することが可能となる。具体例として、街歩きするユーザに対し、道案内の音声や広告を提示したりすることも可能である。
４．第２の実施形態
　上記第１の実施形態においては、ユーザの位置に応じた音声情報を、携帯端末１０を介してユーザに提供することとしたが、第２の実施形態においては、例えば、展示会の会場であれば展示物が展示されている箇所、街中であれば道案内における誘導箇所といった特定の場所に恰も音源が設置されており、その音源から、ユーザの位置に応じた音声情報が聞こえてくるかのようにユーザが認識できるようにしても良い。以下、特定の場所から音声情報が聞こえてくるかのようにユーザが認識する仮想的な音源のことを、仮想音源という。以下においては、第２の実施形態に係る音声情報提供システムを、上記第１の実施形態と同様、展示会場２（図２参照）に適用したものとして説明する。
４－１．第２の実施形態の構成
　本発明の第２の実施形態に係る音声情報提供システムの構成は、全体として、上記第１の実施形態（図１～図７参照）と同様であり、音声情報提供装置（サーバ２０）の機能の一部が上記第１の実施形態と異なる。
　ここで、本実施形態においては、音声入出力デバイス１３（図３参照）として、ユーザの右耳に装着され、右耳用の音声を出力する音声出力部と、ユーザの左耳に装着され、左耳用の音声を出力する音声出力部とが設けられたステレオフォニック再生が可能なデバイス（ヘッドホン又はイヤホン）を用いられる。ここで、本明細書においてステレオフォニック再生とは、左右に設けられた一対の音声出力部から２チャンネルの音声をそれぞれ出力する音声の再生方法のことである。
　また、本実施形態においては、記憶部２２（図６参照）に記憶される会場情報データベースＤ５に、会場情報として、予め設定された複数の仮想音源の位置情報が格納される。具体的には、展示会場２に設置された各発信機４０の位置や、展示物３の位置等が、仮想音源の位置として設定される。或いは、ある発信機４０と隣の発信機４０との間に設定された特定のルートを、移動可能な仮想音源の位置として設定しても良い。
　図１３は、本実施形態に係るサーバの機能の一例を示すブロック図である。サーバ（プロセッサ２１Ａ）が記憶部２２（図５参照）に記憶されたプログラムを実行することにより実現される機能部には、ユーザ情報管理部２１１、会場情報管理部２１２、音声データ選択部２１３、画面データ選択部２１４、ログ記録処理部２１５、及び集計部２１６に加え、位置及び向き算出部２１７並びに音声データ加工部２１８が含まれる。このうち、ユーザ情報管理部２１１～集計部２１６の機能については、上記第１の実施形態と同様である。
　位置及び向き算出部２１７は、携帯端末１０から送信されたビーコンＩＤ及び端末ＩＤに基づき、当該携帯端末１０を携帯しているユーザの位置及びユーザの顔の向きを算出する。
　音声データ加工部２１８は、ユーザ（携帯端末１０）の位置に応じて音声データ選択部２１３により選択された音声データを、仮想音源の位置とユーザの位置及び顔の向きとの関係に応じて、ステレオフォニック再生するための音声データに加工する。詳細には、音声データ加工部２１８は、ユーザの位置に応じた仮想音源を抽出し、恰もその仮想音源の方向から音声が聞こえてくるかのようにユーザが認識するように、右耳用の音声データと左耳用の音声データとを生成する。なお、仮想音源としては、ユーザの位置に最も近い仮想音源を抽出しても良いし、選択された音声データと紐付けられた固定位置の仮想音源を抽出しても良い。
　４－２．第２の実施形態の動作
　本発明の第２の実施形態に係る音声情報提供システムの動作は、全体として、上記第１の実施形態（図８及び図９参照）と同様であり、図８のステップＳ１３及びＳ１５における携帯端末１０の詳細な動作、並びに、図９のステップＳ２５及びＳ２７におけるサーバ２０の詳細な動作の上記第１の実施形態と異なる。
　即ち、携帯端末１０がビーコンを受信すると（図８のステップＳ１２：Ｙｅｓ）、携帯端末１０は、受信したビーコンに重畳されたビーコンＩＤを抽出し、自身の端末ＩＤ及び抽出したビーコンＩＤに加え、ビーコンの受信強度をサーバ２０に送信する（ステップＳ１３）。この際、携帯端末１０は、複数の発信機４０から発信されたビーコンを受信すると、複数のビーコンＩＤ及びそれぞれのビーコンの受信強度をサーバ２０に送信する。
　サーバ２０が携帯端末１０から端末ＩＤ及びビーコンＩＤに加え、ビーコンの受信強度を受信すると（図９のステップＳ２４：Ｙｅｓ）、サーバ２０は、携帯端末１０の位置（即ち、携帯端末１０を携帯するユーザの位置）に加え、ユーザの顔の向きを算出する。詳細には、サーバ２０は、複数のビーコンＩＤに基づき、携帯端末１０が受信したビーコンを発信した複数の発信機４０を特定すると共に、ビーコンの受信強度から、各発信機４０から携帯端末１０までの距離を算出する。そして、サーバ２０は、複数の発信機４０の位置及び距離に基づいて、ユーザの位置を算出する。また、サーバ２０は、所定の時間ごとにユーザの位置を複数回算出することにより、ユーザの位置の変化を表すベクトルを算出し、このベクトルの方向を、ユーザが顔を向けている方向と推定する。
　ユーザ（携帯端末１０）が展示会場２内にいる場合（ステップＳ２６：Ｙｅｓ）、サーバ２０は、記憶部２２に記憶された音声データの中から、ユーザの位置に応じた音声データを選択し、この音声データをステレオフォニック再生するための音声データに加工して、携帯端末１０に送信する（ステップＳ２７）。詳細には、サーバ２０は、ユーザの位置に応じて抽出された仮想音源の位置とユーザの位置及び向きとの関係に応じて、恰も仮想音源の方向から音声が聞こえるかのようにユーザが認識するように、右耳用の音声データと左耳用の音声データとを生成する。音声データの加工処理においては、左右の耳と仮想音源との距離に応じて左右の音声データ間に遅延を設けるバイノーラルアルゴリズム等、公知の手法を用いることができる。この際、サーバ２０は、ユーザの位置及び向きの変化や、仮想音源が移動する場合には仮想音源の位置の変化に応じて、音声データをリアルタイムに加工する。
　携帯端末１０が音声データを受信すると（図８のステップＳ１４：Ｙｅｓ）、携帯端末１０は、受信した音声データに基づいて音声を再生する（ステップＳ１５）。この際、携帯端末１０は、右耳用の音声データに基づき右耳用の音声出力部から音声を出力させると共に、左耳用の音声データに基づき左耳用の音声出力部から音声を出力させる。それにより、ユーザは、ヘッドホン又はイヤホンを装着しながらも、恰も特定の方向に位置する音源から音声が流れてきたかのように認識することができる。
　このような第２の実施形態によれば、ユーザは、よりリアリティのある音声情報を受け取ることができる。
　４－３．変形例その１
　ユーザの位置及び向きを検出する方法としては、上記第２の実施形態において説明した方法に限定されず、種々の手法を用いることができる。
　一例として、無線信号（ビーコン）を発信するタグと、該タグから発信された無線信号を検出し、タグの位置情報を出力するリーダとを含む構成される測位システムを用いて、ユーザの位置及び向きを検出しても良い。具体的には、ユーザが装着するヘッドホン又はイヤホンの左右の各々の側にタグを取り付けると共に、会場の天井等にリーダを設置しておく。ユーザがヘッドホン又はイヤホンを装着して会場内を移動すると、リーダは、タグから発信された無線信号を検出し、ヘッドホン又はイヤホンの左右の位置情報を出力する。サーバ２０は、このヘッドホン又はイヤホンの左右の位置情報を、当該ヘッドホン又はイヤホンと接続された携帯端末１０の携帯ＩＤと紐付けると共に、左右の位置情報から、ユーザの顔の高さ及び向きを推定する。この場合、ユーザの位置に加え、ユーザの顔の高さ及び向きを高精度で測定することができる。タグ及びリーダを含む測位システムとしては、例えばＱｕｕｐｐａ　Ｏｙ社のシステム「Ｑｕｕｐｐａ（登録商標）」等が挙げられる。
　別の例として、当該音声情報提供システムが適用される場所（例えば展示会場２）に複数のカメラを設置し、複数のカメラにより撮影された画像から、ユーザの位置並びに顔の高さ及び向きを検出しても良い。
　４－４．変形例その２
　上記第２の実施形態においては、ユーザは音声情報を受け取るのみであるが、ユーザのジェスチャが音声情報にフィードバックされるようにしても良い。即ち、携帯端末１０が、センサ部１８として設けられたジャイロセンサや加速度センサにより、携帯端末１０を携帯するユーザの運動（移動速度、回転速度等）や姿勢（傾き）を検出し、この運動や姿勢を表す情報をサーバ２０に送信する。サーバ２０は、ユーザの運動や姿勢に応じた音声情報を表す音声データを、ステレオフォニック再生するための音声データに加工し、携帯端末１０に送信する。携帯端末１０が、サーバ２０から受信した音声データに基づく音声を再生すると、ユーザは、恰も、自身のジェスチャにより音声が発生したかのように認識することができる。具体的には、ユーザが特定の場所でジャンプをすると、床から弾むような音が聞こえる、といった例が挙げられる。音声情報としては、複数のユーザ間で共通であっても良いし、ユーザごとに異なっていても良い。
　４－５．変形例その３
　上記第２の実施形態においては、ユーザの位置に応じた音声情報を個別に送信することとしたが、複数のユーザに対して共通の音声情報を一斉に送信するようにしても良い。例えば、特定の仮想音源と紐付けられた共通の音声データを、複数のユーザに対して同時に、各ユーザの位置及び向きに応じた音声データに加工した上で送信しても良い。それにより、複数のユーザに同じ体験を共有させることができる。
　以上説明した実施形態は、本発明を説明するための一例であり、本発明をその実施形態に限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、様々な変形が可能である。例えば、当業者であれば、実施形態で述べたリソース（ハードウェア資源又はソフトウェア資源）を均等物に置換することが可能であり、そのような置換も本発明の範囲に含まれる。

Claims (15)

  1. 　所定の範囲内に所定の強度を有する無線信号を発信する発信機であって、当該発信機の識別情報である信号ＩＤを前記無線信号に重畳して発信する複数の発信機と、
    　前記発信機から発信された前記無線信号を受信可能な受信デバイスと、通信ネットワークを介して情報を送受信するための通信インタフェースと、音声データに基づいて音声を再生する音声出力デバイスと、を有する携帯端末と、
    　前記携帯端末と前記通信ネットワークを介して接続された音声情報提供装置と、
    を備え、
    　前記携帯端末は、前記複数の発信機のいずれかから発信された前記無線信号を受信した場合に、当該携帯端末の識別情報である端末ＩＤを前記信号ＩＤと共に前記音声情報提供装置に送信し、
    　前記音声情報提供装置は、前記携帯端末から前記端末ＩＤ及び前記信号ＩＤを受信した場合に、前記端末ＩＤ及び前記信号ＩＤに応じた音声データを前記携帯端末に送信し、
    　前記携帯端末は、前記発信機から前記信号ＩＤが重畳された前記無線信号を受信している間、前記音声情報提供装置から送信された前記音声データに基づく音声を再生する、
    音声情報提供システム。
  2. 　前記音声情報提供装置は、
    　前記発信機が設置された場所に関連する複数種類の音声データを格納する音声データ記憶部と、
    　前記信号ＩＤに基づき、前記携帯端末を携帯するユーザの位置及び該ユーザの顔の向きを算出する位置及び向き算出部と、
    　前記位置及び向き算出部により算出された前記ユーザの位置に基づき、前記複数種類の音声データのうちから、前記ユーザの位置に応じた音声データを選択する音声データ選択部と、
    　前記音声データ選択部により選択された音声データを、予め設定された仮想的な音源の位置と前記ユーザの位置及び該ユーザの顔の向きとの関係に応じて、ステレオフォニック再生するための音声データに加工する音声データ加工部と、
    を有し、
    　前記音声情報提供装置は、前記音声データ加工部により加工された音声データを前記携帯端末に送信し、
    　前記携帯端末は、前記加工された音声データに基づき、ステレオフォニック再生を行う、請求項１に記載の音声情報提供システム。
  3. 　前記携帯端末は、前記複数の発信機のうち２つ以上の発信機から発信された無線信号を受信した場合に、該２つ以上の発信機の信号ＩＤを前記音声情報提供装置に送信し、
    　前記位置及び向き算出部は、前記２つ以上の発信機の信号ＩＤに基づいて、前記ユーザの位置及び該ユーザの顔の向きを算出する、請求項２に記載の音声情報提供システム。
  4. 　前記音声出力デバイスは、右耳に装着される第１音声出力部と、左耳に装着される第２音声出力部とが設けられたヘッドホン又はイヤホンであり、前記第１及び第２音声出力部の各々に、無線信号を発信するタグが設けられ、
    　前記タグから発信された無線信号を検出し、前記タグの位置情報を出力するリーダをさらに備え、
    　前記位置及び向き算出部は、前記リーダから出力された前記タグの位置情報に基づいて、前記ユーザの位置及び該ユーザの顔の向きを推定する、
    請求項２に記載の音声情報提供システム。
  5. 　前記音声情報提供装置は、
    　前記発信機が設置された場所に関連する複数種類の音声データを格納する音声データ記憶部と、
    　前記携帯端末を携帯するユーザに関する情報を前記端末ＩＤと関連付けて格納するデータベースと、
    　前記携帯端末から前記端末ＩＤ及び前記信号ＩＤを受信した場合に、前記端末ＩＤに基づいて、前記複数種類の音声データのうち、前記ユーザに関する情報に応じた音声データを選択して前記携帯端末に送信する音声データ選択部と、
    を有する請求項１に記載の音声情報提供システム。
  6. 　前記携帯端末は、前記発信機から前記無線信号を受信している間、前記音声情報提供装置に向け、前記端末ＩＤ及び前記信号ＩＤを所定の周期で前記音声情報提供装置に送信し、
    　前記音声情報提供装置は、前記端末ＩＤ及び前記信号ＩＤの受信ログを記録し、前記携帯端末が前記無線信号を受信していたトータルの時間、又は前記信号ＩＤに基づく位置情報を集計する、
    請求項５に記載の音声情報提供システム。
  7. 　前記携帯端末は、前記発信機からの前記無線信号の受信を開始した際に、前記端末ＩＤ及び前記信号ＩＤと共に、前記無線信号の受信を開始した旨を表す情報を前記音声情報提供装置に送信し、前記無線信号の受信を終了した際に、前記端末ＩＤ及び前記信号ＩＤと共に、前記無線信号の受信を終了した旨を表す情報を前記音声情報提供装置に送信し、
    　前記音声情報提供装置は、前記無線信号の受信を開始した旨を表す情報及び前記無線信号の受信を終了した旨を表す情報の受信ログを記録し、前記携帯端末が前記無線信号を受信していたトータルの時間、又は前記信号ＩＤに基づく位置情報を集計する、
    請求項５に記載の音声情報提供システム。
  8. 　前記音声情報提供装置は、前記端末ＩＤ及び前記信号ＩＤに応じた副音声用の音声データを前記携帯端末に送信し、
    　前記携帯端末は、前記副音声用の音声データに基づく音声を再生するか否かの設定を行う設定手段を有する、
    請求項１～７のいずれか１項に記載の音声情報提供システム。
  9. 　前記携帯端末は、さらに、ＧＰＳ信号を受信可能であり、
    　前記携帯端末は、受信したＧＰＳ信号に関する情報を前記端末ＩＤと共に前記音声情報提供装置に送信し、
    　前記音声情報提供装置は、前記携帯端末から前記ＧＰＳ信号に関する情報及び前記端末ＩＤを受信した場合に、前記ＧＰＳ信号に関する情報に基づいて前記携帯端末の位置を特定すると共に、該位置及び前記端末ＩＤに応じた音声情報を前記携帯端末に送信する、
    請求項１、５～８のいずれか１項に記載の音声情報提供システム。
  10. 　前記音声情報提供装置は、
    　前記携帯端末が所定のエリア内にいる際に、前記受信ログを記録し、
    　前記携帯端末が前記所定のエリアから脱出する際に、前記受信ログに基づいて前記音声データ記憶部から音声データを選択し、ノベルティとして前記携帯端末に送信する提供部をさらに有する、
    　請求項６又は７に記載の音声情報提供システム。
  11. 　前記提供部は、
    　前記受信ログを解析し、前記携帯端末が前記無線信号を受信した順番、又は受信した時間に基づいて、音声データを選択する、
    請求項１０に記載の音声情報提供システム。
  12. 　前記音声情報提供装置は、
    　複数の前記携帯端末それぞれから前記端末ＩＤ及び前記信号ＩＤを受信して、前記複数の携帯端末ごとに前記受信ログを記録し、
    　前記複数の携帯端末それぞれの前記受信ログに基づいて、複数のユーザの動きを解析し、当該動きに基づいて、前記複数の携帯端末それぞれに前記音声データを送信する、
    請求項６乃至１１の何れか一項に記載の音声情報提供システム。
  13. 　通信ネットワークに接続された携帯端末に音声を再生させる音声情報提供システムにおいて用いられる音声情報提供装置であって、
    　前記音声情報提供システムは、所定の範囲内に所定の強度を有する無線信号を発信する発信機であって、当該発信機の識別情報である信号ＩＤを前記無線信号に重畳して発信する発信機を備え、
    　前記携帯端末は、前記発信機から発信された前記無線信号を受信可能な受信デバイスと、前記通信ネットワークを介して情報を送受信するための通信インタフェースと、音声データに基づいて音声を再生する音声出力デバイスと、有し、
    　複数種類の前記音声データを格納する音声データ記憶部と、
    　前記携帯端末から当該携帯端末の識別情報である端末ＩＤ及び前記信号ＩＤが送信された場合に、前記複数種類の音声データの中から前記端末ＩＤ及び前記信号ＩＤに応じた音声データを選択する音声データ選択部と、
    　前記音声データ選択部により選択された音声データを、前記通信ネットワークを介して前記携帯端末に送信する通信インタフェースと、
    を有する音声情報提供装置。
  14. 　通信ネットワークに接続された携帯端末に音声を再生させる音声情報提供システムにおいて、コンピュータに実行させるプログラムであって、
    　前記音声情報提供システムは、所定の範囲内に所定の強度を有する無線信号を発信する発信機であって、当該発信機の識別情報である信号ＩＤを前記無線信号に重畳して発信する発信機を備え、
    　前記携帯端末は、前記発信機から発信された前記無線信号を受信可能な受信デバイスと、前記通信ネットワークを介して情報を送受信するための通信インタフェースと、音声データに基づいて音声を再生する音声出力デバイスと、有し、
    　前記携帯端末から当該携帯端末の識別情報である端末ＩＤ及び前記信号ＩＤが送信された場合に、前記端末ＩＤ及び前記信号ＩＤを受信するステップ（ａ）と、
    　記憶部に予め格納された複数種類の音声データの中から、前記端末ＩＤ及び前記信号ＩＤに応じた音声データを選択するステップ（ｂ）と、
    　ステップ（ｂ）において選択された音声データを、前記通信ネットワークを介して前記携帯端末に送信するステップ（ｃ）と、
    を実行させるプログラム。
  15. 　通信ネットワークに接続された携帯端末に音声を再生させる音声情報提供システムにおいて、前記携帯端末に実行させるプログラムであって、
    　前記音声情報提供システムは、所定の範囲内に所定の強度を有する無線信号を発信する発信機であって、当該発信機の識別情報である信号ＩＤを前記無線信号に重畳して発信する発信機と、複数種類の音声データを格納する音声情報提供装置と、を備え、
    　前記携帯端末は、前記発信機から発信された前記無線信号を受信可能な受信デバイスを有し、
    　ユーザに該ユーザに関する情報を入力させるための画面を表示すると共に、入力された前記ユーザに関する情報を、当該携帯端末の識別情報である端末ＩＤと共に前記音声情報提供装置に送信するステップと、
    　前記発信機から発信された前記無線信号を受信した場合に、前記端末ＩＤ及び前記信号ＩＤを前記音声情報提供装置に送信するステップと、
    　前記音声情報提供装置において前記複数種類の音声データの中から前記端末ＩＤ及び前記信号ＩＤに応じて選択された音声データを受信するステップと、
    　受信した前記音声データに基づいて音声を再生するステップと、
    　前記発信機から発信された前記無線信号を受信しなくなった場合に、前記音声の再生を停止するステップと、
    を実行させるプログラム。
PCT/JP2019/001546 2018-01-18 2019-01-18 音声情報提供システム、音声情報提供装置、及びプログラム WO2019142926A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018006729 2018-01-18
JP2018-006729 2018-03-29

Publications (1)

Publication Number Publication Date
WO2019142926A1 true WO2019142926A1 (ja) 2019-07-25

Family

ID=67302338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001546 WO2019142926A1 (ja) 2018-01-18 2019-01-18 音声情報提供システム、音声情報提供装置、及びプログラム

Country Status (2)

Country Link
JP (1) JP2019126033A (ja)
WO (1) WO2019142926A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021153302A1 (ja) * 2020-01-31 2021-08-05 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022224586A1 (ja) * 2021-04-20 2022-10-27
EP4332872A1 (en) * 2021-04-30 2024-03-06 Sony Group Corporation Information processing device and information processing method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010044642A (ja) * 2008-08-14 2010-02-25 Fujifilm Corp コンテンツ配信サーバ及びコンテンツ配信方法
JP2014067264A (ja) * 2012-09-26 2014-04-17 Dainippon Printing Co Ltd 移動体端末、移動体端末の方法、情報カスタマイズサーバ、及び、プログラム
JP2015154246A (ja) * 2014-02-14 2015-08-24 株式会社Ｎｔｔドコモ サーバ装置、コンテンツの配信システム、コンテンツの配信方法及びプログラム
JP2016134139A (ja) * 2015-01-22 2016-07-25 富士機械製造株式会社 広告配信装置
JP2017033442A (ja) * 2015-08-05 2017-02-09 株式会社ニューロマジック 位置情報収集装置、感応型コンテンツ表示装置、位置情報管理サーバ、及びその方法
JP2017126130A (ja) * 2016-01-12 2017-07-20 株式会社リクルートホールディングス 接客支援システム、接客支援サーバおよびプログラム
WO2017195411A1 (ja) * 2016-05-10 2017-11-16 Ｌｉｎｅ株式会社 端末装置の制御方法、端末装置およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920071B2 (en) * 2006-05-26 2011-04-05 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method providing status and control of unmanned vehicles
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5802097B2 (ja) * 2011-09-29 2015-10-28 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 対象物の位置を検出するシステムおよび装置
EP3657822A1 (en) * 2015-10-09 2020-05-27 Sony Corporation Sound output device and sound generation method
JP6665379B2 (ja) * 2015-11-11 2020-03-13 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010044642A (ja) * 2008-08-14 2010-02-25 Fujifilm Corp コンテンツ配信サーバ及びコンテンツ配信方法
JP2014067264A (ja) * 2012-09-26 2014-04-17 Dainippon Printing Co Ltd 移動体端末、移動体端末の方法、情報カスタマイズサーバ、及び、プログラム
JP2015154246A (ja) * 2014-02-14 2015-08-24 株式会社Ｎｔｔドコモ サーバ装置、コンテンツの配信システム、コンテンツの配信方法及びプログラム
JP2016134139A (ja) * 2015-01-22 2016-07-25 富士機械製造株式会社 広告配信装置
JP2017033442A (ja) * 2015-08-05 2017-02-09 株式会社ニューロマジック 位置情報収集装置、感応型コンテンツ表示装置、位置情報管理サーバ、及びその方法
JP2017126130A (ja) * 2016-01-12 2017-07-20 株式会社リクルートホールディングス 接客支援システム、接客支援サーバおよびプログラム
WO2017195411A1 (ja) * 2016-05-10 2017-11-16 Ｌｉｎｅ株式会社 端末装置の制御方法、端末装置およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021153302A1 (ja) * 2020-01-31 2021-08-05 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
JP2019126033A (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
US11625157B2 (en) Continuation of playback of media content by different output devices
US11240624B2 (en) Information processing apparatus, information processing method, and program
CN102339626B (zh) 用于控制音乐播放的方法、系统及程序产品
CN105745602B (zh) 信息处理装置、信息处理方法和程序
CN108293171B (zh) 信息处理设备、信息处理方法以及存储介质
WO2019142926A1 (ja) 音声情報提供システム、音声情報提供装置、及びプログラム
US20140191872A1 (en) Information processing apparatus, information processing method, and program
US10243597B2 (en) Methods and apparatus for communicating with a receiving unit
CA2918732C (en) Multiple contact and/or sense promotional systems and methods
CN108781300A (zh) 用于基于网络状况推荐内容的方法、系统以及介质
US20190279250A1 (en) Audio content engine for audio augmented reality
US9762954B2 (en) System and method for streaming audio of a visual feed
US20200160378A1 (en) Content output system, terminal device, content output method, and recording medium
WO2020255767A1 (ja) 情報処理システム、情報処理方法、及び記録媒体
KR20160086717A (ko) 모바일 디바이스를 구부리는 사용자 입력에 따라 기설정된 서비스를 제공하는 방법 및 모바일 디바이스
JP6866215B2 (ja) システムおよび方法
JP2018093503A (ja) 音声コンテンツ再生イヤホン、方法、および、プログラム
US20160364756A1 (en) Method and apparatus for providing advertisement content and recording medium
WO2013042459A1 (ja) 携帯型情報機器、コンテンツ配信システム、コンテンツ関連情報提示方法およびコンテンツ関連情報提示プログラム
JP7043818B2 (ja) 情報処理方法及び情報処理装置
JP6884854B2 (ja) 音声提供装置、音声提供方法及びプログラム
JP6990042B2 (ja) 音声提供装置及び音声提供方法
JP6774683B2 (ja) コンテンツ配信装置、コンテンツ配信方法及びプログラム
JP6402589B2 (ja) 端末装置、端末装置の動作方法およびプログラム
KR20130002251A (ko) 개방형 ｓｎｓ 기반 실감형 원격 탐사 서비스 제공 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19740679

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19740679

Country of ref document: EP

Kind code of ref document: A1