WO2019044520A1 - 情報提供方法および情報提供装置 - Google Patents

情報提供方法および情報提供装置 Download PDF

Info

Publication number
WO2019044520A1
WO2019044520A1 PCT/JP2018/030407 JP2018030407W WO2019044520A1 WO 2019044520 A1 WO2019044520 A1 WO 2019044520A1 JP 2018030407 W JP2018030407 W JP 2018030407W WO 2019044520 A1 WO2019044520 A1 WO 2019044520A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
identification information
related information
character string
voice
Prior art date
Application number
PCT/JP2018/030407
Other languages
English (en)
French (fr)
Inventor
貴裕 岩田
優樹 瀬戸
Original Assignee
ヤマハ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ株式会社 filed Critical ヤマハ株式会社
Priority to JP2019519031A priority Critical patent/JP6614395B2/ja
Priority to CN201880052918.7A priority patent/CN111033461A/zh
Priority to EP18850263.7A priority patent/EP3678018A4/en
Publication of WO2019044520A1 publication Critical patent/WO2019044520A1/ja
Priority to US16/782,160 priority patent/US20200175988A1/en
Priority to US17/695,258 priority patent/US11790913B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition

Definitions

  • the present invention relates to a technology for providing information to a user.
  • Patent Document 1 a guide for reproducing commentary voice corresponding to code information transmitted from transmission means near each exhibit among a plurality of commentary sounds stored in advance in a playback unit carried by a user.
  • a system is disclosed.
  • the commentary sound previously stored in the reproduction unit is only selectively reproduced.
  • the present invention has an object to provide a user with a time series of a plurality of pieces of information corresponding to voices to be pronounced sequentially.
  • the information providing device is a related information that represents the content of each of a plurality of utterance voices pronounced sequentially to the first device.
  • the storage device in association with common identification information
  • one or more related information corresponding to the identification information Are transmitted to the communication device with respect to the second device.
  • An information providing apparatus stores related information representing the content of each of a plurality of utterance voices pronounced sequentially to the first device in association with common identification information in a storage device.
  • the communication device transmits, to the second device, one or more pieces of related information corresponding to the identification information.
  • a transmitting unit for transmitting.
  • FIG. 1 is a block diagram illustrating the configuration of a communication system 100 according to the first embodiment of the present invention.
  • the communication system 100 according to the first embodiment is a computer system for providing information to a user Ub in a facility such as a hall or a conference room (hereinafter referred to as a "providing facility").
  • the elements of the communication system 100 can communicate with each other via a communication network 200 including, for example, a mobile communication network or the Internet.
  • the voice reproduction device 10 (exemplary first device) is installed in the provision facility.
  • the voice reproduction device 10 is an acoustic system that picks up and emits a voice V (hereinafter referred to as “speech voice”) which the speaker Ua sequentially produces.
  • the user Ub is a listener of the lecture and carries the terminal device 50 and is located in the provision facility.
  • the terminal device 50 (exemplary second device) is, for example, a portable information terminal such as a mobile phone or a smartphone.
  • a guiding device such as a light bulletin board or an electronic signboard (for example, digital signage) installed in a provided facility may be used as the terminal device 50.
  • the following description focuses on one terminal device 50 for convenience.
  • FIG. 2 is a block diagram illustrating the configuration of the audio reproduction device 10.
  • the audio reproduction device 10 includes a control device 11, a storage device 12, a communication device 13, a sound collection device 14, a signal processing circuit 15, and a sound emission device 16.
  • An information terminal such as a tablet terminal or a personal computer, for example, is used as the audio reproduction device 10 in addition to the broadcast system installed in the provision facility.
  • the audio reproduction device 10 is realized not only by a single device but also by a plurality of devices (i.e., systems) which are configured separately from each other.
  • the sound collection device 14 is an acoustic device (microphone) that collects surrounding sound.
  • the speaker Ua produces the speech voice V to the sound collection device 14.
  • the sound collection device 14 picks up the speech voice V uttered by the speaker Ua, and generates a voice signal X representing the speech voice V.
  • the illustration of an A / D converter for converting the audio signal X generated by the sound collection device 14 from analog to digital is omitted for convenience.
  • the control device 11 is formed of, for example, a processing circuit such as a CPU (Central Processing Unit), and centrally controls each element of the audio reproduction device 10.
  • the storage device 12 stores a program executed by the control device 11 and various data used by the control device 11.
  • a known recording medium such as a semiconductor recording medium or a magnetic recording medium, or a combination of plural kinds of recording mediums is suitably used as the storage device 12.
  • the control device 11 of the first embodiment generates the identification information D by executing the program stored in the storage device 12.
  • the identification information D is information for identifying a time series of a plurality of speech voices V pronounced in the provision facility. For example, separate identification information D is given to each lecture.
  • the method of generating the identification information D is arbitrary.
  • the control device 11 generates identification information D including the time when the operation of the audio reproduction device 10 is started or a random number having a predetermined number of digits.
  • the identification information D may be a combination of the identification information uniquely assigned to the audio reproduction device 10 and the above-described time or random number. Since the lecture held in the provision facility is composed of a time series of a plurality of speech voices V, the identification information D is also referred to as information for identifying the lecture or the provision institution.
  • the communication device 13 communicates with other devices via the communication network 200 under the control of the control device 11.
  • the communication device 13 according to the first embodiment transmits the voice signal X collected by the sound collection device 14 to the voice recognition device 20, and transmits the identification information D generated by the control device 11 to the information providing device 40.
  • the signal processing circuit 15 generates an acoustic signal Za representing a mixed sound of the speech voice V and an acoustic component representing the identification information D.
  • the signal processing circuit 15 of the first embodiment includes a modulation processing unit 151 and a mixing processing unit 152.
  • the control device 11 may realize at least a part of the functions of the signal processing circuit 15.
  • the modulation processing unit 151 generates a modulation signal Y that represents the identification information D generated by the control device 11 as an acoustic component. Specifically, the modulation processing unit 151 performs modulation processing by modulation processing such as amplitude modulation or frequency modulation that modulates a carrier wave of a predetermined frequency with the identification information D, or diffusion modulation of the identification information D using a spread code, for example. Generate Y
  • the frequency band of the acoustic component representing the identification information D is, for example, a frequency band in which reproduction by the sound emission device 16 is possible, and a range exceeding the frequency band of sound that the user Ub listens in a normal environment (for example, 18 kHz Or more and 20 kHz or less).
  • the mixing processing unit 152 in FIG. 3 generates an acoustic signal Za by mixing (for example, adding) the audio signal X generated by the sound collection device 14 and the modulation signal Y generated by the modulation processing unit 151.
  • the acoustic signal Za is a signal representing a mixed sound of the speech voice V uttered by the speaker Ua and the sound representing the identification information D.
  • the illustration of a D / A converter for converting the acoustic signal Za from digital to analog is omitted for convenience.
  • the sound output device 16 (for example, a speaker device) of FIG. 2 reproduces the sound represented by the sound signal Za generated by the signal processing circuit 15.
  • the sound emitting device 16 functions as an acoustic device for reproducing the speech voice V uttered by the utterer Ua, and also uses the sound wave as air vibration as a transmission medium. It also functions as a transmitter that transmits the identification information D to the surroundings by communication. That is, in the first embodiment, the identification information D is transmitted to the surroundings by acoustic communication in which the sound of the identification information D is emitted from the sound emitting device 16 that emits the utterance voice V. Therefore, there is an advantage that a transmitter dedicated to transmission of the identification information D is unnecessary. In addition, there is also an advantage that the range in which the identification information D is transmitted can be easily limited by the installation of a sound insulator. There is also an advantage that one-to-many information transmission can be easily realized in lectures and the like.
  • voice reproduction apparatus 10 is arbitrary.
  • the voice reproduction device 10 may transmit the identification information D for each pronunciation of the utterance voice V by the speaker Ua, or the voice reproduction device 10 identifies in a predetermined cycle regardless of the presence or absence of the speech by the speaker Ua.
  • Information D may be transmitted.
  • the identification information D is transmitted from the voice reproduction device 10 at a plurality of different time points on the time axis so that the information is also provided to the terminal device 50 of the user Ub who visited the provided facility in the middle of the lecture. Configuration is preferred.
  • the voice recognition device 20 of FIG. 1 receives the voice signal X transmitted from the voice reproduction device 10 from the communication network 200.
  • the speech recognition apparatus 20 executes a speech recognition on the speech signal X to specify a character string (hereinafter referred to as “recognized character string”) W representing the content of the speech speech V (for example, the web Server).
  • a character string hereinafter referred to as “recognized character string” W representing the content of the speech speech V (for example, the web Server).
  • known techniques such as recognition processing using an acoustic model such as a Hidden Markov Model (HMM) and a language model indicating linguistic constraints are arbitrarily adopted. Be done.
  • HMM Hidden Markov Model
  • the machine translation apparatus 30 generates a plurality of related information R representing the content of the speech V in different languages (for example, Japanese, English and Chinese) by machine translation of the recognized character string W specified by the speech recognition apparatus 20. Do.
  • Known techniques can be arbitrarily adopted for machine translation by the machine translation device 30. For example, using rule-based machine translation that converts word order and words by referring to the result of parsing of recognition string W and linguistic rules, or using a statistical model that expresses statistical tendency of language Statistical machine translation that translates the recognized character string W into another language is used to generate related information R.
  • the related information R of the first embodiment is generated by speech recognition and machine translation for the speech V.
  • the information providing device 40 is a computer system (for example, a web server) that provides the terminal device 50 in the providing facility with the related information R generated by speech recognition and machine translation.
  • FIG. 4 is a block diagram illustrating the configuration of the information providing device 40. As shown in FIG. As illustrated in FIG. 4, the information providing device 40 of the first embodiment includes a control device 41, a storage device 42, and a communication device 43. The information providing device 40 is realized not only by a single device but also by a plurality of devices (i.e., systems) configured separately from each other.
  • the control device 41 is formed of, for example, a processing circuit such as a CPU, and centrally controls each element of the information providing device 40.
  • the storage device 42 stores a program executed by the control device 41 and various data used by the control device 41.
  • a known recording medium such as a semiconductor recording medium or a magnetic recording medium, or a combination of plural kinds of recording mediums is suitably used as the storage device 42.
  • the storage device 42 may be installed separately from the information providing device 40, and the control device 41 may execute writing and reading to the storage device 42 via the communication network 200. That is, the storage device 42 can be omitted from the information providing device 40.
  • the control device 41 (exemplary control unit) according to the first embodiment reproduces the related information R representing the content of each of a plurality of utterance voices V which the speaker Ua produces in order with respect to the voice reproduction device 10 It stores in the storage device 42 in association with the common identification information D generated by the control device 11 of the device 10. Specifically, as illustrated in FIG. 5, a plurality of information sequences G corresponding to different languages are associated with common identification information D.
  • One information sequence G corresponding to an arbitrary language is a time series of a plurality of related information R obtained by machine-translating the recognized character string W of the speech V into the language.
  • a time series of a plurality of related information R generated from the utterance voice V which the speaker Ua has sequentially pronounced is stored in the storage device 42 for each of a plurality of different languages.
  • an actual communication system 100 includes a plurality of audio reproduction devices 10. Therefore, the storage device 42 stores, for each of the plurality of identification information D corresponding to the different provided facilities, a plurality of related information R corresponding to the speech voice V uttered in the provided facilities.
  • the communication device 43 of FIG. 4 communicates with another device (the audio reproduction device 10, the machine translation device 30, or the terminal device 50) via the communication network 200 under the control of the control device 41.
  • the communication device 43 according to the first embodiment transmits one or more pieces of related information R corresponding to the identification information D of the providing facility to the requesting terminal device 50 in response to a request from the terminal device 50 in the providing facility. .
  • FIG. 6 is a block diagram illustrating the configuration of the terminal device 50.
  • the terminal device 50 according to the first embodiment includes a control device 51, a storage device 52, a communication device 53, a sound collection device 54, a display device 55, and a sound emission device 56.
  • the sound collection device 54 is an acoustic device that collects surrounding sound. Specifically, the sound collection device 54 collects the sound reproduced by the sound output device 16 of the sound reproduction device 10, and generates an acoustic signal Zb representing the waveform of the sound.
  • the acoustic signal Zb includes the acoustic component of the identification information D.
  • the illustration of an A / D converter for converting the sound signal Zb generated by the sound collection device 54 from analog to digital is omitted for convenience.
  • the display device 55 is formed of, for example, a liquid crystal display panel, and displays various images under the control of the control device 51.
  • the control device 51 is formed of, for example, a processing circuit such as a CPU, and controls the elements of the terminal device 50 in an integrated manner.
  • the storage device 52 stores a program executed by the control device 51 and various data used by the control device 51.
  • a known recording medium such as a semiconductor recording medium or a magnetic recording medium, or a combination of plural kinds of recording mediums is optionally used as the storage device 52.
  • the control device 51 of the first embodiment extracts the identification information D from the acoustic signal Zb generated by the sound collection device 54. Specifically, the control device 51 executes filter processing for emphasizing a frequency band including the acoustic component of the identification information D in the acoustic signal Zb, and demodulation processing corresponding to modulation processing for the identification information D. Identification information D is extracted from the acoustic signal Zb.
  • the sound collection device 54 of the first embodiment is used not only for voice communication between the terminal devices 50 or for voice recording during moving image shooting, but also for transmitting sound waves as air vibration as transmission media. It also functions as a receiver that receives the identification information D by acoustic communication.
  • the communication device 53 communicates with the information providing device 40 via the communication network 200 under the control of the control device 51. For example, the communication device 53 transmits a request for the related information R (hereinafter referred to as “information request”) to the information providing device 40.
  • the identification information D of the provided facility where the terminal device 50 is located, and the language (hereinafter referred to as "setting language") L set in the terminal device 50 are designated in the information request.
  • the setting language L is a language designated by the user Ub of the terminal device 50.
  • the communication device 53 causes the display device 55 to display the related information R transmitted from the information providing device 40 in response to the information request.
  • FIG. 7 is an explanatory diagram of an operation performed in the communication system 100 and an arbitrary one of the terminal devices 50 according to the first embodiment.
  • the control device 11 of the voice reproduction device 10 generates identification information D in response to an instruction from the speaker Ua as a trigger, and stores the identification information D in the storage device 12 (Sa0). For example, immediately after the start of the lecture, the process of step Sa0 is performed. After generation of the identification information D, the speaker Ua starts to pronounce the speech voice V.
  • the sound collection device 14 of the sound reproduction device 10 collects the speech sound V uttered by the utterer Ua and generates a sound signal X (Sa1).
  • the communication device 13 of the voice reproduction device 10 transmits the voice signal X to the voice recognition device 20 (Sa2) and the transmission of the identification information D to the information providing device 40 (Sa3) according to the instruction from the control device 11. Run.
  • the order of transmission of the audio signal X (Sa2) and transmission of the identification information D (Sa3) is arbitrary. Also, the audio signal X and the identification information D may be transmitted in parallel.
  • the voice recognition device 20 receives the voice signal X from the voice reproduction device 10, and generates a recognized character string W by voice recognition on the voice signal X (Sa4).
  • the recognized character string W is transmitted from the speech recognition device 20 to the machine translation device 30 (Sa5).
  • the machine translation device 30 receives the recognized character string W from the speech recognition device 20, and generates a plurality of related information R of different languages by machine translation of the recognized character string W (Sa6).
  • a plurality of related information R corresponding to one utterance voice V is transmitted from the machine translation apparatus 30 to the information providing apparatus 40 (Sa7).
  • the information providing device 40 associates the identification information D received from the voice reproduction device 10 with the plurality of related information R received from the machine translation device 30, and stores the information in the storage device 42 (Sa8).
  • the above processing (Sa1 to Sa8) is repeated for each pronunciation of the utterance voice V by the utterer Ua, whereby a time series (information sequence G) of a plurality of related information R representing the contents of the different utterance speech V is It is stored in the storage device 42 for each language in association with the common identification information D indicating the providing facility.
  • Each speech sound V is divided, for example, at a silent section where the volume falls below a threshold.
  • the utterance voice V may be divided in segment units such as words or sentences.
  • the device 40 may relay.
  • the speech signal X transmitted from the speech reproduction device 10 is indirectly transmitted to the speech recognition device 20 via the information provision device 40, and the recognized character string W generated by the speech recognition device 20 is transmitted via the information provision device 40. It is sent to the machine translation device 30 indirectly.
  • the signal processing circuit 15 of the audio reproduction device 10 that has transmitted the audio signal X and the identification information D generates an acoustic signal Za representing a mixed sound of the speech sound V and the acoustic component of the identification information D (Sb1). Then, the acoustic signal Za is supplied to the sound emitting device 16, so that the identification information D is transmitted to the surroundings by acoustic communication together with the reproduction of the speech voice V (Sb2).
  • the order of transmission of the audio signal X and the identification information D (Sa2, Sa3) and generation of the acoustic signal Za and sound emission (Sb1, Sb2) is arbitrary.
  • the communication device 13 may transmit the audio signal X and the identification information D after generation of the acoustic signal Za and execution of sound emission (Sb1, Sb2).
  • the sound collection device 54 of the terminal device 50 collects the reproduction sound by the sound emission device 16 of the sound reproduction device 10 to generate an acoustic signal Zb (Sb3).
  • the control device 51 of the terminal device 50 extracts the identification information D from the acoustic signal Zb (Sb4).
  • the communication device 53 of the terminal device 50 transmits an information request including the identification information D extracted from the acoustic signal Zb and the setting language L of the terminal device 50 to the information providing device 40 (Sb5). For example, the information request is repeatedly transmitted from the terminal device 50 at a predetermined cycle.
  • the control device 41 of the information providing device 40 is designated by the information request among the plurality of information sequences G corresponding to the identification information D designated by the information request.
  • the latest related information R in the information series G corresponding to the setting language L is retrieved from the storage device 42 (Sb6). That is, related information R corresponding to the combination of the identification information D and the setting language L is retrieved from the storage device 42.
  • the control device 41 causes the communication device 43 to transmit the related information R retrieved from the storage device 42 to the terminal device 50 of the request source (Sb7).
  • the control device 41 functions as an element (exemplary transmission unit) that causes the communication device 43 to transmit the related information R.
  • the terminal device 50 Although the latest one related information R among the plurality of related information R of the information series G corresponding to the combination of the identification information D and the setting language L is transmitted to the terminal device 50, the terminal device The related information R transmitted to 50 is not limited to the above examples. For example, all the existing related information R included in the information series G corresponding to the combination of the identification information D and the setting language L may be transmitted to the terminal device 50, or a predetermined number of related information in the information series G may be transmitted. R may be transmitted to the terminal device 50. Further, the related information R which has not been transmitted to the terminal device 50 may be selected from the plurality of related information R of the information sequence G and transmitted to the terminal device 50. As understood from the above description, in response to the information request from the terminal device 50 which has received the identification information D from the audio reproduction device 10, the information providing device 40 performs one or more pieces of related information R corresponding to the identification information D. Are transmitted to the terminal device 50.
  • the information providing device 40 transmits the related information R to the terminal device 50 every time the information request periodically transmitted from the terminal device 50 is received, the related information R is transmitted to the terminal device 50.
  • the time is not limited to the above examples.
  • the terminal device 50 may be registered in the information providing device 40 as a transmission destination of the related information R.
  • the information providing apparatus 40 transmits (pushes and distributes) the related information R to the terminal device 50 registered as the transmission destination of the related information R, for each pronunciation of the utterance voice V by the speaker Ua. That is, the terminal device 50 does not have to transmit the information request a plurality of times.
  • the control device 51 of the terminal device 50 causes the display device 55 to display the related information R (Sb8).
  • the display device 55 of the terminal device 50 displays, in time series, a plurality of related information R representing the content of the speech voice V uttered by the speaker Ua sequentially in the setting language L Ru.
  • the speaker Ua instructs the information providing device 40 to finish the process.
  • the control device 11 of the information providing device 40 deletes from the storage device 12 the identification information D continuously used in the current lecture from the start of the lecture (Sa0) (Sb9).
  • the time series of a plurality of related information R stored in the storage device 42 is determined.
  • the related information R representing the contents of the plurality of utterance voices V to be pronounced sequentially is stored in the storage device 42 in association with the common identification information D. Therefore, as illustrated in the first embodiment, it is possible to provide the terminal device 50 with a time series of a plurality of related information R (for example, the contents of a lecture) corresponding to the utterance voice V to be pronounced sequentially.
  • the time series of a plurality of related information R may be used as the minutes of the lecture.
  • the related information R is generated by speech recognition and machine translation for the uttered voice V, there is an advantage that the related information R representing the content of the uttered voice V in another language can be provided to the terminal device 50.
  • a plurality of pieces of related information R in which the speech voice V is expressed in different languages are generated, and among the plurality of pieces of related information R, the related information R corresponding to the setting language L of the terminal device 50 is the terminal device 50.
  • Sent to Therefore it is possible to provide the terminal device 50 with the related information R in which the content of the utterance voice V is expressed in a language (setting language L) that can be understood by the user Ub of the terminal device 50, for example.
  • Second Embodiment A second embodiment of the present invention will be described.
  • symbol used by description of 1st Embodiment is diverted and detailed description of each is abbreviate
  • FIG. 8 is an explanatory diagram of an operation performed in the communication system 100 and an arbitrary one of the terminal devices 50 according to the second embodiment. As illustrated in FIG. 8, in the second embodiment, steps Sa5 to Sa7 of the first embodiment are replaced with steps Sc1 to Sc5.
  • the recognized character string W specified by the speech recognition for the speech voice V by the speech recognition device 20 is transmitted to the information providing device 40 (Sc1).
  • a lookup table is stored in the storage device 42 of the information providing device 40.
  • the reference table is a data table in which, for each of a plurality of candidate character strings WC expressed in the same language as the utterance voice V, a plurality of registered character strings WR in which the candidate character strings WC are expressed in different languages are registered.
  • Each candidate character string WC is a character string expected to be pronounced by the speaker Ua as the speech voice V. That is, the speaker Ua arbitrarily selects one of the plurality of candidate character strings WC prepared in advance and pronounces it as the utterance voice V.
  • the utterer Ua utters the utterance voice V along a script in which a time series of the plurality of candidate character strings WC is described as the uttered content in the lecture.
  • the speaker Ua may pronounce the plurality of candidate character strings WC registered in the reference table in the order of registration.
  • the control device 41 of the information providing device 40 searches for a candidate character string WC similar to the recognized character string W among the plurality of candidate character strings WC registered in the reference table, and performs a plurality of registrations corresponding to the candidate character string WC. Identify the string WR (Sc2). That is, a plurality of registered character strings WR in which the candidate character strings WC similar to the recognized character string W are translated into different languages are specified. Specifically, the control device 41 calculates, for each of the plurality of candidate character strings WC, an index of similarity with the recognition character string W (hereinafter referred to as “similarity index”), and the similarity among the plurality of candidate character strings WC.
  • similarity index an index of similarity with the recognition character string W
  • a plurality of registered character strings WR corresponding to the candidate character string WC having the highest degree of similarity indicated by the index are identified. That is, a plurality of registered character strings WR in which the utterance voice V is translated into different languages are identified.
  • the candidate character string WC itself may also be used as the registered character string WR.
  • known indexes such as an edit distance (Levenshtein distance) for evaluating the similarity between a plurality of character strings are suitable as the similarity index.
  • the recognized character string W may include a portion that does not match the candidate character string WC (hereinafter referred to as “variable portion”).
  • a character string such as a proper noun which is difficult to estimate in advance the content of pronunciation by the speaker Ua is a typical example of the variable part.
  • the registered character string WR of each language does not include the translated sentence of the variable part. Therefore, the control device 11 of the information providing device 40 transmits a request for translation regarding the variable part of the recognized character string W (hereinafter referred to as "translation request") from the communication device 13 to the machine translation device 30 (Sc3).
  • the machine translation apparatus 30 executes machine translation for the variable part in response to the translation request from the information providing apparatus 40 (Sc4). Specifically, the machine translation device 30 generates a character string in which the variable part is expressed in a plurality of different languages.
  • the translation of the variable part is transmitted from the machine translation device 30 to the information providing device 40 (Sc5).
  • a registered character string WR obtained by translating a portion other than a variable part of the recognized character string W expressed in the first language into the second language, and the variable part are translated into the second language by machine translation.
  • the combination with the selected character string is used as the related information R. That is, as in the first embodiment, a plurality of pieces of related information R are generated in which the content of the utterance voice V is expressed in different languages.
  • the control device 11 of the information providing device 40 associates the identification information D received from the audio reproduction device 10 with the plurality of related information R generated in the above-described procedure, and causes the storage device 42 to correspond.
  • Store (Sa8) the identification information D received from the audio reproduction device 10 with the plurality of related information R generated in the above-described procedure, and causes the storage device 42 to correspond.
  • the above process is repeated for each pronunciation of the utterance voice V by the utterer Ua, so that the time series (information sequence G) of a plurality of related information R representing the contents of the different utterance speech V indicates the provision facility in common.
  • the time series (information sequence G) of a plurality of related information R representing the contents of the different utterance speech V indicates the provision facility in common.
  • the operation (Sb1 to Sb8) of transmitting the related information R from the information providing device 40 to the terminal device 50 and displaying the related information R on the display device 55 in response to the information request from the terminal device 50 is the same as that of the first embodiment.
  • the related information R includes the registered character string WR in which the candidate character string WC similar to the recognized character string W among the plurality of candidate character strings WC is expressed in another language. Therefore, there is an advantage that it is possible to generate the related information R representing an appropriate character string even when there is an erroneous recognition in the result of the speech recognition (recognition character string W) for the speech voice V. Further, the related information R includes a character string in which a variable portion different from the candidate character string WC in the recognized character string W is expressed in another language. Therefore, there is also an advantage that the related information R of various contents not limited to the candidate character string WC prepared in advance can be generated.
  • the user Ub who has listened to the utterance voice V reproduced from the sound emitting device 16 of the sound reproducing device 10 utters the terminal device 50.
  • the user Ub gives an opinion or a question to the speech voice V of the speaker Ua.
  • FIG. 10 is an explanatory diagram of operations executed in the communication system 100 and the terminal device 50 of the user Ub according to the third embodiment. For example, the operation of FIG. 10 is started in a state where the terminal device 50 receives the identification information D transmitted by the audio reproduction device 10 by acoustic communication.
  • the sound collection device 54 of the terminal device 50 collects the speech voice V uttered by the user Ub and generates a sound signal X (Sd1).
  • the communication device 53 of the terminal device 50 transmits the voice signal X to the voice recognition device 20 according to the instruction from the control device 51 (Sd2), and the information providing device 40 receives the identification information D received from the voice reproduction device 10.
  • Send to (Sd3) The order of transmission of the audio signal X (Sd2) and transmission of the identification information D (Sd3) is arbitrary. Also, the audio signal X and the identification information D may be transmitted in parallel.
  • the voice recognition device 20 receives the voice signal X from the terminal device 50, and generates a recognized character string W by voice recognition on the voice signal X (Sd4).
  • the recognized character string W is transmitted from the speech recognition device 20 to the machine translation device 30 (Sd5).
  • the machine translation apparatus 30 receives the recognized character string W from the speech recognition apparatus 20, and generates a plurality of related information R of different languages by machine translation for the recognized character string W (Sd6).
  • a plurality of related information R corresponding to the uttered voice V of the user Ub is transmitted from the machine translation device 30 to the information providing device 40 (Sd7).
  • the information providing device 40 stores the identification information D received from the terminal device 50 of the user Ub in association with the plurality of related information R received from the machine translation device 30 in the storage device 42 (Sd8). That is, the time series (information series G) of a plurality of related information R representing the content of the utterance voice V uttered by each of the speaker Ua and the user Ub is associated with the common identification information D indicating the providing facility It is stored in the storage unit 42 every time.
  • the operation of transmitting the related information R from the information providing device 40 to each terminal device 50 is the same as that of the first embodiment.
  • the related information R indicating the content of the utterance voice V uttered to the terminal device 50 of the user Ub is identification information together with the related information R corresponding to the utterance voice V of the speaker Ua. It is stored in the storage unit 42 in association with D. Therefore, it is possible to provide each terminal device 50 with a time series of a plurality of related information R corresponding to the utterance voice V which the speaker Ua and the user Ub have sequentially pronounced.
  • the terminal device 50 may be used as the audio reproduction device 10.
  • the terminal device 50 may be used as the audio reproduction device 10.
  • a plurality of users Ub talk i.e., talk freely
  • identification information D is transmitted from the specific terminal device 50 to each surrounding terminal device 50 by acoustic communication.
  • a plurality of related information R representing the content of the utterance voice V in different languages It is generated by the device 20 and the machine translation device 30 and stored in the storage device 42 of the information providing device 40 in association with the identification information D.
  • the time series (information series G) of a plurality of related information R representing the content of the utterance voice V of each user Ub is associated with the common identification information D, and for each language It is stored in the storage unit 42.
  • Each terminal device 50 receives the related information R corresponding to the setting language L of the terminal device 50 among the plurality of related information R expressed in different languages from the information providing device 40 and causes the display device 55 to display the related information R. . That is, the time series of the utterance voice V which the plurality of users Ub pronounced sequentially is displayed on the display device 55 in the setting language L.
  • each user Ub may be distinguished by using identification information for each terminal device 50 (hereinafter referred to as "terminal identification information").
  • the terminal identification information is, for example, identification information unique to the terminal device 50, or identification information provided in advance by the information providing device 40, for example.
  • the speaker Ua and each user Ub may be distinguished by the terminal identification information.
  • a configuration for distinguishing between the speaker Ua (speaker) and the set of the plurality of users Ub (listeners) is also assumed.
  • the related information R is displayed on the display device 55 of the terminal device 50, but the method of presenting the related information R to the user Ub of the terminal device 50 is not limited to the above example.
  • the related information R may be presented to the user Ub by reproducing the sound indicated by the related information R by the sound emitting device 56 of the terminal device 50.
  • a configuration in which the related information R represents speech or a configuration in which speech is generated by speech synthesis on a character string indicated by the related information R is assumed.
  • various information hereinafter referred to as "document image" such as materials of the lecture or images photographed in the lecture are provided from the information providing device 40 to each terminal device 50, and the document image is displayed together with the related information R. It may be displayed on 55.
  • data that can be prepared in advance such as a document image, may be stored in the terminal device 50 in advance.
  • the voice reproduction device 10 or the information provision device 40 may execute at least one of voice recognition for the uttered voice V and machine translation for the recognized character string W. Further, speech recognition and machine translation may be realized by a single device. That is, two or more devices constituting the communication system 100 may be integrated, or the functions of the respective devices constituting the communication system 100 may be distributed to a plurality of separate devices.
  • the machine translation by the machine translation apparatus 30 may be omitted.
  • the recognized character string W generated by speech recognition by the speech recognition apparatus 20 may be stored in the storage device 42 of the information providing apparatus 40 as the related information R.
  • the terminal device 50 is provided with the related information R representing a character string expressing the speech voice V in the same language. Therefore, by visually recognizing the related information R displayed on the display device 55 of the terminal device 50, it is possible for a deaf person having difficulty in listening to the utterance voice V to grasp the content of the utterance voice V.
  • the scene where the communication system 100 is used is not limited to the above illustration.
  • the communication system 100 exemplified in each of the above-described embodiments is used in various scenes such as international conferences, competitions, various courses, and the like.
  • a relation relating to the utterance content by a performer (utterer Ua)
  • the communication system 100 exemplified in each of the above embodiments may be used.
  • the identification information D is transmitted from the audio reproduction device 10 to the terminal device 50 by acoustic communication using sound waves as a transmission medium.
  • a communication method for transmitting the identification information D from the audio reproduction device 10 Is not limited to acoustic communication.
  • the identification information D may be transmitted from the audio reproduction device 10 to the terminal device 50 by wireless communication using electromagnetic waves such as radio waves or infrared rays as a transmission medium.
  • the sound output device 56 in each of the above-described embodiments is replaced with a communication device for wireless communication.
  • wireless communication such as Bluetooth (registered trademark) or WiFi (registered trademark) is suitable for transmission of the identification information D.
  • near-field wireless communication in which no communication network such as a mobile communication network intervenes is suitable for transmission of identification information D by the audio reproduction device 10, and acoustic communication using sound waves as a transmission medium And wireless communication using electromagnetic waves as a transmission medium are examples of near-field wireless communication.
  • the identification information D may be transmitted to the terminal device 50 by near field communication from a transmitter separate from the audio reproduction device 10. That is, the identification information D does not have to be the information transmitted from the audio reproduction device 10.
  • the information providing device 40 according to each of the above-described embodiments is realized by the cooperation of the control device 41 and the program as illustrated in each of the embodiments.
  • the program according to each of the above embodiments may be provided in a form stored in a computer readable recording medium and installed in the computer.
  • the recording medium is, for example, a non-transitory recording medium, and is preferably an optical recording medium (optical disc) such as a CD-ROM, but any known medium such as a semiconductor recording medium or a magnetic recording medium may be used. Recording media of the form Note that non-transitory recording media include any recording media except transient propagation signals, and do not exclude volatile recording media.
  • the program may be provided to the computer in the form of distribution via a communication network.
  • the information providing apparatus identifies in common the related information representing the contents of each of a plurality of speech sounds pronounced sequentially to the first apparatus.
  • the one or more pieces of related information corresponding to the identification information are stored in the second device.
  • the related information representing the content of each of the plurality of utterance voices pronounced sequentially is stored in the storage device in association with the common identification information. Therefore, it is possible to provide the second device with a time series of a plurality of pieces of related information corresponding to speech sounds that are to be pronounced sequentially.
  • the identification information is transmitted to the second device by acoustic communication in which a sound representing the identification information is emitted from the sound emission device in parallel with the generation of the utterance voice. Transmission to the communication device.
  • the identification information since the identification information is transmitted to the second device by acoustic communication using a sound emitting device that emits the uttered voice, there is an advantage that a transmitter dedicated to the transmission of the identification information is unnecessary. .
  • the range in which the identification information is transmitted can be easily limited by the installation of a sound insulator.
  • the identification information may be transmitted by acoustic communication using a sound emitting device that is separate from the sound emitting device that emits the uttered voice.
  • related information representing the content of the utterance voice uttered to the second device is stored in the storage device in association with the identification information.
  • the related information of the uttered voice uttered to the first device and the related information of the uttered voice uttered to the second device are stored in the storage device in association with the common identification information. Be done. Therefore, it is possible to provide a time series of a plurality of related information corresponding to the uttered voices uttered sequentially by a plurality of speakers.
  • the related information is generated by speech recognition for the speech and machine translation for a recognized character string specified by the speech recognition. Ru.
  • the related information is generated by speech recognition and machine translation for the speech. Therefore, for example, it is possible to provide the second device with related information representing the content of the speech in another language.
  • different languages generated by speech recognition for the speech and machine translation for a recognized character string specified by the speech recognition.
  • a plurality of pieces of related information corresponding to each other in association with the identification information and stored in the storage device, and in response to a request from the second device, the second one of the plurality of pieces of related information corresponding to the different languages It causes the communication device to transmit related information corresponding to the setting language of the device to the second device.
  • a plurality of pieces of related information corresponding to different languages are generated by speech recognition and machine translation of the uttered voice, and among the plurality of pieces of related information, the related information corresponding to the setting language of the second device is the second device. Sent to Therefore, for example, it is possible to provide the second device with related information expressing the content of the speech in a language that can be understood by the user of the second device.
  • the related information is a recognized character string of a first language specified by speech recognition for the utterance voice among a plurality of candidate character strings And a character string in which a variable portion different from the candidate character string in the recognized character string is expressed in the second language.
  • the character string in which the candidate character string similar to the recognized character string specified in the speech recognition for the utterance voice among the plurality of candidate character strings is expressed in another language is included in the related information, Even if there is misrecognition in the recognition result, there is an advantage that related information representing an appropriate character string can be generated.
  • An information providing apparatus associates related information representing the contents of each of a plurality of utterance voices pronounced sequentially to the first apparatus with common identification information.
  • one or more related information corresponding to the identification information is transmitted to the second device And a transmission unit that causes the communication device to transmit.
  • related information representing the content of each of a plurality of utterance voices pronounced sequentially is stored in the storage device in association with common identification information. Therefore, it is possible to provide the second device with a time series of a plurality of pieces of related information corresponding to speech sounds that are to be pronounced sequentially.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

情報提供装置は、音声再生装置に対して順次に発音された複数の発話音声の各々の内容を表す関連情報を共通の識別情報に対応付けて記憶装置に格納し、音声再生装置から送信された識別情報を受信した端末装置からの要求に応じて、当該識別情報に対応する１以上の関連情報を当該端末装置に対して通信装置に送信させる。

Description

情報提供方法および情報提供装置
　本発明は、利用者に情報を提供する技術に関する。
　端末装置の利用者に各種の情報を提供する技術が従来から提案されている。例えば特許文献１には、利用者が携帯する再生ユニットに事前に記憶された複数の解説音声のうち、各展示物の近傍の送信手段から送信されたコード情報に対応する解説音声を再生する案内システムが開示されている。
特開平２－１９０８８８号公報
　特許文献１の技術のもとでは、再生ユニットに事前に記憶された解説音声が選択的に再生されるに過ぎない。しかし、例えば講演会において順次に発音される音声の内容を表す情報を利用者に提供できれば、音声の聴取が困難な難聴者が講演会での発話内容を把握できて便利である。以上の事情を考慮して、本発明は、順次に発音される音声に対応する複数の情報の時系列を利用者に提供することを目的とする。
　以上の課題を解決するために、本発明の好適な態様に係る情報提供方法は、情報提供装置が、第１装置に対して順次に発音された複数の発話音声の各々の内容を表す関連情報を共通の識別情報に対応付けて記憶装置に格納し、前記第１装置から送信された前記識別情報を受信した第２装置からの要求に応じて、当該識別情報に対応する１以上の関連情報を当該第２装置に対して通信装置に送信させる。
　本発明の好適な態様に係る情報提供装置は、第１装置に対して順次に発音される複数の発話音声の各々の内容を表す関連情報を共通の識別情報に対応付けて記憶装置に格納する制御部と、前記第１装置から送信された前記識別情報を受信した第２装置からの要求に応じて、当該識別情報に対応する１以上の関連情報を当該第２装置に対して通信装置に送信させる送信部とを具備する。
本発明の第１実施形態に係る通信システムの構成を示すブロック図である。 音声再生装置の構成を示すブロック図である。 信号処理回路の構成を示すブロック図である。 情報提供装置の構成を示すブロック図である。 情報提供装置の記憶装置における関連情報の記憶の説明図である。 端末装置の構成を示すブロック図である。 通信システムおよび端末装置の動作の説明図である。 第２実施形態における通信システムおよび端末装置の動作の説明図である。 第２実施形態における参照テーブルの模式図である。 第３実施形態における通信システムおよび端末装置の動作の説明図である。
＜第１実施形態＞
　図１は、本発明の第１実施形態に係る通信システム１００の構成を例示するブロック図である。第１実施形態の通信システム１００は、ホールまたは会議室等の施設（以下「提供施設」という）内の利用者Ｕbに情報を提供するためのコンピュータシステムであり、音声再生装置１０と音声認識装置２０と機械翻訳装置３０と情報提供装置４０とを具備する。通信システム１００の各要素は、例えば移動体通信網またはインターネット等を含む通信網２００を介して相互に通信可能である。
　音声再生装置１０（第１装置の例示）は、提供施設内に設置される。提供施設では、例えば発話者Ｕaが順次に発話する講演会が開催される。音声再生装置１０は、発話者Ｕaが順次に発音する音声（以下「発話音声」という）Ｖを収音および放音する音響システムである。利用者Ｕbは、講演会の受聴者であり、端末装置５０を携行して提供施設内に所在する。端末装置５０（第２装置の例示）は、例えば携帯電話機またはスマートフォン等の可搬型の情報端末である。なお、例えば提供施設に設置される電光掲示板または電子看板（例えばデジタルサイネージ）等の案内用の機器を、端末装置５０として利用してもよい。以下の説明では、便宜的に１個の端末装置５０に着目する。
　図２は、音声再生装置１０の構成を例示するブロック図である。図２に例示される通り、第１実施形態の音声再生装置１０は、制御装置１１と記憶装置１２と通信装置１３と収音装置１４と信号処理回路１５と放音装置１６とを具備する。提供施設に設置された放送システムのほか、例えばタブレット端末またはパーソナルコンピュータ等の情報端末が音声再生装置１０として利用される。なお、音声再生装置１０は、単体の装置で実現されるほか、相互に別体で構成された複数の装置（すなわちシステム）でも実現される。
　収音装置１４は、周囲の音響を収音する音響機器（マイクロホン）である。発話者Ｕaは、収音装置１４に対して発話音声Ｖを発音する。収音装置１４は、発話者Ｕaが発音した発話音声Ｖを収音し、当該発話音声Ｖを表す音声信号Ｘを生成する。なお、収音装置１４が生成した音声信号Ｘをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。
　制御装置１１は、例えばＣＰＵ（Central Processing Unit）等の処理回路で構成され、音声再生装置１０の各要素を統括的に制御する。記憶装置１２は、制御装置１１が実行するプログラムと制御装置１１が使用する各種のデータとを記憶する。例えば半導体記録媒体もしくは磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として好適に利用される。
　第１実施形態の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで識別情報Ｄを生成する。識別情報Ｄは、提供施設内で発音される複数の発話音声Ｖの時系列を識別するための情報である。例えば講演会毎に別個の識別情報Ｄが付与される。識別情報Ｄの生成の方法は任意である。例えば制御装置１１は、音声再生装置１０の動作が開始された時刻、または所定の桁数の乱数を含む識別情報Ｄを生成する。音声再生装置１０に固有に付与された識別情報に前述の時刻または乱数を組合わせて識別情報Ｄとしてもよい。提供施設内で開催される講演会は複数の発話音声Ｖの時系列で構成されるから、識別情報Ｄは、当該講演会または当該提供施設を識別するための情報とも換言される。
　通信装置１３は、制御装置１１による制御のもとで通信網２００を介して他装置と通信する。第１実施形態の通信装置１３は、収音装置１４が収音した音声信号Ｘを音声認識装置２０に送信するとともに、制御装置１１が生成した識別情報Ｄを情報提供装置４０に送信する。
　信号処理回路１５は、発話音声Ｖと識別情報Ｄを表す音響成分との混合音を表す音響信号Ｚaを生成する。図３に例示される通り、第１実施形態の信号処理回路１５は、変調処理部１５１と混合処理部１５２とを含んで構成される。なお、信号処理回路１５の少なくとも一部の機能を制御装置１１が実現してもよい。
　変調処理部１５１は、制御装置１１が生成した識別情報Ｄを音響成分として表す変調信号Ｙを生成する。具体的には、変調処理部１５１は、例えば所定の周波数の搬送波を識別情報Ｄにより変調する振幅変調もしくは周波数変調、または、拡散符号を利用した識別情報Ｄの拡散変調等の変調処理により変調信号Ｙを生成する。識別情報Ｄを表す音響成分の周波数帯域は、例えば、放音装置１６による再生が可能な周波数帯域であり、かつ、利用者Ｕbが通常の環境で聴取する音の周波数帯域を上回る範囲（例えば１８ｋＨｚ以上かつ２０ｋＨｚ以下）である。
　図３の混合処理部１５２は、収音装置１４が生成した音声信号Ｘと変調処理部１５１が生成した変調信号Ｙとを混合（例えば加算）することで音響信号Ｚaを生成する。以上の説明から理解される通り、音響信号Ｚaは、発話者Ｕaが発音した発話音声Ｖと識別情報Ｄを表す音響との混合音を表す信号である。なお、音響信号Ｚaをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。
　図２の放音装置１６（例えばスピーカ装置）は、信号処理回路１５が生成した音響信号Ｚaが表す音響を再生する。以上の説明から理解される通り、第１実施形態の放音装置１６は、発話者Ｕaが発音した発話音声Ｖを再生する音響機器として機能するほか、空気振動としての音波を伝送媒体とした音響通信により識別情報Ｄを周囲に送信する送信機としても機能する。すなわち、第１実施形態では、発話音声Ｖを放音する放音装置１６から識別情報Ｄの音響を放音する音響通信により当該識別情報Ｄが周囲に送信される。したがって、識別情報Ｄの送信に専用される送信機が不要であるという利点がある。また、識別情報Ｄが送信される範囲を遮音物の設置により容易に制限できるという利点もある。講演会等において１対多の情報伝達を容易に実現できるという利点もある。
　なお、音声再生装置１０による識別情報Ｄの送信の時期は任意である。例えば、発話者Ｕaによる発話音声Ｖの発音毎に音声再生装置１０が識別情報Ｄを送信してもよいし、発話者Ｕaによる発話の有無とは無関係に所定の周期で音声再生装置１０が識別情報Ｄを送信してもよい。ただし、講演会の途中で提供施設に来訪した利用者Ｕbの端末装置５０にも情報が提供されるように、時間軸上の相異なる複数の時点で識別情報Ｄが音声再生装置１０から送信される構成が好適である。
　図１の音声認識装置２０は、音声再生装置１０から送信された音声信号Ｘを通信網２００から受信する。第１実施形態の音声認識装置２０は、音声信号Ｘに対する音声認識を実行することで、発話音声Ｖの内容を表す文字列（以下「認識文字列」という）Ｗを特定するコンピュータシステム（例えばウェブサーバ）である。音声認識装置２０による音声認識には、例えば隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）等の音響モデルと、言語的な制約を示す言語モデルとを利用した認識処理等の公知の技術が任意に採用される。
　機械翻訳装置３０は、音声認識装置２０が特定した認識文字列Ｗに対する機械翻訳により、発話音声Ｖの内容を相異なる言語（例えば日本語，英語および中国語）で表す複数の関連情報Ｒを生成する。機械翻訳装置３０による機械翻訳には公知の技術が任意に採用され得る。例えば、認識文字列Ｗの構文解析の結果と言語的な規則とを参照して語順および単語を変換するルールベースの機械翻訳、または、言語の統計的な傾向を表現する統計モデルを利用して認識文字列Ｗを他言語に翻訳する統計的な機械翻訳が、関連情報Ｒの生成に利用される。以上の例示の通り、第１実施形態の関連情報Ｒは、発話音声Ｖに対する音声認識および機械翻訳により生成される。
　情報提供装置４０は、音声認識および機械翻訳により生成された関連情報Ｒを提供施設内の端末装置５０に提供するコンピュータシステム（例えばウェブサーバ）である。図４は、情報提供装置４０の構成を例示するブロック図である。図４に例示される通り、第１実施形態の情報提供装置４０は、制御装置４１と記憶装置４２と通信装置４３とを具備する。なお、情報提供装置４０は、単体の装置で実現されるほか、相互に別体で構成された複数の装置（すなわちシステム）でも実現される。
　制御装置４１は、例えばＣＰＵ等の処理回路で構成され、情報提供装置４０の各要素を統括的に制御する。記憶装置４２は、制御装置４１が実行するプログラムと制御装置４１が使用する各種のデータとを記憶する。例えば半導体記録媒体もしくは磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置４２として好適に利用される。なお、情報提供装置４０とは別体で記憶装置４２を設置し、通信網２００を介して制御装置４１が記憶装置４２に対する書込および読出を実行してもよい。すなわち、記憶装置４２は情報提供装置４０から省略され得る。
　第１実施形態の制御装置４１（制御部の例示）は、音声再生装置１０に対して発話者Ｕaが順次に発音する複数の発話音声Ｖの各々の内容を表す関連情報Ｒを、当該音声再生装置１０の制御装置１１が生成した共通の識別情報Ｄに対応付けて記憶装置４２に格納する。具体的には、図５に例示される通り、相異なる言語に対応する複数の情報系列Ｇが共通の識別情報Ｄに対応付けられる。任意の言語に対応する１個の情報系列Ｇは、発話音声Ｖの認識文字列Ｗを当該言語に機械翻訳した複数の関連情報Ｒの時系列である。すなわち、発話者Ｕaが順次に発音した発話音声Ｖから生成された複数の関連情報Ｒの時系列が、相異なる複数の言語の各々について記憶装置４２に記憶される。なお、図１においては１個の音声再生装置１０を便宜的に図示したが、実際の通信システム１００は複数の音声再生装置１０を具備する。したがって、記憶装置４２には、相異なる提供施設に対応する複数の識別情報Ｄの各々について、当該提供施設内で発音された発話音声Ｖに対応する複数の関連情報Ｒが記憶される。
　図４の通信装置４３は、制御装置４１による制御のもとで通信網２００を介して他装置（音声再生装置１０，機械翻訳装置３０または端末装置５０）と通信する。第１実施形態の通信装置４３は、提供施設内の端末装置５０からの要求に応じて、当該提供施設の識別情報Ｄに対応する１以上の関連情報Ｒを要求元の端末装置５０に送信する。
　図６は、端末装置５０の構成を例示するブロック図である。図６に例示される通り、第１実施形態の端末装置５０は、制御装置５１と記憶装置５２と通信装置５３と収音装置５４と表示装置５５と放音装置５６とを具備する。
　収音装置５４は、周囲の音を収音する音響機器である。具体的には、収音装置５４は、音声再生装置１０の放音装置１６が再生する音響を収音し、当該音響の波形を表す音響信号Ｚbを生成する。音響信号Ｚbは、識別情報Ｄの音響成分を含む。なお、収音装置５４が生成した音響信号Ｚbをアナログからデジタルに変換するＡ/Ｄ変換器の図示は便宜的に省略した。表示装置５５は、例えば液晶表示パネルで構成され、制御装置５１による制御のもとで各種の画像を表示する。
　制御装置５１は、例えばＣＰＵ等の処理回路で構成され、端末装置５０の各要素を統括的に制御する。記憶装置５２は、制御装置５１が実行するプログラムと制御装置５１が使用する各種のデータとを記憶する。例えば半導体記録媒体もしくは磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置５２として任意に利用される。
　第１実施形態の制御装置５１は、収音装置５４が生成した音響信号Ｚbから識別情報Ｄを抽出する。具体的には、制御装置５１は、音響信号Ｚbのうち識別情報Ｄの音響成分を含む周波数帯域を強調するフィルタ処理と、識別情報Ｄに対する変調処理に対応した復調処理とを実行することで、音響信号Ｚbから識別情報Ｄを抽出する。以上の説明から理解される通り、第１実施形態の収音装置５４は、端末装置５０の相互間の音声通話または動画撮影時の音声収録に利用されるほか、空気振動としての音波を伝送媒体とする音響通信で識別情報Ｄを受信する受信機としても機能する。
　通信装置５３は、制御装置５１による制御のもとで、通信網２００を介して情報提供装置４０と通信する。例えば、通信装置５３は、関連情報Ｒの要求（以下「情報要求」という）を情報提供装置４０に送信する。端末装置５０が所在する提供施設の識別情報Ｄと、端末装置５０において設定された言語（以下「設定言語」という）Ｌとが、情報要求では指定される。設定言語Ｌは、端末装置５０の利用者Ｕbが指定した言語である。また、通信装置５３は、情報要求に応じて情報提供装置４０から送信された関連情報Ｒを表示装置５５に表示させる。
　図７は、第１実施形態に係る通信システム１００と任意の１個の端末装置５０とにおいて実行される動作の説明図である。図７に例示される通り、音声再生装置１０の制御装置１１は、発話者Ｕaからの指示を契機として識別情報Ｄを生成して記憶装置１２に格納する（Ｓa0）。例えば講演会の開始の直後にステップＳa0の処理が実行される。識別情報Ｄの生成後に、発話者Ｕaは発話音声Ｖの発音を開始する。
　図７に例示される通り、音声再生装置１０の収音装置１４は、発話者Ｕaが発音した発話音声Ｖを収音して音声信号Ｘを生成する（Ｓa1）。音声再生装置１０の通信装置１３は、制御装置１１からの指示に応じて、音声認識装置２０に対する音声信号Ｘの送信（Ｓa2）と、情報提供装置４０に対する識別情報Ｄの送信（Ｓa3）とを実行する。なお、音声信号Ｘの送信（Ｓa2）と識別情報Ｄの送信（Ｓa3）との順序は任意である。また、音声信号Ｘと識別情報Ｄとを並行に送信してもよい。
　音声認識装置２０は、音声再生装置１０から音声信号Ｘを受信し、当該音声信号Ｘに対する音声認識により認識文字列Ｗを生成する（Ｓa4）。認識文字列Ｗは音声認識装置２０から機械翻訳装置３０に送信される（Ｓa5）。機械翻訳装置３０は、音声認識装置２０から認識文字列Ｗを受信し、当該認識文字列Ｗに対する機械翻訳により相異なる言語の複数の関連情報Ｒを生成する（Ｓa6）。１個の発話音声Ｖに対応する複数の関連情報Ｒが機械翻訳装置３０から情報提供装置４０に送信される（Ｓa7）。情報提供装置４０は、音声再生装置１０から受信した識別情報Ｄと、機械翻訳装置３０から受信した複数の関連情報Ｒとを対応させて記憶装置４２に格納する（Ｓa8）。以上の処理（Ｓa1～Ｓa8）が発話者Ｕaによる発話音声Ｖの発音毎に反復されることで、相異なる発話音声Ｖの内容を表す複数の関連情報Ｒの時系列（情報系列Ｇ）が、提供施設を示す共通の識別情報Ｄに対応付けて言語毎に記憶装置４２に記憶される。各発話音声Ｖは、例えば音量が閾値を下回る無音区間を境界として区分される。なお、単語または文章等の分節単位で発話音声Ｖを区分してもよい。
　なお、以上の説明では、音声再生装置１０と音声認識装置２０とが通信し、音声認識装置２０と機械翻訳装置３０とが通信する動作を例示したが、各要素間の情報の授受を情報提供装置４０が中継してもよい。例えば、音声再生装置１０から送信された音声信号Ｘが情報提供装置４０を介して間接的に音声認識装置２０に送信され、音声認識装置２０が生成した認識文字列Ｗが情報提供装置４０を介して間接的に機械翻訳装置３０に送信される。
　他方、音声信号Ｘと識別情報Ｄとを送信した音声再生装置１０の信号処理回路１５は、発話音声Ｖと識別情報Ｄの音響成分との混合音を表す音響信号Ｚaを生成する（Ｓb1）。そして、音響信号Ｚaが放音装置１６に供給されることで、発話音声Ｖの再生とともに識別情報Ｄが音響通信により周囲に送信される（Ｓb2）。音声信号Ｘおよび識別情報Ｄの送信（Ｓa2，Ｓa3）と音響信号Ｚaの生成および放音（Ｓb1，Ｓb2）との順序は任意である。例えば、音響信号Ｚaの生成および放音（Ｓb1，Ｓb2）の実行後に通信装置１３が音声信号Ｘおよび識別情報Ｄを送信してもよい。
　端末装置５０の収音装置５４は、音声再生装置１０の放音装置１６による再生音を収音して音響信号Ｚbを生成する（Ｓb3）。端末装置５０の制御装置５１は、音響信号Ｚbから識別情報Ｄを抽出する（Ｓb4）。端末装置５０の通信装置５３は、音響信号Ｚbから抽出した識別情報Ｄと当該端末装置５０の設定言語Ｌとを含む情報要求を情報提供装置４０に送信する（Ｓb5）。例えば、情報要求は、端末装置５０から所定の周期で反復的に送信される。
　端末装置５０から送信された情報要求を受信すると、情報提供装置４０の制御装置４１は、当該情報要求で指定された識別情報Ｄに対応する複数の情報系列Ｇのうち、情報要求で指定された設定言語Ｌに対応する情報系列Ｇにおける最新の関連情報Ｒを記憶装置４２から検索する（Ｓb6）。すなわち、識別情報Ｄと設定言語Ｌとの組合せに対応する関連情報Ｒが記憶装置４２から検索される。制御装置４１は、記憶装置４２から検索された関連情報Ｒを要求元の端末装置５０に対して通信装置４３に送信させる（Ｓb7）。以上の説明から理解される通り、制御装置４１は、通信装置４３に関連情報Ｒを送信させる要素（送信部の例示）として機能する。
　なお、以上の例示では、識別情報Ｄと設定言語Ｌとの組合せに対応した情報系列Ｇの複数の関連情報Ｒのうち最新の１個の関連情報Ｒを端末装置５０に送信したが、端末装置５０に送信される関連情報Ｒは以上の例示に限定されない。例えば、識別情報Ｄと設定言語Ｌとの組合せに対応した情報系列Ｇに含まれる既存の全部の関連情報Ｒを端末装置５０に送信してもよいし、情報系列Ｇ内の所定個の関連情報Ｒを端末装置５０に送信してもよい。また、情報系列Ｇの複数の関連情報Ｒのうち端末装置５０に対して未送信の関連情報Ｒを選択して当該端末装置５０に送信してもよい。以上の説明から理解される通り、情報提供装置４０は、音声再生装置１０から識別情報Ｄを受信した端末装置５０からの情報要求に応じて、当該識別情報Ｄに対応する１以上の関連情報Ｒを端末装置５０に送信する。
　なお、以上の説明では、端末装置５０から周期的に送信される情報要求の受信毎に情報提供装置４０が端末装置５０に関連情報Ｒを送信したが、端末装置５０に対する関連情報Ｒの送信の時期は以上の例示に限定されない。例えば端末装置５０から情報要求を受信した場合に、関連情報Ｒの送信先として当該端末装置５０を情報提供装置４０に登録してもよい。情報提供装置４０は、発話者Ｕaによる発話音声Ｖの発音毎に、関連情報Ｒの送信先として登録された当該端末装置５０に対して関連情報Ｒを送信（プッシュ配信）する。すなわち、端末装置５０が複数回にわたり情報要求を送信する必要はない。
　情報提供装置４０から送信された関連情報Ｒを受信すると、端末装置５０の制御装置５１は、当該関連情報Ｒを表示装置５５に表示させる（Ｓb8）。以上の動作が反復される結果、端末装置５０の表示装置５５には、発話者Ｕaが順次に発音した発話音声Ｖの内容を設定言語Ｌで表現した複数の関連情報Ｒが時系列に表示される。
　講演会が終了すると、発話者Ｕaは、情報提供装置４０に対して処理の終了を指示する。情報提供装置４０の制御装置１１は、講演会の開始時（Ｓa0）から今回の講演会で継続的に使用された識別情報Ｄを記憶装置１２から削除する（Ｓb9）。以上に説明した終了処理により、記憶装置４２に記憶された複数の関連情報Ｒの時系列（例えば講演会の議事録）が確定する。
　以上の説明から理解される通り、第１実施形態では、順次に発音される複数の発話音声Ｖの内容を表す関連情報Ｒが共通の識別情報Ｄに対応付けて記憶装置４２に格納される。したがって、第１実施形態の例示の通り、順次に発音される発話音声Ｖに対応する複数の関連情報Ｒの時系列（例えば講演会の内容）を端末装置５０に提供することが可能である。なお、複数の関連情報Ｒの時系列を講演会の議事録として利用してもよい。
　また、発話音声Ｖに対する音声認識および機械翻訳で関連情報Ｒが生成されるから、発話音声Ｖの内容を別言語で表す関連情報Ｒを端末装置５０に提供できるという利点がある。第１実施形態では特に、発話音声Ｖを相異なる言語で表現した複数の関連情報Ｒが生成され、複数の関連情報Ｒのうち端末装置５０の設定言語Ｌに対応する関連情報Ｒが端末装置５０に送信される。したがって、例えば端末装置５０の利用者Ｕbが理解できる言語（設定言語Ｌ）で発話音声Ｖの内容を表現した関連情報Ｒを端末装置５０に提供することができる。
＜第２実施形態＞
　本発明の第２実施形態を説明する。なお、以下に例示する各構成において作用または機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
　図８は、第２実施形態に係る通信システム１００と任意の１個の端末装置５０とにおいて実行される動作の説明図である。図８に例示される通り、第２実施形態では、第１実施形態のステップＳa5からステップＳa7がステップＳc1からステップＳc5に置換される。音声認識装置２０が発話音声Ｖに対する音声認識で特定した認識文字列Ｗは、情報提供装置４０に送信される（Ｓc1）。
　図９に例示される通り、情報提供装置４０の記憶装置４２には参照テーブルが記憶されている。参照テーブルは、発話音声Ｖと同じ言語で表現された複数の候補文字列ＷCの各々について、当該候補文字列ＷCを相異なる言語で表現した複数の登録文字列ＷRが登録されたデータテーブルである。各候補文字列ＷCは、発話者Ｕaが発話音声Ｖとして発音することが予想される文字列である。すなわち、発話者Ｕaは、事前に用意された複数の候補文字列ＷCの何れかを任意に選択して発話音声Ｖとして発音する。例えば、複数の候補文字列ＷCの時系列が講演会での発話内容として記載された台本に沿って発話者Ｕaが発話音声Ｖを発音する。なお、参照テーブルに登録された複数の候補文字列ＷCを発話者Ｕaが登録順に発音してもよい。
　情報提供装置４０の制御装置４１は、参照テーブルに登録された複数の候補文字列ＷCのうち認識文字列Ｗに類似する候補文字列ＷCを探索し、当該候補文字列ＷCに対応する複数の登録文字列ＷRを特定する（Ｓc2）。すなわち、認識文字列Ｗに類似する候補文字列ＷCを相異なる言語に翻訳した複数の登録文字列ＷRが特定される。具体的には、制御装置４１は、複数の候補文字列ＷCの各々について認識文字列Ｗとの類似度の指標（以下「類似指標」という）を算定し、複数の候補文字列ＷCのうち類似指標が示す類似度が最大となる候補文字列ＷC（すなわち、認識文字列Ｗに最も類似する候補文字列ＷC）に対応する複数の登録文字列ＷRを特定する。すなわち、発話音声Ｖを相異なる言語に翻訳した複数の登録文字列ＷRが特定される。なお、候補文字列ＷC自体も登録文字列ＷRとして利用してもよい。類似指標の種類は任意であるが、例えば複数の文字列の相互間における類似性を評価するための編集距離（レーベンシュタイン距離）等の公知の指標が類似指標として好適である。
　ただし、認識文字列Ｗには、候補文字列ＷCとは一致しない部分（以下「可変部分」という）が含まれる場合がある。例えば、発話者Ｕaによる発音の内容を事前に想定することが困難な固有名詞等の文字列が可変部分の典型例である。各言語の登録文字列ＷRには、可変部分の翻訳文は含まれていない。そこで、情報提供装置４０の制御装置１１は、認識文字列Ｗの可変部分に関する翻訳の要求（以下「翻訳要求」という）を通信装置１３から機械翻訳装置３０に送信する（Ｓc3）。機械翻訳装置３０は、情報提供装置４０からの翻訳要求に応じて可変部分に対する機械翻訳を実行する（Ｓc4）。具体的には、機械翻訳装置３０は、可変部分を相異なる複数の言語で表現した文字列を生成する。可変部分の翻訳文は機械翻訳装置３０から情報提供装置４０に送信される（Ｓc5）。
　第２実施形態では、第１言語で表現された認識文字列Ｗのうち可変部分以外の部分を第２言語に翻訳した登録文字列ＷRと、当該可変部分を機械翻訳により当該第２言語に翻訳した文字列との組合せが関連情報Ｒとして利用される。すなわち、第１実施形態と同様に、発話音声Ｖの内容を相異なる言語で表現した複数の関連情報Ｒが生成される。情報提供装置４０の制御装置１１は、第１実施形態と同様に、音声再生装置１０から受信した識別情報Ｄと、以上の手順で生成した複数の関連情報Ｒとを対応させて記憶装置４２に格納する（Ｓa8）。以上の処理が発話者Ｕaによる発話音声Ｖの発音毎に反復されることで、相異なる発話音声Ｖの内容を表す複数の関連情報Ｒの時系列（情報系列Ｇ）が、提供施設を示す共通の識別情報Ｄに対応付けて言語毎に記憶装置４２に記憶される。端末装置５０からの情報要求に応じて情報提供装置４０から当該端末装置５０に関連情報Ｒを送信して表示装置５５に表示させる動作（Ｓb1～Ｓb8）は、第１実施形態と同様である。
　第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、複数の候補文字列ＷCのうち認識文字列Ｗに類似する候補文字列ＷCを他言語で表現した登録文字列ＷRが関連情報Ｒに含まれる。したがって、発話音声Ｖに対する音声認識の結果（認識文字列Ｗ）に誤認識がある場合でも、適切な文字列を表す関連情報Ｒを生成できるという利点がある。また、認識文字列Ｗのうち候補文字列ＷCとは相違する可変部分を他言語で表現した文字列が関連情報Ｒに含まれる。したがって、事前に用意された候補文字列ＷCに限定されない多様な内容の関連情報Ｒを生成できるという利点もある。
＜第３実施形態＞
　本発明の第３実施形態を説明する。第３実施形態では、音声再生装置１０の放音装置１６から再生された発話音声Ｖを聴取した利用者Ｕbが端末装置５０に対して発音する。例えば、発話者Ｕaの発話音声Ｖに対して利用者Ｕbが意見または質問する場合が想定される。
　図１０は、第３実施形態に係る通信システム１００と利用者Ｕbの端末装置５０とにおいて実行される動作の説明図である。例えば、音声再生装置１０が音響通信により送信した識別情報Ｄを端末装置５０が受信した状態で図１０の動作が開始される。
　図１０に例示される通り、端末装置５０の収音装置５４は、利用者Ｕbが発音した発話音声Ｖを収音して音声信号Ｘを生成する（Ｓd1）。端末装置５０の通信装置５３は、制御装置５１からの指示に応じて、音声認識装置２０に音声信号Ｘを送信するとともに（Ｓd2）、音声再生装置１０から受信した識別情報Ｄを情報提供装置４０に送信する（Ｓd3）。なお、音声信号Ｘの送信（Ｓd2）と識別情報Ｄの送信（Ｓd3）との順序は任意である。また、音声信号Ｘと識別情報Ｄとを並行に送信してもよい。
　音声認識装置２０は、端末装置５０から音声信号Ｘを受信し、当該音声信号Ｘに対する音声認識により認識文字列Ｗを生成する（Ｓd4）。認識文字列Ｗは音声認識装置２０から機械翻訳装置３０に送信される（Ｓd5）。機械翻訳装置３０は、音声認識装置２０から認識文字列Ｗを受信し、当該認識文字列Ｗに対する機械翻訳により相異なる言語の複数の関連情報Ｒを生成する（Ｓd6）。利用者Ｕbの発話音声Ｖに対応する複数の関連情報Ｒが機械翻訳装置３０から情報提供装置４０に送信される（Ｓd7）。情報提供装置４０は、利用者Ｕbの端末装置５０から受信した識別情報Ｄと、機械翻訳装置３０から受信した複数の関連情報Ｒとを対応させて記憶装置４２に格納する（Ｓd8）。すなわち、発話者Ｕaおよび利用者Ｕbの各々が発音した発話音声Ｖの内容を表す複数の関連情報Ｒの時系列（情報系列Ｇ）が、提供施設を示す共通の識別情報Ｄに対応付けて言語毎に記憶装置４２に記憶される。情報提供装置４０から各端末装置５０に関連情報Ｒを送信する動作は第１実施形態と同様である。
　第３実施形態においても第１実施形態と同様の効果が実現される。また、第３実施形態では、利用者Ｕbの端末装置５０に対して発音された発話音声Ｖの内容を示す関連情報Ｒが、発話者Ｕaの発話音声Ｖに対応する関連情報Ｒとともに、識別情報Ｄに対応付けて記憶装置４２に格納される。したがって、発話者Ｕaおよび利用者Ｕbが順次に発音した発話音声Ｖに対応する複数の関連情報Ｒの時系列を各端末装置５０に提供することが可能である。
＜第３実施形態の変形例＞
　第３実施形態では、端末装置５０を音声再生装置１０として利用してもよい。例えば、複数の利用者Ｕbが自分の端末装置５０を利用して任意の内容で相互に会話（すなわち自由会話）する場合が想定される。会話が開始される段階では、特定の端末装置５０から音響通信により識別情報Ｄが周囲の各端末装置５０に送信される。各端末装置５０の利用者Ｕbが所望の言語（例えば当該利用者Ｕbの母国語）で発話音声Ｖを発音すると、当該発話音声Ｖの内容を相異なる言語で表す複数の関連情報Ｒが音声認識装置２０および機械翻訳装置３０により生成され、識別情報Ｄに対応付けて情報提供装置４０の記憶装置４２に格納される。以上の動作が反復されることで、各利用者Ｕbの発話音声Ｖの内容を表す複数の関連情報Ｒの時系列（情報系列Ｇ）が、共通の識別情報Ｄに対応付けて、言語毎に記憶装置４２に記憶される。各端末装置５０は、相異なる言語で表現された複数の関連情報Ｒのうち、当該端末装置５０の設定言語Ｌに対応する関連情報Ｒを情報提供装置４０から受信して表示装置５５に表示させる。すなわち、複数の利用者Ｕbが順次に発音した発話音声Ｖの時系列が設定言語Ｌで表示装置５５に表示される。
　なお、識別情報Ｄだけでは個々の利用者Ｕbを区別できない。したがって、端末装置５０毎の識別情報（以下「端末識別情報」という）を利用することで、各利用者Ｕbを区別してもよい。端末識別情報は、例えば端末装置５０に固有の識別情報、または、例えば情報提供装置４０により事前に付与された識別情報である。なお、第３実施形態ににおいても同様に、発話者Ｕaと各利用者Ｕbとを端末識別情報により区別してもよい。例えば、複数の利用者Ｕbの各々を区別する構成のほか、発話者Ｕa（講演者）と複数の利用者Ｕb（聴取者）の集合とを区別する構成も想定される。
＜変形例＞
　以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態では、端末装置５０の表示装置５５に関連情報Ｒを表示したが、関連情報Ｒを端末装置５０の利用者Ｕbに提示する方法は以上の例示に限定されない。例えば、関連情報Ｒが示す音声を端末装置５０の放音装置５６により再生することで関連情報Ｒを利用者Ｕbに提示してもよい。例えば、関連情報Ｒが音声を表す構成、または、関連情報Ｒが表す文字列に対する音声合成により音声を生成する構成が想定される。また、講演会の資料または講演会で撮影された画像等の各種の画像（以下「資料画像」という）を情報提供装置４０から各端末装置５０に提供し、関連情報Ｒとともに資料画像を表示装置５５に表示させてもよい。なお、資料画像等の事前に用意可能なデータは端末装置５０に事前に記憶されてもよい。
（２）発話音声Ｖに対する音声認識と、認識文字列Ｗに対する機械翻訳との少なくとも一方を、音声再生装置１０または情報提供装置４０が実行してもよい。また、音声認識と機械翻訳とを単体の装置により実現してもよい。すなわち、通信システム１００を構成する２以上の装置を一体に構成してもよいし、通信システム１００を構成する各装置の機能を別体の複数の装置に分散してもよい。
（３）機械翻訳装置３０による機械翻訳を省略してもよい。例えば、音声認識装置２０による音声認識で生成された認識文字列Ｗを関連情報Ｒとして情報提供装置４０の記憶装置４２に格納してもよい。以上の構成では、発話音声Ｖを同じ言語で表現した文字列を表す関連情報Ｒが端末装置５０に提供される。したがって、端末装置５０の表示装置５５に表示された関連情報Ｒを視認することで、発話音声Ｖの聴取が困難な難聴者が発話音声Ｖの内容を把握することが可能である。
（４）前述の各形態では、通信システム１００を講演会に利用する場合を例示したが、通信システム１００が利用される場面は以上の例示に限定されない。例えば、国際会議等の各種の会議、競技大会または各種の講座等の種々の場面において、前述の各形態で例示した通信システム１００が利用される。また、台詞が順次に発音される実演会（例えば演劇、ミュージカルもしくは歌舞伎）、または、楽曲が歌唱される実演会（例えばコンサートもしくはライブ）において、実演者（発話者Ｕa）による発話内容に関する関連情報Ｒを端末装置５０に提供するために、前述の各形態で例示した通信システム１００を利用してもよい。
（５）前述の各形態では、音波を伝送媒体とする音響通信で音声再生装置１０から端末装置５０に識別情報Ｄを送信したが、音声再生装置１０から識別情報Ｄを送信するための通信方式は音響通信に限定されない。例えば、電波または赤外線等の電磁波を伝送媒体とした無線通信で音声再生装置１０から端末装置５０に識別情報Ｄを送信してもよい。例えば、前述の各形態における放音装置５６が無線通信用の通信機器に置換される。具体的には、Bluetooth（登録商標）またはWiFi（登録商標）等の無線通信が識別情報Ｄの送信に好適である。以上の例示から理解される通り、音声再生装置１０による識別情報Ｄの送信には、移動体通信網等の通信網が介在しない近距離無線通信が好適であり、音波を伝送媒体とする音響通信と電磁波を伝送媒体とする無線通信とは、近距離無線通信の例示である。なお、音声再生装置１０とは別体の送信機から近距離無線通信で識別情報Ｄを端末装置５０に送信してもよい。すなわち、識別情報Ｄは、音声再生装置１０から送信された情報である必要はない。
（６）前述の各形態に係る情報提供装置４０は、各形態での例示の通り、制御装置４１とプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
（７）以上に例示した形態から、例えば以下の構成が把握される。
　本発明の好適な態様（第１態様）に係る情報提供方法は、情報提供装置が、第１装置に対して順次に発音された複数の発話音声の各々の内容を表す関連情報を共通の識別情報に対応付けて記憶装置に格納し、前記第１装置から送信された前記識別情報を受信した第２装置からの要求に応じて、当該識別情報に対応する１以上の関連情報を当該第２装置に対して通信装置に送信させる。以上の態様では、順次に発音された複数の発話音声の各々の内容を表す関連情報が共通の識別情報に対応付けて記憶装置に格納される。したがって、順次に発音される発話音声に対応する複数の関連情報の時系列を第２装置に提供することが可能である。
　第１態様の好適例（第２態様）において、前記発話音声の発音に並行して、前記識別情報を表す音響を放音装置から放音する音響通信により当該識別情報を前記第２装置に対して通信装置に送信させる。以上の態様では、発話音声を放音する放音装置を利用した音響通信により識別情報が第２装置に送信されるから、識別情報の送信に専用される送信機が不要であるという利点がある。また、識別情報が送信される範囲を遮音物の設置により容易に制限できるという利点もある。なお、発話音声を放音する放音装置とは別個の放音装置を利用した音響通信により識別情報を送信してもよい。
　第１態様または第２態様の好適例（第３態様）において、前記第２装置に対して発音された発話音声の内容を表す関連情報を、前記識別情報に対応付けて前記記憶装置に格納する。以上の態様では、第１装置に対して発音された発話音声の関連情報と、第２装置に対して発音された発話音声の関連情報とが、共通の識別情報に対応付けて記憶装置に格納される。したがって、複数の発話者が順次に発音した発話音声に対応する複数の関連情報の時系列を提供することが可能である。
　第１態様から第３態様の何れかの好適例（第４態様）において、前記関連情報は、前記発話音声に対する音声認識と、当該音声認識で特定された認識文字列に対する機械翻訳とにより生成される。以上の態様では、発話音声に対する音声認識および機械翻訳で関連情報が生成される。したがって、例えば発話音声の内容を別言語で表す関連情報を第２装置に提供することが可能である。
　第１態様から第４態様の何れかの好適例（第５態様）において、前記発話音声に対する音声認識と、当該音声認識で特定された認識文字列に対する機械翻訳とにより生成された、相異なる言語に対応する複数の関連情報を、前記識別情報に対応付けて前記記憶装置に格納し、前記第２装置からの要求に応じて、前記相異なる言語に対応する複数の関連情報のうち当該第２装置の設定言語に対応する関連情報を当該第２装置に対して通信装置に送信させる。以上の態様では、発話音声に対する音声認識および機械翻訳で相異なる言語に対応する複数の関連情報が生成され、複数の関連情報のうち第２装置の設定言語に対応する関連情報が当該第２装置に送信される。したがって、例えば第２装置の利用者が理解できる言語で発話音声の内容を表現した関連情報を第２装置に提供することが可能である。
　第１態様から第５態様の何れかの好適例（第６態様）において、前記関連情報は、複数の候補文字列のうち、前記発話音声に対する音声認識で特定された第１言語の認識文字列に類似する候補文字列を第２言語で表現した文字列と、前記認識文字列のうち前記候補文字列とは相違する可変部分を当該第２言語で表現した文字列とを含む。以上の態様では、複数の候補文字列のうち発話音声に対する音声認識で特定された認識文字列に類似する候補文字列を他言語で表現した文字列が関連情報に含まれるから、発話音声に対する音声認識の結果に誤認識がある場合でも、適切な文字列を表す関連情報を生成できるという利点がある。また、認識文字列のうち候補文字列とは相違する可変部分を他言語で表現した文字列が関連情報に含まれるから、事前に用意された候補文字列に限定されない多様な内容の関連情報を提供できるという利点もある。
　本発明の好適な態様（第７態様）に係る情報提供装置は、第１装置に対して順次に発音される複数の発話音声の各々の内容を表す関連情報を共通の識別情報に対応付けて記憶装置に格納する制御部と、前記第１装置から送信された前記識別情報を受信した第２装置からの要求に応じて、当該識別情報に対応する１以上の関連情報を当該第２装置に対して通信装置に送信させる送信部とを具備する。以上の態様では、順次に発音された複数の発話音声の各々の内容を表す関連情報が共通の識別情報に対応付けて記憶装置に格納される。したがって、順次に発音される発話音声に対応する複数の関連情報の時系列を第２装置に提供することが可能である。
１０…音声再生装置、１１…制御装置、１２…記憶装置、１３…通信装置、１４…収音装置、１５…信号処理回路、１６…放音装置、２０…音声認識装置、３０…機械翻訳装置、４０…情報提供装置、４１…制御装置、４２…記憶装置、４３…通信装置、５０…端末装置、５１…制御装置、５２…記憶装置、５３…通信装置、５４…収音装置、５５…表示装置、５６…放音装置。

Claims (8)

  1. 　情報提供装置が、
    　第１装置に対して順次に発音された複数の発話音声の各々の内容を表す関連情報を共通の識別情報に対応付けて記憶装置に格納し、
    　前記識別情報を受信した第２装置からの要求に応じて、当該識別情報に対応する１以上の関連情報を当該第２装置に対して通信装置に送信させる
    　情報提供方法。
  2. 　前記第１装置から前記第２装置に対して前記識別情報を送信する
    　請求項１の情報提供方法。
  3. 　前記発話音声の発音に並行して、前記識別情報を表す音響を放音装置から放音する音響通信により当該識別情報を前記第２装置に送信する
    　請求項１または請求項２の情報提供方法。
  4. 　前記第２装置に対して発音された発話音声の内容を表す関連情報を、前記識別情報に対応付けて前記記憶装置に格納する
    　請求項１から請求項３の何れかの情報提供方法。
  5. 　前記関連情報は、前記発話音声に対する音声認識と、当該音声認識で特定された認識文字列に対する機械翻訳とにより生成される
    　請求項１から請求項４の何れかの情報提供方法。
  6. 　前記発話音声に対する音声認識と、当該音声認識で特定された認識文字列に対する機械翻訳とにより生成された、相異なる言語に対応する複数の関連情報を、前記識別情報に対応付けて前記記憶装置に格納し、
    　前記第２装置からの要求に応じて、前記相異なる言語に対応する複数の関連情報のうち当該第２装置の設定言語に対応する関連情報を当該第２装置に対して前記通信装置に送信させる
    　請求項１から請求項５の何れかの情報提供方法。
  7. 　前記関連情報は、複数の候補文字列のうち、前記発話音声に対する音声認識で特定された第１言語の認識文字列に類似する候補文字列を第２言語で表現した文字列と、前記認識文字列のうち前記候補文字列とは相違する可変部分を当該第２言語で表現した文字列とを含む
    　請求項１から請求項６の何れかの情報提供方法。
  8. 　第１装置に対して順次に発音される複数の発話音声の各々の内容を表す関連情報を共通の識別情報に対応付けて記憶装置に格納する制御部と、
    　前記識別情報を受信した第２装置からの要求に応じて、当該識別情報に対応する１以上の関連情報を当該第２装置に対して通信装置に送信させる送信部と
    　を具備する情報提供装置。
PCT/JP2018/030407 2017-08-31 2018-08-16 情報提供方法および情報提供装置 WO2019044520A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019519031A JP6614395B2 (ja) 2017-08-31 2018-08-16 情報提供方法および情報提供装置
CN201880052918.7A CN111033461A (zh) 2017-08-31 2018-08-16 信息提供方法及信息提供装置
EP18850263.7A EP3678018A4 (en) 2017-08-31 2018-08-16 INFORMATION PROVIDING PROCESS AND INFORMATION PROVIDING APPARATUS
US16/782,160 US20200175988A1 (en) 2017-08-31 2020-02-05 Information providing method and information providing apparatus
US17/695,258 US11790913B2 (en) 2017-08-31 2022-03-15 Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017166984 2017-08-31
JP2017-166984 2017-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/782,160 Continuation US20200175988A1 (en) 2017-08-31 2020-02-05 Information providing method and information providing apparatus

Publications (1)

Publication Number Publication Date
WO2019044520A1 true WO2019044520A1 (ja) 2019-03-07

Family

ID=65525467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/030407 WO2019044520A1 (ja) 2017-08-31 2018-08-16 情報提供方法および情報提供装置

Country Status (5)

Country Link
US (2) US20200175988A1 (ja)
EP (1) EP3678018A4 (ja)
JP (2) JP6614395B2 (ja)
CN (1) CN111033461A (ja)
WO (1) WO2019044520A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102264224B1 (ko) * 2020-12-30 2021-06-11 주식회사 버넥트 실시간 번역 서비스 기반의 원격 커뮤니케이션 방법 및 그 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02190888A (ja) 1989-01-20 1990-07-26 Hitachi Ltd 案内情報再生装置及びそれを用いた案内システム
JP2003302996A (ja) * 2002-04-11 2003-10-24 Yamagata Univ Research Institute 情報処理システム
JP2008225744A (ja) * 2007-03-12 2008-09-25 National Institute Of Information & Communication Technology 機械翻訳装置、およびプログラム
WO2016017577A1 (ja) * 2014-07-29 2016-02-04 ヤマハ株式会社 端末装置、情報提供システム、情報提示方法および情報提供方法
JP2016192599A (ja) * 2015-03-30 2016-11-10 株式会社エヌ・ティ・ティ・データ ビデオ会議システムと音声認識技術を組み合わせた装置および方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4124399B2 (ja) * 2001-01-11 2008-07-23 三菱電機株式会社 コンテンツ配信システム
US6820055B2 (en) 2001-04-26 2004-11-16 Speche Communications Systems and methods for automated audio transcription, translation, and transfer with text display software for manipulating the text
JP2005228107A (ja) 2004-02-13 2005-08-25 Konan Gakuen オンラインコミュニケーションシステム及びオンラインコミュニケーション方法
JP2006267934A (ja) 2005-03-25 2006-10-05 Casio Comput Co Ltd 議事録作成装置および議事録作成処理プログラム
JP2008011272A (ja) * 2006-06-29 2008-01-17 Canon Marketing Japan Inc 会議システム及び制御方法、並びにプログラム及び記憶媒体
US20080201158A1 (en) 2007-02-15 2008-08-21 Johnson Mark D System and method for visitation management in a controlled-access environment
US9405823B2 (en) 2007-07-23 2016-08-02 Nuance Communications, Inc. Spoken document retrieval using multiple speech transcription indices
JP2010130051A (ja) * 2008-11-25 2010-06-10 Hitachi Software Eng Co Ltd 個人向けコンテンツ配信システム
US20100268534A1 (en) 2009-04-17 2010-10-21 Microsoft Corporation Transcription, archiving and threading of voice communications
US8775156B2 (en) 2010-08-05 2014-07-08 Google Inc. Translating languages in response to device motion
US9053750B2 (en) 2011-06-17 2015-06-09 At&T Intellectual Property I, L.P. Speaker association with a visual representation of spoken content
US8719031B2 (en) 2011-06-17 2014-05-06 At&T Intellectual Property I, L.P. Dynamic access to external media content based on speaker content
US9443518B1 (en) 2011-08-31 2016-09-13 Google Inc. Text transcript generation from a communication session
US9245254B2 (en) 2011-12-01 2016-01-26 Elwha Llc Enhanced voice conferencing with history, language translation and identification
US9110891B2 (en) 2011-12-12 2015-08-18 Google Inc. Auto-translation for multi user audio and video
EP2680165B1 (en) 2012-06-28 2016-01-06 JaJah Ltd System and method to perform textual queries on voice communications
US20140365203A1 (en) 2013-06-11 2014-12-11 Facebook, Inc. Translation and integration of presentation materials in cross-lingual lecture support
JP5887446B1 (ja) * 2014-07-29 2016-03-16 ヤマハ株式会社 情報管理システム、情報管理方法およびプログラム
JP6569252B2 (ja) * 2015-03-16 2019-09-04 ヤマハ株式会社 情報提供システム、情報提供方法およびプログラム
JP6500546B2 (ja) * 2015-03-25 2019-04-17 株式会社リコー 表示システム、情報端末、表示装置、制御方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02190888A (ja) 1989-01-20 1990-07-26 Hitachi Ltd 案内情報再生装置及びそれを用いた案内システム
JP2003302996A (ja) * 2002-04-11 2003-10-24 Yamagata Univ Research Institute 情報処理システム
JP2008225744A (ja) * 2007-03-12 2008-09-25 National Institute Of Information & Communication Technology 機械翻訳装置、およびプログラム
WO2016017577A1 (ja) * 2014-07-29 2016-02-04 ヤマハ株式会社 端末装置、情報提供システム、情報提示方法および情報提供方法
JP2016192599A (ja) * 2015-03-30 2016-11-10 株式会社エヌ・ティ・ティ・データ ビデオ会議システムと音声認識技術を組み合わせた装置および方法

Also Published As

Publication number Publication date
US11790913B2 (en) 2023-10-17
CN111033461A (zh) 2020-04-17
EP3678018A4 (en) 2021-03-31
JP2020053060A (ja) 2020-04-02
US20200175988A1 (en) 2020-06-04
JPWO2019044520A1 (ja) 2019-11-07
JP6614395B2 (ja) 2019-12-04
US20220208190A1 (en) 2022-06-30
EP3678018A1 (en) 2020-07-08
JP7331645B2 (ja) 2023-08-23

Similar Documents

Publication Publication Date Title
CN106537496B (zh) 终端装置、信息提供系统、信息呈现方法和信息提供方法
JP6159048B1 (ja) 情報管理システムおよび端末装置
AU2015297647B2 (en) Information management system and information management method
JP7331645B2 (ja) 情報提供方法および通信システム
WO2019230363A1 (ja) 放音システム、情報処理システム、情報提供方法および情報処理方法
JP2018091998A (ja) 情報処理システムおよび情報処理方法
JP2016206394A (ja) 情報提供システム
JP6772468B2 (ja) 管理装置、情報処理装置、情報提供システム、言語情報の管理方法、情報提供方法、および情報処理装置の動作方法
JP6780529B2 (ja) 情報提供装置および情報提供システム
JP7192948B2 (ja) 情報提供方法、情報提供システムおよびプログラム
JP6984769B2 (ja) 情報提供方法および情報提供システム
JP7087745B2 (ja) 端末装置、情報提供システム、端末装置の動作方法および情報提供方法
JP6834634B2 (ja) 情報提供方法および情報提供システム
JP2020064262A (ja) 情報処理方法および情報処理システム
JP2018128607A (ja) 音声処理方法および音声処理装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019519031

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18850263

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018850263

Country of ref document: EP

Effective date: 20200331