JP6690200B2 - Terminal device, communication method - Google Patents

Terminal device, communication method Download PDF

Info

Publication number
JP6690200B2
JP6690200B2 JP2015227481A JP2015227481A JP6690200B2 JP 6690200 B2 JP6690200 B2 JP 6690200B2 JP 2015227481 A JP2015227481 A JP 2015227481A JP 2015227481 A JP2015227481 A JP 2015227481A JP 6690200 B2 JP6690200 B2 JP 6690200B2
Authority
JP
Japan
Prior art keywords
terminal device
unit
voice
voice recognition
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015227481A
Other languages
Japanese (ja)
Other versions
JP2017097093A (en
Inventor
古田 宏
宏 古田
英一 細野
英一 細野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2015227481A priority Critical patent/JP6690200B2/en
Priority to US15/352,641 priority patent/US9972342B2/en
Publication of JP2017097093A publication Critical patent/JP2017097093A/en
Application granted granted Critical
Publication of JP6690200B2 publication Critical patent/JP6690200B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)

Description

本発明は、通信技術に関し、特に音声信号の通信を実行する端末装置、通信方法に関する。   The present invention relates to communication technology, and more particularly to a terminal device and a communication method for executing communication of voice signals.

音声認識処理は、周囲環境のノイズが加わったり、音声が小さかったりする場合に、認識不能となる。さらに、音声認識処理を繰り返し実行しても、認識不能になることがある。特に、オペレータが認識不能の理由を分からないと、認識不能が繰り返されやすい。これを防止するために、認識不能の理由がオペレータに通知される(例えば、特許文献1)。   The voice recognition process becomes unrecognizable when noise in the surrounding environment is added or the voice is low. Further, even if the voice recognition process is repeatedly executed, it may become impossible to recognize. In particular, if the operator does not understand the reason why the recognition is impossible, the recognition cannot be repeated easily. In order to prevent this, the operator is notified of the reason why the recognition is impossible (for example, Patent Document 1).

特開2000−112497号公報JP, 2000-112497, A

音声認識処理は、一般的に、音声のデータである音声信号に対してなされる。一方、受話者が聞く音声には、イコライザのオン/オフ、スピーカから出力される際の音量レベル、話速変換のオン/オフの設定がなされている。そのため、受話者が聞く音声は、音声信号と異なる場合がある。また、同一の音声信号から再生された音声を聞いた場合であっても、聞こえ方は受話者によって異なることがある。そのため、音声認識処理は、受話者側の状況に応じてなされる方が望ましい。   The voice recognition process is generally performed on a voice signal which is voice data. On the other hand, the voice heard by the listener is set such that the equalizer is turned on / off, the volume level when output from the speaker, and the voice speed conversion on / off. Therefore, the voice heard by the listener may be different from the voice signal. Further, even when the sound reproduced from the same sound signal is heard, the way of hearing may differ depending on the listener. Therefore, it is desirable that the voice recognition process be performed according to the situation on the listener side.

本発明はこうした状況に鑑みてなされたものであり、その目的は、受話者側の状況に応じてなされた音声認識結果を知らせる技術を提供することである。   The present invention has been made in view of such a situation, and an object thereof is to provide a technique of notifying a voice recognition result made according to a situation of a listener.

上記課題を解決するために、本発明のある態様の端末装置は、端末装置であって、他の端末装置からの音声信号を受信する受信部と、受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、設定部において設定した設定値をもとに、受信部において受信した音声信号を再生する再生部と、再生部において再生した音声信号に対して音声認識処理を実行する処理部と、処理部における音声認識処理の結果を他の端末装置に送信する送信部と、を備える。   In order to solve the above problems, a terminal device according to an aspect of the present invention is a terminal device, and a receiving unit that receives an audio signal from another terminal device, and a case where the audio signal received by the receiving unit is reproduced. A setting unit that sets a set value that should be used for the audio signal, a reproducing unit that reproduces the audio signal received by the receiving unit based on the setting value set by the setting unit, and an audio signal for the audio signal reproduced by the reproducing unit. A processing unit that executes the recognition process and a transmission unit that transmits the result of the voice recognition process in the processing unit to another terminal device are provided.

本発明の別の態様もまた、端末装置である。この装置は、端末装置であって、他の端末装置からの音声信号を受信する受信部と、受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、設定部において設定した設定値をもとに、受信部において受信した音声信号を再生する再生部と、本端末装置の周囲の音を集音するマイクと、マイクにおいて集音した音の情報を反映させながら、再生部において再生した音声信号に対して音声認識処理を実行する処理部と、処理部における音声認識処理の結果を他の端末装置に送信する送信部と、を備える。   Another aspect of the present invention is also a terminal device. This device is a terminal device, and includes a receiving unit that receives an audio signal from another terminal device, a setting unit that sets a setting value to be used when the audio signal received by the receiving unit is reproduced, and a setting unit. Based on the set value set in the unit, the playback unit that plays back the audio signal received by the receiving unit, the microphone that collects the sound around the terminal device, and the information of the sound collected by the microphone are reflected. However, the processing unit includes a processing unit that performs a voice recognition process on the voice signal reproduced by the reproduction unit, and a transmission unit that transmits the result of the voice recognition process in the processing unit to another terminal device.

本発明のさらに別の態様もまた、端末装置である。この装置は、端末装置であって、他の端末装置からの音声信号を受信する受信部と、受信部において受信した音声信号を再生する再生部と、本端末装置の周囲の音を集音するマイクと、マイクにおいて集音した音の情報を反映させながら、再生部において再生した音声信号に対して音声認識処理を実行する処理部と、処理部における音声認識処理の結果を他の端末装置に送信する送信部と、を備える。   Yet another aspect of the present invention is also a terminal device. This device is a terminal device, and a receiving unit that receives an audio signal from another terminal device, a reproducing unit that reproduces the audio signal received by the receiving unit, and a sound around the terminal device. A microphone, a processing unit that performs voice recognition processing on the audio signal reproduced by the reproduction unit while reflecting information of the sound collected by the microphone, and the result of the voice recognition processing by the processing unit to another terminal device. And a transmitting unit for transmitting.

本発明のさらに別の態様は、通信方法である。この方法は、端末装置での通信方法であって、他の端末装置からの音声信号を受信するステップと、受信した音声信号を再生する際に使用すべき設定値を設定するステップと、設定した設定値をもとに、受信した音声信号を再生するステップと、再生した音声信号に対して音声認識処理を実行するステップと、音声認識処理の結果を他の端末装置に送信するステップと、を備える。   Yet another aspect of the present invention is a communication method. This method is a communication method in a terminal device, and includes a step of receiving an audio signal from another terminal device, a step of setting a setting value to be used when reproducing the received audio signal, Based on the set value, a step of reproducing the received voice signal, a step of executing a voice recognition process on the reproduced voice signal, and a step of transmitting the result of the voice recognition process to another terminal device. Prepare

本発明のさらに別の態様もまた、通信方法である。この方法は、端末装置での通信方法であって、他の端末装置からの音声信号を受信するステップと、受信した音声信号を再生するステップと、本端末装置の周囲の音を集音するステップと、集音した音の情報を反映させながら、再生した音声信号に対して音声認識処理を実行するステップと、音声認識処理の結果を他の端末装置に送信するステップと、を備える。   Yet another aspect of the present invention is also a communication method. This method is a communication method in a terminal device, which includes a step of receiving a voice signal from another terminal device, a step of reproducing the received voice signal, and a step of collecting a sound around the terminal device. And a step of performing a voice recognition process on the reproduced voice signal while reflecting the information of the collected sound, and a step of transmitting the result of the voice recognition process to another terminal device.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above constituent elements and one obtained by converting the expression of the present invention among methods, devices, systems, recording media, computer programs, etc. are also effective as an aspect of the present invention.

本発明によれば、受話者側の状況に応じてなされた音声認識結果を知らせることができる。   According to the present invention, it is possible to notify the result of voice recognition performed according to the situation on the listener side.

本発明の実施例1に係る通信システムの構成を示す図である。It is a figure which shows the structure of the communication system which concerns on Example 1 of this invention. 図1の端末装置の構成を示す図である。It is a figure which shows the structure of the terminal device of FIG. 図3(a)−(b)は、図2の表示部に表示される画面を示す図である。FIGS. 3A and 3B are diagrams showing screens displayed on the display unit of FIG. 図1の通信システムによる通信手順を示すシーケンス図である。It is a sequence diagram which shows the communication procedure by the communication system of FIG. 図5(a)−(b)は、本発明の実施例1に係る表示部に表示される画面を示す図である。FIGS. 5A and 5B are diagrams showing screens displayed on the display unit according to the first embodiment of the present invention. 本発明の実施例2に係る通信システムによる通信手順を示すシーケンス図である。It is a sequence diagram which shows the communication procedure by the communication system which concerns on Example 2 of this invention. 本発明の実施例3に係る端末装置の構成を示す図である。It is a figure which shows the structure of the terminal device which concerns on Example 3 of this invention. 図8(a)−(b)は、図7の表示部に表示される画面を示す図である。FIGS. 8A and 8B are diagrams showing screens displayed on the display unit of FIG. 7. 図7の比較部による比較手順を示すフローチャートである。8 is a flowchart showing a comparison procedure by the comparison unit in FIG. 7. 図10(a)−(c)は、本発明の実施例4に係る表示部に表示される画面を示す図である。10A to 10C are diagrams showing screens displayed on the display unit according to the fourth embodiment of the present invention. 本発明の実施例4に係る通信システムによる通信手順を示すシーケンス図である。It is a sequence diagram which shows the communication procedure by the communication system which concerns on Example 4 of this invention. 本発明の実施例4に係る端末装置による特定手順を示すフローチャートである。It is a flow chart which shows the specific procedure by the terminal unit concerning Example 4 of the present invention. 本発明の実施例4に係る端末装置による別の特定手順を示すフローチャートである。It is a flowchart which shows another specific procedure by the terminal device which concerns on Example 4 of this invention. 本発明の実施例4に係る端末装置によるさらに別の特定手順を示すフローチャートである。It is a flowchart which shows another specific procedure by the terminal device which concerns on Example 4 of this invention.

(実施例1)
本発明を具体的に説明する前に、まず概要を述べる。本発明の実施例1は、PTT(Push to Talk)による音声通信を実行する端末装置に関する。当該端末装置は、ボタンを備えており、ユーザが当該ボタンを押し下げることによって送話が開始され、当該ボタンを解放することによって送話が終了する。一方、当該ボタンを押していない場合、ユーザはメッセージを聞くのみである。このようなPTTにおいて、送話者は、話して送信するという行動だけで完結しており、それがどう伝わったのかは、受話者の反応を頼りにするしかない。送信者は話した内容が受話者に正しく伝わっていると思い込んでいても、通信状況が悪く雑音が多かったり、早口すぎたりなどにより、自身の意図通りに音声が受話者に伝わっていないおそれがある。
(Example 1)
Before specifically explaining the present invention, an outline will be given. The first embodiment of the present invention relates to a terminal device that executes voice communication by PTT (Push to Talk). The terminal device includes a button, and when the user depresses the button, the transmission is started, and when the button is released, the transmission ends. On the other hand, if the button is not pressed, the user only hears the message. In such a PTT, the talker is completed only by the action of speaking and transmitting, and how it is transmitted depends on the reaction of the listener. Even if the sender believes that what he / she has spoken is correctly transmitted to the listener, there is a risk that the voice may not be transmitted to the listener as intended due to poor communication conditions, a lot of noise, or too fast speech. is there.

そのため、受信側の端末装置が、音声認識処理を実行することによって、受信した音声信号をテキスト化し、テキスト化したデータ(以下、「テキストデータ」という)を送信側の端末装置に送信する。送信側の端末装置はテキストデータを表示し、送話者はテキストデータを確認することによって、意図通りの音声が出力されているかを確認する。しかしながら、受話者による聞こえ方には個人差があるので、同一の音声であっても、異なったように聞こえる場合がある。そのため、テキストデータの内容と、受話者が実際に認識した内容とが異なるおそれがある。   Therefore, the receiving-side terminal device converts the received voice signal into text by executing the voice recognition process, and transmits the text-converted data (hereinafter, referred to as “text data”) to the transmitting-side terminal device. The terminal device on the transmitting side displays the text data, and the sender confirms whether the intended voice is output by checking the text data. However, since there are individual differences in how the listener hears, even the same voice may sound different. Therefore, the content of the text data may be different from the content actually recognized by the listener.

これに対応するために、本実施例に係る端末装置、特に受信側の端末装置は、当該端末装置を使用するユーザ、つまり受話者の音声認識モデルを使用して、音声認識処理を実行する。そのため、端末装置において生成されるテキストデータの内容には、受話者の聞こえ方が反映されている。   In order to deal with this, the terminal device according to the present embodiment, in particular, the terminal device on the receiving side executes the voice recognition process using the voice recognition model of the user who uses the terminal device, that is, the listener. Therefore, how the listener hears is reflected in the content of the text data generated in the terminal device.

図1は、本発明の実施例1に係る通信システム100の構成を示す。通信システム100は、端末装置10と総称される第1端末装置10a、第2端末装置10b、基地局装置12と総称される第1基地局装置12a、第2基地局装置12b、ネットワーク14を含む。ここで、通信システム100は、例えば、業務用無線に対応する。   FIG. 1 shows the configuration of a communication system 100 according to the first embodiment of the present invention. The communication system 100 includes a first terminal device 10a, a second terminal device 10b, which are collectively referred to as a terminal device 10, a first base station device 12a, a second base station device 12b, which are collectively referred to as a base station device 12, and a network 14. . Here, the communication system 100 corresponds to, for example, commercial wireless.

端末装置10は、業務用無線による通信を実行可能な装置である。業務用無線については公知の技術が使用されればよいので、ここでは説明を省略する。ここでは、第1端末装置10aが業務用無線による音声通信の送信側に相当し、第2端末装置10bが業務用無線による音声通信の受信側に相当する。そのため、第1端末装置10aは送話者に使用され、第2端末装置10bは受話者に使用される。なお、第1端末装置10aと第2端末装置10bとの関係は逆であってもよく、端末装置10の数は「2」に限定されない。   The terminal device 10 is a device capable of executing communication by business wireless. A publicly known technique may be used for the commercial radio, and thus the description thereof is omitted here. Here, the first terminal device 10a corresponds to the transmitting side of the voice communication by the commercial wireless, and the second terminal device 10b corresponds to the receiving side of the voice communication by the commercial wireless. Therefore, the first terminal device 10a is used by the talker and the second terminal device 10b is used by the listener. The relationship between the first terminal device 10a and the second terminal device 10b may be reversed, and the number of terminal devices 10 is not limited to “2”.

基地局装置12は、業務用無線のシステムに対応するとともに、一端側において、業務用無線により端末装置10に接続され、他端側において、基地局装置12に接続される。第1基地局装置12aと第2基地局装置12bとは、異なった位置に設置される。なお、業務用無線では、複数の端末装置10によってグループを形成することも可能である。基地局装置12は、グループに対して、上りチャネルと下りチャネルを割り当ててもよい。このような状況下において、グループ中の1つの端末装置10が、上りチャネルにて信号を送信し、グループ中の他の端末装置10が、下りチャネルにて信号を受信する。   The base station device 12 corresponds to a system for business radio, and is connected to the terminal device 10 by the business radio at one end and is connected to the base station device 12 at the other end. The first base station device 12a and the second base station device 12b are installed at different positions. In addition, in the commercial radio, it is possible to form a group by a plurality of terminal devices 10. The base station device 12 may allocate the uplink channel and the downlink channel to the group. In such a situation, one terminal device 10 in the group transmits a signal in the uplink channel, and another terminal device 10 in the group receives the signal in the downlink channel.

ネットワーク14は、第1基地局装置12aと第2基地局装置12bとを接続する。このような接続によって、第1端末装置10aと第2端末装置10bは、第1基地局装置12a、ネットワーク14、第2基地局装置12bを介して、通信可能になる。ここでは、PTTによる音声通信であるとする。   The network 14 connects the first base station device 12a and the second base station device 12b. With such a connection, the first terminal device 10a and the second terminal device 10b can communicate with each other via the first base station device 12a, the network 14, and the second base station device 12b. Here, it is assumed that the voice communication is based on PTT.

図2は、端末装置10の構成を示す。端末装置10は、ボタン20、マイク22、操作部24、表示部26、処理部28、通信部30、再生部32、スピーカ34を含む。また、処理部28は、送話部36、設定部38を含み、通信部30は、送信部40、受信部42を含む。端末装置10は、送信側の端末装置10と受信側の端末装置10のいずれにも対応する。ここでは、説明を明瞭にするために、処理の順番にしたがって、(1)送信側、(2)受信側、(3)送信側の順に説明する。   FIG. 2 shows the configuration of the terminal device 10. The terminal device 10 includes a button 20, a microphone 22, an operation unit 24, a display unit 26, a processing unit 28, a communication unit 30, a reproduction unit 32, and a speaker 34. Further, the processing unit 28 includes a transmitting unit 36 and a setting unit 38, and the communication unit 30 includes a transmitting unit 40 and a receiving unit 42. The terminal device 10 corresponds to both the terminal device 10 on the transmitting side and the terminal device 10 on the receiving side. Here, for the sake of clarity, the description will be made in the order of (1) transmission side, (2) reception side, and (3) transmission side in the order of processing.

(1)送信側
ここでは、送信側の端末装置10での処理を説明する。ボタン20は、PTTボタンに相当し、PTTによって音声を送信する場合に、ユーザによって押し下げられる。また、音声を送信している間にわたって、ボタン20は押し下げ続けられる。ボタン20が押し下げられることは、音声信号を送信するための指示を受けつけることに相当する。ボタン20は、押し下げられている間にわたって、指示を送話部36に出力し続ける。マイク22は、端末装置10の周囲の音声を集音する。マイク22は、集音した音声を電気信号(以下、「音声信号」という)に変換し、音声信号を送話部36に出力する。
(1) Transmission Side Here, the processing in the transmission side terminal device 10 will be described. The button 20 corresponds to a PTT button, and is pressed by the user when transmitting sound by PTT. Further, the button 20 is continuously pressed down while the voice is being transmitted. Pressing the button 20 down corresponds to receiving an instruction for transmitting an audio signal. The button 20 continues to output an instruction to the transmitter 36 while being pressed. The microphone 22 collects sounds around the terminal device 10. The microphone 22 converts the collected voice into an electric signal (hereinafter referred to as “voice signal”) and outputs the voice signal to the transmitter 36.

送話部36は、ボタン20からの指示を受けつけている場合に、マイク22からの音声信号を入力する。送話部36は、音声信号をアナログ信号からデジタル信号に変換し、デジタル信号に変換した音声信号(以下、これもまた「音声信号」という)を送信部40に出力する。一方、送話部36は、ボタン20からの指示を受けつけていない場合に、このような処理を実行しない。送信部40は、送話部36からの音声信号を入力し、音声信号を受信側の端末装置10に送信する。音声信号の送信のために、送信部40は、符号化、変調、周波数変換、増幅等を実行する。   The transmitting unit 36 inputs a voice signal from the microphone 22 when receiving an instruction from the button 20. The transmitter 36 converts the voice signal from an analog signal into a digital signal, and outputs the voice signal converted into the digital signal (hereinafter, also referred to as “voice signal”) to the transmitter 40. On the other hand, the transmitter 36 does not execute such processing when it does not receive the instruction from the button 20. The transmitter 40 inputs the voice signal from the transmitter 36 and transmits the voice signal to the terminal device 10 on the receiving side. The transmitter 40 performs encoding, modulation, frequency conversion, amplification, and the like to transmit the audio signal.

(2)受信側
ここでは、(1)につづく、受信側の端末装置10での処理を説明する。受信部42は、送信側の端末装置10からの音声信号を受信する。受信部42は、増幅、周波数変換、復調、復号等を実行する。受信部42は、処理の結果(以下、これもまた「音声信号」という)を再生部32に出力する。再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。音声信号の再生には公知の技術が使用されればよいので、ここでは説明を省略する。再生部32は、再生した音声信号をスピーカ34と処理部28に出力する。スピーカ34は、電気信号である音声信号を音声に変換し、音声を出力する。
(2) Receiving Side Here, the processing in the terminal device 10 on the receiving side following (1) will be described. The receiving unit 42 receives a voice signal from the terminal device 10 on the transmitting side. The receiving unit 42 executes amplification, frequency conversion, demodulation, decoding and the like. The reception unit 42 outputs the result of the processing (hereinafter, also referred to as “audio signal”) to the reproduction unit 32. The reproducing unit 32 inputs the audio signal from the receiving unit 42 and reproduces the audio signal. A well-known technique may be used to reproduce the audio signal, and thus the description thereof is omitted here. The reproduction unit 32 outputs the reproduced audio signal to the speaker 34 and the processing unit 28. The speaker 34 converts a voice signal, which is an electric signal, into voice and outputs the voice.

処理部28は、再生部32からの音声信号を入力する。一方、設定部38には、本端末装置10を使用するユーザ、つまり特定された受話者の音声認識モデルが設定されている。音声認識モデルでは、例えば、音素「あ」に対応した音声信号の波形が記憶されている。また、このような音声信号の波形は、音素毎に記憶されている。特に、記憶された音素と波形とは、音声を聞いた当該特定された受話者が認識するように対応づけられているので、これらの関係は、受話者の音声認識モデルであるといえる。   The processing unit 28 inputs the audio signal from the reproducing unit 32. On the other hand, in the setting unit 38, the voice recognition model of the user who uses the terminal device 10, that is, the identified listener is set. In the voice recognition model, for example, the waveform of the voice signal corresponding to the phoneme "a" is stored. Further, such a waveform of the voice signal is stored for each phoneme. In particular, since the stored phonemes and waveforms are associated with each other so that the specified listener who hears the voice recognizes them, it can be said that these relationships are the voice recognition model of the listener.

処理部28は、設定部38に設定した受話者の音声認識モデルを使用しながら、音声信号に対して音声認識処理を実行する。具体的に説明すると、処理部28は、入力した音声信号の波形に最も近い波形を音声認識モデルから選択するとともに、選択した波形に対応した音を特定する。音声認識処理によって、音声信号がテキスト化される。このように、処理部28は、音声信号に対して、本端末装置10を使用するユーザの音声認識モデルにもとづく音声認識処理、つまりユーザの聞こえ方を反映した音声認識処理を実行する。   The processing unit 28 performs the voice recognition process on the voice signal while using the voice recognition model of the listener set in the setting unit 38. More specifically, the processing unit 28 selects a waveform closest to the waveform of the input voice signal from the voice recognition model and identifies a sound corresponding to the selected waveform. The voice recognition process converts the voice signal into text. In this way, the processing unit 28 executes the voice recognition process based on the voice recognition model of the user who uses the terminal device 10, that is, the voice recognition process that reflects how the user hears the voice signal.

なお、受話者は、操作部24を操作しながら、受話者の音声認識モデルを設定部38に設定する。例えば、設定部38は、試験用の音声信号の波形を予め記憶しており、これを再生部32において再生することによってスピーカ34から出力する。受話者は、スピーカ34からの音声を聞きながら、操作部24を使用することによって認識した音を入力する。設定部38は、試験用の音声信号の波形と、入力した音との対応関係をもとに、受話者の音声認識モデルを設定する。   The listener sets the voice recognition model of the listener in the setting unit 38 while operating the operation unit 24. For example, the setting unit 38 pre-stores the waveform of the test audio signal, and the reproducing unit 32 reproduces the waveform to output the waveform from the speaker 34. The listener inputs the sound recognized by using the operation unit 24 while listening to the voice from the speaker 34. The setting unit 38 sets the voice recognition model of the listener based on the correspondence between the waveform of the test voice signal and the input sound.

送信部40は、処理部28における音声認識処理の結果として、音声認識処理によるテキストデータを処理部28から入力する。送信部40は、テキストデータを送信側の端末装置10に送信する。なお、送信部40におけるテキストデータの送信は、それだけでなされてもよく、音声信号の送信とともになされてもよい。   The transmission unit 40 inputs the text data by the voice recognition process from the process unit 28 as a result of the voice recognition process in the process unit 28. The transmission unit 40 transmits the text data to the terminal device 10 on the transmission side. In addition, the transmission of the text data in the transmission unit 40 may be performed by itself or may be performed together with the transmission of the voice signal.

(3)送信側
ここでは、(2)につづく、送信側の端末装置10での処理を説明する。受信部42は、受信側の端末装置10からのテキストデータを受信する。受信部42は、テキストデータを処理部28に出力する。処理部28は、受信部42からのテキストデータを入力し、テキストデータを表示部26に表示する。送話者は、表示部26に表示されたテキストデータを確認することによって、受話者がどのように聞き取っているかを認識する。図3(a)−(b)は、表示部26に表示される画面を示す。図3(a)は、送話者が「アンゼン」と話し、受話者も「アンゼン」と聞き取っている場合を示す。この場合、送話者が話した内容と、受話者が聞いた内容とが一致する。一方、図3(b)は、送話者が「アンゼン」と話し、受話者が「カンゼン」と聞き取っている場合を示す。この場合、送話者が話した内容と、受話者が聞いた内容とが相違する。
(3) Sending Side Here, the processing in the sending side terminal device 10 following (2) will be described. The receiving unit 42 receives the text data from the terminal device 10 on the receiving side. The receiving unit 42 outputs the text data to the processing unit 28. The processing unit 28 inputs the text data from the receiving unit 42 and displays the text data on the display unit 26. The sender recognizes how the listener hears by checking the text data displayed on the display unit 26. 3A and 3B show screens displayed on the display unit 26. FIG. 3A shows a case where the sender talks "Anzen" and the receiver hears "Anzen". In this case, the content spoken by the sender matches the content heard by the receiver. On the other hand, FIG. 3B shows a case where the sender talks "Anzen" and the receiver hears "Kanzen". In this case, the content spoken by the transmitter differs from the content heard by the receiver.

この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。   In terms of hardware, this configuration can be implemented by a CPU, memory, or other LSI of an arbitrary computer, and in terms of software, it is implemented by a program loaded in the memory, but here, it is implemented by linking them. It depicts the functional blocks that will be used. Therefore, it will be understood by those skilled in the art that these functional blocks can be realized in various forms by only hardware, only software, or a combination thereof.

以上の構成による通信システム100の動作を説明する。図4は、通信システム100による通信手順を示すシーケンス図である。第1端末装置10aは、音声を入力する(S10)と、音声信号を生成する(S12)。第1端末装置10aは、音声信号を送信する(S14)。第2端末装置10bは、音声信号を再生し(S16)、再生した音声信号をスピーカ34から出力する(S18)。第2端末装置10bは、ユーザの音声認識モデルで音声認識処理を実行し(S20)、テキストデータを生成する(S22)。第2端末装置10bは、テキストデータを送信する(S24)。第1端末装置10aは、テキストデータを表示する(S26)。   The operation of the communication system 100 having the above configuration will be described. FIG. 4 is a sequence diagram showing a communication procedure by the communication system 100. When the first terminal device 10a inputs a voice (S10), the first terminal device 10a generates a voice signal (S12). The first terminal device 10a transmits an audio signal (S14). The second terminal device 10b reproduces the audio signal (S16) and outputs the reproduced audio signal from the speaker 34 (S18). The second terminal device 10b executes the voice recognition process using the voice recognition model of the user (S20) and generates text data (S22). The second terminal device 10b transmits the text data (S24). The first terminal device 10a displays the text data (S26).

本実施例によれば、音声信号に対して、端末装置を使用するユーザの音声認識モデルにもとづく処理を実行するので、ユーザの聞こえ方を反映しながら、受信した音声信号をテキスト化できる。また、ユーザの聞こえ方を反映しながら、受信した音声信号がテキスト化されるので、送話者に対して正確な情報を知らせることができる。また、ユーザの音声認識モデルを使用しながら、音声信号に対して音声認識処理を実行するので、送話者の発音による受話者の聞き間違いを特定できる。また、ユーザの音声認識モデルを使用しながら、音声信号に対して音声認識処理を実行するので、無線区間における受話者の聞き間違いを特定できる。   According to the present embodiment, since the processing based on the voice recognition model of the user who uses the terminal device is executed for the voice signal, the received voice signal can be converted into text while reflecting the way the user hears. Also, since the received voice signal is converted into text while reflecting the way the user hears, it is possible to notify the sender of accurate information. In addition, since the voice recognition process is performed on the voice signal while using the voice recognition model of the user, it is possible to identify the listening mistake of the listener due to the pronunciation of the speaker. In addition, since the voice recognition process is performed on the voice signal while using the voice recognition model of the user, it is possible to identify the listening mistake of the listener in the wireless section.

(実施例2)
次に、実施例2を説明する。本発明の実施例2も、実施例1と同様に、PTTによる音声通信を実行する端末装置であって、かつ受話者の音声認識モデルを使用して音声信号をテキスト化する端末装置に関する。実施例1における音声認識モデルは、受話者によって認識される音声信号の波形に対して構成される。一方、実施例2における音声認識モデルは、受話者が認識可能な音声速度、受話者が認識可能な音量レベルに対して構成される。実施例2に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 2)
Next, a second embodiment will be described. Similarly to the first embodiment, the second embodiment of the present invention also relates to a terminal device that executes voice communication by PTT and that converts a voice signal into a text by using a voice recognition model of a listener. The voice recognition model in the first embodiment is configured for the waveform of the voice signal recognized by the listener. On the other hand, the voice recognition model in the second embodiment is configured for the voice speed that the listener can recognize and the volume level that the listener can recognize. The communication system and the terminal device according to the second embodiment are the same types as those in FIGS. 1 and 2. Here, the difference from the above will be mainly described.

前述の(2)において、処理部28は、再生部32からの音声信号を入力する。また、処理部28は、音声信号に対して音声認識処理を実行することによって、音声信号をテキスト化する。一方、設定部38には、本端末装置10を使用するユーザ、つまり受話者の音声認識モデルが設定されている。音声認識モデルでは、例えば、受話者が認識可能な音声速度の値、受話者が認識可能な音量レベルの値の少なくとも一方が記憶されている。   In the above (2), the processing unit 28 inputs the audio signal from the reproducing unit 32. The processing unit 28 also converts the voice signal into text by performing voice recognition processing on the voice signal. On the other hand, in the setting unit 38, the voice recognition model of the user who uses the terminal device 10, that is, the listener is set. In the voice recognition model, for example, at least one of a voice speed value recognizable by the listener and a volume level value recognizable by the listener is stored.

処理部28は、テキスト化したデータの文字数を数えることによって、一定期間における音声信号の音声速度の値を導出する。処理部28は、導出した音声速度の値と、設定部38に記憶した音声速度の値とを比較することによって、音声信号に対して、受話者が認識可能な音声速度以下であるかの判定処理を実行する。処理部28は、導出した音声速度の値が、受話者が認識可能な音声速度の値よりも大きければ、テキスト化したデータのうち、受話者が認識可能な音声速度よりも大きい部分の文字を伏せ字に変換する。なお、処理部28は、導出した音声速度の値が、受話者が認識可能な音声速度の値以下であれば、テキスト化したデータに対する変換を実行しない。   The processing unit 28 derives the value of the voice speed of the voice signal in a certain period by counting the number of characters of the text-converted data. The processing unit 28 compares the derived voice speed value with the voice speed value stored in the setting unit 38 to determine whether or not the voice signal is lower than or equal to the voice speed recognizable by the listener. Execute the process. If the derived voice speed value is higher than the voice speed value that can be recognized by the listener, the processing unit 28 determines that a part of the text-converted data that is higher than the voice speed that the receiver can recognize. Convert to profanity. If the derived voice speed value is equal to or lower than the voice speed value that can be recognized by the listener, the processing unit 28 does not perform conversion on the text data.

また、処理部28は、一定期間における音声信号の音量レベルの値を導出してもよい。処理部28は、導出した音量レベルの値と、設定部38に記憶した音量レベルの値とを比較することによって、音声信号に対して、受話者が認識可能な音量レベル以上であるかの判定処理を実行する。処理部28は、導出した音量レベルの値が、受話者が認識可能な音量レベルの値よりも小さければ、テキスト化したデータの各文字を伏せ字に変換する。なお、処理部28は、導出した音量レベルの値が、受話者が認識可能な音量レベルの値以上であれば、テキスト化したデータに対する変換を実行しない。このように処理部28における音声認識処理には、音量レベル、音声速度のうちの少なくとも1つが反映される。ここで、受話者の音声認識モデルは、操作部24を操作することによって、設定部38に設定される。設定される内容は、受話者が認識可能な音声速度の値、受話者が認識可能な音量レベルの値の少なくとも一方である。   Further, the processing unit 28 may derive the value of the volume level of the audio signal for a certain period. The processing unit 28 compares the derived volume level value with the volume level value stored in the setting unit 38 to determine whether the voice signal is equal to or higher than the volume level recognizable by the listener. Execute the process. If the value of the derived volume level is smaller than the value of the volume level that can be recognized by the listener, the processing unit 28 converts each character of the text-converted data into a blank character. If the derived volume level value is equal to or higher than the volume level that can be recognized by the listener, the processing unit 28 does not perform conversion on the text data. In this way, at least one of the volume level and the voice speed is reflected in the voice recognition process in the processing unit 28. Here, the voice recognition model of the listener is set in the setting unit 38 by operating the operation unit 24. The content to be set is at least one of a voice speed value recognizable by the listener and a volume level value recognizable by the listener.

送信部40は、処理部28からのテキストデータを入力する。送信部40は、テキストデータを送信側の端末装置10に送信する。前述のごとく、受話者が認識可能な音声速度の値よりも大きい場合、あるいは受話者が認識可能な音量レベルの値よりも小さい場合、テキストデータの少なくとも一部の文字が伏せ字に変換されている。このことは、送信部40が、受話者が認識可能な音声速度以下であるかの判定結果を送信すること、あるいは受話者が認識可能な音量レベル以上であるかの判定結果を送信することに相当する。   The transmission unit 40 inputs the text data from the processing unit 28. The transmission unit 40 transmits the text data to the terminal device 10 on the transmission side. As described above, if the voice speed is higher than the voice speed that can be recognized by the listener, or if it is lower than the volume level that the receiver can recognize, at least some characters of the text data are converted to blank characters. . This means that the transmitting unit 40 transmits a determination result as to whether the voice speed is equal to or lower than the voice speed that can be recognized by the listener, or transmits a determination result as to whether the volume level is equal to or higher than the speaker can recognize. Equivalent to.

前述の(3)において、受信部42は、受信側の端末装置10からのテキストデータを受信し、処理部28は、テキストデータを表示部26に表示する。図5(a)−(b)は、表示部26に表示される画面を示す。図5(a)は、受信側の端末装置10において再生される音声信号の音声速度の値が、受話者が認識可能な音声速度の値よりも大きい場合を示す。この場合、一部の文字が伏せ字によって示される。一方、図5(b)は、受信側の端末装置10において再生される音声信号の音量レベルの値が、受話者が認識可能な音量レベルの値よりも小さい場合を示す。この場合、すべての文字が伏せ字によって示される。   In the above (3), the receiving unit 42 receives the text data from the terminal device 10 on the receiving side, and the processing unit 28 displays the text data on the display unit 26. 5A to 5B show screens displayed on the display unit 26. FIG. 5A shows a case where the value of the voice speed of the voice signal reproduced by the terminal device 10 on the receiving side is larger than the value of the voice speed that can be recognized by the listener. In this case, some letters are indicated by blank letters. On the other hand, FIG. 5B shows a case where the value of the volume level of the audio signal reproduced by the terminal device 10 on the receiving side is smaller than the value of the volume level that can be recognized by the listener. In this case, all letters are indicated by blank letters.

以上の構成による通信システム100の動作を説明する。図6は、本発明の実施例2に係る通信システム100による通信手順を示すシーケンス図である。第1端末装置10aは、音声を入力する(S50)と、音声信号を生成する(S52)。第1端末装置10aは、音声信号を送信する(S54)。第2端末装置10bは、音声信号を再生し(S56)、再生した音声信号をスピーカ34から出力する(S58)。第2端末装置10bは、音声認識処理を実行する(S60)とともに、音声速度、音量レベルによる評価を実行する(S62)ことによって、テキストデータを生成する(S64)。第2端末装置10bは、テキストデータを送信する(S66)。第1端末装置10aは、テキストデータを表示する(S68)。   The operation of the communication system 100 having the above configuration will be described. FIG. 6 is a sequence diagram showing a communication procedure by the communication system 100 according to the second embodiment of the present invention. When the first terminal device 10a inputs a voice (S50), it generates a voice signal (S52). The first terminal device 10a transmits an audio signal (S54). The second terminal device 10b reproduces the audio signal (S56) and outputs the reproduced audio signal from the speaker 34 (S58). The second terminal device 10b performs text recognition processing (S60) and also performs evaluation based on the voice speed and the volume level (S62) to generate text data (S64). The second terminal device 10b transmits the text data (S66). The first terminal device 10a displays the text data (S68).

本実施例によれば、音声信号に対して、ユーザが認識可能な音声速度以下であるかの判定処理を実行するので、音声速度のために聞きづらいかを判定できる。また、音声速度のために聞きづらいことをテキスト化に反映できる。また、音声信号に対して、ユーザが認識可能な音量レベル以上であるかの判定処理を実行するので、音量レベルのために聞きづらいかを判定できる。また、音量レベルのために聞きづらいことをテキスト化に反映できる。   According to the present embodiment, since it is determined whether or not the voice speed is lower than the voice speed recognizable by the user for the voice signal, it is possible to determine whether it is hard to hear because of the voice speed. In addition, it is possible to reflect that it is difficult to hear due to the voice speed in the text conversion. Further, since the process of determining whether or not the volume level is recognizable by the user is performed on the audio signal, it is possible to determine whether the volume level is hard to hear. In addition, it is possible to reflect in the text that it is difficult to hear because of the volume level.

(実施例3)
次に、実施例3を説明する。本発明の実施例3も、これまでと同様に、PTTによる音声通信を実行する端末装置であって、かつ受話者の音声認識モデルを使用して音声信号をテキスト化する端末装置に関する。実施例3では、音声信号をテキスト化するだけではなく、受話者が音声を聞いている状況を推測可能な情報を送信側の端末装置に通知する。実施例3に係る通信システムは、図1と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 3)
Next, a third embodiment will be described. The third embodiment of the present invention also relates to a terminal device that executes voice communication by PTT and that converts a voice signal into a text by using the voice recognition model of the listener, as in the past. In the third embodiment, not only the voice signal is converted into a text, but also the information capable of estimating the situation in which the listener is listening to the voice is notified to the transmitting side terminal device. The communication system according to the third embodiment is the same type as that in FIG. Here, the difference from the above will be mainly described.

図7は、本発明の実施例3に係る端末装置10の構成を示す。端末装置10における処理部28は、図2と比較して、比較部46をさらに含む。前述の(2)において、処理部28は、再生部32からの音声信号を入力する。処理部28は、実施例1と同様に、音声信号に対して、本端末装置10を使用するユーザの音声認識モデルにもとづく音声認識処理、つまりユーザの聞こえ方を反映した音声認識処理を実行する。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第1テキスト」という)される。   FIG. 7 shows the configuration of the terminal device 10 according to the third embodiment of the present invention. The processing unit 28 in the terminal device 10 further includes a comparison unit 46 as compared with FIG. In the above (2), the processing unit 28 inputs the audio signal from the reproducing unit 32. Similar to the first embodiment, the processing unit 28 performs a voice recognition process on a voice signal based on a voice recognition model of a user who uses the terminal device 10, that is, a voice recognition process that reflects how the user hears. . As a result, the voice signal is converted into text (hereinafter, the voice signal converted into text is referred to as “first text”).

その際、処理部28は、音声認識処理において認識不可能な音素が存在するかを判定してもよい。例えば、入力した音声信号の1音素の波形と、当該1音素の波形に最も近い波形との相関値が予め定められた値よりも小さい場合に、当該1音素が認識不可能な音素と判定される。処理部28は、第1テキストにおいて、認識不可能な音素を伏せ字に変換する。なお、伏せ字ではなく、別の予め定められた文字に変換されてもよく、「認識不可能な音素あり」とのメッセージが、第1テキストに追加されてもよい。   At that time, the processing unit 28 may determine whether there is a phoneme that cannot be recognized in the voice recognition process. For example, when the correlation value between the waveform of one phoneme of the input speech signal and the waveform closest to the waveform of the one phoneme is smaller than a predetermined value, the one phoneme is determined as an unrecognizable phoneme. It The processing unit 28 converts unrecognizable phonemes in the first text into blank letters. Note that the character may be converted into another predetermined character instead of the blank character, and the message “There is an unrecognizable phoneme” may be added to the first text.

一方、処理部28は、本端末装置10を使用するユーザに特定されない音声認識モデル、つまり標準的な音声認識モデルも記憶する。標準的な音声認識モデルでは、例えば、音「あ」に対応した音声信号の標準的な波形が記憶されている。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理、つまり、ユーザの聞こえ方を未反映のままの音声認識処理も実行する。ここでも、音声信号はテキスト化(以下、テキスト化された音声信号を「第2テキスト」という)される。なお、処理部28は、第1テキストの場合と同様に、第2テキストにおいても、認識不可能な音素を伏せ字等に変換してもよい。   On the other hand, the processing unit 28 also stores a voice recognition model that is not specified by the user who uses the terminal device 10, that is, a standard voice recognition model. In the standard voice recognition model, for example, a standard waveform of a voice signal corresponding to the sound "A" is stored. The processing unit 28 also performs a voice recognition process based on a standard voice recognition model, that is, a voice recognition process in which the way the user hears is not reflected on the voice signal. Also in this case, the voice signal is converted into text (hereinafter, the voice signal converted into text is referred to as “second text”). Note that the processing unit 28 may convert unrecognizable phonemes into blank letters in the second text as in the case of the first text.

比較部46は、第1テキストと第2テキストとを入力する。比較部46は、第1テキストと第2テキストとを比較する。ここでは、比較として、第1テキストと第2テキストとが並べられる。比較部46は、第1テキストと第2テキストとを並べたテキストデータを送信部40に出力する。送信部40は、処理部28からのテキストデータを入力する。送信部40は、比較結果であるテキストデータを送信側の端末装置10に送信する。   The comparison unit 46 inputs the first text and the second text. The comparison unit 46 compares the first text and the second text. Here, as a comparison, the first text and the second text are arranged. The comparison unit 46 outputs the text data in which the first text and the second text are arranged to the transmission unit 40. The transmission unit 40 inputs the text data from the processing unit 28. The transmission unit 40 transmits the text data as the comparison result to the terminal device 10 on the transmission side.

前述の(3)において、受信部42は、受信側の端末装置10からのテキストデータを受信し、処理部28は、テキストデータを表示部26に表示する。図8(a)−(b)は、表示部26に表示される画面を示す。画面の上側には、「受話者音声認識」の場合として、第1テキストが示され、画面の下側には、「標準音声認識」の場合として、第2テキストが示される。図8(a)では、第2テキストにおいて認識不可能な音素がないにもかかわらず、第1テキストにおいて認識不可能な音素がある場合を示す。これは、標準的な音声認識モデルによって、発話者が発した音声に対応した音声信号を音声認識処理した場合、すべて認識されるが、受話者の音声認識モデルによって音声認識処理した場合、認識不可能な音素が存在することに相当する。つまり、受話者の聞こえ方によって音声が認識されていないといえる。   In the above (3), the receiving unit 42 receives the text data from the terminal device 10 on the receiving side, and the processing unit 28 displays the text data on the display unit 26. FIGS. 8A and 8B show screens displayed on the display unit 26. The first text is shown on the upper side of the screen as the case of "listener speech recognition", and the second text is shown on the lower side of the screen as the case of "standard speech recognition". FIG. 8A shows a case in which there are unrecognizable phonemes in the first text even though there are no unrecognizable phonemes in the second text. This is because when a voice signal corresponding to a voice uttered by a speaker is subjected to voice recognition processing by a standard voice recognition model, all is recognized, but when voice recognition processing is performed by a voice recognition model of a listener, recognition is unrecognized. It corresponds to the existence of possible phonemes. That is, it can be said that the voice is not recognized depending on how the listener hears.

図8(b)では、第1テキストと第2テキストとのいずれにおいても、認識不可能な音素がある場合を示す。これは、標準的な音声認識モデルと受話者の音声認識モデルのいずれによって、発話者が発した音声に対応した音声信号を音声認識処理した場合、認識不可能な音素が存在することに相当する。この場合、例えば、第1端末装置10aと第1基地局装置12aとの間の無線区間、あるいは第2端末装置10bと第2基地局装置12bとの無線区間の品質が悪化していることが推定される。   FIG. 8B shows a case where there is a phoneme that cannot be recognized in both the first text and the second text. This corresponds to the presence of unrecognizable phonemes when the voice recognition processing is performed on the voice signal corresponding to the voice uttered by the speaker by either the standard voice recognition model or the voice recognition model of the listener. . In this case, for example, the quality of the wireless section between the first terminal apparatus 10a and the first base station apparatus 12a or the wireless section between the second terminal apparatus 10b and the second base station apparatus 12b may deteriorate. Presumed.

以上の構成による通信システム100の動作を説明する。図9は、比較部46による比較手順を示すフローチャートである。比較部46は、ユーザの音声認識モデルにもとづく音声認識処理の結果を取得する(S80)。一方、比較部46は、標準的な音声認識モデルにもとづく音声認識処理の結果を取得する(S82)。比較部46は、比較として両方の音声認識処理の結果を並べる(S84)。   The operation of the communication system 100 having the above configuration will be described. FIG. 9 is a flowchart showing a comparison procedure performed by the comparison unit 46. The comparison unit 46 acquires the result of the voice recognition process based on the voice recognition model of the user (S80). On the other hand, the comparison unit 46 acquires the result of the voice recognition processing based on the standard voice recognition model (S82). The comparison unit 46 arranges the results of both voice recognition processes as a comparison (S84).

本実施例によれば、ユーザの音声認識モデルにもとづく音声認識処理の結果と、標準的な音声認識モデルにもとづく音声認識処理の結果とを比較するので、どの段階で認識不可能な音素が発生するかを特定できる。また、ユーザの音声認識モデルにもとづく音声認識処理の結果に認識不可能な音素が存在し、標準的な音声認識モデルにもとづく音声認識処理の結果に認識不可能な音素が存在しない場合、特定のユーザだけが聞き取れないことを認識できる。また、ユーザの音声認識モデルにもとづく音声認識処理の結果と、標準的な音声認識モデルにもとづく音声認識処理の結果とに認識不可能な音素が存在する場合、発話あるいは通信の段階に原因があることを認識できる。   According to the present embodiment, the result of the voice recognition process based on the user's voice recognition model is compared with the result of the voice recognition process based on the standard voice recognition model, so that unrecognizable phonemes occur at any stage. Can be specified. In addition, if there is an unrecognizable phoneme in the result of the speech recognition processing based on the user's speech recognition model and there is no unrecognizable phoneme in the result of the speech recognition processing based on the standard speech recognition model, Only the user can recognize that they cannot hear. Also, if there is an unrecognizable phoneme in the result of the voice recognition process based on the user's voice recognition model and the result of the voice recognition process based on the standard voice recognition model, it is caused by the stage of speech or communication. I can recognize that.

(実施例4)
次に、実施例4を説明する。本発明の実施例4も、これまでと同様に、PTTによる音声通信を実行する端末装置であって、かつ受信した音声信号をテキスト化する端末装置に関する。受信側の端末装置において、イコライザのオン/オフ、スピーカから出力される際の音量レベル、話速変換のオン/オフの設定がなされる場合がある。その際、そのような設定に応じて処理された音声がスピーカから出力される。つまり、このような処理によって、実際にスピーカから出力される音声と、テキストデータの内容とが異なるおそれがある。
(Example 4)
Next, a fourth embodiment will be described. The fourth embodiment of the present invention also relates to a terminal device that executes voice communication by PTT and that converts the received voice signal into text, as in the past. In the terminal device on the receiving side, the equalizer may be turned on / off, the volume level when output from the speaker, and the voice speed conversion may be turned on / off. At that time, the sound processed according to such a setting is output from the speaker. In other words, due to such processing, the content of the text data may differ from the voice actually output from the speaker.

これに対応するために、本実施例に係る端末装置、特に受信側の端末装置は、当該端末装置になされた設定に応じて、音声認識処理を実行する。そのため、端末装置において生成されるテキストデータの内容は、設定に応じた処理を反映している。実施例4に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。   In order to deal with this, the terminal device according to the present embodiment, particularly the receiving-side terminal device, executes the voice recognition process according to the setting made in the terminal device. Therefore, the content of the text data generated in the terminal device reflects the processing according to the setting. The communication system and the terminal device according to the fourth embodiment are the same types as those in FIGS. 1 and 2. Here, the difference from the above will be mainly described.

前述の(2)において、端末装置10の設定部38には、音声の出力に関して、さまざまな設定がなされる。この設定によって、受信部42において受信した音声信号を再生する際に使用すべき設定値が登録される。設定部38においてなされる設定のうちの1つは、イコライザのオン/オフである。イコライザは、音声信号の周波数特性を変更する処理である。イコライザをオンにした場合、音声信号の特定の周波数帯域(倍音成分や高調波成分あるいはノイズ成分)を強調したり、減少したりすることが可能になる。また、設定部38においてなされる設定のうちの別の1つは、音声速度変換のオン/オフである。音声速度変換は、音声の再生速度を高速にしたり、低速にしたりする処理である。さらに、設定部38においてなされる設定のうちのさらに別の1つは、音量レベルの調節である。音量レベルは、スピーカ34から音声を出力する際のボリュームである。これらの設定は、操作部24を操作することによってなされる。また、設定部38には、これらの設定のすべてがなされている必要はなく、少なくとも1つの設定がなされていればよい。   In the above (2), various settings are made in the setting unit 38 of the terminal device 10 regarding the output of voice. With this setting, the setting value to be used when reproducing the audio signal received by the receiving unit 42 is registered. One of the settings made by the setting unit 38 is on / off of the equalizer. The equalizer is a process of changing the frequency characteristic of the audio signal. When the equalizer is turned on, it becomes possible to emphasize or reduce a specific frequency band (harmonic component, harmonic component or noise component) of the audio signal. Further, another one of the settings made in the setting unit 38 is ON / OFF of the voice speed conversion. The voice speed conversion is a process of increasing or decreasing the speed of reproduction of voice. Furthermore, another one of the settings made in the setting unit 38 is the adjustment of the volume level. The volume level is a volume when a voice is output from the speaker 34. These settings are made by operating the operation unit 24. Further, it is not necessary that all of these settings be made in the setting unit 38, and it is sufficient that at least one setting is made.

再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。その際、設定部38においてなされた設定値が反映される。例えば、設定部38においてイコライザがオンにされている場合、再生部32は、イコライザ処理を実行しながら音声信号を再生する。一方、設定部38においてイコライザがオフにされている場合、再生部32は、イコライザ処理を実行せずに音声信号を再生する。   The reproducing unit 32 inputs the audio signal from the receiving unit 42 and reproduces the audio signal. At that time, the set value made in the setting unit 38 is reflected. For example, when the equalizer is turned on in the setting unit 38, the reproducing unit 32 reproduces the audio signal while executing the equalizer process. On the other hand, when the equalizer is turned off in the setting unit 38, the reproducing unit 32 reproduces the audio signal without executing the equalizer process.

また、設定部38において音声速度変換がオンにされている場合、再生部32は、音声速度を変換しながら音声信号を再生する。なお、音声速度は、2倍、3倍、1/2倍のように設定されている。一方、設定部38において音声速度変換がオフにされている場合、再生部32は、音声速度を変換せずに音声信号を再生する。さらに、設定部38において設定されている音量レベルにおいて、再生部32は、音声信号を再生する際の音量レベルを調節する。なお、イコライザ処理、音声速度変換、音量レベルの調節、音声信号の再生には公知の技術が使用されればよいので、ここでは説明を省略する。前述のごとく、設定部38においてこれらの設定のすべてがなされている必要はなく、少なくとも1つの設定がなされていればよいので、再生部32は、少なくとも1つの設定を使用すればよい。再生部32は、再生した音声信号をスピーカ34と処理部28に出力する。スピーカ34は、電気信号である音声信号を音声に変換し、音声を出力する。   When the voice speed conversion is turned on in the setting unit 38, the reproducing unit 32 reproduces the voice signal while converting the voice speed. The voice speed is set to double, triple, and ½. On the other hand, when the audio speed conversion is turned off in the setting unit 38, the reproducing unit 32 reproduces the audio signal without converting the audio speed. Further, at the volume level set by the setting unit 38, the reproduction unit 32 adjusts the volume level when reproducing the audio signal. Note that known techniques may be used for equalizer processing, voice speed conversion, volume level adjustment, and audio signal reproduction, and therefore description thereof is omitted here. As described above, it is not necessary for all of these settings to be set in the setting unit 38, and it is sufficient for at least one setting to be made, so the playback unit 32 may use at least one setting. The reproduction unit 32 outputs the reproduced audio signal to the speaker 34 and the processing unit 28. The speaker 34 converts a voice signal, which is an electric signal, into voice and outputs the voice.

処理部28は、再生部32からの音声信号を入力する。処理部28は、前述の標準的な音声認識モデルにもとづいて、音声信号に対して音声認識処理を実行する。音声認識処理によって、音声信号がテキスト化される。さらに、処理部28は、音声認識処理において認識不可能な音素が存在する場合に、その理由(以下、「エラーの理由」という)を特定してもよい。ここでは、エラーの理由として、(A)音声認識処理において認識不可能な音素が存在するか、(B)再生した音声信号での音声速度がしきい値より大きいか、(C)再生した音声信号での音量レベルがしきい値より小さいかが特定される。なお、(B)と(C)におけるしきい値は別の値でもよい。以下では、これらの処理を順に説明する。   The processing unit 28 inputs the audio signal from the reproducing unit 32. The processing unit 28 performs a voice recognition process on a voice signal based on the standard voice recognition model described above. The voice recognition process converts the voice signal into text. Further, the processing unit 28 may specify the reason (hereinafter, referred to as “reason of error”) when there is an unrecognizable phoneme in the voice recognition process. Here, as the reason of the error, (A) there is an unrecognizable phoneme in the voice recognition processing, (B) the voice speed in the reproduced voice signal is higher than a threshold value, or (C) the reproduced voice. It is determined whether the volume level in the signal is less than the threshold. The thresholds in (B) and (C) may be different values. Below, these processes are demonstrated in order.

(A)音声認識処理において認識不可能な音素が存在するか
処理部28は、音声認識処理において認識不可能な音素が存在するかを判定する。例えば、入力した音声信号の1音素の波形と、当該1音素の波形に最も近い波形との相関値が予め定められた値よりも小さい場合に、当該1音素が認識不可能な音素と判定される。処理部28は、テキスト化したデータにおいて、認識不可能な音素を伏せ字に変換する。なお、伏せ字ではなく、別の予め定められた文字に変換されてもよく、「認識不可能な音素あり」とのメッセージが、テキスト化したデータに追加されてもよい。つまり、処理部28は、本端末装置10の設定を反映させながら、再生部32において再生した音声信号に対して実行された音声認識処理において認識不可能な音素が存在するかを判定することによって、音声信号におけるエラーの理由を特定する。
(A) Is there an unrecognizable phoneme in the voice recognition process? The processing unit 28 determines whether there is an unrecognizable phoneme in the voice recognition process. For example, when the correlation value between the waveform of one phoneme of the input speech signal and the waveform closest to the waveform of the one phoneme is smaller than a predetermined value, the one phoneme is determined as an unrecognizable phoneme. It The processing unit 28 converts unrecognizable phonemes into blank characters in the text data. It should be noted that instead of the blank letters, it may be converted into another predetermined character, and the message “There is an unrecognizable phoneme” may be added to the text data. That is, the processing unit 28 determines whether or not there is an unrecognizable phoneme in the voice recognition processing executed on the voice signal reproduced by the reproduction unit 32 while reflecting the setting of the terminal device 10. , Identify the reason for the error in the audio signal.

(B)再生した音声信号での音声速度がしきい値より大きいか
処理部28は、実施例2と同様に、テキスト化したデータの文字数を数えることによって、一定期間における音声信号の音声速度の値を導出する。処理部28は、導出した音声速度の値と、予め記憶したしきい値とを比較することによって、音声信号での音声速度がしきい値より大きいかの判定処理を実行する。処理部28は、音声速度の値がしきい値よりも大きければ、テキスト化したデータのうち、しきい値よりも大きい部分の文字を伏せ字に変換する。さらに、処理部28は、テキスト化したデータに、音声速度が速すぎることを示すためのメッセージを追加してもよい。なお、処理部28は、音声速度の値がしきい値以下であれば、テキスト化したデータに対する変換を実行しない。
(B) Is the voice speed of the reproduced voice signal higher than the threshold value? As in the second embodiment, the processing unit 28 counts the number of characters of the text-converted data to determine the voice speed of the voice signal in a certain period. Derive the value. The processing unit 28 compares the derived value of the voice speed with a threshold value stored in advance to execute a process of determining whether the voice speed of the voice signal is higher than the threshold value. If the value of the voice speed is higher than the threshold value, the processing unit 28 converts the characters in the text-converted data, which are larger than the threshold value, into blank characters. Furthermore, the processing unit 28 may add a message indicating that the voice speed is too high to the text-converted data. Note that the processing unit 28 does not perform conversion on the text-converted data if the value of the voice speed is equal to or less than the threshold value.

(C)再生した音声信号での音量レベルがしきい値より小さいか
処理部28は、実施例2と同様に、一定期間における音声信号の音量レベルの値を導出する。処理部28は、導出した音量レベルの値と、しきい値とを比較することによって、音声信号での音量レベルがしきい値より小さいかの判定処理を実行する。処理部28は、音量レベルの値がしきい値よりも小さければ、テキスト化したデータの各文字を伏せ字に変換する。さらに、処理部28は、テキスト化したデータに、音量レベルが小さすぎることを示すためのメッセージを追加してもよい。なお、処理部28は、音量レベルの値がしきい値以上であれば、テキスト化したデータに対する変換を実行しない。
(C) Is the Volume Level of the Reproduced Audio Signal Below the Threshold Value? The processing unit 28 derives the volume level value of the audio signal for a certain period, as in the second embodiment. The processing unit 28 compares the derived value of the volume level with a threshold value to execute a process of determining whether the volume level of the audio signal is lower than the threshold value. If the volume level value is smaller than the threshold value, the processing unit 28 converts each character of the text-converted data into a blank character. Furthermore, the processing unit 28 may add a message indicating that the volume level is too low to the text-converted data. Note that the processing unit 28 does not perform conversion on the text-converted data when the volume level value is equal to or higher than the threshold value.

送信部40は、処理部28から、テキストデータを入力する。このテキストデータには、処理部28において特定したエラーの理由が含まれてもよい。送信部40は、テキストデータを送信側の端末装置10に送信する。エラーの理由が含まれる場合、伏せ字によって、認識不可能な音素の存在が示される。また、音声速度がしきい値より大きいことが示されたり、音量レベルがしきい値より小さいことが示されたりする。なお、処理部28がエラーの理由を特定するための処理を実行しない場合、テキストデータには、エラーの理由が含まれない。   The transmission unit 40 inputs the text data from the processing unit 28. This text data may include the reason for the error identified by the processing unit 28. The transmission unit 40 transmits the text data to the terminal device 10 on the transmission side. When the reason for the error is included, the blank letters indicate the presence of unrecognizable phonemes. Also, it is indicated that the voice speed is higher than the threshold value, or that the volume level is lower than the threshold value. If the processing unit 28 does not execute the process for specifying the reason for the error, the text data does not include the reason for the error.

前述の(3)において、受信部42は、受信側の端末装置10からのテキストデータを受信する。受信部42は、テキストデータを処理部28に出力する。処理部28は、受信部42からのテキストデータを入力し、テキストデータを表示部26に表示する。テキストデータにエラーの理由が含まれない場合、表示部26は、実施例1と同様にテキストデータを表示する。送話者は、表示部26に表示されたテキストデータを確認することによって、受話者がどのように聞き取っているかを認識する。   In the above (3), the receiving unit 42 receives the text data from the terminal device 10 on the receiving side. The receiving unit 42 outputs the text data to the processing unit 28. The processing unit 28 inputs the text data from the receiving unit 42 and displays the text data on the display unit 26. When the text data does not include the reason for the error, the display unit 26 displays the text data as in the first embodiment. The sender recognizes how the listener hears by checking the text data displayed on the display unit 26.

一方、以下では、テキストデータにエラーの理由が含まれている場合を説明する。図10(a)−(c)は、本発明の実施例4に係る表示部26に表示される画面を示す。図10(a)は、送話者が「アンゼン」と話しているが、「ア」が、認識不可能な音素とされている場合を示す。この場合、受話者は、例えば、「カンゼン」と聞き取っている可能性がある。図10(b)は、音声速度の値がしきい値よりも大きい場合を示す。この場合、一部の音素が伏せ字によって示されるとともに、メッセージが表示される。一方、図10(c)は、音量レベルの値がしきい値よりも小さい場合を示す。この場合、すべての音素が伏せ字によって示されるとともに、メッセージが表示される。   On the other hand, the case where the text data includes the reason for the error will be described below. 10A to 10C show screens displayed on the display unit 26 according to the fourth embodiment of the present invention. FIG. 10A shows a case where the sender is speaking "Anzen", but "a" is an unrecognizable phoneme. In this case, the listener may have heard "Kanzen," for example. FIG. 10B shows the case where the value of the voice speed is larger than the threshold value. In this case, a part of the phonemes are indicated by blank letters and a message is displayed. On the other hand, FIG. 10C shows the case where the value of the volume level is smaller than the threshold value. In this case, all phonemes are indicated by a blank letter and a message is displayed.

以上の構成による通信システム100の動作を説明する。図11は、本発明の実施例4に係る通信システム100による通信手順を示すシーケンス図である。第1端末装置10aは、音声を入力する(S110)と、音声信号を生成する(S112)。第1端末装置10aは、音声信号を送信する(S114)。第2端末装置10bは、音声信号を再生し(S116)、再生した音声信号をスピーカ34から出力する(S118)。第2端末装置10bは、音声認識処理を実行し(S120)、エラーの理由を特定する(S122)。また、第2端末装置10bは、テキストデータ、エラーの理由を生成する(S124)。第2端末装置10bは、テキストデータ、エラーの理由を送信する(S126)。第1端末装置10aは、テキストデータ、エラーの理由を表示する(S128)。   The operation of the communication system 100 having the above configuration will be described. FIG. 11 is a sequence diagram showing a communication procedure by the communication system 100 according to the fourth embodiment of the present invention. When the first terminal device 10a inputs a voice (S110), the first terminal device 10a generates a voice signal (S112). The first terminal device 10a transmits an audio signal (S114). The second terminal device 10b reproduces the audio signal (S116) and outputs the reproduced audio signal from the speaker 34 (S118). The second terminal device 10b executes voice recognition processing (S120) and identifies the reason for the error (S122). The second terminal device 10b also generates text data and the reason for the error (S124). The second terminal device 10b transmits the text data and the reason for the error (S126). The first terminal device 10a displays the text data and the reason for the error (S128).

図12は、本発明の実施例4に係る端末装置10による特定手順を示すフローチャートである。設定部38にイコライザ設定がなされている場合(S150のY)、再生部32は、音声信号に対してイコライザ処理を実行する(S152)。設定部38にイコライザ設定がなされていない場合(S150のN)、ステップ152はスキップされる。再生部32は、音声認識処理を実行する(S154)。認識不可能な音素があれば(S156のY)、処理部28は、エラーの理由を特定する(S158)。認識不可能な音素がなければ(S156のN)、ステップ158はスキップされる。   FIG. 12 is a flowchart showing a specifying procedure by the terminal device 10 according to the fourth embodiment of the present invention. When the equalizer setting is made in the setting unit 38 (Y in S150), the reproducing unit 32 executes the equalizer process on the audio signal (S152). If the equalizer setting is not made in the setting unit 38 (N of S150), step 152 is skipped. The reproducing unit 32 executes a voice recognition process (S154). If there is an unrecognizable phoneme (Y of S156), the processing unit 28 will identify the reason for the error (S158). If there is no unrecognizable phoneme (N of S156), step 158 will be skipped.

図13は、本発明の実施例4に係る端末装置10による別の特定手順を示すフローチャートである。設定部38に音声速度変換設定がなされている場合(S200のY)、再生部32は、音声信号を調節する(S202)。設定部38に音声速度変換設定がなされていない場合(S200のN)、ステップ202はスキップされる。再生部32は、音声認識処理を実行する(S204)。音声速度がしきい値よりも大きければ(S206のY)、処理部28は、エラーの理由を特定する(S208)。音声速度がしきい値よりも大きくなければ(S206のN)、ステップ208はスキップされる。   FIG. 13 is a flowchart showing another specific procedure by the terminal device 10 according to the fourth embodiment of the present invention. When the voice speed conversion setting is made in the setting unit 38 (Y of S200), the reproducing unit 32 adjusts the voice signal (S202). When the voice speed conversion setting is not made in the setting unit 38 (N of S200), step 202 is skipped. The reproducing unit 32 executes a voice recognition process (S204). If the voice speed is higher than the threshold value (Y in S206), the processing unit 28 identifies the reason for the error (S208). If the voice speed is not higher than the threshold value (N of S206), step 208 is skipped.

図14は、本発明の実施例4に係る端末装置10によるさらに別の特定手順を示すフローチャートである。再生部32は、設定部38における音量設定を取得する(S250)。再生部32は、音声信号を調節する(S252)。音量レベルがしきい値よりも小さければ(S254のY)、処理部28は、エラーの理由を特定する(S256)。音量レベルがしきい値よりも小さくなければ(S254のN)、ステップ256はスキップされる。   FIG. 14 is a flowchart showing yet another specifying procedure by the terminal device 10 according to the fourth embodiment of the present invention. The reproducing unit 32 acquires the volume setting in the setting unit 38 (S250). The reproducing unit 32 adjusts the audio signal (S252). If the volume level is lower than the threshold value (Y in S254), the processing unit 28 identifies the reason for the error (S256). If the volume level is not lower than the threshold value (N of S254), step 256 is skipped.

本実施例によれば、音声信号に対して、端末装置の設定を反映させながら音声認識処理を実行するので、端末装置の設定を反映しながら、受信した音声信号をテキスト化できる。端末装置の設定を反映させながら、再生した音声信号におけるエラーの理由を特定して通知するので、端末装置において音声出力に関する設定がなされる場合であっても、音声が聞こえにくい理由を知らせることができる。また、音声が聞こえにくい理由を知らせるので、当該理由を解消しながら音声信号を送信できる。また、端末装置の設定を反映させるので、実際の音声の聞こえ方に近くなるように音声認識処理を実行できる。   According to the present embodiment, the voice recognition processing is executed on the voice signal while reflecting the setting of the terminal device, so that the received voice signal can be converted into text while reflecting the setting of the terminal device. Since the reason for the error in the reproduced audio signal is specified and notified while reflecting the setting of the terminal device, it is possible to notify the reason why the audio is difficult to hear even when the setting related to the audio output is made in the terminal device. it can. Further, since the reason why the voice is hard to hear is notified, the voice signal can be transmitted while eliminating the reason. Further, since the setting of the terminal device is reflected, it is possible to execute the voice recognition processing so that the voice is closer to the way the voice is actually heard.

また、音声認識処理において認識不可能な音素が存在するかを判定して通知するので、送話者の話し方、通信環境が原因であることを知らせることができる。また、音声信号での音声速度がしきい値より大きいかを判定して通知するので、送話者の話し方が原因であることを知らせることができる。また、音声信号での音量レベルがしきい値より小さいかを判定して通知するので、送話者の話し方が原因であることを知らせることができる。   Further, since it is determined whether or not there is an unrecognizable phoneme in the voice recognition process and the notification is made, it is possible to notify that the cause is the speaker's speaking style or communication environment. Further, since it is determined whether or not the voice speed of the voice signal is higher than the threshold value and the result is notified, it is possible to notify that the cause is the way the speaker speaks. Further, since it is determined whether or not the volume level of the voice signal is lower than the threshold value and the notification is made, it is possible to inform that the speaker's way of speaking is the cause.

(実施例5)
次に、実施例5を説明する。実施例5は、実施例4と実施例3との組合せに相当する。実施例5に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 5)
Next, a fifth embodiment will be described. The fifth embodiment corresponds to a combination of the fourth embodiment and the third embodiment. The communication system and the terminal device according to the fifth embodiment are of the same type as those in FIGS. Here, the difference from the above will be mainly described.

前述の(2)において、再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。その際、実施例4と同様に、設定部38においてなされた設定値が反映される。処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第1テキスト」という)される。   In the above (2), the reproducing unit 32 inputs the audio signal from the receiving unit 42 and reproduces the audio signal. At that time, similarly to the fourth embodiment, the set value made in the setting unit 38 is reflected. The processing unit 28 inputs the audio signal from the reproducing unit 32. The processing unit 28 performs a voice recognition process on the voice signal based on a standard voice recognition model. As a result, the voice signal is converted into text (hereinafter, the voice signal converted into text is referred to as “first text”).

一方、再生部32は、受信部42からの音声信号を入力し、設定部38において設定した設定値を未使用のまま、音声信号を再生する。処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第2テキスト」という)される。   On the other hand, the reproducing unit 32 inputs the audio signal from the receiving unit 42, and reproduces the audio signal while keeping the setting value set by the setting unit 38 unused. The processing unit 28 inputs the audio signal from the reproducing unit 32. The processing unit 28 performs a voice recognition process on the voice signal based on a standard voice recognition model. As a result, the voice signal is converted into text (hereinafter, the voice signal converted into text is referred to as “second text”).

比較部46は、第1テキストと第2テキストとを入力する。比較部46は、第1テキストと第2テキストとを比較する。ここでは、比較として、第1テキストと第2テキストとが並べられる。比較部46は、第1テキストと第2テキストとを並べたテキストデータを送信部40に出力する。送信部40は、処理部28からのテキストデータを入力する。送信部40は、比較結果であるテキストデータを送信側の端末装置10に送信する。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。   The comparison unit 46 inputs the first text and the second text. The comparison unit 46 compares the first text and the second text. Here, as a comparison, the first text and the second text are arranged. The comparison unit 46 outputs the text data in which the first text and the second text are arranged to the transmission unit 40. The transmission unit 40 inputs the text data from the processing unit 28. The transmission unit 40 transmits the text data as the comparison result to the terminal device 10 on the transmission side. The subsequent processing is the same as that up to now, and therefore the description thereof is omitted here.

本実施例によれば、端末装置の設定値を使用している場合の音声認識処理の結果と、端末装置の設定値を使用していない場合の音声認識処理の結果とを比較するので、どの段階で認識不可能な音素が発生するかを特定できる。また、端末装置の設定値を使用している場合の音声認識処理の結果に認識不可能な音素が存在し、端末装置の設定値を使用していない場合の音声認識処理の結果に認識不可能な音素が存在しない場合、端末装置の設定によって聞き取れないことを認識できる。また、端末装置の設定値を使用している場合の音声認識処理の結果と、端末装置の設定値を使用していない場合の音声認識処理の結果とに認識不可能な音素が存在する場合、発話あるいは通信の段階に原因があることを認識できる。   According to the present embodiment, the result of the voice recognition process when the setting value of the terminal device is used and the result of the voice recognition process when the setting value of the terminal device is not used are compared. It is possible to specify whether an unrecognizable phoneme occurs at a stage. In addition, there is an unrecognizable phoneme in the result of the speech recognition process when the setting value of the terminal device is used, and unrecognizable in the result of the speech recognition process when the setting value of the terminal device is not used. If there is no such phoneme, it can be recognized that the phoneme cannot be heard depending on the setting of the terminal device. Further, if there is an unrecognizable phoneme in the result of the speech recognition process when the setting value of the terminal device is used and the result of the speech recognition process when the setting value of the terminal device is not used, It is possible to recognize that there is a cause in the stage of speech or communication.

(実施例6)
次に、実施例6を説明する。実施例6は、実施例4において音声認識処理を実行する際に、マイクにおいて集音した音の情報も利用することに関する。実施例6に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 6)
Next, a sixth embodiment will be described. The sixth embodiment relates to the use of the information of the sound collected by the microphone when executing the voice recognition processing in the fourth embodiment. The communication system and the terminal device according to the sixth embodiment are the same types as those in FIGS. 1 and 2. Here, the difference from the above will be mainly described.

マイク22は、本端末装置10の周囲の音、例えば雑音を集音する。マイク22は、集音した雑音を電気信号(以下、「雑音信号」という)に変換し、雑音信号を処理部28に出力する。処理部28は、実施例4と同様に、音声信号に対して音声認識処理を実行する。特に、エラーの理由を特定するために前述の(A)の処理を実行する場合、処理部28は、音声認識処理において、マイク22において集音した音の情報を反映させる。例えば、雑音信号の大きさに応じて、相関値と比較すべき値を調節する。具体的に説明すると、雑音信号が大きくなるほど、相関値と比較すべき値が小さくされる。処理部28は、これまでと同様に、認識不可能な音素を判定する。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。   The microphone 22 collects a sound around the terminal device 10, for example, noise. The microphone 22 converts the collected noise into an electric signal (hereinafter, referred to as “noise signal”) and outputs the noise signal to the processing unit 28. The processing unit 28 performs the voice recognition process on the voice signal as in the fourth embodiment. In particular, when the above-described process (A) is executed to identify the reason for the error, the processing unit 28 reflects the information of the sound collected by the microphone 22 in the voice recognition process. For example, the value to be compared with the correlation value is adjusted according to the magnitude of the noise signal. Specifically, the larger the noise signal, the smaller the value to be compared with the correlation value. The processing unit 28 determines an unrecognizable phoneme, as in the past. The subsequent processing is the same as that up to now, and therefore the description thereof is omitted here.

本実施例によれば、マイクにおいて集音した端末装置の周囲の音の情報も反映されるので、実際の音声の聞こえ方に近くなるように音声認識処理を実行できる。また、実際の音声の聞こえ方に近くなるような音声認識処理がなされるので、テキスト化の精度を向上できる。   According to the present embodiment, since the information of the sound around the terminal device collected by the microphone is also reflected, it is possible to perform the voice recognition processing so as to be closer to the way the actual voice is heard. In addition, since the voice recognition processing is performed so as to approximate the way the voice is actually heard, the accuracy of text conversion can be improved.

(実施例7)
次に、実施例7を説明する。実施例7は、実施例6と実施例5との組合せに相当する。実施例7に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 7)
Next, a seventh embodiment will be described. Example 7 corresponds to a combination of Example 6 and Example 5. The communication system and the terminal device according to the seventh embodiment are the same types as those in FIGS. Here, the difference from the above will be mainly described.

前述の(2)において、再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。その際、実施例6と同様に、設定部38においてなされた設定値が反映される。処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。ここで、エラーの理由を特定するために前述の(A)の処理を実行する場合、処理部28は、実施例6と同様に、音声認識処理において、マイク22において集音した音の情報を反映させる。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第1テキスト」という)される。   In the above (2), the reproducing unit 32 inputs the audio signal from the receiving unit 42 and reproduces the audio signal. At that time, similarly to the sixth embodiment, the set value made by the setting unit 38 is reflected. The processing unit 28 inputs the audio signal from the reproducing unit 32. The processing unit 28 performs a voice recognition process on the voice signal based on a standard voice recognition model. Here, in the case of executing the above-described processing of (A) in order to identify the reason of the error, the processing unit 28, in the voice recognition processing, outputs the information of the sound collected by the microphone 22 as in the sixth embodiment. To reflect. As a result, the voice signal is converted into text (hereinafter, the voice signal converted into text is referred to as “first text”).

一方、再生部32は、受信部42からの音声信号を入力し、設定部38において設定した設定値を未使用のまま、音声信号を再生する。処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。しかしながら、処理部28は、音声認識処理において、マイク22において集音した音の情報を反映させない。つまり、音の情報は未使用のまま音声認識処理が実行される。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第2テキスト」という)される。   On the other hand, the reproducing unit 32 inputs the audio signal from the receiving unit 42, and reproduces the audio signal while keeping the setting value set by the setting unit 38 unused. The processing unit 28 inputs the audio signal from the reproducing unit 32. The processing unit 28 performs a voice recognition process on the voice signal based on a standard voice recognition model. However, the processing unit 28 does not reflect the information of the sound collected by the microphone 22 in the voice recognition process. That is, the voice recognition processing is executed while the sound information is unused. As a result, the voice signal is converted into text (hereinafter, the voice signal converted into text is referred to as “second text”).

比較部46は、第1テキストと第2テキストとを入力する。比較部46は、第1テキストと第2テキストとを比較する。ここでは、比較として、第1テキストと第2テキストとが並べられる。比較部46は、第1テキストと第2テキストとを並べたテキストデータを送信部40に出力する。送信部40は、処理部28からのテキストデータを入力する。送信部40は、比較結果であるテキストデータを送信側の端末装置10に送信する。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。   The comparison unit 46 inputs the first text and the second text. The comparison unit 46 compares the first text and the second text. Here, as a comparison, the first text and the second text are arranged. The comparison unit 46 outputs the text data in which the first text and the second text are arranged to the transmission unit 40. The transmission unit 40 inputs the text data from the processing unit 28. The transmission unit 40 transmits the text data as the comparison result to the terminal device 10 on the transmission side. The subsequent processing is the same as that up to now, and therefore the description thereof is omitted here.

本実施例によれば、端末装置の設定値を使用し、かつ集音した音の情報を使用している場合の音声認識処理の結果と、端末装置の設定値を使用せず、かつ集音した音の情報を使用していない場合の音声認識処理の結果とを比較するので、どの段階で認識不可能な音素が発生するかを特定できる。また、端末装置の設定値を使用し、かつ集音した音の情報を使用している場合の音声認識処理の結果に認識不可能な音素が存在し、端末装置の設定値を使用せず、かつ集音した音の情報を使用していない場合の音声認識処理の結果に認識不可能な音素が存在しない場合、端末装置の設定、周囲の雑音によって聞き取れないことを認識できる。また、端末装置の設定値を使用し、かつ集音した音の情報を使用している場合の音声認識処理の結果と、端末装置の設定値を使用せず、かつ集音した音の情報を使用していない場合の音声認識処理の結果とに認識不可能な音素が存在する場合、発話あるいは通信の段階に原因があることを認識できる。   According to this embodiment, the result of the voice recognition process when the setting value of the terminal device is used and the information of the collected sound is used, and the setting value of the terminal device is not used and the sound collection is performed. Since the result of the voice recognition process when the information of the generated sound is not used is compared, it is possible to specify at which stage the unrecognizable phoneme occurs. Also, using the setting value of the terminal device, and there is an unrecognizable phoneme in the result of the voice recognition process when using the information of the collected sound, without using the setting value of the terminal device, In addition, when there is no unrecognizable phoneme in the result of the voice recognition process when the information of the collected sound is not used, it can be recognized that the phoneme cannot be heard due to the setting of the terminal device and the ambient noise. In addition, the result of the voice recognition processing when the setting value of the terminal device is used and the information of the collected sound is used, and the information of the collected sound without using the setting value of the terminal device is displayed. If there is an unrecognizable phoneme in the result of the speech recognition processing when not in use, it can be recognized that there is a cause in the utterance or communication stage.

(実施例8)
次に、実施例8を説明する。実施例8は、実施例6において、音声認識処理を実行する際に、受信側の端末装置になされた設定を反映させない場合に相当する。受信側の端末装置になされた設定とは、イコライザのオン/オフ、スピーカから出力される際の音量レベル、話速変換のオン/オフの設定である。一方、実施例8でも、実施例6と同様に、音声認識処理を実行する際に、マイクにおいて集音した音の情報は利用される。実施例8に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 8)
Next, Example 8 will be described. The eighth embodiment corresponds to the case where the settings made in the terminal device on the receiving side are not reflected when the voice recognition process is executed in the sixth embodiment. The settings made in the terminal device on the receiving side are the on / off setting of the equalizer, the volume level when output from the speaker, and the on / off setting of the voice speed conversion. On the other hand, also in the eighth embodiment, as in the sixth embodiment, the information of the sound collected by the microphone is used when the voice recognition process is executed. The communication system and the terminal device according to the eighth embodiment are the same types as those in FIGS. Here, the difference from the above will be mainly described.

前述の(2)において、再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。その際、実施例6とは異なって、設定部38においてなされた設定値は反映されない。マイク22は、本端末装置10の周囲の音、例えば雑音を集音し、集音した雑音を電気信号(以下、「雑音信号」という)に変換し、雑音信号を処理部28に出力する。処理部28は、実施例6と同様に、音声信号に対して音声認識処理を実行する。特に、エラーの理由を特定するために前述の(A)の処理を実行する場合、処理部28は、音声認識処理において、マイク22において集音した音の情報を反映させる。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。   In the above (2), the reproducing unit 32 inputs the audio signal from the receiving unit 42 and reproduces the audio signal. At this time, unlike the sixth embodiment, the set value set by the setting unit 38 is not reflected. The microphone 22 collects sounds around the terminal device 10, for example, noise, converts the collected noise into an electric signal (hereinafter referred to as “noise signal”), and outputs the noise signal to the processing unit 28. The processing unit 28 performs the voice recognition process on the voice signal, as in the sixth embodiment. In particular, when the above-described process (A) is executed to identify the reason for the error, the processing unit 28 reflects the information of the sound collected by the microphone 22 in the voice recognition process. The subsequent processing is the same as that up to now, and therefore the description thereof is omitted here.

本実施例によれば、マイクにおいて集音した端末装置の周囲の音の情報が反映されるので、実際の音声の聞こえ方に近くなるように音声認識処理を実行できる。また、実際の音声の聞こえ方に近くなるような音声認識処理がなされるので、テキスト化の精度を向上できる。   According to the present embodiment, since the information of the sound around the terminal device collected by the microphone is reflected, it is possible to execute the voice recognition process so that the sound is closer to the way the actual voice is heard. In addition, since the voice recognition processing is performed so as to approximate the way the voice is actually heard, the accuracy of text conversion can be improved.

(実施例9)
次に、実施例9を説明する。実施例9は、実施例8と実施例7との組合せに相当する。実施例9に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 9)
Next, a ninth embodiment will be described. Example 9 corresponds to a combination of Example 8 and Example 7. The communication system and the terminal device according to the ninth embodiment are the same types as those in FIGS. 1 and 7. Here, the difference from the above will be mainly described.

前述の(2)において、処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。ここで、エラーの理由を特定するために前述の(A)の処理を実行する場合、処理部28は、実施例8と同様に、音声認識処理において、マイク22において集音した音の情報を反映させる。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第1テキスト」という)される。   In the above (2), the processing unit 28 inputs the audio signal from the reproducing unit 32. The processing unit 28 performs a voice recognition process on the voice signal based on a standard voice recognition model. Here, when the above-described process (A) is performed to identify the reason for the error, the processing unit 28, in the voice recognition process, outputs the information of the sound collected by the microphone 22 as in the eighth embodiment. To reflect. As a result, the voice signal is converted into text (hereinafter, the voice signal converted into text is referred to as “first text”).

一方、処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。しかしながら、処理部28は、音声認識処理において、マイク22において集音した音の情報を反映させない。つまり、音の情報は未使用のまま音声認識処理が実行される。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第2テキスト」という)される。   On the other hand, the processing unit 28 performs a voice recognition process on the voice signal based on a standard voice recognition model. However, the processing unit 28 does not reflect the information of the sound collected by the microphone 22 in the voice recognition process. That is, the voice recognition processing is executed while the sound information is unused. As a result, the voice signal is converted into text (hereinafter, the voice signal converted into text is referred to as “second text”).

比較部46は、第1テキストと第2テキストとを入力する。比較部46は、第1テキストと第2テキストとを比較する。ここでは、比較として、第1テキストと第2テキストとが並べられる。比較部46は、第1テキストと第2テキストとを並べたテキストデータを送信部40に出力する。送信部40は、処理部28からのテキストデータを入力する。送信部40は、比較結果であるテキストデータを送信側の端末装置10に送信する。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。   The comparison unit 46 inputs the first text and the second text. The comparison unit 46 compares the first text and the second text. Here, as a comparison, the first text and the second text are arranged. The comparison unit 46 outputs the text data in which the first text and the second text are arranged to the transmission unit 40. The transmission unit 40 inputs the text data from the processing unit 28. The transmission unit 40 transmits the text data as the comparison result to the terminal device 10 on the transmission side. The subsequent processing is the same as that up to now, and therefore the description thereof is omitted here.

本実施例によれば、集音した音の情報を使用している場合の音声認識処理の結果と、集音した音の情報を使用していない場合の音声認識処理の結果とを比較するので、どの段階で認識不可能な音素が発生するかを特定できる。また、集音した音の情報を使用している場合の音声認識処理の結果に認識不可能な音素が存在し、集音した音の情報を使用していない場合の音声認識処理の結果に認識不可能な音素が存在しない場合、周囲の雑音によって聞き取れないことを認識できる。また、集音した音の情報を使用している場合の音声認識処理の結果と、集音した音の情報を使用していない場合の音声認識処理の結果とに認識不可能な音素が存在する場合、発話あるいは通信の段階に原因があることを認識できる。   According to this embodiment, the result of the voice recognition process when the information of the collected sound is used and the result of the voice recognition process when the information of the collected sound is not used are compared. , It is possible to specify at which stage the unrecognizable phoneme occurs. In addition, there is an unrecognizable phoneme in the result of the speech recognition process when the collected sound information is used, and it is recognized in the result of the speech recognition process when the collected sound information is not used. When there is no impossible phoneme, it can be recognized that it cannot be heard due to ambient noise. In addition, there is an unrecognizable phoneme in the result of the voice recognition process when the information of the collected sound is used and the result of the voice recognition process when the information of the collected sound is not used. In this case, it can be recognized that there is a cause in the stage of utterance or communication.

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。   The present invention has been described above based on the embodiments. It should be understood by those skilled in the art that this embodiment is an exemplification, and that various modifications can be made to the combinations of the respective constituent elements and the respective processing processes, and that such modifications are within the scope of the present invention. .

本実施例1乃至9によれば、通信システム100は、業務用無線を使用している。しかしながらこれに限らず例えば、業務用無線以外の無線通信システムが使用されてもよい。本実施例によれば、構成の自由度を向上できる。   According to the first to ninth embodiments, the communication system 100 uses the commercial radio. However, not limited to this, for example, a wireless communication system other than the commercial wireless may be used. According to this embodiment, the degree of freedom of the configuration can be improved.

10 端末装置、 12 基地局装置、 14 ネットワーク、 20 ボタン、 22 マイク、 24 操作部、 26 表示部、 28 処理部、 30 通信部、 32 再生部、 34 スピーカ、 36 送話部、 38 設定部、 40 送信部、 42 受信部、 46 比較部、 100 通信システム。   10 terminal device, 12 base station device, 14 network, 20 button, 22 microphone, 24 operation unit, 26 display unit, 28 processing unit, 30 communication unit, 32 reproducing unit, 34 speaker, 36 transmitting unit, 38 setting unit, 40 transmitter, 42 receiver, 46 comparator, 100 communication system.

Claims (9)

端末装置であって、
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、
前記設定部において設定した設定値をもとに、前記受信部において受信した音声信号を再生する再生部と、
前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。
A terminal device,
A receiving unit that receives a voice signal from another terminal device,
A setting unit for setting a setting value to be used when reproducing the audio signal received by the receiving unit;
A reproducing unit for reproducing the audio signal received by the receiving unit based on the set value set by the setting unit;
A processing unit that executes a voice recognition process on the audio signal reproduced by the reproducing unit;
A transmission unit that transmits the result of the voice recognition process in the processing unit to the other terminal device;
A terminal device comprising:
前記再生部は、前記設定部において設定した設定値を未使用のまま、前記受信部において受信した音声信号を再生し、
前記処理部は、(1)設定値を未使用のまま再生した音声信号に対しても、音声認識処理を実行するとともに、(2)設定値を未使用のまま再生した音声信号に対する音声認識処理の結果と、設定値をもとに再生した音声信号に対する音声認識処理の結果とを比較し、
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項1に記載の端末装置。
The reproducing unit reproduces the audio signal received by the receiving unit while keeping the setting value set by the setting unit unused.
The processing unit executes (1) a voice recognition process even on an audio signal reproduced with an unused set value, and (2) a voice recognition process for an audio signal reproduced with an unused set value. And the result of the voice recognition processing for the voice signal reproduced based on the set value,
The terminal device according to claim 1, wherein the transmission unit transmits the comparison result in the processing unit to the other terminal device as a result of the voice recognition process.
端末装置であって、
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、
前記設定部において設定した設定値をもとに、前記受信部において受信した音声信号を再生する再生部と、
本端末装置の周囲の音を集音するマイクと、
前記マイクにおいて集音した音の情報を反映させながら、前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。
A terminal device,
A receiving unit that receives a voice signal from another terminal device,
A setting unit for setting a setting value to be used when reproducing the audio signal received by the receiving unit;
A reproducing unit for reproducing the audio signal received by the receiving unit based on the set value set by the setting unit;
A microphone that collects sounds around the terminal device,
A processing unit that executes a voice recognition process on the audio signal reproduced by the reproducing unit while reflecting the information of the sound collected by the microphone;
A transmission unit that transmits the result of the voice recognition process in the processing unit to the other terminal device;
A terminal device comprising:
前記再生部は、前記設定部において設定した設定値を未使用のまま、前記受信部において受信した音声信号を再生し、
前記処理部は、(1)設定値を未使用のまま再生した音声信号に対しても、音の情報を未使用のまま音声認識処理を実行するとともに、(2)設定値を未使用のまま再生した音声信号に対する音の情報を未使用のままの音声認識処理の結果と、設定値をもとに再生した音声信号に対する音の情報を反映させた音声認識処理の結果とを比較し、
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項に記載の端末装置。
The reproducing unit reproduces the audio signal received by the receiving unit while keeping the setting value set by the setting unit unused.
The processing unit executes (1) voice recognition processing with the sound information unused, even for a voice signal reproduced with the setting value unused, and (2) leaves the setting value unused. The result of the voice recognition processing in which the sound information for the reproduced voice signal is unused and the result of the voice recognition processing for reflecting the sound information for the reproduced voice signal based on the set value are compared,
The terminal device according to claim 3 , wherein the transmission unit transmits the comparison result in the processing unit to the other terminal device as a result of the voice recognition process.
前記設定値は、音量レベルに関する設定値、音声速度に関する設定値、周波数特性に関する設定値のうちの少なくとも1つを含むことを特徴とする請求項1から4のいずれかに記載の端末装置。   The terminal device according to claim 1, wherein the setting value includes at least one of a setting value regarding a volume level, a setting value regarding a voice speed, and a setting value regarding a frequency characteristic. 端末装置であって、
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する再生部と、
本端末装置の周囲の音を集音するマイクと、
前記マイクにおいて集音した音の情報を反映させながら、前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。
A terminal device,
A receiving unit that receives a voice signal from another terminal device,
A reproducing unit for reproducing the audio signal received by the receiving unit,
A microphone that collects sounds around the terminal device,
A processing unit that executes a voice recognition process on the audio signal reproduced by the reproducing unit while reflecting the information of the sound collected by the microphone;
A transmission unit that transmits the result of the voice recognition process in the processing unit to the other terminal device;
A terminal device comprising:
前記処理部は、(1)音の情報を未使用のまま音声認識処理を実行するとともに、(2)音の情報を未使用のままの音声認識処理の結果と、音の情報を反映させた音声認識処理の結果とを比較し、
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項6に記載の端末装置。
The processing unit (1) executes the voice recognition process with the sound information unused, and (2) reflects the result of the voice recognition process with the sound information unused and the sound information. Compare the result of the voice recognition process,
The terminal device according to claim 6, wherein the transmitting unit transmits the comparison result in the processing unit to the other terminal device as a result of the voice recognition process.
端末装置での通信方法であって、
他の端末装置からの音声信号を受信するステップと、
受信した音声信号を再生する際に使用すべき設定値を設定するステップと、
設定した設定値をもとに、受信した音声信号を再生するステップと、
再生した音声信号に対して音声認識処理を実行するステップと、
音声認識処理の結果を前記他の端末装置に送信するステップと、
を備えることを特徴とする通信方法。
A communication method at a terminal device,
Receiving a voice signal from another terminal device,
A step of setting a setting value to be used when reproducing the received audio signal,
Based on the set value that has been set, the step of playing the received audio signal,
A step of performing voice recognition processing on the reproduced voice signal,
Transmitting the result of the voice recognition process to the other terminal device,
A communication method comprising:
端末装置での通信方法であって、
他の端末装置からの音声信号を受信するステップと、
受信した音声信号を再生するステップと、
本端末装置の周囲の音を集音するステップと、
集音した音の情報を反映させながら、再生した音声信号に対して音声認識処理を実行するステップと、
音声認識処理の結果を前記他の端末装置に送信するステップと、
を備えることを特徴とする通信方法。
A communication method at a terminal device,
Receiving a voice signal from another terminal device,
Reproducing the received audio signal,
Collecting sounds around the terminal device,
A step of performing voice recognition processing on the reproduced voice signal while reflecting the information of the collected sound;
Transmitting the result of the voice recognition process to the other terminal device,
A communication method comprising:
JP2015227481A 2015-11-20 2015-11-20 Terminal device, communication method Active JP6690200B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015227481A JP6690200B2 (en) 2015-11-20 2015-11-20 Terminal device, communication method
US15/352,641 US9972342B2 (en) 2015-11-20 2016-11-16 Terminal device and communication method for communication of speech signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015227481A JP6690200B2 (en) 2015-11-20 2015-11-20 Terminal device, communication method

Publications (2)

Publication Number Publication Date
JP2017097093A JP2017097093A (en) 2017-06-01
JP6690200B2 true JP6690200B2 (en) 2020-04-28

Family

ID=58804936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015227481A Active JP6690200B2 (en) 2015-11-20 2015-11-20 Terminal device, communication method

Country Status (1)

Country Link
JP (1) JP6690200B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026004B2 (en) * 2018-06-13 2022-02-25 日本電信電話株式会社 Conversation aids, conversation aid methods and programs

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325798A (en) * 1996-06-06 1997-12-16 Matsushita Electric Ind Co Ltd Voice recognizing device
US7457750B2 (en) * 2000-10-13 2008-11-25 At&T Corp. Systems and methods for dynamic re-configurable speech recognition
JP2002300259A (en) * 2001-04-03 2002-10-11 Fujitsu I-Network Systems Ltd Method and system for evaluation test of voice speech equipment
JP2002372985A (en) * 2001-06-14 2002-12-26 Mitsubishi Electric Corp Voice recognizing device
JP2003209600A (en) * 2002-01-11 2003-07-25 Canon Inc Calling system, calling terminal, method, program, and computer-readable storage medium
JP4731174B2 (en) * 2005-02-04 2011-07-20 Kddi株式会社 Speech recognition apparatus, speech recognition system, and computer program
JP2008028532A (en) * 2006-07-19 2008-02-07 Canon Inc Voice processor and voice processing method
JP2010226377A (en) * 2009-03-23 2010-10-07 Toshiba Corp Remote conference supporting apparatus and method
JP2011087196A (en) * 2009-10-16 2011-04-28 Nec Saitama Ltd Telephone set, and speech speed conversion method of telephone set
JP5014449B2 (en) * 2010-02-26 2012-08-29 シャープ株式会社 CONFERENCE SYSTEM, INFORMATION PROCESSING DEVICE, CONFERENCE SUPPORT METHOD, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM
JP5717574B2 (en) * 2011-07-27 2015-05-13 京セラ株式会社 Portable electronic devices
JP6148163B2 (en) * 2013-11-29 2017-06-14 本田技研工業株式会社 Conversation support device, method for controlling conversation support device, and program for conversation support device

Also Published As

Publication number Publication date
JP2017097093A (en) 2017-06-01

Similar Documents

Publication Publication Date Title
CN107995360B (en) Call processing method and related product
KR101626438B1 (en) Method, device, and system for audio data processing
CN106302997B (en) Output control method, electronic equipment and system
US10510361B2 (en) Audio processing apparatus that outputs, among sounds surrounding user, sound to be provided to user
US10276191B2 (en) Speech section detection device, voice processing system, speech section detection method, and computer program product
CN110996238B (en) Binaural synchronous signal processing hearing aid system and method
US9972342B2 (en) Terminal device and communication method for communication of speech signals
JP6690200B2 (en) Terminal device, communication method
JP6610195B2 (en) Terminal device and communication method
JP6822540B2 (en) Terminal device, communication method and communication program
JP7284570B2 (en) Sound reproduction system and program
JP2018148329A (en) Determination device and determination method
EP3913809A1 (en) Decoding device, decoding method, and program
US10074378B2 (en) Data encoding detection
WO2015097818A1 (en) Television system, server device, and television device
JP5812932B2 (en) Voice listening device, method and program thereof
US20240029755A1 (en) Intelligent speech or dialogue enhancement
US11949817B2 (en) Multipoint control method, apparatus and program
CN110648686B (en) Method for adjusting voice frequency and sound playing device thereof
JP6657769B2 (en) Transmission device, transmission method
US20220377468A1 (en) Systems and methods for hearing assistance
US20220124201A1 (en) Multipoint control method, apparatus and program
CN116939565A (en) Voice quality assessment method and system
WO2020128552A1 (en) Speech recognition device, control method for speech recognition device, content reproduction device, and content transmission and reception system
CN116778954A (en) Broadcasting system silence detection method, audio output equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200323

R150 Certificate of patent or registration of utility model

Ref document number: 6690200

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150