JP6690200B2 - Terminal device, communication method - Google Patents
Terminal device, communication method Download PDFInfo
- Publication number
- JP6690200B2 JP6690200B2 JP2015227481A JP2015227481A JP6690200B2 JP 6690200 B2 JP6690200 B2 JP 6690200B2 JP 2015227481 A JP2015227481 A JP 2015227481A JP 2015227481 A JP2015227481 A JP 2015227481A JP 6690200 B2 JP6690200 B2 JP 6690200B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- unit
- voice
- voice recognition
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephone Function (AREA)
Description
本発明は、通信技術に関し、特に音声信号の通信を実行する端末装置、通信方法に関する。 The present invention relates to communication technology, and more particularly to a terminal device and a communication method for executing communication of voice signals.
音声認識処理は、周囲環境のノイズが加わったり、音声が小さかったりする場合に、認識不能となる。さらに、音声認識処理を繰り返し実行しても、認識不能になることがある。特に、オペレータが認識不能の理由を分からないと、認識不能が繰り返されやすい。これを防止するために、認識不能の理由がオペレータに通知される(例えば、特許文献1)。 The voice recognition process becomes unrecognizable when noise in the surrounding environment is added or the voice is low. Further, even if the voice recognition process is repeatedly executed, it may become impossible to recognize. In particular, if the operator does not understand the reason why the recognition is impossible, the recognition cannot be repeated easily. In order to prevent this, the operator is notified of the reason why the recognition is impossible (for example, Patent Document 1).
音声認識処理は、一般的に、音声のデータである音声信号に対してなされる。一方、受話者が聞く音声には、イコライザのオン/オフ、スピーカから出力される際の音量レベル、話速変換のオン/オフの設定がなされている。そのため、受話者が聞く音声は、音声信号と異なる場合がある。また、同一の音声信号から再生された音声を聞いた場合であっても、聞こえ方は受話者によって異なることがある。そのため、音声認識処理は、受話者側の状況に応じてなされる方が望ましい。 The voice recognition process is generally performed on a voice signal which is voice data. On the other hand, the voice heard by the listener is set such that the equalizer is turned on / off, the volume level when output from the speaker, and the voice speed conversion on / off. Therefore, the voice heard by the listener may be different from the voice signal. Further, even when the sound reproduced from the same sound signal is heard, the way of hearing may differ depending on the listener. Therefore, it is desirable that the voice recognition process be performed according to the situation on the listener side.
本発明はこうした状況に鑑みてなされたものであり、その目的は、受話者側の状況に応じてなされた音声認識結果を知らせる技術を提供することである。 The present invention has been made in view of such a situation, and an object thereof is to provide a technique of notifying a voice recognition result made according to a situation of a listener.
上記課題を解決するために、本発明のある態様の端末装置は、端末装置であって、他の端末装置からの音声信号を受信する受信部と、受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、設定部において設定した設定値をもとに、受信部において受信した音声信号を再生する再生部と、再生部において再生した音声信号に対して音声認識処理を実行する処理部と、処理部における音声認識処理の結果を他の端末装置に送信する送信部と、を備える。 In order to solve the above problems, a terminal device according to an aspect of the present invention is a terminal device, and a receiving unit that receives an audio signal from another terminal device, and a case where the audio signal received by the receiving unit is reproduced. A setting unit that sets a set value that should be used for the audio signal, a reproducing unit that reproduces the audio signal received by the receiving unit based on the setting value set by the setting unit, and an audio signal for the audio signal reproduced by the reproducing unit. A processing unit that executes the recognition process and a transmission unit that transmits the result of the voice recognition process in the processing unit to another terminal device are provided.
本発明の別の態様もまた、端末装置である。この装置は、端末装置であって、他の端末装置からの音声信号を受信する受信部と、受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、設定部において設定した設定値をもとに、受信部において受信した音声信号を再生する再生部と、本端末装置の周囲の音を集音するマイクと、マイクにおいて集音した音の情報を反映させながら、再生部において再生した音声信号に対して音声認識処理を実行する処理部と、処理部における音声認識処理の結果を他の端末装置に送信する送信部と、を備える。 Another aspect of the present invention is also a terminal device. This device is a terminal device, and includes a receiving unit that receives an audio signal from another terminal device, a setting unit that sets a setting value to be used when the audio signal received by the receiving unit is reproduced, and a setting unit. Based on the set value set in the unit, the playback unit that plays back the audio signal received by the receiving unit, the microphone that collects the sound around the terminal device, and the information of the sound collected by the microphone are reflected. However, the processing unit includes a processing unit that performs a voice recognition process on the voice signal reproduced by the reproduction unit, and a transmission unit that transmits the result of the voice recognition process in the processing unit to another terminal device.
本発明のさらに別の態様もまた、端末装置である。この装置は、端末装置であって、他の端末装置からの音声信号を受信する受信部と、受信部において受信した音声信号を再生する再生部と、本端末装置の周囲の音を集音するマイクと、マイクにおいて集音した音の情報を反映させながら、再生部において再生した音声信号に対して音声認識処理を実行する処理部と、処理部における音声認識処理の結果を他の端末装置に送信する送信部と、を備える。 Yet another aspect of the present invention is also a terminal device. This device is a terminal device, and a receiving unit that receives an audio signal from another terminal device, a reproducing unit that reproduces the audio signal received by the receiving unit, and a sound around the terminal device. A microphone, a processing unit that performs voice recognition processing on the audio signal reproduced by the reproduction unit while reflecting information of the sound collected by the microphone, and the result of the voice recognition processing by the processing unit to another terminal device. And a transmitting unit for transmitting.
本発明のさらに別の態様は、通信方法である。この方法は、端末装置での通信方法であって、他の端末装置からの音声信号を受信するステップと、受信した音声信号を再生する際に使用すべき設定値を設定するステップと、設定した設定値をもとに、受信した音声信号を再生するステップと、再生した音声信号に対して音声認識処理を実行するステップと、音声認識処理の結果を他の端末装置に送信するステップと、を備える。 Yet another aspect of the present invention is a communication method. This method is a communication method in a terminal device, and includes a step of receiving an audio signal from another terminal device, a step of setting a setting value to be used when reproducing the received audio signal, Based on the set value, a step of reproducing the received voice signal, a step of executing a voice recognition process on the reproduced voice signal, and a step of transmitting the result of the voice recognition process to another terminal device. Prepare
本発明のさらに別の態様もまた、通信方法である。この方法は、端末装置での通信方法であって、他の端末装置からの音声信号を受信するステップと、受信した音声信号を再生するステップと、本端末装置の周囲の音を集音するステップと、集音した音の情報を反映させながら、再生した音声信号に対して音声認識処理を実行するステップと、音声認識処理の結果を他の端末装置に送信するステップと、を備える。 Yet another aspect of the present invention is also a communication method. This method is a communication method in a terminal device, which includes a step of receiving a voice signal from another terminal device, a step of reproducing the received voice signal, and a step of collecting a sound around the terminal device. And a step of performing a voice recognition process on the reproduced voice signal while reflecting the information of the collected sound, and a step of transmitting the result of the voice recognition process to another terminal device.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above constituent elements and one obtained by converting the expression of the present invention among methods, devices, systems, recording media, computer programs, etc. are also effective as an aspect of the present invention.
本発明によれば、受話者側の状況に応じてなされた音声認識結果を知らせることができる。 According to the present invention, it is possible to notify the result of voice recognition performed according to the situation on the listener side.
(実施例1)
本発明を具体的に説明する前に、まず概要を述べる。本発明の実施例1は、PTT(Push to Talk)による音声通信を実行する端末装置に関する。当該端末装置は、ボタンを備えており、ユーザが当該ボタンを押し下げることによって送話が開始され、当該ボタンを解放することによって送話が終了する。一方、当該ボタンを押していない場合、ユーザはメッセージを聞くのみである。このようなPTTにおいて、送話者は、話して送信するという行動だけで完結しており、それがどう伝わったのかは、受話者の反応を頼りにするしかない。送信者は話した内容が受話者に正しく伝わっていると思い込んでいても、通信状況が悪く雑音が多かったり、早口すぎたりなどにより、自身の意図通りに音声が受話者に伝わっていないおそれがある。
(Example 1)
Before specifically explaining the present invention, an outline will be given. The first embodiment of the present invention relates to a terminal device that executes voice communication by PTT (Push to Talk). The terminal device includes a button, and when the user depresses the button, the transmission is started, and when the button is released, the transmission ends. On the other hand, if the button is not pressed, the user only hears the message. In such a PTT, the talker is completed only by the action of speaking and transmitting, and how it is transmitted depends on the reaction of the listener. Even if the sender believes that what he / she has spoken is correctly transmitted to the listener, there is a risk that the voice may not be transmitted to the listener as intended due to poor communication conditions, a lot of noise, or too fast speech. is there.
そのため、受信側の端末装置が、音声認識処理を実行することによって、受信した音声信号をテキスト化し、テキスト化したデータ(以下、「テキストデータ」という)を送信側の端末装置に送信する。送信側の端末装置はテキストデータを表示し、送話者はテキストデータを確認することによって、意図通りの音声が出力されているかを確認する。しかしながら、受話者による聞こえ方には個人差があるので、同一の音声であっても、異なったように聞こえる場合がある。そのため、テキストデータの内容と、受話者が実際に認識した内容とが異なるおそれがある。 Therefore, the receiving-side terminal device converts the received voice signal into text by executing the voice recognition process, and transmits the text-converted data (hereinafter, referred to as “text data”) to the transmitting-side terminal device. The terminal device on the transmitting side displays the text data, and the sender confirms whether the intended voice is output by checking the text data. However, since there are individual differences in how the listener hears, even the same voice may sound different. Therefore, the content of the text data may be different from the content actually recognized by the listener.
これに対応するために、本実施例に係る端末装置、特に受信側の端末装置は、当該端末装置を使用するユーザ、つまり受話者の音声認識モデルを使用して、音声認識処理を実行する。そのため、端末装置において生成されるテキストデータの内容には、受話者の聞こえ方が反映されている。 In order to deal with this, the terminal device according to the present embodiment, in particular, the terminal device on the receiving side executes the voice recognition process using the voice recognition model of the user who uses the terminal device, that is, the listener. Therefore, how the listener hears is reflected in the content of the text data generated in the terminal device.
図1は、本発明の実施例1に係る通信システム100の構成を示す。通信システム100は、端末装置10と総称される第1端末装置10a、第2端末装置10b、基地局装置12と総称される第1基地局装置12a、第2基地局装置12b、ネットワーク14を含む。ここで、通信システム100は、例えば、業務用無線に対応する。
FIG. 1 shows the configuration of a
端末装置10は、業務用無線による通信を実行可能な装置である。業務用無線については公知の技術が使用されればよいので、ここでは説明を省略する。ここでは、第1端末装置10aが業務用無線による音声通信の送信側に相当し、第2端末装置10bが業務用無線による音声通信の受信側に相当する。そのため、第1端末装置10aは送話者に使用され、第2端末装置10bは受話者に使用される。なお、第1端末装置10aと第2端末装置10bとの関係は逆であってもよく、端末装置10の数は「2」に限定されない。
The
基地局装置12は、業務用無線のシステムに対応するとともに、一端側において、業務用無線により端末装置10に接続され、他端側において、基地局装置12に接続される。第1基地局装置12aと第2基地局装置12bとは、異なった位置に設置される。なお、業務用無線では、複数の端末装置10によってグループを形成することも可能である。基地局装置12は、グループに対して、上りチャネルと下りチャネルを割り当ててもよい。このような状況下において、グループ中の1つの端末装置10が、上りチャネルにて信号を送信し、グループ中の他の端末装置10が、下りチャネルにて信号を受信する。
The base station device 12 corresponds to a system for business radio, and is connected to the
ネットワーク14は、第1基地局装置12aと第2基地局装置12bとを接続する。このような接続によって、第1端末装置10aと第2端末装置10bは、第1基地局装置12a、ネットワーク14、第2基地局装置12bを介して、通信可能になる。ここでは、PTTによる音声通信であるとする。
The
図2は、端末装置10の構成を示す。端末装置10は、ボタン20、マイク22、操作部24、表示部26、処理部28、通信部30、再生部32、スピーカ34を含む。また、処理部28は、送話部36、設定部38を含み、通信部30は、送信部40、受信部42を含む。端末装置10は、送信側の端末装置10と受信側の端末装置10のいずれにも対応する。ここでは、説明を明瞭にするために、処理の順番にしたがって、(1)送信側、(2)受信側、(3)送信側の順に説明する。
FIG. 2 shows the configuration of the
(1)送信側
ここでは、送信側の端末装置10での処理を説明する。ボタン20は、PTTボタンに相当し、PTTによって音声を送信する場合に、ユーザによって押し下げられる。また、音声を送信している間にわたって、ボタン20は押し下げ続けられる。ボタン20が押し下げられることは、音声信号を送信するための指示を受けつけることに相当する。ボタン20は、押し下げられている間にわたって、指示を送話部36に出力し続ける。マイク22は、端末装置10の周囲の音声を集音する。マイク22は、集音した音声を電気信号(以下、「音声信号」という)に変換し、音声信号を送話部36に出力する。
(1) Transmission Side Here, the processing in the transmission
送話部36は、ボタン20からの指示を受けつけている場合に、マイク22からの音声信号を入力する。送話部36は、音声信号をアナログ信号からデジタル信号に変換し、デジタル信号に変換した音声信号(以下、これもまた「音声信号」という)を送信部40に出力する。一方、送話部36は、ボタン20からの指示を受けつけていない場合に、このような処理を実行しない。送信部40は、送話部36からの音声信号を入力し、音声信号を受信側の端末装置10に送信する。音声信号の送信のために、送信部40は、符号化、変調、周波数変換、増幅等を実行する。
The transmitting
(2)受信側
ここでは、(1)につづく、受信側の端末装置10での処理を説明する。受信部42は、送信側の端末装置10からの音声信号を受信する。受信部42は、増幅、周波数変換、復調、復号等を実行する。受信部42は、処理の結果(以下、これもまた「音声信号」という)を再生部32に出力する。再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。音声信号の再生には公知の技術が使用されればよいので、ここでは説明を省略する。再生部32は、再生した音声信号をスピーカ34と処理部28に出力する。スピーカ34は、電気信号である音声信号を音声に変換し、音声を出力する。
(2) Receiving Side Here, the processing in the
処理部28は、再生部32からの音声信号を入力する。一方、設定部38には、本端末装置10を使用するユーザ、つまり特定された受話者の音声認識モデルが設定されている。音声認識モデルでは、例えば、音素「あ」に対応した音声信号の波形が記憶されている。また、このような音声信号の波形は、音素毎に記憶されている。特に、記憶された音素と波形とは、音声を聞いた当該特定された受話者が認識するように対応づけられているので、これらの関係は、受話者の音声認識モデルであるといえる。
The
処理部28は、設定部38に設定した受話者の音声認識モデルを使用しながら、音声信号に対して音声認識処理を実行する。具体的に説明すると、処理部28は、入力した音声信号の波形に最も近い波形を音声認識モデルから選択するとともに、選択した波形に対応した音を特定する。音声認識処理によって、音声信号がテキスト化される。このように、処理部28は、音声信号に対して、本端末装置10を使用するユーザの音声認識モデルにもとづく音声認識処理、つまりユーザの聞こえ方を反映した音声認識処理を実行する。
The
なお、受話者は、操作部24を操作しながら、受話者の音声認識モデルを設定部38に設定する。例えば、設定部38は、試験用の音声信号の波形を予め記憶しており、これを再生部32において再生することによってスピーカ34から出力する。受話者は、スピーカ34からの音声を聞きながら、操作部24を使用することによって認識した音を入力する。設定部38は、試験用の音声信号の波形と、入力した音との対応関係をもとに、受話者の音声認識モデルを設定する。
The listener sets the voice recognition model of the listener in the
送信部40は、処理部28における音声認識処理の結果として、音声認識処理によるテキストデータを処理部28から入力する。送信部40は、テキストデータを送信側の端末装置10に送信する。なお、送信部40におけるテキストデータの送信は、それだけでなされてもよく、音声信号の送信とともになされてもよい。
The
(3)送信側
ここでは、(2)につづく、送信側の端末装置10での処理を説明する。受信部42は、受信側の端末装置10からのテキストデータを受信する。受信部42は、テキストデータを処理部28に出力する。処理部28は、受信部42からのテキストデータを入力し、テキストデータを表示部26に表示する。送話者は、表示部26に表示されたテキストデータを確認することによって、受話者がどのように聞き取っているかを認識する。図3(a)−(b)は、表示部26に表示される画面を示す。図3(a)は、送話者が「アンゼン」と話し、受話者も「アンゼン」と聞き取っている場合を示す。この場合、送話者が話した内容と、受話者が聞いた内容とが一致する。一方、図3(b)は、送話者が「アンゼン」と話し、受話者が「カンゼン」と聞き取っている場合を示す。この場合、送話者が話した内容と、受話者が聞いた内容とが相違する。
(3) Sending Side Here, the processing in the sending
この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。 In terms of hardware, this configuration can be implemented by a CPU, memory, or other LSI of an arbitrary computer, and in terms of software, it is implemented by a program loaded in the memory, but here, it is implemented by linking them. It depicts the functional blocks that will be used. Therefore, it will be understood by those skilled in the art that these functional blocks can be realized in various forms by only hardware, only software, or a combination thereof.
以上の構成による通信システム100の動作を説明する。図4は、通信システム100による通信手順を示すシーケンス図である。第1端末装置10aは、音声を入力する(S10)と、音声信号を生成する(S12)。第1端末装置10aは、音声信号を送信する(S14)。第2端末装置10bは、音声信号を再生し(S16)、再生した音声信号をスピーカ34から出力する(S18)。第2端末装置10bは、ユーザの音声認識モデルで音声認識処理を実行し(S20)、テキストデータを生成する(S22)。第2端末装置10bは、テキストデータを送信する(S24)。第1端末装置10aは、テキストデータを表示する(S26)。
The operation of the
本実施例によれば、音声信号に対して、端末装置を使用するユーザの音声認識モデルにもとづく処理を実行するので、ユーザの聞こえ方を反映しながら、受信した音声信号をテキスト化できる。また、ユーザの聞こえ方を反映しながら、受信した音声信号がテキスト化されるので、送話者に対して正確な情報を知らせることができる。また、ユーザの音声認識モデルを使用しながら、音声信号に対して音声認識処理を実行するので、送話者の発音による受話者の聞き間違いを特定できる。また、ユーザの音声認識モデルを使用しながら、音声信号に対して音声認識処理を実行するので、無線区間における受話者の聞き間違いを特定できる。 According to the present embodiment, since the processing based on the voice recognition model of the user who uses the terminal device is executed for the voice signal, the received voice signal can be converted into text while reflecting the way the user hears. Also, since the received voice signal is converted into text while reflecting the way the user hears, it is possible to notify the sender of accurate information. In addition, since the voice recognition process is performed on the voice signal while using the voice recognition model of the user, it is possible to identify the listening mistake of the listener due to the pronunciation of the speaker. In addition, since the voice recognition process is performed on the voice signal while using the voice recognition model of the user, it is possible to identify the listening mistake of the listener in the wireless section.
(実施例2)
次に、実施例2を説明する。本発明の実施例2も、実施例1と同様に、PTTによる音声通信を実行する端末装置であって、かつ受話者の音声認識モデルを使用して音声信号をテキスト化する端末装置に関する。実施例1における音声認識モデルは、受話者によって認識される音声信号の波形に対して構成される。一方、実施例2における音声認識モデルは、受話者が認識可能な音声速度、受話者が認識可能な音量レベルに対して構成される。実施例2に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 2)
Next, a second embodiment will be described. Similarly to the first embodiment, the second embodiment of the present invention also relates to a terminal device that executes voice communication by PTT and that converts a voice signal into a text by using a voice recognition model of a listener. The voice recognition model in the first embodiment is configured for the waveform of the voice signal recognized by the listener. On the other hand, the voice recognition model in the second embodiment is configured for the voice speed that the listener can recognize and the volume level that the listener can recognize. The communication system and the terminal device according to the second embodiment are the same types as those in FIGS. 1 and 2. Here, the difference from the above will be mainly described.
前述の(2)において、処理部28は、再生部32からの音声信号を入力する。また、処理部28は、音声信号に対して音声認識処理を実行することによって、音声信号をテキスト化する。一方、設定部38には、本端末装置10を使用するユーザ、つまり受話者の音声認識モデルが設定されている。音声認識モデルでは、例えば、受話者が認識可能な音声速度の値、受話者が認識可能な音量レベルの値の少なくとも一方が記憶されている。
In the above (2), the
処理部28は、テキスト化したデータの文字数を数えることによって、一定期間における音声信号の音声速度の値を導出する。処理部28は、導出した音声速度の値と、設定部38に記憶した音声速度の値とを比較することによって、音声信号に対して、受話者が認識可能な音声速度以下であるかの判定処理を実行する。処理部28は、導出した音声速度の値が、受話者が認識可能な音声速度の値よりも大きければ、テキスト化したデータのうち、受話者が認識可能な音声速度よりも大きい部分の文字を伏せ字に変換する。なお、処理部28は、導出した音声速度の値が、受話者が認識可能な音声速度の値以下であれば、テキスト化したデータに対する変換を実行しない。
The
また、処理部28は、一定期間における音声信号の音量レベルの値を導出してもよい。処理部28は、導出した音量レベルの値と、設定部38に記憶した音量レベルの値とを比較することによって、音声信号に対して、受話者が認識可能な音量レベル以上であるかの判定処理を実行する。処理部28は、導出した音量レベルの値が、受話者が認識可能な音量レベルの値よりも小さければ、テキスト化したデータの各文字を伏せ字に変換する。なお、処理部28は、導出した音量レベルの値が、受話者が認識可能な音量レベルの値以上であれば、テキスト化したデータに対する変換を実行しない。このように処理部28における音声認識処理には、音量レベル、音声速度のうちの少なくとも1つが反映される。ここで、受話者の音声認識モデルは、操作部24を操作することによって、設定部38に設定される。設定される内容は、受話者が認識可能な音声速度の値、受話者が認識可能な音量レベルの値の少なくとも一方である。
Further, the
送信部40は、処理部28からのテキストデータを入力する。送信部40は、テキストデータを送信側の端末装置10に送信する。前述のごとく、受話者が認識可能な音声速度の値よりも大きい場合、あるいは受話者が認識可能な音量レベルの値よりも小さい場合、テキストデータの少なくとも一部の文字が伏せ字に変換されている。このことは、送信部40が、受話者が認識可能な音声速度以下であるかの判定結果を送信すること、あるいは受話者が認識可能な音量レベル以上であるかの判定結果を送信することに相当する。
The
前述の(3)において、受信部42は、受信側の端末装置10からのテキストデータを受信し、処理部28は、テキストデータを表示部26に表示する。図5(a)−(b)は、表示部26に表示される画面を示す。図5(a)は、受信側の端末装置10において再生される音声信号の音声速度の値が、受話者が認識可能な音声速度の値よりも大きい場合を示す。この場合、一部の文字が伏せ字によって示される。一方、図5(b)は、受信側の端末装置10において再生される音声信号の音量レベルの値が、受話者が認識可能な音量レベルの値よりも小さい場合を示す。この場合、すべての文字が伏せ字によって示される。
In the above (3), the receiving
以上の構成による通信システム100の動作を説明する。図6は、本発明の実施例2に係る通信システム100による通信手順を示すシーケンス図である。第1端末装置10aは、音声を入力する(S50)と、音声信号を生成する(S52)。第1端末装置10aは、音声信号を送信する(S54)。第2端末装置10bは、音声信号を再生し(S56)、再生した音声信号をスピーカ34から出力する(S58)。第2端末装置10bは、音声認識処理を実行する(S60)とともに、音声速度、音量レベルによる評価を実行する(S62)ことによって、テキストデータを生成する(S64)。第2端末装置10bは、テキストデータを送信する(S66)。第1端末装置10aは、テキストデータを表示する(S68)。
The operation of the
本実施例によれば、音声信号に対して、ユーザが認識可能な音声速度以下であるかの判定処理を実行するので、音声速度のために聞きづらいかを判定できる。また、音声速度のために聞きづらいことをテキスト化に反映できる。また、音声信号に対して、ユーザが認識可能な音量レベル以上であるかの判定処理を実行するので、音量レベルのために聞きづらいかを判定できる。また、音量レベルのために聞きづらいことをテキスト化に反映できる。 According to the present embodiment, since it is determined whether or not the voice speed is lower than the voice speed recognizable by the user for the voice signal, it is possible to determine whether it is hard to hear because of the voice speed. In addition, it is possible to reflect that it is difficult to hear due to the voice speed in the text conversion. Further, since the process of determining whether or not the volume level is recognizable by the user is performed on the audio signal, it is possible to determine whether the volume level is hard to hear. In addition, it is possible to reflect in the text that it is difficult to hear because of the volume level.
(実施例3)
次に、実施例3を説明する。本発明の実施例3も、これまでと同様に、PTTによる音声通信を実行する端末装置であって、かつ受話者の音声認識モデルを使用して音声信号をテキスト化する端末装置に関する。実施例3では、音声信号をテキスト化するだけではなく、受話者が音声を聞いている状況を推測可能な情報を送信側の端末装置に通知する。実施例3に係る通信システムは、図1と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 3)
Next, a third embodiment will be described. The third embodiment of the present invention also relates to a terminal device that executes voice communication by PTT and that converts a voice signal into a text by using the voice recognition model of the listener, as in the past. In the third embodiment, not only the voice signal is converted into a text, but also the information capable of estimating the situation in which the listener is listening to the voice is notified to the transmitting side terminal device. The communication system according to the third embodiment is the same type as that in FIG. Here, the difference from the above will be mainly described.
図7は、本発明の実施例3に係る端末装置10の構成を示す。端末装置10における処理部28は、図2と比較して、比較部46をさらに含む。前述の(2)において、処理部28は、再生部32からの音声信号を入力する。処理部28は、実施例1と同様に、音声信号に対して、本端末装置10を使用するユーザの音声認識モデルにもとづく音声認識処理、つまりユーザの聞こえ方を反映した音声認識処理を実行する。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第1テキスト」という)される。
FIG. 7 shows the configuration of the
その際、処理部28は、音声認識処理において認識不可能な音素が存在するかを判定してもよい。例えば、入力した音声信号の1音素の波形と、当該1音素の波形に最も近い波形との相関値が予め定められた値よりも小さい場合に、当該1音素が認識不可能な音素と判定される。処理部28は、第1テキストにおいて、認識不可能な音素を伏せ字に変換する。なお、伏せ字ではなく、別の予め定められた文字に変換されてもよく、「認識不可能な音素あり」とのメッセージが、第1テキストに追加されてもよい。
At that time, the
一方、処理部28は、本端末装置10を使用するユーザに特定されない音声認識モデル、つまり標準的な音声認識モデルも記憶する。標準的な音声認識モデルでは、例えば、音「あ」に対応した音声信号の標準的な波形が記憶されている。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理、つまり、ユーザの聞こえ方を未反映のままの音声認識処理も実行する。ここでも、音声信号はテキスト化(以下、テキスト化された音声信号を「第2テキスト」という)される。なお、処理部28は、第1テキストの場合と同様に、第2テキストにおいても、認識不可能な音素を伏せ字等に変換してもよい。
On the other hand, the
比較部46は、第1テキストと第2テキストとを入力する。比較部46は、第1テキストと第2テキストとを比較する。ここでは、比較として、第1テキストと第2テキストとが並べられる。比較部46は、第1テキストと第2テキストとを並べたテキストデータを送信部40に出力する。送信部40は、処理部28からのテキストデータを入力する。送信部40は、比較結果であるテキストデータを送信側の端末装置10に送信する。
The
前述の(3)において、受信部42は、受信側の端末装置10からのテキストデータを受信し、処理部28は、テキストデータを表示部26に表示する。図8(a)−(b)は、表示部26に表示される画面を示す。画面の上側には、「受話者音声認識」の場合として、第1テキストが示され、画面の下側には、「標準音声認識」の場合として、第2テキストが示される。図8(a)では、第2テキストにおいて認識不可能な音素がないにもかかわらず、第1テキストにおいて認識不可能な音素がある場合を示す。これは、標準的な音声認識モデルによって、発話者が発した音声に対応した音声信号を音声認識処理した場合、すべて認識されるが、受話者の音声認識モデルによって音声認識処理した場合、認識不可能な音素が存在することに相当する。つまり、受話者の聞こえ方によって音声が認識されていないといえる。
In the above (3), the receiving
図8(b)では、第1テキストと第2テキストとのいずれにおいても、認識不可能な音素がある場合を示す。これは、標準的な音声認識モデルと受話者の音声認識モデルのいずれによって、発話者が発した音声に対応した音声信号を音声認識処理した場合、認識不可能な音素が存在することに相当する。この場合、例えば、第1端末装置10aと第1基地局装置12aとの間の無線区間、あるいは第2端末装置10bと第2基地局装置12bとの無線区間の品質が悪化していることが推定される。
FIG. 8B shows a case where there is a phoneme that cannot be recognized in both the first text and the second text. This corresponds to the presence of unrecognizable phonemes when the voice recognition processing is performed on the voice signal corresponding to the voice uttered by the speaker by either the standard voice recognition model or the voice recognition model of the listener. . In this case, for example, the quality of the wireless section between the first
以上の構成による通信システム100の動作を説明する。図9は、比較部46による比較手順を示すフローチャートである。比較部46は、ユーザの音声認識モデルにもとづく音声認識処理の結果を取得する(S80)。一方、比較部46は、標準的な音声認識モデルにもとづく音声認識処理の結果を取得する(S82)。比較部46は、比較として両方の音声認識処理の結果を並べる(S84)。
The operation of the
本実施例によれば、ユーザの音声認識モデルにもとづく音声認識処理の結果と、標準的な音声認識モデルにもとづく音声認識処理の結果とを比較するので、どの段階で認識不可能な音素が発生するかを特定できる。また、ユーザの音声認識モデルにもとづく音声認識処理の結果に認識不可能な音素が存在し、標準的な音声認識モデルにもとづく音声認識処理の結果に認識不可能な音素が存在しない場合、特定のユーザだけが聞き取れないことを認識できる。また、ユーザの音声認識モデルにもとづく音声認識処理の結果と、標準的な音声認識モデルにもとづく音声認識処理の結果とに認識不可能な音素が存在する場合、発話あるいは通信の段階に原因があることを認識できる。 According to the present embodiment, the result of the voice recognition process based on the user's voice recognition model is compared with the result of the voice recognition process based on the standard voice recognition model, so that unrecognizable phonemes occur at any stage. Can be specified. In addition, if there is an unrecognizable phoneme in the result of the speech recognition processing based on the user's speech recognition model and there is no unrecognizable phoneme in the result of the speech recognition processing based on the standard speech recognition model, Only the user can recognize that they cannot hear. Also, if there is an unrecognizable phoneme in the result of the voice recognition process based on the user's voice recognition model and the result of the voice recognition process based on the standard voice recognition model, it is caused by the stage of speech or communication. I can recognize that.
(実施例4)
次に、実施例4を説明する。本発明の実施例4も、これまでと同様に、PTTによる音声通信を実行する端末装置であって、かつ受信した音声信号をテキスト化する端末装置に関する。受信側の端末装置において、イコライザのオン/オフ、スピーカから出力される際の音量レベル、話速変換のオン/オフの設定がなされる場合がある。その際、そのような設定に応じて処理された音声がスピーカから出力される。つまり、このような処理によって、実際にスピーカから出力される音声と、テキストデータの内容とが異なるおそれがある。
(Example 4)
Next, a fourth embodiment will be described. The fourth embodiment of the present invention also relates to a terminal device that executes voice communication by PTT and that converts the received voice signal into text, as in the past. In the terminal device on the receiving side, the equalizer may be turned on / off, the volume level when output from the speaker, and the voice speed conversion may be turned on / off. At that time, the sound processed according to such a setting is output from the speaker. In other words, due to such processing, the content of the text data may differ from the voice actually output from the speaker.
これに対応するために、本実施例に係る端末装置、特に受信側の端末装置は、当該端末装置になされた設定に応じて、音声認識処理を実行する。そのため、端末装置において生成されるテキストデータの内容は、設定に応じた処理を反映している。実施例4に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。 In order to deal with this, the terminal device according to the present embodiment, particularly the receiving-side terminal device, executes the voice recognition process according to the setting made in the terminal device. Therefore, the content of the text data generated in the terminal device reflects the processing according to the setting. The communication system and the terminal device according to the fourth embodiment are the same types as those in FIGS. 1 and 2. Here, the difference from the above will be mainly described.
前述の(2)において、端末装置10の設定部38には、音声の出力に関して、さまざまな設定がなされる。この設定によって、受信部42において受信した音声信号を再生する際に使用すべき設定値が登録される。設定部38においてなされる設定のうちの1つは、イコライザのオン/オフである。イコライザは、音声信号の周波数特性を変更する処理である。イコライザをオンにした場合、音声信号の特定の周波数帯域(倍音成分や高調波成分あるいはノイズ成分)を強調したり、減少したりすることが可能になる。また、設定部38においてなされる設定のうちの別の1つは、音声速度変換のオン/オフである。音声速度変換は、音声の再生速度を高速にしたり、低速にしたりする処理である。さらに、設定部38においてなされる設定のうちのさらに別の1つは、音量レベルの調節である。音量レベルは、スピーカ34から音声を出力する際のボリュームである。これらの設定は、操作部24を操作することによってなされる。また、設定部38には、これらの設定のすべてがなされている必要はなく、少なくとも1つの設定がなされていればよい。
In the above (2), various settings are made in the
再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。その際、設定部38においてなされた設定値が反映される。例えば、設定部38においてイコライザがオンにされている場合、再生部32は、イコライザ処理を実行しながら音声信号を再生する。一方、設定部38においてイコライザがオフにされている場合、再生部32は、イコライザ処理を実行せずに音声信号を再生する。
The reproducing
また、設定部38において音声速度変換がオンにされている場合、再生部32は、音声速度を変換しながら音声信号を再生する。なお、音声速度は、2倍、3倍、1/2倍のように設定されている。一方、設定部38において音声速度変換がオフにされている場合、再生部32は、音声速度を変換せずに音声信号を再生する。さらに、設定部38において設定されている音量レベルにおいて、再生部32は、音声信号を再生する際の音量レベルを調節する。なお、イコライザ処理、音声速度変換、音量レベルの調節、音声信号の再生には公知の技術が使用されればよいので、ここでは説明を省略する。前述のごとく、設定部38においてこれらの設定のすべてがなされている必要はなく、少なくとも1つの設定がなされていればよいので、再生部32は、少なくとも1つの設定を使用すればよい。再生部32は、再生した音声信号をスピーカ34と処理部28に出力する。スピーカ34は、電気信号である音声信号を音声に変換し、音声を出力する。
When the voice speed conversion is turned on in the
処理部28は、再生部32からの音声信号を入力する。処理部28は、前述の標準的な音声認識モデルにもとづいて、音声信号に対して音声認識処理を実行する。音声認識処理によって、音声信号がテキスト化される。さらに、処理部28は、音声認識処理において認識不可能な音素が存在する場合に、その理由(以下、「エラーの理由」という)を特定してもよい。ここでは、エラーの理由として、(A)音声認識処理において認識不可能な音素が存在するか、(B)再生した音声信号での音声速度がしきい値より大きいか、(C)再生した音声信号での音量レベルがしきい値より小さいかが特定される。なお、(B)と(C)におけるしきい値は別の値でもよい。以下では、これらの処理を順に説明する。
The
(A)音声認識処理において認識不可能な音素が存在するか
処理部28は、音声認識処理において認識不可能な音素が存在するかを判定する。例えば、入力した音声信号の1音素の波形と、当該1音素の波形に最も近い波形との相関値が予め定められた値よりも小さい場合に、当該1音素が認識不可能な音素と判定される。処理部28は、テキスト化したデータにおいて、認識不可能な音素を伏せ字に変換する。なお、伏せ字ではなく、別の予め定められた文字に変換されてもよく、「認識不可能な音素あり」とのメッセージが、テキスト化したデータに追加されてもよい。つまり、処理部28は、本端末装置10の設定を反映させながら、再生部32において再生した音声信号に対して実行された音声認識処理において認識不可能な音素が存在するかを判定することによって、音声信号におけるエラーの理由を特定する。
(A) Is there an unrecognizable phoneme in the voice recognition process? The
(B)再生した音声信号での音声速度がしきい値より大きいか
処理部28は、実施例2と同様に、テキスト化したデータの文字数を数えることによって、一定期間における音声信号の音声速度の値を導出する。処理部28は、導出した音声速度の値と、予め記憶したしきい値とを比較することによって、音声信号での音声速度がしきい値より大きいかの判定処理を実行する。処理部28は、音声速度の値がしきい値よりも大きければ、テキスト化したデータのうち、しきい値よりも大きい部分の文字を伏せ字に変換する。さらに、処理部28は、テキスト化したデータに、音声速度が速すぎることを示すためのメッセージを追加してもよい。なお、処理部28は、音声速度の値がしきい値以下であれば、テキスト化したデータに対する変換を実行しない。
(B) Is the voice speed of the reproduced voice signal higher than the threshold value? As in the second embodiment, the
(C)再生した音声信号での音量レベルがしきい値より小さいか
処理部28は、実施例2と同様に、一定期間における音声信号の音量レベルの値を導出する。処理部28は、導出した音量レベルの値と、しきい値とを比較することによって、音声信号での音量レベルがしきい値より小さいかの判定処理を実行する。処理部28は、音量レベルの値がしきい値よりも小さければ、テキスト化したデータの各文字を伏せ字に変換する。さらに、処理部28は、テキスト化したデータに、音量レベルが小さすぎることを示すためのメッセージを追加してもよい。なお、処理部28は、音量レベルの値がしきい値以上であれば、テキスト化したデータに対する変換を実行しない。
(C) Is the Volume Level of the Reproduced Audio Signal Below the Threshold Value? The
送信部40は、処理部28から、テキストデータを入力する。このテキストデータには、処理部28において特定したエラーの理由が含まれてもよい。送信部40は、テキストデータを送信側の端末装置10に送信する。エラーの理由が含まれる場合、伏せ字によって、認識不可能な音素の存在が示される。また、音声速度がしきい値より大きいことが示されたり、音量レベルがしきい値より小さいことが示されたりする。なお、処理部28がエラーの理由を特定するための処理を実行しない場合、テキストデータには、エラーの理由が含まれない。
The
前述の(3)において、受信部42は、受信側の端末装置10からのテキストデータを受信する。受信部42は、テキストデータを処理部28に出力する。処理部28は、受信部42からのテキストデータを入力し、テキストデータを表示部26に表示する。テキストデータにエラーの理由が含まれない場合、表示部26は、実施例1と同様にテキストデータを表示する。送話者は、表示部26に表示されたテキストデータを確認することによって、受話者がどのように聞き取っているかを認識する。
In the above (3), the receiving
一方、以下では、テキストデータにエラーの理由が含まれている場合を説明する。図10(a)−(c)は、本発明の実施例4に係る表示部26に表示される画面を示す。図10(a)は、送話者が「アンゼン」と話しているが、「ア」が、認識不可能な音素とされている場合を示す。この場合、受話者は、例えば、「カンゼン」と聞き取っている可能性がある。図10(b)は、音声速度の値がしきい値よりも大きい場合を示す。この場合、一部の音素が伏せ字によって示されるとともに、メッセージが表示される。一方、図10(c)は、音量レベルの値がしきい値よりも小さい場合を示す。この場合、すべての音素が伏せ字によって示されるとともに、メッセージが表示される。
On the other hand, the case where the text data includes the reason for the error will be described below. 10A to 10C show screens displayed on the
以上の構成による通信システム100の動作を説明する。図11は、本発明の実施例4に係る通信システム100による通信手順を示すシーケンス図である。第1端末装置10aは、音声を入力する(S110)と、音声信号を生成する(S112)。第1端末装置10aは、音声信号を送信する(S114)。第2端末装置10bは、音声信号を再生し(S116)、再生した音声信号をスピーカ34から出力する(S118)。第2端末装置10bは、音声認識処理を実行し(S120)、エラーの理由を特定する(S122)。また、第2端末装置10bは、テキストデータ、エラーの理由を生成する(S124)。第2端末装置10bは、テキストデータ、エラーの理由を送信する(S126)。第1端末装置10aは、テキストデータ、エラーの理由を表示する(S128)。
The operation of the
図12は、本発明の実施例4に係る端末装置10による特定手順を示すフローチャートである。設定部38にイコライザ設定がなされている場合(S150のY)、再生部32は、音声信号に対してイコライザ処理を実行する(S152)。設定部38にイコライザ設定がなされていない場合(S150のN)、ステップ152はスキップされる。再生部32は、音声認識処理を実行する(S154)。認識不可能な音素があれば(S156のY)、処理部28は、エラーの理由を特定する(S158)。認識不可能な音素がなければ(S156のN)、ステップ158はスキップされる。
FIG. 12 is a flowchart showing a specifying procedure by the
図13は、本発明の実施例4に係る端末装置10による別の特定手順を示すフローチャートである。設定部38に音声速度変換設定がなされている場合(S200のY)、再生部32は、音声信号を調節する(S202)。設定部38に音声速度変換設定がなされていない場合(S200のN)、ステップ202はスキップされる。再生部32は、音声認識処理を実行する(S204)。音声速度がしきい値よりも大きければ(S206のY)、処理部28は、エラーの理由を特定する(S208)。音声速度がしきい値よりも大きくなければ(S206のN)、ステップ208はスキップされる。
FIG. 13 is a flowchart showing another specific procedure by the
図14は、本発明の実施例4に係る端末装置10によるさらに別の特定手順を示すフローチャートである。再生部32は、設定部38における音量設定を取得する(S250)。再生部32は、音声信号を調節する(S252)。音量レベルがしきい値よりも小さければ(S254のY)、処理部28は、エラーの理由を特定する(S256)。音量レベルがしきい値よりも小さくなければ(S254のN)、ステップ256はスキップされる。
FIG. 14 is a flowchart showing yet another specifying procedure by the
本実施例によれば、音声信号に対して、端末装置の設定を反映させながら音声認識処理を実行するので、端末装置の設定を反映しながら、受信した音声信号をテキスト化できる。端末装置の設定を反映させながら、再生した音声信号におけるエラーの理由を特定して通知するので、端末装置において音声出力に関する設定がなされる場合であっても、音声が聞こえにくい理由を知らせることができる。また、音声が聞こえにくい理由を知らせるので、当該理由を解消しながら音声信号を送信できる。また、端末装置の設定を反映させるので、実際の音声の聞こえ方に近くなるように音声認識処理を実行できる。 According to the present embodiment, the voice recognition processing is executed on the voice signal while reflecting the setting of the terminal device, so that the received voice signal can be converted into text while reflecting the setting of the terminal device. Since the reason for the error in the reproduced audio signal is specified and notified while reflecting the setting of the terminal device, it is possible to notify the reason why the audio is difficult to hear even when the setting related to the audio output is made in the terminal device. it can. Further, since the reason why the voice is hard to hear is notified, the voice signal can be transmitted while eliminating the reason. Further, since the setting of the terminal device is reflected, it is possible to execute the voice recognition processing so that the voice is closer to the way the voice is actually heard.
また、音声認識処理において認識不可能な音素が存在するかを判定して通知するので、送話者の話し方、通信環境が原因であることを知らせることができる。また、音声信号での音声速度がしきい値より大きいかを判定して通知するので、送話者の話し方が原因であることを知らせることができる。また、音声信号での音量レベルがしきい値より小さいかを判定して通知するので、送話者の話し方が原因であることを知らせることができる。 Further, since it is determined whether or not there is an unrecognizable phoneme in the voice recognition process and the notification is made, it is possible to notify that the cause is the speaker's speaking style or communication environment. Further, since it is determined whether or not the voice speed of the voice signal is higher than the threshold value and the result is notified, it is possible to notify that the cause is the way the speaker speaks. Further, since it is determined whether or not the volume level of the voice signal is lower than the threshold value and the notification is made, it is possible to inform that the speaker's way of speaking is the cause.
(実施例5)
次に、実施例5を説明する。実施例5は、実施例4と実施例3との組合せに相当する。実施例5に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 5)
Next, a fifth embodiment will be described. The fifth embodiment corresponds to a combination of the fourth embodiment and the third embodiment. The communication system and the terminal device according to the fifth embodiment are of the same type as those in FIGS. Here, the difference from the above will be mainly described.
前述の(2)において、再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。その際、実施例4と同様に、設定部38においてなされた設定値が反映される。処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第1テキスト」という)される。
In the above (2), the reproducing
一方、再生部32は、受信部42からの音声信号を入力し、設定部38において設定した設定値を未使用のまま、音声信号を再生する。処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第2テキスト」という)される。
On the other hand, the reproducing
比較部46は、第1テキストと第2テキストとを入力する。比較部46は、第1テキストと第2テキストとを比較する。ここでは、比較として、第1テキストと第2テキストとが並べられる。比較部46は、第1テキストと第2テキストとを並べたテキストデータを送信部40に出力する。送信部40は、処理部28からのテキストデータを入力する。送信部40は、比較結果であるテキストデータを送信側の端末装置10に送信する。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。
The
本実施例によれば、端末装置の設定値を使用している場合の音声認識処理の結果と、端末装置の設定値を使用していない場合の音声認識処理の結果とを比較するので、どの段階で認識不可能な音素が発生するかを特定できる。また、端末装置の設定値を使用している場合の音声認識処理の結果に認識不可能な音素が存在し、端末装置の設定値を使用していない場合の音声認識処理の結果に認識不可能な音素が存在しない場合、端末装置の設定によって聞き取れないことを認識できる。また、端末装置の設定値を使用している場合の音声認識処理の結果と、端末装置の設定値を使用していない場合の音声認識処理の結果とに認識不可能な音素が存在する場合、発話あるいは通信の段階に原因があることを認識できる。 According to the present embodiment, the result of the voice recognition process when the setting value of the terminal device is used and the result of the voice recognition process when the setting value of the terminal device is not used are compared. It is possible to specify whether an unrecognizable phoneme occurs at a stage. In addition, there is an unrecognizable phoneme in the result of the speech recognition process when the setting value of the terminal device is used, and unrecognizable in the result of the speech recognition process when the setting value of the terminal device is not used. If there is no such phoneme, it can be recognized that the phoneme cannot be heard depending on the setting of the terminal device. Further, if there is an unrecognizable phoneme in the result of the speech recognition process when the setting value of the terminal device is used and the result of the speech recognition process when the setting value of the terminal device is not used, It is possible to recognize that there is a cause in the stage of speech or communication.
(実施例6)
次に、実施例6を説明する。実施例6は、実施例4において音声認識処理を実行する際に、マイクにおいて集音した音の情報も利用することに関する。実施例6に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 6)
Next, a sixth embodiment will be described. The sixth embodiment relates to the use of the information of the sound collected by the microphone when executing the voice recognition processing in the fourth embodiment. The communication system and the terminal device according to the sixth embodiment are the same types as those in FIGS. 1 and 2. Here, the difference from the above will be mainly described.
マイク22は、本端末装置10の周囲の音、例えば雑音を集音する。マイク22は、集音した雑音を電気信号(以下、「雑音信号」という)に変換し、雑音信号を処理部28に出力する。処理部28は、実施例4と同様に、音声信号に対して音声認識処理を実行する。特に、エラーの理由を特定するために前述の(A)の処理を実行する場合、処理部28は、音声認識処理において、マイク22において集音した音の情報を反映させる。例えば、雑音信号の大きさに応じて、相関値と比較すべき値を調節する。具体的に説明すると、雑音信号が大きくなるほど、相関値と比較すべき値が小さくされる。処理部28は、これまでと同様に、認識不可能な音素を判定する。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。
The
本実施例によれば、マイクにおいて集音した端末装置の周囲の音の情報も反映されるので、実際の音声の聞こえ方に近くなるように音声認識処理を実行できる。また、実際の音声の聞こえ方に近くなるような音声認識処理がなされるので、テキスト化の精度を向上できる。 According to the present embodiment, since the information of the sound around the terminal device collected by the microphone is also reflected, it is possible to perform the voice recognition processing so as to be closer to the way the actual voice is heard. In addition, since the voice recognition processing is performed so as to approximate the way the voice is actually heard, the accuracy of text conversion can be improved.
(実施例7)
次に、実施例7を説明する。実施例7は、実施例6と実施例5との組合せに相当する。実施例7に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 7)
Next, a seventh embodiment will be described. Example 7 corresponds to a combination of Example 6 and Example 5. The communication system and the terminal device according to the seventh embodiment are the same types as those in FIGS. Here, the difference from the above will be mainly described.
前述の(2)において、再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。その際、実施例6と同様に、設定部38においてなされた設定値が反映される。処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。ここで、エラーの理由を特定するために前述の(A)の処理を実行する場合、処理部28は、実施例6と同様に、音声認識処理において、マイク22において集音した音の情報を反映させる。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第1テキスト」という)される。
In the above (2), the reproducing
一方、再生部32は、受信部42からの音声信号を入力し、設定部38において設定した設定値を未使用のまま、音声信号を再生する。処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。しかしながら、処理部28は、音声認識処理において、マイク22において集音した音の情報を反映させない。つまり、音の情報は未使用のまま音声認識処理が実行される。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第2テキスト」という)される。
On the other hand, the reproducing
比較部46は、第1テキストと第2テキストとを入力する。比較部46は、第1テキストと第2テキストとを比較する。ここでは、比較として、第1テキストと第2テキストとが並べられる。比較部46は、第1テキストと第2テキストとを並べたテキストデータを送信部40に出力する。送信部40は、処理部28からのテキストデータを入力する。送信部40は、比較結果であるテキストデータを送信側の端末装置10に送信する。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。
The
本実施例によれば、端末装置の設定値を使用し、かつ集音した音の情報を使用している場合の音声認識処理の結果と、端末装置の設定値を使用せず、かつ集音した音の情報を使用していない場合の音声認識処理の結果とを比較するので、どの段階で認識不可能な音素が発生するかを特定できる。また、端末装置の設定値を使用し、かつ集音した音の情報を使用している場合の音声認識処理の結果に認識不可能な音素が存在し、端末装置の設定値を使用せず、かつ集音した音の情報を使用していない場合の音声認識処理の結果に認識不可能な音素が存在しない場合、端末装置の設定、周囲の雑音によって聞き取れないことを認識できる。また、端末装置の設定値を使用し、かつ集音した音の情報を使用している場合の音声認識処理の結果と、端末装置の設定値を使用せず、かつ集音した音の情報を使用していない場合の音声認識処理の結果とに認識不可能な音素が存在する場合、発話あるいは通信の段階に原因があることを認識できる。 According to this embodiment, the result of the voice recognition process when the setting value of the terminal device is used and the information of the collected sound is used, and the setting value of the terminal device is not used and the sound collection is performed. Since the result of the voice recognition process when the information of the generated sound is not used is compared, it is possible to specify at which stage the unrecognizable phoneme occurs. Also, using the setting value of the terminal device, and there is an unrecognizable phoneme in the result of the voice recognition process when using the information of the collected sound, without using the setting value of the terminal device, In addition, when there is no unrecognizable phoneme in the result of the voice recognition process when the information of the collected sound is not used, it can be recognized that the phoneme cannot be heard due to the setting of the terminal device and the ambient noise. In addition, the result of the voice recognition processing when the setting value of the terminal device is used and the information of the collected sound is used, and the information of the collected sound without using the setting value of the terminal device is displayed. If there is an unrecognizable phoneme in the result of the speech recognition processing when not in use, it can be recognized that there is a cause in the utterance or communication stage.
(実施例8)
次に、実施例8を説明する。実施例8は、実施例6において、音声認識処理を実行する際に、受信側の端末装置になされた設定を反映させない場合に相当する。受信側の端末装置になされた設定とは、イコライザのオン/オフ、スピーカから出力される際の音量レベル、話速変換のオン/オフの設定である。一方、実施例8でも、実施例6と同様に、音声認識処理を実行する際に、マイクにおいて集音した音の情報は利用される。実施例8に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 8)
Next, Example 8 will be described. The eighth embodiment corresponds to the case where the settings made in the terminal device on the receiving side are not reflected when the voice recognition process is executed in the sixth embodiment. The settings made in the terminal device on the receiving side are the on / off setting of the equalizer, the volume level when output from the speaker, and the on / off setting of the voice speed conversion. On the other hand, also in the eighth embodiment, as in the sixth embodiment, the information of the sound collected by the microphone is used when the voice recognition process is executed. The communication system and the terminal device according to the eighth embodiment are the same types as those in FIGS. Here, the difference from the above will be mainly described.
前述の(2)において、再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。その際、実施例6とは異なって、設定部38においてなされた設定値は反映されない。マイク22は、本端末装置10の周囲の音、例えば雑音を集音し、集音した雑音を電気信号(以下、「雑音信号」という)に変換し、雑音信号を処理部28に出力する。処理部28は、実施例6と同様に、音声信号に対して音声認識処理を実行する。特に、エラーの理由を特定するために前述の(A)の処理を実行する場合、処理部28は、音声認識処理において、マイク22において集音した音の情報を反映させる。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。
In the above (2), the reproducing
本実施例によれば、マイクにおいて集音した端末装置の周囲の音の情報が反映されるので、実際の音声の聞こえ方に近くなるように音声認識処理を実行できる。また、実際の音声の聞こえ方に近くなるような音声認識処理がなされるので、テキスト化の精度を向上できる。 According to the present embodiment, since the information of the sound around the terminal device collected by the microphone is reflected, it is possible to execute the voice recognition process so that the sound is closer to the way the actual voice is heard. In addition, since the voice recognition processing is performed so as to approximate the way the voice is actually heard, the accuracy of text conversion can be improved.
(実施例9)
次に、実施例9を説明する。実施例9は、実施例8と実施例7との組合せに相当する。実施例9に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
(Example 9)
Next, a ninth embodiment will be described. Example 9 corresponds to a combination of Example 8 and Example 7. The communication system and the terminal device according to the ninth embodiment are the same types as those in FIGS. 1 and 7. Here, the difference from the above will be mainly described.
前述の(2)において、処理部28は、再生部32からの音声信号を入力する。処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。ここで、エラーの理由を特定するために前述の(A)の処理を実行する場合、処理部28は、実施例8と同様に、音声認識処理において、マイク22において集音した音の情報を反映させる。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第1テキスト」という)される。
In the above (2), the
一方、処理部28は、音声信号に対して、標準的な音声認識モデルにもとづく音声認識処理を実行する。しかしながら、処理部28は、音声認識処理において、マイク22において集音した音の情報を反映させない。つまり、音の情報は未使用のまま音声認識処理が実行される。その結果、音声信号はテキスト化(以下、テキスト化された音声信号を「第2テキスト」という)される。
On the other hand, the
比較部46は、第1テキストと第2テキストとを入力する。比較部46は、第1テキストと第2テキストとを比較する。ここでは、比較として、第1テキストと第2テキストとが並べられる。比較部46は、第1テキストと第2テキストとを並べたテキストデータを送信部40に出力する。送信部40は、処理部28からのテキストデータを入力する。送信部40は、比較結果であるテキストデータを送信側の端末装置10に送信する。これにつづく処理は、これまでと同様であるので、ここでは説明を省略する。
The
本実施例によれば、集音した音の情報を使用している場合の音声認識処理の結果と、集音した音の情報を使用していない場合の音声認識処理の結果とを比較するので、どの段階で認識不可能な音素が発生するかを特定できる。また、集音した音の情報を使用している場合の音声認識処理の結果に認識不可能な音素が存在し、集音した音の情報を使用していない場合の音声認識処理の結果に認識不可能な音素が存在しない場合、周囲の雑音によって聞き取れないことを認識できる。また、集音した音の情報を使用している場合の音声認識処理の結果と、集音した音の情報を使用していない場合の音声認識処理の結果とに認識不可能な音素が存在する場合、発話あるいは通信の段階に原因があることを認識できる。 According to this embodiment, the result of the voice recognition process when the information of the collected sound is used and the result of the voice recognition process when the information of the collected sound is not used are compared. , It is possible to specify at which stage the unrecognizable phoneme occurs. In addition, there is an unrecognizable phoneme in the result of the speech recognition process when the collected sound information is used, and it is recognized in the result of the speech recognition process when the collected sound information is not used. When there is no impossible phoneme, it can be recognized that it cannot be heard due to ambient noise. In addition, there is an unrecognizable phoneme in the result of the voice recognition process when the information of the collected sound is used and the result of the voice recognition process when the information of the collected sound is not used. In this case, it can be recognized that there is a cause in the stage of utterance or communication.
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. It should be understood by those skilled in the art that this embodiment is an exemplification, and that various modifications can be made to the combinations of the respective constituent elements and the respective processing processes, and that such modifications are within the scope of the present invention. .
本実施例1乃至9によれば、通信システム100は、業務用無線を使用している。しかしながらこれに限らず例えば、業務用無線以外の無線通信システムが使用されてもよい。本実施例によれば、構成の自由度を向上できる。
According to the first to ninth embodiments, the
10 端末装置、 12 基地局装置、 14 ネットワーク、 20 ボタン、 22 マイク、 24 操作部、 26 表示部、 28 処理部、 30 通信部、 32 再生部、 34 スピーカ、 36 送話部、 38 設定部、 40 送信部、 42 受信部、 46 比較部、 100 通信システム。 10 terminal device, 12 base station device, 14 network, 20 button, 22 microphone, 24 operation unit, 26 display unit, 28 processing unit, 30 communication unit, 32 reproducing unit, 34 speaker, 36 transmitting unit, 38 setting unit, 40 transmitter, 42 receiver, 46 comparator, 100 communication system.
Claims (9)
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、
前記設定部において設定した設定値をもとに、前記受信部において受信した音声信号を再生する再生部と、
前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。 A terminal device,
A receiving unit that receives a voice signal from another terminal device,
A setting unit for setting a setting value to be used when reproducing the audio signal received by the receiving unit;
A reproducing unit for reproducing the audio signal received by the receiving unit based on the set value set by the setting unit;
A processing unit that executes a voice recognition process on the audio signal reproduced by the reproducing unit;
A transmission unit that transmits the result of the voice recognition process in the processing unit to the other terminal device;
A terminal device comprising:
前記処理部は、(1)設定値を未使用のまま再生した音声信号に対しても、音声認識処理を実行するとともに、(2)設定値を未使用のまま再生した音声信号に対する音声認識処理の結果と、設定値をもとに再生した音声信号に対する音声認識処理の結果とを比較し、
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項1に記載の端末装置。 The reproducing unit reproduces the audio signal received by the receiving unit while keeping the setting value set by the setting unit unused.
The processing unit executes (1) a voice recognition process even on an audio signal reproduced with an unused set value, and (2) a voice recognition process for an audio signal reproduced with an unused set value. And the result of the voice recognition processing for the voice signal reproduced based on the set value,
The terminal device according to claim 1, wherein the transmission unit transmits the comparison result in the processing unit to the other terminal device as a result of the voice recognition process.
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、
前記設定部において設定した設定値をもとに、前記受信部において受信した音声信号を再生する再生部と、
本端末装置の周囲の音を集音するマイクと、
前記マイクにおいて集音した音の情報を反映させながら、前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。 A terminal device,
A receiving unit that receives a voice signal from another terminal device,
A setting unit for setting a setting value to be used when reproducing the audio signal received by the receiving unit;
A reproducing unit for reproducing the audio signal received by the receiving unit based on the set value set by the setting unit;
A microphone that collects sounds around the terminal device,
A processing unit that executes a voice recognition process on the audio signal reproduced by the reproducing unit while reflecting the information of the sound collected by the microphone;
A transmission unit that transmits the result of the voice recognition process in the processing unit to the other terminal device;
A terminal device comprising:
前記処理部は、(1)設定値を未使用のまま再生した音声信号に対しても、音の情報を未使用のまま音声認識処理を実行するとともに、(2)設定値を未使用のまま再生した音声信号に対する音の情報を未使用のままの音声認識処理の結果と、設定値をもとに再生した音声信号に対する音の情報を反映させた音声認識処理の結果とを比較し、
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項3に記載の端末装置。 The reproducing unit reproduces the audio signal received by the receiving unit while keeping the setting value set by the setting unit unused.
The processing unit executes (1) voice recognition processing with the sound information unused, even for a voice signal reproduced with the setting value unused, and (2) leaves the setting value unused. The result of the voice recognition processing in which the sound information for the reproduced voice signal is unused and the result of the voice recognition processing for reflecting the sound information for the reproduced voice signal based on the set value are compared,
The terminal device according to claim 3 , wherein the transmission unit transmits the comparison result in the processing unit to the other terminal device as a result of the voice recognition process.
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する再生部と、
本端末装置の周囲の音を集音するマイクと、
前記マイクにおいて集音した音の情報を反映させながら、前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。 A terminal device,
A receiving unit that receives a voice signal from another terminal device,
A reproducing unit for reproducing the audio signal received by the receiving unit,
A microphone that collects sounds around the terminal device,
A processing unit that executes a voice recognition process on the audio signal reproduced by the reproducing unit while reflecting the information of the sound collected by the microphone;
A transmission unit that transmits the result of the voice recognition process in the processing unit to the other terminal device;
A terminal device comprising:
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項6に記載の端末装置。 The processing unit (1) executes the voice recognition process with the sound information unused, and (2) reflects the result of the voice recognition process with the sound information unused and the sound information. Compare the result of the voice recognition process,
The terminal device according to claim 6, wherein the transmitting unit transmits the comparison result in the processing unit to the other terminal device as a result of the voice recognition process.
他の端末装置からの音声信号を受信するステップと、
受信した音声信号を再生する際に使用すべき設定値を設定するステップと、
設定した設定値をもとに、受信した音声信号を再生するステップと、
再生した音声信号に対して音声認識処理を実行するステップと、
音声認識処理の結果を前記他の端末装置に送信するステップと、
を備えることを特徴とする通信方法。 A communication method at a terminal device,
Receiving a voice signal from another terminal device,
A step of setting a setting value to be used when reproducing the received audio signal,
Based on the set value that has been set, the step of playing the received audio signal,
A step of performing voice recognition processing on the reproduced voice signal,
Transmitting the result of the voice recognition process to the other terminal device,
A communication method comprising:
他の端末装置からの音声信号を受信するステップと、
受信した音声信号を再生するステップと、
本端末装置の周囲の音を集音するステップと、
集音した音の情報を反映させながら、再生した音声信号に対して音声認識処理を実行するステップと、
音声認識処理の結果を前記他の端末装置に送信するステップと、
を備えることを特徴とする通信方法。 A communication method at a terminal device,
Receiving a voice signal from another terminal device,
Reproducing the received audio signal,
Collecting sounds around the terminal device,
A step of performing voice recognition processing on the reproduced voice signal while reflecting the information of the collected sound;
Transmitting the result of the voice recognition process to the other terminal device,
A communication method comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015227481A JP6690200B2 (en) | 2015-11-20 | 2015-11-20 | Terminal device, communication method |
US15/352,641 US9972342B2 (en) | 2015-11-20 | 2016-11-16 | Terminal device and communication method for communication of speech signals |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015227481A JP6690200B2 (en) | 2015-11-20 | 2015-11-20 | Terminal device, communication method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017097093A JP2017097093A (en) | 2017-06-01 |
JP6690200B2 true JP6690200B2 (en) | 2020-04-28 |
Family
ID=58804936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015227481A Active JP6690200B2 (en) | 2015-11-20 | 2015-11-20 | Terminal device, communication method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6690200B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7026004B2 (en) * | 2018-06-13 | 2022-02-25 | 日本電信電話株式会社 | Conversation aids, conversation aid methods and programs |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09325798A (en) * | 1996-06-06 | 1997-12-16 | Matsushita Electric Ind Co Ltd | Voice recognizing device |
US7457750B2 (en) * | 2000-10-13 | 2008-11-25 | At&T Corp. | Systems and methods for dynamic re-configurable speech recognition |
JP2002300259A (en) * | 2001-04-03 | 2002-10-11 | Fujitsu I-Network Systems Ltd | Method and system for evaluation test of voice speech equipment |
JP2002372985A (en) * | 2001-06-14 | 2002-12-26 | Mitsubishi Electric Corp | Voice recognizing device |
JP2003209600A (en) * | 2002-01-11 | 2003-07-25 | Canon Inc | Calling system, calling terminal, method, program, and computer-readable storage medium |
JP4731174B2 (en) * | 2005-02-04 | 2011-07-20 | Kddi株式会社 | Speech recognition apparatus, speech recognition system, and computer program |
JP2008028532A (en) * | 2006-07-19 | 2008-02-07 | Canon Inc | Voice processor and voice processing method |
JP2010226377A (en) * | 2009-03-23 | 2010-10-07 | Toshiba Corp | Remote conference supporting apparatus and method |
JP2011087196A (en) * | 2009-10-16 | 2011-04-28 | Nec Saitama Ltd | Telephone set, and speech speed conversion method of telephone set |
JP5014449B2 (en) * | 2010-02-26 | 2012-08-29 | シャープ株式会社 | CONFERENCE SYSTEM, INFORMATION PROCESSING DEVICE, CONFERENCE SUPPORT METHOD, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM |
JP5717574B2 (en) * | 2011-07-27 | 2015-05-13 | 京セラ株式会社 | Portable electronic devices |
JP6148163B2 (en) * | 2013-11-29 | 2017-06-14 | 本田技研工業株式会社 | Conversation support device, method for controlling conversation support device, and program for conversation support device |
-
2015
- 2015-11-20 JP JP2015227481A patent/JP6690200B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017097093A (en) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107995360B (en) | Call processing method and related product | |
KR101626438B1 (en) | Method, device, and system for audio data processing | |
CN106302997B (en) | Output control method, electronic equipment and system | |
US10510361B2 (en) | Audio processing apparatus that outputs, among sounds surrounding user, sound to be provided to user | |
US10276191B2 (en) | Speech section detection device, voice processing system, speech section detection method, and computer program product | |
CN110996238B (en) | Binaural synchronous signal processing hearing aid system and method | |
US9972342B2 (en) | Terminal device and communication method for communication of speech signals | |
JP6690200B2 (en) | Terminal device, communication method | |
JP6610195B2 (en) | Terminal device and communication method | |
JP6822540B2 (en) | Terminal device, communication method and communication program | |
JP7284570B2 (en) | Sound reproduction system and program | |
JP2018148329A (en) | Determination device and determination method | |
EP3913809A1 (en) | Decoding device, decoding method, and program | |
US10074378B2 (en) | Data encoding detection | |
WO2015097818A1 (en) | Television system, server device, and television device | |
JP5812932B2 (en) | Voice listening device, method and program thereof | |
US20240029755A1 (en) | Intelligent speech or dialogue enhancement | |
US11949817B2 (en) | Multipoint control method, apparatus and program | |
CN110648686B (en) | Method for adjusting voice frequency and sound playing device thereof | |
JP6657769B2 (en) | Transmission device, transmission method | |
US20220377468A1 (en) | Systems and methods for hearing assistance | |
US20220124201A1 (en) | Multipoint control method, apparatus and program | |
CN116939565A (en) | Voice quality assessment method and system | |
WO2020128552A1 (en) | Speech recognition device, control method for speech recognition device, content reproduction device, and content transmission and reception system | |
CN116778954A (en) | Broadcasting system silence detection method, audio output equipment and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6690200 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |