JP6603875B2 - Wearable device and translation system - Google Patents
Wearable device and translation system Download PDFInfo
- Publication number
- JP6603875B2 JP6603875B2 JP2016018575A JP2016018575A JP6603875B2 JP 6603875 B2 JP6603875 B2 JP 6603875B2 JP 2016018575 A JP2016018575 A JP 2016018575A JP 2016018575 A JP2016018575 A JP 2016018575A JP 6603875 B2 JP6603875 B2 JP 6603875B2
- Authority
- JP
- Japan
- Prior art keywords
- language
- user
- speaker
- translation
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本開示は、異言語の話者間の会話を自動的かつリアルタイムに翻訳するために、ユーザの身体に装着して使用されるウェアラブル装置及び翻訳システムに関する。 The present disclosure relates to a wearable device and a translation system that are used while worn on a user's body in order to automatically and in real time translate conversations between speakers of different languages.
音声認識、機械翻訳、及び音声合成の技術の発達により、異言語の話者間の会話を自動的かつリアルタイムに翻訳する翻訳装置が知られている。このような翻訳装置のなかには、携帯型又はウェアラブル型のものもある。 2. Description of the Related Art With the development of speech recognition, machine translation, and speech synthesis technologies, translation devices that automatically and in real time translate conversations between speakers of different languages are known. Some of these translation devices are portable or wearable.
例えば、特許文献1は、騒音下の野外でも自然に近い形で自動翻訳通話を実現する自動翻訳装置を開示している。
For example,
翻訳装置の利便性を向上するためには、例えば、翻訳装置の使用時に翻訳装置の存在をなるべく話者及び聴取者に意識させず、翻訳装置が介在しても自然な会話であると話者及び聴取者が認識できるようにすることが求められる。 In order to improve the convenience of the translation device, for example, when using the translation device, the speaker and the listener should be unaware of the presence of the translation device as much as possible. And to be able to be recognized by the listener.
本開示は、異言語の話者間の会話を翻訳する際に会話の自然さを保つウェアラブル装置及び翻訳システムを提供する。 The present disclosure provides a wearable device and a translation system that maintain the naturalness of conversation when translating conversations between speakers of different languages.
本開示の態様に係るウェアラブル翻訳装置は、ユーザの身体に装着可能であるウェアラブル翻訳装置であって、ユーザから第1言語の音声を取得して第1言語の音声信号を生成するマイクロホン装置と、第1言語の音声信号から変換された第2言語の音声信号を取得する制御回路とを備える。また、第2言語の音声信号に対して所定の処理を実行する音声処理回路と、処理された第2言語の音声信号を音声として出力するスピーカ装置とを備える。また、音声処理回路は、スピーカ装置の上方にユーザの発声器が位置することが検出された場合、同検出に応じて、スピーカ装置の音像をスピーカ装置の位置からユーザの発声器の位置に向けて移動させる。 A wearable translation device according to an aspect of the present disclosure is a wearable translation device that can be worn on a user's body, obtains a first language speech from a user, and generates a first language speech signal; And a control circuit for acquiring a second language voice signal converted from the first language voice signal. The audio processing circuit executes predetermined processing on the audio signal in the second language, and a speaker device that outputs the processed audio signal in the second language as audio. Further, when it is detected that the user's voice is positioned above the speaker device, the voice processing circuit directs the sound image of the speaker device from the position of the speaker device to the position of the user's voice in response to the detection. To move.
本開示の態様に係るウェアラブル装置及び翻訳システムは、異言語の話者間の会話を翻訳する際に会話の自然さを保つのに有効である。 The wearable device and the translation system according to the aspect of the present disclosure are effective in maintaining the naturalness of conversation when translating conversation between speakers of different languages.
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細な説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions of substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 The accompanying drawings and the following description are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims.
(第1の実施の形態)
以下、図1〜図7を参照して、第1の実施の形態に係る翻訳システムについて説明する。
(First embodiment)
The translation system according to the first embodiment will be described below with reference to FIGS.
[1−1.構成]
図1は、第1の実施の形態に係る翻訳システムの構成を示すブロック図である。翻訳システム100は、ウェアラブル翻訳装置1、アクセスポイント装置2、音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5を含む。
[1-1. Constitution]
FIG. 1 is a block diagram showing the configuration of the translation system according to the first embodiment. The
ウェアラブル翻訳装置1は、ユーザの身体の所定位置に装着可能である。ウェアラブル翻訳装置1は、例えばユーザの胸部又は腹部に装着される。ウェアラブル翻訳装置1は、アクセスポイント装置2と無線通信する。アクセスポイント装置2は、例えばインターネットを介して、音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5と通信する。従って、ウェアラブル翻訳装置1は、アクセスポイント装置2を介して、音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5と通信する。音声認識サーバ装置3は音声信号をテキストに変換する。機械翻訳サーバ装置4は第1言語のテキストを第2言語のテキストに変換する。音声合成サーバ装置5はテキストを音声信号に変換する。
The
音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5はそれぞれ、CPU等の制御回路やメモリを備えたコンピュータ装置である。音声認識サーバ装置3においては、所定のプログラムに従って制御回路が第1言語の音声信号を第1言語のテキストに変換する処理を実行する。機械翻訳サーバ装置4においては、所定のプログラムに従って制御回路が第1言語のテキストを第2言語のテキストに変換する処理を実行する。音声合成サーバ装置5は、所定のプログラムに従って制御回路が第2言語のテキストを第2言語の音声信号に変換する。なお、本実施の形態では、音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5はそれぞれ別のコンピュータ装置により構成されているが、単一のサーバ装置により構成されていてもよいし、複数のサーバ装置により構成され、分散させた機能を実行するようにしてもよい。
Each of the speech
本実施の形態では、ウェアラブル翻訳装置1のユーザが第1言語の話者であり、当該ユーザに対面する第2言語の話者と会話する場合について説明する。なお、以下の説明では、第2言語の話者は発話せず、聴取者としてのみ会話に参加するものとする。
In the present embodiment, a case will be described in which the user of
ウェアラブル翻訳装置1は、制御回路11、距離測定装置12、マイクロホン装置13、無線通信回路14、音声処理回路15、及びスピーカ装置16を備える。距離測定装置12は、スピーカ装置16からユーザの発声器31a(図2〜図4)までの距離を測定する。ここで、発声器とは、ユーザの口だけでなく、ユーザの顎や鼻下部分等の口周辺部を含む部分であり、スピーカ装置16からの距離情報が入手可能な部分である。
The
マイクロホン装置13は、ユーザから第1言語の音声を取得して第1言語の音声信号を生成する。無線通信回路14は、アクセスポイント装置2を介して、ウェアラブル翻訳装置1の外部の音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5と通信する。制御回路11は、音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5から、無線通信回路14を介して、第1言語の音声信号から翻訳された第2言語の音声信号を取得する。音声処理回路15は、第2言語の音声信号に対して所定の処理を実行する。スピーカ装置16は、処理された第2言語の音声信号を音声として出力する。
The
図2は、第1の実施の形態に係る翻訳システム100のウェアラブル翻訳装置1をユーザ31が装着した状態の第1の例を示す図である。ウェアラブル翻訳装置1は、例えばストラップ21でもってユーザ31の首にかけられることにより、ユーザ31の胸部又は腹部に位置するように装着される。マイクロホン装置13は、例えば、図2のようにユーザ31がウェアラブル翻訳装置1を装着したときに、地面に対して鉛直方向に並ぶ少なくとも2つのマイクロホンを含むマイクロホンアレーである。マイクロホン装置13は、マイクロホン装置13からユーザの発声器31a向かう方向にビームを有する。スピーカ装置16は、図2のように、ユーザ31がウェアラブル翻訳装置1を装着したときに、ユーザ31に対面する聴取者に向かって音声を出力するように設けられる。
FIG. 2 is a diagram illustrating a first example in which a
図3は、第1の実施の形態に係る翻訳システム100のウェアラブル翻訳装置1をユーザ31が装着した状態の第2の例を示す図である。ウェアラブル翻訳装置1は、ユーザ31の衣服の胸部又は腹部にピンなどで装着されてもよい。ウェアラブル翻訳装置1は、例えば名札型に構成されてもよい。
FIG. 3 is a diagram illustrating a second example in a state where a
図4は、第1の実施の形態に係る翻訳システム100のウェアラブル翻訳装置1をユーザ31が装着した状態の第3の例を示す図である。ウェアラブル翻訳装置1は、例えばベルト22でユーザ31の腕に装着されてもよい。
FIG. 4 is a diagram illustrating a third example in which the
従来、翻訳装置の使用時に翻訳装置のスピーカが話者の発声器31a(例えば口)から離れていると、翻訳された音声が発声器31aとは異なる場所から聴こえてくることにより、聴取者が違和感を覚えるという問題がある。翻訳装置の利便性を向上するためには、翻訳装置の使用時に翻訳装置の存在をなるべく話者及び聴取者に意識させず、翻訳装置が介在しても自然な会話であると話者自身が認識できるようにすることが求められる。
Conventionally, if the speaker of the translation device is separated from the speaker's
このため、本実施の形態に係る翻訳システム100のウェアラブル翻訳装置1において、音声処理回路15は、以下に説明するように、スピーカ装置16の上方にユーザ31の発声器31aが位置することが検出された場合、同検出に応じて、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて移動させる。なお、音声処理回路15は、ユーザ31の発声器31aが検出されない場合、スピーカ装置16の音像を移動させない。
For this reason, in the
[1−2.動作]
図5は、第1の実施の形態に係る翻訳システム100の動作を示すシーケンス図である。ユーザ31からマイクロホン装置13を介して第1言語の音声信号が入力されたとき、制御回路11は、入力された音声信号を音声認識サーバ装置3に送る。音声認識サーバ装置3は、入力された音声信号に対して音声認識を行って、認識された第1言語のテキストを生成し、制御回路11に送る。制御回路11は、音声認識サーバ装置3から第1言語のテキストが送られると、第1言語から第2言語に翻訳することを指示する制御信号とともに、第1言語のテキストを機械翻訳サーバ装置4に送る。機械翻訳サーバ装置4は、第1言語のテキストの機械翻訳を行って、翻訳された第2言語のテキストを生成し、制御回路11に送る。制御回路11は、機械翻訳サーバ装置4から第2言語のテキストが送られると、第2言語のテキストを音声合成サーバ装置5に送る。音声合成サーバ装置5は、第2言語のテキストの音声合成を行って、合成された第2言語の音声信号を生成し、制御回路11に送る。制御回路11は、音声合成サーバ装置5から第2言語の音声信号が送られると、第2言語の音声信号を音声処理回路15に送る。音声処理回路15は、スピーカ装置16の上方にユーザ31の発声器31aが位置することが検出された場合は、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて移動させるように、第2言語の音声信号の処理を行う。音声処理回路15は、処理された音声信号をスピーカ装置16から音声として出力する。
[1-2. Operation]
FIG. 5 is a sequence diagram showing the operation of the
なお、音声処理回路15は、ウェアラブル翻訳装置1から所定の距離内に発声器31aが位置することが検出されない場合や、ウェアラブル翻訳装置1に対し発声器31aが所定の方向(例えば、上方の方向)に位置することが検出されない場合は、処理を終了し、音声出力を行わない。
Note that the
図6は、第1の実施の形態に係る翻訳システムのウェアラブル翻訳装置1のスピーカ装置16からユーザ31の発声器31aまでの距離の測定を説明する図である。距離測定装置12は、例えば、図6のようにユーザ31がウェアラブル翻訳装置1を装着したときに、ウェアラブル翻訳装置1の上面に位置するように設けられる。距離測定装置12は、スピーカ及びマイクロホンを備える。距離測定装置12は、距離測定装置12のスピーカでユーザ31の発声器31aに向けてインパルス信号を放射し、距離測定装置12のマイクロホンでユーザ31の下あごで反射されたインパルス信号を受信する。これにより、距離測定装置12は距離測定装置12からユーザ31の下あごまでの距離Dを測定する。距離測定装置12からスピーカ装置16までの距離は既知である。したがって、ユーザ31の下あごから口までの距離は異なるユーザであっても大きな違いはないので、距離Dを測定することによりスピーカ装置16からユーザ31の発声器31aまでの距離を得ることができる。
FIG. 6 is a diagram for explaining the measurement of the distance from the
なお、ここでは、スピーカ装置16の上方にユーザ31の発声器31aが位置することを検出する一例として、スピーカ装置16からユーザ31の発声器31aまでの距離を測定したが、他の検出方法でもよい。つまり、スピーカ装置16の音像をユーザ31の発声器31aに向けて移動できるように、ウェアラブル翻訳装置1と発声器31aとの間の距離及び方向が検出できればよい。
Here, as an example of detecting that the
また、ユーザ31がウェアラブル翻訳装置1を図3又は図4のように装着するとき、距離測定装置12は、スピーカ装置16からユーザ31の発声器31aまでの距離に替えて、スピーカ装置16に対するユーザ31の発声器31aの相対位置を測定してもよい。距離測定装置12は、例えば特許文献2の技術を用いて、スピーカ装置16に対するユーザ31の発声器31aの相対位置を測定してもよい。
Further, when the
以上のように、取得されたスピーカ装置16からユーザ31の発声器31aまでの距離情報は、制御回路11Cに送られ、制御回路11Cによりスピーカ装置16の上方にユーザ31の発声器31aが位置することが検出される。
As described above, the acquired distance information from the
図7は、第1の実施の形態に係る翻訳システムのウェアラブル翻訳装置1を使用したときの音像の上昇を説明する図である。ユーザ31は第1言語の話者であり、かつ、ユーザ31は、第2言語の話者である聴取者32と対面している。ユーザ31及び聴取者32が会話する通常の状況下では、ユーザ31及び聴取者32の両方が立った状態又は座った状態で、1〜3m離れて対面している。ユーザ31が例えば図2のようにウェアラブル翻訳装置1を装着したとき、ウェアラブル翻訳装置1は、ユーザ31の発声器31aの下方であって、首の直下から腰までの範囲のどこかにある。また、聴取者32の聴覚器(両耳)は、地面に対して平行な水平面内にある。この場合、音声の特定周波数成分を調整することにより、音像を上昇させることができる。音声処理回路15は、スピーカ装置16の上方にユーザ31の発声器31aが位置することが検出された場合、同検出に応じて、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて移動させるように、第2言語の音声信号の特定周波数成分を調整(強調)する。
FIG. 7 is a diagram for explaining the rise of the sound image when the
例えば、特許文献3の技術を適用すると、音声処理回路15は以下のように動作する。音声処理回路15は、スピーカ装置16から聴取者32に向けて出力される音声の音圧周波数特性が第1のピークと第2のピークを有するように周波数特性を形成する。第1のピークの中心周波数を6kHz±15%の範囲内に設定する。第2のピークの中心周波数を13kHz±20%の範囲内に設定する。第1のピークのレベルを3dB以上12dB以下の範囲内に設定し、第2のピークのレベルを3dB以上25dB以下の範囲内に設定してもよい。第1のピークまたは第2のピークは、スピーカ装置16自体の音圧周波数特性に基づいて設定されてもよい。スピーカ装置16から出力される音声の音圧周波数特性は、中心周波数が8kHz±10%においてディップが形成された特性曲線を有してもよい。ディップは、スピーカ装置16自体の音圧周波数特性に基づいて設定されてもよい。第1のピークまたは第2のピークのレベルまたはQ値は調整可能にされてもよい。音声処理回路15は、スピーカ装置16から聴取者32に向けて出力される音声の音圧周波数特性における高域レベルを、所定レベルだけブーストするよう構成してもよい。
For example, when the technique of
以上のように、音声処理回路15は所定の周波数特性を有する音声信号を形成することにより、スピーカ装置16がユーザ31の発声器31aから離れていても、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aに向けて上昇させる。これにより、図7に示すように、仮想的なスピーカ装置16’の位置に音像を形成することができる。
As described above, the
第2言語の音声信号の特定周波数成分をf、スピーカ装置16から仮想的なスピーカ装置16’までの距離をd1、スピーカ装置16から聴取者32の耳までの距離をd2、スピーカ装置16から出力される音声信号をS2(f)(ただし、fは周波数を表す)、スピーカ装置16から仮想的なスピーカ装置16’までの伝達関数をH1(f,d1)、仮想的なスピーカ装置16’から聴取者32の耳までの伝達関数をH3(f,d2)とする。このとき、聴取者32が聴く音声信号は、(1)式となる。
The specific frequency component of the audio signal in the second language is f, the distance from the
S2(f)・H1(f,d1)・H3(f,d2) (1)
音声処理回路15は、例えば10cmのオーダーの分解能で、スピーカ装置16の音像を移動させることができる。
S2 (f) .H1 (f, d1) .H3 (f, d2) (1)
The
ウェアラブル翻訳装置1は、ウェアラブル翻訳装置1が実質的に静止しているか否かを検出するための重力センサを備えてもよい。ウェアラブル翻訳装置1が静止していない場合、スピーカ装置16からユーザ31の発声器31aまでの正確な距離を測定できないと考えられる。この場合、スピーカ装置16からユーザ31の発声器31aまでの距離の測定を中止してもよい。それに代わって、ウェアラブル翻訳装置1が静止していない場合、スピーカ装置16からユーザ31の発声器31aまでの距離をおおまかに測定し、音声処理回路15は、おおまかに測定された距離に基づいて、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて移動させてもよい。
The
距離測定装置12は、最初に、例えば、ユーザ31がウェアラブル翻訳装置1を装着したときに、スピーカ装置16からユーザ31の発声器31aまでの距離をおおまかに測定する。音声処理回路15は、おおまかに測定された距離に基づいて、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて移動させてもよい。その後、距離測定装置12は、スピーカ装置16からユーザ31の発声器31aまでのより正確な距離を測定する。音声処理回路15は、測定された正確な距離に基づいて、スピーカ装置16からユーザ31の発声器31aまでの距離に基づいて、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて移動させてもよい。
First, the
[1−3.効果等]
第1の実施の形態に係る翻訳システム100のウェアラブル翻訳装置1は、ユーザ31の身体に装着可能であるウェアラブル翻訳装置1であって、ユーザ31から第1言語の音声を取得して第1言語の音声信号を生成するマイクロホン装置13と、第1言語の音声信号から変換された第2言語の音声信号を取得する制御回路11とを備える。また、第2言語の音声信号に対して所定の処理を実行する音声処理回路15と、処理された第2言語の音声信号を音声として出力するスピーカ装置16とを備える。また、音声処理回路15は、スピーカ装置16の上方にユーザ31の発声器31aが位置することが検出された場合、同検出に応じて、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて移動させる。
[1-3. Effect]
The
上記ウェアラブル翻訳装置1によれば、異言語の話者間の会話を翻訳する際に、会話の自然さを損ないにくいウェアラブル翻訳装置1を提供することができる。これにより、ウェアラブル型の翻訳装置に特有の「簡易さ」及び「身軽感」などの翻訳体験をユーザに提供することができる。さらに、音声処理回路15が合成された音声の音像をユーザ31の発声器31aの位置に向けて移動させるので、ユーザ31自身があたかも外国語を話しているかのような翻訳体験を提供することができる。
According to the
また、第1の実施の形態に係る翻訳システム100のウェアラブル翻訳装置1によれば、ウェアラブル翻訳装置1はユーザ31の胸部又は腹部に装着されてもよい。これにより、ウェアラブル型の翻訳装置に特有の「簡易さ」及び「身軽感」などの翻訳体験をユーザに提供することができる。
Further, according to the
また、第1の実施の形態に係る翻訳システム100のウェアラブル翻訳装置1によれば、音声処理回路15は、第2言語の音声信号の特定周波数成分を調整してもよい。このように、音声の特定周波数成分を調整することにより、音像を上昇させることができる。
Moreover, according to the
また、第1の実施の形態に係る翻訳システム100のウェアラブル翻訳装置1によれば、マイクロホン装置13は、マイクロホン装置13からユーザ31の発声器31aに向かう方向にビームを有してもよい。これにより、ユーザ31の発話以外の雑音(例えば、図7の聴取者32の発話)による影響を受けにくくなる。
Further, according to
また、第1の実施の形態に係る翻訳システム100のウェアラブル翻訳装置1は、スピーカ装置16からユーザ31の発声器31aまでの距離を測定する距離測定装置12をさらに備えてもよい。これにより、スピーカ装置16からユーザ31の発声器31aまでの実際の距離に基づいて、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて適切に移動させることができる。
The
また、第1の実施の形態に係る翻訳システム100は、ウェアラブル翻訳装置1、ウェアラブル翻訳装置1の外部に、音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5を備える。また、音声認識サーバ装置3は、第1言語の音声信号を第1言語のテキストに変換する。また、機械翻訳サーバ装置4は、第1言語のテキストを第2言語のテキストに変換する。また、音声合成サーバ装置5は、第2言語のテキストを第2言語の音声信号に変換する。また、制御回路11は、音声合成サーバ装置5から無線通信回路14を介して第2言語の音声信号を取得する。これにより、ウェアラブル翻訳装置1の構成を簡単化することができる。例えば、音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5は、ウェアラブル翻訳装置1の製造者又は販売者とは異なるサードパーティ(クラウドサービス)によって提供されてもよい。クラウドサービスを用いることにより、例えば、多言語のウェアラブル翻訳装置を低コストで提供することができる。
The
(第2の実施の形態)
次に、図8を参照して、第2の実施の形態に係る翻訳システムのウェアラブル翻訳装置について説明する。
(Second Embodiment)
Next, with reference to FIG. 8, a wearable translation apparatus of the translation system according to the second embodiment will be described.
なお、第1の実施の形態における翻訳システム100及びウェアラブル翻訳装置1と同様の構成については同様の符号を付し、その説明は省略する場合がある。
In addition, the same code | symbol is attached | subjected about the structure similar to the
[2−1.構成]
図8は、第2の実施の形態に係る翻訳システムのウェアラブル翻訳装置1Aをユーザ31が装着した状態の例を示す図である。ウェアラブル翻訳装置1Aは、図1のスピーカ装置16に代えて、複数のスピーカ16a,16bを含むスピーカ装置16Aを備える。他の点では、図8のウェアラブル翻訳装置1Aは、図1のウェアラブル翻訳装置1と同様に構成される。
[2-1. Constitution]
FIG. 8 is a diagram illustrating an example of a state in which the
[2−2.動作]
スピーカ装置16Aの2つのスピーカ16a,16bは、互いに近接して配置され、ステレオダイポール再生を行う。音声処理回路15は、スピーカ装置16Aからユーザ31の発声器31aまでの距離と、ユーザ31に対面する仮想的人物の頭部伝達関数とに基づいて、スピーカ装置16Aの音像をスピーカ装置16Aの位置からユーザ31の発声器31aの位置に向けて移動させるように、第2言語の音声信号をフィルタリングする。頭部伝達関数は、例えば、ユーザ31の正面に1〜3m離れて対面している聴取者を仮定して計算される。これにより、第1の実施の形態(図7)と同様に、スピーカ装置16Aがユーザ31の発声器31aから離れていても、スピーカ装置16Aの音像をスピーカ装置16Aの位置からユーザ31の発声器31aに向けて上昇させることができる。
[2-2. Operation]
The two
それに代わって、ウェアラブル翻訳装置1Aを図3又は図4のように装着するとき、音声処理回路15は、スピーカ装置16Aから出力される音声が所定方向にビームを有するように、第2言語の音声信号を分配し、分配された各音声信号の位相を調整してもよい。これにより、スピーカ装置16Aから出力される音声のビームの方向を変化させることができる。
Instead, when the
スピーカ装置16Aから出力される音声のビームの方向を変化させるために、例えば、特許文献4の技術を適用してもよい。
In order to change the direction of the sound beam output from the
[2−3.効果等]
第2の実施の形態に係るウェアラブル翻訳装置1Aによれば、スピーカ装置16Aは、互いに近接して配置された2つのスピーカ16a,16bを含み、ステレオダイポール再生を行ってもよい。音声処理回路15は、スピーカ装置16Aからユーザ31の発声器31aまでの距離と、ユーザ31に対面する仮想的人物の頭部伝達関数とに基づいて、第2言語の音声信号をフィルタリングしてもよい。これにより、ステレオダイポール再生の技術を用いて、スピーカ装置16Aの音像をスピーカ装置16Aの位置からユーザ31の発声器31aの位置に向けて移動させることができる。
[2-3. Effect]
According to
第2の実施の形態に係るウェアラブル翻訳装置1Aによれば、スピーカ装置16Aは複数のスピーカ16a,16bを含んでもよい。音声処理回路15は、スピーカ装置16Aから出力される音声が所定方向にビームを有するように、第2言語の音声信号を分配し、分配された各音声信号の位相を調整してもよい。これにより、ウェアラブル翻訳装置1Aがユーザ31の発声器31aの下方に位置していなくても、スピーカ装置16Aの音像をスピーカ装置16Aの位置からユーザ31の発声器31aの位置に向けて移動させることができる。
According to the
(第3の実施の形態)
次に、図9を参照して、第3の実施の形態に係る翻訳システムについて説明する。
(Third embodiment)
Next, a translation system according to the third embodiment will be described with reference to FIG.
なお、第1の実施の形態における翻訳システム100及びウェアラブル翻訳装置1と同様の構成については同様の符号を付し、その説明は省略する場合がある。
In addition, the same code | symbol is attached | subjected about the structure similar to the
[3−1.構成]
図9は、第3の実施の形態に係る翻訳システム300の構成を示すブロック図である。図9の翻訳システム300のウェアラブル翻訳装置1Bは、図1の距離測定装置12に代えて、ユーザ入力装置17を備える。他の点では、図9のウェアラブル翻訳装置1Bは、図1のウェアラブル翻訳装置1と同様に構成される。
[3-1. Constitution]
FIG. 9 is a block diagram showing a configuration of a
[3−2.動作]
ユーザ入力装置17は、スピーカ装置16からユーザの発声器31aまでの距離を指定するユーザ入力を取得する。なお、ユーザ入力装置17は、タッチパネルやボタン等によって構成される。
[3-2. Operation]
The
ウェアラブル翻訳装置1Bには予め決められた複数の距離(例えば、遠(60cm)、中(40cm)、近(20cm))が選択可能に設定される。ユーザは、ユーザ入力装置17を用いてこれらの距離のうちの1つを選択することができる。制御回路11Cは、ユーザ入力装置17からの入力信号(距離の選択)に応じてスピーカ装置16からユーザの発声器31aまでの距離(図7のd1)を決定する。これにより、制御回路11Cは、スピーカ装置16の上方にユーザ31の発声器31aが位置することを検出する。
In the
[3−3.効果等]
第3の実施の形態に係る翻訳システム300によれば、ウェアラブル翻訳装置1Bは、スピーカ装置16からユーザの発声器31aまでの距離を指定するユーザ入力を取得するユーザ入力装置17を備える。図1の距離測定装置12を除去したことにより、図9のウェアラブル翻訳装置1Bの構成は、図1のウェアラブル翻訳装置1よりも簡単化される。
[3-3. Effect]
According to the
(第4の実施の形態)
次に、図10及び図11を参照して、第4の実施の形態に係る翻訳システムについて説明する。
(Fourth embodiment)
Next, a translation system according to the fourth embodiment will be described with reference to FIG. 10 and FIG.
なお、第1の実施の形態における翻訳システム100及びウェアラブル翻訳装置1と同様の構成については同様の符号を付し、その説明は省略する場合がある。
In addition, the same code | symbol is attached | subjected about the structure similar to the
[4−1.構成]
図10は、第4の実施の形態に係る翻訳システム400の構成を示すブロック図である。翻訳システム400は、ウェアラブル翻訳装置1、アクセスポイント装置2、及び翻訳サーバ装置41を含む。翻訳サーバ装置41は、音声認識サーバ装置3A、機械翻訳サーバ装置4A、及び音声合成サーバ装置5Aを備える。図10のウェアラブル翻訳装置1及びアクセスポイント装置2は、図1のウェアラブル翻訳装置1及びアクセスポイント装置2と同様に構成される。図10の音声認識サーバ装置3A、機械翻訳サーバ装置4A、及び音声合成サーバ装置5Aは、図1の音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5と同様の機能をそれぞれ有する。アクセスポイント装置2は、例えばインターネットを介して、翻訳サーバ装置41と通信する。従って、ウェアラブル翻訳装置1は、アクセスポイント装置2を介して翻訳サーバ装置41と通信する。
[4-1. Constitution]
FIG. 10 is a block diagram showing a configuration of a
[4−2.動作]
図11は、第4の実施の形態に係る翻訳システム400の動作を示すシーケンス図である。ユーザ31からマイクロホン装置13を介して、第1言語の音声信号が入力されたとき、制御回路11は、入力された音声信号を翻訳サーバ装置41に送る。翻訳サーバ装置41の音声認識サーバ装置3Aは、入力された音声信号に対して音声認識を行って、認識された第1言語のテキストを生成し、機械翻訳サーバ装置4Aに送る。機械翻訳サーバ装置4Aは、第1言語のテキストの機械翻訳を行って、翻訳された第2言語のテキストを生成し、音声合成サーバ装置5Aに送る。音声合成サーバ装置5Aは、第2言語のテキストの音声合成を行って、合成された第2言語の音声信号を生成し、制御回路11に送る。制御回路11は、翻訳サーバ装置41から第2言語の音声信号が送られると、第2言語の音声信号を音声処理回路15に送る。音声処理回路15は、スピーカ装置16の上方にユーザ31の発声器31aが位置することが検出された場合、同検出に応じて、スピーカ装置16の音像をスピーカ装置16の位置からユーザ31の発声器31aの位置に向けて移動させるように、第2言語の音声信号の処理を行い、処理された音声信号をスピーカ装置16から音声として出力する。
[4-2. Operation]
FIG. 11 is a sequence diagram showing an operation of the
[4−3.効果等]
第4の実施の形態に係る翻訳システム400は、音声認識サーバ装置3A、機械翻訳サーバ装置4A、及び音声合成サーバ装置5Aを、一体の翻訳サーバ装置41として備えてもよい。これにより、第1の実施の形態に係る翻訳システムよりも通信回数を削減することにより、通信にかかる時間及び電力消費を削減することができる。
[4-3. Effect]
The
(第5の実施の形態)
次に、図12を参照して、第5の実施の形態に係るウェアラブル翻訳装置について説明する。
(Fifth embodiment)
Next, a wearable translation apparatus according to the fifth embodiment will be described with reference to FIG.
なお、第1の実施の形態における翻訳システム100及びウェアラブル翻訳装置1と同様の構成については同様の符号を付し、その説明は省略する場合がある。
In addition, the same code | symbol is attached | subjected about the structure similar to the
[5−1.構成]
図12は、第5の実施の形態に係るウェアラブル翻訳装置1Cの構成を示すブロック図である。図12のウェアラブル翻訳装置1Cは、図1の音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5の機能を有する。ウェアラブル翻訳装置1Cは、制御回路11C、距離測定装置12、マイクロホン装置13、音声処理回路15、スピーカ装置16、音声認識回路51、機械翻訳回路52、及び音声合成回路53を備える。図12の距離測定装置12、マイクロホン装置13、音声処理回路15、スピーカ装置16は、図1の対応する構成要素と同様に構成される。音声認識回路51、機械翻訳回路52、及び音声合成回路53は、図1の音声認識サーバ装置3、機械翻訳サーバ装置4、及び音声合成サーバ装置5と同様の機能をそれぞれ有する。制御回路11Cは、音声認識回路51、機械翻訳回路52、及び音声合成回路53から、第1言語の音声信号から翻訳された第2言語の音声信号を取得する。
[5-1. Constitution]
FIG. 12 is a block diagram showing a configuration of a
[5−2.動作]
ユーザからマイクロホン装置13を介して第1言語の音声信号が入力されたとき、制御回路11Cは、入力された音声信号を音声認識回路51に送る。音声認識回路51は、入力された音声信号に対して音声認識を行って、認識された第1言語のテキストを生成し、制御回路11Cに送る。制御回路11Cは、音声認識回路51から第1言語のテキストが送られると、第1言語から第2言語に翻訳することを指示する制御信号とともに、第1言語のテキストを機械翻訳回路52に送る。機械翻訳回路52は、第1言語のテキストの機械翻訳を行って、翻訳された第2言語のテキストを生成し、制御回路11Cに送る。制御回路11Cは、機械翻訳回路52から第2言語のテキストが送られると、第2言語のテキストを音声合成回路53に送る。音声合成回路53は、第2言語のテキストの音声合成を行って、合成された第2言語の音声信号を生成し、制御回路11Cに送る。制御回路11Cは、音声合成回路53から第2言語の音声信号が送られると、第2言語の音声信号を音声処理回路15に送る。音声処理回路15は、スピーカ装置16の上方にユーザの発声器31aが位置することが検出された場合、同検出に応じて、スピーカ装置16の音像をスピーカ装置16の位置からユーザの発声器31aの位置に向けて移動させるように、第2言語の音声信号の処理を行い、処理された音声信号をスピーカ装置16から音声として出力する。
[5-2. Operation]
When a first language speech signal is input from the user via the
音声認識回路51は、入力された音声信号に対して音声認識を行って、認識された第1言語のテキストを生成した後、制御回路11Cにではなく、機械翻訳回路52に送ってもよい。同様に、機械翻訳回路52は、第1言語のテキストの機械翻訳を行って、翻訳された第2言語のテキストを生成した後、制御回路11Cにではなく、音声合成回路53に送ってもよい。
The
[5−3.効果等]
第5の実施の形態に係るウェアラブル翻訳装置1Cは、第1言語の音声信号を第1言語のテキストに変換する音声認識回路51と、第1言語のテキストを第2言語のテキストに変換する機械翻訳回路52と、第2言語のテキストを第2言語の音声信号に変換する音声合成回路53とをさらに備えてもよい。制御回路11Cは、音声合成回路53から第2言語の音声信号を取得してもよい。これにより、ウェアラブル翻訳装置1Cは外部のサーバ装置と通信することなく、異言語の話者間の会話を翻訳することができる。
[5-3. Effect]
A
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、第1〜第5の実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、第1〜第5の実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
(Other embodiments)
As described above, the first to fifth embodiments have been described as examples of the technology disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to embodiments in which changes, replacements, additions, omissions, and the like have been made as appropriate. Moreover, it is also possible to combine each component demonstrated in the 1st-5th embodiment, and it can also be set as a new embodiment.
以下に、他の実施の形態を例示する。 Other embodiments will be illustrated below.
第1〜第4の実施の形態では、ウェアラブル翻訳装置の通信回路の一例として無線通信回路14を用いて説明したが、通信回路は、外部の音声認識サーバ装置、機械翻訳サーバ装置、及び音声合成サーバ装置と通信可能なものであればよい。従って、ウェアラブル翻訳装置は外部の音声認識サーバ装置、機械翻訳サーバ装置、及び音声合成サーバ装置に有線接続されていてもよい。 In the first to fourth embodiments, the wireless communication circuit 14 has been described as an example of the communication circuit of the wearable translation device. However, the communication circuit includes an external speech recognition server device, a machine translation server device, and speech synthesis. Any device capable of communicating with the server device may be used. Therefore, the wearable translation apparatus may be wired to an external speech recognition server apparatus, machine translation server apparatus, and speech synthesis server apparatus.
第1〜第5の実施の形態では、ウェアラブル翻訳装置の制御回路、通信回路、及び音声処理回路を別個のブロックとして示したが、これらの回路は単一の集積回路チップとして構成されてもよい。また、ウェアラブル翻訳装置の制御回路、通信回路、及び音声処理回路の機能は、汎用のプロセッサ上で実行されるプログラムによって実装されてもよい。 In the first to fifth embodiments, the control circuit, the communication circuit, and the speech processing circuit of the wearable translation apparatus are shown as separate blocks. However, these circuits may be configured as a single integrated circuit chip. . The functions of the control circuit, the communication circuit, and the speech processing circuit of the wearable translation apparatus may be implemented by a program executed on a general-purpose processor.
第1〜第5の実施の形態では、1人のユーザ(話者)のみがウェアラブル翻訳装置を使用する場合について説明したが、互いに会話しようとする複数の話者のそれぞれがウェアラブル翻訳装置を用いてもよい。 In the first to fifth embodiments, the case where only one user (speaker) uses the wearable translation device has been described. However, each of a plurality of speakers who want to talk to each other uses the wearable translation device. May be.
第1〜第5の実施の形態では、スピーカ装置の音像をスピーカ装置の位置からユーザの発声器31aの位置に向けて移動させるものとして説明したが、スピーカ装置の音像をスピーカ装置の位置からユーザの発声器31a以外の位置に向けて移動させてもよい。
In the first to fifth embodiments, it has been described that the sound image of the speaker device is moved from the position of the speaker device toward the position of the user's
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also components not essential for solving the problem in order to illustrate the technology. May be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 Moreover, since the above-mentioned embodiment is for demonstrating the technique in this indication, a various change, replacement, addition, abbreviation, etc. can be performed in a claim or its equivalent range.
本開示によれば、異言語の話者間の会話を翻訳する際に会話の自然さを損ないにくいウェアラブル装置を提供することができる。 According to the present disclosure, it is possible to provide a wearable device that hardly impairs the naturalness of conversation when translating conversations between speakers of different languages.
1,1A,1B,1C ウェアラブル翻訳装置
2 アクセスポイント装置
3,3A 音声認識サーバ装置
4,4A 機械翻訳サーバ装置
5,5A 音声合成サーバ装置
11,11C 制御回路
12 距離測定装置
13 マイクロホン装置
14 無線通信回路
15 音声処理回路
16,16A スピーカ装置
16a,16b スピーカ
16’ 仮想的なスピーカ装置
17 ユーザ入力装置
21 ストラップ
22 ベルト
31 ユーザ(話者)
32 聴取者
41 翻訳サーバ装置
51 音声認識回路
52 機械翻訳回路
53 音声合成回路
1, 1A, 1B, 1C
32
Claims (11)
前記ユーザから第1言語の音声を取得して第1言語の音声信号を生成するマイクロホン装置と、
前記第1言語の音声信号から変換された第2言語の音声信号を取得する制御回路と、
前記第2言語の音声信号に対して所定の処理を実行する音声処理回路と、
前記処理された第2言語の音声信号を音声として出力するスピーカ装置とを備え、
前記音声処理回路は、前記スピーカ装置の上方に前記ユーザの発声器が位置することが検出された場合、前記検出に応じて、前記スピーカ装置の音像を前記スピーカ装置の位置から前記ユーザの前記発声器の位置に向けて移動させる、
ウェアラブル装置。 A wearable device that can be worn on a user's body,
A microphone device that obtains a first language voice signal from the user and generates a first language voice signal;
A control circuit for acquiring a second language audio signal converted from the first language audio signal;
An audio processing circuit that performs predetermined processing on the audio signal of the second language;
A speaker device for outputting the processed second language audio signal as audio;
When it is detected that the user's voice is located above the speaker device, the voice processing circuit transmits a sound image of the speaker device from the position of the speaker device according to the detection. Move towards the position of the vessel,
Wearable device.
請求項1記載のウェアラブル装置。 If the user's voice is not detected, the voice processing circuit does not move the sound image of the speaker device;
The wearable device according to claim 1.
請求項1記載のウェアラブル装置。 The speech processing circuit adjusts a specific frequency component of the speech signal of the second language;
The wearable device according to claim 1.
前記音声処理回路は、前記スピーカ装置から前記ユーザの発声器までの距離と、前記ユーザに対面する仮想的人物の頭部伝達関数とに基づいて、前記第2言語の音声信号をフィルタリングする、
請求項1記載のウェアラブル装置。 The speaker device includes two speakers arranged close to each other, performs stereo dipole reproduction,
The speech processing circuit filters the speech signal of the second language based on a distance from the speaker device to the user's voice generator and a head transfer function of a virtual person facing the user.
The wearable device according to claim 1.
前記音声処理回路は、前記スピーカ装置から出力される音声が所定方向にビームを有するように、前記第2言語の音声信号を分配し、前記分配された音声信号の位相を調整する、
請求項1に記載のウェアラブル装置。 The speaker device includes a plurality of speakers,
The audio processing circuit distributes the audio signal of the second language so that the audio output from the speaker device has a beam in a predetermined direction, and adjusts the phase of the distributed audio signal;
The wearable device according to claim 1.
請求項1に記載のウェアラブル装置。 The microphone device has a beam in a direction from the microphone device toward the user's voice generator.
The wearable device according to claim 1.
請求項1に記載のウェアラブル装置。 A distance measuring device for measuring a distance from the speaker device to the user's voice generator;
The wearable device according to claim 1.
請求項1に記載のウェアラブル装置。 A user input device that acquires a user input that specifies a distance from the speaker device to the user's speaker;
The wearable device according to claim 1.
前記第1言語のテキストを第2言語のテキストに変換する機械翻訳回路と、
前記第2言語のテキストを第2言語の音声信号に変換する音声合成回路とをさらに備え、
前記制御回路は、前記音声合成回路から前記第2言語の音声信号を取得する、
請求項1に記載のウェアラブル装置。 A speech recognition circuit for converting the speech signal of the first language into text of the first language;
A machine translation circuit for converting the text in the first language into text in the second language;
A speech synthesis circuit that converts the second language text into a second language speech signal;
The control circuit acquires the second language speech signal from the speech synthesis circuit;
The wearable device according to claim 1.
前記ウェアラブル装置に接続可能な、音声認識サーバ装置と、機械翻訳サーバ装置と、及び音声合成サーバ装置とを備える翻訳システムであって、
前記音声認識サーバ装置は、前記第1言語の音声信号を第1言語のテキストに変換し、
前記機械翻訳サーバ装置は、前記第1言語のテキストを第2言語のテキストに変換し、
前記音声合成サーバ装置は、前記第2言語のテキストを第2言語の音声信号に変換し、
前記制御回路は、前記音声合成サーバ装置から前記通信回路を介して前記第2言語の音声信号を取得する、
翻訳システム。 Wearable device according to claim 1, further comprising a communication circuit, and connectable to said wearable equipment, a translation system comprising a speech recognition server, a machine translation server, and a voice synthesizing server And
The voice recognition server device converts the voice signal of the first language into text of the first language;
The machine translation server device converts the first language text into a second language text;
The speech synthesis server device converts the second language text into a second language speech signal;
The control circuit acquires the second language speech signal from the speech synthesis server device via the communication circuit;
Translation system.
請求項10に記載の翻訳システム。 The speech recognition server device, the machine translation server device, and the speech synthesis server device are provided as an integral translation server device.
The translation system according to claim 10.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/067,036 US20160267075A1 (en) | 2015-03-13 | 2016-03-10 | Wearable device and translation system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015050942 | 2015-03-13 | ||
JP2015050942 | 2015-03-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016171565A JP2016171565A (en) | 2016-09-23 |
JP6603875B2 true JP6603875B2 (en) | 2019-11-13 |
Family
ID=56984266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016018575A Active JP6603875B2 (en) | 2015-03-13 | 2016-02-03 | Wearable device and translation system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6603875B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107750020A (en) * | 2017-12-05 | 2018-03-02 | 北京中电慧声科技有限公司 | A kind of microphone and conference system with electronic table tablet stand |
CN108445451A (en) * | 2018-05-11 | 2018-08-24 | 四川斐讯信息技术有限公司 | A kind of intelligent sound box and its sound localization method |
KR102170684B1 (en) * | 2019-01-21 | 2020-10-27 | (주)한컴인터프리 | System for interpreting and translating using smart clothes |
-
2016
- 2016-02-03 JP JP2016018575A patent/JP6603875B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016171565A (en) | 2016-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10097921B2 (en) | Methods circuits devices systems and associated computer executable code for acquiring acoustic signals | |
US20160267075A1 (en) | Wearable device and translation system | |
US9236050B2 (en) | System and method for improving speech recognition accuracy in a work environment | |
DK2882204T3 (en) | Hearing aid device for hands-free communication | |
US8670583B2 (en) | Hearing aid system | |
US20190138603A1 (en) | Coordinating Translation Request Metadata between Devices | |
JP5493611B2 (en) | Information processing apparatus, information processing method, and program | |
US20100098266A1 (en) | Multi-channel audio device | |
EP3468514B1 (en) | Media-compensated pass-through and mode-switching | |
JP6603875B2 (en) | Wearable device and translation system | |
US10152476B2 (en) | Wearable device and translation system | |
KR20140097699A (en) | Compensating a hearing impairment apparatus and method using 3d equal loudness contour | |
CN111683316B (en) | Wearing calibration method, device and system of earphone and storage medium | |
CN110837353B (en) | Method of compensating in-ear audio signal, electronic device, and recording medium | |
US20150117688A1 (en) | Hybrid hearing device | |
JP6977768B2 (en) | Information processing device, information processing method, audio output device, and audio output method | |
CN113038318B (en) | Voice signal processing method and device | |
US11405732B2 (en) | Hearing assistance device | |
US20140324418A1 (en) | Voice input/output device, method and programme for preventing howling | |
US20190306618A1 (en) | Methods circuits devices systems and associated computer executable code for acquiring acoustic signals | |
JP2016177782A (en) | Wearable device and translation system | |
KR20150142925A (en) | Stereo audio input apparatus | |
CN115151858A (en) | Hearing aid system capable of being integrated into glasses frame | |
JP2019096220A (en) | Text information providing device and method | |
US10897665B2 (en) | Method of decreasing the effect of an interference sound and sound playback device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180831 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190916 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6603875 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |