JP6833203B2 - Voice recognition system, voice recognition server, terminal device, and phrase management method - Google Patents
Voice recognition system, voice recognition server, terminal device, and phrase management method Download PDFInfo
- Publication number
- JP6833203B2 JP6833203B2 JP2017025725A JP2017025725A JP6833203B2 JP 6833203 B2 JP6833203 B2 JP 6833203B2 JP 2017025725 A JP2017025725 A JP 2017025725A JP 2017025725 A JP2017025725 A JP 2017025725A JP 6833203 B2 JP6833203 B2 JP 6833203B2
- Authority
- JP
- Japan
- Prior art keywords
- phrase
- voice recognition
- terminal device
- voice
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、音声認識システム、音声認識サーバ、端末装置、及び語句管理方法に関する。 The present invention relates to a voice recognition system, a voice recognition server, a terminal device, and a phrase management method.
近年、スマートフォンやカーナビゲーション等の端末装置には、サーバ側に搭載された音声認識エンジンを使用した音声入力機能を有するものがある。サーバ側の音声認識エンジンは、端末装置に比べて豊富な計算機リソース(例えば、演算処理速度や記憶容量)を活用することができる。これにより、サーバ側の音声認識エンジンは、幅広い語彙を認識できる可能性を持っており、また、さまざまな音環境で入力された音声を精度よく認識できる可能性を持っている。 In recent years, some terminal devices such as smartphones and car navigation systems have a voice input function using a voice recognition engine mounted on the server side. The voice recognition engine on the server side can utilize abundant computer resources (for example, arithmetic processing speed and storage capacity) as compared with the terminal device. As a result, the voice recognition engine on the server side has the possibility of recognizing a wide range of vocabulary, and also has the possibility of accurately recognizing the voice input in various sound environments.
しかし、サーバ側の音声認識エンジンは、過疎地やトンネル内などの端末装置とデータ通信を確立できない環境では、使用することができない。そこで、端末装置側にも音声認識エンジンを搭載し、状況に応じて音声認識処理を端末装置側又はサーバ側に振り分けるように、システムを構成することもできる。 However, the server-side voice recognition engine cannot be used in an environment where data communication cannot be established with a terminal device such as in a depopulated area or in a tunnel. Therefore, it is also possible to mount a voice recognition engine on the terminal device side and configure the system so that the voice recognition process is distributed to the terminal device side or the server side depending on the situation.
特許文献1には、「振り分け判定部102は、解析した入力モードが該当項目選択モードであるか否かを判定する(ステップ104)。現在の入力モードが該当項目選択モードである場合には肯定判断が行われる。次に、車載装置1に内蔵された音声認識処理部100は、マイクロホン22によって集音された利用者の音声に対して音声認識処理を行う(ステップ106)。」、「一方、現在の入力モードがテキスト入力モードである場合にはステップ104の判定において否定判断が行われる。次に、音声データ送信部56は、マイクロホン22から入力されて圧縮処理部26によって圧縮処理された音声データをネットワーク3を介してサーバ2に向けて送信して、サーバ2内の音声認識処理部200による音声認識処理を依頼する(ステップ110)。」と記載されている。
According to
端末装置に搭載される音声認識エンジンは、当該端末装置の計算リソースの制約のため、サーバ側の音声認識エンジンに比べて、認識できる語句が少ない。一方、サーバ側の音声認識エンジンは、端末装置と比べて自由にメンテナンス可能であることから、語句を新たに音声認識辞書に追加することが容易である。そのため、サーバ側の音声認識エンジンでは正しく認識できるものの、端末装置側の音声認識エンジンでは認識できない語句が多く存在する。このような語句は、サーバ側の音声認識エンジンを使用することができない環境では、端末装置によって認識されず、端末装置のユーザは不便を強いられることになる。 The voice recognition engine mounted on the terminal device can recognize fewer words and phrases than the voice recognition engine on the server side due to the limitation of the computing resources of the terminal device. On the other hand, since the voice recognition engine on the server side can be freely maintained as compared with the terminal device, it is easy to add a new phrase to the voice recognition dictionary. Therefore, there are many words and phrases that can be correctly recognized by the voice recognition engine on the server side, but cannot be recognized by the voice recognition engine on the terminal device side. In an environment where the server-side voice recognition engine cannot be used, such words and phrases are not recognized by the terminal device, and the user of the terminal device is inconvenienced.
ここで、サーバ側の音声認識エンジンで認識された語句のうちユーザの使用頻度が高い語句を、そのユーザの端末装置側の音声認識辞書に追加すれば、端末装置側で音声認識可能な語彙を増やすことができる。しかしながら、そのユーザが使用したことがない又は使用頻度が低い語句は、音声認識辞書に追加されない又は追加が遅れる。そのため、新しくオープンした店舗の名称などの新しい語句については、ユーザが使用する可能性があってもユーザが使用しない限り音声認識辞書に追加されず、ユーザの利便性を向上できない。 Here, if the words and phrases that are frequently used by the user among the words and phrases recognized by the voice recognition engine on the server side are added to the voice recognition dictionary on the terminal device side of the user, the vocabulary that can be voice-recognized on the terminal device side can be obtained. Can be increased. However, words that the user has never used or are used infrequently are not added to the speech recognition dictionary or are delayed in addition. Therefore, new words and phrases such as the name of a newly opened store are not added to the speech recognition dictionary unless the user uses them even if they may be used, and the convenience of the user cannot be improved.
本発明は、上記の問題に鑑みてなされたものであり、好適な音声認識システム、音声認識サーバ、端末装置、及び語句管理方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a suitable voice recognition system, voice recognition server, terminal device, and phrase management method.
本発明は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。 The present invention includes a plurality of means for solving at least a part of the above problems, and examples thereof are as follows.
本発明の一態様は、ユーザの音声データを音声認識する端末装置と、前記端末装置と通信し前記ユーザの音声データを音声認識する音声認識サーバとを備える音声認識システムである。前記音声認識サーバは、前記端末装置と通信するサーバ側通信制御部と、前記端末装置から送信された前記ユーザの音声データを音声認識し、その認識結果を前記端末装置に送信するサーバ側音声認識部と、前記サーバ側通信制御部を用いて取得した前記端末装置から送信された前記語句に関する情報と、他の端末装置から送信された語句に関する情報とを、語句リストに登録する語句管理部と、前記語句リストに登録された語句に関する情報を、前記端末装置及び前記他の端末装置の少なくとも一方に前記サーバ側通信制御部を用いて配信する語句配信部と、を備える。前記端末装置は、前記音声認識サーバと通信する端末側通信制御部と、音声認識するための音声認識辞書を記憶する音声認識辞書記憶部と、前記ユーザの音声データを前記音声認識辞書記憶部に記憶されている音声認識辞書を用いて音声認識し、その認識結果を得る端末側音声認識部と、前記ユーザの音声データを、前記端末側通信制御部を用いて前記音声認識サーバに送信する音声送信部と、前記端末側音声認識部からの認識結果と、前記端末側通信制御部を用いて取得した前記音声認識サーバからの認識結果とを比較し、いずれか一方の認識結果を選択する認識結果取得部と、前記選択された認識結果が示す語句が、前記音声認識辞書記憶部に記憶されている音声認識辞書に存在するか否かを判定し、存在しない場合に前記語句を前記音声認識辞書に登録する辞書管理部と、前記辞書管理部によって前記音声認識辞書に登録された語句に関する情報を、前記端末側通信制御部を用いて前記音声認識サーバに送信する語句送信部と、を備える。前記辞書管理部は、前記端末側通信制御部を用いて取得した前記音声認識サーバから配信された語句を前記音声認識辞書に登録する。 One aspect of the present invention is a voice recognition system including a terminal device that recognizes a user's voice data by voice and a voice recognition server that communicates with the terminal device and recognizes the user's voice data by voice. The voice recognition server has a server-side communication control unit that communicates with the terminal device, and a server-side voice recognition that recognizes the voice data of the user transmitted from the terminal device and transmits the recognition result to the terminal device. A word management unit that registers information about the phrase transmitted from the terminal device acquired by using the server-side communication control unit and information about the word transmitted from another terminal device in the word list. A word / phrase distribution unit that distributes information about a word / phrase registered in the word / phrase list to at least one of the terminal device and the other terminal device using the server-side communication control unit. The terminal device stores the terminal-side communication control unit that communicates with the voice recognition server, the voice recognition dictionary storage unit that stores the voice recognition dictionary for voice recognition, and the voice data of the user into the voice recognition dictionary storage unit. A voice recognition unit that recognizes voice using a stored voice recognition dictionary and obtains the recognition result, and a voice that transmits the user's voice data to the voice recognition server using the terminal communication control unit. Recognition that compares the recognition result from the transmission unit, the voice recognition unit on the terminal side, and the recognition result from the voice recognition server acquired by using the communication control unit on the terminal side, and selects one of the recognition results. It is determined whether or not the result acquisition unit and the phrase indicated by the selected recognition result exist in the speech recognition dictionary stored in the speech recognition dictionary storage unit, and if not, the phrase is recognized by the speech recognition dictionary. It includes a dictionary management unit that registers in a dictionary, and a phrase transmission unit that transmits information about words and phrases registered in the voice recognition dictionary by the dictionary management unit to the voice recognition server using the terminal-side communication control unit. .. The dictionary management unit registers the words and phrases distributed from the voice recognition server acquired by using the terminal-side communication control unit in the voice recognition dictionary.
本発明によれば、好適な音声認識システム、音声認識サーバ、端末装置、及び語句管理方法を提供することができる。 According to the present invention, it is possible to provide a suitable voice recognition system, voice recognition server, terminal device, and word management method.
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
以下、本発明の複数の実施形態について、図面を参照して説明する。 Hereinafter, a plurality of embodiments of the present invention will be described with reference to the drawings.
[第1実施形態]
図1は、第1実施形態に係る音声認識システムのシステム構成及び機能構成の一例を示す図である。
[First Embodiment]
FIG. 1 is a diagram showing an example of a system configuration and a functional configuration of the voice recognition system according to the first embodiment.
音声認識システム1は、複数の端末装置10(図1では1台のみを図示)と、音声認識サーバ20とを含む。各端末装置10と音声認識サーバ20は、例えば携帯電話網、インターネット等の通信ネットワークNを介して、互いに通信することができる。
The
端末装置10は、例えばスマートフォン、フィーチャーフォン、タブレットコンピュータ、PC(Personal Computer)、ウェアラブルデバイス、車載カーナビゲーション機、車載オーディオ機器、車載ECU(Electronic Control Unit)などの情報通信機器である。音声認識サーバ20は、例えばサーバコンピュータなどの情報通信機器である。
The
端末装置10は、音声認識機能を有する。また、端末装置10は、音声認識辞書に新しく語句を登録する機能を有する。音声認識サーバ20は、音声認識機能を有する。また、音声認識サーバ20は、各端末装置10から送信された語句を、各端末装置10に配信する機能を有する。図2を参照して、この音声認識システム1の処理の概要を説明する。
The
図2は、音声認識システムにより実行される処理の概要を示すシーケンス図である。 FIG. 2 is a sequence diagram showing an outline of processing executed by the voice recognition system.
ある端末装置10は、ユーザの音声データの入力を受け付けて(ステップS1)、当該音声データを音声認識サーバ20に送信する(ステップS2)。端末装置10は、入力された音声データに対して音声認識処理を実行して、認識結果を得る(ステップS3)。一方、音声認識サーバ20は、端末装置10から送信された音声データに対して音声認識処理を実行して、認識結果を得て(ステップS4)、認識結果を音声データの送信元の端末装置10に送信する(ステップS5)。
A
ユーザの入力音声データに対して2つの認識結果を取得した端末装置10は、いずれの認識結果を採用するかを判定する(ステップS6)。そして、端末装置10は、採用した認識結果が示す認識語句が、自身の備える音声認識辞書に登録されていない場合には、当該認識語句を音声認識辞書に登録する(ステップS7)。このようにして、新規語句が端末装置10の音声認識辞書に追加される。
The
新規語句を音声認識辞書に登録した端末装置10は、当該新規語句を音声認識サーバ20に送信(通知)する(ステップS8)。音声認識サーバ20は、端末装置10から通知された新規語句を、自身の備える語句リストに登録する(ステップS9)。ステップS1〜S9の処理は、それぞれの端末装置10と音声認識サーバ20との間で実行される。つまり、語句リストには、複数の端末装置10から通知された新規語句が登録される。
The
音声認識サーバ20は、語句リストに登録した新規語句を、当該新規語句を通知した端末装置10以外の1つ以上の端末装置10に対して配信する(ステップS10)。ここで、音声認識サーバ20は、所定の規則に従って、例えば複数のユーザの間で使用頻度が高い新規語句を、配信対象の語句として選択する。
The
配信された新規語句を受信した各端末装置10は、受信した新規語句が、自身の備える音声認識辞書に登録されていない場合には、当該新規語句を音声認識辞書に登録する(ステップS11)。このようにして、ステップS7において端末装置10の音声認識辞書に追加された新規語句が、ステップS11において他の端末装置10の音声認識辞書にも追加される。
If the received new phrase is not registered in the voice recognition dictionary provided by each
端末装置10は、音声認識サーバ20と比べて、計算機リソース(例えば、演算処理速度や記憶容量)が少ない。そのため、端末装置10における音声認識機能は、音声認識辞書に登録されている語句数が少ないことや処理速度が遅いことにより、認識能力が低く制限される。一方で、音声認識サーバ20における音声認識機能は、音声認識辞書に登録されている語句数が多いことや処理速度が速いことにより、認識能力が高い。ただし、端末装置10と音声認識サーバ20の通信を確立できない場合には、音声認識サーバ20における音声認識機能を利用できないというデメリットはある。
The
そこで、本実施形態の音声認識システム1では、音声認識サーバ20が各端末装置10から新規語句を収集するとともに、収集した新規語句を各端末装置10に配信して、各端末装置10の音声認識辞書に登録させる。これにより、各端末装置10の音声認識辞書に、各ユーザによって使用される可能性の高い語句を効率的に追加し、音声認識サーバ20と通信を確立できない環境でも、ユーザの利便性を向上することができる。
Therefore, in the
図1の説明に戻り、端末装置10及び音声認識サーバ20の機能についてより詳細に説明する。
Returning to the description of FIG. 1, the functions of the
端末装置10は、音声送信部11と、音声認識部12と、音声認識辞書13(ユーザ辞書14を含む)と、認識結果取得部15と、インターフェイス制御部16と、辞書管理部17と、語句送信部18と、通信制御部19とを有する。また、端末装置10は、内蔵あるいは外部に接続されるマイクロフォンMを有する。
The
音声送信部11は、マイクロフォンMを介してユーザの音声データの入力を受け付ける。また、音声送信部11は、入力された音声データを、通信制御部19を介して音声認識サーバ20に送信する。なお、音声送信部11は、送信する音声データに圧縮処理を施してデータサイズを小さくしてもよい。
The
音声認識部12は、ユーザの音声データの入力をマイクロフォンMを介して受け付け、その音声データの音声認識処理を実行し、認識結果として例えば認識された語句(文字列)とその信頼度を出力する。具体的には、音声認識部12は、音声認識辞書13を参照して、その中に登録されている語句の中から、入力された音声に最も類似する語句あるいは複数の語句により表現される語句を推定する。また、音声認識部12は、語句の推定とともに、当該推定の信頼度を算出する。このような音声認識処理は、既存の技術を用いて実現できるため、詳細な説明を省略する。
The
音声認識辞書13は、予め登録された複数の語句を含む標準辞書(図示せず)を有する。また、音声認識辞書13は、端末装置10のユーザにより使用されたあるいは他の端末装置10のユーザにより使用された新規語句を登録するためのユーザ辞書14を有する。標準辞書及びユーザ辞書14には、語句の文字列とともにその語句の読みデータやパラメータが登録されてもよい。本実施形態では、音声認識部12は、標準辞書及びユーザ辞書14を用いて音声認識処理を実行する。
The
認識結果取得部15は、音声認識部12から出力される認識結果を取得する。また、認識結果取得部15は、音声送信部11により送信された音声データの認識結果を、通信制御部19を介して音声認識サーバ20から取得する。また、認識結果取得部15は、取得した2つの認識結果のいずれかを選択し、辞書管理部17に出力する。認識結果取得部15は、例えば各認識結果に含まれる信頼度を比較して、信頼度が高い方の認識結果を選択する。
The recognition result
なお、認識結果取得部15は、選択した認識結果をインターフェイス制御部16を介してユーザに提示し、当該認識結果を許可するかキャンセルするかを、インターフェイス制御部16を介してユーザから受け付けてもよい。
Even if the recognition
インターフェイス制御部16は、端末装置10の備えるディスプレイやスピーカ等の出力装置(図示せず)を介してユーザに情報を出力する。また、インターフェイス制御部16は、端末装置10の備えるソフトキーやハードキー等の入力装置(図示せず)を介してユーザからの情報の入力を受け付ける。
The
辞書管理部17は、ユーザ辞書14の内容を管理する。具体的には、辞書管理部17は、認識結果取得部15から出力された認識結果を参照し、当該認識結果が示す語句が音声認識辞書13(標準辞書及びユーザ辞書14)に登録されているか否かを判定する。認識語句が音声認識辞書13に登録されていない場合、辞書管理部17は、当該語句を新規語句としてユーザ辞書14に登録する。
The
また、辞書管理部17は、音声認識サーバ20から配信された新規語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、通信制御部19を介して受信する。辞書管理部17は、当該新規語句が音声認識辞書13(標準辞書及びユーザ辞書14)に登録されているか否かを判定する。当該新規語句が音声認識辞書13に登録されていない場合、辞書管理部17は、当該新規語句をユーザ辞書14に登録する。
Further, the
語句送信部18は、認識結果取得部15により取得され、辞書管理部17によりユーザ辞書14に新しく登録された語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、通信制御部19を介して音声認識サーバ20に送信(通知)する。
The word /
通信制御部19は、端末装置10の備える通信装置(図示せず)を介して音声認識サーバ20と通信し、他の機能(音声送信部11、語句送信部18等)からを出力された情報を音声認識サーバ20に送信したり、音声認識サーバ20から受信した情報を他の機能(認識結果取得部15、辞書管理部17等)に出力したりする。もちろん、音声認識サーバ20以外の機器と通信してもよい。
The
音声認識サーバ20は、音声認識部21と、音声認識辞書22と、語句管理部23と、語句配信部24と、語句リスト25と、通信制御部26とを有する。音声認識部21、音声認識辞書22、及び通信制御部26を含む部分を音声認識サーバとして構築し、語句管理部23、語句配信部24、語句リスト25、及び通信制御部26を含む部分を語句管理サーバとして構築してもよい。
The
音声認識部21は、各端末装置10のユーザの音声データを、通信制御部26を介して受信し、その音声データの音声認識処理を実行し、認識結果として例えば認識された語句(文字列)とその信頼度を出力する。具体的には、音声認識部21は、音声認識辞書22を参照して、その中に登録されている語句の中から、入力された音声に最も類似する語句あるいは複数の語句により表現される語句を推定する。また、音声認識部21は、語句の推定とともに、当該推定の信頼度を算出する。このような音声認識処理は、既存の技術を用いて実現できるため、詳細な説明を省略する。なお、音声認識部21は、得られた認識結果を、対応する音声データの送信元の端末装置10に通信制御部26を介して送信する。
The
音声認識辞書22は、音声認識部21により参照される。音声認識辞書22は、予め複数の語句が登録されている。音声認識辞書22には、例えば管理者によってあるいはプログラムによって自動的に新しい語句が追加される。また、音声認識辞書22に登録されている語句は、例えば管理者によってあるいはプログラムによって自動的に更新される。
The
語句管理部23は、語句リスト25の内容を管理する。具体的には、語句管理部23は、各端末装置10から送信(通知)された新規語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、通信制御部26を介して受信する。語句管理部23は、受信した新規語句が語句リスト25に登録されているか否かを判定する。当該新規語句が語句リスト25に登録されていない場合、語句管理部23は、当該新規語句を語句リスト25に登録し、登録回数を1に設定する。当該新規語句が既に語句リスト25に登録されている場合、語句管理部23は、当該新規語句の登録回数を1カウントアップする。
The
語句配信部24は、語句リスト25に登録されている各語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、通信制御部26を介して各端末装置10に配信する。具体的には、語句配信部24は、配信対象の語句の登録回数に基づいて、当該語句を配信するか否かを決定する。例えば、語句配信部24は、当該登録回数が所定の閾値を超えているか否かを判定し、当該閾値を超えている場合に配信すると決定する。当該所定閾値は、例えば、登録回数が当該閾値を超えた場合は当該語句が不特定多数のユーザによって頻繁に使われる可能性がある語句であると推定するための設計値である。
The word /
語句リスト25は、各端末装置10から通知された新規語句のリストであり、例えば図3に示すように構成される。
The word /
図3は、語句リストのデータ構成の一例を示す図である。語句リスト25は、語句25aと、属性25bと、総登録回数25cとを関連付けたレコードを、語句ごとに格納することができる。語句25aは、語句に関する情報であり、例えば、当該語句、読みデータ、パラメータを含む。属性25bは、語句25aが示す語句の属性であり、例えば、当該語句が施設の名称である場合はその位置情報(例えば所在地や地図上の座標情報など)であり、当該語句が楽曲の名称である場合はその楽曲に関連するアーティストの名称等の識別子である。図3の例では、施設の名称とその所在地を含むレコードが示されている。総登録回数25cは、語句25aが示す語句の総登録回数である。総登録回数25cは、当該語句を新規語句として通知したユーザの数(端末装置10の数)に相当する。
FIG. 3 is a diagram showing an example of the data structure of the phrase list. The
図1の説明に戻り、通信制御部26は、音声認識サーバ20の備える通信装置(図示せず)を介して各端末装置10と通信し、他の機能(音声認識部21、語句配信部24等)からを出力された情報を各端末装置10に送信したり、各端末装置10から受信した情報を他の機能(音声認識部21、語句管理部23等)に出力したりする。もちろん、端末装置10以外の機器と通信してもよい。
Returning to the description of FIG. 1, the
図4は、音声認識サーバを実現するコンピュータのハードウェア構成の一例を示す図である。音声認識サーバ20は、例えば、図4に示すようなコンピュータ90により実現することができる。音声認識サーバ20は、複数のコンピュータ90により構成されてもよい。
FIG. 4 is a diagram showing an example of a hardware configuration of a computer that realizes a voice recognition server. The
コンピュータ90は、例えば、演算装置91と、主記憶装置92と、外部記憶装置93と、通信装置94と、入力装置95と、出力装置96とを含む。
The
演算装置91は、例えば、CPU(Central Processing Unit)などの装置である。主記憶装置92は、例えば、RAM(Random Access Memory)などの記憶装置である。外部記憶装置93は、例えば、ハードディスクやSSD(Solid State Drive)、あるいはフラッシュROM(Read Only Memory)などの記憶装置である。
The
通信装置94は、ネットワークケーブルを介して有線通信を行う通信装置、アンテナを介して無線通信を行う通信装置を含む、情報を送受信する装置である。入力装置95は、キーボードやマウスなどのポインティングデバイス、タッチパネル、マイクロフォンなどを含む、入力情報を受け付ける装置である。出力装置96は、ディスプレイ、プリンタ、スピーカなどを含む、出力情報を出力する装置である。
The
音声認識サーバ20の各機能は、例えば、演算装置91が所定のアプリケーションプログラムを実行することによって実現することができる。このアプリケーションプログラムは、例えば、主記憶装置92又は外部記憶装置93内に記憶され、実行にあたって主記憶装置92上にロードされ、演算装置91によって実行される。音声認識辞書22及び語句リスト25は、例えば、主記憶装置92及び外部記憶装置93の少なくとも一方の記憶部によって実現される。音声認識辞書22及び語句リスト25の少なくとも一部は、例えば、通信装置94を介して接続されるネットワーク上の記憶部により実現されてもよい。
Each function of the
各端末装置10も、例えば、図4に示すようなコンピュータ90により実現することができる。すなわち、端末装置10の各機能は、例えば、演算装置91が所定のアプリケーションプログラムを実行することによって実現することができる。音声認識辞書13は、例えば、主記憶装置92及び外部記憶装置93の少なくとも一方の記憶部によって実現される。
Each
図5は、端末装置の音声認識処理および新規語句送信処理の一例を示すフローチャートである。本フローチャートは、音声データの入力及びその音声認識処理が実行された後の処理を示している。端末装置10と音声認識サーバ20の通信は確立されているものとする。
FIG. 5 is a flowchart showing an example of voice recognition processing and new word transmission processing of the terminal device. This flowchart shows the input of voice data and the processing after the voice recognition processing is executed. It is assumed that the communication between the
まず、認識結果取得部15は、入力された音声データの音声認識結果を取得したか否かを判定する(ステップS101)。具体的には、認識結果取得部15は、音声認識部12及び音声認識サーバ20のそれぞれから認識結果を取得したか否かを判定する。2つの認識結果を取得していないと判定した場合(ステップS101:NO)、認識結果取得部15は、ステップS101の処理を継続する。
First, the recognition
2つの認識結果を取得したと判定した場合(ステップS101:YES)、認識結果取得部15は、認識結果を選択する(ステップS102)。具体的には、認識結果取得部15は、ステップS101で取得した2つの認識結果うち、各認識結果に含まれる信頼度を比較して、信頼度が高い方の認識結果を選択する。信頼度の範囲が最小値0〜最大値1である場合を考える。例えば、音声認識部12から得られた認識結果が「東京国際空港」(信頼度0.92)、音声認識サーバ20から得られた認識結果が「東京国際空港」(信頼度0.97)の場合は、どちらの認識結果も信頼度が高いが、より信頼度が高い方が選択される。また例えば、音声認識部12から得られた認識結果が「成田国際空港」(信頼度0.32)、音声認識サーバ20から得られた認識結果が「セントレア国際空港」(信頼度0.94)の場合は、異なる語句の信頼度ではあるが、音声認識部12の認識結果は誤っている可能性が高いため、信頼度が高い方が選択される。
When it is determined that two recognition results have been acquired (step S101: YES), the recognition
それから、認識結果取得部15は、選択した認識結果がキャンセルされたか否かを判定する(ステップS103)。具体的には、インターフェイス制御部16は、ステップS102で選択された認識結果が示す語句(あるいは当該語句に対応する操作コマンド)を、ディスプレイやスピーカを介してユーザに提示するとともに、当該語句(あるいは操作コマンド)を許可するかキャンセルするかの選択を、入力装置を介してユーザから受け付ける。インターフェイス制御部16は、提示した語句(あるいは操作コマンド)の修正をユーザから受け付けてもよい。
Then, the recognition
インターフェイス制御部16がキャンセルの選択を受け付けた場合、認識結果取得部15は、認識結果がキャンセルされたと判定し(ステップS103:YES)、処理をステップS101に戻し、次の音声データに関する処理を実行する。
When the
インターフェイス制御部16が許可の選択を受け付けた場合、認識結果取得部15は、認識結果が許可されたと判定し(ステップS103:NO)、処理をS104に進める。このとき、認識結果取得部15は、ステップS102で選択されかつステップS103で許可された認識結果を辞書管理部17に出力する。ステップS103で語句が修正された場合には、認識結果取得部15は、その修正後の認識結果を辞書管理部17に出力すればよい。なお、ユーザに提示した語句(あるいは操作コマンド)が許可された場合、端末装置10の処理部(図示せず)は、当該語句(あるいは操作コマンド)に対応付けられた機能を実行してもよい。
When the
それから、辞書管理部17は、認識語句が音声認識辞書13に登録済であるか否かを判定する(ステップS104)。具体的には、辞書管理部17は、ステップS103で認識結果取得部15から出力された認識結果を参照し、当該認識結果が示す語句が音声認識辞書13(標準辞書及びユーザ辞書14)に登録されているか否かを判定する。認識語句が音声認識辞書13に登録済であると判定された場合(ステップS104:YES)、処理はステップS101に戻り、認識結果取得部15は次の音声データに関する処理を実行する。
Then, the
認識語句が音声認識辞書13に登録済でないと判定された場合(ステップS104:NO)、辞書管理部17は、当該認識語句をユーザ辞書14に登録するか否かを判定する(ステップS105)。具体的には、辞書管理部17は、同一の認識語句について、ステップS104で登録されていないと判定した回数を記録する。そして、辞書管理部17は、当該認識語句の回数が所定閾値を超えた場合に、ユーザ辞書14に登録すると判定する。このようにすれば、少ない回数しか認識されていない語句(すなわち、使用頻度が低いと推測される語句)が、即座にユーザ辞書14に登録されてしまうのを避けることができる。
When it is determined that the recognized phrase is not registered in the voice recognition dictionary 13 (step S104: NO), the
ステップS105の判定方法は、上述の例に限られない。例えば、辞書管理部17は、当該認識語句の信頼度を参照してもよい。そして、辞書管理部17は、当該信頼度が所定閾値より大きい場合に、ユーザ辞書14に登録すると判定する。このようにすれば、認識の信頼度が低い語句が、ユーザ辞書14に登録されてしまうのを避けることができる。もちろん、ステップS105の処理を省略して、辞書管理部17は、無条件で認識語句をユーザ辞書14に登録してもよい。
The determination method in step S105 is not limited to the above example. For example, the
認識語句をユーザ辞書14に登録しないと判定された場合(ステップS105:NO)、処理はステップS101に戻り、認識結果取得部15は次の音声データに関する処理を実行する。
When it is determined that the recognition phrase is not registered in the user dictionary 14 (step S105: NO), the process returns to step S101, and the recognition
認識語句をユーザ辞書14に登録すると判定した場合(ステップS105:YES)、辞書管理部17は、認識語句を新規語句としてユーザ辞書14に登録する(ステップS106)。具体的には、辞書管理部17は、ステップS103で認識結果取得部15から出力された認識結果が示す語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、ユーザ辞書14に登録する。
When it is determined that the recognized phrase is registered in the user dictionary 14 (step S105: YES), the
それから、語句送信部18は、新規語句を音声認識サーバ20に送信する(ステップS107)。具体的には、語句送信部18は、ステップS106でユーザ辞書14に新しく登録された語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、通信制御部19を介して音声認識サーバ20に送信(通知)する。ステップS107の後、処理はステップS101に戻り、認識結果取得部15は次の音声データに関する処理を実行する。
Then, the
図6は、音声認識サーバの新規語句登録処理および新規語句配信処理の一例を示すフローチャートである。少なくとも1つの端末装置10と音声認識サーバ20の通信は確立されているものとする。
FIG. 6 is a flowchart showing an example of a new word registration process and a new word distribution process of the voice recognition server. It is assumed that communication between at least one
まず、語句管理部23は、新規語句を受信したか否かを判定する(ステップS201)。具体的には、語句管理部23は、いずれかの端末装置10から送信(通知)された新規語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、通信制御部26を介して受信したか否かを判定する。新規語句を受信していないと判定した場合(ステップS201:NO)、語句管理部23は、ステップS201の処理を継続する。
First, the
新規語句を受信したと判定した場合(ステップS201:YES)、語句管理部23は、新規語句が語句リスト25に登録済であるか否かを判定する(ステップS202)。具体的には、語句管理部23は、ステップS201で受信した新規語句が語句リスト25に登録されているか否かを判定する。
When it is determined that the new phrase has been received (step S201: YES), the
新規語句が語句リスト25に登録済でないと判定した場合(ステップS202:NO)、語句管理部23は、当該新規語句を語句リスト25に登録する(ステップS203)。具体的には、語句管理部23は、ステップS201で受信した新規語句に対応するレコードを生成し、語句リスト25に追加する。語句管理部23は、当該新規語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、語句25aに設定する。語句管理部23は、新規語句の属性(位置情報やアーティストの識別子など)を判定し、属性25bに設定する。新規語句の属性は、例えば新規語句をキーワードとして、予め用意されたデータベースやインターネット上を検索することで得ることができる。語句管理部23は、総登録回数25cに0を設定する。
When it is determined that the new phrase is not registered in the phrase list 25 (step S202: NO), the
新規語句が語句リスト25に登録済であると判定した場合(ステップS202:YES)、又は、ステップS203の処理の後、語句管理部23は、総登録回数をカウントアップする(ステップS204)。具体的には、語句管理部23は、ステップS201で受信した新規語句(配信対象の語句)に対応するレコードの総登録回数25cを1カウントアップする。
When it is determined that the new phrase has been registered in the phrase list 25 (step S202: YES), or after the processing in step S203, the
それから、語句配信部24は、総登録回数が所定閾値を超えたか否かを判定する(ステップS205)。具体的には、語句配信部24は、ステップS204でカウントアップした総登録回数25cが、所定閾値を超えたか否かを判定する。総登録回数25cが所定閾値を超えていないと判定された場合(ステップS205:NO)、処理はステップS201に戻り、語句管理部23は次に受信する新規語句に関する処理を実行する。
Then, the
総登録回数25cが所定閾値を超えていると判定した場合(ステップS205:YES)、語句配信部24は、新規語句を配信する(ステップS206)。具体的には、語句配信部24は、予め配信先として登録された端末装置10のうち、配信対象の語句の送信元の端末装置10以外の端末装置10を、配信先として決定する。もちろん、配信対象の語句の送信元の端末装置10を配信先に含めてもよい。
When it is determined that the total number of
配信先の決定方法は、上述の例に限られない。語句配信部24は、当該配信対象の語句の属性25bを参照してもよい。語句配信部24は、例えば当該語句が施設の名称でありかつ当該属性25bが施設の位置情報である場合、予め配信先として登録された端末装置10のうち、当該施設の位置情報が示す位置と所定の関係にあるユーザを特定し、当該ユーザの端末装置10を、配信先として決定する。所定の関係とは、例えば、地図上において当該施設の位置から所定範囲内に居住するユーザや、当該施設の位置する行政区画と同じ行政区画に居住するユーザである。ユーザに関する情報は、予め用意されたデータベースを参照して得ることができる。このようにすれば、配信対象の語句を、その使用頻度が高いあるいは使用される可能性が高いと推測されるユーザの端末装置10に配信することができる。
The method of determining the delivery destination is not limited to the above example. The word /
また例えば、語句配信部24は、当該語句が楽曲の名称でありかつ当該属性25bがアーティストの名称等の識別子である場合、予め配信先として登録された端末装置10のうち、当該アーティストの識別子が示すアーティストと所定の関係にあるユーザを特定し、当該ユーザの端末装置10を、配信先として決定してもよい。所定の関係とは、例えば、当該アーティストをお気に入りとして登録しているユーザや、当該アーティストの楽曲を保有しているユーザである。ユーザに関する情報は、予め用意されたデータベースを参照して得ることができる。このようにすれば、配信対象の語句を、その使用頻度が高いあるいは使用される可能性が高いと推測されるユーザの端末装置10に配信することができる。
Further, for example, in the
語句配信部24は、配信対象の語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、語句リスト25から取得し、通信制御部26を介して上記のように決定した配信先の端末装置10に対して配信する。このように、総登録回数が所定閾値を超える場合に語句を配信することで、各ユーザに使用される可能性が高いと推測される語句が配信される。その後、処理はステップS201に戻り、語句管理部23は次に受信する新規語句に関する処理を実行する。
The word /
図7は、端末装置の新規語句登録処理の一例を示すフローチャートである。端末装置10と音声認識サーバ20の通信は確立されているものとする。
FIG. 7 is a flowchart showing an example of a new word registration process of the terminal device. It is assumed that the communication between the
まず、辞書管理部17は、新規語句を受信したか否かを判定する(ステップS111)。具体的には、辞書管理部17は、音声認識サーバ20から配信された新規語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、通信制御部19を介して受信したか否かを判定する。新規語句を受信していないと判定した場合(ステップS111:NO)、辞書管理部17は、ステップS111の処理を継続する。
First, the
新規語句を受信したと判定した場合(ステップS111:YES)、辞書管理部17は、ステップS111で受信した新規語句がユーザ辞書14に登録済であるか否かを判定する(ステップS112)。新規語句がユーザ辞書14に登録済であると判定した場合(ステップS112:YES)、辞書管理部17は、処理をステップS111に戻し、次の新規語句に関する処理を実行する。
When it is determined that the new phrase has been received (step S111: YES), the
新規語句がユーザ辞書14に登録済でないと判定した場合(ステップS112:NO)、辞書管理部17は、新規語句をユーザ辞書14に登録するか否かを判定する(ステップS113)。具体的には、辞書管理部17は、ステップS111で受信した新規語句に類似する語句が、ユーザ辞書14に登録済であるか否かを判定する。語句どうしが類似するか否かは、例えば読みデータの類似度を算出してこれに基づいて判定すればよい。そして、辞書管理部17は、新規語句に類似する語句がユーザ辞書14に登録済でない場合、新規語句をユーザ辞書14に登録すると判定する。このようにすれば、新規語句と既に登録済の語句との間で、音声認識の誤りが発生するのを防ぐことができる。もちろん、ステップS113の処理を省略して、辞書管理部17は、無条件で新規語句をユーザ辞書14に登録してもよい。
When it is determined that the new phrase is not registered in the user dictionary 14 (step S112: NO), the
新規語句をユーザ辞書14に登録しないと判定した場合(ステップS113:NO)、辞書管理部17は、処理をステップS111に戻し、次の新規語句に関する処理を実行する。
When it is determined that the new phrase is not registered in the user dictionary 14 (step S113: NO), the
新規語句をユーザ辞書14に登録すると判定した場合(ステップS113:YES)、辞書管理部17は、新規語句をユーザ辞書14に登録する(ステップS114)。具体的には、辞書管理部17は、ステップS111で受信した新規語句に関する情報(例えば、当該語句、読みデータ、パラメータを含む)を、ユーザ辞書14に登録する。そして、辞書管理部17は、処理をステップS111に戻し、次の新規語句に関する処理を実行する。
When it is determined that the new phrase is registered in the user dictionary 14 (step S113: YES), the
以上、本発明の第1実施形態について説明した。本実施形態によれば、端末装置側の音声認識辞書に語句を効率的に追加してユーザの利便性を向上することができる。 The first embodiment of the present invention has been described above. According to the present embodiment, words and phrases can be efficiently added to the voice recognition dictionary on the terminal device side to improve user convenience.
[第2実施形態]
第2実施形態では、語句リスト25に登録された語句を分類し、この分類に基づいて配信するか否かの条件を決定する。以下、第1実施形態と同様の構成は同一の符号を付して説明を省略し、第1実施形態と異なる構成を中心に説明する。
[Second Embodiment]
In the second embodiment, the words / phrases registered in the word /
新規語句として想定される語句には、例えば新しくオープンした施設の名称や新しくリリースされた楽曲の名称などのように新たに作成された語句(原語句)もあれば、原名称の略称、愛称、誤用されている他の名称などの言い換え語句もある。原語句(言い換え語句に対して正式語句と呼んでもよい)については、複数のユーザに使用される可能性が高いため、音声認識サーバ20から各端末装置10に配信してユーザ辞書14に登録させることで、ユーザの利便性が向上する。
The words and phrases that are supposed to be new words and phrases include newly created words and phrases (original words and phrases) such as the name of a newly opened facility and the name of a newly released song, and the abbreviation and nickname of the original name. There are also paraphrases such as other names that are misused. Since the original phrase (which may be called a formal phrase for a paraphrase phrase) is likely to be used by a plurality of users, it is distributed from the
しかしながら、言い換え語句は、原語句と比べると、複数のユーザに使用される可能性が低い。ユーザによっては全く使わない可能性もある。そのため、言い換え語句を原語句と同様の条件で配信すると、ユーザ辞書14の容量を浪費し、却ってユーザの利便性に悪影響を与えるおそれがある。また、音声認識の精度の低下を不必要に発生させるおそれもある。例えば、ある施設の原名称「シアターコクーン」の言い換え名称「コクーンシアター」が、ユーザ辞書14に登録されたとする。この場合、端末装置10は、ユーザの発音した「コクーンシティ」を、誤って類似する「コクーンシアター」と認識する可能性が高まってしまう。
However, paraphrases are less likely to be used by multiple users than the original phrase. Some users may not use it at all. Therefore, if the paraphrase phrase is distributed under the same conditions as the original phrase, the capacity of the
そこで、第2実施形態の音声認識サーバ20は、語句リスト25に登録された語句を、原語句と言い換え語句に分類し、当該語句を配信するか否かを決定する際に、種類に応じた条件を用いる。
Therefore, the
図8は、第2実施形態に係る語句リストのデータ構成の一例を示す図である。語句リスト25の各レコードは、語句25a、属性25b、及び総登録回数25cに加え、月別登録回数25dを含む。月別登録回数25dは、語句25aが示す語句の月別の登録回数である。月別登録回数25dには、例えば、直近12ヵ月の各月の登録回数が登録される。もちろん、単位期間は、月に限定されるものでなく、任意の月数、週数、日数などの他の単位期間であってもよい。
FIG. 8 is a diagram showing an example of the data structure of the phrase list according to the second embodiment. Each record in the
図9は、音声認識サーバの新規語句登録処理および新規語句配信処理の一例を示すフローチャートである。図9のステップS201〜S203の処理は、図6のステップS201〜S203の処理と同様なので、説明を省略する。 FIG. 9 is a flowchart showing an example of a new word registration process and a new word distribution process of the voice recognition server. Since the processes of steps S201 to S203 of FIG. 9 are the same as the processes of steps S201 to S203 of FIG. 6, the description thereof will be omitted.
ステップS202又はステップS203の後、語句管理部23は、登録回数をカウントアップする(ステップS210)。具体的には、語句管理部23は、ステップS201で受信した新規語句(配信対象の語句)に対応するレコードの総登録回数25cを1カウントアップする。また、語句管理部23は、当該新規語句に対応するレコードの月別登録回数25dのうち、当該新規語句の受信時の月に対応する登録回数を1カウントアップする。
After step S202 or step S203, the
それから、語句配信部24は、新規語句を分類する(ステップS211)。本実施形態では、語句配信部24は、新規語句の月別登録回数25dが示す各月の登録回数の時系列推移に基づいて、新規語句が原語句であるかその言い換え語句であるかを判定する。
Then, the
例えば、原語句が新しくオープンした施設の名称や新しく発売された楽曲の名称であれば、ある時点から登録回数が増加傾向になると考えられる。一方、当該原語句の言い換え語句の場合、当該言い換え語句を使用するユーザは少ないため、ある時点から登録回数が増加傾向になるとは考えられない。このような性質に基づけば、語句配信部24は、例えば、新規語句の登録回数の時系列推移のパターンを統計的に分析することで、当該新規語句が原語句であるか言い換え語句であるか、さらに他の種類の語句であるかを判定することができる。
For example, if the original phrase is the name of a newly opened facility or the name of a newly released song, it is thought that the number of registrations will tend to increase from a certain point. On the other hand, in the case of a paraphrase of the original phrase, since there are few users who use the paraphrase, it is unlikely that the number of registrations will tend to increase from a certain point in time. Based on such a property, the
新規語句の種類の判定方法は、上述の例に限られない。例えば、語句配信部24は、新規語句をキーワードとして、予め用意されたデータベースやインターネット上を検索することで、当該新規語句が原語句であるか言い換え語句であるか、さらには他の種類の語句であるかを判定してもよい。
The method for determining the type of new phrase is not limited to the above example. For example, the
それから、語句配信部24は、新規語句の種類が第1の種類であるか否かを判定する(ステップS212)。具体的には、語句配信部24は、ステップS211で分類した新規語句の種類(原語句、言い換え語句、又は他の語句)が、第1の種類(原語句)又は第2の種類(言い換え語句、他の語句)であるかを判定する。
Then, the word /
新規語句の種類が第1の種類であると判定した場合(ステップS212:YES)、語句配信部24は、総登録回数が第1の閾値を超えたか否かを判定する(ステップS213)。具体的には、語句配信部24は、ステップS210でカウントアップした総登録回数25cが、原語句のための第1の閾値を超えたか否かを判定する。第1の閾値は、例えば、総登録回数が当該閾値を超えた場合は当該原語句が不特定多数のユーザによって使われる可能性がある語句であると推定するための設計値である。総登録回数25cが第1の閾値を超えていないと判定された場合(ステップS213:NO)、処理はステップS201に戻り、語句管理部23は次に受信する新規語句に関する処理を実行する。
When it is determined that the new word type is the first type (step S212: YES), the word /
新規語句の種類が第2の種類であると判定した場合(ステップS212:NO)、語句配信部24は、総登録回数が第2の閾値を超えたか否かを判定する(ステップS214)。具体的には、語句配信部24は、ステップS210でカウントアップした総登録回数25cが、言い換え語句又は他の種類の語句のための第2の閾値を超えたか否かを判定する。第2の閾値は、例えば、総登録回数が当該閾値を超えた場合は当該言い換え語句又は他の種類の語句が不特定多数のユーザによって使われる可能性がある語句であると推定するための設計値である。総登録回数25cが第2の閾値を超えていないと判定された場合(ステップS214:NO)、処理はステップS201に戻り、語句管理部23は次に受信する新規語句に関する処理を実行する。
When it is determined that the type of the new phrase is the second type (step S212: NO), the
総登録回数25cが第1の閾値を超えていると判定した場合(ステップS213:YES)、又は、総登録回数25cが第2の閾値を超えていると判定した場合(ステップS214:YES)、語句配信部24は、新規語句を配信する(ステップS215)。ステップS215の処理は、図6のステップS206の処理と同様なので、説明を省略する。
When it is determined that the total number of
図9のフローでは、語句を2つの種類に分類しているが、例えば、原語句、言い換え語句、及びその他の語句の3つ以上に分類してもよい。また、種類ごとに閾値を用意して、総登録回数を判定してもよい。 In the flow of FIG. 9, words and phrases are classified into two types, but for example, they may be classified into three or more of original words, paraphrase words, and other words. Further, a threshold value may be prepared for each type to determine the total number of registrations.
以上、本発明の第2実施形態について説明した。本実施形態によれば、言い換え語句を原語句よりも音声認識辞書に登録し難くすることで、音声認識辞書に追加される語句を制御して、辞書の容量の浪費や音声認識の精度の低下を防ぐことができる。 The second embodiment of the present invention has been described above. According to the present embodiment, by making it more difficult to register the paraphrase phrase in the speech recognition dictionary than the original phrase, the phrase added to the speech recognition dictionary is controlled, the capacity of the dictionary is wasted, and the accuracy of speech recognition is reduced. Can be prevented.
本発明は、上述の実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。実施形態および各変形例を適宜組み合わせることもできる。 The present invention is not limited to the above-described embodiment, and various modifications can be made within the scope of the gist of the present invention. The embodiment and each modification can be combined as appropriate.
ある変形例では、図9のステップS215において、語句配信部24は、新規語句の種類(原語句又は言い換え語句)を各端末装置10に配信してもよい。この場合、新規語句を受信した端末装置10の辞書管理部17は、図7のステップS113において、他の語句と類似であると判定をするための基準を、受信した新規語句が言い換え語句である場合は原語句である場合よりも厳しく設定する。例えば、類似度が所定の閾値を超える場合に類似すると判定する場合は、言い換え語句に用いる閾値を、原語句に用いる閾値よりも高く設定すればよい。このようにすれば、端末装置10側において、新規語句の種類に応じて、ユーザ辞書14に登録する条件を決定することができる。各端末装置10において新規語句の種類に応じて条件を決定する場合は、図9のステップS212からステップS214の処理は図6のステップS205の処理と置き換えてもよい。
In a modified example, in step S215 of FIG. 9, the
他の変形例では、語句送信部18が新規語句を音声認識サーバ20に送信するタイミングは、図5のフローチャート内に限られず、別のタイミングであってもよい。またさらに他の変形例では、語句配信部24が新規語句を端末装置10に配信するタイミングは、図6及び図9のフローチャート内に限られず、別のタイミングであってもよい。
In another modification, the timing at which the
図1の端末装置10及び音声認識サーバ20の構成は、当該これらの装置の構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本発明が制限されることはない。端末装置10及び音声認識サーバ20の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、1つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理又は機能の分担は、本発明の目的及び効果を達成できるのであれば、上述したものに限られない。また、図3及び図8に示すデータ構成は、一例であり、本発明の目的を達成することができるのであれば、図示した例に限定されない。
The configurations of the
図5〜7、及び図9で示したフローチャートの処理単位は、端末装置10及び音声認識サーバ20の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本発明が制限されることはない。端末装置10及び音声認識サーバ20の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、1つの処理単位がさらに多くの処理を含むように分割することもできる。さらに、本発明の目的及び効果を達成できるのであれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。
The processing units of the flowcharts shown in FIGS. 5 to 7 and 9 are divided according to the main processing contents in order to make the processing of the
上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態や変形例の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態や変形例の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment or modification, and it is also possible to add the configuration of another embodiment or modification to the configuration of one embodiment. .. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration.
また、上記の各構成、機能、処理部及び処理手段などは、それらの一部又は全部を、プロセッサが各々の機能を実現するプログラムにより実現しても良い。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、SSD(Solid State Drive)などの記憶装置、又は、ICカード、SD(Secure Digital)メモリカード、DVDなどの記憶媒体に置くことができる。なお、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。 In addition, each of the above configurations, functions, processing units, processing means, and the like may be realized in part or all of them by a program in which the processor realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a storage medium such as an IC card, SD (Secure Digital) memory card, or DVD. Can be placed. Note that the control lines and information lines are those that are considered necessary for explanation, and not all control lines and information lines are necessarily shown in the product.
本発明は、音声認識システム、音声認識サーバ、端末装置に限らず、語句管理方法、コンピュータ読み取り可能なプログラム等の様々な形態で提供することができる。 The present invention is not limited to a voice recognition system, a voice recognition server, and a terminal device, and can be provided in various forms such as a phrase management method and a computer-readable program.
1…音声認識システム、10…端末装置、11…音声送信部、12…音声認識部、13…音声認識辞書、14…ユーザ辞書、15…認識結果取得部、16…インターフェイス制御部、17…辞書管理部、18…語句送信部、19…通信制御部、20…音声認識サーバ、21…音声認識部、22…音声認識辞書、23…語句管理部、24…語句配信部、25…語句リスト、25a…語句、25b…属性、25c…総登録回数、25d…月別登録回数、26…通信制御部、90…コンピュータ、91…演算装置、92…主記憶装置、93…外部記憶装置、94…通信装置、95…入力装置、96…出力装置、M…マイクロフォン、N…通信ネットワーク 1 ... Voice recognition system, 10 ... Terminal device, 11 ... Voice transmission unit, 12 ... Voice recognition unit, 13 ... Voice recognition dictionary, 14 ... User dictionary, 15 ... Recognition result acquisition unit, 16 ... Interface control unit, 17 ... Dictionary Management unit, 18 ... word transmission unit, 19 ... communication control unit, 20 ... voice recognition server, 21 ... voice recognition unit, 22 ... voice recognition dictionary, 23 ... word management unit, 24 ... word distribution unit, 25 ... word list, 25a ... words, 25b ... attributes, 25c ... total number of registrations, 25d ... monthly registrations, 26 ... communication control unit, 90 ... computer, 91 ... arithmetic device, 92 ... main storage device, 93 ... external storage device, 94 ... communication Device, 95 ... Input device, 96 ... Output device, M ... Microphone, N ... Communication network
Claims (12)
前記音声認識サーバは、
前記端末装置と通信するサーバ側通信制御部と、
前記端末装置から送信された前記ユーザの音声データを音声認識し、その認識結果を前記端末装置に送信するサーバ側音声認識部と、
前記サーバ側通信制御部を用いて取得した前記端末装置から送信された語句に関する情報と、他の端末装置から送信された語句に関する情報とを、語句リストに登録する語句管理部と、
前記語句リストに登録された語句に関する情報を、前記端末装置及び前記他の端末装置の少なくとも一方に前記サーバ側通信制御部を用いて配信する語句配信部と、を備え、
前記端末装置は、
前記音声認識サーバと通信する端末側通信制御部と、
音声認識するための音声認識辞書を記憶する音声認識辞書記憶部と、
前記ユーザの音声データを前記音声認識辞書記憶部に記憶されている音声認識辞書を用いて音声認識し、その認識結果を得る端末側音声認識部と、
前記ユーザの音声データを、前記端末側通信制御部を用いて前記音声認識サーバに送信する音声送信部と、
前記端末側音声認識部からの認識結果と、前記端末側通信制御部を用いて取得した前記音声認識サーバからの認識結果とを比較し、いずれか一方の認識結果を選択する認識結果取得部と、
前記選択された認識結果が示す語句が、前記音声認識辞書記憶部に記憶されている音声認識辞書に存在するか否かを判定し、存在しない場合に前記語句を前記音声認識辞書に登録する辞書管理部と、
前記辞書管理部によって前記音声認識辞書に登録された語句に関する情報を、前記端末側通信制御部を用いて前記音声認識サーバに送信する語句送信部と、を備え、
前記辞書管理部は、前記端末側通信制御部を用いて取得した前記音声認識サーバから配信された語句を前記音声認識辞書に登録する
音声認識システム。 A voice recognition system including a terminal device that recognizes a user's voice data by voice and a voice recognition server that communicates with the terminal device and recognizes the user's voice data by voice.
The voice recognition server
A server-side communication control unit that communicates with the terminal device,
A server-side voice recognition unit that recognizes the user's voice data transmitted from the terminal device and transmits the recognition result to the terminal device.
Information about words and phrases that have been transmitted from the terminal device obtained by using the server-side communication control section, and information about the word transmitted from another terminal apparatus, a word management unit for registering the word list,
A phrase distribution unit that distributes information about a phrase registered in the phrase list to at least one of the terminal device and the other terminal device using the server-side communication control unit is provided.
The terminal device is
A terminal-side communication control unit that communicates with the voice recognition server,
A voice recognition dictionary storage unit that stores a voice recognition dictionary for voice recognition,
A terminal-side voice recognition unit that recognizes the user's voice data by using a voice recognition dictionary stored in the voice recognition dictionary storage unit and obtains the recognition result.
A voice transmission unit that transmits the voice data of the user to the voice recognition server using the terminal-side communication control unit, and
A recognition result acquisition unit that compares the recognition result from the terminal-side voice recognition unit with the recognition result from the voice recognition server acquired by using the terminal-side communication control unit, and selects one of the recognition results. ,
A dictionary that determines whether or not the phrase indicated by the selected recognition result exists in the speech recognition dictionary stored in the speech recognition dictionary storage unit, and if it does not exist, registers the phrase in the speech recognition dictionary. With the management department
A word / phrase transmission unit that transmits information about words / phrases registered in the voice recognition dictionary by the dictionary management unit to the voice recognition server using the terminal-side communication control unit is provided.
The dictionary management unit is a voice recognition system that registers words and phrases distributed from the voice recognition server acquired by using the terminal-side communication control unit in the voice recognition dictionary.
前記語句管理部は、前記語句ごとにその登録回数を前記語句リストに記録し、
前記語句配信部は、前記語句をその登録回数に基づいて配信するか否かを決定する
音声認識システム。 The voice recognition system according to claim 1.
The phrase management unit records the number of registrations for each phrase in the phrase list.
The phrase distribution unit is a voice recognition system that determines whether or not to distribute the phrase based on the number of registrations.
前記語句管理部は、前記語句ごとにその登録回数を前記語句リストに記録し、
前記語句配信部は、前記語句の種類を判定し、当該語句の登録回数と前記判定した種類に応じた条件とに基づいて当該語句を配信するか否かを決定する
音声認識システム。 The voice recognition system according to claim 1.
The phrase management unit records the number of registrations for each phrase in the phrase list.
The phrase distribution unit is a voice recognition system that determines the type of the phrase and determines whether or not to distribute the phrase based on the number of times the phrase is registered and the conditions corresponding to the determined type.
前記語句管理部は、前記語句ごとにその単位期間別の登録回数を前記語句リストに記録し、
前記語句配信部は、前記語句の前記単位期間別の登録回数の時系列推移に基づいて、当該語句の種類を判定する
音声認識システム。 The voice recognition system according to claim 3.
The phrase management unit records the number of registrations for each of the terms in the phrase list for each unit period.
The phrase distribution unit is a voice recognition system that determines the type of the phrase based on the time-series transition of the number of registrations of the phrase for each unit period.
前記語句配信部は、前記語句を正式語句又は言い換え語句に分類する
音声認識システム。 The voice recognition system according to claim 3.
The phrase distribution unit is a voice recognition system that classifies the phrase into a formal phrase or a paraphrase phrase.
前記語句管理部は、前記語句ごとにその属性を関連付けて前記語句リストに記録し、
前記語句配信部は、前記語句の属性に基づいて当該語句の配信先の端末装置を決定する
音声認識システム。 The voice recognition system according to claim 1.
The phrase management unit associates the attributes of each phrase with each other and records them in the phrase list.
The phrase distribution unit is a voice recognition system that determines a terminal device to which the phrase is distributed based on the attributes of the phrase.
前記属性は、前記語句に関連する位置情報であり、
前記語句配信部は、前記位置情報が示す位置と所定の関係にあるユーザを特定し、前記特定したユーザの端末装置を前記配信先として決定する
音声認識システム。 The voice recognition system according to claim 6.
The attribute is position information related to the phrase, and is
The phrase distribution unit is a voice recognition system that identifies a user who has a predetermined relationship with the position indicated by the position information, and determines the terminal device of the specified user as the distribution destination.
前記語句は、楽曲の名称であり、
前記属性は、前記楽曲に関連するアーティストの識別子であり、
前記語句配信部は、前記アーティストの識別子が示すアーティストと所定の関係にあるユーザを特定し、前記特定したユーザの端末装置を前記配信先として決定する
音声認識システム。 The voice recognition system according to claim 6.
The phrase is the name of the song and
The attribute is an identifier of the artist associated with the song.
The phrase distribution unit is a voice recognition system that identifies a user who has a predetermined relationship with the artist indicated by the identifier of the artist, and determines the terminal device of the specified user as the distribution destination.
前記辞書管理部は、前記配信された語句と、前記音声認識辞書に登録されている各語句との類似度を算出し、前記類似度に基づいて前記配信された語句を登録するか否かを決定する
音声認識システム。 The voice recognition system according to claim 1.
The dictionary management unit calculates the degree of similarity between the distributed words and phrases and each word and phrase registered in the voice recognition dictionary, and determines whether or not to register the distributed words and phrases based on the similarity. Speech recognition system to decide.
前記各端末装置と通信するサーバ側通信制御部と、
前記各端末装置から送信された前記ユーザの音声データを音声認識し、その認識結果を前記音声データの送信元の前記端末装置に送信するサーバ側音声認識部と、
前記各端末装置の音声認識辞書に前記認識結果に基づいて登録された語句に関する情報を前記サーバ側通信制御部を用いて受信し、前記語句に関する情報を語句リストに登録する語句管理部と、
前記語句リストに登録された語句に関する情報を、前記複数の端末装置のうち1つ以上の端末装置に前記サーバ側通信制御部を用いて配信する語句配信部と
を備える音声認識サーバ。 A voice recognition server that communicates with multiple terminal devices that recognize voice data of each user.
A server-side communication control unit that communicates with each of the terminal devices,
A server-side voice recognition unit that recognizes the voice data of the user transmitted from each terminal device and transmits the recognition result to the terminal device that transmits the voice data.
A word management unit that receives information about words and phrases registered in the voice recognition dictionary of each terminal device based on the recognition result by using the server-side communication control unit, and registers information about the words and phrases in a word and phrase list.
A voice recognition server including a word / phrase distribution unit that distributes information about a word / phrase registered in the word / phrase list to one or more of the plurality of terminal devices by using the server-side communication control unit.
前記音声認識サーバと通信する端末側通信制御部と、
音声認識するための音声認識辞書を記憶する音声認識辞書記憶部と、
前記ユーザの音声データを前記音声認識辞書記憶部に記憶されている音声認識辞書を用いて音声認識し、その認識結果を得る端末側音声認識部と、
前記ユーザの音声データを、前記端末側通信制御部を用いて前記音声認識サーバに送信する音声送信部と、
前記端末側音声認識部からの認識結果と、前記端末側通信制御部を用いて取得した前記音声認識サーバからの認識結果とを比較し、いずれか一方の認識結果を選択する認識結果取得部と、
前記選択された認識結果が示す語句が、前記音声認識辞書記憶部に記憶されている音声認識辞書に存在するか否かを判定し、存在しない場合に前記語句を前記音声認識辞書に登録する辞書管理部と、
前記辞書管理部によって前記音声認識辞書に登録された語句に関する情報を、前記端末側通信制御部を用いて前記音声認識サーバに送信する語句送信部と、を備え、
前記辞書管理部は、前記端末側通信制御部を用いて前記音声認識サーバから配信された語句を前記音声認識辞書に登録する
端末装置。 A terminal device that communicates with a voice recognition server that recognizes user's voice data.
A terminal-side communication control unit that communicates with the voice recognition server,
A voice recognition dictionary storage unit that stores a voice recognition dictionary for voice recognition,
A terminal-side voice recognition unit that recognizes the user's voice data by using a voice recognition dictionary stored in the voice recognition dictionary storage unit and obtains the recognition result.
A voice transmission unit that transmits the voice data of the user to the voice recognition server using the terminal-side communication control unit, and
A recognition result acquisition unit that compares the recognition result from the terminal-side voice recognition unit with the recognition result from the voice recognition server acquired by using the terminal-side communication control unit, and selects one of the recognition results. ,
A dictionary that determines whether or not the phrase indicated by the selected recognition result exists in the speech recognition dictionary stored in the speech recognition dictionary storage unit, and if it does not exist, registers the phrase in the speech recognition dictionary. With the management department
A word / phrase transmission unit that transmits information about words / phrases registered in the voice recognition dictionary by the dictionary management unit to the voice recognition server using the terminal-side communication control unit is provided.
The dictionary management unit is a terminal device that registers words and phrases distributed from the voice recognition server in the voice recognition dictionary using the terminal-side communication control unit.
前記端末装置が、前記端末装置が備える音声認識辞書を用いて前記ユーザの音声データを音声認識し、その認識結果を得るステップと、
前記端末装置が、前記ユーザの音声データを、前記音声認識サーバに送信するステップと、
前記音声認識サーバが、前記端末装置から送信された前記ユーザの音声データを音声認識し、その認識結果を前記端末装置に送信するステップと、
前記端末装置が、前記端末装置からの認識結果と、前記音声認識サーバからの認識結果とを比較し、いずれか一方の認識結果を選択するステップと、
前記端末装置が、前記選択された認識結果が示す語句が、前記音声認識辞書に存在するか否かを判定し、存在しない場合に前記語句を前記音声認識辞書に登録するステップと、
前記端末装置が、前記音声認識辞書に登録された語句に関する情報を、前記音声認識サーバに送信するステップと、
前記音声認識サーバが、前記端末装置から送信された前記語句に関する情報と、他の端末装置から送信された語句に関する情報とを、語句リストに登録するステップと、
前記音声認識サーバが、前記語句リストに登録された語句に関する情報を、前記端末装置及び前記他の端末装置の少なくとも一方に配信するステップと、
前記端末装置が、前記音声認識サーバから配信された語句を前記音声認識辞書に登録するステップと
を含む語句管理方法。 It is a word management method of a voice recognition system including a terminal device that recognizes a user's voice data by voice and a voice recognition server that communicates with the terminal device and recognizes the user's voice data by voice.
A step in which the terminal device uses the voice recognition dictionary provided in the terminal device to perform voice recognition of the user's voice data and obtains the recognition result.
A step in which the terminal device transmits the voice data of the user to the voice recognition server.
A step in which the voice recognition server voice-recognizes the voice data of the user transmitted from the terminal device and transmits the recognition result to the terminal device.
A step in which the terminal device compares the recognition result from the terminal device with the recognition result from the voice recognition server and selects one of the recognition results.
The terminal device determines whether or not the phrase indicated by the selected recognition result exists in the speech recognition dictionary, and if it does not exist, the step of registering the phrase in the speech recognition dictionary.
A step of the terminal device, the pre-Symbol information about words registered in the voice recognition dictionary, and transmits to the speech recognition server,
A step in which the voice recognition server registers information about the phrase transmitted from the terminal device and information about the phrase transmitted from another terminal device in the phrase list.
A step in which the voice recognition server distributes information about a phrase registered in the phrase list to at least one of the terminal device and the other terminal device.
A word / phrase management method including a step in which the terminal device registers a word / phrase delivered from the voice recognition server in the voice recognition dictionary.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017025725A JP6833203B2 (en) | 2017-02-15 | 2017-02-15 | Voice recognition system, voice recognition server, terminal device, and phrase management method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017025725A JP6833203B2 (en) | 2017-02-15 | 2017-02-15 | Voice recognition system, voice recognition server, terminal device, and phrase management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018132626A JP2018132626A (en) | 2018-08-23 |
JP6833203B2 true JP6833203B2 (en) | 2021-02-24 |
Family
ID=63249612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017025725A Active JP6833203B2 (en) | 2017-02-15 | 2017-02-15 | Voice recognition system, voice recognition server, terminal device, and phrase management method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6833203B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109697827A (en) * | 2018-12-29 | 2019-04-30 | 出门问问信息科技有限公司 | Intelligent alarm method, device, equipment and storage medium |
JP7406921B2 (en) * | 2019-03-25 | 2023-12-28 | 株式会社Nttデータグループ | Information processing device, information processing method and program |
JP6824547B1 (en) * | 2020-06-22 | 2021-02-03 | 江崎 徹 | Active learning system and active learning program |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6195641B1 (en) * | 1998-03-27 | 2001-02-27 | International Business Machines Corp. | Network universal spoken language vocabulary |
JP2001249686A (en) * | 2000-03-08 | 2001-09-14 | Matsushita Electric Ind Co Ltd | Method and device for recognizing speech and navigation device |
JP2002297181A (en) * | 2001-03-30 | 2002-10-11 | Kddi Corp | Method of registering and deciding voice recognition vocabulary and voice recognizing device |
JP2002341875A (en) * | 2001-05-11 | 2002-11-29 | Fujitsu Ten Ltd | Delivery method for music data |
JP2003295893A (en) * | 2002-04-01 | 2003-10-15 | Omron Corp | System, device, method, and program for speech recognition, and computer-readable recording medium where the speech recognizing program is recorded |
US7848927B2 (en) * | 2004-11-30 | 2010-12-07 | Panasonic Corporation | Speech recognition device and method of recognizing speech using a language model |
JP4816409B2 (en) * | 2006-01-10 | 2011-11-16 | 日産自動車株式会社 | Recognition dictionary system and updating method thereof |
JP5558284B2 (en) * | 2010-09-15 | 2014-07-23 | 株式会社Nttドコモ | Speech recognition system, speech recognition method, and speech recognition program |
JP2012088370A (en) * | 2010-10-15 | 2012-05-10 | Denso Corp | Voice recognition system, voice recognition terminal and center |
JP5927969B2 (en) * | 2012-02-15 | 2016-06-01 | 株式会社デンソー | Speech recognition system |
JP6233867B2 (en) * | 2012-02-28 | 2017-11-22 | 日本電気株式会社 | Dictionary registration system for speech recognition, speech recognition system, speech recognition service system, method and program |
JP6281856B2 (en) * | 2012-08-31 | 2018-02-21 | 国立研究開発法人情報通信研究機構 | Local language resource reinforcement device and service providing equipment device |
JP2015141226A (en) * | 2014-01-27 | 2015-08-03 | パイオニア株式会社 | Information processing device |
-
2017
- 2017-02-15 JP JP2017025725A patent/JP6833203B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018132626A (en) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107408385B (en) | Developer voice action system | |
US11086873B2 (en) | Query-time analytics on graph queries spanning subgraphs | |
US11138971B2 (en) | Using context to interpret natural language speech recognition commands | |
CN107967135B (en) | Calculation engine implementation method, electronic device and storage medium | |
US9697819B2 (en) | Method for building a speech feature library, and method, apparatus, device, and computer readable storage media for speech synthesis | |
JP6833203B2 (en) | Voice recognition system, voice recognition server, terminal device, and phrase management method | |
JP6869835B2 (en) | Speech recognition system, terminal device, and dictionary management method | |
US20180068659A1 (en) | Voice recognition device and voice recognition method | |
US20210110111A1 (en) | Methods and systems for providing universal portability in machine learning | |
CN105229723A (en) | The Language Modeling of complete language sequence | |
US11455464B2 (en) | Document content classification and alteration | |
JP7058574B2 (en) | Information processing equipment, information processing methods, and programs | |
CN110968686A (en) | Intention recognition method, device, equipment and computer readable medium | |
CN109840120B (en) | Decoupling micro-service release method, electronic device and computer readable storage medium | |
KR102624149B1 (en) | Coordination of overlapping processing of audio queries | |
US10600405B2 (en) | Speech signal processing method and speech signal processing apparatus | |
WO2019071607A1 (en) | Voice information processing method and device, and terminal | |
JP6138965B2 (en) | Search result evaluation system, navigation system, and search result evaluation method | |
US20220284060A1 (en) | Question Answering Method and Apparatus Based on Knowledge Graph | |
US20140195561A1 (en) | Search method and information managing apparatus | |
CN114048797A (en) | Method, device, medium and electronic equipment for determining address similarity | |
CN111581228A (en) | Search method and device for correcting search condition, storage medium and electronic equipment | |
KR102380540B1 (en) | Electronic device for detecting audio source and operating method thereof | |
KR20190134902A (en) | Electronic document management system | |
US11308936B2 (en) | Speech signal processing method and speech signal processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6833203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |