JPWO2016051519A1 - 音声認識システム - Google Patents
音声認識システム Download PDFInfo
- Publication number
- JPWO2016051519A1 JPWO2016051519A1 JP2016551392A JP2016551392A JPWO2016051519A1 JP WO2016051519 A1 JPWO2016051519 A1 JP WO2016051519A1 JP 2016551392 A JP2016551392 A JP 2016551392A JP 2016551392 A JP2016551392 A JP 2016551392A JP WO2016051519 A1 JPWO2016051519 A1 JP WO2016051519A1
- Authority
- JP
- Japan
- Prior art keywords
- voice
- user
- operation intention
- recognition
- control mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 239000011295 pitch Substances 0.000 description 7
- 206010002953 Aphonia Diseases 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3605—Destination input or retrieval
- G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/55—Remote control arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
- B60R16/0373—Voice control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/227—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of the speaker; Human-factor methodology
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Navigation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
一方で、ユーザが音声操作を意図して発話した場合、音声認識システムは認識結果に対応する処理を実行しなければならないし、認識に失敗した場合はその旨をユーザに報知する必要がある。
なお、以下の実施の形態では、この発明に係る音声認識システムを車両等の移動体用のナビゲーションシステム(被制御装置)に適用した場合を例に挙げて説明するが、音声操作機能を有するシステムであれば、どのようなシステムに適用してもよい。
図1は、この発明の実施の形態1による音声認識システム10を適用したナビゲーションシステムの一例を示すブロック図である。このナビゲーションシステムは、ナビゲーション部1、指示入力部2、ディスプレイ3、スピーカ4、マイク5、カメラ6、音声取得部11、音声認識部12、音声認識辞書13、音声操作意図判断部14、制御態様変更部15、制御態様記憶部16、音声解析部17、状態取得部18、および視線検出部19を備えている。なお、ナビゲーションシステムの構成要件は、ネットワーク上のサーバ、スマートフォン等の携帯端末、車載器に分散されていてもよい。
この音声認識システム10は、不図示のCPU(Central Processing Unit)等で構成されており、このCPUが所定のプログラムを実行することによって、音声取得部11、音声認識部12、音声認識辞書13、音声操作意図判断部14、制御態様変更部15、制御態様記憶部16、音声解析部17、状態取得部18、および視線検出部19としての機能を実現する。
例えば、ナビゲーション部1は、指示入力部2に対する操作または音声認識システム10に対する音声操作によりユーザが設定した施設または地点と、移動体の現在位置および地図データベースの情報等とを用いて、現在位置からユーザにより設定された施設等までの経路を計算する。そして、ナビゲーション部1は、当該経路に沿って移動体を案内するための誘導案内図および誘導案内メッセージを生成し、ディスプレイ3およびスピーカ4に対して当該生成した情報を出力するよう指示する。
スピーカ4は、ナビゲーション部1の指示に基づき音声を出力する。
なお、認識結果には認識結果文字列とともに、尤度を表すスコアが含まれていてもよい。
また、制御態様記憶部16は、音声認識部12が音声認識に失敗した際に、ナビゲーション部1に対して指示する制御態様を、「音声操作意図有り」の場合と「音声操作意図無し」の場合について定義して記憶している。
「音声操作意図無し」の場合の制御態様は、「音声操作意図有り」の場合の制御態様に比べて、ユーザの邪魔にならないように、すなわち、ユーザがナビゲーションシステムを意識する程度が小さくなるように、定義されている。
「音声操作意図無し」の場合、「音声操作意図有り」の場合に比べて、例えば、音声出力の音量を小さくしたり、音声出力内容または表示内容の情報量を少なくしたり、音声出力を止めたり等、ユーザにナビゲーションシステムを意識させないような制御態様にする。
制御態様の具体例については後述する。
(1)の場合、音声認識システム10は、音声解析部17を備える。
音声解析部17は、音声取得部11により出力された音声データを解析し、ユーザが発話した音声の音量、ピッチ、明瞭度、ユーザの発話速度、音声の発声源の方向のうち、少なくとも一つを算出する。
なお、音量、ピッチ、明瞭度、ユーザの発話速度および発声源の方向の算出方法については、公知の技術を用いればよいため説明を省略する。
音声操作意図判断部14は、音声解析部17により算出された明瞭度を取得し、当該明瞭度の大きさが予め定められた閾値以上(または、閾値より大きい)か否か判定する。当該明瞭度が、予め定められた閾値以上である場合、音声操作意図判断部14は「音声操作意図有り」と判断する。一方、当該明瞭度が、予め定められた閾値より小さい場合、音声操作意図判断部14は「音声操作意図無し」と判断する。
または、音声操作意図判断部14は、音声解析部17から取得した明瞭度が、過去複数回取得した明瞭度の平均値以上(または、平均値より大きい)か否か判定する。当該明瞭度が、当該平均値以上の場合、音声操作意図判断部14は「音声操作意図有り」と判断する。一方、当該明瞭度が、当該平均値より小さい場合、音声操作意図判断部14は「音声操作意図無し」と判断する。
例えば、発話音声の音量を用いる場合、音声操作意図判断部14は、音声解析部17から取得した発話音声の音量が、過去複数回の発話音声の音量の平均値以上(または、平均値より大きい)の場合に「音声操作意図有り」と判断する。
例えば、発話音声のピッチを用いる場合、音声操作意図判断部14は、音声解析部17から取得した発話音声のピッチが、過去複数回の発話音声のピッチの平均値以上(または、平均値より大きい)の場合に「音声操作意図有り」と判断する。
音声操作意図判断部14は、音声解析部17により算出された発話速度を取得し、当該発話速度が、予め定められた閾値より小さいか(または、平均値以下であるか)否か判定する。当該発話速度が、予め定められた閾値より小さい場合、音声操作意図判断部14は「音声操作意図有り」と判断する。一方、当該発話速度が、予め定められた閾値以上である場合、音声操作意図判断部14は「音声操作意図無し」と判断する。
または、音声操作意図判断部14は、音声解析部17から取得した発話速度が、過去複数回取得した発話速度の平均値より小さい(または、閾値以下の)場合、「音声操作意図有り」と判断し、そうでない場合は、「音声操作意図無し」と判断する。
なお、明瞭度等を過去の平均値と比較して音声操作意図の有無を判断するにあたり、音声解析部17で明瞭度等を算出する際の誤差を考慮して、平均値に予め設定された値を加える(または減じる)ようにしてもよい。平均値に加える(または減じる)値は、誤差と有意な差がある値とする。
音声操作意図判断部14は、音声解析部17により算出された音声の発声源の方向を取得する。音声操作意図判断部14は、複数の方向に発声源がある場合、ユーザが他のユーザと会話しているものとして、「音声操作意図無し」と判断する。一方、発声源が一つである場合、音声操作意図判断部14は「音声操作意図有り」と判断する。
(2)の場合、上述した(1)の音声解析部17は不要である。
音声操作意図判断部14は、音声認識部12により出力された認識結果を取得する。そして、音声操作意図判断部14は、当該認識結果が、本音声認識システム10を適用した被制御装置(本実施の形態1においてはナビゲーションシステム)を操作するためのコマンドであるか否か判定し、当該コマンドである場合は、「音声操作意図有り」と判断する。そうでない場合は、「音声操作意図無し」と判断する。
(3)の場合、上述した(1)の音声解析部17は不要である。
音声操作意図判断部14は、音声認識部12により出力された認識結果を取得する。
また、音声操作意図判断部14は、音声認識部12から取得した認識結果を認識履歴として少なくとも一つ以上記憶する。
そして、音声操作意図判断部14は、認識履歴に基づいて、認識結果に含まれる認識スコアが予め定められた閾値以下になった場合(すなわち、音声認識部12による認識処理に成功しているが尤度が低い場合)、または、音声認識部12による認識処理に失敗した場合が2回以上連続して生じたときに、「音声操作意図有り」と判断する。音声操作意図判断部14は、認識スコアが予め定められた閾値以下になった場合と認識処理に失敗した場合とを区別してカウントしてもよいし、区別せずにカウントしてもよい。
なお、音声操作意図判断部14は、2回以上連続して、認識結果に含まれる認識スコアが予め定められた閾値以下であり、かつ各認識結果文字列が同一である場合、「音声操作意図有り」と判断するとしてもよい。
なお、ユーザが「コンビニ」と発話してその認識スコアが閾値以下だった場合、2回目の発話では「コンビニエンスストア」等に言い換える可能性があるため、各発話の認識結果文字列が同一であっても異なっていても構わない。
(4)の場合、音声認識システム10は、状態取得部18を備える。上述した(1)の音声解析部17は不要である。
状態取得部18は、ナビゲーション部1からナビゲーションシステムの動作状態を取得する。
音声操作意図判断部14は、例えば、ユーザによる所定の操作後の結果表示中(例えば、施設検索結果のリスト表示中等)およびユーザによるキー押下等の操作中等、ユーザがナビゲーションシステムを操作しようとしている、または操作中であると推測されるシステムの動作状態を予め定義している。
音声操作意図判断部14は、状態取得部18により取得されたナビゲーションシステムの動作状態が、予め定義された動作状態と一致する場合は、「音声操作意図有り」と判断し、予め定義された動作状態と一致しない場合は、「音声操作意図無し」と判断する。
例えば、施設検索結果リストの表示中、ユーザは、リストから一つの施設を選択する等、ナビゲーションシステムに対する操作を意図した動作を行う可能性が高いため、音声操作意図判断部14は、ナビゲーションシステムの動作状態がリスト表示中の場合、「音声操作意図有り」と判断する。
例えば、ユーザは、施設検索結果リスト等のリストの中から項目を選択する場合には音声操作を行い、施設検索条件設定等のボタンを押して階層メニューを下っていく場合には指示入力部2を介して手動操作を行う傾向がある。そのため、ナビゲーションシステムの動作状態がリスト表示中の場合を「音声操作意図有り」と定義し、階層メニュー表示中の場合を「音声操作意図無し」と定義する。音声操作意図判断部14は、状態取得部18により取得されたナビゲーションシステムの動作状態に一致する定義を検索し、その定義に従って「音声操作意図有り」か「音声操作意図無し」かを判断する。
また例えば、ユーザが手動操作中に音声操作に切り替える可能性は低いので、ナビゲーションシステムの動作状態が手動操作中の場合を「音声操作意図無し」と定義してもよい。具体的には、状態取得部18がナビゲーション部1を介して指示入力部2に対するユーザの操作状態を取得し、音声操作意図判断部14が、当該操作状態に基づいて、表示中のリスト等に対してユーザが手動操作を行っていると判断した場合には、手動操作中の定義に従って「音声操作意図無し」と判断する。
(5)の場合、音声認識システム10は、視線検出部19を備える。上述した(1)の音声解析部17および(4)の状態取得部18は不要である。
視線検出部19は、カメラ6により取得された画像情報を解析して、ユーザの視線を検出する。音声操作意図判断部14は、視線検出部19により検出された視線情報に基づいて、ユーザが、例えば、ディスプレイ3等のナビゲーションシステムの構成要素またはディスプレイ3に表示されているエージェント等の画像を見ているか否か判定する。
なお、視線検出方法および視線情報に基づいて特定の対象を見ているか否かを判定する方法については、公知の技術を用いればよいため説明を省略する。
ここで、音声操作意図判断部14は、音声取得部11から音声データを取得できたとき、かつ少なくとも所定期間以前(例えば、発話する0.5秒前)にユーザがディスプレイ3等を見ていると判断していた場合に、「音声操作意図有り」と判断するとしてもよい。あるいは、音声操作意図判断部14は、ユーザがディスプレイ3等を見ながら発話した場合に「音声操作意図有り」と判断してもよい。
「信頼度」は、実際にユーザがシステムに対して音声操作を意図して発話した可能性の高さを示すものである。すなわち、音声操作意図判断部14は、低い「信頼度」が定義されている判断項目を用いて「音声操作意図有り」と判断した場合に比べて、高い「信頼度」が定義されている判断項目を用いて「音声操作意図有り」と判断した場合の方が、実際にユーザがシステムに対して音声操作を意図して発話した可能性が高いと判断することとする。
図3(a)は、認識対象語に対する「音声操作意図有り」および「音声操作意図無し」の制御態様の一例を示したものである。
認識対象語「コンビニ」に対して、「音声操作意図有り」の場合の制御態様として「自車周辺のコンビニを検索し検索結果のリストを表示」が定義されている。一方、「音声操作意図無し」の場合の制御態様として「何もしない」が定義されている。
認識対象語「ミスターチャイルド」に対して、「音声操作意図有り」の場合の制御態様として「ミスターチャイルドのアルバムリストを表示」が定義されている。一方、「音声操作意図無し」の場合の制御態様として「何もしない」が定義されている。この「ミスターチャイルド」はアーティスト名を想定している。
なお、ここでは機能の実行と画面表示の例を示したが、音声出力を含むものとしてもよい。例えば、検索を実行する旨および検索結果をリスト表示する旨等の音声出力をするとしてもよい。
なお、ここでは音声出力の例のみを示したが、画面表示を含むものとしてもよい。例えば、「音声操作意図有り」の場合に、認識に失敗した旨のテロップを画面に表示するとしてもよい。
ここで、図7に、制御態様に基づいて処理を実行した例を示す。図7(a)は、図4(a)の「自車周辺のコンビニを検索し検索結果のリストを表示」した場合の、ディスプレイ3の画面表示例である。画面上に大きく検索結果のリストが表示されており、ユーザにナビゲーションシステムを意識させやすい。一方、図7(b)は、図4(b)の「自車周辺のコンビニ検索を実行するためのボタンを生成して表示」した場合の、ディスプレイ3の画面表示例である。地図画面上に「コンビニ」というボタンが表示されるのみであり、ユーザにナビゲーションシステムを意識させる度合が、図7(a)の場合に比べて小さい。
なお、検索を実行する旨等の音声出力をする場合に、「音声操作意図有り」の場合に比べて、「音声操作意図無し」の場合の方が、音量が小さくなるように、制御態様を定義してもよい。
このように、「音声操作意図無し」の場合に「ポーン」等の報知音のみ出力することにより、「音声操作意図有り」の場合に比べて、ユーザにナビゲーションシステムを意識させないようにしている。
このように、「音声操作意図無し」の場合にユーザに報知する音声の音量を小さくすることにより、「音声操作意図有り」の場合に比べて、ユーザにナビゲーションシステムを意識させないようにしている。
図5(a)は、認識対象語に対する「音声操作意図有り」の信頼度「高」、「音声操作意図有り」の信頼度「低」、および「音声操作意図無し」の制御態様の一例を示したものである。
例えば、認識対象語「コンビニ」に対して、「音声操作意図有り」かつ信頼度「高」の場合の制御態様として「自車周辺のコンビニを検索し自車位置から最も近いコンビニの情報を表示」が定義されている。一方、「音声操作意図有り」かつ信頼度「低」の場合の制御態様として「自車周辺のコンビニを検索し検索結果のリストを表示」が定義されている。そして、「音声操作意図無し」の場合の制御態様として「自車周辺のコンビニ検索を実行するためのボタンを生成」と定義されている。
なお、信頼度が高い場合に音量を大きくし、信頼度が低い場合に音量を小さくするとしてもよい。
一例を図6(a)(b)に示す。図6(a)の例では、認識対象語に対する「音声操作意図有り」の信頼度が「低」の場合、「音声操作意図無し」の場合と同じ制御態様が定義されている。図6(b)の例では、音声認識に失敗し、かつ「音声操作意図有り」の信頼度が「低」の場合、「音声操作意図無し」の場合と同じ制御態様が定義されている。
まず、音声取得部11は、マイク5により取得されたユーザ発話、すなわち、入力された音声を取り込み、例えばPCMによりA/D変換し、音声区間を検出する(ステップST01)。
次に、音声認識部12は、音声取得部11により検出された音声区間の音声データを認識し、認識結果を出力する(ステップST02)。
続いて、音声操作意図判断部14は、音声操作意図の有無を判断するための情報を取得し(ステップST03)、音声操作意図の有無を判断して、判断結果を出力する(ステップST04)。
そして、制御態様変更部15は、制御態様記憶部16を参照して、音声認識部12により出力された認識結果と音声操作意図判断部14により出力された判断結果に基づいて制御態様を決定し、当該決定した制御態様をナビゲーション部1に対して出力する(ステップST05)。
最後に、ナビゲーション部1は、制御態様変更部15により指示された制御態様に基づいて処理を実行する(ステップST06)。
まず、ユーザ発話の音声認識に成功した場合の例を説明する。
ここでは、ユーザAとユーザBが同乗しているものとする。また、音声解析部17はユーザ発話の明瞭度のみを算出するものとし、制御態様記憶部16には図4(a)(b)に示す内容が格納されているものとする。さらに、明瞭度の範囲は「0〜100」であり、予め定められた閾値を「50」とする。
次に、音声解析部17は、音声取得部11により取得された音声データを解析し、ユーザAの発話の明瞭度を算出し、音声操作意図判断部14は、当該明瞭度を取得する(ステップST03)。
音声操作意図判断部14は、音声解析部17により算出された明瞭度が予め定められた閾値「50」より小さいため、ユーザが、システムに対して音声操作することを意図して発話したのではないとして、「音声操作意図無し」と判断する(ステップST04)。
その後、制御態様変更部15は、制御態様記憶部16の図4(a)の内容を参照して、認識対象語が「コンビニ」かつ「音声操作意図無し」の場合の制御態様を決定する。この例では、「自車周辺のコンビニ検索を実行するためのボタンを生成して表示」に決定する(ステップST05)。
最後に、ナビゲーション部1は、制御態様変更部15により決定された制御態様に基づいて、処理を実行する。その結果、図7(b)に示すように、自車周辺のコンビニ検索を実行するためのボタンがディスプレイ3に表示される(ステップST06)。
この場合、ステップST05にて、制御態様変更部15は、制御態様記憶部16の図4(b)の内容を参照して、「認識結果が失敗」かつ「音声操作意図無し」の場合の制御態様を決定する。この例では、「報知音を出力」に決定する。
その結果、スピーカ4から例えば「ポーン」のような報知音が出力される(ステップST06)。
図8のステップST01、ステップST02の処理は前述の場合と同様であるため説明を省略する。音声解析部17により明瞭度が「70」と算出されたものとし、音声操作意図判断部14は、当該明瞭度を取得する(ステップST03)。
音声操作意図判断部14は、音声解析部17により算出された明瞭度「70」が、予め定められた閾値「50」以上であるため、ユーザがシステムに対して音声操作することを意図して発話したとして、「音声操作意図有り」と判断する(ステップST04)。
その後、制御態様変更部15は、制御態様記憶部16の図4(a)の内容を参照して、認識対象語が「コンビニ」かつ「音声操作意図有り」の場合の制御態様を決定する。この例では、「自車周辺のコンビニを検索し検索結果のリストを表示」に決定する(ステップST05)。
最後に、ナビゲーション部1は、制御態様変更部15により決定された制御態様に基づいて、処理を実行する。その結果、図7(a)に示すように、自車周辺のコンビニ検索を実行した結果のリストがディスプレイ3に表示される(ステップST06)。
この場合、ステップST05にて、制御態様変更部15は、制御態様記憶部16の図4(b)の内容を参照して、「認識結果が失敗」かつ「音声操作意図有り」の場合の制御態様を決定する。この例では、「「認識できませんでした。もう一度発話してください」と音量出力」に決定する。
その結果、スピーカ4から「認識できませんでした。もう一度発話してください」と音声出力される(ステップST06)。
また、音声によって認識失敗を報知する場合、制御態様変更部15は、発話について操作の意図の信頼度が低い場合、信頼度が高い場合に比して当該音声の音量を小さくするようにした。
そのため、認識失敗をユーザに報知する際の不快感および鬱陶しさを低減させることができる。
Claims (6)
- ユーザが発話した音声を常時認識し、認識結果に基づいて被制御装置を制御する音声認識システムであって、
認識した発話について、前記ユーザが前記被制御装置を操作する意図が有るか無いかを判断する音声操作意図判断部と、
前記音声操作意図判断部において操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して、前記被制御装置の制御の態様を前記ユーザに意識させない方向に変更する制御態様変更部とを備えることを特徴とする音声認識システム。 - 前記音声操作意図判断部は、操作の意図が有ると判断した場合に、当該操作の意図がどの程度有るかを示す信頼度を判断し、
前記制御態様変更部は、前記音声操作意図判断部において判断された信頼度が低い場合、信頼度が高い場合に比して前記被制御装置の制御の態様を前記ユーザに意識させない方向に変更することを特徴とする請求項1記載の音声認識システム。 - 前記制御態様変更部は、前記ユーザが発話した音声の認識に失敗した場合に前記被制御装置を制御して前記ユーザに対し認識失敗を報知させ、当該報知の態様を、前記発話について操作の意図の信頼度が低い場合、信頼度が高い場合に比して前記ユーザに意識させない方向に変更することを特徴とする請求項2記載の音声認識システム。
- 前記制御態様変更部は、前記ユーザが発話した音声の認識に失敗した場合に前記被制御装置を制御して音声によって前記ユーザに対し認識失敗を報知させ、前記発話について操作の意図の信頼度が低い場合、信頼度が高い場合に比して前記音声の音量を小さくすることを特徴とする請求項2記載の音声認識システム。
- 前記音声操作意図判断部は、発話が複数の方向からあった場合、操作の意図が無いと判断することを特徴とする請求項1記載の音声認識システム。
- 前記制御態様変更部は、前記ユーザが発話した音声の認識に失敗した場合に前記被制御装置を制御して前記ユーザに対し認識失敗を報知させ、当該報知の態様を、前記発話について操作の意図が無いと判断された場合、操作の意図が有ると判断された場合に比して前記ユーザに意識させない方向に変更することを特徴とする請求項1記載の音声認識システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/076121 WO2016051519A1 (ja) | 2014-09-30 | 2014-09-30 | 音声認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016051519A1 true JPWO2016051519A1 (ja) | 2017-04-27 |
JP6400109B2 JP6400109B2 (ja) | 2018-10-03 |
Family
ID=55629611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016551392A Expired - Fee Related JP6400109B2 (ja) | 2014-09-30 | 2014-09-30 | 音声認識システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10475448B2 (ja) |
JP (1) | JP6400109B2 (ja) |
CN (1) | CN106796786B (ja) |
DE (1) | DE112014007015B4 (ja) |
WO (1) | WO2016051519A1 (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
KR20150104615A (ko) | 2013-02-07 | 2015-09-15 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US10475448B2 (en) * | 2014-09-30 | 2019-11-12 | Mitsubishi Electric Corporation | Speech recognition system |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
JP2018087870A (ja) * | 2016-11-28 | 2018-06-07 | アルパイン株式会社 | 音声出力装置 |
US10296586B2 (en) * | 2016-12-23 | 2019-05-21 | Soundhound, Inc. | Predicting human behavior by machine learning of natural language interpretations |
US10580405B1 (en) * | 2016-12-27 | 2020-03-03 | Amazon Technologies, Inc. | Voice control of remote device |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770429A1 (en) | 2017-05-12 | 2018-12-14 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
JP2019204503A (ja) * | 2018-05-17 | 2019-11-28 | オリンパス株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10754425B2 (en) * | 2018-05-17 | 2020-08-25 | Olympus Corporation | Information processing apparatus, information processing method, and non-transitory computer readable recording medium |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
DK180091B1 (en) * | 2018-06-03 | 2020-04-22 | Apple Inc. | ACCELERATED TASK PERFORMANCE |
CN112585674A (zh) * | 2018-08-31 | 2021-03-30 | 三菱电机株式会社 | 信息处理装置、信息处理方法和程序 |
CN109192201A (zh) * | 2018-09-14 | 2019-01-11 | 苏州亭云智能科技有限公司 | 基于双模型识别的语音领域命令理解方法 |
JP2020052145A (ja) * | 2018-09-25 | 2020-04-02 | トヨタ自動車株式会社 | 音声認識装置、音声認識方法、及び音声認識プログラム |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
WO2020121382A1 (ja) * | 2018-12-10 | 2020-06-18 | オリンパス株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10817246B2 (en) * | 2018-12-28 | 2020-10-27 | Baidu Usa Llc | Deactivating a display of a smart display device based on a sound-based mechanism |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
CN110992940B (zh) * | 2019-11-25 | 2021-06-15 | 百度在线网络技术(北京)有限公司 | 语音交互的方法、装置、设备和计算机可读存储介质 |
JP2021131472A (ja) * | 2020-02-20 | 2021-09-09 | ソニーグループ株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
WO2022137534A1 (ja) * | 2020-12-25 | 2022-06-30 | 三菱電機株式会社 | 車載用音声認識装置及び車載用音声認識方法 |
KR20240053240A (ko) * | 2022-10-17 | 2024-04-24 | 삼성전자주식회사 | 지능형 어시스턴트의 발화 제공 방법 및 그 장치 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007219207A (ja) * | 2006-02-17 | 2007-08-30 | Fujitsu Ten Ltd | 音声認識装置 |
JP2011118290A (ja) * | 2009-12-07 | 2011-06-16 | Yamaha Corp | 音声認識装置 |
JP2011128766A (ja) * | 2009-12-16 | 2011-06-30 | Canon Inc | 入力装置及び方法 |
JP2011227237A (ja) * | 2010-04-19 | 2011-11-10 | Honda Motor Co Ltd | コミュニケーションロボット |
JP2013007917A (ja) * | 2011-06-24 | 2013-01-10 | Aisin Aw Co Ltd | 音声認識制御システム、音声認識制御方法、及び音声認識制御プログラム |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002336183A (ja) * | 2001-05-21 | 2002-11-26 | Olympus Optical Co Ltd | 内視鏡システム |
US7246062B2 (en) * | 2002-04-08 | 2007-07-17 | Sbc Technology Resources, Inc. | Method and system for voice recognition menu navigation with error prevention and recovery |
JP2003308079A (ja) | 2002-04-15 | 2003-10-31 | Nissan Motor Co Ltd | 音声入力装置 |
US8311835B2 (en) * | 2003-08-29 | 2012-11-13 | Microsoft Corporation | Assisted multi-modal dialogue |
JP2005292401A (ja) * | 2004-03-31 | 2005-10-20 | Denso Corp | カーナビゲーション装置 |
JP4346571B2 (ja) * | 2005-03-16 | 2009-10-21 | 富士通株式会社 | 音声認識システム、音声認識方法、及びコンピュータプログラム |
US8265939B2 (en) * | 2005-08-31 | 2012-09-11 | Nuance Communications, Inc. | Hierarchical methods and apparatus for extracting user intent from spoken utterances |
WO2007069372A1 (ja) * | 2005-12-14 | 2007-06-21 | Mitsubishi Electric Corporation | 音声認識装置 |
JP4736982B2 (ja) | 2006-07-06 | 2011-07-27 | 株式会社デンソー | 作動制御装置、プログラム |
JP4706587B2 (ja) | 2006-07-26 | 2011-06-22 | パナソニック電工株式会社 | ガス吸着剤とその製造方法 |
JP2008250236A (ja) * | 2007-03-30 | 2008-10-16 | Fujitsu Ten Ltd | 音声認識装置および音声認識方法 |
JP2008298851A (ja) * | 2007-05-29 | 2008-12-11 | Fujitsu Ten Ltd | 音声入力処理装置および音声入力処理方法 |
JP2008299221A (ja) * | 2007-06-01 | 2008-12-11 | Fujitsu Ten Ltd | 発話検知装置 |
CN101436403B (zh) * | 2007-11-16 | 2011-10-12 | 创而新(中国)科技有限公司 | 声调识别方法和系统 |
US20100118200A1 (en) * | 2008-11-10 | 2010-05-13 | Geoffrey Michael Gelman | Signage |
CN101409074A (zh) * | 2008-11-24 | 2009-04-15 | 杭州鑫方软件有限公司 | 一种嵌入式语音识别系统功能更新的方法 |
JP2011033680A (ja) * | 2009-07-30 | 2011-02-17 | Sony Corp | 音声処理装置及び方法、並びにプログラム |
JP5790238B2 (ja) * | 2011-07-22 | 2015-10-07 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN103543814B (zh) * | 2012-07-16 | 2016-12-07 | 瑞昱半导体股份有限公司 | 信号处理装置以及信号处理方法 |
CN102945672B (zh) * | 2012-09-29 | 2013-10-16 | 深圳市国华识别科技开发有限公司 | 一种多媒体设备语音控制系统及方法 |
CN104038610A (zh) * | 2013-03-08 | 2014-09-10 | 中兴通讯股份有限公司 | 一种通话语音调整方法及装置 |
US20140308930A1 (en) * | 2013-04-12 | 2014-10-16 | Bao Tran | Timely, glanceable information on a wearable device |
US20150068069A1 (en) * | 2013-07-27 | 2015-03-12 | Alexander Bach Tran | Personally powered appliance |
US20150127340A1 (en) * | 2013-11-07 | 2015-05-07 | Alexander Epshteyn | Capture |
CN103971681A (zh) * | 2014-04-24 | 2014-08-06 | 百度在线网络技术(北京)有限公司 | 一种语音识别方法及系统 |
US10475448B2 (en) * | 2014-09-30 | 2019-11-12 | Mitsubishi Electric Corporation | Speech recognition system |
-
2014
- 2014-09-30 US US15/502,646 patent/US10475448B2/en not_active Expired - Fee Related
- 2014-09-30 WO PCT/JP2014/076121 patent/WO2016051519A1/ja active Application Filing
- 2014-09-30 CN CN201480082347.3A patent/CN106796786B/zh not_active Expired - Fee Related
- 2014-09-30 JP JP2016551392A patent/JP6400109B2/ja not_active Expired - Fee Related
- 2014-09-30 DE DE112014007015.7T patent/DE112014007015B4/de not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007219207A (ja) * | 2006-02-17 | 2007-08-30 | Fujitsu Ten Ltd | 音声認識装置 |
JP2011118290A (ja) * | 2009-12-07 | 2011-06-16 | Yamaha Corp | 音声認識装置 |
JP2011128766A (ja) * | 2009-12-16 | 2011-06-30 | Canon Inc | 入力装置及び方法 |
JP2011227237A (ja) * | 2010-04-19 | 2011-11-10 | Honda Motor Co Ltd | コミュニケーションロボット |
JP2013007917A (ja) * | 2011-06-24 | 2013-01-10 | Aisin Aw Co Ltd | 音声認識制御システム、音声認識制御方法、及び音声認識制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112014007015T5 (de) | 2017-06-22 |
US10475448B2 (en) | 2019-11-12 |
US20170243580A1 (en) | 2017-08-24 |
WO2016051519A1 (ja) | 2016-04-07 |
CN106796786A (zh) | 2017-05-31 |
JP6400109B2 (ja) | 2018-10-03 |
CN106796786B (zh) | 2021-03-02 |
DE112014007015B4 (de) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6400109B2 (ja) | 音声認識システム | |
US11237793B1 (en) | Latency reduction for content playback | |
JP6635049B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP4304952B2 (ja) | 車載制御装置、並びにその操作説明方法をコンピュータに実行させるプログラム | |
US9881605B2 (en) | In-vehicle control apparatus and in-vehicle control method | |
WO2013005248A1 (ja) | 音声認識装置およびナビゲーション装置 | |
JP5762660B2 (ja) | 音声認識装置、認識結果表示装置および表示方法 | |
JP5677650B2 (ja) | 音声認識装置 | |
US10176806B2 (en) | Motor vehicle operating device with a correction strategy for voice recognition | |
JP5637131B2 (ja) | 音声認識装置 | |
JP2008058409A (ja) | 音声認識方法及び音声認識装置 | |
JP2002091466A (ja) | 音声認識装置 | |
JP3702867B2 (ja) | 音声制御装置 | |
JP6214297B2 (ja) | ナビゲーション装置および方法 | |
JP2003114696A (ja) | 音声認識装置、プログラム及びナビゲーションシステム | |
JP2009230068A (ja) | 音声認識装置及びナビゲーションシステム | |
JP6522009B2 (ja) | 音声認識システム | |
JP2010039099A (ja) | 音声認識および車載装置 | |
JP4604377B2 (ja) | 音声認識装置 | |
JP3718088B2 (ja) | 音声認識修正方式 | |
JP2007057805A (ja) | 車両用情報処理装置 | |
JP2011180416A (ja) | 音声合成装置、音声合成方法およびカーナビゲーションシステム | |
JP2010107614A (ja) | 音声案内応答方法 | |
JP2004341724A (ja) | 対話型情報検索システム | |
JP2008233009A (ja) | カーナビゲーション装置及びカーナビゲーション装置用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161114 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6400109 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |