JP6570796B2 - 音声認識装置および音声認識方法 - Google Patents
音声認識装置および音声認識方法 Download PDFInfo
- Publication number
- JP6570796B2 JP6570796B2 JP2019524804A JP2019524804A JP6570796B2 JP 6570796 B2 JP6570796 B2 JP 6570796B2 JP 2019524804 A JP2019524804 A JP 2019524804A JP 2019524804 A JP2019524804 A JP 2019524804A JP 6570796 B2 JP6570796 B2 JP 6570796B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- unit
- vocabulary
- communication status
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000004891 communication Methods 0.000 claims description 172
- 238000012545 processing Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 102100029860 Suppressor of tumorigenicity 20 protein Human genes 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 1
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
- G10L15/193—Formal grammars, e.g. finite state automata, context free grammars or word networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Telephonic Communication Services (AREA)
Description
例えば、特許文献1には、初めにクライアント側の音声認識装置がユーザの発話音声に対して認識処理を行い、認識に失敗した場合に、サーバ側の音声認識装置がユーザの発話音声に対して認識処理を行う音声認識システムが開示されている。
音声認識部は、コマンド語彙および大語彙を認識対象語彙とする。語彙変更部は、通信状況取得部が取得した通信状況が、サーバ装置と通信可であることを示していた場合に、音声認識部の認識対象語彙をコマンド語彙に変更し、通信状況取得部が取得した通信状況が、サーバ装置と通信不可であることを示していた場合に、音声認識部の認識対象語彙をコマンド語彙および大語彙に変更する。
実施の形態1.
図1は、実施の形態1に係る音声認識システムの構成を示すブロック図である。
音声認識システムは、クライアント側の音声認識装置100と、サーバ装置200とで構成される。また、図1に示すように、クライアント側の音声認識装置100は車載装置500と接続されている。以下では、当該車載装置500がナビゲーション装置であるものとして説明を行う。
まず、音声認識装置100の概要について説明する。
音声認識装置100は、クライアント側の音声認識装置であり、住所名を示す語彙および施設名を示す語彙(以下、大語彙と記載する)を認識対象語彙としている。また、クライアント側の音声認識装置100は、音声操作の対象となっている車載装置500に対して、操作を指示する操作コマンドを示す語彙およびユーザが予め登録した語彙(以下、コマンド語彙と記載する)を認識語彙としている。ここで、ユーザが予め登録した語彙とは、例えば、登録地名、およびアドレス帳の個人名等である。
また、クライアント側の音声認識装置100は、上述のようにハードウェア資源が少なく、CPUの処理能力も低いことから、コマンド語彙の認識において、認識辞書に登録されている操作コマンドと同一の発話が行われないと認識することができない。そのため、クライアント側の音声認識装置100は、サーバ側の音声認識装置202に比べて、受け付け可能な発話の自由度が低い。
一方、クライアント側の音声認識装置100は、サーバ側の音声認識装置202とは異なり、通信網300を介したデータの送受信の必要がないため、ユーザの発話に対する応答速度が速いという利点がある。また、クライアント側の音声認識装置100は、通信状況によらず、ユーザの発話に対して音声認識を行うことが可能である。
音声認識装置202は、サーバ側の音声認識装置であり、大語彙およびコマンド語彙を認識対象語彙としている。サーバ側の音声認識装置202は、ハードウェア資源が豊富であり、CPUの処理能力も高いため、クライアント側の音声認識装置100に比べて、大語彙の認識性能に優れている。
一方、サーバ側の音声認識装置202は、通信網300を介してデータを送受信する必要があるため、クライアント側の音声認識装置100に比べて、ユーザ発話に対する応答速度が遅い。また、サーバ側の音声認識装置202は、クライアント側の音声認識装置100と通信接続が確立されない場合、ユーザの発話の音声データを取得することができず、音声認識を行うことができない。
一方、サーバ側の音声認識装置202とクライアント側の音声認識装置100との通信接続が確立されている場合、ユーザの発話の音声データに対して、クライアント側の音声認識装置100およびサーバ側の音声認識装置202が、並列して音声認識を行う。この際、クライアント側の音声認識装置100は、認識対象語彙から大語彙を除外し、コマンド語彙のみを認識対象語彙に変更する。即ち、クライアント側の音声認識装置100は、コマンド語彙が登録されている認識辞書のみを有効にする。
詳細には、クライアント側の音声認識装置100の認識結果の信頼度が、予め定められた閾値以上である場合は、音声認識システムは当該クライアント側の音声認識装置100の認識結果を音声認識結果として出力する。
一方、クライアント側の音声認識装置100の認識結果の信頼度が、予め定められた閾値未満であり、且つ予め設定された待機時間内にサーバ側の音声認識装置202から認識結果を受信した場合に、音声認識システムは受信したサーバ側の音声認識装置202の認識結果を音声認識結果として出力する。また、クライアント側の音声認識装置100の認識結果の信頼度が、予め定められた閾値未満であるが、待機時間内にサーバ側の音声認識装置202から認識結果が受信できなかった場合に、音声認識システムは、音声認識に失敗したことを示す情報を出力する。
クライアント側の音声認識装置100は、音声取得部101、音声認識部102、通信部103、通信状況取得部104、語彙変更部105および認識結果採択部106を備える。
音声取得部101は、接続されたマイク400を介してユーザの発話音声を取り込む。音声取得部101は、取り込んだ発話音声を、例えば、PCM(Pulse Code Modulation)によりA/D(Analog/Digital)変換する。音声取得部101は、変換後のデジタル化した音声データを音声認識部102および通信部103に出力する。
さらに、通信部103は、サーバ装置200の通信部201と通信接続が可能か否かを所定の周期で判定する。通信部103は、判定結果を通信状況取得部104に出力する。
具体的には、認識結果採択部106は、通信部103とサーバ装置200の通信部201との通信接続が不可能であった場合、音声認識部102から入力された認識結果の信頼度が予め定められた閾値以上であるか否か判定を行う。認識結果採択部106は、選択した音声認識結果の信頼度が予め定められた閾値以上であった場合に、当該認識結果を音声認識結果として車載装置500に出力する。一方、認識結果採択部106は、選択した認識結果の信頼度が予め定められた閾値未満であった場合に、音声認識に失敗したことを示す情報を車載装置500に出力する。
サーバ装置200は、通信部201および音声認識装置202で構成されている。
通信部201は、通信網300を介して、クライアント側の音声認識装置100の通信部103との通信接続を確立する。通信部201は、クライアント側の音声認識装置100から送信された音声データを受信する。通信部201は、受信した音声データをサーバ側の音声認識装置202に出力する。また、通信部201は、後述するサーバ側の音声認識装置202の認識結果をクライアント側の音声認識装置100に送信する。
図2Aおよび図2Bは、音声認識装置100のハードウェア構成例を示す図である。
音声認識装置100における通信部103は、サーバ装置200の通信部201との間で無線通信を行う送受信装置100aである。音声認識装置100における音声取得部101、音声認識部102、通信状況取得部104、語彙変更部105および認識結果採択部106の各機能は、処理回路により実現される。即ち、音声認識装置100は、上記各機能を実現するための処理回路を備える。当該処理回路は、図2Aに示すように専用のハードウェアである処理回路100bであってもよいし、図2Bに示すようにメモリ100dに格納されているプログラムを実行するプロセッサ100cであってもよい。
メモリ100dは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
まず、図3のフローチャートを参照しながら、認識対象語彙の設定について説明する。
図3は、実施の形態1に係る音声認識装置100の語彙変更部105の動作を示すフローチャートである。
通信状況取得部104から通信可否を示す情報が入力されると(ステップST1)、語彙変更部105は、入力された通信可否を示す情報を参照し、サーバ装置200の通信部201と通信接続が可能であるか否か判定を行う(ステップST2)。サーバ装置200の通信部201と通信接続が可能である場合(ステップST2;YES)、語彙変更部105は、コマンド語彙を認識対象語彙とするように音声認識部102に指示する(ステップST3)。一方、サーバ装置200の通信部201と通信接続が不可能である場合(ステップST2;NO)、語彙変更部105は、大語彙およびコマンド語彙を認識対象語彙とするように音声認識部102に指示する(ステップST4)。語彙変更部105は、ステップST3またはステップST4の処理が行われると、処理を終了する。
図4は、実施の形態1に係る音声認識装置100の認識結果採択部106の動作を示すフローチャートである。なお、音声認識部102は、上述した図3のフローチャートに基づいて指示された認識対象語彙に応じて、いずれの認識辞書を有効とするかの設定を行っている。
通信状況取得部104から通信可否を示す情報が入力されると(ステップST11)、認識結果採択部106は、入力された通信可否を示す情報を参照し、サーバ装置200の通信部201と通信接続が可能であるか否か判定を行う(ステップST12)。サーバ装置200の通信部201と通信接続が可能である場合(ステップST12;YES)、認識結果採択部106は音声認識部102から入力された認識結果を取得する(ステップST13)。ステップST13で認識結果採択部106が取得する認識結果は、コマンド語彙の認識辞書のみが有効となった状態で、音声認識部102が認識処理を行った結果である。
認識結果採択部106はサーバ側の音声認識装置202の認識結果を取得しているか否か判定を行う(ステップST16)。サーバ側の音声認識装置202の認識結果を取得している場合(ステップST16;YES)、認識結果採択部106はサーバ側の音声認識装置202の認識結果を音声認識結果として車載装置500に出力する(ステップST17)。その後、認識結果採択部106は、処理を終了する。
具体的には、認識結果採択部106は、通信部103とサーバ装置200の通信部201との通信接続が不可能であった場合、または所定時間内に通信不可となると判定した場合に、音声認識部102から入力された認識結果の信頼度が予め定められた閾値以上であるか否か判定を行う。
一方、認識結果採択部106は、通信部103とサーバ装置200の通信部201との通信接続が可能であり、且つ、所定時間内に通信不可とならないと判定した場合に、音声認識部102から入力された認識結果の信頼度が予め定められた閾値以上であるか否か判定を行う。また、認識結果採択部106は、必要に応じてサーバ側の音声認識装置202の認識結果が入力されるのを待機する。
Claims (4)
- ユーザの発話に対してクライアント側の音声認識装置と、サーバ側の音声認識装置とを用いて音声認識を行うサーバ・クライアント型音声認識システムにおける、前記クライアント側の音声認識装置であって、
前記ユーザの発話を認識する音声認識部と、
前記サーバ側の音声認識装置を有するサーバ装置との通信状況を取得する通信状況取得部と、
前記通信状況取得部が取得した前記通信状況に基づいて、前記音声認識部の認識対象語彙を変更する語彙変更部とを備え、
前記音声認識部は、コマンド語彙および大語彙を認識対象語彙とし、
前記語彙変更部は、前記通信状況取得部が取得した前記通信状況が、前記サーバ装置と通信可であることを示していた場合に、前記音声認識部の認識対象語彙を前記コマンド語彙に変更し、前記通信状況取得部が取得した前記通信状況が、前記サーバ装置と通信不可であることを示していた場合に、前記音声認識部の認識対象語彙を前記コマンド語彙および前記大語彙に変更することを特徴とする音声認識装置。 - 前記通信状況取得部が取得した前記通信状況、および前記音声認識部の認識結果の信頼度に基づいて、前記音声認識部の認識結果、前記サーバ側の音声認識装置の認識結果、または音声認識の失敗のいずれかを採択する認識結果採択部を備えたことを特徴とする請求項1記載の音声認識装置。
- 前記通信状況取得部は、前記サーバ装置との前記通信状況を予測するための情報を取得し、
前記語彙変更部は、前記通信状況取得部が取得した前記通信状況を予測するための情報を参照し、前記通信状況が所定時間内に通信不可となると判定した場合に、前記音声認識部の認識対象語彙を前記コマンド語彙に変更することを特徴とする請求項1または請求項2記載の音声認識装置。 - ユーザの発話に対してクライアント側の音声認識装置と、サーバ側の音声認識装置とを用いてサーバ・クライアント型の音声認識を行う音声認識方法であって、
音声認識部が、前記ユーザの発話を認識するステップと、
通信状況取得部が、前記クライアント側の音声認識装置と、前記サーバ側の音声認識装置を有するサーバ装置との通信状況を取得するステップと、
語彙変更部が、前記取得された前記通信状況に基づいて、前記ユーザの発話を認証する際の認識対象語彙を変更するステップとを備え、
前記音声認識部は、コマンド語彙および大語彙を認識対象語彙とし、
前記語彙変更部は、前記通信状況取得部が取得した前記通信状況が、前記サーバ装置と通信可であることを示していた場合に、前記音声認識部の認識対象語彙を前記コマンド語彙に変更し、前記通信状況取得部が取得した前記通信状況が、前記サーバ装置と通信不可であることを示していた場合に、前記音声認識部の認識対象語彙を前記コマンド語彙および前記大語彙に変更することを特徴とする音声認識方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/023060 WO2018235236A1 (ja) | 2017-06-22 | 2017-06-22 | 音声認識装置および音声認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6570796B2 true JP6570796B2 (ja) | 2019-09-04 |
JPWO2018235236A1 JPWO2018235236A1 (ja) | 2019-11-07 |
Family
ID=64736141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019524804A Expired - Fee Related JP6570796B2 (ja) | 2017-06-22 | 2017-06-22 | 音声認識装置および音声認識方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200211562A1 (ja) |
JP (1) | JP6570796B2 (ja) |
CN (1) | CN110770821A (ja) |
DE (1) | DE112017007562B4 (ja) |
WO (1) | WO2018235236A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10553098B2 (en) | 2014-05-20 | 2020-02-04 | Ooma, Inc. | Appliance device integration with alarm systems |
US9633547B2 (en) | 2014-05-20 | 2017-04-25 | Ooma, Inc. | Security monitoring and control |
US11330100B2 (en) * | 2014-07-09 | 2022-05-10 | Ooma, Inc. | Server based intelligent personal assistant services |
US10009286B2 (en) | 2015-05-08 | 2018-06-26 | Ooma, Inc. | Communications hub |
WO2019087478A1 (ja) * | 2017-10-30 | 2019-05-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2020175384A1 (en) * | 2019-02-25 | 2020-09-03 | Clarion Co., Ltd. | Hybrid voice interaction system and hybrid voice interaction method |
WO2020245912A1 (ja) * | 2019-06-04 | 2020-12-10 | 日本電信電話株式会社 | 音声認識制御装置、音声認識制御方法、およびプログラム |
JP2021152589A (ja) * | 2020-03-24 | 2021-09-30 | シャープ株式会社 | 電子機器の制御装置、制御プログラム、制御方法、電子機器 |
JP7522651B2 (ja) | 2020-12-18 | 2024-07-25 | 本田技研工業株式会社 | 情報処理装置、移動体、プログラム及び情報処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4554285B2 (ja) * | 2004-06-18 | 2010-09-29 | トヨタ自動車株式会社 | 音声認識システム、音声認識方法、及び音声認識プログラム |
US7933777B2 (en) * | 2008-08-29 | 2011-04-26 | Multimodal Technologies, Inc. | Hybrid speech recognition |
JP2015219253A (ja) * | 2014-05-14 | 2015-12-07 | 日本電信電話株式会社 | 音声認識装置、音声認識方法及びプログラム |
DE102014019192A1 (de) * | 2014-12-19 | 2016-06-23 | Audi Ag | Darstellung des Online-Status einer hypriden Sprachbedienung |
-
2017
- 2017-06-22 WO PCT/JP2017/023060 patent/WO2018235236A1/ja active Application Filing
- 2017-06-22 US US16/615,035 patent/US20200211562A1/en not_active Abandoned
- 2017-06-22 CN CN201780091973.2A patent/CN110770821A/zh not_active Withdrawn
- 2017-06-22 DE DE112017007562.9T patent/DE112017007562B4/de not_active Expired - Fee Related
- 2017-06-22 JP JP2019524804A patent/JP6570796B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2018235236A1 (ja) | 2019-11-07 |
CN110770821A (zh) | 2020-02-07 |
US20200211562A1 (en) | 2020-07-02 |
WO2018235236A1 (ja) | 2018-12-27 |
DE112017007562T5 (de) | 2020-02-20 |
DE112017007562B4 (de) | 2021-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6570796B2 (ja) | 音声認識装置および音声認識方法 | |
JP7354110B2 (ja) | オーディオ処理システム及び方法 | |
US11037574B2 (en) | Speaker recognition and speaker change detection | |
US11978478B2 (en) | Direction based end-pointing for speech recognition | |
US10170122B2 (en) | Speech recognition method, electronic device and speech recognition system | |
GB2609093A (en) | Speaker identification | |
US10861447B2 (en) | Device for recognizing speeches and method for speech recognition | |
CN107949880A (zh) | 车载用语音识别装置以及车载设备 | |
JP6459330B2 (ja) | 音声認識装置、音声認識方法、及び音声認識プログラム | |
WO2018216180A1 (ja) | 音声認識装置および音声認識方法 | |
WO2020044543A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2005037615A (ja) | クライアント装置、音声認識サーバ、分散型音声認識システム、音声認識プログラム、およびコンピュータ読み取り可能な記録媒体 | |
KR20190056115A (ko) | 차량의 음성인식 시스템 및 방법 | |
US10818298B2 (en) | Audio processing | |
US20210304750A1 (en) | Open Smart Speaker | |
JP6811865B2 (ja) | 音声認識装置および音声認識方法 | |
KR100622019B1 (ko) | 음성 인터페이스 시스템 및 방법 | |
JPH09134193A (ja) | 音声認識装置 | |
WO2019175960A1 (ja) | 音声処理装置および音声処理方法 | |
JP4539313B2 (ja) | 音声認識辞書作成システム、音声認識辞書作成方法、音声認識システムおよびロボット | |
KR102279319B1 (ko) | 음성분석장치 및 음성분석장치의 동작 방법 | |
EP2107554A1 (en) | Multilingual codebooks for speech recognition | |
WO2021177049A1 (ja) | 音声認識システム、及び音声認識装置 | |
JP2021089310A (ja) | 音声操作装置、音声操作システムおよび音声操作方法 | |
JP2022054667A (ja) | 音声対話装置、音声対話システム、および、音声対話方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190605 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190605 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190605 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6570796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |