JP6716968B2 - 音声認識装置、音声認識プログラム - Google Patents

音声認識装置、音声認識プログラム Download PDF

Info

Publication number
JP6716968B2
JP6716968B2 JP2016043348A JP2016043348A JP6716968B2 JP 6716968 B2 JP6716968 B2 JP 6716968B2 JP 2016043348 A JP2016043348 A JP 2016043348A JP 2016043348 A JP2016043348 A JP 2016043348A JP 6716968 B2 JP6716968 B2 JP 6716968B2
Authority
JP
Japan
Prior art keywords
voice
voice recognition
processing unit
likelihood
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016043348A
Other languages
English (en)
Other versions
JP2017161581A (ja
Inventor
鈴木 一久
一久 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016043348A priority Critical patent/JP6716968B2/ja
Priority to PCT/JP2017/001556 priority patent/WO2017154358A1/ja
Publication of JP2017161581A publication Critical patent/JP2017161581A/ja
Application granted granted Critical
Publication of JP6716968B2 publication Critical patent/JP6716968B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、音声認識装置および音声認識プログラムに関する。
例えば車両に搭載される音声認識装置においては、周囲のノイズやユーザの言い間違えなどにより、正しい音声認識結果を得られない場合がある。そのため、正しい音声認識結果が得られない場合に、ユーザに再度の発話を促す機能を備えた音声認識装置が考えられている。例えば特許文献1には、ユーザの音声の信頼度、即ち、尤らしさが所定の閾値以上であるか否かを判定し、信頼度が所定の閾値以上である場合に音声認識を行う技術が開示されている。そして、特許文献1には、ユーザの発話回数や対話時間に応じて閾値を変更する技術が開示されている。
特開2008−9153号公報
特許文献1に記載の従来技術によれば、ユーザの発話回数や対話時間に応じた閾値に基づいて音声認識を行うことができる。しかしながら、発話の「回数」や対話の「時間」に応じて閾値を変更する従来技術では、例えば前回と今回とでユーザが異なる言葉を発した場合であっても、発話の「回数」や対話の「時間」が所定の条件を満たすのであれば閾値が変更されてしまう。正しい音声認識結果が得られずユーザに再度の発話を促す場合としては、通常、ユーザは、前回と同じ言葉を繰り返し発することが想定される。よって、再度の発話により正しい音声認識結果を得るという観点からは、ユーザが同じ言葉を繰り返す場合に閾値を変更すれば十分である。よって、ユーザが異なる言葉を発する場合にも閾値が変更されてしまう従来技術では、閾値の変更が不要であるにも関わらず閾値が変更されてしまうおそれがある。
そこで、本発明は、ユーザが発する音声の信頼度、即ち、尤度と所定の閾値との大小関係に基づいて音声認識の有効性を判断する音声認識装置および音声認識プログラムにおいて、その判断の基準となる閾値を適切に変更できるようにした構成を提供すること目的とする。
本発明に係る音声認識装置は、音声入力部、音声記憶部、音声認識処理部、尤度算出処理部、有効判定処理部、同一判定処理部、閾値調整処理部を備える。音声入力部は、ユーザの音声が入力される。音声記憶部は、音声入力部に入力される音声を記憶する。音声認識処理部は、音声入力部に入力される音声を認識する。尤度算出処理部は、音声認識処理部による音声の認識結果の尤度を算出する。有効判定処理部は、尤度算出処理部により算出される尤度が所定の閾値以上である場合に、音声認識処理部による音声の認識結果を有効と判定する。同一判定処理部は、音声記憶部に記憶されている前回の音声と今回の音声との一致度に基づいて、前回の音声と今回の音声とが同一であるか否かを判定する。閾値調整処理部は、同一判定処理部により前回の音声と今回の音声とが同一であると判定された場合に、閾値を所定の調整値だけ低くする。
本発明に係る音声認識プログラムは、ユーザの音声が入力される音声入力部と、音声入力部に入力される音声を記憶する音声記憶部と、を備える音声認識装置に、音声認識処理、尤度算出処理、有効判定処理、同一判定処理、閾値調整処理を実行させる。音声認識処理は、音声入力部に入力される音声を認識する。尤度算出処理は、音声認識処理による音声の認識結果の尤度を算出する。有効判定処理は、尤度算出処理により算出される尤度が所定の閾値以上である場合に、音声認識処理による音声の認識結果を有効と判定する。同一判定処理は、音声記憶部に記憶されている前回の音声と今回の音声との一致度に基づいて、前回の音声と今回の音声とが同一であるか否かを判定する。閾値調整処理は、同一判定処理により前回の音声と今回の音声とが同一であると判定された場合に、閾値を所定の調整値だけ低くする。
本発明に係る音声認識装置および音声認識プログラムによれば、音声の認識結果を有効または無効と判定するための判断基準である閾値を、ユーザが同じ言葉の入力を繰り返す場合に限り、適切な値に変更することができる。
本実施形態に係る音声認識装置の構成例を概略的に示す図 音声認識画面の一例を示す図 音声認識装置の動作例を示すフローチャート
以下、音声認識装置の一実施形態について図面を参照しながら説明する。図1に例示する音声認識装置10は、例えば車両に搭載されるものであり、制御部11、音声入力部12、音声出力部13、表示出力部14、操作入力部15、記憶部16などを備える。制御部11は、図示しないマイクロコンピュータを主体として構成されており、音声認識装置10の動作全般を制御する。
音声入力部12は、図示しないマイクなどを備えており、ユーザの音声が入力される。音声入力部12は、入力される音声を音声データに変換して制御部11に出力する。制御部11は、音声入力部12から入力される音声データを記憶部16に記憶する。記憶部16は、音声記憶部の一例であり、例えばハードディスクドライブなどの記憶媒体で構成されている。記憶部16には、音声入力部12から入力される音声の音声データのほか、音声認識用の辞書データベースなどの音声認識処理に必要な各種のデータが格納されている。
音声出力部13は、図示しないスピーカなどを備えており、制御部11から入力される音声出力信号に基づいて、音声認識結果などの各種情報を音声により出力する。表示出力部14は、図示しない表示パネルなどを備えており、制御部11から入力される表示出力信号に基づいて、例えば図2に示す音声認識画面Gなどの各種画面を表示する。音声認識画面Gには、例えば音声認識可能なコマンドが例示されており、ユーザは、音声認識画面Gに示されているコマンドを参考に各種の音声、即ち、音声認識装置10に対するコマンドを発することができる。なお、音声認識画面Gに示されるコマンドはあくまでも例であり、音声認識装置10は、音声認識画面Gに示されていない音声も認識可能となっている。操作入力部15は、図示しない操作スイッチなどを備えており、ユーザにより操作スイッチが操作されると、その操作内容を制御部11に入力する。
制御部11は、音声認識プログラムの一例である音声認識用の制御プログラムを実行することにより、音声認識処理部21、尤度算出処理部22、有効判定処理部23、同一判定処理部24、閾値調整処理部25をソフトウェアにより仮想的に実現する。なお、これらの処理部は、ハードウェアにより実現してもよいし、ソフトウェアとハードウェアの組み合わせにより実現してもよい。
音声認識処理部21は、音声入力部12に入力される音声の音声データと、音声認識用の辞書データベースに格納されている音声データとを照合することにより、両音声データの一致度を特定する。そして、音声認識処理部21は、両音声データが完全に一致、あるいは、概ね一致している場合には、入力された音声が、照合した辞書データベースの音声データの音声であることを認識する。なお、両音声データが概ね一致しているとは、両音声データが例えば80%〜90%以上一致している場合など、完全一致と同視できる程度に一致している場合を意味する。
尤度算出処理部22は、音声認識処理部21による音声の認識結果の尤度を算出する。即ち、尤度算出処理部22は、音声認識処理部21による音声認識処理時における上記両音声データの一致度に応じ、一致度が高いほど高い尤度を算出し、一致度が低いほど低い尤度を算出する。
有効判定処理部23は、尤度算出処理部22により算出される尤度が所定の閾値T以上である場合には、音声認識処理部21による音声の認識結果を有効と判定し、閾値Tよりも小さい場合には、音声認識処理部21による音声の認識結果を無効と判定する。なお、有効判定処理部23は、音声認識処理部21による音声の認識結果を無効と判定する場合には、その判定理由、例えば、ユーザの音声が小さすぎる、あるいは、大きすぎる旨を示す情報、ユーザの音声が速すぎる、あるいは、遅すぎる旨を示す情報などといった無効判定理由情報を出力するようになっている。
無効判定理由情報は、例えば、音声出力部13による音声により出力してもよいし、表示出力部14による画面表示により出力してもよいし、音声出力部13による聴覚的出力および表示出力部14による視覚的出力の双方により行ってもよい。また、音声の大きさや速さは、例えば、音声入力部12が出力する音声データの信号レベルを大きさ判定用の閾値や速さ判定用の閾値と比較することにより特定することができる。
同一判定処理部24は、記憶部16に記憶されている前回の入力音声の音声データと今回の入力音声の音声データとの一致度に基づいて、前回入力された音声と今回入力された音声とが同一であるか否かを判定する。即ち、同一判定処理部24は、前回の入力音声の音声データと今回の入力音声の音声データとの一致度を特定する。そして、同一判定処理部24は、両音声データが完全に一致、あるいは、概ね一致している場合には、前回入力された音声と今回入力された音声とが同一であると判定する。なお、両音声データが概ね一致しているとは、両音声データが例えば80%〜90%以上一致している場合など、完全一致と同視できる程度に一致している場合を意味する。
閾値調整処理部25は、同一判定処理部24により前回の音声と今回の音声とが同一であると判定された場合に、上記の閾値Tを所定の調整値だけ低くする。閾値調整処理部25は、尤度算出処理部22により算出される尤度に応じて調整値を変化させるように構成されている。この場合、閾値調整処理部25は、算出される尤度が高いほど調整値を大きくする。また、閾値調整処理部25は、過去における複数の音声認識処理において、尤度算出処理部22により算出される尤度が閾値T以上となった回数に応じて調整値を変化させるように構成されている。この場合、閾値調整処理部25は、算出される尤度が閾値T以上となった回数が多いほど調整値を大きくする。
次に、音声認識装置10の動作例について説明する。図3に例示するように、音声認識装置10は、音声認識画面Gを表示すると、音声が入力されたか否かを監視する(S1)。そして、音声認識装置10は、音声が入力されると(S1:YES)、その音声データを記憶する(S2)。そして、音声認識装置10は、ステップS1時と同一の音声認識画面Gを表示している状態において、再度、音声が入力されたか否かを監視する(S3)。音声認識装置10は、再度、音声が入力された場合(S3:YES)には、その音声データを記憶して(S4)、ステップS5に移行する。なお、音声認識装置10は、所定の待機時間内に、再度、音声が入力されない場合(S3:NO)には、ステップS1に移行する。
音声認識装置10は、ステップS5に移行すると、音声認識処理部21による音声認識処理を実行する。そして、音声認識装置10は、尤度算出処理部22による尤度算出処理を実行する(S6)。そして、音声認識装置10は、同一判定処理部24による同一判定処理を実行する(S7)。音声認識装置10は、同一判定処理により、前回入力された音声と今回入力された音声とが同一であると判定した場合(S7:YES)には、閾値Tを低くする(S8)。なお、ステップS8により閾値調整処理の一例が構成されている。また、音声認識装置10は、閾値Tを低くしたこと、即ち、音声認識結果を有効あるいは無効と判断するための判断基準値をユーザの発話態様に適応させたことを出力して(S9)、ステップS10に移行する。
なお、判断基準値を適応させたことの出力は、例えば、音声出力部13による音声により出力してもよいし、表示出力部14による画面表示により出力してもよいし、音声出力部13による聴覚的出力および表示出力部14による視覚的出力の双方により行ってもよい。また、音声認識装置10は、同一判定処理により、前回入力された音声と今回入力された音声とが同一でないと判定した場合(S7:NO)には、ステップS8,S9を実行することなくステップS10に移行する。
音声認識装置10は、ステップS10に移行すると、ステップS6において算出した尤度が閾値T以上か否かを判定する。ステップS10は、有効判定処理の一例である。音声認識装置10は、尤度が閾値T以上である場合(S10:YES)には、ステップS5における音声の認識結果を有効と判定して(S11)、この制御を終了する。一方、音声認識装置10は、尤度が閾値Tよりも小さい場合(S10:NO)には、ステップS5における音声の認識結果を無効と判定する(S12)。そして、音声認識装置10は、無効判定理由情報を出力して(S13)、この制御を終了する。なお、ステップS10,S11,S12により、有効判定処理の一例が構成されている。
音声認識装置10によれば、同一の音声認識画面Gを表示している状態においてユーザが何度も音声を入力する場合であって、前回の音声と今回の音声とが同一であると判定できる場合には、音声の認識結果を有効または無効と判定するための判断基準値である閾値Tを所定の調整値だけ低くするようにした。これにより、音声の認識結果が有効と判断されやすくなるため、ユーザが何度も同じ音声を入力し続けなければならない事態を回避することができる。このように、音声認識装置10によれば、音声の認識結果を有効または無効と判定するための判断基準値を、ユーザが同じ言葉の入力を繰り返す場合に限り、適切な値に変更することができる。
また、音声認識装置10によれば、算出される尤度に応じて閾値Tの調整値を変化させるようにした。この場合、音声認識装置10は、算出される尤度が高いほど調整値を大きくする。即ち、音声認識結果の尤らしさが高いほど閾値Tをより小さな値とすることで、尤らしさが高い音声認識結果が有効と判断される確率を高めることができる。
また、音声認識装置10によれば、過去における複数の音声認識処理において算出される尤度が閾値T以上となった回数に応じて、閾値Tの調整値を変化させるようにした。この場合、音声認識装置10は、算出される尤度が閾値T以上となった回数が多いほど調整値を大きくする。即ち、過去における複数の音声認識処理時において音声の認識結果が有効と判断された回数が多いほど閾値Tをより小さな値とすることで、例えば、有効と判断されやすいユーザの音声については、その音声認識結果が有効と判断される確率を高めることができる。
また、音声認識装置10によれば、音声の認識結果を無効と判定する場合には、その判定理由も出力する。これにより、ユーザは、出力された判定理由に基づき発話態様を改善することができ、音声の認識結果が有効と判断される確率を高めることができる。
なお、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。
例えば、音声認識装置10は、ステップS8において、閾値Tを低くするだけでなく、音声認識処理の処理速度を遅くする、あるいは、音声認識処理の処理にかける時間を長くする、といった処理を行うようにしてもよい。即ち、音声認識処理の処理速度を遅くしたり、処理時間を長くしたりすることにより、より正確に音声認識処理を行うことができるようになる。正しい音声認識結果が得られずユーザが同じ言葉を何度も繰り返し入力する場合には、このような正確な音声認識処理を行うための措置を行うことが有効である。
また、音声認識装置10は、少なくとも前回入力された音声の音声データを記憶すればよい。従って、音声認識装置10は、過去の音声データを古いものから順に消去する構成としてもよく、この場合、限りある記憶部16の記憶容量を有効に活用できる。また、音声認識装置10は、尤度を複数段階、例えば、「高」、「中」、「低」の3段階で算出する構成としてもよいし、例えばパーセンテージによる連続的な数値により算出する構成としてもよい。
また、音声認識装置10は、算出される尤度が高いほど閾値Tの調整値を小さくする構成としてもよい。また、音声認識装置10は、過去における複数の音声認識処理において、算出される尤度が閾値T以上となった回数が多いほど閾値Tの調整値を小さくする構成としてもよい。
図面中、10は音声認識装置、12は音声入力部、16は音声記憶部、21は音声認識処理部、22は尤度算出処理部、23は有効判定処理部、24は同一判定処理部、25は閾値調整処理部を示す。

Claims (5)

  1. ユーザの音声が入力される音声入力部(12)と、
    前記音声入力部に入力される音声を記憶する音声記憶部(16)と、
    前記音声入力部に入力される音声を認識する音声認識処理部(21)と、
    前記音声認識処理部による音声の認識結果の尤度を算出する尤度算出処理部(22)と、
    前記尤度算出処理部により算出される尤度が所定の閾値以上である場合に、前記音声認識処理部による音声の認識結果を有効と判定する有効判定処理部(23)と、
    前記音声記憶部に記憶されている前回の音声と今回の音声との一致度に基づいて、前回の音声と今回の音声とが同一であるか否かを判定する同一判定処理部(24)と、
    前記同一判定処理部により前回の音声と今回の音声とが同一であると判定された場合に、前記閾値を所定の調整値だけ低くする閾値調整処理部(25)と、
    を備え、
    前記閾値調整処理部が前記閾値を所定の調整値だけ低くしたことをユーザに出力する音声認識装置。
  2. 前記閾値調整処理部は、前記尤度算出処理部により算出される尤度に応じて前記調整値を変化させる請求項1に記載の音声認識装置。
  3. 前記閾値調整処理部は、前記尤度算出処理部により算出される尤度が前記閾値以上となった回数に応じて前記調整値を変化させる請求項1または2に記載の音声認識装置。
  4. 前記有効判定処理部は、前記尤度算出処理部により算出される尤度が所定の閾値よりも小さい場合に、前記音声認識処理部による音声の認識結果を無効と判定するとともに、その判定理由を出力する請求項1から3の何れか1項に記載の音声認識装置。
  5. ユーザの音声が入力される音声入力部(12)と、前記音声入力部に入力される音声を記憶する音声記憶部(16)と、を備える音声認識装置(10)に、
    前記音声入力部に入力される音声を認識する音声認識処理と、
    前記音声認識処理による音声の認識結果の尤度を算出する尤度算出処理と、
    前記尤度算出処理により算出される尤度が所定の閾値以上である場合に、前記音声認識処理による音声の認識結果を有効と判定する有効判定処理と、
    前記音声記憶部に記憶されている前回の音声と今回の音声との一致度に基づいて、前回の音声と今回の音声とが同一であるか否かを判定する同一判定処理と、
    前記同一判定処理により前回の音声と今回の音声とが同一であると判定された場合に、前記閾値を所定の調整値だけ低くする閾値調整処理と、
    前記閾値調整処理により前記閾値を所定の調整値だけ低くしたことをユーザに出力する処理と、
    を実行させる音声認識プログラム。
JP2016043348A 2016-03-07 2016-03-07 音声認識装置、音声認識プログラム Active JP6716968B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016043348A JP6716968B2 (ja) 2016-03-07 2016-03-07 音声認識装置、音声認識プログラム
PCT/JP2017/001556 WO2017154358A1 (ja) 2016-03-07 2017-01-18 音声認識装置、音声認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016043348A JP6716968B2 (ja) 2016-03-07 2016-03-07 音声認識装置、音声認識プログラム

Publications (2)

Publication Number Publication Date
JP2017161581A JP2017161581A (ja) 2017-09-14
JP6716968B2 true JP6716968B2 (ja) 2020-07-01

Family

ID=59790301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016043348A Active JP6716968B2 (ja) 2016-03-07 2016-03-07 音声認識装置、音声認識プログラム

Country Status (2)

Country Link
JP (1) JP6716968B2 (ja)
WO (1) WO2017154358A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI622029B (zh) * 2017-09-15 2018-04-21 驊鉅數位科技有限公司 具發音辨識之互動式語文學習系統
CN108922520B (zh) * 2018-07-12 2021-06-01 Oppo广东移动通信有限公司 语音识别方法、装置、存储介质及电子设备
JP2023154894A (ja) * 2022-04-08 2023-10-20 キヤノン株式会社 情報変換システム、情報処理装置、情報処理方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11149294A (ja) * 1997-11-17 1999-06-02 Toyota Motor Corp 音声認識装置および音声認識方法
JP2003091299A (ja) * 2001-07-13 2003-03-28 Honda Motor Co Ltd 車載用音声認識装置
JP4074543B2 (ja) * 2003-04-23 2008-04-09 シャープ株式会社 音声処理装置、音声処理方法、音声処理プログラム、および、プログラム記録媒体
JP2006030915A (ja) * 2004-07-22 2006-02-02 Iwatsu Electric Co Ltd 音声認識方法と装置。
JP4680714B2 (ja) * 2005-08-03 2011-05-11 パナソニック株式会社 音声認識装置および音声認識方法
JPWO2009008115A1 (ja) * 2007-07-09 2010-09-02 三菱電機株式会社 音声認識装置およびナビゲーションシステム

Also Published As

Publication number Publication date
JP2017161581A (ja) 2017-09-14
WO2017154358A1 (ja) 2017-09-14

Similar Documents

Publication Publication Date Title
US10446155B2 (en) Voice recognition device
CN106796786B (zh) 语音识别系统
US9251789B2 (en) Speech-recognition system, storage medium, and method of speech recognition
US11056118B2 (en) Speaker identification
US20200075028A1 (en) Speaker recognition and speaker change detection
JP5172973B2 (ja) 音声認識装置
US20170243581A1 (en) Using combined audio and vision-based cues for voice command-and-control
JP6716968B2 (ja) 音声認識装置、音声認識プログラム
JP5431282B2 (ja) 音声対話装置、方法、プログラム
WO2010128560A1 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
US8781825B2 (en) Reducing false positives in speech recognition systems
JP2020086571A (ja) 車載装置及び音声認識方法
JP6759058B2 (ja) 音声認識装置および音声認識方法
JP2006208486A (ja) 音声入力装置
US20090106025A1 (en) Speaker model registering apparatus and method, and computer program
US20230223014A1 (en) Adapting Automated Speech Recognition Parameters Based on Hotword Properties
JP2011203434A (ja) 音声認識装置及び音声認識方法
JP2018116206A (ja) 音声認識装置、音声認識方法及び音声認識システム
JP5157596B2 (ja) 音声認識装置
JP6966374B2 (ja) 音声認識システム及びコンピュータプログラム
JP6811865B2 (ja) 音声認識装置および音声認識方法
JP6999236B2 (ja) 音声認識システム
JP2020091435A (ja) 音声認識システム、音声認識システムの通知方法、プログラム、及び移動体搭載機器
KR101610152B1 (ko) 차량용 음성 인식 시스템 및 그 방법
JP2018091911A (ja) 音声対話システム及び音声対話方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200525

R151 Written notification of patent or utility model registration

Ref document number: 6716968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250