JP6314478B2 - 音声認識装置 - Google Patents

音声認識装置 Download PDF

Info

Publication number
JP6314478B2
JP6314478B2 JP2014000265A JP2014000265A JP6314478B2 JP 6314478 B2 JP6314478 B2 JP 6314478B2 JP 2014000265 A JP2014000265 A JP 2014000265A JP 2014000265 A JP2014000265 A JP 2014000265A JP 6314478 B2 JP6314478 B2 JP 6314478B2
Authority
JP
Japan
Prior art keywords
speech
phrase
vehicle
recognized
passenger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014000265A
Other languages
English (en)
Other versions
JP2015129794A (ja
Inventor
直頼 丹澤
直頼 丹澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014000265A priority Critical patent/JP6314478B2/ja
Publication of JP2015129794A publication Critical patent/JP2015129794A/ja
Application granted granted Critical
Publication of JP6314478B2 publication Critical patent/JP6314478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Description

本発明は、ユーザが発話した発話フレーズを音声認識する音声認識装置に関するものである。
この種の装置として、ユーザの音声を常時入力し、予め登録された操作コマンドの一致/不一致を常時照合し、一致する操作コマンドを認識したときに機能を実行するようにしたものがある(例えば、特許文献1参照)。
特開平2001−51694号公報
しかしながら、上記特許文献1に記載された装置は、例えば、周囲との会話に含まれる発話フレーズや、ユーザの独り言に含まれる発話フレーズが、予め登録された操作コマンドと一致してしまうと、登録された操作コマンドが発話されたものと誤って判断されてしまう。この場合、誤って判断された操作コマンドに応じた機能がユーザの意に反して実行されてしまうといった問題がある。
本発明は上記問題に鑑みたもので、周囲との会話や運転者の独り言による誤った機能実行を低減することを目的とする。
上記目的を達成するため、請求項1に記載の発明は、ユーザが発話した発話フレーズを音声認識し、この音声認識により音声認識された発話フレーズが予め定められた登録されたフレーズと一致した場合に音声認識された発話フレーズに応じた機能を実行する音声認識装置であって、音声認識された発話フレーズが体言止めまたは動詞の命令形で終わるものとなっているか否かを解析する解析手段と、解析手段の解析結果が、音声認識された発話したフレーズが体言止めまたは動詞の命令形で終わるものとなっていることを条件として、音声認識された発話フレーズに応じた機能を実行する機能実行手段と、を備えたことを特徴としている。
このような構成によれば、音声認識された発話フレーズが体言止めまたは動詞の命令形で終わるものとなっているか否かを解析し、この解析の結果が、音声認識された発話したフレーズが体言止めまたは動詞の命令形で終わるものとなっていることを条件として、音声認識された発話フレーズに応じた機能が実行されるようになっており、例えば、周囲との会話や運転者の独り言に多くみられるような発話フレーズが形容詞で終わるような場合には、音声認識された発話フレーズに応じた機能が実行されないので、周囲との会話や運転者の独り言による誤った機能実行を低減することができる。
本発明の一実施形態に係る音声認識装置の構成を示す図である。 制御装置のフローチャートである。 音声コントローラのフローチャートである。
本発明の一実施形態に係る音声認識装置の構成を図1に示す。本音声認識装置は、車両に搭載されるナビゲーション装置として構成されている。本ナビゲーション装置は、制御装置10、音声コントローラ20、音響分析部21、音声認識部22および文法解析部23を備えている。制御装置10には、車両の各座席(運転席、助手席、後部座席等)の座面の圧力を検出する圧力センサ(図示せず)から検知信号が入力されるようになっている。また、音響分析部21には、車室内の音声を集音するマイク30が接続されている。
制御装置10は、CPU、RAM、ROM、フラッシュメモリ、I/O等を備えたコンピュータとして構成されており、CPUはROMに記憶されたプログラムに従って各種処理を実施する。
なお、図1中には示してないが、制御装置10には、車両の現在位置を特定するための位置検出器(車速センサ、ジャイロスコープ、GPS受信機)、地図テータを入力するための地図データ入力器、楽曲再生やラジオを受信するオーディオ機器、車室内の温度を快適な温度の調整するための車両用空調装置、無線通信網を介して外部機器と通信を行うための通信装置、液晶等のディスプレイを有する表示部、音声を出力するためのスピーカ等が接続されている。
制御装置10は、車両の現在位置を特定するための位置検出器(車速センサ、ジャイロスコープ、GPS受信機)より入力される現在位置を特定するための信号に基づいて現在位置を特定する現在位置特定処理、車両の周辺の地図上に現在位置マークを重ねた画像を表示部に表示させる地図表示処理、ユーザ操作に応じてオーディオ機器に楽曲再生やラジオの受信を指示するオーディオ機器制御処理、ユーザ操作に応じて車両用空調装置を制御する車両用空調装置制御処理、通信装置を介した通信制御処理等を実施する。
音声コントローラ20は、制御装置10からの指示に従い、音響分析部21、音声認識部22および文法解析部23を制御する。音声コントローラ20は、CPU、RAM、ROM、フラッシュメモリ、I/O等を備えたコンピュータとして構成されており、CPUはROMに記憶されたプログラムに従って各種処理を実施する。
音響分析部21は、マイク30より継続的に音声データを取り込み、この音声データを順次音響分析して音響的特徴量を抽出し、この音響分析によって得られた音響的特徴量時系列データを、いくつかの区間に分割し、分割した結果を分析結果として音声コントローラ20へ通知する。
音声認識部22は、音声コントローラ20を介して音響分析部21の分析結果を取得し、この分析結果に基づいて乗員が発話した発話フレーズの認識処理を行う。すなわち、音声認識部22は、音響分析部21により分割された各区間が辞書データとして格納されたどの単語に対応しているかを判定することで入力音声中の単語系列を認識し、認識した結果を音声コントローラ20へ通知する。
文法解析部23は、音声コントローラ20を介して音声認識部22の認識結果を取得し、この認識結果に基づいて、乗員が発話した発話フレーズの文法の解析処理を行う。すなわち、文法解析部23は、音声認識部22により認識された入力音声中の単語系列を、各品詞に分解するとともに、乗員が発話した発話フレーズが体言止めもしくは命令形であるか否かを解析し、解析した結果を音声コントローラ20へ通知する。
本ナビゲーション装置は、ユーザが発話した発話フレーズを常時音声認識し、この常時音声認識により音声認識された発話フレーズが予め定められた登録されたフレーズと一致した場合に音声認識された発話フレーズに応じた機能を実行する処理を行う。
また、本実施形態におけるナビゲーション装置は、音声認識された発話フレーズが体言止めまたは動詞の命令形で終わるものとなっているか否かを解析し、この解析の結果が、音声認識された発話したフレーズが体言止めまたは動詞の命令形で終わるものとなっていることを条件として、音声認識された発話フレーズに応じた機能を実行する処理を行う。
次に、本ナビゲーション装置の制御装置10と音声コントローラ20の処理について説明する。図2に、制御装置10のフローチャートを示す。また、図3に、音声コントローラ20のフローチャートを示す。
本ナビゲーション装置は、車両のイグニッションスイッチがオン状態になると動作状態となり、制御装置10は、図2に示す処理を実施し、音声コントローラ20は、図3に示す処理を実施する。
まず、制御装置10は、図2に示すように、車両情報を取得する(S100)。本実施形態では、車両の各座席(運転席、助手席、後部座席等)に設けられた圧力センサからの検知信号を車両情報として取得する。
次に、車両に同乗者が存在するか否かを判定する(S102)。具体的には、車両の各座席(運転席、助手席、後部座席等)に設けられた圧力センサの検知信号に基づいて運転席以外の座席に乗員が存在するか否かを判定する。
ここで、車両の運転席以外の座席に同乗者が乗車している場合、S102の判定はNOとなり、次に、制御装置10から音声コントローラ20へ音声認識の開始指示が通知される(S104)。
一方、音声コントローラ20は、図3に示すように、まず、制御装置10より音声認識の開始指示を受信したか否かを判定する(S200)。制御装置10より音声認識の開始指示が受信されない場合、S200の判定はNOとなり、S200の判定が繰り返し実施される。
そして、制御装置10からの音声認識の開始指示が音声コントローラ20に通知されると、S200の判定はYESとなり、音声コントローラ20は、音響分析部21に音声取り込みを指示する(S202)。
音響分析部21は、この音声コントローラ20からの指示に応じて、マイク30より継続的に音声データを取り込み、この音声データを順次音響分析して音響的特徴量を抽出し、この音響分析によって得られた音響的特徴量時系列データを、いくつかの区間に分割し、分割した結果を分析結果として音声コントローラ20へ通知する。なお、音響分析部21は、音声データを順次音響分析して、無音状態が一定期間以上継続すると、乗員の一連の発話フレーズが終了したものとみなし、乗員の発話フレーズ単位で、分析結果を音声コントローラ20へ通知する。
次に、音声コントローラ20は、音響分析部21からの分析結果を受信したか否かを判定する(S204)。ここで、音響分析部21からの分析結果が音声コントローラ20により受信されない場合、S204の判定はNOとなり、S204の判定が繰り返し実施される。
そして、音響分析部21からの分析結果が音声コントローラ20により受信されると、S204の判定はYESとなり、音声コントローラ20は、音声認識部22に、音声認識の開始を指示する(S206)。具体的には、音響分析部21による分析結果とともに、音声認識の開始を指示するコマンドを音声認識部22に送信する。
音声認識部22は、この音声コントローラ20からの指示に応じて、音響分析部21による分析結果に基づき、乗員が発話した発話フレーズの認識処理を行う。すなわち、音声認識部22は、音響分析部21により分割された各区間が辞書データとして格納されたどの単語に対応しているかを判定することで入力音声中の単語系列を認識し、認識した結果を認識結果として音声コントローラ20へ通知する。
次に、音声コントローラ20は、音声認識部22からの認識結果を受信したか否かを判定する(S208)。ここで、音声認識部22からの認識結果が音声コントローラ20により受信されない場合、S208の判定はNOとなり、S208の判定が繰り返し実施される。
そして、音声認識部22からの認識結果が音声コントローラ20により受信されると、S208の判定はYESとなり、音声コントローラ20は、文法解析部23に文法解析を指示する(S210)。具体的には、音響分析部21による分析結果とともに、文法解析を指示するコマンドを文法解析部23に送信する。
文法解析部23は、この音声コントローラ20からの指示に応じて、音声認識部22による認識結果に基づき、乗員が発話した発話フレーズの文法の解析処理を行う。すなわち、文法解析部23は、形態素解析を行い、音声認識部22により認識された入力音声中の単語系列における各単語の品詞を特定し、乗員が発話した発話フレーズが名詞で終わる場合には発話フレーズは体言止めであると解析し、乗員が発話した発話フレーズが動詞の命令形で終わる場合には発話フレーズは命令形であると解析し、解析した結果を音声コントローラ20へ通知する。
例えば、「近くのコンビニ」という発話フレーズの場合、「近く(形容詞)_の(助詞)_コンビニ(名詞)」に分解される。この場合、発話フレーズが名詞である「コンビニ」で終わるので、発話フレーズは体言止めであると解析される。
また、「ミュージック」という発話フレーズの場合、発話フレーズをこれ以上分解できず、「ミュージック」は名詞であるため、発話フレーズは体言止めであると解析される。
また、「エアコンの温度上げて」という発話フレーズの場合、「エアコン(名詞)_の(助詞)_温度(名詞)_上げて(動詞)」に分解される。この場合も、発話フレーズが動詞の命令形である「上げて」で終わるので、発話フレーズは命令形であると解析される。
また、「FMかけて」という発話フレーズの場合、「FM(名詞)_かけて(動詞)」に分解される。この場合も、発話フレーズが動詞の命令形である「かけて」で終わるので、発話フレーズは命令形であると解析される。
また、「Aさんに電話して」という発話フレーズの場合、「Aさん(名詞)_に(助詞)_電話して(動詞)」に分解される。この場合も、発話フレーズが動詞の命令形である「電話して」で終わるので、発話フレーズは命令形であると解析される。
しかし、「前の車危ない」という発話フレーズの場合、「前(名詞)_の(助詞)_車(名詞)_危ない(形容詞)」に分解される。この場合、発話フレーズが形容詞である「危ない」で終わるので、発話フレーズは体言止めでも命令形でもないと解析される。
また、「隣の音うるさい」という発話フレーズの場合、「隣(名詞)_の(助詞)_音(名詞)_うるさい(形容詞)」に分解される。この場合も、発話フレーズが形容詞である「うるさい」で終わるので、発話フレーズは体言止めでも命令形でもないと解析される。
また、「雨が激しい」という発話フレーズの場合、「雨(名詞)_が(助詞)_激しい(形容詞)」に分解される。この場合も、発話フレーズが形容詞である「激しい」で終わるので、発話フレーズは体言止めでも命令形でもないと解析される。
次に、音声コントローラ20は、文法解析部23からの解析結果を受信したか否かを判定する(S212)。ここで、文法解析部23からの解析結果が音声コントローラ20により受信されない場合、S208の判定はNOとなり、S212の判定が繰り返し実施される。
そして、文法解析部23からの解析結果が音声コントローラ20により受信されると、S212の判定はYESとなり、音声コントローラ20は、文法解析部23からの解析結果に基づいて発話フレーズが体言止めもしくは命令形であるか否かを判定する(S214)。
ここで、文法解析部23からの解析結果に基づいて発話フレーズが体言止めもしくは命令形であると判定された場合、S214の判定はYESとなり、音声コントローラ20は、制御装置10へ認識結果を採用する旨の通知を行う(S216)。具体的には、音声認識部22により認識された結果とともに、認識結果の採用を指示するコマンドを制御装置10へ送信する。
また、文法解析部23からの解析結果に基づいて発話フレーズが体言止めでも、命令形でもないと判定された場合、S214の判定はNOとなり、音声コントローラ20は、制御装置10へ認識結果を棄却する旨の通知を行う(S218)。具体的には、音声認識部22の認識結果を採用しないように指示するコマンドを制御装置10へ送信する。
また、制御装置10は、図2に示したように、S104にて、音声コントローラ20へ音声認識の開始指示を通知した後、音声コントローラ20から認識結果を採用する旨の通知を受信したか否かを判定する(S106)。
ここで、音声コントローラ20から送信された認識結果の採用を指示するコマンドが音声コントローラ20により受信された場合、S106の判定はYESとなり、音声コントローラ20は、音声認識部22の認識結果に応じた機能を実行する(S108)。
すなわち、「近くのコンビニ」、「ミュージック」、「エアコンの温度上げて」、「FMかけて」「Aさんに電話して」といった発話フレーズのように、文法解析部23により発話フレーズが体言止めもしくは命令形であると解析されたものについては、音声認識された発話フレーズに応じた機能が実行される。
また、音声コントローラ20から送信された認識結果を採用しないように指示するコマンドが音声コントローラ20により受信された場合には、S106の判定はNOとなり、音声コントローラ20は、音声認識部22の認識結果に応じた機能を実行することなく、S106へ戻る。
すなわち、「前の車危ない」、「隣の音うるさい」、「雨が激しい」といった発話フレーズのように、文法解析部23により発話フレーズが体言止めでも命令形でもないと解析されたものについては音声認識された発話フレーズに応じた機能は実行されない。
なお、車両の運転席以外の座席に同乗者が乗車していない場合には、S102の判定はYESとなり、制御装置10は、音声コントローラ20へ音声認識の開始指示を送信することなく、本処理を終了する。したがって、音声認識された発話フレーズに応じた機能が実行されない。
上記した構成によれば、本ナビゲーション装置は、音声認識された発話フレーズが体言止めまたは動詞の命令形で終わるものとなっているか否かを解析し、この解析の結果が、音声認識された発話したフレーズが体言止めまたは動詞の命令形で終わるものとなっていることを条件として、音声認識された発話フレーズに応じた機能を実行するようになっており、例えば、周囲との会話や運転者の独り言に多くみられるような発話フレーズが形容詞で終わるような場合には、音声認識された発話フレーズに応じた機能が実行されないので、周囲との会話や運転者の独り言による誤った機能実行を低減することができる。
また、本ナビゲーション装置は、音声認識された発話フレーズが体言止めまたは動詞の命令形で終わるものとなっているか否かを解析する際に、音声認識された発話フレーズを品詞に分け、音声認識された発話フレーズの最後の品詞が名詞または動詞の命令形であるときに、音声認識された発話フレーズが体言止めまたは動詞の命令形で終わるものと解析することができる。
また、本ナビゲーション装置は、車両の各座席の座面の圧力を検出する圧力センサから検知信号を、車両に同乗者が存在するか否かを判定するための車両情報として取得し、この車両情報に基づいて車両に同乗者が存在するか否かを判定し、車両に同乗者が存在しないと判定された場合、音声認識された発話フレーズに応じた機能を実行しないようになっているので、周囲との会話による誤った機能実行をより低減することができる。
なお、本発明は上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲内で、以下のように種々変形可能である。
例えば、上記実施形態では、車両の各座席(運転席、助手席、後部座席等)に設けられた圧力センサからの検知信号に基づいて運転席以外の座席に同乗者がいるか否かを判定するようにしたが、例えば、車両の各ドアの開閉状態を検出するドア開センサにより検出される信号に基づいて運転席以外の座席に同乗者がいるか否かを判定するようにしてもよい。具体的には、車両のドアの施錠が解除されてから車両が走行を開始するまでの間に、運転席のドアと運転席以外のドアが開閉したことがドア開センサにより検出された場合には運転席以外の座席に同乗者がいると判定することができ、車両のドアの施錠が解除されてから車両が走行を開始するまでの間に、運転席のドアが開閉したことがドア開センサにより検出されたにもかかわらず、運転席以外のドアが開閉していないことがドア開センサにより検出された場合には運転席以外の座席に同乗者がいないと判定することができる。
また、上記実施形態では、本音声認識装置を車両に搭載されるナビゲーション装置として構成したが、車両に搭載されるものに限定されるものではなく、例えば、スマートフォン、携帯電話、携帯型情報端末等を用いて構成することもできる。このような携帯型の端末を用いて構成する場合、車両に同乗者が存在するか否かを判定するための車両情報を車両側から無線送信させ、携帯型の端末は、この車両情報を受信して取得するようにするのが好ましい。
なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、音響分析部21、音声認識部22および文法解析部23が解析手段に相当し、S214、S216、S218、S106およびS108が機能実行手段に相当し、S100が車両情報取得手段に相当し、S102が同乗者判定手段に相当する。
10 制御装置
20 音声コントローラ
21 音響分析部
22 音声認識部
23 文法解析部
30 マイク

Claims (4)

  1. ユーザが発話した発話フレーズを音声認識し、この音声認識により音声認識された発話フレーズが予め定められた登録されたフレーズと一致した場合に前記音声認識された発話フレーズに応じた機能を実行する音声認識装置であって、
    前記音声認識された発話フレーズが体言止めまたは動詞の命令形で終わるものとなっているか否かを解析する解析手段と、
    前記解析手段の解析結果が、前記音声認識された発話したフレーズが体言止めまたは動詞の命令形で終わるものとなっていることを条件として、前記音声認識された発話フレーズに応じた機能を実行する機能実行手段と、を備えたことを特徴とする音声認識装置。
  2. 前記解析手段は、前記音声認識された発話フレーズを品詞に分け、前記音声認識された発話フレーズの最後の品詞が名詞または動詞の命令形であるときに、前記音声認識された発話フレーズが体言止めまたは動詞の命令形で終わるものと解析することを特徴とする請求項1に記載の音声認識装置。
  3. 車両に同乗者が存在するか否かを判定するための車両情報を取得する車両情報取得手段と、
    前記車両情報取得手段により取得された前記車両情報に基づいて前記車両に同乗者が存在するか否かを判定する同乗者判定手段を備え、
    前記同乗者判定手段により前記車両に同乗者が存在しないと判定された場合、前記機能実行手段は、前記音声認識された発話フレーズに応じた機能を実行しないことを特徴とする請求項1または2に記載の音声認識装置。
  4. 前記車両に同乗者が存在するか否かを判定するための車両情報は、車両の各座席の座面の圧力を検出する圧力センサから検知信号であることを特徴とする請求項3に記載の音声認識装置。
JP2014000265A 2014-01-06 2014-01-06 音声認識装置 Active JP6314478B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014000265A JP6314478B2 (ja) 2014-01-06 2014-01-06 音声認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014000265A JP6314478B2 (ja) 2014-01-06 2014-01-06 音声認識装置

Publications (2)

Publication Number Publication Date
JP2015129794A JP2015129794A (ja) 2015-07-16
JP6314478B2 true JP6314478B2 (ja) 2018-04-25

Family

ID=53760577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014000265A Active JP6314478B2 (ja) 2014-01-06 2014-01-06 音声認識装置

Country Status (1)

Country Link
JP (1) JP6314478B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3207524B2 (ja) * 1992-06-18 2001-09-10 株式会社リコー 車載用音声認識装置
JP2008250236A (ja) * 2007-03-30 2008-10-16 Fujitsu Ten Ltd 音声認識装置および音声認識方法
JP2009025538A (ja) * 2007-07-19 2009-02-05 Nissan Motor Co Ltd 音声対話装置
JP2010217318A (ja) * 2009-03-13 2010-09-30 Equos Research Co Ltd 同乗者検索装置および同乗者検索プログラム
JP6502249B2 (ja) * 2013-08-29 2019-04-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 音声認識方法及び音声認識装置

Also Published As

Publication number Publication date
JP2015129794A (ja) 2015-07-16

Similar Documents

Publication Publication Date Title
US10485049B1 (en) Wireless device connection handover
CN106796786B (zh) 语音识别系统
US10721661B2 (en) Wireless device connection handover
JP6227209B2 (ja) 車載用音声認識装置および車載機器
JP5622744B2 (ja) 音声認識装置
US9230538B2 (en) Voice recognition device and navigation device
US20160039356A1 (en) Establishing microphone zones in a vehicle
JP2017090611A (ja) 音声認識制御システム
CN110027409B (zh) 车辆控制装置、车辆控制方法以及计算机可读取记录介质
US9473094B2 (en) Automatically controlling the loudness of voice prompts
JP2006208460A (ja) 音声認識型機器制御装置および車両
JP2008203296A (ja) 音声認識装置及びナビゲーション装置
US10276180B2 (en) Audio command adaptive processing system and method
JP6459330B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
US20120197643A1 (en) Mapping obstruent speech energy to lower frequencies
JP2018116130A (ja) 車内音声処理装置および車内音声処理方法
JP6314478B2 (ja) 音声認識装置
JP4478146B2 (ja) 音声認識システム、音声認識方法およびそのプログラム
JP4056711B2 (ja) 音声認識装置
JP2018116206A (ja) 音声認識装置、音声認識方法及び音声認識システム
JP7172120B2 (ja) 音声認識装置及び音声認識方法
JP2007057805A (ja) 車両用情報処理装置
JP7242873B2 (ja) 音声認識補助装置および音声認識補助方法
JP2006251699A (ja) 音声認識装置
JP2008309865A (ja) 音声認識装置および音声認識方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160822

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180312

R151 Written notification of patent or utility model registration

Ref document number: 6314478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151