JP6146366B2 - 音声入力装置 - Google Patents

音声入力装置 Download PDF

Info

Publication number
JP6146366B2
JP6146366B2 JP2014077743A JP2014077743A JP6146366B2 JP 6146366 B2 JP6146366 B2 JP 6146366B2 JP 2014077743 A JP2014077743 A JP 2014077743A JP 2014077743 A JP2014077743 A JP 2014077743A JP 6146366 B2 JP6146366 B2 JP 6146366B2
Authority
JP
Japan
Prior art keywords
input
display
voice
mechanical
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014077743A
Other languages
English (en)
Other versions
JP2015200697A (ja
Inventor
寛之 奥野
寛之 奥野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014077743A priority Critical patent/JP6146366B2/ja
Publication of JP2015200697A publication Critical patent/JP2015200697A/ja
Application granted granted Critical
Publication of JP6146366B2 publication Critical patent/JP6146366B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Description

本発明は、音声入力装置に関する。
近年、ナビゲーション装置などの機器は、音声を用いる音声認識による操作の入力が普及しつつある。例えば目的地の地名、電話帳、プレイリストの検索、機器の操作および各種のアプリケーションの操作など、音声認識によって入力が可能な操作コマンドは増加している。しかしながら、音声によって入力が可能な操作コマンドが増加するにつれて、ユーザはどのような操作コマンドが音声によって入力可能であるか把握が困難になってきている。
特開2002−318597号公報
そこで、本発明の目的は、機械的入力手段を用いることにより、ユーザが利用可能な操作コマンドの把握が容易な音声入力装置を提供することにある。
請求項1記載の発明では、第一表示制御手段は、表示部に、待機画面を表示する。待機画面は、音声入力受付手段で受け付ける音声のカテゴリ表示と、機械的入力手段からの入力を受け付けることを示す補助表示とを表示する。そして、第二表示制御手段は、タッチパネルスイッチの表示部の補助表示に対しユーザから操作入力があると、表示部に、機械的入力手段への入力を促す入力促進表示を表示する。これにより、ユーザは、入力促進表示が表示されているとき、機械的入力手段が操作可能であることを認識する。これとともに、ユーザは、入力促進表示により、機械的入力手段の操作が促される。コマンド表示手段は、表示部に入力促進表示が表示されてから、予め設定された設定期間に機械的入力手段に入力があると、機械的入力手段に割り当てられた機器に対応する音声入力の操作コマンドを表示する。すなわち、コマンド表示手段は、機械的入力手段へユーザの入力があると、この機械的入力手段に割り当てられた機器に対応する音声入力の操作コマンドを表示する。これにより、ユーザは、音声入力として、表示部に表示された操作コマンドを利用可能であることを認識する。
このように、請求項1記載の発明では、入力促進表示が表示部に表示されている状態で機械的入力手段に入力があると、この機械的入力手段に割り当てられている機器の操作として入力可能な操作コマンドが表示部に表示される。これにより、ユーザは、機械的入力手段を操作することにより、所望の機器についての操作コマンドに対して容易にアクセス可能である。したがって、ユーザが利用可能な操作コマンドを容易に把握することができる。
請求項2記載の発明では、復帰手段は、表示部に入力促進表示が表示されてから、設定期間が経過しても機械的入力手段への入力が無いとき、入力促進表示を消去し、待機画面に復帰する。そのため、表示部に入力促進表示が表示されてから設定期間が経過すると、機械的入力手段からの入力は受け付けられない。これにより、機械的入力手段は、本来の機能に復帰する。したがって、機械的入力手段の本来の機能を損なうことが無く、誤操作を低減することができる。
一実施形態による音声入力装置を適用したナビゲーション装置の概略的な構成を示すブロック図 一実施形態による音声入力装置を適用したナビゲーション装置の外観を示す模式図 一実施形態による音声入力装置の表示部に表示された待機画面を示す模式図 一実施形態による音声入力装置の表示部に表示された入力促進表示を示す模式図 一実施形態による音声入力装置の表示部に表示された操作コマンドを示す模式図 一実施形態による音声入力装置の表示部に表示された音声認識表示を示す模式図
以下、音声入力装置の一実施形態を図面に基づいて説明する。
図1は、一実施形態による音声入力装置を適用したナビゲーション装置を示している。ナビゲーション装置10は、制御部11、位置検出部12、地図データ入力部13、操作スイッチ部14、外部メモリ15、表示部16、音声コントローラ17、マイクロホン接続部18、リモコンセンサ19および送受信部20を備えている。制御部11は、図示しないCPU、ROMおよびRAMを有するマイクロコンピュータを主体として構成されている。
位置検出部12は、ナビゲーション装置10の現在位置を検出する。位置検出部12は、例えばジャイロスコープ、距離センサおよびGPS受信器などを有している。ジャイロスコープは、ナビゲーション装置10に加わる回転角速度を検出する。距離センサは、ナビゲーション装置の移動距離を検出する。GPS受信器は、GPS(Global Positioning System)衛星から送信される電波を受信する。
地図データ入力部13は、図示しない地図データ入力部およびドライブ装置などを有している。地図データ入力部13は、複数のノードおよびこれらノード同士をつなぐリンクにより形成された道路地図データ、目印データ、マップマッチング用データ、目的地データ、ならびに交通情報を道路データに変換するためのテーブルデータなどの各種データを記憶している。ドライブ装置は、この地図データ入力部に記憶された各種のデータを読み出す。地図データ入力部から読み出された地図データは、制御部11の図示しないRAMに一時的に保管される。なお、地図データ入力部は、外部メモリ15と共用してもよい。
操作スイッチ部14は、タッチパネルスイッチ21およびメカニカルスイッチを有している。タッチパネルスイッチ21は、表示部16の画面に設けられている。メカニカルスイッチ22は、図2に示すように表示部16の画面の近傍に設けられている。ユーザは、操作スイッチ部14の各スイッチを用いて、目的地、表示部16の画面や表示態様の切り替えなどを行う各種のコマンドの入力を行う。これにより、ナビゲーション装置10は、使用者の指示にしたがって作動する。
図1に示すリモコンセンサ19は、図示しないリモコンとの間でコマンドなどの送受信を行う。外部メモリ15は、例えば着脱可能なフラッシュメモリカードなどによって構成されている。表示部16は、例えばカラー液晶ディスプレイを有している。表示部16の画面には、ナビゲーション装置10の現在位置および進行方向などを示す現在地マークなどが表示される。音声コントローラ17は、スピーカ23に接続している。音声コントローラ17は、マイクロホン接続部18に接続されたマイクロホン24を経由して音声の入力を受け付けるとともに、音声認識部25において音声認識を実行する。音声コントローラ17は、音声認識の結果から入力されたコマンドを識別し、制御部11へ出力する。また、音声コントローラ17は、制御部11からの音声出力指令に基づいて、音声出力信号をスピーカ23へ出力する。
ナビゲーション装置10は、オーディオ機器31、電話機32、空調機器33およびアプリケーションソフトウェアを操作するための操作受付機能、つまりインターフェイスとしても機能する。ナビゲーション装置10は、テレビジョンやビデオ再生機などのオーディオ機器31と接続され、オーディオ機器31の操作の入力を受け付ける。同様に、ナビゲーション装置10は、電話機32に接続され、携帯電話機やスマートフォンのハンズフリー通話の操作の入力を受け付ける。ナビゲーション装置10は、空調機器33に接続され、例えば設定温度のなど空調機器33の操作の入力を受け付ける。さらに、ナビゲーション装置10は、外部メモリ15に記憶されているアプリケーションソフトウェアの実行に関する操作の入力を受け付ける。
次に、音声入力装置40について説明する。
音声入力装置40は、ナビゲーション装置10において音声入力を受け付ける機能として組み込まれている。音声入力装置40は、ナビゲーション装置10を構成するタッチパネルスイッチ21、メカニカルスイッチ22および音声コントローラ17を備えている。タッチパネルスイッチ21は、表示部16の画面に触れることにより操作が入力される。これにより、タッチパネルスイッチ21は、表示部16に表示した情報に対応する操作の入力を受け付ける。メカニカルスイッチ22は、機械的入力手段に相当する。メカニカルスイッチ22は、図2に示すように表示部16の周囲に設けられている。図2に示す例の場合、Audioスイッチ41、TVスイッチ42、MAPスイッチ43、Menuスイッチ44、AMスイッチ45、FMスイッチ46、CDスイッチ47、AUXスイッチ48などが設けられている。
Audioスイッチ41は、ナビゲーション装置10をオーディオ機器31として機能させるときに操作される。すなわち、ユーザは、Audioスイッチ41を押すことにより、ナビゲーション装置10をオーディオ機器31の画面として利用することができる。TVスイッチ42は、ナビゲーション装置10をオーディオ機器31の機能の一つであるTVとして機能させるときに操作される。MAPスイッチ43は、ナビゲーション装置10を本来の機能へ切り替えるときに操作される。Menuスイッチ44は、ナビゲーション装置10を各種機器の操作を行うためのメニュー画面に移行させるときに操作される。AMスイッチ45およびFMスイッチ46は、ナビゲーション装置10をオーディオ機器31の機能の一つであるラジオにおいて、周波数帯域を選択する際に操作される。CDスイッチ47は、ナビゲーション装置10をオーディオ機器31の機能の一つであるCDプレイヤーとして切り替えるときに操作される。AUXスイッチ48は、ナビゲーション装置10に接続された外部機器を操作するときに操作される。この他、Volumeスイッチ51、Tuneスイッチ52、スイッチ53およびスイッチ54などがメカニカルスイッチとして設けられている。
音声コントローラ17は、音声入力受付手段に相当する。音声コントローラ17は、上記のようにマイクロホン24および音声認識部25を有している。ユーザが発した音声は、マイクロホン24が受け付ける。マイクロホン24で受け付けられた音声は、音声認識部25において音声の認識が実行される。音声コントローラ17は、音声認識の結果から入力された音声に基づくコマンドを識別し、制御部11へ出力する。
音声入力装置40は、制御部11においてコンピュータプログラムを実行することにより、第一表示制御部61、第二表示制御部62、コマンド表示部63および復帰部64をソフトウェア的に実現している。これら第一表示制御部61、第二表示制御部62、コマンド表示部63および復帰部64は、ソフトウェア的に限らず、ハードウェアとソフトウェアとの協働によって実現してもよい。
第一表示制御部61は、図3に示すように表示部16に待機画面70を表示する。待機画面70は、音声コントローラ17による音声の入力を受け付けるために表示される。この待機画面70は、音声認識マニュアル画面であり、カテゴリ表示71および補助表示72が含まれている。カテゴリ表示71は、音声コントローラ17で受け付ける音声のカテゴリを示している。具体的には、図3に示すように「Audio」、「Phone」、「Downloaded Applications」、「Navigation」、「Air Conditioner」、「Others」のような複数のカテゴリを表示している。このカテゴリ表示71は、音声認識によって入力可能なコマンドが属するカテゴリを示している。補助表示72は、カテゴリ表示71とともに表示部16に表示される。補助表示72は、「Search from Hardware Switch」との文字を含んでいる。この補助表示72は、メカニカルスイッチ22の操作による入力を受け付け可能であることを示している。
第二表示制御部62は、表示部16に表示された待機画面70のうち補助表示72に入力があると、図4に示すように入力促進表示73を表示する。すなわち、第二表示制御部62は、図3に示す補助表示72に対応する位置においてタッチパネルスイッチ21へ操作入力つまりタッチ操作があると、図4に示すように入力促進表示73を表示する。入力促進表示73は、「Please push any hardware Switch」の文字を含んでおり、待機画面70に重ねて待機画面70のカテゴリ表示71および補助表示72を覆うように表示される。この入力促進表示73は、メカニカルスイッチ22の操作を促すために表示される。
コマンド表示部63は、表示部16に入力促進表示73が表示された後、メカニカルスイッチ22に入力があると、図5に示すように入力の操作がされたメカニカルスイッチ22に割り当てられた機器に対応する操作コマンド74を表示部16に表示する。すなわち、コマンド表示部63は、図4に示すように表示部16に入力促進表示73が表示されると、図示しないタイマーにおいて入力促進表示73が表示されてからの経過時間を計測する。そして、コマンド表示部63は、計測した経過時間が予め設定された設定期間を経過する前に、メカニカルスイッチ22の操作があった否かを判断する。コマンド表示部63は、設定期間が経過する前にメカニカルスイッチ22の操作があったと判断したとき、図5に示すように操作されたメカニカルスイッチ22に割り当てられている機器に対応する音声入力の操作コマンド74を表示部16に表示する。図5に示す例は、オーディオ機器31に対応するAudioスイッチ41が押されたときに表示される操作コマンド74である。一方、復帰部64は、表示部16に入力促進表示73が表示された後、メカニカルスイッチ22に入力が無いと、入力促進表示73を消去し、表示部16を待機画面70に復帰させる。すなわち、復帰部64は、設定期間内にメカニカルスイッチ22の操作が無かったと判断したとき、図3に示すように表示部16の入力促進表示73を消去し、表示部16を待機画面70へ復帰させる。本実施形態の場合、設定期間は、数秒から十数秒に設定されている。この設定期間は、任意に設定することができる。
次に、上記の構成による音声入力装置40の作動について説明する。
ユーザは、音声認識によって利用可能な操作コマンドを検索するとき、図3に示す音声認識マニュアルの待機画面70を表示させる。具体的には、ユーザにより表示部16の特定のタッチパネルスイッチ21が操作されると、第一表示制御部61は表示部16に待機画面70を表示する。ユーザは、メカニカルスイッチ22を用いた操作コマンドの検索を希望するとき、待機画面70に含まれる補助表示72に操作入力を行う。すなわち、ユーザは、補助表示72をタッチする。第二表示制御部62は、補助表示72に操作入力があると、図4に示すように入力促進表示73を表示部16に表示する。このとき、制御部11は、メカニカルスイッチ22の操作を促す音声をスピーカ23から発する構成としてもよい。
このとき、制御部11は、図示しないタイマーにおいて表示部16に待機画面70が表示されてからの経過時間を計測する。復帰部64は、予め設定された設定期間内にメカニカルスイッチ22の操作が行われなかったとき、入力促進表示73を消去し、表示部16を待機画面70に復帰する。一方、コマンド表示部63は、入力促進表示73を表示してから設定期間内にメカニカルスイッチ22の操作が行われたとき、操作されたメカニカルスイッチ22に割り当てられている機器に対応する図5に示すような操作コマンド74を表示部16に表示する。例えば、コマンド表示部63は、Audioスイッチ41にユーザの入力があったとき、オーディオ機器31に対応する操作コマンド74を表示部16に表示する。図5に示す操作コマンド74は、オーディオ機器31を操作するとき、音声認識で入力可能な操作コマンドである。すなわち、コマンド表示部63によって表示部16に表示された操作コマンド74は、オーディオ機器31の操作を行う際に音声認識による入力が可能な操作コマンドである。このとき、制御部11は、オーディオ機器31に対応するAudioスイッチ41が押されたことを示す音声、およびオーディオ機器31に対応する操作コマンド74が表示されたことをスピーカ23から発する構成としてもよい。
ここで、ナビゲーション装置10が音声認識モードへ移行すると、制御部11は表示部16に音声認識を開始したことを示す図6に示すような音声認識表示75を表示する。これにより、ユーザは、音声認識を利用して制御部11へ操作コマンドを入力可能となる。この音声認識表示75が表示されているとき、例えばユーザが「Play FM」と音声を発すると、音声コントローラ17はユーザが発した音声を認識する。そして、制御部11は、認識した音声に対応する操作コマンドに基づいて、オーディオ機器31のラジオ機能のうちFMラジオを起動する。また、ユーザが「Play artist ABC」と音声を発すると、制御部11はオーディオ機器31のプレイリストに含まれる「ABC」というアーティストの楽曲を再生する。
上記の例の場合、図3に示す待機画面70には「Phone」や「Air Conditioner」などのカテゴリ表示71が含まれているものの、これらのカテゴリに直接対応するメカニカルスイッチ22が無い。この場合、表示部16の近傍に配置されている各メカニカルスイッチ22に、電話機32や空調機器33を選択する機能を割り当ててもよい。例えば図4において入力促進表示73が表示部16に表示されているとき、図2に示すスイッチ53を押すことにより、「Phone」に対応する操作コマンドが表示される構成としてもよい。メカニカルスイッチ22への各種機器の割り当ては、人間工学などに基づいて任意に設定することができる。
以上説明した一実施形態では、タッチパネルスイッチ21の表示部16に表示された補助表示72にユーザから操作入力があると、メカニカルスイッチ22への入力を促す入力促進表示73が表示される。これにより、ユーザは、入力促進表示73が表示されているとき、メカニカルスイッチ22が操作可能であることを認識する。これとともに、ユーザは、入力促進表示73の表示にしたがって、メカニカルスイッチ22の操作が促される。コマンド表示部63は、表示部16に入力促進表示73が表示されてから、設定期間内にメカニカルスイッチ22へ入力があると、このメカニカルスイッチ22に割り当てられた機器に対応する音声入力の操作コマンド74を表示部16に表示する。これにより、ユーザは、音声入力として、表示部16に表示された操作コマンド74を利用可能であることを認識する。以上のように、ユーザは、メカニカルスイッチ22を操作することにより、所望の機器について利用可能な操作コマンド74を検索し、容易にアクセス可能となる。したがって、ユーザは利用可能な操作コマンド74を容易に把握することができる。
また、一実施形態では、復帰部64は、表示部16に入力促進表示73が表示されてから、設定期間内にメカニカルスイッチ22への入力が無いとき、入力促進表示73を消去し、表示部16の表示を待機画面70に復帰させる。そのため、表示部16に入力促進表示73が表示されてから設定期間が経過すると、メカニカルスイッチ22からの入力は受け付けられない。これにより、メカニカルスイッチ22は、本来の機能に復帰する。したがって、メカニカルスイッチ22の本来の機能を損なうことが無く、誤操作を低減することができる。
以上説明した本発明は、上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。
図面中、16は表示部、17は音声コントローラ(音声入力受付手段)、21はタッチパネルスイッチ、22はメカニカルスイッチ(機械的入力手段)、24はマイクロホン(音声入力受付手段)、40は音声入力装置、61は第一表示制御部(第一表示制御手段)、62は第二表示制御部(第二表示制御手段)、63はコマンド表示部(コマンド表示手段)、64は復帰部(復帰手段)、70は待機画面、71はカテゴリ表示、72は補助表示、73は入力促進表示、74は操作コマンドを示す。

Claims (2)

  1. 表示部(16)に表示した情報に対応する入力を受け付けるタッチパネルスイッチ(21)と、
    前記タッチパネルスイッチ(21)とは別に設けられ、機械的な操作による入力を受け付ける機械的入力手段(22)と、
    音声による操作の入力を受け付ける音声入力受付手段(17,24)と、を備える音声入力装置(40)であって、
    前記音声入力受付手段(17、24)による音声の入力を受け付けるために、前記表示部(16)に前記音声入力受付手段(17,24)で受け付ける音声のカテゴリ表示(71)に加え、前記機械的入力手段(22)からの入力を受け付けることを示す補助表示(72)を待機画面(70)として表示する第一表示制御手段(61)と、
    前記タッチパネルスイッチ(21)から前記表示部(16)に表示された前記補助表示(72)に操作入力があると、前記表示部(16)に、前記機械的入力手段(22)への入力を促す入力促進表示(73)を表示する第二表示制御手段(62)と、
    前記表示部(16)に前記入力促進表示(73)が表示されてから、予め設定された設定期間に前記機械的入力手段(22)に入力があると、前記機械的入力手段(22)に割り当てられた機器に対応する音声入力の操作コマンド(74)を表示するコマンド表示手段(63)と、
    を備える音声入力装置。
  2. 前記表示部(16)に前記入力促進表示(73)が表示されてから、前記設定期間が経過しても前記機械的入力手段(22)への入力が無いとき、前記第二表示制御手段(62)による前記入力促進表示(73)を消去し、前記待機画面(70)に復帰する復帰手段(64)をさらに備える請求項1記載の音声入力装置。
JP2014077743A 2014-04-04 2014-04-04 音声入力装置 Active JP6146366B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014077743A JP6146366B2 (ja) 2014-04-04 2014-04-04 音声入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014077743A JP6146366B2 (ja) 2014-04-04 2014-04-04 音声入力装置

Publications (2)

Publication Number Publication Date
JP2015200697A JP2015200697A (ja) 2015-11-12
JP6146366B2 true JP6146366B2 (ja) 2017-06-14

Family

ID=54552008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014077743A Active JP6146366B2 (ja) 2014-04-04 2014-04-04 音声入力装置

Country Status (1)

Country Link
JP (1) JP6146366B2 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3919210B2 (ja) * 2001-02-15 2007-05-23 アルパイン株式会社 音声入力案内方法及び装置
JP2002372984A (ja) * 2001-06-13 2002-12-26 Alpine Electronics Inc ナビゲーション装置
JP2003005897A (ja) * 2001-06-20 2003-01-08 Alpine Electronics Inc 情報入力方法および装置
JP2004037998A (ja) * 2002-07-05 2004-02-05 Denso Corp 音声制御装置

Also Published As

Publication number Publication date
JP2015200697A (ja) 2015-11-12

Similar Documents

Publication Publication Date Title
US10719146B2 (en) Input device with plurality of touch pads for vehicles
US9728187B2 (en) Electronic device, information terminal system, and method of starting sound recognition function
US9613593B2 (en) Display device
KR101495190B1 (ko) 영상표시장치 및 그 영상표시장치의 동작 방법
KR20170032114A (ko) 음성 인식 장치 및 그의 제어방법
CN105354003B (zh) 一种基于移动终端和车载终端互联的显示方法及装置
KR20130082339A (ko) 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
KR20110015105A (ko) 현재 상황에 적합한 사용 환경을 제공하는 휴대 단말기 및 이의 운용 방법
JP2010127781A (ja) 車載装置および同装置を有する車載システム
US20160124882A1 (en) Electronic Device, System, and Operation-Mode Selection Program
WO2017186009A1 (zh) 服务显示方法、装置、设备和系统
JP2010190594A (ja) ナビゲーション装置、ナビゲーション機能付き電子機器
JP2010205130A (ja) 制御装置
JP6362875B2 (ja) 車載装置、車載情報システム
KR101542495B1 (ko) 이동 단말기의 정보 표시 방법 및 그 장치
JP2005265572A (ja) 車載情報端末の操作方法、車載情報端末、携帯端末用プログラム、携帯電話
JP2009175908A (ja) 情報表示装置およびタッチパネルの操作方法
US8386162B2 (en) Electronic device and recording medium
JP2009025848A (ja) 入力手段を有する表示装置及びそれを備えた情報機器装置、ならびに入力手段を有する表示装置の駆動方法
JP6146366B2 (ja) 音声入力装置
WO2014164663A1 (en) System and method for automatic channel lineup determination
JP2008101979A (ja) 情報通信システム
US9374844B2 (en) Electronic device, connection destination switching method and storage medium
US20100174483A1 (en) Method and apparatus for road guidance using mobile terminal
KR20100117439A (ko) 이동 단말기의 제어 방법 및 그 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170501

R151 Written notification of patent or utility model registration

Ref document number: 6146366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250