JP5233644B2 - 入力装置 - Google Patents

入力装置 Download PDF

Info

Publication number
JP5233644B2
JP5233644B2 JP2008321092A JP2008321092A JP5233644B2 JP 5233644 B2 JP5233644 B2 JP 5233644B2 JP 2008321092 A JP2008321092 A JP 2008321092A JP 2008321092 A JP2008321092 A JP 2008321092A JP 5233644 B2 JP5233644 B2 JP 5233644B2
Authority
JP
Japan
Prior art keywords
screen
button
reaction force
joystick
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008321092A
Other languages
English (en)
Other versions
JP2010146170A (ja
Inventor
博丈 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008321092A priority Critical patent/JP5233644B2/ja
Publication of JP2010146170A publication Critical patent/JP2010146170A/ja
Application granted granted Critical
Publication of JP5233644B2 publication Critical patent/JP5233644B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Description

本発明は、操作者が画面を見ながら遠隔操作によって入力するための入力装置に関する。
遠隔操作による入力装置として、遠隔ハプティックデバイスがある。遠隔ハプティックデバイスでは、操作者が所定の操作を行った場合に、操作者に触覚感を与えるために、操作者に操作フィードバック反力を与える。遠隔ハプティックデバイスとしては、例えば、遠隔式のハプティックジョイスティック装置があり、操作者が画面上の複数のボタンのうちの1つを選択するためにジョイスティックを動かすと、その選択されたボタンの位置に対応してジョイスティックに反力を付加する。特許文献1に記載の車載の遠隔式入力装置では、メニュー画面や目的地設定画面などの各画面で複数のボタンをディスプレイに表示し、操作者が操作レバーによってディスプレイ上のボタンを選択操作したときにその選択されたボタンの位置に対応して操作レバーに対して節度感(反力)を与える。
特開2008−152361号公報 特開2007−168639号公報 特開2004―157944号公報
操作者によってある画面上の複数のボタンの中から1つのボタンが選択決定され、次の画面に遷移するときに、操作性を向上させるために、その遷移後の画面の複数のボタンの中の所定のボタン(例えば、操作頻度の高いボタン、その画面において前回選択されたボタン)を装置側で自動的に選択し、その選択したボタンをカーソル表示する場合がある。その際、装置側では自動選択したボタン位置に対応してジョイスティックに反力を付加するので、ジョイスティックがそのボタン位置に対応して強制的に動かされる。その結果、操作者は、ジョイスティックを動かしていないにもかかわらず、ジョイスティックが勝手に動くので、違和感を受ける。
図7に示す例の場合、操作者によってナビゲーションシステムにおける目的地設定画面DSにおいて電話番号ボタンTBが選択決定され、電話番号設定画面TSに遷移した場合を示している(なお、図7では、ボタンの太枠表示でカーソルを示し、矢印でポインタを示し、黒丸で反力マップでのジョイスティック位置を示している)。操作者によってジョイスティックで目的地設定画面DSの電話番号ボタンTBが選択操作された場合、電話番号ボタンTBがカーソル表示される。このとき、ハプティックジョイスティック装置では、目的地設定画面DSのボタン配置に対応した目的地設定画面用反力マップDMを用いており、ジョイスティック位置が目的地設定画面用反力マップDMの電話番号ボタンTB’にあり、その電話番号ボタンTB’の中心位置に従って反力を発生させる。その後、電話番号設定画面TSに遷移すると、ジョイスティックの操作無しで、ナビゲーションシステム側で、電話番号の0〜9のボタンの中から最初に最も選択される0を自動選択し、0ボタン0Bをカーソル表示する。その際、ハプティックジョイスティック装置では、電話番号設定画面TSのボタン配置に対応した電話番号設定画面用反力マップTMに切り替え、電話番号ボタンTB’の位置から電話番号設定画面用反力マップTMの0ボタン0B’にジョイスティック位置を強制的に移動させ、その0ボタン0B’の中心位置に従って反力を発生させる。その結果、操作者は、ジョイスティックを電話番号ボタンTBに対応した位置から動かしていないにもかかわらず、ジョイスティックが0ボタン0Bに対応した位置に勝手に動く。
そこで、本発明は、画面上での選択位置が自動的に変わった場合でも操作部を介して操作者に違和感を与えない入力装置を提供することを課題とする。
本発明に係る入力装置は、複数の選択可能部分を画面上に表示する表示手段と、操作者が表示手段の画面上の複数の選択可能部分から選択するための操作部を有する入力手段と、表示手段の画面上の選択位置に対応して操作部に力を付加する力付加手段を備え、操作者の操作部による選択操作に応じて表示手段の画面上の複数の選択可能部分のうちのいずれかの選択可能部分を選択状態にするとともに選択された選択可能部分の位置に対応した力を力付加手段によって操作部に付加する入力装置であって、力付加手段は、表示手段の画面上の複数の選択可能部分に応じて反力発生領域が設定されている反力マップを有し、操作部の絶対位置に対応した反力マップ上の位置が反力マップの任意の選択可能部分に応じた反力発生領域内にある場合に当該任意の選択可能部分の中心位置に引き込む反力を操作部に付加し、操作部への操作状態に関係なく、所定の選択順に基づいて表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を自動選択した場合に当該自動選択した選択可能部分を選択状態にするとともに操作部の絶対位置に対応した反力マップ上の位置を当該自動選択する前の状態で保持することによって当該自動選択した選択可能部分の中心位置に引き込む反力を操作部に付加しないことを特徴とする。
この入力装置では、操作者が入力手段の操作部によって表示手段の画面上の複数の選択可能部分の中からある選択可能部分を選択する操作を行うと、その選択操作に応じて表示手段の画面上の選択された選択可能部分を選択状態にし(例えば、カーソル表示、反転表示)、力付加手段によってその選択された選択可能部分の位置に対応した所定の力を操作部に付加する。特に、入力装置では、操作者による操作部への操作状態に関係なく、所定の選択順に基づいて表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を装置側で選択した場合、その装置側で選択した選択可能部分を選択状態にし、その装置側で選択した選択可能部分の位置に対応した力を操作部に付加しない。このように、入力装置では、装置側で自動で選択可能部分を選択した場合、その自動での選択に応じて画面上での選択位置を変えるが、その選択位置の変更に操作部への力の付加を非連動とするので、操作部が勝手に動くようなことがなく、操作者が違和感を受けず、煩わしさを感じない。
なお、所定の選択順は、画面上の複数の選択可能部分の中で選択の可能性が高い順であり、例えば、その画面において選択頻度の高い順、その画面において前回選択された順である。複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を選択する場合、ある画面上で1つだけを装置側で選択する場合の他に、ある画面で複数を装置側で選択する場合も含むものとする。
本発明の上記入力装置では、画面遷移時に、操作部への操作状態に関係なく、所定の選択順に基づいて表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を自動選択する構成としてもよい。
この入力装置では、表示手段の画面が遷移するときに遷移後の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を選択し、その選択に応じて選択可能部分を選択状態にし、その選択に応じた選択位置に対応した力を操作部に付加しない。このように、入力装置では、画面遷移時には、その遷移後の画面上での選択状態を自動で変え、その変えた選択位置に応じて操作部に力を付加しない。
本発明の上記入力装置では、入力手段は、操作者が表示手段の画面上で選択状態となった選択可能部分を決定するための決定入力部を有する構成としてもよい。
この入力装置では、操作者が入力手段の操作部によって表示手段の画面上の複数の選択可能部分の中からある選択可能部分を選択する操作を行うとその選択操作に応じて画面上の選択された選択可能部分を選択状態にし、さらに、操作者が入力手段の決定入力部によってその選択状態の選択可能部分を決定する操作を行うとその選択状態の選択可能部分の項目を決定する。したがって、入力装置では、操作者による操作部への操作状態に関係なく、所定の選択順に基づいて表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を装置側で選択した場合、その装置側で選択した選択可能部分を選択状態としているので、操作者が決定入力部によってその選択状態の選択可能部分を決定する操作を行うとその装置側で選択した選択可能部分の項目を決定する。その際、入力装置では、その装置側で選択した選択可能部分の位置に対応した力を操作部に付加しない。このように、入力装置では、操作者が決定操作だけで項目を決定ができる場合に、操作部が動くようなことがなく、操作者が違和感を受けない。
本発明の上記入力装置では、表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を自動選択した場合に当該自動選択した選択可能部分の位置に対応した反力を操作部に付加していない状態において、操作者による操作部への選択操作又は決定入力部への決定操作をトリガとして操作部に反力を付加していない状態を解除すると好適である。
この入力装置では、表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を選択した場合にその装置側で選択した選択可能部分の位置に対応した力を入力手段の操作部に付加していないときに、操作者が操作部によって選択操作あるいは決定入力部によって決定操作を行うと、操作部に力を付加していない状態を解除する。このように、入力装置では、操作部が非連動状態の場合には操作者による操作入力によって、操作部の通常の連動状態に戻すことができる。
本発明は、装置側で自動で選択可能部分を選択した場合、その自動での選択に応じて画面上での選択位置を変えるが、その選択位置の変更に操作部への力の付加を非連動とすることにより、操作部が勝手に動くようなことがなく、操作者が違和感を受けない。
以下、図面を参照して、本発明に係る入力装置の実施の形態を説明する。
本実施の形態では、本発明に係る入力装置を、車両に搭載されるハプティックジョイスティック装置に適用する。本実施の形態に係るハプティックジョイスティック装置は、ナビゲーションシステムの各種設定に用いられる入力装置であり、ディスプレイの設定画面から離れた遠隔式の入力装置である。本実施の形態には、2つの形態があり、第1の実施の形態が画面遷移時にポインタ及びカーソルがジョイスティック絶対位置と非連動の形態であり、第2の実施の形態が画面遷移時にカーソルのみがジョイスティック絶対位置と非連動の形態である。
図1〜図4を参照して、第1の実施の形態に係るハプティックジョイスティック装置1について説明する。図1は、本実施の形態に係るハプティックジョイスティック装置の構成図である。図2は、本実施の形態に係る画面遷移時の画面と反力マップの概要を示す一例である。図3は、第1の実施の形態に係る画面遷移時のポインタ及びカーソルがジョイスティック絶対位置と非連動の場合の画面と反力マップの一例である。図4は、図3の例に対応した画面、反力マップ、ポインタ、カーソルのタイミングチャートである。
ハプティックジョイスティック装置1は、操作者(運転者、助手席者)によってディスプレイに表示される各種設定画面の複数のボタンに対する選択操作及び決定操作をするための遠隔操作装置であり、カーソル位置(選択されているボタン位置)に基づいてジョイスティックに反力を付加する。特に、ハプティックジョイスティック装置1では、画面遷移時にナビゲーションシステム側で遷移後の設定画面における複数のボタンの中から1つのボタンを選択した場合、画面上のカーソル位置及びポインタ位置とジョイスティックの絶対位置とを非連動とし、そのときのカーソル位置に基づく反力をジョイスティックに付加しない。
ハプティックジョイスティック装置1は、決定ボタン10aを有するジョイスティック部10、操作検出手段11、反力発生手段12、ナビECU[Electronic Control Unit]21、ディスプレイ30及びECU40から構成される。
なお、本実施の形態ではジョイスティック部10が特許請求の範囲に記載する入力手段及び操作部に相当し、ジョイスティック部10の決定ボタン10aが特許請求の範囲に記載する決定入力部に相当し、反力発生手段12が特許請求の範囲に記載する力付加手段に相当し、ディスプレイ30が特許請求の範囲に記載する表示手段に相当する。
図2を参照して、ハプティックジョイスティック装置1における設定画面と反力マップについて説明しておく。図2に示す例は、ナビゲーションシステムでの目的地設定画面DSにおいて電話番号ボタンTBが選択操作及び決定操作され、電話番号設定画面TSに遷移した場合を示している。本実施の形態では、設定画面におけるボタンに対する太枠表示でカーソルを示し、設定画面における矢印でポインタを示し、反力マップにおける黒丸で反力マップ上でのジョイスティック位置を示している。カーソルは、設定画面の複数のボタンの中で選択されているボタンを示す。ポインタは、設定画面上でのジョイスティックの位置を示す。
各種設定画面には、複数のボタンが配置され、各ボタンに対して領域が設定されている。操作者がハプティックジョイスティック装置1のジョイスティック部10を前後左右方向に動かすと(傾倒すると)、そのジョイスティック部10の絶対位置に対応した設定画面上の位置にポインタ(矢印)が表示される。ポインタがあるボタンの設定領域に入ると、そのボタンがカーソル表示(太枠表示)される。ボタンがカーソル表示されているときに、操作者がジョイスティック部10の決定ボタン10aをONすると、そのカーソル表示されているボタンの項目が決定される。そして、次の設定画面又は地図などに画面が遷移する。図2に示す例の場合、操作者がジョイスティック部10によって目的地設定画面DSにおいて電話番号ボタンTBを選択操作したので、電話番号ボタンTBにカーソルが表示されるとともにポインタが表示されている。このときに、操作者が決定ボタン10aをONしたので、目的地設定方法として電話番号が決定され、電話番号設定画面TSに遷移している。
画面遷移すると、ナビゲーションシステムでは、操作性を向上させるために、その遷移後の設定画面の複数のボタンの中から、選択操作頻度の高いボタン又はその画面で前回使用されたボタンを自動的に選択する。その自動で選択されたボタンがカーソル表示されるとともに、そのボタン上にポインタが表示される。この際、カーソル及びポインタは、ジョイスティック部10の絶対位置に対応した位置とはなっていない(非連動)。この自動でボタンが選択されてカーソル表示されているときに、操作者がジョイスティック部10の決定ボタン10aをONすると、そのカーソル表示されているボタンの項目が決定される。この場合、操作者は、選択操作無しに、1つのボタンの項目を決定することができる。図2に示す例の場合、電話番号設定画面TSに遷移すると、電話番号の0〜9のボタンの中から一番目に最も選択される頻度の高い0が自動的に選択され、0ボタン0Bにカーソルが表示されるとともにポインタが表示される。このとき、操作者が決定ボタン10aをONすると(ジョイスティック操作)、電話番号の最初の番号として0が決定される。次に、操作者が7ボタン7Bにポインタが移動するようにジョイスティック部10を動かすと、7ボタン7Bにカーソルが表示されるとともにポインタが表示される。
反力マップは、設定画面毎に設けられ、設定画面の複数のボタンの設定領域に応じて反力発生領域が設定されている。通常、操作者がジョイスティック部10を前後左右方向に動かすと、ハプティックジョイスティック装置1では、ディスプレイ30に表示されている設定画面に対応した反力マップを用いて、そのジョイスティック部10の絶対位置に対応した反力マップ上の位置に基づいて反力を発生させる。ジョイスティック部10の絶対位置に対応した反力マップ上のジョイスティックの位置が反力マップのあるボタンの反力発生領域内にある場合、そのボタンの方向に引き込むような反力が発生され、その反力がジョイスティック部10に付加される。このようにボタンに引き込むような反力をジョイスティック部10に付加することにより、操作者はボタンを選択したことを感じるようなクリック感を受ける。図2(b)に示す例の場合、電話番号設定画面TSに遷移直後は目的地設定画面DSに対応した目的地設定画面用反力マップDMを用いており、ジョイスティック部10の絶対位置に対応した目的地設定画面用反力マップDM上のジョイスティックの位置が電話番号ボタンTB’の反力発生領域内にある。つまり、目的地設定画面DSの電話番号ボタンの中心位置に引き込むような反力がジョイスティック部10に付加されている。
画面遷移した場合、ナビゲーションシステムにおいて遷移後の設定画面の複数のボタンの中から1つのボタンが自動的に選択されているが、操作者はジョイスティック部10を遷移前の絶対位置から動かしていないので、操作者の操作に関係のない反力を発生させない。そのために、ハプティックジョイスティック装置1では、ディスプレイ30に表示されている遷移後の設定画面に対応した反力マップに切り替えずに、遷移前の設定画面に対応した反力マップを保持している。したがって、ハプティックジョイスティック装置1では、その遷移前の設定画面に対応した反力マップに基づいて、ジョイスティック部10の絶対位置に対応した遷移前の反力マップ上の位置に基づいて反力を発生させる。その後、この自動でボタンが選択されてカーソル表示されているときに、操作者がジョイスティック部10を操作すると、ハプティックジョイスティック装置1では、ディスプレイ30に表示されている遷移後の設定画面に対応した反力マップに切り替え、遷移後の設定画面に対応した反力マップに基づいて、操作者がジョイスティック部10を前後左右方向に動かしたジョイスティック部10の絶対位置に対応した反力マップ上の位置に基づいて反力を発生させる。図2(b)に示す例の場合、電話番号設定画面TSに遷移しても、目的地設定画面用反力マップDMが保持され、ジョイスティック部10の絶対位置に対応した目的地設定画面用反力マップDM上のジョイスティックの位置が電話番号ボタンTB’の反力発生領域にあるので、その電話番号ボタンの中心位置に引き込むような反力がジョイスティック部10に付加され続ける。次に、操作者が7ボタン7Bにポインタが移動するようにジョイスティック部10を動かすと、電話番号設定画面用反力マップTMに切り替えられ、ジョイスティック部10の絶対位置に対応した電話番号設定画面用反力マップTM上のジョイスティックの位置が7ボタン7B’の反力発生領域内に移動するので、その7ボタンの中心位置に引き込むような反力がジョイスティック部10に付加されている(図2(c))。
それでは、ハプティックジョイスティック装置1の各部について説明する。
ジョイスティック部10は、遠隔操作でディスプレイ30に表示される画面上のポインタの位置を動かしながらボタンを選択するための操作手段であり、さらに、選択されているボタン(カーソル表示されているボタン)を決定するための操作手段である。ジョイスティック部10のレバーは、X軸(車両前後方向)回りに回動可能かつY軸(車両左右方向)回りに回動可能に、基部が車両側に取り付けられている。そして、ジョイスティック部10では、X軸回りの傾倒角度と画面の左右方向の位置とが対応し、Y軸回りの傾倒角度と画面の上下方向の位置とが対応し、X軸回りの傾倒角度とY軸回りの傾倒角度によって画面上の位置が一意に決まる。したがって、操作者によってジョイスティック部10が所定の方向に傾倒操作されると、そのX軸回りの傾倒角度及びY軸回りの傾倒方向に応じて画面上のポインタが移動し、画面のあるボタンの設定領域内にポインタが位置するとそのボタンがカーソル表示される。
決定ボタン10aは、ジョイスティック部10の所定の位置(例えば、先端位置)に取り付けられる。決定ボタン10aは、ON/OFFスイッチであり、例えば、プッシュ式のスイッチである。操作者によって決定ボタン10aがON操作されると、画面上でカーソル表示されているボタンの項目が決定される。
操作検出手段11は、ジョイスティック部10の操作状態を検出する手段である。操作検出手段11では、ジョイスティック部10のX軸回りの傾倒角度を検出する。また、操作検出手段11では、ジョイスティック部10のY軸回りの傾倒角度を検出する。また、操作検出手段11では、決定ボタン10aのON/OFFを検出する。そして、操作検出手段11では、それらの検出した情報を操作検出信号としてECU40に送信する。
反力発生手段12は、ジョイスティック部10の絶対位置に対応した反力マップ上のジョイスティクの位置に基づいて反力を発生させ、その反力をジョイスティック部10に付加する手段である。反力発生手段12は、ジョイスティック部10に対してX軸回りの反力を発生させるアクチュエータとY軸回りの反力を発生させるアクチュエータを備えている。X軸回りのアクチュエータでは、ECU40からX軸駆動信号を受信すると、そのX軸駆動信号に応じて駆動し、X軸回りの所定のトルクを発生させる。Y軸回りのアクチュエータでは、ECU40からY軸駆動信号を受信すると、そのY軸駆動信号に応じて駆動し、Y軸回りの所定のトルクを発生させる。
ナビECU21は、ナビゲーションシステム用のECUであり、自車両の現在位置や走行方向の検出及び目的地までの経路案内制御などを行う。特に、ナビECU21では、操作者による各種設定を行う場合、複数のボタンを配置させた各設定画面のディスプレイ30に表示するための画像を生成する。この画像を生成する際に、ECU40からジョイスティック情報信号を受信すると、ナビECU21では、ジョイスティック情報信号に含まれるジョイスティックの絶対位置に応じた画面上の位置を算出し、設定画面画像においてその算出した位置にポインタ表示するための画像を加える。また、ナビECU21では、ジョイスティックの絶対位置に応じた画面上の位置が設定画面の複数のボタンの各設定領域内に入っているか否かを判定し、あるボタンの設定領域内に入っている場合には設定画面画像においてそのボタンをカーソル表示するための画像を加える。そして、ナビECU21では、その生成した設定画面画像を画像信号としてディスプレイ30に送信する。
図3に示す例の場合、図3(a)では目的地設定画面DSがディスプレイ30に表示され、目的地設定画面DSの電話番号ボタンTBにカーソルが表示されるとともに、電話番号ボタンTB内にポインタが表示されている。この場合、図4に示すように、カーソルの表示位置及びポインタの表示位置は、ジョイスティック部10の絶対位置に連動している。
また、設定画面のあるボタンをカーソル表示している場合にECU40からジョイスティック情報信号を受信すると、ナビECU21では、ジョイスティック情報信号に含まれる決定ボタン10aのON/OFF情報に基づいてONの場合にはそのカーソル表示されているボタンの項目を決定し、設定画面を次の画面に遷移するか否かを判定する。ある設定画面に遷移する場合、ナビECU21では、遷移する設定画面の複数のボタンの中から、その設定画面において一番目に最も選択される可能性の高いボタンを自動的に選択する。そして、ナビECU21では、その遷移する設定画面のディスプレイ30に表示するための画像を生成する。この画像を生成する際、ナビECU21では、設定画面画像においてその自動選択したボタンをカーソル表示するための画像を加えるとともに、その自動選択したボタンの中心位置にポインタを表示するための画像を加える。そして、ナビECU21では、その生成した設定画面画像を画像信号としてディスプレイ30に送信する。その後、ナビECU21では、上記と同様に、ECU40からのジョイスティック情報信号に基づいてカーソル表示及びポインタ表示させるための設定画面画像を生成する。
図3に示す例の場合、図3(b)では目的地設定画面DSから電話番号設定画面TSに画面遷移し、画面遷移したときに電話番号設定画面TSにおいて一番目に最も選択される可能性の高いボタンとして0ボタンが自動選択されるので、電話番号設定画面TSの0ボタン0Bにカーソルが表示されるとともに、0ボタン0B内にポインタが表示されている。この場合、図4に示すように、カーソルの表示位置及びポインタの表示位置は、ジョイスティック部10の絶対位置に非連動となる。0ボタン0Bにカーソル表示されているときに決定ボタン10aがONされた後に、ジョイスティック部10が7ボタンの方向に動かされたので、電話番号設定画面TSの7ボタン7Bにカーソルが表示されるとともに、7ボタン7B内にポインタが表示されている(図3(c))。この場合、図4(c)に示すように、カーソルの表示位置及びポインタの表示位置は、再び、ジョイスティック部10の絶対位置に連動している。
また、ナビECU21では、設定画面を遷移する毎に、その設定画面の複数のボタンに対応した反力発生領域を設定した反力マップを生成する。そして、ナビECU21では、その反力マップを反力マップ信号としてECU40に送信する。
ディスプレイ30は、車載の各種システムで共用されるディスプレイである。ディスプレイ30では、ナビECU21からの画像信号を受信すると、その画像信号に示される画像を画面表示する。
ECU40は、CPU[Central Processing Unit]、ROM[ReadOnly Memory]、RAM[Random Access Memory]などからなり、ハプティックジョイスティック装置1を統括制御する電子制御ユニットである。ECU40では、一定時間毎に操作検出手段11から操作検出信号を受信するとともに、設定画面が遷移される毎にナビECU21から反力マップ信号を受信する。そして、ECU40では、これら各信号に基づいて各処理を行い、ジョイスティック情報信号をナビECU21に送信するとともに各駆動信号を反力発生手段12に送信する。
具体的には、ECU40では、操作検出信号を受信すると、操作検出信号に含まれるX軸回りの傾倒角度及びY軸回りの傾倒角度に基づいてジョイスティック部10の絶対位置を算出し、そのジョイスティック部10の絶対位置を示すジョイスティック情報信号をナビECU21に送信する。また、ECU40では、操作検出信号を受信すると、操作検出信号に含まれるジョイスティック部10の絶対位置情報を示すジョイスティック情報信号をナビECU21に送信する。
ECU40では、反力マップ信号を受信すると(画面遷移した場合)、画面遷移後にジョイスティック部10の決定ボタン10aがONされたか否かあるいはジョイスティック部10の絶対位置が移動したか否かを判定する。画面遷移後に決定ボタン10aがONされていないかつジョイスティック部10の絶対位置が移動していない場合、ECU40では、画面遷移前の反力マップを保持する。一方、画面遷移後にジョイスティック部10の絶対位置が移動した場合、ECU40では、反力マップ信号に示される画面遷移後の反力マップに切り替える。
図3及び図4に示す例の場合、目的地設定画面DSから電話番号設定画面TSに遷移するときに、ナビECU21から反力マップ信号で電話番号設定画面用反力マップTMが送信されるが、0ボタン0Bにカーソル表示されているときにジョイスティック部10の絶対位置が移動するまで、目的地設定画面用反力マップDMが保持される。ジョイスティック部10の絶対位置が移動すると、目的地設定画面用反力マップDMから電話番号設定画面用反力マップTMに切り替えられる。
ECU40では、ジョイスティックの絶対位置を算出する毎に、反力マップ上でそのジョイスティックの絶対位置に対応する位置を移動させる。そして、ECU40では、その反力マップ上のジョイスティックの位置が各ボタンの反力発生領域内に入っているか否かを判定し、あるボタンの反力発生領域内に入っている場合にはそのボタンに引き込むような反力を発生させるためのX軸駆動信号及びY軸駆動信号を生成し、そのX軸駆動信号及びY軸駆動信号を反力発生手段12に送信する。
図3に示す例の場合、目的地設定画面DSの電話番号ボタンTBにカーソル表示されている場合(図3(a))、目的地設定画面用反力マップDMの電話番号ボタンTB’の反力発生領域内にジョイスティックの位置が入っているので、電話番号ボタンに引き込むような反力を発生さるためのX軸駆動信号及びY軸駆動信号が生成され、ジョイスティック部10に電話番号ボタンに引き込むような反力が付加される。また、画面遷移時(図3(b))に、電話番号設定画面TSの0ボタン0Bにカーソル表示されるが、目的地設定画面用反力マップDMが保持され、電話番号ボタンTB’の反力発生領域内にジョイスティックの位置が入っているので、画面遷移前の電話番号ボタンに引き込むような反力が継続される。また、ジョイスティック部10を操作して電話番号設定画面TSの7ボタン7Bにカーソル表示されている場合(図3(c))、電話番号設定画面用反力マップTMに切り替わっており、7ボタン7B’の反力発生領域内にジョイスティックの位置が入っているので、7ボタンに引き込むような反力を発生さるためのX軸駆動信号及びY軸駆動信号が生成され、ジョイスティック部10に7ボタンに引き込むような反力が付加される。
図1及び図3を参照して、第1の実施の形態に係るハプティックジョイスティック装置1の動作について説明する。ここでは、図3に示す例で説明する。
目的地を設定するために、ディスプレイ30に目的地設定画面DSが表示されている場合、操作者が電話番号ボタンを選択するためにジョイスティック部10を動かす。操作検出手段11では、そのジョイスティック部10のX軸回りの傾倒角度及びY軸回りの傾倒角度を検出し、その検出情報を操作検出信号としてECU40に送信する。この操作検出信号を受信すると、ECU40では、X軸回りの傾倒角度及びY軸回りの傾倒角度に基づいてジョイスティック部10の絶対位置を算出し、そのジョイスティック部10の絶対位置を示すジョイスティック情報信号をナビECU21に送信する。
このジョイスティック情報信号を受信すると、ナビECU21では、ジョイスティックの絶対位置に応じて画面上の位置を算出し、目的地設定画面DS内の電話番号ボタンTB内にポインタを表示しかつ目的地設定画面DSの電話番号ボタンTBにカーソルを表示する目的地設定画面画像を画像信号としてディスプレイ30に送信する。この画像信号を受信すると、ディスプレイ30では、電話番号ボタンTB内でポインタ表示するとともに電話番号ボタンTBをカーソル表示した目的地設定画面DSを表示する。
また、ECU40では、そのジョイスティックの絶対位置に対応する位置が目的地設定画面用反力マップDSの各ボタンの反力発生領域内に入っているか否かを判定し、電話番号ボタンTB’の反力発生領域内に入っているので、電話番号ボタンに引き込むような反力を発生させるためのX軸駆動信号及びY軸駆動信号を反力発生手段12に送信する。このX軸駆動信号及びY軸駆動信号を受信すると、反力発生手段12では、そのX軸駆動信号に応じて駆動してX軸回りの所定のトルクを発生させるとともに、そのY軸駆動信号に応じて駆動してY軸回りの所定のトルクを発生させる。すると、ジョイスティック部10には、電話番号ボタンに引き込むような反力が付加される。
目的地設定画面DSの電話番号ボタンTBにカーソル表示されているときに、操作者が電話番号ボタンを決定するために決定ボタン10aをONする。操作検出手段11では、その決定ボタン10aのONを検出し、その検出情報を操作検出信号としてECU40に送信する。この操作検出信号を受信すると、ECU40では、そのON情報を示すジョイスティック情報信号をナビECU21に送信する。
このジョイスティック情報信号を受信すると、ナビECU21では、決定ボタン10aのON情報に基づいてカーソル表示されている電話番号による目的地設定を決定し、電話番号設定画面TSに遷移すると判定する。そして、ナビECU21では、電話番号設定画面TSの0〜9のボタンの中から0ボタンを自動的に選択し、電話番号設定画面TSの0ボタン0Bの中心位置にポインタを表示しかつ0ボタン0Bにカーソルを表示する電話番号設定画面画像を画像信号としてディスプレイ30に送信する。この画像信号を受信すると、ディスプレイ30では、0ボタン0B内でポインタ表示するとともに0ボタン0Bをカーソル表示した電話番号設定画面TSを表示する。また、ナビECU21では、電話番号設定画面用反力マップTMを含む反力マップ信号をECU40に送信する。
この反力マップ信号を受信すると、ナビECU21では、電話番号設定画面遷移後にジョイスティック部10の絶対位置が移動したか否か判定する。ジョイスティック部10の絶対位置が移動していないと判定した場合、ECU40では、画面遷移前の目的地設定画面用反力マップDMを保持し、上記と同様に電話番号ボタンに引き込むような反力を発生させるためのX軸駆動信号及びY軸駆動信号を反力発生手段12に送信する。これによって、ジョイスティック部10には、電話番号ボタンに引き込むような反力が付加され続ける。
電話番号設定画面TSの0ボタン0Bにカーソル表示されているときに、操作者が0ボタンを決定するために決定ボタン10aをONする。操作検出手段11では、その決定ボタン10aのONを検出し、その検出情報を操作検出信号としてECU40に送信する。この操作検出信号を受信すると、ECU40では、そのON情報を示すジョイスティック情報信号をナビECU21に送信する。
このジョイスティック情報信号を受信すると、ナビECU21では、決定ボタン10aのON情報に基づいてカーソル表示されている0を一番目の電話番号として決定する。
次の電話番号を入力するために、操作者が電話番号設定画面TSの7ボタンを選択するためにジョイスティック部10を動かす。操作検出手段11では、そのジョイスティック部10のX軸回りの傾倒角度及びY軸回りの傾倒角度を検出し、その検出情報を操作検出信号としてECU40に送信する。この操作検出信号を受信すると、ECU40では、X軸回りの傾倒角度及びY軸回りの傾倒角度に基づいてジョイスティック部10の絶対位置を算出し、そのジョイスティック部10の絶対位置を示すジョイスティック情報信号をナビECU21に送信する。また、ECU40では、ジョイスティック部10の絶対位置が移動したと判定した場合、目的地設定画面用反力マップDMから電話番号設定用反力マップTMに切り替える。
このジョイスティック情報信号を受信すると、ナビECU21では、ジョイスティックの絶対位置に応じて画面上の位置を算出し、電話番号設定画面TSの7ボタン7B内にポインタを表示しかつ電話番号設定画面TSの7ボタン7Bにカーソルを表示する電話番号設定画面画像を画像信号としてディスプレイ30に送信する。この画像信号を受信すると、ディスプレイ30では、7ボタン7B内でポインタ表示するとともに7ボタン7Bをカーソル表示した電話番号設定画面TSを表示する。
また、ECU40では、そのジョイスティックの絶対位置に対応する位置が電話番号設定画面用反力マップTMの各ボタンの反力発生領域内に入っているか否かを判定し、7ボタン7B’の反力発生領域内に入っていると判定し、7ボタンに引き込むような反力を発生させるためのX軸駆動信号及びY軸駆動信号を反力発生手段12に送信する。このX軸駆動信号及びY軸駆動信号を受信すると、反力発生手段12では、そのX軸駆動信号に応じて駆動してX軸回りの所定のトルクを発生させるとともに、そのY軸駆動信号に応じて駆動してY軸回りの所定のトルクを発生させる。すると、ジョイスティック部10には、7ボタンに引き込むような反力が付加される。
このハプティックジョイスティック装置1によれば、ナビゲーションシステムにおいて画面遷移し、遷移後の設定画面で自動的にボタンを選択した場合、操作者によってジョイスティック操作されるまで遷移前の反力マップを保持するので、ジョイスティック部10には自動選択されたボタン位置(カーソル表示されているボタン位置)に対応した反力が付加されない。そのため、操作者が動かしていないにもかかわらず、ジョイスティック部10が勝手に動くようなことがなく、操作者が違和感を受けず、煩わしさを感じない。
また、ハプティックジョイスティック装置1によれば、ナビゲーションシステムにおいて画面遷移し、遷移後の設定画面で自動的にボタンを選択した場合、画面上のカーソル及びポインタをジョイスティック部10の絶対位置に非連動とし、自動的に選択したボタンに対応してカーソル表示及びポインタ表示を行うので、操作者がどのボタンが選択されているかを認識できる。その際、操作者は決定ボタン10aへのON操作だけでボタンを決定できるので、操作性も向上する。例えば、全ての段階(画面遷移、電話番号入力など)で次の項目ボタンを自動選択するようにした場合、自動選択された項目が適当であれば、決定ボタン10aのON操作のみで操作入力が完了し、その間ジョイスティック部10は動かないため、煩わしさを軽減できる。
図1及び図5、図6を参照して、第2の実施の形態に係るハプティックジョイスティック装置2について説明する。図5は、第2の実施の形態に係る画面遷移時のカーソルのみがジョイスティック絶対位置と非連動の場合の画面と反力マップの一例である。図6は、図5の例に対応した画面、反力マップ、ポインタ、カーソルのタイミングチャートである。なお、ハプティックジョイスティック装置2では、第1の実施の形態に係るハプティックジョイスティック装置1と同様の構成については同一の符号を付し、その説明を省略する。
ハプティックジョイスティック装置2は、第1の実施の形態に係るハプティックジョイスティック装置1と比較すると、画面遷移時にナビゲーションシステムによって遷移後の設定画面における複数のボタンの中から1つのボタンを選択した場合、画面上のカーソル位置だけジョイスティック絶対位置と非連動とした点だけが異なる。そこで、その点のみ詳細に説明する。
ハプティックジョイスティック装置2は、決定ボタン10aを有するジョイスティック部10、操作検出手段11、反力発生手段12、ナビECU22、ディスプレイ30及びECU40から構成される。第2の実施の形態では、ナビECU22における第1の実施の形態と異なる処理についてのみ詳細に説明する。
ナビECU22では、画面遷移する場合に遷移する設定画面の複数のボタンの中からボタンを1つ自動的に選択すると、その遷移後の複数のボタンを配置させた設定画面のディスプレイ30に表示するための画像を生成する。この画像を生成する際、ナビECU22では、ECU40からのジョイスティック情報信号に含まれるジョイスティックの絶対位置に応じた画面上の位置を算出し、設定画面画像においてその算出した位置にポインタを表示するための画像を加える。また、ナビECU22では、設定画面画像においてその自動選択したボタンをカーソル表示するための画像を加える。そして、ナビECU22では、その生成した設定画面画像を画像信号としてディスプレイ30に送信する。
図5に示す例の場合、図5(b)のように目的地設定画面DSから電話番号設定画面TSに画面遷移し、画面遷移したときに電話番号設定画面TSにおいて0ボタンが自動的に選択されるので、電話番号設定画面TSの0ボタン0Bにカーソルが表示されるとともに、ジョイスティック部10の絶対位置に応じた位置(目的地設定画面DSの電話番号ボタンTB内の位置が保持される)にポインタが表示されている。この場合、図6(b)に示すように、カーソルの表示位置は、ジョイスティック部10の絶対位置に非連動となる。しかし、ポインタの表示位置は、ジョイスティック部10の絶対位置に連動している。0ボタン0Bにカーソル表示されているときに決定ボタン10aがONされた後に、ジョイスティック部10が7ボタンの方向に動かされたので、電話番号設定画面TSの7ボタン7Bにカーソルが表示されるとともに、7ボタン7B内にポインタが表示されている。この場合、図6(c)に示すように、カーソルの表示位置は、再び、ジョイスティック部10の絶対位置に連動する。
図1及び図5を参照して、第2の実施の形態に係るハプティックジョイスティック装置2の動作について説明する。ここでは、図5に示す例で説明し、第1の実施の形態で説明した動作と異なる点だけ詳細に説明する。
目的地設定画面DSの電話番号ボタンTBにカーソル表示されている場合、操作者が電話番号ボタンを決定するために決定ボタン10aをONする。操作検出手段11では、その決定ボタン10aのONを検出し、その検出情報を操作検出信号としてECU40に送信する。この操作検出信号を受信すると、ECU40では、そのON情報を示すジョイスティック情報信号をナビECU22に送信する。
このジョイスティック情報信号を受信すると、ナビECU22では、決定ボタン10aのON情報に基づいてカーソル表示されている電話番号による目的地設定を決定し、電話番号設定画面TSに遷移すると判定する。そして、ナビECU22では、電話番号設定画面TSの0〜9のボタンの中から0ボタンを自動的に選択し、電話番号設定画面TS上でジョイスティック部10の絶対位置に対応した位置にポインタを表示しかつ0ボタン0Bにカーソルを表示する電話番号設定画面画像を画像信号としてディスプレイ30に送信する。この画像信号を受信すると、ディスプレイ30では、ジョイスティック部10の現在の絶対位置に対応した位置でポインタ表示するとともに0ボタン0Bをカーソル表示した電話番号設定画面TSを表示する。
このハプティックジョイスティック装置2によれば、第1の実施の形態に係るハプティックジョイスティック装置1と同様の効果を有する。また、ハプティックジョイスティック装置2によれば、ナビゲーションシステムにおいて画面遷移し、遷移後の設定画面で自動的にボタンを選択した場合、画面上のカーソルだけをジョイスティック部10の絶対位置に非連動とし、自動的にボタンを選択した位置に対応してカーソル表示し、ジョイスティック部10の絶対位置に対応した位置でポインタ表示を行うので、操作者がジョイスティック部10の実際の位置を認識できるとともにどのボタンが選択されているかを認識できる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では入力装置として車両に搭載されるハプティックジョイスティック装置に適用したが、車両以外で用いられる入力装置にも適用可能であり、ジョイスティック以外にもトラックボールなどの他の遠隔ハプティックデバイスにも適用可能である。
また、本実施の形態ではナビゲーションシステムの設定画面に適用したが、遠隔操作可能な様々な画面(例えば、エアコンの設定画面、オーディオの設定画面)に対する入力に適用可能である。
また、本実施の形態ではジョイスティックに付加する力として選択されたボタンの中心位置に引き込むような力を付加する構成としたが、選択されたボタンの位置に基づいて操作者の操作方向とは逆方向の力を付加するなどの様々な力(操作者に触覚感を与えるような力)を付加してよい。
また、本実施の形態では画面遷移時に遷移した画面上の最初のボタンだけを装置側で自動的に選択する構成としたが、同一の画面上で複数のボタンを自動的に選択する構成としてもよく、その場合には自動で複数のボタンを選択している間はその各ボタン位置に対応した力をジョイスティックに付加しない。例えば、電話番号選択画面の場合には最も操作頻度の高い市外局番あるいは電話番号に従って複数のボタンを順次自動選択する。
また、本実施の形態では各ボタンが選択された状態をカーソル表示で表わしたが、反転表示、他色表示などの他の表示方法でもよい。
また、本実施の形態ではジョイスティックの絶対位置が移動した場合に反力マップを切り替えたが、ジョイスティックの傾倒操作や決定ボタンのONを検出した場合に反力マップを切り替えるようにしてもよい。
本実施の形態に係るハプティックジョイスティック装置の構成図である。 本実施の形態に係る画面遷移時の画面と反力マップの概要を示す一例である。 第1の実施の形態に係る画面遷移時のポインタ及びカーソルがジョイスティック絶対位置と非連動の場合の画面と反力マップの一例である。 図3の例に対応した画面、反力マップ、ポインタ、カーソルのタイミングチャートである。 第2の実施の形態に係る画面遷移時のカーソルのみがジョイスティック絶対位置と非連動の場合の画面と反力マップの一例である。 図5の例に対応した画面、反力マップ、ポインタ、カーソルのタイミングチャートである。 従来の画面遷移時の画面と反力マップの一例である。
符号の説明
1,2…ハプティックジョイスティック装置、10…ジョイスティック部、10a…決定ボタン、11…操作検出手段、12…反力発生手段、21,22…ナビECU、30…ディスプレイ、40…ECU

Claims (4)

  1. 複数の選択可能部分を画面上に表示する表示手段と、操作者が前記表示手段の画面上の複数の選択可能部分から選択するための操作部を有する入力手段と、前記表示手段の画面上の選択位置に対応して前記操作部に力を付加する力付加手段を備え、操作者の前記操作部による選択操作に応じて前記表示手段の画面上の複数の選択可能部分のうちのいずれかの選択可能部分を選択状態にするとともに選択された選択可能部分の位置に対応した力を前記力付加手段によって前記操作部に付加する入力装置であって、
    前記力付加手段は、前記表示手段の画面上の複数の選択可能部分に応じて反力発生領域が設定されている反力マップを有し、前記操作部の絶対位置に対応した反力マップ上の位置が反力マップの任意の選択可能部分に応じた反力発生領域内にある場合に当該任意の選択可能部分の中心位置に引き込む反力を前記操作部に付加し、
    前記操作部への操作状態に関係なく、所定の選択順に基づいて前記表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を自動選択した場合に当該自動選択した選択可能部分を選択状態にするとともに前記操作部の絶対位置に対応した反力マップ上の位置を当該自動選択する前の状態で保持することによって当該自動選択した選択可能部分の中心位置に引き込む反力を前記操作部に付加しないことを特徴とする入力装置。
  2. 画面遷移時に、前記操作部への操作状態に関係なく、所定の選択順に基づいて前記表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を自動選択することを特徴とする請求項1に記載する入力装置。
  3. 前記入力手段は、操作者が前記表示手段の画面上で選択状態となった選択可能部分を決定するための決定入力部を有することを特徴とする請求項1又は請求項2に記載する入力装置。
  4. 前記表示手段の画面上の複数の選択可能部分のうちのいずれか1つ以上の選択可能部分を自動選択した場合に当該自動選択した選択可能部分の位置に対応した反力を前記操作部に付加していない状態において、操作者による前記操作部への選択操作又は前記決定入力部への決定操作をトリガとして前記操作部に反力を付加していない状態を解除することを特徴とする請求項1〜請求項3のいずれか1項に記載する入力装置。
JP2008321092A 2008-12-17 2008-12-17 入力装置 Expired - Fee Related JP5233644B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008321092A JP5233644B2 (ja) 2008-12-17 2008-12-17 入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008321092A JP5233644B2 (ja) 2008-12-17 2008-12-17 入力装置

Publications (2)

Publication Number Publication Date
JP2010146170A JP2010146170A (ja) 2010-07-01
JP5233644B2 true JP5233644B2 (ja) 2013-07-10

Family

ID=42566571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008321092A Expired - Fee Related JP5233644B2 (ja) 2008-12-17 2008-12-17 入力装置

Country Status (1)

Country Link
JP (1) JP5233644B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5263243B2 (ja) 2010-09-02 2013-08-14 株式会社デンソー 車両用表示装置
JP5387556B2 (ja) * 2010-12-24 2014-01-15 株式会社デンソー 車載装置
JP5664323B2 (ja) * 2011-02-21 2015-02-04 株式会社デンソー 操作サポートシステム、車載器、及び、携帯端末
JP5924243B2 (ja) * 2012-11-16 2016-05-25 株式会社デンソー 操作選択装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272805A (ja) * 2003-03-11 2004-09-30 Nissan Motor Co Ltd 多方向入力装置
JP4148084B2 (ja) * 2003-09-25 2008-09-10 株式会社デンソー 表示操作システム
JP4148104B2 (ja) * 2003-10-31 2008-09-10 株式会社デンソー 表示操作システム
JP4720258B2 (ja) * 2005-04-05 2011-07-13 ソニー株式会社 データ処理方法、電子機器およびプログラム
JP4899627B2 (ja) * 2006-05-15 2012-03-21 トヨタ自動車株式会社 車両用入力装置
JP2008090640A (ja) * 2006-10-03 2008-04-17 Toyota Motor Corp 入力装置

Also Published As

Publication number Publication date
JP2010146170A (ja) 2010-07-01

Similar Documents

Publication Publication Date Title
US8384666B2 (en) Input device for operating in-vehicle apparatus
US8032280B2 (en) Switch control device and switch control method
JP4257549B2 (ja) 操作装置
JP5187179B2 (ja) 車両周辺監視装置
EP2726970B1 (en) Vehicle operation device and vehicle operation method
JP5177120B2 (ja) 遠隔操作デバイス用表示制御装置
JP6555348B2 (ja) 画像表示制御装置
US20070182721A1 (en) Display Device, User Interface, and Method for Providing Menus
US8355838B2 (en) Vehicular input device and method for controlling the same
WO2010043944A1 (en) Parking assistance apparatus and control method thereof
US9541416B2 (en) Map display controller
JP2011193040A (ja) 車両用入力装置、ポインタ表示方法
WO2015162895A1 (ja) 画像処理装置、画像処理装置の制御方法、プログラム、表示装置
JP2010096669A (ja) ナビゲーション装置
JP2014144735A (ja) 表示制御装置
CN106458114A (zh) 车辆用操作装置
JP5233644B2 (ja) 入力装置
JP6477123B2 (ja) 操作システム
JP4840332B2 (ja) 遠隔操作装置
JP2006103358A (ja) 車両用情報表示装置
JP5234608B2 (ja) 動作パラメータ設定装置および動作パラメータ設定方法
JP2009301082A (ja) 操作感触付与型入力装置
JP4962387B2 (ja) ポインタ表示・移動装置およびポインタ表示・移動装置用のプログラム
JP2011086033A (ja) 遠隔操作装置
CN111806463B (zh) 用于展现交通工具的操作模式切换的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130311

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees