JP6053803B2 - 情報入力装置及びその制御方法 - Google Patents

情報入力装置及びその制御方法 Download PDF

Info

Publication number
JP6053803B2
JP6053803B2 JP2014535754A JP2014535754A JP6053803B2 JP 6053803 B2 JP6053803 B2 JP 6053803B2 JP 2014535754 A JP2014535754 A JP 2014535754A JP 2014535754 A JP2014535754 A JP 2014535754A JP 6053803 B2 JP6053803 B2 JP 6053803B2
Authority
JP
Japan
Prior art keywords
cursor
movement
user
sensor
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014535754A
Other languages
English (en)
Other versions
JP2014528625A (ja
Inventor
フェイ ユエ
フェイ ユエ
モーリン フィリップ
モーリン フィリップ
クリィズ デビッド
クリィズ デビッド
山内　真樹
真樹 山内
良宏 小島
良宏 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2014528625A publication Critical patent/JP2014528625A/ja
Application granted granted Critical
Publication of JP6053803B2 publication Critical patent/JP6053803B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報入力装置及びその制御方法に関し、特に、コンピュータおよび家電製品用のユーザインターフェースにおけるポインティングシステム及びその制御方法に関する。より詳細には、ディスプレイ上のカーソルまたはポインタの位置および外観を制御するために、多数の入力ソースに同時にかつ連携して応答するポインティング装置およびその制御方法に関する。
ポインティング操作は、コンピュータおよび多くの家電製品によって使用されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）システムに見られる基本的な操作である。一般的には、ユーザが、マウスのようなコントローラを操作し、ディスプレイ上に表示されたカーソルを移動させる操作がある。ユーザは、カーソルを移動させて、興味のあるアイテムを選択し、多くの画面を移動し、内容などを調査する。ポインティング操作では、マウスを使用することが一般的である一方で、いくつかのアプリケーションでは、肘、手、指のような体の部位を同時にかつ連携的に動かして対象物をポインティングするようなジェスチャ（身振り）による操作が適用されている。例えば、ユーザがリモート入力デバイスを持ち、その保持したコントローラを使って、空間でジェスチャ操作を行うことにより、当該ジェスチャが表示画面上のカーソル移動として変換されるリモートポインティング方法が挙げられる（例えば特許文献１）。
米国特許第７６９６９８０号明細書
しかしながら、前述のリモートポインティング方法は、動作範囲とポインティング精度との間でトレードオフの関係がある。具体的に説明すると、ディスプレイの全範囲を十分に操作可能な領域とするリモートポインティングデバイスの場合には、ユーザが所望のカーソル位置に一旦到達してもユーザ自身の手の位置を安定保持させるのが困難であるため、正確なコントロールが難しい傾向がある。
反対に、ディスプレイの予め定められた領域内において正確なコントロールを提供するリモートポインティングデバイスの場合には、ディスプレイ上の他の領域を容易に操作できない。例えば、タッチ型のコントローラの場合では、限られた範囲内において正確なポインティング操作が可能であるが、ディスプレイ上の異なる領域への移動には指を滑らすスワイプ操作を何度も繰り返す必要があり、その結果ユーザを疲れさせてしまう。
本発明は上記課題に鑑みてなされたものであり、ディスプレイの全範囲において高精度かつ安定したリモートポインティングが可能な情報入力装置及びその制御方法を提供することを目的とする。
上記の課題を解決するために、本発明の情報入力装置は、ディスプレイ上に表示されるグラフィックカーソルをユーザが制御するための情報入力装置であって、ユーザの身体の一部の動きである第１種のユーザ動作に反応して第１センサデータを生成する第１センサと、前記第１種のユーザ動作よりも細かいユーザの身体の一部の動きである第２種のユーザ動作に反応して第２センサデータを生成する第２センサと、前記第１種のユーザ動作に対応した広範囲移動成分と前記第２種のユーザ動作に対応し、前記広範囲移動成分よりも高精度な移動を表す高精度範囲移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出する、少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、前記第１センサデータに前記第２センサデータを加味して決定される、前記第１種のユーザ動作に対する前記第１センサの感度を表す第１感度パラメータに基づいて前記広範囲移動成分を算出し、前記第２センサデータに前記第１センサデータを加味して決定される、前記第２種のユーザ動作に対する前記第２センサの感度を表す第２感度パラメータに基づいて前記高精度範囲移動成分を算出することを特徴とする。
本発明によれば、ユーザの動作に対するセンサ感度を表す感度パラメータにより、第１種のユーザ動作と第２種のユーザ動作とが、相互作用し連携的に結合されて、各ユーザ動作に対応した移動成分が算出されるので、ディスプレイ上のグラフィックカーソルが高精度かつ安定的なポインティング操作を実現できる。
適用範囲は、ここでの記載に限定されない。本実施の形態での記載及び具体例は、実例のみの目的のために意図され、本開示の範囲を制限するものとして意図されない。
なお、これらの包括的または具体的な態様は、方法により実現されてもよい。
また、開示された実施の形態が提供する更なる利益や利点は、明細書および図面から明らかになる。それらの利益や利点は、さまざまな実施の形態や明細書および図面の特徴によって個々にもたらされる場合があり、１つ以上の利益や利点を得るために、全てが必ずしも提供される必要はない。
ここに記載された図面は、選択された実施例のみを説明する目的のためにあり、本開示の範囲を制限するようには意図されない。
図１は、本発明の実施の形態に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。 図２は、本発明の実施の形態に係る携帯型コントローラの機能ブロック図である。 図３Ａは、本発明の実施の形態の第２の変形例に係る携帯型コントローラの外観図である。 図３Ｂは、本発明の実施の形態の第３の変形例に係る携帯型コントローラの外観図である。 図３Ｃは、本発明の実施の形態の第３の変形例に係る携帯型コントローラと非接触動作との位置関係を表す図である。 図４は、本発明の実施の形態の第４の変形例に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。 図５Ａは、本発明の実施の形態の第５の変形例に係る携帯型コントローラの外観図である。 図５Ｂは、本発明の実施の形態の第６の変形例に係る携帯型コントローラの外観図である。 図６は、本発明の実施の形態に係る情報入力装置の制御方法を説明する概念図である。 図７は、本発明の情報入力装置のカスケード制御を説明する図である。 図８は、本発明の情報入力装置の制御方法を説明する動作フローチャートである。 図９は、本発明の実施の形態に係る情報入力装置の制御方法を具体的に説明する動作フローチャートである。 図１０は、情報入力装置のプロセッサがハイブリッドポインティング制御を実行する場合のメモリのデータ構造を表す図である。 図１１は、特定のセンサについてのハイブリッドポインティング制御を示す動作フローチャートである。 図１２Ａは、ユーザ動作に対する感度パラメータαｈａｎｄの変化を表すグラフである。 図１２Ｂは、ユーザ動作に対する感度パラメータαｆｉｎｇｅｒの変化を表すグラフである。 図１３は、カーソルサイズの動的な変化を表す第１の図である。 図１４は、カーソル表示の動的な変化を表す第２の図である。 図１５は、カーソル表示のバリエーションを表す図である。 図１６は、本発明の実施の形態の第１の変形例に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。
以下、図面を参照して、実施の形態を詳細に説明する。なお、同一の参照符号が複数の図面にわたって付された構成要素は、同一の構成要素であることを示す。
本発明の一態様に係る情報入力装置は、ディスプレイ上に表示されるグラフィックカーソルをユーザが操作するための情報入力装置であって、ユーザの身体の一部の動きである第１種のユーザ動作に反応して第１センサデータを生成する第１センサと、前記第１種のユーザ動作よりも細かいユーザの身体の一部の動きである第２種のユーザ動作に反応して第２センサデータを生成する第２センサと、前記第１種のユーザ動作に対応した広範囲移動成分と前記第２種のユーザ動作に対応し、前記広範囲移動成分よりも高精度な移動を表す高精度範囲移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出する、少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、前記第１センサデータに前記第２センサデータを加味して決定される、前記第１種のユーザ動作に対する前記第１センサの感度を表す第１感度パラメータに基づいて前記広範囲移動成分を算出し、前記第２センサデータに前記第１センサデータを加味して決定される、前記第２種のユーザ動作に対する前記第２センサの感度を表す第２感度パラメータに基づいて前記高精度範囲移動成分を算出することを特徴とする。
上記構成によれば、ユーザの動作に対するセンサ感度を表す感度パラメータにより、第１種のユーザ動作と第２種のユーザ動作とが、相互作用し連携的に結合されて、各ユーザ動作に対応した移動成分が算出されるので、ディスプレイ上のグラフィックカーソルが高精度かつ安定的なリモートポインティング操作を実現できる。
また、本発明の一態様に係る情報入力装置において、前記少なくとも１つのプロセッサは、前記第１種のユーザ動作及び前記第２種のユーザ動作の双方が実行されている場合、前記第２種のユーザ動作が激しいほど前記第１感度パラメータを小さく設定して前記広範囲移動成分を抑制し、前記第１種のユーザ動作が激しいほど前記第２感度パラメータを小さく設定して前記高精度範囲移動成分を抑制する。
これにより、ユーザが優先したい第１種のユーザ動作または第２種のユーザ動作に従って、カーソルの移動を決定する移動成分に重み付けが施されるので、カーソルを移動させるためのユーザの操作性及び安定度が向上する。
また、本発明の一態様に係る情報入力装置において、前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成され、前記少なくとも１つのプロセッサは、さらに、前記第１感度パラメータが大きいほど、または、前記第２感度パラメータが小さいほど、前記第１カーソルのサイズを小さく設定する。
これにより、ユーザは、第２カーソルの位置を詳細に決定したい場合には、第１カーソルのサイズを大きくするので、第２カーソルの位置を決定する際の操作性が向上する。
また、本発明の一態様に係る情報入力装置において、前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成され、前記広範囲移動成分は、前記第１カーソル及び前記第２カーソルを移動させるための信号成分であり、前記高精度範囲移動成分は、前記第２カーソルを移動させるための信号成分である。
これにより、ユーザは、まず、ディスプレイ上の第１カーソルを広範囲で設定した後、当該第１カーソル内において第２カーソルを高精度に設定できる。よって、ユーザの操作性が向上する。
また、本発明の一態様に係る情報入力装置において、前記第１センサは、手または腕の動きを検知するセンサである。
また、本発明の一態様に係る情報入力装置において、前記第２センサは、指の動きを検知するセンサである。
これらにより、ユーザは、まず、ユーザの体の一部である手により広範囲に移動範囲を設定し、その後、指により高精度に移動範囲を設定できる。また、手及び指の動きを相互に連動させながら、広範囲移動成分及び高精度範囲移動成分が算出されるので、手及び指によるカーソル制御の操作性が向上する。
また、本発明の一態様に係る情報入力装置において、さらに、前記少なくとも１つのプロセッサと、前記ディスプレイ上に前記グラフィックカーソルを表示させる表示ドライバとの間で無線通信するための送信機を備える。
これにより、カーソルのリモートポインティングが可能となる。
また、本発明の一態様に係る情報入力装置において、前記情報入力装置は、ユーザの身体の一部の動きである第ｋ種のユーザ動作に反応して第ｋセンサデータを生成する第ｋ（１≦ｋ＜ｎ）センサ及び前記第ｋ種のユーザ動作よりも細かいユーザの身体の一部の動きである第（ｋ＋１）種のユーザ動作に反応して第（ｋ＋１）センサデータを生成する第（ｋ＋１）センサを含むｎ個のセンサを有し、前記少なくとも１つのプロセッサは、前記第ｋ種のユーザ動作に対応した移動成分と前記第（ｋ＋１）種のユーザ動作に対応した移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出し、前記第ｋセンサデータと他のセンサデータとが結合されたデータにより前記第ｋセンサデータに対応した第ｋカーソルの領域を設定し、前記第（ｋ＋１）センサデータと他のセンサデータとが結合されたデータにより前記第（ｋ＋１）センサデータに対応した第（ｋ＋１）カーソルの領域を、前記第ｋカーソルの領域内において設定する。
これにより、ユーザは、例えば体の様々な部位を利用し、複数の動きを相互作用させ結合させることにより、ディスプレイ上のグラフィックカーソルを、大きな移動から高精度な移動へと段階的かつ安定に移動させることが可能となる。よって、高精度かつ安定したリモートポインティングが実現される。
また、本発明は、このような特徴的な手段を備える携帯型コントローラとして実現することができる。
また、本発明は、このような特徴的な手段を備える情報入力装置として実現することができるだけでなく、情報入力装置に含まれる特徴的な手段をステップとする情報入力装置の制御方法として実現することができる。
図１を参照して、本実施の形態に係る情報入力装置について説明する。
図１は、本発明の実施の形態に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。本実施の形態では、情報入力装置である携帯型コントローラ１０が、ディスプレイ１４上のカーソル１２の位置、移動および外観を制御するハイブリッドポインティングシステムを構成する。ここで、ハイブリッドポインティングシステムとは、空間での手または腕の動きやタッチパッド上での指の動きに例示される多数の入力ソースを連携的に結合して機能させることにより、スクリーンまたはディスプレイ上のカーソルを制御するシステムである。ディスプレイ１４は、例えば、ワイドスクリーンテレビのような娯楽家電機器の表示画面である。携帯型コントローラ１０は、例えば、無線ＷｉＦｉ、ブルートゥースあるいはその他同種のものを用いてＲＦ信号により無線通信する。なお、ハイブリッドポインティングシステムを実行するプロセッサおよび関連電子機器は、携帯型コントローラ１０内に一体配置されてもよいし、あるいは、携帯型コントローラ１０及び娯楽家電機器に分散配置されてもよい。なお、電子機器が携帯型コントローラ１０及び受信デバイスに分散配置されている構成は、図１６を用いて後述する。
本実施の形態に係る携帯型コントローラ１０は、少なくとも１つのタッチパッド１６を含み、また、携帯型コントローラ１０の空間移動を検出する動き検出回路（後述する）を内蔵している。携帯型コントローラ１０は、このように２つのセンサデータソースを供給する。２つのセンサデータソースとは、空間における動きデータ及びタッチパッドデータであり、これらのデータは、カーソル１２をディスプレイ１４上にどのように表示するか、また、カーソル１２をどのように移動させるか、を制御するためにハイブリッド方式で結合されている。
上記の動き検出回路は、第１種のユーザ動作に反応して第１センサデータを生成する第１センサである。第１種のユーザ動作とは、例えば、携帯型コントローラ１０を把持するユーザの手の動きである。なお、第１種のユーザ動作は、腕の動きであってもよく、この場合には、第１センサは、腕の動きに反応して第１センサデータを生成する。
また、タッチパッド１６は、第２種のユーザ動作に反応して第２センサデータを生成する第２センサである。第２種のユーザ動作とは、第１種のユーザ動作よりも動作範囲が狭く、第１種のユーザ動作よりも精度の高い動作であり、例えば、タッチパッド１６上のユーザの指の動きである。
また、カーソル１２はディスプレイ１４上に表示されたグラフィックカーソルであり、第１カーソルである粗モードポインタ領域１８と、粗モードポインタ領域１８内に配置され粗モードポインタ領域１８よりも小さい、第２カーソルである細モードポインタ２２と、中心点２０とで定義される。
携帯型コントローラ１０の空間内の移動、例えば、ディスプレイ１４の端から端まで移動させる場合、携帯型コントローラ１０を空間内でユーザが振る操作に追随して、粗モードポインタ領域１８（およびその中の細モードポインタ２２）は、ディスプレイ１４上を移動する。よって、カーソル１２および特にカーソル１２の粗モードポインタ領域１８は、ディスプレイ１４上を大きく移動することができる。さらに、粗モードポインタ領域１８の大きさは、ユーザがどのように携帯型コントローラ１０を操作するかに依存して変化する。
また、指でタッチパッド１６を触ることにより、ユーザは粗モードポインタ領域１８内の細モードポインタ２２を制御する。これにより、カーソル１２及び特にカーソル１２の細モードポインタ２２は、粗モードポインタ領域１８内において高精度に移動することが可能となる。
図２は、本発明の実施の形態に係る携帯型コントローラの機能ブロック図である。同図に示されるように、携帯型コントローラ１０は、タッチパッド１６と、プロセッサ２４と、メモリ２６と、入出力インターフェース回路（Ｉ／Ｏ）２８と、無線トランシーバ３０と、ボタンアレイ３２と、タッチパッドドライバ３４と、加速度計３６と、磁力計３７と、ジャイロスコープ３８とを備える。
加速度計３６、磁力計３７及びジャイロスコープ３８は、上述した動き検出回路を構成し、第１センサに相当する。タッチパッド１６及びタッチパッドドライバ３４は、第２センサに相当する。なお、タッチパッド１６は複数あってもよく、複数のタッチパッド１６同士は、タッチパッドドライバ３４を介して接続される。
プロセッサ２４は、第１種のユーザ動作に対応した広範囲移動成分と第２種のユーザ動作に対応した高精度範囲移動成分とを有する、カーソル１２を移動させる信号であるハイブリッドカーソル移動信号を算出する。
メモリ２６は、後述する機能を実行するためにプロセッサ２４により操作されるプログラム命令を格納するための非一時的なコンピュータ読み出し可能の媒体として機能する。メモリ２６は、また、第１及び第２センサからのデータ値、内部パラメータ値、プロセッサ２４よって計算された中間値、およびカーソル１２の位置、移動及び外観を制御するために使用される出力データ値を格納する。プロセッサ２４は、図示されたような様々なセンサおよびデバイスと通信するＩ／Ｏ２８に接続されている。
無線周波数によってディスプレイ１４の表示制御に関連した電子回路と通信するための無線トランシーバ３０が、Ｉ／Ｏ２８に接続されている。
さらに、携帯型コントローラ１０は、複数の押しボタンで構成されたボタンアレイ３２を有している。ユーザは、チャンネル変更または音量調整のような頻繁に行われる操作としてこれらのボタンを選択的に押すことができる。
また、携帯型コントローラ１０は、第１種のユーザ動作および第２種のユーザ動作に対応してカーソル１２が移動する時の操作音を出力するスピーカを備えていてもよい。
空間での動きを検出するために、携帯型コントローラ１０は、加速度計３６、磁力計３７及びジャイロスコープ３８のような１つ以上の慣性センサ（第１センサ）を含む。加速度計３６は、線形運動の二次微分信号を生成する。なお、加速度計３６は、３次元空間の基準座標系における線形運動の二次微分を測定する３軸加速度計であることが好ましい。ジャイロスコープ３８は、回転についての信号を生成し、特定軸についての回転速度を測定する能力を有する。磁力計３７は、方向を指示する磁針方向についての信号を生成する。
なお、携帯型コントローラ１０は、第１センサとして、ジャイロスコープ３８のみを備える態様であってもよい。この場合には、低価格という利点を有する。反面、ジャイロスコープ３８のみを用いた手法は、特性変動が生じる欠点がある。
この特性変動現象を低減させるため、携帯型コントローラ１０は、ジャイロスコープ３８と共に加速度計３６を備える態様であってもよい。
さらに、図２に示されたように、携帯型コントローラ１０は、加速度計３６及びジャイロスコープ３８に磁力計３７が加えられた態様であってもよい。磁力計３７の追加により、特性変動をさらに低減でき、地理的な基準座標に応じたポインティング方向を携帯型コントローラ１０に情報として与えることが可能となる。上記ポインティング方向とは、単に相対的な動き情報ではなく、例えば、東西南北の方位である。
また、上記慣性センサの選択またはこれへの付加として、光学的トラッキングシステムが使用されてもよい。光学的トラッキングシステムは、リモートコントロールにより赤外線カメラを使用する。具体的には、ディスプレイ１４の上部または下部に沿って配置されたダイオードから発光された赤外光を追跡する。
上述したように、携帯型コントローラ１０及びディスプレイ１４を含むハイブリッドポインティングシステム及びその制御方法を実行するプロセッサおよび電子機器は、携帯型コントローラ１０単独に配置されるか、または、受信機、ブルーレイディスクプレーヤ、テレビ受信機、ＡＶプロセッサなどのような他の電子機器にも分散配置されてもよい。例えば、図１６を参照されたい。
図１６は、本発明の実施の形態の第１の変形例に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。同図に示されるように、携帯型コントローラ１０は、タッチパッド１６と、プロセッサ２６ｃと、メモリ２４ｃと、Ｉ／Ｏ２８と、無線トランシーバ３０ｃと、ボタンアレイ３２と、タッチパッドドライバ３４と、加速度計３６と、磁力計３７と、ジャイロスコープ３８と、スピーカ４８とを備える。また、家電製品１５は、プロセッサ２４と、メモリ２６と、無線トランシーバ３０と、Ｉ／Ｏと、ディスプレイドライバとを備える。
ディスプレイ１４は、受信機、ブルーレイディスクプレーヤ、テレビ受信機、ＡＶプロセッサなどの家電製品１５に接続される。ハイブリッドポインティングシステムを実行する情報入力装置が有するプロセッサおよび電子機器は、携帯型コントローラ１０および家電製品１５に分散配置される。言い換えれば、情報入力装置を構築するいくつかの電子機器は携帯型コントローラ１０内に配置され、その他の電子機器は家電製品１５内に配置される。図１６に記載された構成は、その分散配置の一例である。つまり、本発明の情報入力装置は、携帯型コントローラ１０及び家電製品１５を含み、第２センサであるタッチパッド１６、第１センサである加速度計３６、磁力計３７およびジャイロスコープ３８が携帯型コントローラ１０内に配置され、ハイブリッドカーソル移動信号を算出するプロセッサ２４が携帯型コントローラ１０内ではなく家電製品１５内に配置される。また、ハイブリッドポインティングシステムを実行するのに使用されるプロセッサ（複数可）は、カーソル生成表示システムと共有されてもよいし、あるいは、カーソル生成表示システムの一部とされてもよい。
携帯型コントローラ１０は、プロセッサ２６ｃを含む。プロセッサ２６ｃは、メモリ２４ｃと関連しており、Ｉ／Ｏ２８を介し、無線トランシーバ３０ｃおよび家電製品１５の無線トランシーバ３０で構成される無線トランシーバペアを経由して、家電製品１５へ第１センサ及び第２センサからのセンサデータを与える。
その後、家電製品１５内のプロセッサ２４は、ハイブリッドカーソル移動信号を算出するために、上記センサデータを使用する。
また、本変形例では、携帯型コントローラ１０から操作音を出力するための、スピーカ４８が配置されている。これにより、本発明の情報入力装置は、例えば、第１種のユーザ移動および第２種のユーザ移動に対応してカーソル１２が移動する時の操作音を変更して出力することが可能となる。これにより、ユーザが携帯型コントローラ１０を用いてディスプレイ１４上のカーソルを移動させる際に、ユーザの視覚だけを頼りに操作するのではなく、聴覚によっても操作することが可能となり、情報入力装置の操作性が向上する。なお、スピーカ４８は、家電製品１５に配置されていてもよい。
また、本発明の情報入力装置は、いかなる複数のセンサを有していてもよく、また、当該情報入力装置の制御方法は、これらの複数のセンサを用いて実行することが可能である。本実施の形態では、携帯型コントローラ１０は、空間の動きセンサ（第１センサ）及びタッチパッドセンサ（第２センサ）という２つのセンサを備えている。この態様は、ｎ個のセンサが用いられる一般的態様のうちの特殊なケースに相当する。よって、本発明の情報入力装置及びその制御方法は、例えば、特殊なアプリケーションにおいて３つ以上のセンサからの出力を結合してもよい。さらに、複数のセンサは各々、本来（空間動きセンサは、タッチパッドセンサによって提供されるデータとは異種のデータを提供する）異種であるので、図２に記載された構成例に、多くのオプションを加えることが可能である。
図３Ａは、本発明の実施の形態の第２の変形例に係る携帯型コントローラの外観図であり、図３Ｂは、本発明の実施の形態の第３の変形例に係る携帯型コントローラの外観図である。また、図３Ｃは、本発明の実施の形態の第３の変形例に係る携帯型コントローラと非接触動作との位置関係を表す図である。図３Ａ及び図３Ｂの例のように、タッチパッド１６を、非接触動作に反応するデバイス４０に組み入れることが可能である。デバイス４０は、図３Ｃに示されるように、携帯型コントローラ１０に近いフィールド領域４４内においてユーザの手の空間動作を検出するセンサである。つまり、本実施の形態の第２及び第３の変形例では、携帯型コントローラ１０自体がユーザと共に動かなくとも、非接触で手の動きを検知するデバイス４０からの第１センサデータとタッチパッド１６からの第２センサデータとにより、プロセッサ２４がハイブリッドカーソル移動信号を生成することが可能である。
上記のように、本発明の情報入力装置のハードウェア構成はバリエーションを有する。
図４は、本発明の実施の形態の第４の変形例に係る携帯型コントローラ及びディスプレイ上のカーソルを表す概略図である。同図は、別の実施変形例を示しており、携帯型コントローラ１０がコンピュータ４６と無線通信し、ディスプレイ１４はコンピュータに接続されている。
上述した本実施の形態及びその変形例に係る情報入力装置及びその制御方法は、異種のセンサから信号を取得し、ユニークで連携的な方法でそれらを結合する。図１及び図２に記載された構成例では、２つのセンサからの動きデータおよびタッチパッドデータが結合されている。
また、第２センサとして、以下のような変形例が挙げられる。
図５Ａは、本発明の実施の形態の第５の変形例に係る携帯型コントローラの外観図であり、図５Ｂは、本発明の実施の形態の第６の変形例に係る携帯型コントローラの外観図である。図５Ａに示された携帯型コントローラは、図１及び図２に記載された携帯型コントローラと比較して、第２センサの構成のみが異なり、タッチパッド１６の代わりに、ジョイスティック９１が配置されている。この構成によれば、プロセッサ２４は、ジョイスティック９１の傾動情報を加味して手の動きに対応した広範囲移動成分を算出し、また、手の動きを加味してジョイスティック９１の傾動情報に対応した高精度範囲移動成分を算出する。
また、図５Ｂに示された携帯型コントローラは、図１及び図２に記載された携帯型コントローラと比較して、第２センサの構成のみが異なり、タッチパッド１６の代わりに、トラックボール９２が配置されている。この構成によれば、プロセッサ２４は、トラックボール９２の回動情報を加味して手の動きに対応した広範囲移動成分を算出し、また、手の動きを加味してトラックボール９２の回動情報に対応した高精度範囲移動成分を算出する。
図６は、本発明の実施の形態に係る情報入力装置の制御方法を説明する概念図である。第１センサから得られた動きデータ５０（第１センサデータ）、及び、第２センサから得られたタッチパッドデータ５２（第２センサデータ）は、連携的な方法で当該各データを結合させるハイブリッドポインティング制御方法５４を実行するプロセッサ２４へ供給される。動きデータ５０は、図１に記載された第１カーソルである粗モードポインタ領域１８を制御するために主として用いられる。一方、タッチパッドデータ５２は、図１に記載された第２カーソルである細モードポインタ２２を制御するために主として用いられる。しかしながら、プロセッサ２４は、動きデータ５０とタッチパッドデータ５２とを相互作用させる。これにより、粗モードポインタ領域１８の移動はタッチパッドデータ５２の影響を受け、細モードポインタ２２の移動は動きデータ５０の影響を受ける。
そして、プロセッサ２４が実行するハイブリッドポインティング制御方法５４により、実際のディスプレイ１４上のカーソル生成を扱うアプリケーション５６にハイブリッドカーソル移動信号が供給される。言い換えれば、アプリケーション５６は、カーソル１２のグラフィックな外観を生成し、ハイブリッドポインティング制御方法５４の結果に基づいてディスプレイ１４上のある位置にカーソル１２を表示する。
なお、アプリケーション５６は、ディスプレイ１４上のカーソル１２を生成することに限定されない。付加的なアプリケーション機能も実行可能である。例えば、ハイブリッドポインティング制御方法５４は、アプリケーション５６の目的を達成するために使われるカーソル位置およびカーソルサイズ情報の生データを提供する。これにより、ビデオゲームアプリケーションでは、例えば、ハイブリッドポインティング制御方法５４から上記カーソル位置およびカーソルサイズ情報を用いてキャラクタやプレーヤの移動が制御される。例えば、粗モードポインタ領域１８の移動はキャラクタの体の位置を制御し、細モードポインタ２２の移動はキャラクタの腕を制御するのに使用される。
本発明の情報入力装置の制御方法であるハイブリッドポインティング制御方法５４は、いくつかの長所を有する。具体的には、異種のセンサごとに異なる精度のポインティング領域を規定するカスケード制御が可能であることである。これについて、図７を用いて説明する。
図７は、本発明の情報入力装置のカスケード制御を説明する図である。同図には、３つのセンサを利用した制御態様が記載されている。第１センサは、第１の位置範囲６０に応答する。ユーザ入力が第１のセンサにより取り込まれ、第１の選択範囲６２が識別またはハイライトされる。その後、第１の選択範囲６２は、第２の位置範囲６４として拡大され示される。この拡大された視界では、ユーザの選択は第２センサに反応する。その結果、ユーザは、より正確にハイライト、あるいは第２の選択範囲６６を選択することができる。その後、第２の選択範囲６６は、第３の位置範囲６８として拡大され、ユーザの選択は第３センサに反応し、第３の選択範囲７２内において非常に高精度なポイント７０を最後にハイライトすることが可能となる。
上述のように、各センサからのセンサデータが結合することにより、１つの段階の出力が他の段階のセンサ信号と関連づけられる。各センサの範囲は、第１の段階の出力が次段階の探索空間を限定するために使用されるというカスケード方式として使用される。言い換えれば、どのセンサレベルの信号処理においても、他のセンサからの信号に依存する。これにより、カーソル位置およびサイズが正確、安定、および敏感でかつユーザ動き強度にダイナミックに適合するものとなる。
以下、本発明の情報入力装置の制御方法であるハイブリッドポインティング制御方法５４について詳細に説明する。
図８は、本発明の情報入力装置の制御方法を説明する動作フローチャートである。また、図９は、本発明の実施の形態に係る情報入力装置の制御方法を具体的に説明する動作フローチャートである。
なお、本発明の情報入力装置の制御方法であるハイブリッドポインティング制御方法５４は、メモリ２６に格納されたプログラム命令を使用して、プロセッサ２４が当該プログラムを実行することが好ましい。
まず、プロセッサ２４は、第１種のユーザ動作に反応する第１センサにより第１センサデータを生成させる（Ｓ１１）。
また、第１種のユーザ動作よりも動作範囲が狭く、第１種のユーザ動作よりも高精細な動作である第２種のユーザ動作に反応する第２センサにより第２センサデータを生成させる（Ｓ２１）。
上記ステップＳ１１及びステップＳ２１について、具体的には、図９に示されるように、第１種のユーザ動作に相当する空間における手の動きに反応する第１センサにより第１センサデータである動きデータ５０（Ｐ＊ ｈａｎｄ）がプロセッサ２４に供給される。一方、第２種のユーザ動作に相当するタッチパッド１６上の指の動きに反応する第２センサにより第２センサデータであるタッチパッドデータ５２（Ｐ＊ ｆｉｎｇｅｒ）がプロセッサ２４に供給される。
次に、プロセッサ２４は、第１センサデータに第２センサデータを加味して決定される、第１種のユーザ動作に対する第１センサの感度を表す第１感度パラメータに基づいて、第１種のユーザ動作に対応した広範囲移動成分を算出する（Ｓ１２）。
また、プロセッサ２４は、第２センサデータに第１センサデータを加味して決定される、第２種のユーザ動作に対する第２センサの感度を表す第２感度パラメータに基づいて、第２種のユーザ動作に対応した高精度範囲移動成分を算出する（Ｓ２２）。
上記ステップＳ１２及びステップＳ２２について、具体的には、図９に示されるように、動きデータ５０は、プロセッサ２４の一部である手の動き強度計算プロセッサ７３に供給され、手の動き強度が抽出される。また、動きデータ５０は、指の動き強度計算プロセッサ７４に供給され、ユーザによる手の動きが、タッチパッドデータ５２から得られた指の動きと関連づけられて手の動き強度が抽出される。
同様の方法で、タッチパッドデータ５２は、プロセッサ２４の一部である指の動き強度計算プロセッサ７４及び手の動き強度計算プロセッサ７３に供給される。よって、手の動き強度計算結果は、空間における手の動きがなされている一方で、タッチパッドでの指の動きに多少依存する。
手の動き強度計算プロセッサ７３及び指の動き強度計算プロセッサ７４は、αで表わされた動き感度パラメータを生成する。具体的には、手の動き強度計算プロセッサ７３は、手の動きに対する感度パラメータαｈａｎｄを以下の式１のように計算する。
ここで、Ａ０は定数（例えば１０）である。また、ΔＰ＊ ｆｉｎｇｅｒ（ｔ）はタッチパッドセンサから出力される、時刻ｔにおける生のセンサデータ（ベクトル変化量）である。
同様に、指の動き強度計算プロセッサ７４は、指の動きに対する感度パラメータαｆｉｎｇｅｒを以下の式２のように計算する。
ここで、Ｂ０は定数（例えば１０）である。また、ΔＰ＊ ｈａｎｄ（ｔ）は動きセンサから出力される、時刻ｔにおける生のセンサデータ（ベクトル変化量）である。
例えば、上記式２より、ユーザが空間内で手を動かしていない場合には、時刻ｔにおける指の動きに対する感度パラメータαｆｉｎｇｅｒ（ｔ）は大きく設定され、ユーザが空間において激しく手を動かしている場合には、感度パラメータαｆｉｎｇｅｒ（ｔ）は小さく設定される。
つまり、第１種のユーザ動作である手の動き及び第２種のユーザ動作である指の動きの双方が実行されている場合、第２種のユーザ動作が激しいほど第１感度パラメータαｈａｎｄ（ｔ）を小さく設定して広範囲移動成分を抑制する。一方、第１種のユーザ動作が激しいほど第２感度パラメータαｆｉｎｇｅｒ（ｔ）を小さく設定して高精度範囲移動成分を抑制する。
プロセッサ２４の一部である粗モードポインタ移動プロセッサ７６は、手の動き強度計算プロセッサ７３で算出された感度パラメータαｈａｎｄ（ｔ）を用いて、粗モードポインタ移動変数ΔＰｈａｎｄ（ｔ）を以下の式３のように計算する。
ここで、ΔＰｈａｎｄ（ｔ）は、時間関数として変化する粗モードポインタ領域１８のベクトル量である。また、Ｐ＊ ｈａｎｄ（ｔ）及びＰ＊ ｈａｎｄ（ｔ−１）は、それぞれ、時刻ｔ及び時刻（ｔ−１）における動きセンサからの生の入力値である。
上記のように算出された粗モードポインタ移動変数ΔＰｈａｎｄ（ｔ）は、第１種のユーザ動作（手の動き）に対する第１センサ（動きセンサ）の感度を表す第１感度パラメータ（αｈａｎｄ（ｔ））に基づいた、第１種のユーザ動作に対応した広範囲移動成分に相当する。
同様に、プロセッサ２４の一部である細モードポインタ移動プロセッサ７８は、指の動き強度計算プロセッサ７４で算出された感度パラメータαｆｉｎｇｅｒ（ｔ）を用いて、細モードポインタ移動変数ΔＰｆｉｎｇｅｒ（ｔ）を以下の式４ように計算する。
ここで、ΔＰｆｉｎｇｅｒ（ｔ）は、時間関数として変化する細モードポインタ２２のベクトル量である。また、Ｐ＊ ｆｉｎｇｅｒ（ｔ）及びＰ＊ ｆｉｎｇｅｒ（ｔ−１）は、それぞれ、時刻ｔ及び時刻（ｔ−１）におけるタッチパッドセンサからの生の入力値である。
上記のように算出された細モードポインタ移動変数ΔＰｆｉｎｇｅｒ（ｔ）は、第２種のユーザ動作（指の動き）に対する第２センサ（タッチパッドセンサ）の感度を表す第２感度パラメータ（αｆｉｎｇｅｒ（ｔ））に基づいた、第２種のユーザ動作に対応した高精度範囲移動成分に相当する。
なお、センサの時間差分値に相当する粗モードポインタ移動変数ΔＰｈａｎｄ（ｔ）及び細モードポインタ移動変数ΔＰｆｉｎｇｅｒ（ｔ）が非常に小さい場合には、ユーザが意図していない動きぶれと判断し、以下の式５及び式６により、ポインタ／カーソルの移動値を０としてもよい。
ここで、Ｐｈａｎｄｔｈ及びＰｆｉｎｇｅｒｔｈは、ユーザの意図する動きと意図しない動きとの境界を表す閾値である。上記処理により、ユーザの動きのわずかなぶれ（ノイズ）をキャンセルすることが可能となる。
最後に、上記広範囲移動成分及び上記高精度範囲移動成分を結合することにより、グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出する（Ｓ３３）。具体的には、算出された粗モードポインタ移動変数ΔＰｈａｎｄ（ｔ）及び細モードポインタ移動変数ΔＰｆｉｎｇｅｒ（ｔ）は、プロセッサ２４の一部であるプロセッサ８０により結合され、ベクトルＤを生成する。ベクトルＤは、以下の式７のように表わされる。
ここで、Ｓｎは、センサｎの重み付け係数であり、ΔＰｎ（ｔ）はセンサｎに対応するポインタの移動変数である。つまり、式７は、カーソル移動が、全てのセンサからの移動データの結合であることを表している。これを、本実施の形態に対応させて記載すると以下の式８のようになる。
本実施の形態では、例えば、Ｓｈａｎｄ＝１、Ｓｆｉｎｇｅｒ＜１とする（＝０．２）。 つまり、この設定値によれば、空間における手の動きは全範囲のディスプレイ空間をカバーし、指の動きは小さな領域をカバーする。
以上のように、本発明の実施の形態に係る情報入力装置の制御方法によれば、第１種のユーザ動作に反応する第１センサにより生成された第１センサデータに、第１種のユーザ動作よりも動作範囲が狭く、当該第１種のユーザ動作よりも精度の高い動作である第２種のユーザ動作に反応する第２センサより生成された第２センサデータを加味して決定される感度パラメータ（αｈａｎｄ）に基づいて広範囲移動成分を算出し、第２センサデータに第１センサデータを加味して決定される感度パラメータ（αｆｉｎｇｅｒ）に基づいて高精度範囲移動成分を算出する。上記広範囲移動成分及び上記高精度範囲移動成分により、ディスプレイ上のグラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号（Ｄ）が生成される。
また、本発明の実施の形態に係る携帯型コントローラ１０は、第１基準座標に応じて、携帯型コントローラ１０の移動を示す第１信号（第１センサデータ）を生成する空間動きセンサと、ユーザの指が接触する動きに反応し、当該指が接触する表面領域と関連付けられた第２基準座標に応じて、指の移動を示す第２信号（第２センサデータ）を生成するタッチセンサと、グラフィックカーソルのカーソルサイズと位置データとを算出する少なくとも１つのプロセッサとを備え、当該少なくとも１つのプロセッサは、上記第１信号及び上記第２信号の強度により当該第１信号及び当該第２信号を重みづけして結合することにより、携帯型コントローラ１０の移動に対応した第１カーソルである粗モードポインタ領域１８の大きさ及び位置データと、ユーザの指が接触する動きに対応した、第１カーソル内であって第１カーソルよりも小さい第２カーソルである細モードポインタ２２の位置データとを算出する。
これにより、ユーザは、例えば体の様々な部位を利用し、複数の動きを相互作用させ結合させることにより、ディスプレイ上のグラフィックカーソルを、大きな移動から高精度な移動へと段階的かつ安定に移動させることが可能となる。よって、高精度かつ安定したリモートポインティングが実現される。
なお、ハイブリッドポインティング制御方法５４によれば、カーソル位置の制御に加えて、図１に記載された粗モードポインタ領域１８の外観を制御することも可能である。ハイブリッドポインティング制御方法５４は、以下の式９で表される粗モードポインタ領域１８のカーソルサイズＣｄｉａｍｅｔｅｒを生成するためのパラメータαｈａｎｄ及びαｆｉｎｇｅｒを用いる粗モードポインタ領域外観プロセッサ８２を含む。粗モードポインタ領域外観プロセッサ８２は、以下の式９のようにカーソルサイズを算出する。
ここで、カーソルサイズＣｄｉａｍｅｔｅｒは、指の動きの重み付け係数Ｓｆｉｎｇｅｒにより定義され、αｆｉｎｇｅｒ（ｔ）が小さい場合、より小さいサイズへと縮小される。例えば、ユーザが空間において手を激しく動かす場合には、カーソルサイズＣｄｉａｍｅｔｅｒは小さく、ユーザの手が空間において動かない場合、より大きくなる。
次に、図１０及び図１１を用いて、プロセッサ２４をプログラムする方法を説明する。
図１０は、情報入力装置のプロセッサがハイブリッドポインティング制御を実行する場合のメモリのデータ構造を表す図である。また、図１１は、特定のセンサについてのハイブリッドポインティング制御を示す動作フローチャートである。図２に示されたプロセッサ２４は、図９に記載されたプロセッサの各々を実行するようにプログラムされる。本実施の形態では、携帯型コントローラ１０内に配置されたマイクロプロセッサのようなシングルプロセッサを用いてこれらの処理機能はすべて実行される。なお、多数のプロセッサが、携帯型コントローラ１０および携帯型コントローラ１０または他の適切な機器によって制御される家電製品１５のような複数の機器に分散配置されていてもよい。具体的には、図１０には、メモリ２６のデータ構造が記載され、プロセッサ２４は、図１１に記載されたステップおよび計算を実行するようプログラムされる。ここで、図１１に記載されたステップは、多数のセンサ及び多次元のベクトル量ごとに実行されることが好ましい。例えば、図１に示されるように、２つのセンサが用いられ、水平位置ｘ及び垂直位置ｙの両方を有するベクトル位置で実行される。したがって、図１１に記載されたステップは、各センサ、およびベクトルにおける各次元について実行されることを意味している。つまり、図１１は、ベクトル内における単一のセンサについてのシーケンスを表しており、あるセンサに対して各次元で同じ処理が繰り返され、次に、別のセンサについて（全ての次元について）繰り返される。
まず、ステップＳ１００において、プロセッサ２４は、時刻（ｔ−１）における生のセンサデータを取得する。言い換えれば、指定のスタート時刻（ｔ−１）において、生のセンサデータが取得され、図１０に記載された格納エリア１０２に格納される（Ｓ１０２）。次に、ステップＳ１０４において、プロセッサ２４は、その後の時刻ｔにおける生のセンサデータを取得し、図１０に記載された格納エリア１０６において当該センサデータを格納する（Ｓ１０６）。
異なる時刻（ｔ−１）および時刻ｔについての２つの生のセンサデータが一旦取得されると、ステップＳ１０８にてそれぞれ異なる計算がなされ、そして、その結果は、図１０に記載された格納エリア１１０に一時的に格納される。その後、この中間的な計算は、ステップＳ１１２において感度パラメータα（ｔ）を計算するために用いられる。前述した式１及び式２は、図１に記載された手及び指についての感度パラメータαｈａｎｄ（ｔ）及びαｆｉｎｇｅｒ（ｔ）の計算の一例を表している。計算された感度パラメータα（ｔ）は、その後、図１０に記載された格納エリア１１４に格納される。
次に、ステップＳ１１４において、センサ移動値ΔＰが計算される。本ステップを実行するにあたり、２つの方法が挙げられる。第１の方法は、異なる計算により格納エリア１１０に格納された感度パラメータα（ｔ）を乗算することにより、以下の式１０のように、相対的なセンサ移動を計算する。また、第２の方法は、相対的な移動値に、予め格納された、時刻（ｔ−１）における絶対位置を加算することにより位置を算出し、当該位置の値を図１０に記載された格納エリア１１６に格納する。
その後、ステップＳ１１８において、カーソル座標値Ｄ（ｔ）は上記式７により計算され、図１０に記載された格納エリア１１８に格納される。上記計算には、図１０に記載された格納エリア１２０に格納された定数Ｓが使用される。
その間に、ステップＳ１２２において、ステップＳ１１２で計算された感度パラメータα（ｔ）と定数Ｓとを用いて、カーソルサイズＣｄｉａｍｅｔｅｒの計算が実行される。本実施の形態では、カーソルは、直径が動的に変化する円として表される。なお、円以外の形および配置のカーソルであってもよく、この場合には、ステップＳ１２２における計算値は、直径でないパラメータを表わす。
その後、ステップＳ１２４において、計算された位置Ｄ（ｔ）及びカーソルサイズＣｄｉａｍｅｔｅｒが出力される。そして、この出力はアプリケーション５６（図６）に供給される。
上記処理は、現行処理における時刻ｔの値が、次処理における時刻（ｔ−１）の値となるようにして、実質的に繰り返される。図１０に示されたデータ構造図に関して、格納エリア２０４に格納された値が表示空間（つまり表示画面上の座標）内の算出位置を表すのに対して、格納エリア２００に格納された値がセンサ空間内で測定された生データに対応している。ここで、格納エリア２０２に格納された値は中間の計算を表わし、格納エリア２０６の値は定数を表わす。
ここで、感度パラメータα（ｔ）が、ユーザの動きに依存していかに変化するか、および、感度パラメータα（ｔ）の変化がディスプレイ１４上のカーソル動きにいかに影響するかを説明する。
図１２Ａは、ユーザ動作に対する感度パラメータαｈａｎｄの変化を表すグラフであり、図１２Ｂは、ユーザ動作に対する感度パラメータαｆｉｎｇｅｒの変化を表すグラフである。図１２Ａでは、まず、空間内で激しい手の動きがあり、その後、タッチパッド上に置かれたユーザの指の動きが表され、そして最後に激しい指の動きがあるという時間経過が表されている。また、図１２Ｂでは、まず、タッチパッド上での激しい指の動きが表され、その後、空間における手の動作が表され、そして最後に空間における激しい手の動きがあるという時間経過が表されている。ユーザの手が空間における動きのみを実行している場合、手の感度パラメータαｈａｎｄは高く、ユーザが激しい指の動きを実行している場合には手の感度パラメータαｈａｎｄは低い。反対に、ユーザの手が空間における動きを実行していない場合、指の感度パラメータαｆｉｎｇｅｒは高く、ユーザの手が空間における激しい動きを行っている場合には指の感度パラメータαｆｉｎｇｅｒは低い。このように、感度パラメータα（ｔ）により、第１種のユーザ動作と第２種のユーザ動作とは、相互作用し連携的に結合することにより、ディスプレイ上のグラフィックカーソルとして高精度かつ安定的な移動として表現される。
ここで、カーソルサイズＣｄｉａｍｅｔｅｒが、ユーザの動きに依存していかに変化するかを説明する。
図１３は、カーソルサイズの動的な変化を表す第１の図である。概略ポインタ領域の振る舞いを表す図である。粗モードポインタ領域の大きさが動きに基づいてどのように変化するかを示している。例えば、ユーザの手が空間において激しい動きを行っている場合、つまり第１種のユーザ動作が大きい場合には、粗モードポインタ領域１８は小さく設定し、ユーザの手が空間で動かない場合、つまり第１種のユーザ動作が小さい場合には、粗モードポインタ領域１８を大きく設定する。つまり、感度パラメータαｈａｎｄが大きいほど、または、感度パラメータαｆｉｎｇｅｒが小さいほど、第１カーソルである粗モードポインタ領域１８を小さく設定する。これにより、各移動モードにおいて適確なカーソル表示が実現される。
図１４は、カーソルサイズの動的な変化を表す第２の図である。同図に示されるように、例えば、ユーザの手が空間において激しい動きを行っており、タッチパッドを触っていない場合には、細モードポインタ２２を表示しない。当該処理は、以下の式１２及び式１３のように表される。
ここで、Ｃｔｈは、粗モードポインタ領域１８のカーソルサイズに対する閾値であり、図１３で説明した粗モードポインタ領域１８の振る舞いと連携している。これにより、ユーザの手が空間において激しい動きを行なっている場合には、細モードポインタが消えて、ユーザは粗モードポインタだけに意識を集中させることができる。つまり、各移動モードにおいて適確なカーソル表示が実現されるので、ユーザのカーソルに対する認知負荷を軽減することができ、操作性を向上させることができる。
なお、ユーザの空間における手の動き、または、タッチパッド上での指の動きに基づいて、粗モードポインタ領域１８を示すカーソルのサイズだけでなく、例えば、粗モードポインタ領域１８及び細モードポインタ２２の色や形を変更してもよい。例えば、粗モードポインタ領域１８の移動量または移動速度を表す閾値を設定し、当該閾値以上の場合には、粗モードポインタ領域１８の形状を三角及び黒色表示とし、当該閾値未満の場合には、粗モードポインタ領域１８の形状を円形及び赤色表示とする。
図１５は、カーソル表示のバリエーションを表す図である。本実施の形態では、同図のＴｙｐｅＡのように、粗モードポインタ領域１８を円形表示、及び、細モードポインタ２２をドット表示したが、アプリケーションに応じて、ＴｙｐｅＢ及びＴｙｐｅＣのような表示としてもよい。ＴｙｐｅＢでは、手の大きさが粗モードポインタ領域１８のサイズを表し、人指し指の先端が細モードポインタ２２の位置を表す。また、ＴｙｐｅＣでは、円形の大きさが粗モードポインタ領域１８のサイズを表し、三角の先端が細モードポインタ２２の位置を表す。このような表示により、アプリケーションに応じた適確なカーソル表示が実現されるので、ユーザのカーソルに対する認知負荷を軽減することができ、操作性を向上させることができる。
上述した実施の形態及びその変形例の記述は、実例と記載の目的のために提供されたものであって、本発明の開示との完全一致および開示の限定を意図するものではない。特定の実施の形態またはその変形例に記載された要素および特徴は、一般に、当該実施の形態及びその変形例の要素および特徴に制限されず、特に記載されていないとしても、任意の実施の形態及びその変形例に適用または置換可能である。同様に、あらゆる態様において上記要素および特徴は変化してもよい。当該変化は開示からの逸脱と見なされず、また、そのような修正はすべて、開示の範囲内で含まれることを意図する。
本発明の情報入力装置及びその制御方法は、コンピュータおよび多くの家電製品によって使用されるＧＵＩシステムに有用である。
１０ 携帯型コントローラ
１２ カーソル
１４ ディスプレイ
１５ 家電製品
１６ タッチパッド
１８ 粗モードポインタ領域
２０ 中心点
２２ 細モードポインタ
２４、２６ｃ、８０ プロセッサ
２４ｃ、２６ メモリ
２８ 入出力インターフェース回路（Ｉ／Ｏ）
３０、３０ｃ 無線トランシーバ
３２ ボタンアレイ
３４ タッチパッドドライバ
３６ 加速度計
３７ 磁力計
３８ ジャイロスコープ
４０ デバイス
４４ フィールド領域
４６ コンピュータ
４８ スピーカ
５０ 動きデータ
５２ タッチパッドデータ
５４ ハイブリッドポインティング制御方法
５６ アプリケーション
６０ 第１の位置範囲
６２ 第１の選択範囲
６４ 第２の位置範囲
６６ 第２の選択範囲
６８ 第３の位置範囲
７０ ポイント
７２ 第３の選択範囲
７３ 手の動き強度計算プロセッサ
７４ 指の動き強度計算プロセッサ
７６ 粗モードポインタ移動プロセッサ
７８ 細モードポインタ移動プロセッサ
８２ 粗モードポインタ領域外観プロセッサ
９１ ジョイスティック
９２ トラックボール
１０２、１０６、１１０、１１４、１１６、１１８、１２０、２００、２０２、２０４、２０６ 格納エリア

Claims (12)

  1. ディスプレイ上に表示されるグラフィックカーソルをユーザが制御するための情報入力装置であって、
    ユーザの身体の一部の動きである第１種のユーザ動作に反応して第１センサデータを生成する第１センサと、
    前記第１種のユーザ動作よりも細かいユーザの身体の一部の動きである第２種のユーザ動作に反応して第２センサデータを生成する第２センサと、
    前記第１種のユーザ動作に対応した広範囲移動成分と前記第２種のユーザ動作に対応し、前記広範囲移動成分よりも高精度な移動を表す高精度範囲移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出する、少なくとも１つのプロセッサとを備え、
    前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成され、
    前記少なくとも１つのプロセッサは、前記第２センサデータに基づいて決定される、前記第１種のユーザ動作に対する前記第１センサの感度を表す第１感度パラメータに基づいて前記広範囲移動成分を算出し、前記第１センサデータに基づいて決定される、前記第２種のユーザ動作に対する前記第２センサの感度を表す第２感度パラメータに基づいて前記高精度範囲移動成分を算出し、
    また、前記少なくとも１つのプロセッサは、前記第１感度パラメータ及び前記第２感度パラメータの増加及び減少をモニタし、前記第２感度パラメータが減少するほど、前記第１カーソルのサイズを小さく設定する
    情報入力装置。
  2. 前記少なくとも１つのプロセッサは、
    前記第１種のユーザ動作及び前記第２種のユーザ動作の双方が実行されている場合、前記第２種のユーザ動作が激しいほど前記第１感度パラメータを小さく設定して前記広範囲移動成分を抑制し、前記第１種のユーザ動作が激しいほど前記第２感度パラメータを小さく設定して前記高精度範囲移動成分を抑制する
    請求項１に記載の情報入力装置。
  3. 前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成され、
    前記広範囲移動成分は、前記第１カーソル及び前記第２カーソルを移動させるための信号成分であり、前記高精度範囲移動成分は、前記第２カーソルを移動させるための信号成分である
    請求項２に記載の情報入力装置。
  4. 前記第１センサは、手または腕の動きを検知するセンサである
    請求項１に記載の情報入力装置。
  5. 前記第２センサは、指の動きを検知するセンサである
    請求項１に記載の情報入力装置。
  6. さらに、前記少なくとも１つのプロセッサと、前記ディスプレイ上に前記グラフィックカーソルを表示させる表示ドライバとの間で無線通信するための送信機を備える
    請求項１に記載の情報入力装置。
  7. 前記情報入力装置は、
    ユーザの身体の一部の動きである第ｋ種のユーザ動作に反応して第ｋセンサデータを生成する第ｋ（１≦ｋ＜ｎ）センサ及び前記第ｋ種のユーザ動作よりも細かいユーザの身体の一部の動きである第（ｋ＋１）種のユーザ動作に反応して第（ｋ＋１）センサデータを生成する第（ｋ＋１）センサを含むｎ個のセンサを有し、
    前記少なくとも１つのプロセッサは、前記第ｋ種のユーザ動作に対応した移動成分と前記第（ｋ＋１）種のユーザ動作に対応した移動成分とを有し、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出し、前記第ｋセンサデータと他のセンサデータとが結合されたデータにより前記第ｋセンサデータに対応した第ｋカーソルの領域を設定し、前記第（ｋ＋１）センサデータと他のセンサデータとが結合されたデータにより前記第（ｋ＋１）センサデータに対応した第（ｋ＋１）カーソルの領域を、前記第ｋカーソルの領域内において設定する
    請求項１に記載の情報入力装置。
  8. ディスプレイ上に表示される、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとで構成されるグラフィックカーソルをユーザが制御するための携帯型コントローラであって、
    第１基準座標に応じて、前記携帯型コントローラの移動を示す第１信号を生成する空間動きセンサと、
    前記ユーザの指が接触する動きに反応し、当該指が接触する表面領域と関連付けられた第２基準座標に応じて、前記指の移動を示す第２信号を生成するタッチセンサと、
    前記グラフィックカーソルのカーソルサイズと位置データとを算出する少なくとも１つのプロセッサとを備え、
    前記少なくとも１つのプロセッサは、前記第１信号及び前記第２信号の強度により、前記携帯型コントローラの移動に対応した前記第１カーソルの位置データと、前記ユーザの指が接触する動きに対応した、前記第２カーソルの位置データとを算出し、
    また、前記少なくとも１つのプロセッサは、前記第１信号及び前記第２信号の強度をモニタし、前記第２信号の強度が減少するほど、前記第１カーソルのサイズを小さく設定する
    携帯型コントローラ。
  9. 前記空間動きセンサは、手または腕の動きを検知するセンサである
    請求項８に記載の携帯型コントローラ。
  10. 前記タッチセンサは、指の動きを検知するセンサである
    請求項８に記載の携帯型コントローラ。
  11. ディスプレイ上に表示されるグラフィックカーソルをユーザが制御するための情報入力装置の制御方法であって、
    ユーザの一部の動きである第１種のユーザ動作に反応する第１センサにより第１センサデータを生成し、
    前記第１種のユーザ動作よりも細かいユーザの一部の動きである第２種のユーザ動作に反応する第２センサにより第２センサデータを生成し、
    前記第２センサデータに基づいて決定される、前記第１種のユーザ動作に対する前記第１センサの感度を表す第１感度パラメータに基づいて、前記第１種のユーザ動作に対応した広範囲移動成分を算出し、
    前記第１センサデータに基づいて決定される、前記第２種のユーザ動作に対する前記第２センサの感度を表す第２感度パラメータに基づいて、前記第２種のユーザ動作に対応し前記広範囲移動成分よりも高精度な移動を表す高精度範囲移動成分を算出し、
    前記広範囲移動成分及び前記高精度範囲移動成分を結合することにより、前記グラフィックカーソルを移動させる信号であるハイブリッドカーソル移動信号を算出し、
    前記グラフィックカーソルは、少なくとも第１カーソルと、前記第１カーソル内に位置し前記第１カーソルよりも小さい第２カーソルとを含み、
    前記第１感度パラメータ及び前記第２感度パラメータの増加及び減少をモニタし、前記第２感度パラメータが減少するほど、前記第１カーソルのサイズを小さく設定する
    情報入力装置の制御方法。
  12. 前記広範囲移動成分及び前記高精度範囲移動成分の算出において、
    前記第１種のユーザ動作及び前記第２種のユーザ動作の双方が実行されている場合、前記第２種のユーザ動作が激しいほど前記第１感度パラメータを小さく設定して前記広範囲移動成分を抑制し、前記第１種のユーザ動作が激しいほど前記第２感度パラメータを小さく設定して前記高精度範囲移動成分を抑制する
    請求項１１に記載の情報入力装置の制御方法。
JP2014535754A 2011-10-13 2012-10-04 情報入力装置及びその制御方法 Expired - Fee Related JP6053803B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/272,776 2011-10-13
US13/272,776 US8743055B2 (en) 2011-10-13 2011-10-13 Hybrid pointing system and method
PCT/US2012/058694 WO2013055571A1 (en) 2011-10-13 2012-10-04 Information input apparatus and method for controlling information input apparatus

Publications (2)

Publication Number Publication Date
JP2014528625A JP2014528625A (ja) 2014-10-27
JP6053803B2 true JP6053803B2 (ja) 2016-12-27

Family

ID=48082305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014535754A Expired - Fee Related JP6053803B2 (ja) 2011-10-13 2012-10-04 情報入力装置及びその制御方法

Country Status (4)

Country Link
US (2) US8743055B2 (ja)
JP (1) JP6053803B2 (ja)
CN (1) CN103518173B (ja)
WO (1) WO2013055571A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9473220B2 (en) 2011-08-22 2016-10-18 Intel Corporation Device, system and method of controlling wireless communication based on an orientation-related attribute of a wireless communication device
WO2013067526A1 (en) 2011-11-04 2013-05-10 Remote TelePointer, LLC Method and system for user interface for interactive devices using a mobile device
TWI464626B (zh) * 2011-12-12 2014-12-11 Pixart Imaging Inc 移動感測裝置以及移動感測方法
TWI467467B (zh) * 2012-10-29 2015-01-01 Pixart Imaging Inc 畫面物件移動控制方法及裝置
US9179490B2 (en) * 2012-11-29 2015-11-03 Intel Corporation Apparatus, system and method of disconnecting a wireless communication link
US9583828B2 (en) 2012-12-06 2017-02-28 Intel Corporation Apparatus, system and method of controlling one or more antennas of a mobile device
US9354727B2 (en) * 2013-07-12 2016-05-31 Facebook, Inc. Multi-sensor hand detection
US9134818B2 (en) * 2013-07-12 2015-09-15 Facebook, Inc. Isolating mobile device electrode
CN104345905A (zh) * 2013-07-26 2015-02-11 天津富纳源创科技有限公司 触控式空中鼠标的控制方法
JP2015049822A (ja) * 2013-09-04 2015-03-16 ソニー株式会社 表示制御装置、表示制御方法、表示制御信号生成装置、表示制御信号生成方法、プログラム、および表示制御システム
WO2015040608A1 (en) * 2013-09-22 2015-03-26 Inuitive Ltd. A peripheral electronic device and method for using same
US20160334884A1 (en) * 2013-12-26 2016-11-17 Interphase Corporation Remote Sensitivity Adjustment in an Interactive Display System
US10409541B2 (en) * 2015-05-29 2019-09-10 Legends Attractions, Llc Thematic interactive attraction
KR20170054866A (ko) * 2015-11-10 2017-05-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN106843709B (zh) * 2015-12-04 2020-04-14 阿里巴巴集团控股有限公司 根据实时信息显示展现对象的方法和装置
US9971425B2 (en) 2016-06-07 2018-05-15 International Business Machines Corporation Dynamic device sensitivity control
WO2018020497A1 (en) * 2016-07-25 2018-02-01 Muv Interactive Ltd. Hybrid tracking system for hand-mobilized device
CN109308176B (zh) * 2017-07-26 2021-08-10 昆山纬绩资通有限公司 可手势操作的电子装置及其操作方法
WO2020003862A1 (ja) 2018-06-27 2020-01-02 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
CN110471584A (zh) * 2019-07-05 2019-11-19 深圳市格上格创新科技有限公司 一种手持输入设备的鼠标光标控制方法和装置
US20220137787A1 (en) * 2020-10-29 2022-05-05 XRSpace CO., LTD. Method and system for showing a cursor for user interaction on a display device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673066A (en) 1992-04-21 1997-09-30 Alps Electric Co., Ltd. Coordinate input device
US5666499A (en) 1995-08-04 1997-09-09 Silicon Graphics, Inc. Clickaround tool-based graphical interface with two cursors
US6496842B1 (en) 1999-05-28 2002-12-17 Survol Interactive Technologies Navigating heirarchically organized information
US20030210286A1 (en) 2002-02-26 2003-11-13 George Gerpheide Touchpad having fine and coarse input resolution
US20040017355A1 (en) 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US7839385B2 (en) 2005-02-14 2010-11-23 Hillcrest Laboratories, Inc. Methods and systems for enhancing television applications using 3D pointing
US7576726B2 (en) * 2005-05-25 2009-08-18 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Dual-positioning controller and method for controlling an indicium on a display of an electronic device
US8232965B2 (en) 2006-02-13 2012-07-31 Research In Motion Limited Adjustable on-screen cursor sensitivity on a handheld communication device
US7696980B1 (en) 2006-06-16 2010-04-13 Logitech Europe S.A. Pointing device for use in air with improved cursor control and battery life
KR20090065040A (ko) 2007-12-17 2009-06-22 삼성전자주식회사 동작과 터치를 이용한 이중 포인팅 장치 및 방법
US8300020B2 (en) 2008-08-15 2012-10-30 Apple Inc. Hybrid inertial and touch sensing input device
US8896527B2 (en) 2009-04-07 2014-11-25 Samsung Electronics Co., Ltd. Multi-resolution pointing system
US9703398B2 (en) * 2009-06-16 2017-07-11 Microsoft Technology Licensing, Llc Pointing device using proximity sensing
JP2011028366A (ja) * 2009-07-22 2011-02-10 Sony Corp 操作制御装置および操作制御方法

Also Published As

Publication number Publication date
JP2014528625A (ja) 2014-10-27
US8743055B2 (en) 2014-06-03
US9046936B2 (en) 2015-06-02
US20130093674A1 (en) 2013-04-18
US20140118254A1 (en) 2014-05-01
CN103518173B (zh) 2016-08-17
WO2013055571A1 (en) 2013-04-18
CN103518173A (zh) 2014-01-15

Similar Documents

Publication Publication Date Title
JP6053803B2 (ja) 情報入力装置及びその制御方法
US10852913B2 (en) Remote hover touch system and method
US9223422B2 (en) Remote controller and display apparatus, control method thereof
US10579247B2 (en) Motion-based view scrolling with augmented tilt control
JP5558000B2 (ja) コマンド領域において制御点位置を制御する方法及び装置の制御に関する方法
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
TWI543018B (zh) An input device, an input method, and storage medium
US20090295722A1 (en) Input apparatus, control system, handheld apparatus, and calibration method
EP2538309A2 (en) Remote control with motion sensitive devices
GB2507963A (en) Controlling a Graphical User Interface
WO2010032268A2 (en) System and method for controlling graphical objects
US20110134029A1 (en) Electronic device and a pointer motion control method thereof
CN110488994A (zh) 用于降低不规则运动的影响的仪器界面
JP2010140417A (ja) 情報処理装置、情報処理方法およびプログラム
KR102049475B1 (ko) 입력 장치, 디스플레이 장치 및 제어 방법
EP2538308A2 (en) Motion-based control of a controllled device
US20170199586A1 (en) Gesture control method for interacting with a mobile or wearable device utilizing novel approach to formatting and interpreting orientation data
US20160085311A1 (en) Control unit and method of interacting with a graphical user interface
US20100026652A1 (en) System and method for user interface
Atia et al. Interaction with tilting gestures in ubiquitous environments
KR20150093270A (ko) 모션 인터페이스 디바이스
KR101588021B1 (ko) 헤드 마우스
US20030011567A1 (en) Method for pointing at information in multi-dimensional space
KR20080017194A (ko) 무선 마우스 및 그의 구동 방법
KR20100091854A (ko) 입력 장치, 디스플레이 기기 및 리모트 컨트롤 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160804

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161129

R150 Certificate of patent or registration of utility model

Ref document number: 6053803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees