JP5728008B2 - 情報入力装置、情報入力方法及びプログラム - Google Patents

情報入力装置、情報入力方法及びプログラム Download PDF

Info

Publication number
JP5728008B2
JP5728008B2 JP2012520282A JP2012520282A JP5728008B2 JP 5728008 B2 JP5728008 B2 JP 5728008B2 JP 2012520282 A JP2012520282 A JP 2012520282A JP 2012520282 A JP2012520282 A JP 2012520282A JP 5728008 B2 JP5728008 B2 JP 5728008B2
Authority
JP
Japan
Prior art keywords
touch
touch operation
recognition
start position
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012520282A
Other languages
English (en)
Other versions
JPWO2011158475A1 (ja
Inventor
池田 洋一
洋一 池田
山内 真樹
真樹 山内
良宏 小島
良宏 小島
知成 高橋
知成 高橋
久美 原田
久美 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2012520282A priority Critical patent/JP5728008B2/ja
Publication of JPWO2011158475A1 publication Critical patent/JPWO2011158475A1/ja
Application granted granted Critical
Publication of JP5728008B2 publication Critical patent/JP5728008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0339Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42208Display device provided on the remote control

Description

本発明は、情報入力装置等に関し、特に、画面に表示されたグラフィカルユーザインタフェース(以下GUI:Graphical User Interface)を、タッチセンサで操作する情報入力装置等に関する。
ディスプレイの大画面化及び高性能化に伴い、テレビは単に放送番組や映画を視聴するために利用されるだけではなくなりつつある。
具体的には、インターネット接続による多様な情報閲覧、ネットワークに接続された家庭内機器との連携、写真閲覧やゲーム等の各種アプリケーション、といった新しい機能をもつテレビが実現され利用されつつある。
このような状況において、多種多様なアプリケーションや機能を操作するためには、複数のボタンで構成される従来の入力装置に加えて、より自由度が高く柔軟な入力操作が可能な入力装置の開発が必須である。
ポインティングデバイスは、画面に表示されたポインタやカーソルを制御し、任意の位置や方向を指定することができる入力装置である。例えば、ポインティングデバイスとして、タッチパネルやトラックボール、ジョイスティックやマウスなどが実用化されている。
ポインティングデバイスは、従来のボタン主体の入力装置に比べて、GUIの構成に関わらず、メニューやオブジェクト選択等の汎用的操作が容易なため、携帯電話やAV機器、ゲーム機器に数多く搭載されている。中でも、近年タッチパネルやタッチパッドを入力装置として採用する機器が多く開発されており、これらは指やペンで直接タッチすることで操作できる直感性が特徴である。
センシング技術の高度化に伴い、カーソル移動やGUIオブジェクトの選択といった操作だけではなく、タッチパッド/タッチパネル上で特定の動作や軌跡を入力する「ジェスチャ操作」により様々な機能を直接実行することも可能になっている。
手指だけで簡単に入力できるこのようなタッチ操作は、手で持って操作する小型機器に用いられる場合が多い。
特許文献1では、タッチパッドの端に設けた操作領域で直線軌跡を描く操作(スライド操作)を行うことにより、GUIオブジェクトとして用意されたスクロールバーをカーソルで選択することなく、画面のスクロールを実行する手法が考案されている。
縦方向スクロールを行う場合は、タッチパッド右端で上下方向にスライド操作を入力し、横方向スクロールを行う場合は、タッチパッド下端で左右方向にスライド操作を入力する。
また、タッチパッドの端からタッチ操作を開始した場合でも、タッチパッド中央方向に指を移動させれば、スクロールを実行せず通常のカーソル移動(ポインティング操作)に切り替えることもできる。
米国特許第5943052号明細書
しかしながら、特許文献1では、タッチパッド上に定義された部分領域において、1種類のジェスチャ操作及び1種類のポインティング操作のいずれかを入力することができるが、同一のタッチ操作開始位置に対して、複数のジェスチャ操作の種別のいずれか(例えば、縦スライド操作と横スライド操作のいずれか)を入力することはできない。
これらのジェスチャ操作は、あらかじめ区分されたそれぞれの部分領域内から操作を開始する必要がある。また、認識するジェスチャ操作を追加しようとすると、追加するジェスチャ操作のための部分領域を別途設けることになる。
このように特許文献1では、使用するジェスチャ操作の種別数と同じ数の対応する部分領域が必要となり、タッチパッド上の任意の位置から任意のジェスチャ操作を入力することができない。したがって、操作者がタッチパッド上の指の位置を意識して使い分けなければならず入力のしやすさが損なわれ、入力効率が低下するという課題がある。
本発明は、以上の課題を解決するものであり、タッチパッドを備えた情報入力装置において、入力のしやすさを損なわずに、どの位置から操作を開始しても複数の種別のジェスチャ操作を素早く入力することができる情報入力装置を提供することを目的とする。
本発明のある局面に係る情報入力装置は、情報を入力するためのセンサであるタッチセンサと、操作者の指がタッチセンサに接触したときの情報であるタッチ情報を検出するタッチ情報検出部と、タッチ情報を用いて、操作者のタッチ操作の開始位置であるタッチ操作開始位置を検出するタッチ操作開始位置検出部と、タッチ操作開始位置に対応付けて、複数のタッチ操作の種別をそれぞれ認識するための複数のタッチ操作認識条件を記憶しているタッチ操作認識条件記憶部と、タッチ操作開始位置検出部で検出されたタッチ操作開始位置に対応付けられた複数のタッチ操作認識条件を用いてタッチ操作を認識し、操作者が行ったタッチ操作の種別を求めるタッチ操作認識部とを備える。
本構成によると、複数のジェスチャの種別各々について、そのジェスチャの種別を認識するための条件を、タッチ操作の開始位置によって異なるものとすることができる。また、タッチ操作の開始位置と、操作者が入力したいと考えているジェスチャの種別には相関関係がある。例えば、右方向へ指を移動させる必要があるジェスチャを入力するとき、操作者は、なるべくタッチセンサの操作面上の左側をタッチ操作の開始位置として選択する。操作面上の右側からタッチ操作を開始したのでは、続けてジェスチャ操作を入力するためのスペースが無くなるためである。したがって、情報入力装置の筐体の形状や筐体の持たれ方に起因する、ジェスチャ操作ごとの操作開始位置の傾向に応じてタッチ操作認識条件を設定することで、ジェスチャ操作の入力のしやすさを損なわずに、どの位置から操作を開始しても複数のタッチ操作を入力することができる情報入力装置を実現できる。
また、タッチ操作認識部は、認識結果として、操作者が行ったタッチ操作の種別とタッチ操作の大きさを示す操作量を出力し、認識されたタッチ操作の種別は、操作者が指定した位置を入力するポインティング操作及び事前に定められた特定の処理の実行を指示する複数の種別のジェスチャ操作のうちのいずれか1つであるとしてもよい。
具体的には、タッチ操作認識部が、認識結果としてジェスチャ操作の種別を出力した場合において、タッチ操作認識部は、出力された種別のジェスチャ操作の入力が終了したか否かを判定し、終了したと判定した場合には、判定をした時点に検出された、操作者が触れているタッチセンサの操作面上の位置であるタッチ位置、及び、判定をした時点の1つ前に検出された、操作者が触れているタッチセンサの操作面上の位置であるタッチ位置のうち少なくとも1つをジェスチャ操作終了位置として出力し、タッチ操作開始位置検出部は、出力されたジェスチャ操作終了位置をタッチ操作開始位置として検出してもよい。
また、タッチ操作開始位置検出部は、操作者の指が最初にタッチセンサに接触したタッチ位置をタッチ操作開始位置としてもよい。これにより、情報入力装置は、操作者が入力するジェスチャ操作の終了を、操作者がタッチセンサから指を離さずとも検知することができる。よって、情報入力装置の筐体の形状や筐体の持たれ方に起因する、ジェスチャ操作ごとの操作開始位置の傾向に応じてジェスチャ操作終了判定条件を設定することができる。その結果、タッチセンサから指を離さずに連続して複数のジェスチャを入力でき、かつ、ジェスチャ操作の入力のしやすさを損なわずに、どの位置から操作を開始しても複数のタッチ操作を入力することができる情報入力装置を実現できる。
また、情報入力装置は、さらに、事前に定められた特定時間の間、タッチ情報を記憶しているタッチ情報系列記憶部を備えており、タッチ操作認識部は、タッチ情報系列記憶部が記憶しているタッチ情報を用いて、タッチ操作時間、タッチ移動距離、タッチ移動速度、タッチ移動加速度及び、タッチ移動方向のうち少なくとも1つをタッチ特徴量として算出するタッチ特徴量算出部と、タッチ操作認識条件記憶部が記憶している、タッチ操作開始位置に対応付けられた複数のタッチ操作認識条件に基づいて、タッチ特徴量からタッチ操作の種別を判定するタッチ操作判定部とを備えてもよい。
具体的には、タッチセンサは静電容量方式であり、タッチ情報は、タッチ位置及び、接触したときのタッチ操作の強度であるタッチ強度を示す静電容量値を含むとしてもよい。
また、タッチ操作認識条件記憶部は、タッチセンサの操作面上に定義された複数の部分領域の各々に対応付けて、複数のタッチ操作認識条件を記憶しており、タッチ操作判定部は、複数の部分領域のうちタッチ操作開始位置を内包する部分領域に対応付けられて記憶されている複数のタッチ操作認識条件のうちの1つであって複数のタッチ操作の種別うち第1のタッチ操作を認識するためのタッチ操作認識条件を、タッチ特徴量が満たすか否かを判定し、満たさないと判定した場合にはタッチ操作の種別は第1のタッチ操作ではないと判定してもよい。
より具体的には、タッチ操作認識条件記憶部が、第1のタッチ操作を認識するために複数の部分領域のうち第1の部分領域に対応付けて記憶している複数のタッチ操作認識条件のうちの第1のタッチ操作認識条件と、タッチ操作認識条件記憶部が、第1のタッチ操作を認識するために複数の部分領域のうち第2の部分領域に対応付けて記憶している複数のタッチ操作認識条件のうちの第2のタッチ操作認識条件とが異なるとしてもよい。
また、情報入力装置は、さらに、ジェスチャ操作終了判定条件記憶部を備え、タッチ操作認識部は、さらに、ジェスチャ操作終了判定部と、ジェスチャ終了位置取得部とを備えており、ジェスチャ操作終了判定条件記憶部は、複数の種別のジェスチャ操作それぞれの終了を判定するための条件である複数のジェスチャ操作終了判定条件を複数の部分領域各々に対応付けて記憶し、ジェスチャ操作終了判定部は、複数の部分領域のうちタッチ操作開始位置を内包する部分領域に対応付けて記憶されている複数のジェスチャ操作終了判定条件のうち、タッチ操作判定部により判定された種別のジェスチャ操作の終了を判定するためのジェスチャ操作終了判定条件をタッチ特徴量が満たすか否かを判定し、判定の結果、タッチ特徴量がジェスチャ操作終了判定条件を満たす場合には、ジェスチャ終了位置取得部は、当該条件を満たした時点に検出されたタッチ位置、及び、当該条件を満たした時点の1つ前に検出されたタッチ位置のうち少なくとも1つをジェスチャ操作終了位置として出力し、タッチ操作開始位置検出部は、出力されたジェスチャ操作終了位置をタッチ操作開始位置として検出してもよい。
また、情報入力装置は、さらに、情報入力装置に対する操作者の把持情報を検出する把持情報検出部を備えており、タッチ操作認識条件記憶部は、把持情報とタッチ操作開始位置とにそれぞれ対応付けて、複数のタッチ操作認識条件を記憶し、タッチ操作認識部は、把持情報とタッチ操作開始位置とに対応付けられた複数のタッチ操作認識条件を用いてタッチ情報を認識し、操作者が行ったタッチ操作の種別を求めてもよい。
また、把持情報は、操作者による情報入力装置の持ち手の種類、操作者が把持している情報入力装置の把持位置、操作者が把持している手に対する情報入力装置の方向角及び、操作者がタッチ操作に使用する指の長さのうち少なくとも1つであるとしてもよい。
また、情報入力装置は、さらに、情報入力装置の筐体の少なくとも一部に配置され、情報入力装置に対する操作者の手及び指の少なくとも一方の接触位置を検出する周囲接触センサを備えており、把持情報検出部は、周囲接触センサで検出された接触位置を用いて、把持情報のうち持ち手の種類を検出し、タッチ操作認識条件記憶部は、持ち手の種類とタッチ操作開始位置とにそれぞれ対応付けて複数のタッチ操作認識条件を記憶し、タッチ操作認識部は、タッチ操作認識条件記憶部から取得した複数のタッチ操作認識条件を用いてタッチ操作の種別を求めてもよい。
この構成によると、情報入力装置は、さらに操作者の持ち手の種類(左手、右手、両手)を検知することができる。よって、持ち手の種類に応じて、タッチ操作認識条件やジェスチャ操作終了条件をそれぞれ別に設定することができる。その結果、操作者の持ち手の種類に合わせて特定のジェスチャ操作を他のジェスチャ操作よりも認識されやすくし、操作者にとって自然な位置から素早い入力が可能な情報入力装置を提供することができる。
また、情報入力装置は、さらに、情報入力装置の筐体の少なくとも一部に配置され、操作者の情報入力装置に対する手及び指の少なくとも一方の近接状態を検出する周囲近接センサを備えており、タッチ操作認識条件記憶部は、タッチセンサの操作面上に定義された複数の部分領域の各々に対応付けて、複数のタッチ操作認識条件を記憶し、把持情報検出部は、周囲近接センサで検出された近接状態を用いて、把持位置、方向角及び指の長さのうち少なくとも1つを検出し、タッチ操作認識部は、検出された把持位置、方向角及び指の長さのうちの少なくとも1つと、事前に定められた基準把持状態との差を算出し、当該差が小さくなるようにタッチ操作開始位置を補正し、複数の部分領域のうち当該補正後のタッチ操作開始位置を内包する部分領域に対応づけて記憶されている複数のタッチ操作認識条件を用いてタッチ情報を認識してもよい。
この構成によると、情報入力装置は、操作者による筐体の把持状態を検知することができる。よって、情報入力装置は、検知した把持状態と、タッチ操作認識条件を設定する際に定めた基準把持状態とを比較し、その差を小さくするように、検出したタッチ操作開始位置を補正することができる。その結果、筐体を持つ手がずれた場合であっても、操作者が筐体を持ち直したり、タッチ操作認識条件記憶部に記憶した部分領域と認識条件の対応を変更したりすることなく、操作者の持ち手の種類に合わせて特定のジェスチャ操作を他のジェスチャ操作よりも認識されやすくし、操作者にとって自然な位置から素早い入力が可能となる。
また、タッチ操作認識部は、検出された把持位置、方向角及び指の長さのうちの少なくとも1つと、事前に定められた基準把持状態との差を算出し、当該差が小さくなるようにタッチ位置を補正し、当該補正後のタッチ位置を用いて操作者が行ったタッチ操作の種別を判定し、タッチ操作の大きさを示す操作量を出力してもよい。
これにより、情報入力装置は、検知した把持状態と、タッチ操作認識条件を設定する際に定めた基準把持状態とを比較し、その差を小さくするように、検出したタッチ位置を補正することができる。その結果、筐体を持つ手がずれた場合であっても、操作者の持ち手の種類に合わせて特定のジェスチャ操作を他のジェスチャ操作よりも認識されやすくし、操作者にとって自然な位置から素早い入力が可能となる。
また、情報入力装置は、複数のタッチ操作の種別ごとの認識される度合いを示す認識優先度を複数の部分領域ごとに対応付けて決定する認識優先度決定部と、複数の部分領域のうち第3の部分領域に対応付けて決定された認識優先度に応じて、第3の部分領域に対応付けられた複数のタッチ操作認識条件を更新するタッチ操作認識条件更新部とを備えており、タッチ操作認識条件更新部は、認識優先度が高いタッチ操作の種別ほど認識されやすくなるように、複数のタッチ操作認識条件に含まれる閾値の値を更新してもよい。
この構成によると、タッチ操作種別頻度記憶部がタッチ操作の認識結果であるタッチ操作種別の頻度を取得・記憶し、認識優先度決定部がタッチ操作種別の頻度を用いてタッチ操作を認識するための優先度を決定し、タッチ操作認識条件更新部が認識の優先度を用いてタッチ操作認識条件を更新することができる。その結果、タッチセンサのどの位置から操作を開始しても、複数のジェスチャ操作を入力することができるだけでなく、タッチ操作開始位置に対応する部分領域ごとに、操作者の操作傾向や使い方に応じて、入力頻度が高いタッチ操作を他のタッチ操作よりも自動的に入力しやすくすることができるので、よく使う操作を短時間に素早く入力することができるようになり、利便性が向上する。
具体的には、情報入力装置は、さらに、タッチ操作認識部で認識されたタッチ操作の種別ごとの頻度である種別頻度を、複数の部分領域の各々に対応付けて記憶しているタッチ操作種別頻度記憶部を備えており、認識優先度決定部は、種別頻度がより高い種別のタッチ操作の認識優先度ほど、より高くなるように、前記認識優先度を決定してもよい。
なお、本発明は、このような情報入力装置として実現できるだけでなく、情報入力装置に含まれる特徴的な手段をステップとする情報入力方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような情報入力装置の機能の一部又は全てを実現する半導体集積回路(LSI)として実現したり、このような情報入力装置を含む情報入力システムとして実現したりできる。
本発明によれば、タッチパッドを備えた情報入力装置において、入力のしやすさを損なわずに、どの位置から操作を開始しても複数の種別のジェスチャ操作を素早く入力することができる情報入力装置を提供できる。
図1は、本発明の実施の形態1〜5における情報入力装置の外観の一例を示す図である。 図2は、本発明の実施の形態1〜5におけるタッチ操作とそれに対応する機能を示す図である。 図3は、本発明の実施の形態1における情報入力装置の構成を示すブロック図である。 図4は、本発明の実施の形態1におけるタッチ位置を記憶するデータ構造の一例を示す図である。 図5は、本発明の実施の形態1におけるタッチ操作認識に用いるタッチ特徴量を説明する図である。 図6は、本発明の実施の形態1におけるタッチ操作認識条件を記憶するデータ構造の一例を示す図である。 図7は、本発明の実施の形態1におけるタッチ操作を認識する処理の一例を示すブロック図である。 図8は、本発明の実施の形態1における縦スライド操作のタッチ軌跡の一例を示す図である。 図9は、本発明の実施の形態1におけるタッチ操作開始位置の一例を示す図である。 図10は、本発明の実施の形態1におけるタッチ操作認識条件の一例を示す図である。 図11aは、本発明の実施の形態1における縦スライド操作を認識する方法を説明する第1の図である。 図11bは、本発明の実施の形態1における縦スライド操作を認識する方法を説明する第2の図である。 図11cは、本発明の実施の形態1における縦スライド操作を認識する方法を説明する第3の図である。 図12は、本発明の実施の形態1におけるタッチ操作認識条件の一例を示す図である。 図13aは、本発明の実施の形態1における横スライド操作を認識する方法を説明する第1の図である。 図13bは、本発明の実施の形態1における横スライド操作を認識する方法を説明する第2の図である。 図14は、本発明の実施の形態1におけるタッチ操作認識条件の一例を示す図である。 図15aは、本発明の実施の形態1における回転操作を認識する方法を説明する第1の図である。 図15bは、本発明の実施の形態1における回転操作を認識する方法を説明する第2の図である。 図15cは、本発明の実施の形態1における回転操作を認識する方法を説明する第3の図である。 図15dは、本発明の実施の形態1における回転操作を認識する方法を説明する第4の図である。 図15eは、本発明の実施の形態1における回転操作を認識する方法を説明する第5の図である。 図16は、本発明の実施の形態1における認識のための閾値の範囲の一例を示す図である。 図17は、本発明の実施の形態1における縦スライド操作の移動方向の範囲を説明する図である。 図18は、本発明の実施の形態1における横スライド操作の移動方向の範囲を説明する図である。 図19は、本発明の実施の形態1における回転操作の移動方向差分の範囲を説明する図である。 図20は、本発明の実施の形態1における入力容易度の一例を示す図である。 図21は、本発明の実施の形態1における情報入力装置の処理の流れを説明する図である。 図22は、本発明の実施の形態2における情報入力装置の構成を示すブロック図である。 図23は、本発明の実施の形態2におけるジェスチャ操作終了判定条件を記憶するデータ構造の一例を示す図である。 図24は、本発明の実施の形態2におけるタッチ操作を認識する処理の一例を示すブロック図である。 図25は、本発明の実施の形態2におけるタッチ操作のタッチ軌跡の一例を示す図である。 図26は、本発明の実施の形態2におけるタッチ操作認識条件及びジェスチャ操作終了判定条件の一例を示す図である。 図27は、本発明の実施の形態2における横スライド操作の終了を判定する方法を説明する図である。 図28は、本発明の実施の形態2におけるタッチ操作開始位置の更新の一例を示す図である。 図29は、本発明の実施の形態2におけるタッチ操作認識条件及びジェスチャ操作終了判定条件の一例を示す図である。 図30は、本発明の実施の形態2における縦スライド操作の終了を判定する方法を説明する図である。 図31は、本発明の実施の形態2におけるタッチ操作開始位置の更新の一例を示す図である。 図32は、本発明の実施の形態2におけるタッチ操作認識条件及びジェスチャ操作終了判定条件の一例を示す図である。 図33は、本発明の実施の形態2におけるポインティング操作を認識する方法を説明する図である。 図34は、本発明の実施の形態2におけるタッチ操作開始位置の更新の一例を示す図である。 図35は、本発明の実施の形態2におけるタッチ操作認識条件及びジェスチャ操作終了判定条件の一例を示す図である。 図36は、本発明の実施の形態2における回転操作を認識する方法を説明する図である。 図37は、本発明の実施の形態2における情報入力装置の処理の流れを説明する図である。 図38は、本発明の実施の形態2における情報入力装置の処理の流れにポインティング操作によるタッチ操作開始位置更新の処理を追加した図である。 図39は、本発明の実施の形態3における情報入力装置の外観の一例を示す図である。 図40は、本発明の実施の形態3における情報入力装置の構成を示すブロック図である。 図41は、本発明の実施の形態3における持ち手の種類を示す図である。 図42は、本発明の実施の形態3におけるタッチ操作認識条件を記憶するデータ構造の一例を示す図である。 図43aは、本発明の実施の形態3における情報入力装置の処理の流れを説明する第1のフローチャートである。 図43bは、本発明の実施の形態3における情報入力装置の処理の流れを説明する第2のフローチャートである。 図44は、本発明の実施の形態3における認識のための閾値の決定方法を説明する図である。 図45は、本発明の実施の形態3における認識のための閾値の決定方法を説明する図である。 図46は、本発明の実施の形態3における持ち手の種類を示す図である。 図47は、本発明の実施の形態4における情報入力装置の外観の一例を示す図である。 図48は、本発明の実施の形態4における情報入力装置の構成を示すブロック図である。 図49は、本発明の実施の形態4における持ち手の把持位置の一例を示す図である。 図50は、本発明の実施の形態4におけるタッチパッド及び周囲近接センサの配置の一例を示す図である。 図51は、本発明の実施の形態4における把持位置を用いたタッチ操作開始位置の補正方法を説明する図である。 図52は、本発明の実施の形態4における持ち手の方向角の一例を示す図である。 図53は、本発明の実施の形態4における方向角を用いたタッチ操作開始位置の補正方法を説明する図である。 図54は、本発明の実施の形態4における持ち手の指の長さの一例を示す図である。 図55は、本発明の実施の形態4における指の長さを用いたタッチ操作開始位置の補正方法を説明する図である。 図56aは、本発明の実施の形態4における情報入力装置の処理の流れを説明する第1のフローチャートである。 図56bは、本発明の実施の形態4における情報入力装置の処理の流れを説明する第2のフローチャートである。 図57は、本発明の実施の形態4におけるタッチ位置の補正を説明する図である。 図58は、本発明の実施の形態5における情報入力装置の構成を示すブロック図である。 図59は、本発明の実施の形態5におけるタッチ操作種別頻度を記憶するデータ構造の一例を示す図である。 図60は、本発明の実施の形態5におけるタッチ操作の認識優先度の一例を示す図である。 図61は、本発明の実施の形態5における入力容易度の一例を示す図である。 図62は、本発明の実施の形態5における情報入力装置の処理の流れを説明する図である。 図63は、本発明の実施の形態5における情報入力装置に認識優先度を入力するGUIの一例を示す図である。 図64は、本発明の実施の形態1〜5における情報入力装置の実現するコンピュータシステムの一例を示す外観図である。 図65は、本発明の実施の形態1〜5における情報入力装置の実現するコンピュータシステムのハードウェア構成を示すブロック図である。 図66は、本発明の関連技術における情報入力装置の構成を示すブロック図である。 図67は、本発明の関連技術におけるタッチパッド上に設けた部分領域の一例を示す図である。 図68は、本発明の関連技術におけるジェスチャ操作種別を記憶するデータ構造の一例を示す図である。 図69は、本発明の関連技術におけるジェスチャ操作認識条件を記憶するデータ構造の一例を示す図である。 図70は、本発明の関連技術におけるジェスチャ操作のタッチ軌跡の一例を示す図である。
まず、本発明の意義を明確にするため、本発明の関連技術についてより詳細に説明する。
なお、以下の記載では、タッチパッドやタッチパネルを用いた指での操作を次のように定義する。
タッチ操作は、事前に定められた複数の機能のうち特定の機能の実行を指示する目的で特定の軌跡を入力するジェスチャ操作と、主にテレビ等の表示装置に表示されたカーソルの位置等を制御するために指でタッチした位置を入力するポインティング操作の、2つの種別から成る。
さらに、ジェスチャ操作には、タッチパッド/タッチパネル上で指を直線的に移動させるスライド操作や指で円弧を描く回転操作、指をすばやく弾くフリック操作等の複数の種別がある。
ジェスチャ操作は、アイコンやメニュー等のGUIオブジェクトの選択及び決定を介さず、スクロールやページ切替えといった機能を直接実行できることが特徴である。
また、操作者(情報入力装置の操作者)が特定の操作領域や操作開始位置を意識することなく、タッチパッド/タッチパネル上のどの位置であっても、複数のジェスチャ操作を入力することができれば、素早く簡単に様々な機能を実行でき利便性が向上する。
なお、「タッチ操作の種別」とは、そのタッチ操作がポインティング操作かジェスチャ操作か、及び、ジェスチャ操作であるならば、どのジェスチャ操作の種別かを示すものである。
図66は本発明の関連技術である特許文献1における情報入力装置の構成を示すブロック図である。
タッチ位置検出部501はタッチパッド500により操作者の指の接触位置すなわちタッチ位置を取得する。
タッチ位置系列記憶部502は、タッチ位置検出部501が取得したタッチ位置を取得した順に、少なくとも1以上のタッチ位置の組であるタッチ位置系列として記憶する。
タッチ操作開始位置検出部503は、タッチ位置系列記憶部502が記憶しているタッチ位置系列を取得し、そのタッチ位置系列の中から操作者がタッチパッドに触れ始めた最初の位置をタッチ操作が開始されたタッチ操作開始位置として取得する。
ジェスチャ操作種別絞込み部504は、タッチ操作開始位置検出部503が検出したタッチ操作開始位置を取得し、ジェスチャ操作種別記憶部505から、タッチ操作開始位置に対応するジェスチャ操作の種別を取得する。
ジェスチャ操作種別記憶部505は、タッチパッド内に設けた部分領域ごとに、その部分領域で操作者が入力することができるジェスチャ操作種別を記憶する。
例えば、図67に示すように、ジェスチャ操作種別記憶部505はタッチパッドに3つの部分領域を設け、部分領域(1)に縦スライド操作、部分領域(2)に横スライド操作、部分領域(3)に回転操作をそれぞれ対応付けて記憶する(図68)。
タッチ操作開始位置検出部503が検出したタッチ操作開始位置が部分領域(2)の内部であれば、ジェスチャ操作種別絞込み部504は、ジェスチャ操作種別として横スライド操作を出力する。
タッチ操作認識部506は、タッチ位置系列記憶部502からタッチ位置系列を取得し、ジェスチャ操作種別絞込み部504が判定したジェスチャ操作種別を取得する。そして、タッチ操作認識条件記憶部507から、操作種別に対応するタッチ操作認識条件を取得する。
次に、タッチ操作認識部506はタッチ位置系列及びタッチ操作認識条件を用いて、タッチ操作の認識を行い、認識結果としてタッチ操作種別と、タッチ移動距離及びタッチ移動速度等のタッチ操作種別に対応する操作量を出力する。
例えば、タッチ操作認識条件記憶部507は、図69に示すようにタッチ操作種別とその認識条件を対応付けて記憶する。
ジェスチャ操作種別絞込み部504が判定した操作種別が横スライド操作であるとすると、タッチ操作認識部506は認識条件として、「タッチ操作開始位置からの横方向の移動距離が10mm以上」を取得し、タッチ位置系列又はタッチ位置系列に含まれるタッチ位置を結ぶタッチ軌跡が認識条件を満たしているかどうか比較を行う。
タッチ操作認識部506は、図70(a)に示すように、タッチ位置系列から得られるタッチ軌跡が認識条件を満足する場合は、横スライド操作を認識結果として出力する。
また、タッチ操作認識部506は、横スライド操作の操作量として移動距離(例えば図70における20mm)も出力する。
図70(b)に示すように、認識条件を満たす前に対応する部分領域外にタッチ位置が移動した場合、タッチ操作認識部506は、移動先の部分領域に関わらずポインティング操作として認識する。
部分領域(1)及び(3)において縦スライド操作や回転操作の認識条件を満たす前にタッチ位置が部分領域外に移動した場合も同様に、タッチ操作認識部506はポインティング操作として認識する。
図68に示すような部分領域とジェスチャ操作種別の対応付けの場合、タッチ操作開始位置が部分領域(1)内であるとタッチ位置系列に応じて縦スライド操作とポインティング操作を入力することができる。
また、タッチ操作開始位置が部分領域(2)内であると横スライド操作とポインティング操作を入力することができる。
また、タッチ操作開始位置が部分領域(3)内であると回転操作とポインティング操作を入力することができる。
タッチ操作認識部506が出力する認識結果としてのタッチ操作種別に応じて、機能制御部508が対応する処理を実行する。
例えば、認識結果が横スライド操作だとすると、画像横スクロール制御部509は画面を横方向にスクロールする。このスクロールする距離は、タッチ操作認識部506が出力する横スライド操作の操作量、例えば移動距離に応じて決定される。
同様に、例えば、認識結果が縦スライド操作の場合は画像縦スクロール制御部510が画面を縦スクロールさせる処理を行う。
また、認識結果が回転操作の場合は画像回転制御部511が画面に表示された画像を回転させる処理を行う。
また、認識結果がポインティング操作の場合はカーソル制御部512がカーソルを移動させる処理を行う。
機能制御部508の処理結果は、表示部513によって画面表示として出力される。
このように、特許文献1に開示された情報入力装置では、タッチパッド上の部分領域において、1種類のジェスチャ操作及び1種類のポインティング操作のいずれかを入力することができるが、同一のタッチ操作開始位置に対して、複数のジェスチャ操作の種別のいずれか(例えば、縦スライド操作と横スライド操作のいずれか)を入力することはできない。
これらのジェスチャ操作は、あらかじめ区分されたそれぞれの部分領域内から操作を開始する必要がある。また、認識するジェスチャ操作を追加しようとすると、追加するジェスチャ操作のための部分領域を別途設けることになる。
このように特許文献1に開示された情報入力装置では、使用するジェスチャ操作の種別数と同じ数の対応する部分領域が必要となり、タッチパッド上の任意の位置から任意のジェスチャ操作を入力することができない。これでは、操作者がタッチパッド上の指の位置を意識して使い分けなければならず不便である。
また、特許文献1の手法において、1つのタッチ操作開始位置や部分領域に、単純に認識条件を追加していくことで認識対象となるジェスチャ操作を増やした場合、ジェスチャ操作同士を混同せずに認識するためには個々のジェスチャ操作の認識条件を厳しくしなければならない。
例えば、ジェスチャ操作Aを入力する際には三角形を描き、ジェスチャ操作Bを入力するには円を描き、ジェスチャ操作Cを入力するには四角形を描くと定めたとすると、三角形のみを認識する場合に比して、三角形と円とを判別して認識するために、三角形の角が丸みを帯びた軌跡を排除しなければならず、三角形と四角形とを判別して認識するために、三角形の角と判定する角度の範囲を狭めて鋭角の軌跡を三角の角としなければならない。
したがって、三角形と四角形と円を情報入力装置が識別できるように操作者が厳密に描き分ける必要が生じる。
その結果、例えばジェスチャの軌跡が複雑化する上に、ジェスチャ操作を入力する手間や時間が増えてしまい、操作者の利便性を損ねる。
そこで、本発明は、以上の課題を解決するために、筐体にタッチパッドを備えた情報入力装置において、入力のしやすさを損なわずに、どの位置から操作を開始しても複数の種別のジェスチャ操作を素早く入力することができる情報入力装置を提供する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1における情報入力装置190の外観の一例を説明する図である。
情報入力装置190は、筐体189と、タッチセンサであるタッチパッド100と、操作決定用のボタン150とを備える。
操作者の指がタッチパッド100に接触(タッチ)すると、タッチパッド100がそのタッチ位置を検出する。操作者がタッチパッド100を指でなぞった際には、所定の時間間隔でタッチ位置が連続的に検出され、タッチ位置の系列が得られる。
情報入力装置190は、このタッチ位置の系列を用いて、タッチ操作の種別の認識(以後、タッチ操作の認識ともいう)を行い、さらにタッチ操作の認識の結果を用いて、情報入力装置190による操作対象を制御する。
操作対象はディスプレイ等の表示装置200において画面上に表示されるGUIオブジェクトであり、例えばメニューやアイコン等である。
実施の形態1では、情報入力装置190はタッチ操作として、画面表示されたカーソルを移動させるポインティング操作を認識する。また、情報入力装置190はジェスチャ操作として、縦方向に直線的にタッチパッド100をなぞる縦スライド操作、横方向に直線的にタッチパッド100をなぞる横スライド操作及び円弧軌跡でタッチパッド100をなぞる回転操作の3つの操作を認識する。
図2は、情報入力装置190が認識する、タッチ操作とそれに対応する機能の具体例を示す図である。図2(a)に示すように、操作者はポインティング操作と操作決定用のボタン150で画像の選択を行うことができる。
また、図2(d)に示すように、操作者は回転操作で中央の画像を回転させることができる。
また、図2(b)に示すように、操作者は縦スライド操作で画像を縦スクロールさせることができる。
また、図2(c)に示すように、操作者は横スライド操作で画像の横スクロールさせることができる。
図3は、本実施の形態における情報入力装置190の構成例を示す図である。
情報入力装置190は、タッチパッド100と、操作者の指がタッチパッド100に接触したときの位置を検出するタッチ位置検出部101と、所定時間の間、タッチ位置を記憶するタッチ位置系列記憶部102と、タッチ位置系列記憶部102に記憶されたタッチ位置を用いて、操作者のタッチ操作の開始位置を検出するタッチ操作開始位置検出部103と、タッチ操作開始位置に対応付けて、タッチ操作を認識するためのタッチ操作認識条件を記憶するタッチ操作認識条件記憶部115と、タッチ操作開始位置検出部103で検出されたタッチ操作開始位置に対応したタッチ操作認識条件をタッチ操作認識条件記憶部115から取得し、操作者が行ったタッチ操作を求めるタッチ操作認識部114と、タッチ操作認識部114が出力する認識結果の操作種別に応じた処理を実行する機能制御部108とを備える。
より具体的に述べると、機能制御部108では、認識結果の操作種別が横スライド操作であれば、画像横スクロール制御部109が横スクロール処理を実行し、認識結果の操作種別が縦スライド操作であれば、画像縦スクロール制御部110が縦スクロール処理を実行し、認識結果の操作種別が回転操作であれば、画像回転制御部111が画像の回転処理を実行し、認識結果の操作種別がポインティング操作であれば、カーソル制御部112がカーソル移動処理を実行する。
表示部113は、機能制御部108によって実行された処理結果をGUIとして表示装置200へ表示する。
すなわち、情報入力装置190は、情報を入力するためのタッチセンサであるタッチパッド100と、操作者の指がタッチパッド100に接触したときの情報であるタッチ位置を検出するタッチ位置検出部101と、タッチ位置を用いて、操作者のタッチ操作の開始位置であるタッチ操作開始位置を検出するタッチ操作開始位置検出部103と、タッチ操作開始位置に対応付けて、複数のタッチ操作の種別をそれぞれ認識するための複数のタッチ操作認識条件を記憶しているタッチ操作認識条件記憶部115と、タッチ操作開始位置検出部103で検出されたタッチ操作開始位置に対応づけられた複数のタッチ操作認識条件を用いてタッチ情報を認識し、操作者が行ったタッチ操作の種別を求めるタッチ操作認識部114とを備えている。なお、タッチ操作認識部114が認識するタッチ操作の種別は、例えば、図2に示される、「ポインティング操作」、「縦スライド操作」、「横スライド操作」、「回転操作」などが想定されるが、他の操作(例えば、三角形や四角形など、事前に定められた形状の図形を描く操作)であってもよい。
また、タッチ操作認識部114は、認識結果として、操作者が行ったタッチ操作の種別とタッチ操作の大きさを示す操作量を出力する。ここで、認識されたタッチ操作の種別は、操作者が指定した位置を入力するポインティング操作及び事前に定められた特定の処理の実行を指示する複数の種別のジェスチャ操作のうちのいずれか1つである。
なお、タッチ操作開始位置検出部103は、操作者の指が最初にタッチパッド100に接触したタッチ位置をタッチ操作開始位置としてもよい。
なお、静電容量方式のタッチパッド100を使用する場合、タッチパッド100はタッチ位置に加えて、タッチ操作の強度(すなわち、操作者がタッチパッド100を押し込む力の強度)を示す静電容量値をタッチ位置とともに出力できる。
その場合、タッチ位置検出部101は、タッチ位置に加えて、静電容量値も検出することにより、「こする」動作や「削る」動作等のタッチ強度を使用するタッチ操作を認識する場合にも、本実施形態で説明した手法が適用可能となる。
よって、以後、タッチ位置又は、タッチ位置及び静電容量値を含む情報をタッチ情報と呼ぶことにする。
また、以後、タッチ位置検出部をタッチ情報検出部とも呼び、タッチ位置系列記憶部をタッチ情報系列記憶部とも呼ぶものとする。
以下、図3を用いてより詳細に説明する。
タッチ位置検出部101は、操作者の指が触れている位置を所定時間間隔ごとに検出する。例えば、図1に示す座標軸をタッチパッド100の操作面上に割り当て、タッチ位置を2次元座標値(xn,yn)で出力する。また、タッチ位置検出部101は、操作者がタッチパッド100から指を離した際には、タッチ位置を示す2次元座標とは異なるタッチオフ信号を出力する。
タッチ位置系列記憶部102は、直前のタッチオフ信号以降にタッチ位置検出部101が検出し、出力したタッチ位置、すなわち指がタッチパッド100に触れ始めてからのタッチ位置を、出力された順に、(x0,y0)・(x1,y1)・・・(xn,yn)として記憶する。
図4はタッチ位置系列記憶部102が記憶するデータの構造を示す。
タッチ操作開始位置検出部103は、タッチ位置系列として記憶された最初のタッチ位置(x0,y0)(すなわち指が触れ始めたタッチ位置)と、タッチ位置系列の最後のタッチ位置(xn,yn)との距離LSを取得する。そして、距離LSが事前に設定された閾値LTMよりも大きい場合は、タッチ位置系列の最後のタッチ位置(xn,yn)をタッチ操作開始位置(xs,ys)とする。いったんタッチ操作開始位置を検出すると、タッチしている指が離され再度タッチが始められるまで、タッチ操作開始位置検出部103はタッチ操作開始位置の検出を行わない。
なお、本実施形態では、操作者が意図せずに指が不意にタッチパッド100に触れて離れた場合に、以降の処理を行わないようにするために、距離の閾値LTMを設けてタッチ操作開始位置を検出したが、タッチ操作開始位置検出部103は、指が触れ始めた最初のタッチ位置(x0,y0)をタッチ操作開始位置(xs,ys)としてもよい。
タッチ操作認識条件記憶部115は、タッチ操作を認識するための認識条件として、タッチ位置系列から得られるタッチ移動距離とタッチ移動方向とタッチ回転角度のそれぞれの閾値を、タッチパッド100上に設定した部分領域ごとに記憶している。
タッチ移動距離とは、図5(a)に示すように、2点のタッチ位置間の直線距離である。ここで、Li・i+3は、(xi,yi)から(x(i+3),y(i+3))までのタッチ移動距離を意味する。
タッチ移動方向は、図5(b)に示すように、連続する2点のタッチ位置がタッチパッド100上の座標系のX軸となす角度であり、ここでは左回転方向を正、右回転方向を負とする(−180°〜180°)。
ここで、Di・i+1は、(xi,yi)と(x(i+1),y(i+1))の間のタッチ移動方向を意味する。
タッチ回転角度は、2点のタッチ位置間、例えば図5(c)の例では線分(xi,yi)・(x(i+1),y(i+1))と線分(x(i+2),y(i+2))・(x(i+3),y(i+3))のなす角度であり、これを(xi,yi)から(x(i+3),y(i+3))までの回転角度と表し、左回転方向を正、右回転方向を負とする(−180°〜180°)。ここで、Ri・(i+3)は、(xi,yi)から(x(i+3),y(i+3))までのタッチ回転角度を意味する。また、Ri・(i+3)は、Ri(i+3)とも書くものとする。
また、タッチ操作認識条件記憶部115は、部分領域ごとに、情報入力装置190が認識するタッチ操作の種別に対応付けられた複数の閾値を記憶している。例えば、本実施の形態においては、縦スライド認識用閾値、横スライド認識用閾値、回転認識用閾値を記憶している。
図6にタッチ操作認識条件記憶部115が記憶するデータの構造及び部分領域の例を示す。
縦スライド操作の認識に用いる閾値として、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の距離Lsnと比較する移動距離の閾値Lvs、タッチ位置系列に含まれる連続する2つの位置(x(i−1),y(i−1))・(xi,yi)[i=s+1〜n]の移動方向D(i−1)・iと比較する移動方向の閾値Dvsを、部分領域(1−1)〜(6−6)の36の領域それぞれについて記憶する。以下、「(m−n):(閾値1、閾値2、・・・)」という記載は、部分領域(m−n)に対応付けられた閾値を示す。例えば、
(1−1):(Lvs、Dvs)、(1−2):(Lvs、Dvs)、・・・(1−6):(Lvs、Dvs)、
(2−1):(Lvs、Dvs)、(2−2):(Lvs、Dvs)、・・・(2−6):(Lvs、Dvs)、
・・・
(6−1):(Lvs、Dvs)、(6−2):(Lvs、Dvs)、・・・(6−6):(Lvs、Dvs)
となる。
これらの閾値を用いて、タッチ操作認識条件記憶部115は、縦スライド操作の認識条件を、例えば以下のように記憶する。
縦スライド認識条件(1):Lsn≧Lvsかつ
縦スライド認識条件(2):||D(i−1)・i|−90°|<Dvs、[i=s+1〜n]
ここで、Lvsの値域は、5mm≦Lvs≦40mmとする。
また、Dvsの値域は、10°≦Dvs≦80°とする(なお、後述するDhsとの関係は、20°≦Dvs+Dhs≦90°とする)。
ここで、縦スライド操作の認識が確定するまでにタッチ位置が追加更新されていくタッチ位置系列において、縦スライド認識条件(1)は、少なくとも1回満たせばよい条件(以下、フラグ式条件と記述)であるが、縦スライド認識条件(2)は、常に満たさなければならない条件(以下、リピート式条件)であるとする。
すなわち、認識過程で縦スライド認識条件(2)を満たさないタッチ位置系列が出現した時点で認識結果から縦スライド操作は排除される。
同様に、タッチ操作認識条件記憶部115は、横スライド操作の認識条件として、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の距離Lsnと比較する移動距離の閾値Lhs、及びタッチ位置系列に含まれる連続する2つの位置(x(i−1),y(i−1))・(xi,yi)[i=s+1〜n]の移動方向D(i−1)・iと比較する移動方向の閾値Dhsを、部分領域(1−1)〜(6−6)の36の領域それぞれについて記憶する。例えば、
(1−1):(Lhs、Dhs)、(1−2):(Lhs、Dhs)、・・・(1−6):(Lhs、Dhs)、
(2−1):(Lhs、Dhs)、(2−2):(Lhs、Dhs)、・・・(2−6):(Lhs、Dhs)、
・・・
(6−1):(Lhs、Dhs)、(6−2):(Lhs、Dhs)、・・・(6−6):(Lhs、Dhs)
となる。
これらの閾値を用いて、タッチ操作認識条件記憶部115は、横スライド操作の認識条件を、例えば以下のように記憶する。
横スライド認識条件(1)(フラグ式条件):Lsn≧Lhsかつ
横スライド認識条件(2)(リピート式条件):|D(i−1)・i|<Dhs(右方向スライド時)、180°―|D(i−1)・i|<Dhs(左方向スライド時)、[i=s+1〜n]
なお、Lhsの値域は、5mm≦Lhs≦40mmとする。また、Dhsの値域は、10°≦Dhs≦80°とし、前記のDvsとの関係は、20°≦Dvs+Dhs≦90°とする。
これは、縦スライド操作の認識条件と横スライド操作の認識条件の両方を満たす移動方向が生じないようにするためである。
さらに、回転操作の認識条件として、タッチ操作認識条件記憶部115は、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の距離Lsnと比較する移動距離の閾値Lrと、タッチ位置系列に含まれる連続する3つの位置(x(i−2),y(i−2))・(x(i−1),y(i−1))・(xi,yi)[i=s+2〜n]における、(x(i−2),y(i−2))と(x(i−1),y(i−1))の間の移動方向D(i−2)・(i−1)と(x(i−1),y(i−1))と(xi,yi)の間の移動方向D(i−1)・iとの差分である、dD(i−2)・iと比較する移動方向差分の閾値dDrと、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の回転角度Rs・nと比較する回転角度の閾値Rrとを、部分領域(1−1)〜(6−6)の36の領域それぞれについて記憶する。例えば、
(1−1):(Lr、dDr、Rr)、(1−2):(Lr、dDr、Rr)、・・・(1−6):(Lr、dDr、Rr)、
(2−1):(Lr、dDr、Rr)、(2−2):(Lr、dDr、Rr)、・・・(2−6):(Lr、dDr、Rr)、
・・・
(6−1):(Lr、dDr、Rr)、(6−2):(Lr、dDr、Rr)、・・・(6−6):(Lr、dDr、Rr)
となる。
これらの閾値を用いて、タッチ操作認識条件記憶部115は、回転操作の認識条件を、例えば以下のように記憶する。
回転認識条件(1)(フラグ式認識条件):Lsn≧Lrかつ
回転認識条件(2)(リピート式認識条件):|dD(i−2)・i|<dDr、[i=s+2〜n]かつ
回転認識条件(3)(フラグ式認識条件):|Rsn|≧Rr
なお、Lrの値域は、5mm≦Lr≦40mmとする。また、dDrの値域は、10°≦dDr≦180°とする。また、Rrの値域は、30°≦Rr≦360°とする。
なお、図6に示した例では、各操作において、認識のための条件式は部分領域に関わらず共通であるが、閾値だけではなく、条件式も部分領域ごとに異なるものとしてもよい。
タッチ操作認識部114の詳細な内部構成を図7に示す。タッチ操作認識部114は、タッチ特徴量算出部116とタッチ操作判定部117で構成される。
ここで、情報入力装置は、事前に定められた特定時間の間、タッチ情報を記憶しているタッチ位置(すなわち、タッチ情報)系列記憶部102を備えており、タッチ操作認識部114は、タッチ位置系列記憶部102が記憶しているタッチ情報を用いて、タッチ操作時間、タッチ移動距離、タッチ移動速度、タッチ移動加速度及びタッチ移動方向のうち少なくとも1つをタッチ特徴量として算出するタッチ特徴量算出部116と、タッチ操作認識条件記憶部115が記憶しているタッチ操作開始位置に対応づけられた複数のタッチ操作認識条件に基づいて、タッチ特徴量からタッチ操作の種別を判定するタッチ操作判定部117とを備えている。
より具体的には、タッチ操作認識条件記憶部115は、タッチセンサの操作面上に定義された複数の部分領域ごとに、複数のジェスチャ操作の種別それぞれに対応するタッチ操作認識条件を記憶している。
また、タッチ操作判定部117は、複数の部分領域のうちタッチ操作開始位置を内包する部分領域に対応して記憶されているタッチ操作認識条件のうちの1つであって、複数のジェスチャ操作の種別うち第1のジェスチャ操作を認識するためのタッチ操作認識条件を、タッチ特徴量算出部116によって算出されたタッチ特徴量が満たすか否かを判定する。具体的には、タッチ操作判定部117は、タッチ操作認識条件に含まれる閾値の値と、タッチ特徴量とを比較することで、タッチ特徴量がタッチ操作認識条件を満たすか否かを判定する。
その結果、タッチ特徴量がタッチ操作認識条件を満たさない場合には、タッチ操作判定部117は、そのタッチ操作が第1のジェスチャ操作ではないと判定する。
すなわち、複数の部分領域のうち第1の部分領域に対応する第1のジェスチャ操作を認識するための第1のタッチ操作認識条件と、複数の部分領域のうち第2の部分領域に対応する第1のジェスチャ操作を認識するための第2のタッチ操作認識条件とは異なることとなる。
以下、より詳細に説明する。
タッチ特徴量算出部116は、タッチ位置系列記憶部102から、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)を取得する。
次にタッチ特徴量算出部116はタッチ特徴量として、(1)タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の距離Lsnと、(2)タッチ位置系列に含まれる連続する2つのタッチ位置(x(i−1),y(i−1))と(xi,yi)[i=s+1〜n]との移動方向D(i−1)・iと、(3)タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の回転角度Rsnと、(4)タッチ位置系列に含まれる連続する3つの位置(x(i−2),y(i−2))、(x(i−1),y(i−1))及び(xi,yi)[i=s+2〜n]における、(x(i−2),y(i−2))と(x(i−1),y(i−1))との移動方向D(i−2)・(i−1)と、(x(i−1),y(i−1))と(xi,yi)との移動方向D(i−1)・iの差分dD(i−2)・iを算出する。
タッチ操作判定部117は、タッチ操作開始位置検出部103からタッチ操作開始位置(xs,ys)を取得し、(xs,ys)を内包する領域(M−N)、及びその領域に対応する認識閾値及び認識条件をタッチ操作認識条件記憶部115から読み出して取得する。
具体的には、縦スライド認識においては、閾値(M−N):(Lvs、Dvs)及び認識条件として、
Lsn≧Lvsかつ||D(i−1)・i|−90°|<Dvs[i=s+1〜n]を取得し、
横スライド認識においては、閾値(M−N):(Lhs、Dhs)及び認識条件として、
Lsn≧Lhsかつ|D(i−1)・i|<Dhs(右方向スライド時)、又は、180°―|D(i−1)・i|<Dhs(左方向スライド時)[i=s+1〜n]を取得し、
回転認識においては、閾値(M−N):(Lr、dDr、Rr)、及び認識条件として、Lsn≧Lrかつ|dD(i−2)・i|<dDr[i=s+2〜n]かつ|Rsn|≧Rrを取得する。
次に、タッチ操作判定部117は、タッチ特徴量算出部116が算出したタッチ特徴量であるLsn、D(i−1)・i、dD(i−2)・i及びRs・nを用いて、算出されたタッチ特徴量が、いずれのタッチ操作の種別の認識条件を満たすかを調べる。
タッチ位置系列が縦スライド操作であるかを認識する場合、例えば、タッチ操作開始位置に対応する閾値(M−N):(Lvs、Dvs)が(20mm、30°)とすると、
Lsn≧20mmかつ||D(i−1)・i|−90°|<30°を満たすタッチ操作系列は縦スライド操作となる。
タッチ位置系列が横スライド操作であるかを認識する場合、例えば、タッチ操作開始位置に対応する閾値(M−N):(Lhs、Dhs)が(10mm、30°)とすると、
Lsn≧10mmかつ
|D(i−1)・i|<30°(右方向スライド時)、又は、
180°―|D(i−1)・i|>30°(左方向スライド時)[i=s+1〜n]
を満たすタッチ操作系列は横スライド操作となる。
タッチ位置系列が回転操作であるかを認識する場合、例えば、タッチ操作開始位置に対応する閾値(M−N):(Lr、dDr、Rr)が(15mm、90°、180°)とすると、
Lsn≧15mmかつ|dD(i−2)・i|<90°[i=s+2〜n]かつ|Rsn|≧180°を満たすタッチ位置系列は回転操作となる。
以上の縦スライド操作・横スライド操作・回転操作のいずれのリピート式認識条件も満たさない場合、すなわち、縦スライド操作・横スライド操作・回転操作のいずれでもないことが確定した場合には、タッチ操作認識部114は操作種別の認識結果としてポインティング操作を出力する。
図8〜図11で縦スライド操作の認識結果を得る一例を説明する。
図8は認識の対象となるタッチ位置系列(x0,y0)〜(x4,y4)を示す。
まず、図9に示すように、(x0,y0)〜(x1,y1)の移動距離がL0・1=12mmとすると、タッチ操作開始位置検出のための閾値LTM=5mmを上回っているので、タッチ操作開始位置検出部103は(x1,y1)をタッチ操作開始位置(xs,ys)と設定する。
次に、図10に示すように、タッチ操作判定部117は、(x1,y1)に対応するタッチ操作認識条件として、条件式及び閾値をタッチ操作認識条件記憶部115から取得する。
次に、図11aに示すように、タッチ特徴量算出部116が(x1,y1)から(x2,y2)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。その結果、横スライド操作のリピート式条件を満たさないので、タッチ位置系列が横スライド操作ではないことが確定する。
次に、図11bに示すように、タッチ特徴量算出部116が(x1,y1)から(x3,y3)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。
次に、図11cに示すように、タッチ特徴量算出部116が(x1,y1)から(x4,y4)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。その結果、縦スライド操作の認識条件を満たすので、タッチ操作認識部114は認識結果である操作種別として縦スライド操作(上方向)を出力する。また、タッチ操作認識部114はタッチ特徴量算出部116が算出したタッチ特徴量のうち、タッチ操作開始位置からの移動距離を縦スライド操作の操作量として出力する。
図12及び図13で横スライド操作の認識結果を得る一例を説明する。
図12に示すように、タッチ位置系列(x0,y0)〜(x3,y3)が認識の対象である。
まず、上記の縦スライド操作の認識の一例と同様に、タッチ操作開始位置検出部103は(x1,y1)をタッチ操作開始位置(xs,ys)と設定する。
次に、図12に示すように、タッチ操作判定部117は、(x1,y1)に対応するタッチ操作認識条件として、条件式及び閾値をタッチ操作認識条件記憶部115から取得する。
次に、図13aに示すように、タッチ特徴量算出部116が(x1,y1)から(x2,y2)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。その結果、縦スライド操作のリピート式条件を満たさないので、タッチ位置系列が縦スライド操作ではないことが確定する。
次に、図13bに示すように、タッチ特徴量算出部116が(x1,y1)から(x3,y3)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。その結果、横スライド操作の認識条件を満たすので、タッチ操作認識部114は認識結果である操作種別として横スライド操作(右方向)を出力する。
また、タッチ操作認識部114は、タッチ特徴量算出部116が算出したタッチ特徴量のうち、タッチ操作開始位置からの移動距離も横スライド操作の操作量として出力する。
図14及び図15a〜図15eを参照して回転操作の認識結果を得る一例を説明する。図14に示すように、タッチ位置系列(x0,y0)〜(x7,y7)が認識の対象である。
まず、上記の縦スライド操作の認識の一例と同様に、タッチ操作開始位置検出部103は(x1,y1)をタッチ操作開始位置(xs,ys)と設定する。
次に、図14に示すように、タッチ操作判定部117は、(x1,y1)に対応するタッチ操作認識条件として、条件式及び閾値をタッチ操作認識条件記憶部115から取得する。
次に、図15aに示すように、タッチ特徴量算出部116が(x1,y1)から(x2,y2)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。その結果、横スライド操作のリピート式条件を満たさないので、タッチ位置系列が横スライド操作ではないことが確定する。
次に、図15bに示すように、タッチ特徴量算出部116が(x1,y1)から(x3,y3)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。
次に、図15cに示すように、タッチ特徴量算出部116が(x1,y1)から(x4,y4)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。その結果、縦スライド操作のリピート式条件を満たさないので、タッチ位置系列が縦スライド操作ではないことが確定する。
次に、図15dに示すように、タッチ特徴量算出部116が(x1,y1)から(x5,y5)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。
次に、タッチ特徴量算出部116が(x1,y1)から(x6,y6)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。
次に、図15eに示すように、タッチ特徴量算出部116が(x1,y1)から(x7,y7)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の条件式を用いて各操作の閾値と比較する。
その結果、回転操作の認識条件を満たすので、タッチ操作認識部114は認識結果である操作種別として回転操作(左回転)を出力する。また、タッチ操作認識部114はタッチ特徴量算出部116が算出したタッチ特徴量のうち、タッチ操作開始位置からの回転角度も回転操作の操作量として出力する。
次に、特定のジェスチャ種別を入力するための操作を他のジェスチャ種別を入力するための操作よりも入力しやすくするための、認識条件の閾値の設定方法について説明する。
上記では、縦スライド操作の認識には移動距離の閾値Lvs及び移動方向の閾値Dvsを、横スライド操作の認識には移動距離の閾値Lhs及び移動方向の閾値Dhsを、回転操作の認識には、移動距離の閾値Lr、移動方向差分の閾値dDr及び回転角度の閾値Rrを、それぞれ用いた。
これらの閾値のうちでリピート式条件として設定した条件式に使用する移動方向の閾値Dvs、Dhs及び移動方向差分の閾値dDrを用いて、縦スライド操作、横スライド操作、回転操作、3つのジェスチャ操作それぞれの入力容易度を以下のように決定する。
図16は、タッチ操作開始位置から連続する3つのタッチ位置において、3つのジェスチャ操作として認識されるために、移動方向又は移動方向差分が取り得る角度範囲を示したものである。
タッチ位置を、タッチ操作開始位置(xs,ys)から順に(x(s+1),y(s+1))、(x(s+2),y(s+2))、(x(s+3),y(s+3))とした場合の、各タッチ位置間の移動方向又は移動方向差分が取り得る角度範囲を示している。
縦スライド操作について、図17(a)のように、まず(xs,ys)に対して(x(s+1),y(s+1))は、前記の回転認識条件(2)を満たすために、上方向の縦スライド操作の場合は(xs,ys)を中心としy座標軸の正方向を中心線とする中心角(Dvs×2)°の扇型の内部に入らなければならず、下方向の縦スライド操作の場合は(xs,ys)を中心としy座標軸の負方向を中心線とする中心角(Dvs×2)°の扇型の内部に入らなければならない。
図17を参照し、例えば上方向の縦スライド操作である場合、図17(b)のように、(x(s+2),y(s+2))は(x(s+1),y(s+1))を中心としy座標軸の正方向を中心線とする中心角(Dvs×2)°の扇型の内部に入らなければならない。
同様に、図17(c)のように、(x(s+3),y(s+3))も(x(s+1),y(s+1))を中心としy座標軸の正方向を中心線とする中心角(Dvs×2)°の扇型の内部に入らなければならない。タッチ位置が図17で示した扇型の外部に移動してしまうと縦スライド認識条件(2)を満たさず、即座に縦スライド操作ではないと判定される。
したがって、Dvsが小さいと次のタッチ位置が許容される範囲が狭くなり、すなわち縦スライド操作とは認識されにくくなる。逆に、Dvsが大きいと次のタッチ位置が許容される範囲が広くなり、すなわち縦スライド操作と認識されやすくなる。
横スライド操作についても、図18に示すように、縦スライド操作と同様、Dhsが大きいと次のタッチ位置が許容される範囲が広くなり、すなわち横スライド操作と認識されやすくなる。
回転操作については、図19(a)のように、まず(xs,ys)に対して(x(s+1),y(s+1))は、前記の回転認識条件(2)を満たすために、(xs,ys)を中心とする中心角(dDr×2)°の扇型の内部に入らなければならない。
同様に、図19(b)のように、(x(s+2),y(s+2))は(x(s+1),y(s+1))を中心とする中心角(dDr×2)°の扇型の内部に入らなければならない。同様に、図19(c)のように、(x(s+3),y(s+3))は(x(s+2),y(s+2))を中心とする中心角(dDr×2)°の扇型の内部に入らなければならない。
タッチ位置が図19で示した扇型の外部に移動してしまうと回転認識条件(2)を満たさず、即座に回転操作ではないと判定される。したがって、dDrが小さいと次のタッチ位置が許容される範囲が狭くなり、すなわち回転操作とは認識されにくくなる。逆に、dDrが大きいと次のタッチ位置が許容される範囲が広くなり、すなわち回転操作と認識されやすくなる。
図20は、タッチ操作開始位置から連続する3つのタッチ位置において、3つのジェスチャ操作を認識するために、移動方向又は移動方向差分が取り得る角度範囲の大きさを示したものである。縦スライド操作では、(x(s+1),y(s+1))は、上方向又は下方向のどちらの縦スライド操作でも許容されるため、取り得る角度範囲の大きさは(Dvs×4)となっている。横スライド操作でも同様である。
これらの角度範囲の大きさは、各タッチジェスチャの認識されやすさを決める要素であり、ジェスチャ操作の入力しやすさを表す入力容易度とすることができる。本実施形態では、各ジェスチャ操作について、(xs,ys)から(x(s+3),y(s+3))までの、許容される角度範囲の大きさの合計を入力容易度として扱う。
以上に説明した入力容易度を用いて、認識条件の閾値を設定することにより、特定のジェスチャ操作を他のジェスチャ操作よりも入力しやすくすることができる。
例えば、図20に示した入力容易度を用いて、回転操作を縦スライド操作よりも入力しやすくするには、dDr×6>Dvs×8を満たすように閾値dDrとDvsを設定する。例えば、dDr=90°、Dvs=30°とすればよい。
また、例えば、横スライド操作を最も入力しやすくし、回転操作を最も入力しにくくするには、Dhs×8>Dvs×8>dDr×6を満たすように、Dhs=40°、Dvs=35°、dDr=45°とすればよい。
縦スライド認識条件(1)と横スライド認識条件(1)と回転認識条件(1)における移動距離の閾値については、例えば回転操作を縦スライド操作よりも入力しやすくする場合、Lr<Lvsとすればよい。また、横スライド操作を最も入力しやすくし、回転操作を最も入力しにくくする場合、Lhs<Lvs<Lrとすればよい。
このように、本実施形態では部分領域ごとに認識条件である閾値を設定することができるので、タッチ操作開始位置が内包される部分領域ごとに、ジェスチャ操作の種別に応じて入力のしやすさを設定することができる。
再び図3を参照して、機能制御部108は、認識結果である操作種別に対応する処理を実行する。
例えば、操作の認識結果が操作種別:横スライド操作(左方向)、操作量30mmであれば、画像横スクロール制御部109が、画像を左へ30mmスクロールさせる。
操作の認識結果が操作種別:縦スライド操作(下方向)、操作量30mmであれば、画像縦スクロール制御部110が、画像を下へ30mmスクロールさせる。
操作の認識結果が操作種別:回転操作(左回転)、操作量90°であれば、画像回転制御部111が、画像を左へ90°回転させる。
操作の認識結果が操作種別:ポインティング操作であれば、カーソル制御部112が、タッチ位置に対応する画面上の位置にカーソルを移動させる。
表示部113は、機能制御部108で実行された処理結果を、図2に示すようにGUIとして画面描画を行う。
図21は、これまで説明した、タッチパッド100で操作者の指のタッチ位置を検出してからタッチ操作の認識を行い、画面表示を行うまでの処理の流れを示したフローチャートである。
実施形態1では、3つフロー状態、すなわち、タッチ操作の認識を開始していない認識前状態と、タッチ操作の認識途中である認識中状態と、タッチ操作の認識が確定した認識確定済状態とを用いてフローを管理している。
まず、タッチ位置検出部101がタッチパッド100に操作者の指が接触したことを検出すると(S101)、フロー状態を認識前に設定(S102)し、タッチパッド100、タッチ位置検出部101はタッチ位置を取得する(S103)。
次に、タッチ位置系列記憶部102は、タッチ位置検出部101により取得されたタッチ位置をタッチ位置系列として記憶(S104)する。
次に、フロー状態によって処理を変更する(S105)。
認識前状態(状態1)であれば、タッチ操作開始位置の検出を行う処理へ、認識中状態(状態2)であれば、タッチ特徴量を算出して認識を行う処理へ、認識確定済状態(状態3)であれば、タッチ特徴量を算出して機能制御を行う処理へ、それぞれ分岐する。
S103で認識前状態の場合、タッチ操作開始位置検出部103がタッチ操作開始位置を検出し(S106・S107)、フロー状態を認識中に設定(S108)し、タッチ操作判定部117がタッチ操作開始位置に対応するタッチ操作認識条件を取得(S109)し、タッチ特徴量算出部116がタッチ特徴量を算出(S110)し、タッチ操作判定部117がタッチ操作認識条件(条件式及び閾値)とタッチ特徴量を比較してタッチ操作の認識を行う(S111)。
タッチ操作の認識が確定しタッチ操作種別が得られた(S112)場合、機能制御部108は、タッチ操作種別がポインティング操作であればカーソル制御を行い(S113)、横スライド操作であれば画像横スクロール制御を行い(S114)、縦スライド操作であれば画像縦スクロール制御を行い(S115)、回転操作であれば画像回転制御を行う(S116)。さらに、フロー状態を認識確定済(状態3)に設定(S117)する。
また、S103でフロー状態が認識中状態(状態2)の場合、タッチ特徴量算出部116がタッチ特徴量を算出(S110)し、すでに取得しているタッチ操作認識条件を用いて認識を行う。
また、S103でフロー状態が認識確定済状態(状態3)の場合、確定済タッチ操作の操作量を取得するためにタッチ特徴量を算出(S118)し、確定済タッチ操作の種別に応じて(S119)、機能制御部108が機能処理を実行する(S113〜S116)。
次に、表示部113がタッチ操作による機能実行結果を画面に表示する(S120)。
最後に、操作者がタッチパッド100から指を離したかどうかを、タッチ位置検出部101が検出し(S121)、指を離していれば上述したタッチオフ信号を出力し、次回のタッチ開始を検出できるようにした上で一連の処理を終了する。タッチが継続している場合は、新たなタッチ位置を取得し(S103)、一連の処理を繰り返す。
なお、本実施形態では、タッチ開始位置検出前及びタッチ操作認識中は、どの機能も実行されないが、暫定的にタッチ操作種別をポインティング操作に設定し、機能制御部108にカーソル制御を行うようにしてもよい。この場合のポインティング操作は、タッチ操作種別を確定済とは扱わず、認識処理の結果が確定した時点で、認識結果の操作種別に切り替わる。
このようにすれば、タッチ開始位置検出やタッチ操作認識に時間がかかる場合でも、操作者の指の動きに対して画面にカーソルが表示されるので、操作者が視覚的フィードバックを得ることができる。
なお、本実施形態では、操作者の指を検出するタッチセンサとしてタッチパッドを用いたが、これに限定されるものではなく、表示部113とタッチ入力部が一体となったタッチパネルであってもよい。
なお、本実施形態では、閾値との比較を行って認識に使用するタッチ特徴量として、タッチ移動距離、タッチ移動方向、タッチ移動方向より得られるタッチ移動方向差分及び回転角度を使用したが、これらに限定されるものではない。例えば、タッチ操作時間、タッチ移動速度、タッチ移動加速度、タッチ強度変化量(タッチ情報の系列において複数のタッチ情報間のタッチ強度の差分)等をタッチ特徴量とし、閾値を設けて認識のための条件としてもよい。
例えば、タッチ操作時間を用いて、タッチ開始後に所定の時間が経過すると、回転操作が入力されなくなる代わりにポインティング操作が入力されるといったタッチ操作時間を用いたタッチ操作種別の認識が考えられる。
また、例えば、タッチ移動速度を用いて、指をタッチして移動させる速度が一定速度以下であればポインティング操作とし、一定以上であればスライド操作とするといったタッチ移動速度を用いたタッチ操作種別の認識が考えられる。
また、例えば、タッチ移動加速度を用いて、指をタッチして移動させる加速度が一定以下であればポインティング操作とし、一定以上の加速度が継続している間だけスライド操作とするといったタッチ移動加速度を用いた認識が考えられる。
また、例えば、タッチ強度変化量を用いて、タッチ開始後のタッチ強度変化量が一定以下であればポインティング操作とし、タッチ強度変化量が一定以上になればスライド操作とするといったタッチ強度変化量を用いた認識が考えられる。
なお、本実施形態では、情報入力装置190は1つのタッチパッド100を備える構成としたが、これに限定されるものではなく、複数のタッチパッドやタッチパネルを備える構成であってもよい。
また、本実施形態では、情報入力装置190はタッチパッド100とは別のボタン150を備える構成としたが、これに限定されるものではなく、例えば、タッチパッド100を短い時間でたたく「タップ」と呼ばれるタッチ操作を、ボタン150を押下する操作の代わりに用いてもよいし、タッチパッド100下面にボタンを備えてタッチパッド100自体を押し込める構造(いわゆる、クリッカブルタッチパッド)としてもよい。
かかる構成によれば、タッチパッド100上のどの位置から操作を開始しても、複数のジェスチャ操作を入力することができるだけでなく、筐体の形状や筐体の持たれ方に起因する、ジェスチャ操作ごとの操作開始位置の傾向を基にタッチ操作認識条件を設定しておくことで、特定のジェスチャ操作を他のジェスチャ操作よりも認識されやすくし、操作者にとって自然で素早い入力が可能な情報入力装置190を提供することができる。
(実施の形態2)
本発明の実施の形態2における情報入力装置190は、実施の形態1と同様に、筐体189と、タッチセンサとして静電容量式のタッチパッド100と、操作決定用のボタン150を備える。
実施の形態1と同様に、情報入力装置190は、タッチ操作として、画面表示されたカーソルを移動させるポインティング操作を認識する。また、情報入力装置190は、縦方向に直線的にタッチパッド100をなぞる縦スライド操作、横方向に直線的にタッチパッド100をなぞる横スライド操作及び円弧軌跡でタッチパッド100をなぞる回転操作を認識する。
図22は、本発明の一実施形態における情報入力装置190の構成例を示す図である。
実施の形態1における構成(図3)と異なる点は、タッチ操作認識部114は、操作者の指の動作や軌跡から、タッチパッド100に触れたままの状態においてジェスチャ操作が終了しているかどうかの判定を行う点と、タッチ操作開始位置検出部103はジェスチャ操作終了時のタッチ位置を次のタッチ操作におけるタッチ操作開始位置と設定する点である。
実施の形態2では、主に、タッチ操作開始位置検出部103と、タッチ操作認識部114と、ジェスチャ操作終了判定条件記憶部118について説明し、その他の実施形態1と同じ構成要素については同一の符号をつけ、説明を省略する。
以下、図22のブロックのうち、実施形態1とは異なる機能を説明する。
ジェスチャ操作終了判定条件記憶部118は、タッチ操作認識部114が認識結果として確定したタッチ操作種別のうちジェスチャ操作(縦スライド操作、横スライド操作及び回転操作)が終了しているかどうかをそれぞれ判定するための条件として、タッチ移動距離とタッチ移動方向とタッチ回転角度のそれぞれの閾値を、タッチパッド100上に設定した部分領域ごとに記憶する。
よって、部分領域ごとに記憶される閾値には、縦スライド終了判定用閾値、横スライド終了判定用閾値、回転終了判定用閾値がある。
すなわち、タッチ操作認識部114が、認識結果としてジェスチャ操作の種別を出力した場合において、その後、タッチ操作認識部114は、ジェスチャ操作の入力が終了したか否かを判定し、終了したと判定した場合には、判定をした時点に検出された、操作者が触れているタッチパッド100の操作面上の位置であるタッチ位置、及び、判定した時点の1つ前に検出された、操作者が触れているタッチパッド100の操作面上の位置であるタッチ位置のうち少なくとも1つをジェスチャ操作終了位置として出力する。
また、タッチ操作開始位置検出部103は、ジェスチャ操作の入力が終了したと判定された時点のタッチ位置をタッチ操作開始位置として検出する。
より具体的には、情報入力装置190は、さらに、ジェスチャ操作終了判定条件記憶部118を備え、タッチ操作認識部114は、さらに、ジェスチャ操作終了判定部119とジェスチャ終了位置取得部120とを備えている。
ジェスチャ操作終了判定条件記憶部118は、複数の部分領域ごとに、複数のジェスチャ操作の種別それぞれに対応してジェスチャ操作の終了を判定するための条件であるジェスチャ操作終了判定条件を記憶している。
ジェスチャ操作終了判定部119は、複数の部分領域のうちタッチ操作開始位置を内包する部分領域に対応して記憶されているジェスチャ操作終了判定条件であって、タッチ操作判定部117により判定されたジェスチャ操作の種別に対応するジェスチャ操作終了判定条件をタッチ特徴量が満たすか否かを判定する。
ジェスチャ終了位置取得部120は、ジェスチャ操作終了判定部119による判定の結果、タッチ特徴量がジェスチャ操作終了判定条件を満たす場合には、条件を満たした時点に検出されたタッチ位置、及び、その条件を満たした時点の1つ前に検出されたタッチ位置のうち少なくとも1つをジェスチャ終了位置として出力する。
その後、タッチ操作開始位置検出部103は、出力されたジェスチャ操作終了位置をタッチ操作開始位置として検出する。
なお、ジェスチャ終了位置取得部120は、ジェスチャ操作の終了判定をした時点に検出されたタッチ位置及び判定した時点の1つ前に検出されたタッチ位置のいずれかをジェスチャ操作終了位置として出力してもよい。
以下、より詳細に説明する。
図23にジェスチャ操作終了判定条件記憶部118が記憶するデータの構造及び部分領域の例を示す。タッチパッド100上に設けた部分領域は実施形態1の例(図6)と同様である。
ジェスチャ操作終了判定条件記憶部118は、縦スライド操作の終了判定に用いる閾値として、タッチ位置系列に含まれる連続する2つの位置(x(i−1),y(i−1))及び(xi,yi)[i=s+1〜n]の移動方向D(i−1)・iと比較する、移動方向の閾値Dvseを部分領域(1−1)〜(6−6)の36の領域それぞれについて記憶する。
この閾値を用いて、縦スライド操作の終了判定条件を、例えば以下のように記憶する。ジェスチャ操作終了判定条件記憶部118は、操作者のタッチ操作がこの条件を満たした時点で縦スライド操作が終了したものと判定する。
縦スライド終了判定条件:|Di−1・i|≦Dvse又は180°−|Di−1・i|≦Dvse[i=s+1〜n]
また、横スライド操作の終了判定に用いる閾値として、タッチ位置系列に含まれる連続する2つの位置(x(i−1),y(i−1))・(xi,yi)[i=s+1〜n]の移動方向D(i−1)・iと比較する移動方向の閾値Dhseを、部分領域(1−1)〜(6−6)の36の領域それぞれについて記憶する。この閾値を用いて、横スライド操作の終了判定条件を、例えば以下のように記憶する。ジェスチャ操作終了判定条件記憶部118は、操作者のタッチ操作がこの条件を満たした時点で横スライド操作が終了したものと判定する。
横スライド終了判定条件:||Di−1・i|−90°|≦Dhse[i=s+1〜n]
また、回転操作の終了判定に用いる閾値として、タッチ位置系列に含まれる連続する3つの位置(x(i−2),y(i−2))・(x(i−1),y(i−1))・(xi,yi)[i=s+2〜n]における、(x(i−2),y(i−2))・(x(i−1),y(i−1))の移動方向D(i−2)・(i−1)と、(x(i−1),y(i−1))・(xi,yi)の移動方向D(i−1)・iの差分dD(i−2)・iと比較する移動方向差分の閾値dDreを、部分領域(1−1)〜(6−6)の36の領域それぞれについて記憶する。
この閾値を用いて、回転操作の終了判定条件を、例えば以下のように記憶する。ジェスチャ操作終了判定条件記憶部118は、操作者のタッチ操作がこの条件を満たした時点で回転操作が終了したものと判定する。
回転終了判定条件:|dDi−2・i|≧dDre [i=s+2〜n]
なお、図23に示した例では、各操作において、操作終了判定のための条件式は部分領域に関わらず共通であるが、閾値だけではなく、条件式も部分領域ごとに異なるものとしてもよい。
実施形態2におけるタッチ操作認識部114の詳細な内部構成を図24に示す。
タッチ操作認識部114は、タッチ特徴量算出部116とタッチ操作判定部117とジェスチャ操作終了判定部119とジェスチャ終了位置取得部120で構成される。このうちタッチ特徴量算出部116とタッチ操作判定部117は実施形態1と同様であるので説明を省略する。
ジェスチャ操作終了判定部119は、タッチ操作開始位置検出部103からタッチ操作開始位置(xs,ys)を取得し、(xs,ys)を内包する領域(M−N)、並びに、その領域に対応するジェスチャ操作終了判定条件である操作終了閾値及び終了判定条件をジェスチャ操作終了判定条件記憶部118から読み出して取得する。
縦スライド操作の終了判定においては、ジェスチャ操作終了判定部119は、閾値(M−N):(Dvse)、及び終了判定条件として、|D(i−1)・i|≦Dvse又は180°−|D(i−1)・i|≦Dvse[i=s+1〜n]を取得する。
横スライド操作の終了判定においては、ジェスチャ操作終了判定部119は、閾値(M−N):(Dhse)、及び終了判定条件として、|D(i−1)・i|−90°|≦Dhse[i=s+1〜n]を取得する。
回転操作の終了判定においては、ジェスチャ操作終了判定部119は、閾値(M−N):(dDre)、及び終了判定条件として、dD(i−2)・i|≧dDre[i=s+2〜n]を取得する。
そして、ジェスチャ操作終了判定部119は、タッチ特徴量算出部116が算出したタッチ特徴量であるD(i−1)・i及びdD(i−2)・iを用いて、いずれのジェスチャ操作の終了判定条件を満たすかを調べる。
ジェスチャ終了位置取得部120は、ジェスチャ操作終了判定部119がジェスチャ操作の終了を判定した場合に、タッチ位置系列の最終のタッチ位置(xn,yn)及び、タッチ位置系列の最終のタッチ位置(xn,yn)の1つ前のタッチ位置(x(n−1),y(n−1))のうち少なくとも1つをジェスチャ操作終了位置として出力する。
タッチ操作開始位置検出部103は、ジェスチャ終了位置取得部120が取得したジェスチャ操作終了位置をタッチ操作開始位置として検出し、タッチ操作開始位置の値を更新する。以降は更新されたタッチ操作開始位置を用いて、実施形態1で説明した一連のタッチ操作認識処理を繰り返す。
なお、タッチ操作開始位置検出部103は、ジェスチャ終了位置取得部120から、(xn,yn)及び(x(n−1),y(n−1))の2つジェスチャ操作終了位置が出力された場合には、例えば、2点を結ぶ直線の中点をタッチ操作開始位置として更新することが考えられる。
図25〜図30を用いて、操作者がタッチパッド100から指を離すことなくジェスチャ操作を終了し、次のジェスチャ操作を入力する一例を説明する。
(1)まず、図25に示すように、(x0,y0)〜(x1,y1)の移動距離がL0・1=10mmとすると、タッチ操作開始位置検出のための閾値LTM=5mmを上回っているので、タッチ操作開始位置検出部103は(x1,y1)をタッチ操作開始位置(xs,ys)と設定する。
(2)次に、図26に示すように、タッチ操作判定部117は、(x1,y1)に対応するタッチ操作認識条件として、条件式及び閾値をタッチ操作認識条件記憶部115から取得する。また、ジェスチャ操作終了判定部119は、(x1,y1)に対応するジェスチャ操作終了判定条件として、条件式及び閾値をジェスチャ操作終了判定条件記憶部118から取得する。
(3)次に、図27(a)に示すように、タッチ特徴量算出部116が(x1,y1)から(x2,y2)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、縦スライド操作のリピート式条件を満たさないので、タッチ位置系列が縦スライド操作ではないことが確定する。
(4)次に、図27(b)に示すように、タッチ特徴量算出部116が(x1,y1)から(x3,y3)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。
その結果、横スライド操作の認識条件を満たすので、認識結果である操作種別として横スライド操作(右方向)を出力する。また、タッチ特徴量算出部116が算出したタッチ特徴量のうち、タッチ操作開始位置からの移動距離も横スライド操作の操作量として出力する。
(5)次に、図27(c)に示すように、タッチ特徴量算出部116が(x1,y1)から(x4,y4)までのタッチ位置におけるタッチ特徴量を算出し、ジェスチャ操作終了判定部119が横スライド操作の終了判定条件式を用いてタッチ特徴量と閾値とを比較する。
その結果、タッチ特徴量が横スライド操作の終了判定条件を満たさないので、ジェスチャ操作終了判定部119は横スライド操作としての処理を継続し、タッチ特徴量算出部116が算出したタッチ特徴量のうち、タッチ操作開始位置からの移動距離を横スライド操作の操作量として出力する。
(6)次に、図27(d)に示すように、タッチ特徴量算出部116が(x1,y1)から(x5,y5)までのタッチ位置におけるタッチ特徴量を算出し、ジェスチャ操作終了判定部119が横スライド操作の終了判定条件式を用いて閾値と比較する。
その結果、横スライド操作の終了判定条件を満たすので、ジェスチャ操作終了判定部119は終了判定を出力し、ジェスチャ終了位置取得部120は(x4,y4)をジェスチャ操作終了位置として出力する。タッチ操作開始位置検出部103はこのジェスチャ操作終了位置を新しいタッチ操作開始位置として更新する。
(7)次に、図28・図29に示すように、タッチ操作判定部117は、(x4,y4)に対応するタッチ操作認識条件として、条件式及び閾値をタッチ操作認識条件記憶部115から取得する。また、ジェスチャ操作終了判定部119は、(x4,y4)に対応するジェスチャ操作終了判定条件として、条件式及び閾値をジェスチャ操作終了判定条件記憶部118から取得する。
(8)次に、図30(a)に示すように、タッチ特徴量算出部116が(x4,y4)から(x5,y5)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、横スライド操作のリピート式条件を満たさないので、タッチ位置系列が横スライド操作ではないことが確定する。
(9)次に、図30(b)に示すように、タッチ特徴量算出部116が(x4,y4)から(x6,y6)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。
(10)次に、図30(c)に示すように、タッチ特徴量算出部116が(x4,y4)から(x7,y7)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、縦スライド操作の認識条件を満たすので、認識結果である操作種別として縦スライド操作(上方向)を出力する。また、タッチ特徴量算出部116が算出したタッチ特徴量のうち、タッチ操作開始位置からの移動距離も縦スライド操作の操作量として出力する。
(11)次に、図30(d)に示すように、タッチ特徴量算出部116が(x4,y4)から(x8,y8)までのタッチ位置におけるタッチ特徴量を算出し、ジェスチャ操作終了判定部119が縦スライド操作の終了判定条件式を用いて閾値と比較する。その結果、縦スライド操作の終了判定条件を満たさないので、縦スライド操作を継続しタッチ特徴量算出部116が算出したタッチ特徴量のうち、タッチ操作開始位置からの移動距離を縦スライド操作の操作量として出力する。
(12)次に、図30(e)に示すように、タッチ特徴量算出部116が(x4,y4)から(x9,y9)までのタッチ位置におけるタッチ特徴量を算出し、ジェスチャ操作終了判定部119が縦スライド操作の終了判定条件式を用いて閾値と比較する。その結果、縦スライド操作の終了判定条件を満たすので、ジェスチャ操作終了判定部119は終了判定を出力し、ジェスチャ終了位置取得部120は(x8,y8)をジェスチャ操作終了位置として出力する。タッチ操作開始位置検出部103はこのジェスチャ操作終了位置を新しいタッチ操作開始位置として更新する。
なお、上記にて説明した処理(1)〜(12)のジェスチャ操作終了位置をタッチ操作開始位置とする処理に加えて、タッチ操作認識部114は、認識結果の操作種別としてポインティング操作が確定した時点のタッチ位置を出力し、タッチ操作開始位置検出部103は、ポインティング操作が確定した時点のタッチ位置を新しいタッチ操作開始位置として更新してもよい。この処理の一例を、上記の処理(12)の続きとして図31〜41を用いて説明する。
(13)次に、図31・図32に示すように、タッチ操作判定部117は、(x8,y8)に対応するタッチ操作認識条件として、条件式及び閾値をタッチ操作認識条件記憶部115から取得する。また、ジェスチャ操作終了判定部119は、(x8,y8)に対応するジェスチャ操作終了判定条件として、条件式及び閾値をジェスチャ操作終了判定条件記憶部118から取得する。
(14)次に、図33(a)に示すように、タッチ特徴量算出部116が(x8,y8)から(x9,y9)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、縦スライド操作のリピート式条件を満たさないので、タッチ位置系列が縦スライド操作ではないことが確定する。
(15)次に、図33(b)に示すように、タッチ特徴量算出部116が(x8,y8)から(x10,y10)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、回転操作のリピート式条件を満たさないので、タッチ位置系列が回転操作ではないことが確定する。
(16)次に、図33(c)に示すように、タッチ特徴量算出部116が(x8,y8)から(x11,y11)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。
(17)図33(d)に示すように、タッチ特徴量算出部116が(x8,y8)から(x12,y12)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、横スライド操作のリピート式条件を満たさないので、タッチ位置系列が横スライド操作ではないことが確定する。ここまでで縦スライド操作、横スライド操作、回転操作のいずれでもないことが確定したので、認識結果である操作種別としてポインティング操作を確定し、出力する。さらに、タッチ操作認識部114は(x11,y11)を、ポインティング操作が確定した時点のタッチ位置として出力する。タッチ操作開始位置検出部103は、ポインティング操作が確定した時点のタッチ位置をタッチ操作認識部114から取得し新しいタッチ操作開始位置として更新する。
(18)図34・図35に示すように、タッチ操作判定部117は、(x11,y11)に対応するタッチ操作認識条件として、条件式及び閾値をタッチ操作認識条件記憶部115から取得する。また、ジェスチャ操作終了判定部119は、(x11,y11)に対応するジェスチャ操作終了判定条件として、条件式及び閾値をジェスチャ操作終了判定条件記憶部118から取得する。
(19)図36(a)に示すように、タッチ特徴量算出部116が(x11,y11)から(x12,y12)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、横スライド操作のリピート式条件を満たさないので、タッチ位置系列が横スライド操作ではないことが確定する。
(20)図36(b)に示すように、タッチ特徴量算出部116が(x11,y11)から(x13,y13)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。
(21)図36(c)に示すように、タッチ特徴量算出部116が(x11,y11)から(x14,y14)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、縦スライド操作のリピート式条件を満たさないので、タッチ位置系列が縦スライド操作ではないことが確定する。
(22)図36(d)に示すように、タッチ特徴量算出部116が(x11,y11)から(x15,y15)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。
(23)タッチ特徴量算出部116が(x11,y11)から(x16,y16)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。
(24)図36(e)に示すように、タッチ特徴量算出部116が(x11,y11)から(x17,y17)までのタッチ位置におけるタッチ特徴量を算出し、タッチ操作判定部117が各操作の認識条件式を用いて各操作の閾値と比較する。その結果、回転操作の認識条件を満たすので、(17)で確定したポインティング操作を終了し、操作種別として回転操作(左回転)を出力する。また、タッチ特徴量算出部116が算出したタッチ特徴量のうち、タッチ操作開始位置からの回転角度も回転操作の操作量として出力する。
図37は、実施形態2における、タッチパッド100で操作者の指のタッチ位置を検出してからタッチ操作の認識を行い、画面表示を行うまでの処理の一例を示したフローチャートである。実施形態1のフローチャート(図21)に追加したS201〜S205について説明する。
タッチ操作開始位置検出部103が検出したタッチ操作開始位置を用いて、ジェスチャ操作終了判定部119がタッチ操作開始位置に対応するジェスチャ操作終了判定条件を取得する(S201)。
また、タッチ操認識が確定した認識確定済状態において、確定した操作がジェスチャ操作であるかどうか判定し(S202)、確定した操作がジェスチャ操作の場合は、ジェスチャ操作終了判定部119がS201で取得したジェスチャ操作終了判定条件を用いて、ジェスチャ操作の終了判定を行う(S203・S204)。
ジェスチャ操作が終了している場合、ジェスチャ終了位置取得部120がジェスチャ操作の終了位置を取得し、タッチ操作開始位置検出部103が、ジェスチャ操作の終了位置でタッチ操作開始位置を更新する(S205)。
なお、上記(13)〜(24)で説明したように、ポインティング操作確定時のタッチ位置でタッチ操作開始位置を更新する場合は、図38に示すフローチャートとなる。タッチ操作認識部114が認識結果としてポインティング操作を出力する場合、その位置を取得し、タッチ操作開始位置検出部103がポインティング操作確定位置でタッチ操作開始位置を更新する(S206)。
かかる構成によれば、タッチパッド100に指が触れてから最初に入力するタッチ操作だけではなく、タッチパッド100から指を離さずに動作や軌跡でタッチ操作を切り替えて連続入力するタッチ操作においても、筐体189の形状や筐体189の持たれ方に起因する、ジェスチャ操作ごとの操作開始位置の傾向を基にタッチ操作認識条件及びジェスチャ操作終了判定条件を設定することで、特定のジェスチャ操作を他のジェスチャ操作よりも認識されやすくし、操作者に素早い入力が可能な情報入力装置190を提供することができる。
(実施の形態3)
図39は、本発明の実施の形態3における情報入力装置190の外観の一例を説明する図である。
図39(a)のように、情報入力装置190は、筐体189と、静電容量式のタッチパッド100と、操作決定用のボタン150と操作者の持ち手を検出する周囲接触センサ121を備える。
実施の形態1と異なる点は、情報入力装置190が右手で持たれているか、左手で持たれているか、両手で持たれているかといった持ち手の種類を、情報入力装置190が周囲接触センサ121を用いて検出し、持ち手に合わせたタッチ操作認識を行う点である。
図39(b)に示すように周囲接触センサ121は、情報入力装置190の筐体189外縁上に1次元的に検出点が配置されており、検出点ごとに操作者の手指の接触を出力するセンサである。
図39(a)のように右手で情報入力装置190の筐体189を保持した場合、周囲接触センサ121の出力データの一例は図39(c)のようになる。各検出点の出力はオン=1もしくはオフ=0の2値であるとする。
実施の形態1と同様に、情報入力装置190は、タッチ操作として、画面表示されたカーソルを移動させるポインティング操作、縦方向に直線的にタッチパッド100をなぞる縦スライド操作、横方向に直線的にタッチパッド100をなぞる横スライド操作及び円弧軌跡でタッチパッド100をなぞる回転操作を認識するものとして、以後説明する。
図40は、本実施形態における情報入力装置190の構成例を示す図である。
実施の形態1における構成(図3)と異なる点は、周囲接触センサ121が出力する情報入力装置190周囲の手指の接触位置を基に、把持情報検出部140が有する持ち手検出部122が持ち手の種類(右手/左手/両手)を検出する点と、タッチ操作認識条件記憶部115はタッチ操作開始位置と持ち手の種類に対応付けてタッチ操作認識条件を記憶し、タッチ操作認識部114はタッチ操作開始位置検出部103が検出したタッチ操作開始位置と持ち手検出部122が検出した持ち手の種類を用いてタッチ操作認識条件記憶部115からタッチ操作認識条件を取得する点である。
すなわち、情報入力装置190は、さらに、情報入力装置190に対する操作者の把持情報を検出する把持情報検出部140を備えている。
また、タッチ操作認識条件記憶部115は、把持情報とタッチ操作開始位置とにそれぞれ対応付けて、複数のタッチ操作認識条件を記憶している。
タッチ操作認識部114は、把持情報とタッチ操作開始位置とに対応付けられた複数のタッチ操作認識条件を用いてタッチ操作を認識し、操作者が行ったタッチ操作の種別を求める。
なお、把持情報とは、例えば、操作者による情報入力装置190の持ち手の種類、操作者が把持している情報入力装置190の把持位置、操作者が把持している手に対する情報入力装置190の方向角及び、操作者がタッチ操作に使用する指の長さのうち少なくとも1つである。
より具体的には、情報入力装置190は、さらに、情報入力装置190の筐体の少なくとも一部に配置され、情報入力装置190に対する操作者の手及び指の少なくとも一方の接触位置を検出する周囲接触センサを備えている。
把持情報検出部140は、周囲接触センサで検出された接触位置を用いて、把持情報として操作者による情報入力装置190の持ち手の種類を検出する。
タッチ操作認識条件記憶部115は、検出された持ち手の種類にそれぞれ対応付けて複数のタッチ操作認識条件を記憶する。
タッチ操作認識部114は、タッチ操作認識条件記憶部から取得した複数のタッチ操作認識条件を用いてタッチ操作の種別を求める。
以下、実施の形態3における、主に、タッチ操作認識条件記憶部115と、タッチ操作認識部114と、周囲接触センサ121と持ち手検出部122についてより詳細に説明する。
図40は本実施の形態における情報入力装置190の構成を示すブロック図である。なお、実施形態1と同じ構成要素については同一の符号をつけ、説明を省略する。
把持情報検出部140は情報入力装置190に対する操作者の把持情報を検出する。
より詳しくは、把持情報検出部140は持ち手検出部122を有する。
持ち手検出部122は、周囲接触センサ121の出力を用いて、操作者が情報入力装置190の筐体189を右手、左手、両手のいずれで持っているかを検出する。例えば、周囲接触センサ121の検出点4〜11までの少なくとも1つがオンで、検出点18〜25までが全てオフであれば持ち手が右手であると判断する(図41(a))。
同様に、検出点18〜25までの少なくとも1つがオンで、検出点4〜11までが全てオフであれば持ち手が左手であるとし(図41(b))、検出点4〜11までの少なくとも1つがオンであり、かつ検出点18〜25までの少なくとも1つがオンであれば持ち手が両手であると判定し(図41(c))、右手/左手/両手の持ち手の種類を出力する。
タッチ操作認識条件記憶部115は、タッチ操作を認識するための認識条件として、タッチ位置系列から得られるタッチ移動距離とタッチ移動方向とタッチ回転角度のそれぞれの閾値を、タッチパッド100上に設定した部分領域ごとに記憶する。
タッチ操作認識条件記憶部115は、さらに部分領域ごとに、右手用閾値、左手用閾値、両手用閾値をそれぞれ記憶する。
さらにまた、持ち手の種類(右手/左手/両手)ごとに記憶される閾値には、縦スライド認識用閾値、横スライド認識用閾値、回転認識用閾値がある。
図42にタッチ操作認識条件記憶部115が記憶するデータの構造の例を示す。なお図42で想定している部分領域は、図6に示した実施形態1の部分領域と同一のものとする。
縦スライド操作の認識に用いる閾値は実施形態1と同様に、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)までの距離Lsnと比較する移動距離の閾値Lvs、タッチ位置系列に含まれる連続する2つの位置(x(i−1),y(i−1))及び(xi,yi)[i=s+1〜n]の移動方向D(i−1)・iと比較する移動方向の閾値Dvsである。
これらの閾値を部分領域(1−1)〜(6−6)の36の領域及び右手/左手/両手の持ち手の種類ごとにそれぞれ記憶する。
横スライド操作の認識に用いる閾値も実施形態1と同様に、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の距離Lsnと比較する移動距離の閾値Lhs、タッチ位置系列に含まれる連続する2つの位置(x(i−1),y(i−1))及び(xi,yi)[i=s+1〜n]の移動方向D(i−1)・iと比較する移動方向の閾値Dhsである。これらの閾値を部分領域(1−1)〜(6−6)の36の領域及び右手/左手/両手の持ち手の種類ごとにそれぞれ記憶する。
回転操作の認識に用いる閾値も実施形態1と同様に、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の距離Lsnと比較する移動距離の閾値Lr、タッチ位置系列に含まれる連続する3つの位置(x(i−2),y(i−2))、(x(i−1),y(i−1))及び(xi,yi)[i=s+2〜n]における、(x(i−2),y(i−2))から(x(i−1),y(i−1))への移動方向D(i−2)・(i−1)と、(x(i−1),y(i−1))から(xi,yi)への移動方向D(i−1)・iとの差分dD(i−2)・iと比較する移動方向差分の閾値dDr、タッチ操作開始位置(xs,ys)〜タッチ位置系列の最後のタッチ位置(xn,yn)の回転角度Rsnと比較する回転角度の閾値Rrである。
これらの閾値を部分領域(1−1)〜(6−6)の36の領域及び右手/左手/両手の持ち手の種類ごとにそれぞれ記憶する。
図42に示す、(R)(m−n):(閾値1、閾値2、・・・)は部分領域(m−n)で持ち手が右手の場合に対応付けられた閾値を示す。同様に(L)(m−n):(閾値1、閾値2、・・・)は部分領域(m−n)で持ち手が左手の場合に対応付けられた閾値を、(LR)(m−n):(閾値1、閾値2、・・・)は部分領域(m−n)で持ち手が両手の場合に対応付けられた閾値を示す。
図42で示した閾値の比較を行う条件式は、実施形態1と同様に、部分領域及び持ち手の種類に関わらず共通の条件式としている。なお、閾値だけではなく、条件式も部分領域ごと又は持ち手の種類ごとに異なるものとしてもよい。
タッチ操作認識部114は、タッチ操作開始位置検出部103からタッチ操作開始位置(xs,ys)を取得し、持ち手検出部122から持ち手の種類を取得し、(xs,ys)を内包する領域(M−N)に対応する右手/左手/両手の認識閾値及び認識条件の中から、持ち手の種類に対応する認識閾値及び条件式を、タッチ操作認識条件記憶部115から読み出して取得する。
タッチ位置系列からタッチ特徴量を算出し、取得した条件式で認識閾値と比較する処理は実施形態1と同様であるので説明を省略する。
図43a及び図43bは、実施形態3における、操作者が情報入力装置190の筐体189を持ち、タッチパッド100に指で触れ、タッチ操作を行い、筐体189から手を離すまでの処理の流れを示したフローチャートである。実施形態1のフローチャート(図21)に追加したS301〜S304について、図43a及び図43bを参照して説明する。
周囲接触センサ121から出力が得られたかどうかで、操作者が筐体189を持ったかどうかを判定し(図43a、S301)、周囲接触センサ121からの出力が始まると、持ち手検出部122は持ち手が右手/左手/両手のいずれであるかの検出を行う(S302)。検出した持ち手の種類及びタッチ操作開始位置に用いてタッチ操作認識部114がタッチ操作認識条件記憶部115から認識条件として条件式及び認識閾値を取得する(図43b、S304)。操作者が筐体189から手を離すまで(S303)、持ち手の種類を検出・更新して(S302)、処理を繰り返す。
なお、実施形態3の情報入力装置190が備えるタッチ操作認識条件記憶部115は、タッチ操作を認識するための条件式と認識閾値を、タッチパッド100上に設定した部分領域ごとに記憶し、部分領域ごとの閾値として、右手用閾値、左手用閾値、両手用閾値を記憶するとした。
しかし、タッチ操作認識条件記憶部115は各部分領域において右手用閾値(又は左手用閾値)のみを記憶し、タッチ操作認識部114が右手用閾値(又は左手用閾値)から左手用閾値と両手用閾値を生成してもよい。
例えば、図44に示すように、持ち手が右手の場合、部分領域(1−6)の閾値としては右手用閾値、(R)(1−6):Lvs、(R)(1−6):Dvs、(R)(1−6):Lhs、(R)(1−6):Dhs、(R)(1−6):Lr、(R)(1−6):dDr、(R)(1−6):Rrを使用し、部分領域(6−6)の閾値には同じく右手用閾値、(R)(6−6):Lvs、(R)(6−6):Dvs、(R)(6−6):Lhs、(R)(6−6):Dhs、(R)(6−6):Lr、(R)(6−6):dDr、(R)(6−6):Rrを使用する(図44(a))。
持ち手が左手の場合には、右手用閾値を左右反転し左手用閾値とする。例えば、部分領域(1−6)の左手用閾値として、(R)(1−6):Lvs、(R)(1−6):Dvs、(R)(1−6):Lhs、(R)(1−6):Dhs、(R)(1−6):Lr、(R)(1−6):dDr、(R)(1−6):Rrを使用し、部分領域(6−6)の左手用閾値として、(R)(6−6):Lvs、(R)(6−6):Dvs、(R)(6−6):Lhs、(R)(6−6):Dhs、(R)(6−6):Lr、(R)(6−6):dDr、(R)(6−6):Rrを使用する(図44(b))。
同様に持ち手が左手の場合に、部分領域(2−6)の左手用閾値として部分領域(5−6)の右手用閾値を使用し、部分領域(3−6)の左手用閾値として部分領域(4−6)の右手用閾値を使用し、部分領域(4−6)の左手用閾値として部分領域(3−6)の右手用閾値を使用し、部分領域(5−6)の左手用閾値として部分領域(2−6)の右手用閾値を使用する。部分領域(1−1)〜(6−1)、(1−2)〜(6−2)、(1−3)〜(6−3)、(1−4)〜(6−4)、(1−5)〜(6−5)についても同様にすればよい。
また、図45に示すように、右手用閾値を用いて、両手用閾値を生成してもよい。例えば、図45(a)のように、右手用閾値を持つ部分領域を間引いた一部、(R)(2−6)・(R)(4−6)・(R)(6−6)を用いて、部分領域(1−6)の両手用閾値として部分領域(6−6)の右手用閾値を使用し、部分領域(2−6)の両手用閾値として部分領域(4−6)の右手用閾値を使用し、部分領域(3−6)の両手用閾値として部分領域(2−6)の右手用閾値を使用し、部分領域(4−6)の両手用閾値として部分領域(2−6)の右手用閾値を使用し、部分領域(5−6)の両手用閾値として部分領域(4−6)の右手用閾値を使用する。
このような構成にすることにより、タッチ操作認識条件記憶部115は各部分領域において右手用閾値(又は左手用閾値)のみを記憶するので使用する記憶領域が少ないという効果が得られる。
なお、本実施形態では、図41に示すように直方体の形状を持つ情報入力装置190に対して、情報入力装置190を縦向き(手指が長辺に触れるよう)にして持つ際の持ち手の種類(右手・左手・両手)を判別するとしたが、持ち方はこれに限られるものではなく、図46に示すように情報入力装置190を横向きに(手指が長辺に触れるよう)にして持つ際に、持ち手の種類として、右手・左手・両手を判別してもよい。
このようにすれば、右手もしくは左手で操作する際は情報入力装置190を縦向きに、両手で操作する際は情報入力装置190を横向きに持つ場合に、右手・左手・両手の持ち手の種類を判別することができる。
かかる構成によれば、タッチパッド100上のどの位置から操作を開始しても、複数のジェスチャ操作を入力することができるだけでなく、操作者が情報入力装置190を持っている手の種類に合わせて特定のジェスチャ操作を他のジェスチャ操作よりも認識されやすくし、操作者にとって自然な位置から素早い入力が可能な情報入力装置190を提供することができる。
(実施の形態4)
図47は、本発明の実施の形態4における情報入力装置190の外観の一例を説明する図である。
情報入力装置190は、筐体189と、静電容量式のタッチパッド100と、操作決定用のボタン150と操作者の手指との距離を検出する周囲近接センサ123とを備える。
周囲近接センサ123は、情報入力装置190の筐体189の外縁上に1次元的に検出点が配置されており、検出点ごとに操作者の手指との距離を出力するセンサである。
図47(a)のように右手で情報入力装置190の筐体189を保持し手の平が筐体189の右側面に対して傾いて触れている場合、周囲近接センサ123の出力データの一例は図47(c)のようになる。
各検出点の出力は手指までの距離(周囲近接センサ123の配置面に垂直な方向において各検出点上に位置する手指の一部までの距離)であり、手指が検出点に接触している場合は0を出力し、手指が検出されない場合は−1を出力するものとしている。
実施の形態3と異なる点は、情報入力装置190のどの位置で持たれているかを表す把持位置と、情報入力装置190に対する持ち手の傾き(方向角)と、タッチパッド100を操作する指の長さ(指長)を、周囲近接センサ123を用いて検出し、把持位置、方向角及び指長に合わせたタッチ操作認識を行う点である。
すなわち、情報入力装置190は、さらに、情報入力装置190の筐体の少なくとも一部に配置され、操作者の情報入力装置190に対する手及び指の少なくとも一方の近接状態を検出する周囲近接センサを備えている。
また、タッチ操作認識条件記憶部115は、タッチセンサの操作面上に定義された複数の部分領域の各々に対応付けて、複数のタッチ操作認識条件を記憶している。
把持情報検出部140は、周囲近接センサで検出された近接状態を用いて、操作者が把持している情報入力装置190の把持位置、操作者が把持している手に対する情報入力装置190の方向角及び、操作者がタッチ操作に使用する指の長さのうちの少なくとも1つを検出する。
タッチ操作認識部114は、検出された把持位置、方向角及び指の長さのうちの少なくとも1つと、事前に定められた基準把持状態との差を算出し、その差が小さくなるようにタッチ操作開始位置を補正する。
さらに、タッチ操作認識部114は、複数の部分領域のうち補正後のタッチ操作開始位置を内包する部分領域に対応づけて記憶されている複数のタッチ操作認識条件を用いて、タッチ操作を認識する。
また、タッチ操作認識部114は、検出された持ち手の種類及び把持情報の種類に対応付けて定められている基準把持状態と、検出された前記把持情報との差を算出した後、その差が小さくなるようにタッチ位置を補正し、補正後のタッチ位置を用いて操作者が行ったタッチ操作を判定し、タッチ操作の大きさを示す操作量を出力する。
なお、基準把持状態としては、基準位置、基準角度、基準指長等が考えられる。
基準位置とは、後述する図49(a)に示すように、筐体189上における、情報入力装置190を把持する手又は指等の上端の基準位置を定めたものである。
基準角度とは、後述する図52(a)に示すように、筐体189の把持されている側の面と、持ち手の手の平との基準角度を定めたものである。
基準指長とは、情報入力装置190を使用する操作者がタッチパッド100を操作するために用いる指の長さの基準長を定めたものである。
以下、より詳細に説明する。なお、実施の形態1と同様に、情報入力装置190は、タッチ操作として、画面表示されたカーソルを移動させるポインティング操作と、縦方向に直線的にタッチパッド100をなぞる縦スライド操作、横方向に直線的にタッチパッド100をなぞる横スライド操作、円弧軌跡でタッチパッド100をなぞる回転操作を認識するものとして、以下の説明を行う。
図48は、本発明の一実施形態における情報入力装置190の構成例を示す図である。実施の形態3における構成(図40)と異なる点は、把持情報検出部140が、さらに、把持位置検出部124と、方向角検出部125と、指長検出部126を有している点である。
より詳しくは、周囲近接センサ123が出力する情報入力装置190の外縁部の手指の接触位置をもとに、把持位置検出部124が筐体189に対する持ち手の把持位置を検出する点を、方向角検出部125が筐体189に対する持ち手の傾き(方向角)を検出する点を、指長検出部126がタッチパッド100を操作する指の長さを、それぞれ検出する。
さらにまた、タッチ操作認識部114は、タッチ操作開始位置検出部103が検出したタッチ操作開始位置と、把持位置検出部124が検出した把持位置と、方向角検出部125が検出した方向角と、指長検出部126が検出した指の長さを用いて、タッチ操作認識条件記憶部115から取得したタッチ操作認識条件を取得する点も異なる。
実施の形態4では、主に、把持位置検出部124と、方向角検出部125と、指長検出部126と、タッチ操作認識部114について説明し、その他の実施形態3と同じ構成要素については同一の符号を受け説明を省略する。
以下、図48のブロックのうち、実施形態3とは異なる機能を説明する。
把持位置検出部124は、周囲近接センサ123の出力を用いて、操作者が情報入力装置190の筐体189を持っている位置を検出する。
例えば、周囲近接センサ123の検出点のうち、手指との距離を検出した検出点の上端が検出点9である場合を持ち手の基準位置とすると(図49(a))、図50に示す検出点の配置間隔に基づき筐体189の辺方向の持ち手の位置を取得することができる。
図49(b)に示すように、手指との距離を検出した検出点の上端が検出点11であれば、持ち手の基準位置に対して24mm下方を把持している。
また図49(c)に示すように、手指との距離を検出した検出点の上端が検出点7であれば、持ち手の基準位置に対して24mm上方を把持している。
タッチ操作認識部114は、把持位置検出部124が検出した持ち手の把持位置(すなわち、基準位置からのずれ)を用いて、タッチ操作開始位置の補正を行い、補正したタッチ操作開始位置を用いてタッチ操作認識条件記憶部115から操作認識条件を取得する。
例えば、持ち手の基準位置に対して24mm下方を把持しておりタッチ操作開始位置が(28mm、18mm)の場合、本来は座標(28mm、18mm)を含む部分領域(4−2)に対応する認識条件を取得するところだが、図51(b)に示すようにタッチ操作開始位置を24mm上方に補正して(28mm、42mm)とし、この座標を含む部分領域(4−4)に対応する認識条件を取得する。
このような把持位置検出部124を備えることにより、情報入力装置190は操作者の持ち手の位置を基準位置に固定されたものとみなすことができる。すなわち、筐体189を保持する持ち手がずれた場合であっても、操作者が筐体189を持ち直したり、タッチ操作認識条件記憶部115に記憶した部分領域と認識条件の対応を変更したりすることなく、タッチ操作を入力することができる。
方向角検出部125は、周囲近接センサ123の出力を用いて、情報入力装置190の筐体189に対する操作者の持ち手の傾き(方向角)を検出する。
例えば、周囲近接センサ123の検出点8〜11に持ち手の手の平が接触している(検出点8〜11の出力値が0mm)場合を持ち手の基準角度とすると(図52(a))、周囲近接センサ123が出力する手指との距離及び検出点の配置間隔(図50)を用いて持ち手の傾き(方向角)を算出することができる。
図52(b)に示すように、手指を検出した検出点のうち、上端が検出点8で出力値は0mm(手の平が接触)、下端が検出点11で出力値は10mmであれば、持ち手が基準角度に対して+15.5°(36mm/10mmの逆正接)傾いている。
また図52(c)に示すように、手指を検出した検出点のうち、上端が検出点8で出力値は10mm、下端が検出点11で出力値は0mm(手の平が接触)であれば、持ち手が基準角度に対して−15.5°(36mm/−10mmの逆正接)傾いている。
タッチ操作認識部114は、方向角検出部125が検出した持ち手の方向角を用いて、タッチ操作開始位置の補正を行い、補正したタッチ操作開始位置を用いてタッチ操作認識条件記憶部115から操作認識条件を取得する。
例えば、持ち手の基準角度に対して+15°傾いて把持しており、タッチ操作開始位置が(20mm、54mm)の場合、本来は座標(20mm、54mm)を含む部分領域(3−5)に対応する認識条件を取得するところだが、図53に示すように手指に最も近い検出点(図53の場合は接触している検出点8)の座標(52mm、30mm)を中心に、タッチ操作開始位置を−15°回転補正して(27mm、63mm)とし、この座標を含む部分領域(4−6)に対応する認識条件を取得する。
このような方向角検出部125を備えることにより、情報入力装置190は操作者の持ち手の傾きを基準角度に固定されたとものとみなすことができる。すなわち、筐体189を保持する持ち手が回転してずれた場合であっても、操作者が筐体189を持ち直したり、タッチ操作認識条件記憶部115に記憶した部分領域と認識条件の対応を変更したりすることなく、タッチ操作を入力することができる。
指長検出部126は、タッチ位置系列記憶部102から取得するタッチ位置と周囲近接センサ123の出力を用いて、タッチパッド100に触れている指の長さを推定する。まず、指の付け根の位置として、手指との接触を検出した周囲近接センサ123の検出点のうち、最も上端にある検出点のタッチパッド100上での座標を算出する。
図54に示す例では、検出点9を指の付け根とし座標(52mm、12mm)を得る。そして、タッチ位置の座標が(32mm、44mm)だとすると、指の付け根(52mm、12mm)からタッチ位置(32mm、44mm)までの距離、38mmを算出する。
さらに、操作者が情報入力装置190の筐体189を持って(周囲近接センサ123の少なくとも1つの検出点が手指を検出)から離す(周囲近接センサ123の全検出点が手指を検出していない)までの間、指長検出部126は、指の付け根からタッチ位置までの距離を連続して取得し続け、これらの距離の平均値を指の長さとして出力する。
タッチ操作認識部114は、指長検出部126が検出した指の長さを用いて、タッチ操作開始位置の補正を行い、補正したタッチ操作開始位置を用いてタッチ操作認識条件記憶部115から操作認識条件を取得する。
例えば、基準指長を48mmと設定し、検出した指の長さが33mm、タッチ操作開始位置が(28mm、54mm)の場合、本来は座標(28mm、54mm)を含む部分領域(4−5)に対応する認識条件を取得するところだが、図55に示すように、手指に最も近い検出点(図55の場合は接触している検出点8)の座標(52mm、30mm)を中心にタッチ操作開始位置を1.45倍(48mm÷33mm)した座標(20mm、66mm)に補正し、この座標を含む部分領域(3−6)に対応する認識条件を取得する。
このような指長検出部126を備えることにより、情報入力装置190は操作者の指の長さを基準指長に固定されたものとみなすことができる。すなわち、使用する操作者によって指の長さが変わっても、操作者が筐体189を持ち変えたり、タッチ操作認識条件記憶部115に記憶した部分領域と認識条件の対応を変更したりすることなく、タッチ操作を入力することができる。
タッチ位置系列からタッチ特徴量を算出し、取得した条件式で認識閾値と比較する処理は実施形態1と同様であるので説明を省略する。
図56a及び図56bは、実施形態4における、操作者が情報入力装置190の筐体189を持ち、タッチパッド100に指で触れ、タッチ操作を行い、筐体189から手を離すまでの処理の流れを示したフローチャートである。実施形態3のフローチャート(図43)に追加したS401〜S406について説明する。
把持情報検出部140は、周囲近接センサ123から出力が得られたかどうかで、操作者が筐体189を持ったかどうかを判定する。
また、周囲近接センサ123からの出力が始まると、持ち手検出部122は持ち手が右手/左手/両手のいずれであるかの検出を行い、続いて周囲近接センサ123から出力される筐体周囲と手指との距離を用いて、把持位置検出部124は持ち手の把持位置を検出し(図56a、S401)、方向角検出部125は持ち手の筐体189に対する傾き(方向角)を検出し(S402)、指長検出部126はタッチ操作を行う指の長さを検出する(S403)。
また、タッチ操作開始位置検出部103がタッチ操作開始位置を検出した後に、タッチ操作認識部114は、把持位置(図56b、S404)、方向角(S405)及び指の長さ(S406)をそれぞれ用いてタッチ操作開始位置の補正を行う。
また、タッチ操作認識部114は、補正されたタッチ操作認識部114に対応するタッチ操作認識条件をタッチ操作認識条件記憶部115から取得する。
なお、本実施形態では、周囲近接センサ123を使用する構成としたが、持ち手の把持位置の検出及び指の長さを検出する場合に、実施形態3と同様に周囲接触センサ121を用いる構成であってもよい。
以上、本実施形態で述べた構成によれば、タッチパッド100上のどの位置から操作を開始しても、複数のジェスチャ操作を入力することができるだけでなく、操作者が情報入力装置190を持つ手の把持位置、傾き及び指の長さに合わせて特定のジェスチャ操作を他のジェスチャ操作よりも認識されやすくし、操作者に素早い入力が可能な情報入力装置190を提供することができる。
これにより、操作者が操作中に筐体189の持ち方を意識したり、筐体189を持ち直したりする必要がなく、利便性が向上する。
なお、本実施形態では、タッチ操作認識部114は、持ち手の種類や位置、方向角、指の長さを用いて、タッチ操作開始位置の補正を行った。
だが、タッチ操作認識部114はタッチ操作開始位置だけでなく、タッチ操作を認識し、確定後のタッチ位置を、持ち手の種類や位置、方向角、指の長さを用いて補正してもよい。
例えば、図57(a)に示すように、持ち手の基準位置に対して24mm下方を左手で把持している場合には、タッチ操作認識部114はタッチ位置の座標を、(72mm÷2)÷24mm=1.5倍する。タッチ位置座標が(12mm、18mm)であるとすると、タッチ操作認識部114は座標を1.5倍に補正して(18mm、27mm)とする。
同様に、図56bに示すように、右手で持ち手の基準位置の下方24mmを把持している場合、タッチ位置座標が(36mm、18mm)であるとすると、タッチ操作認識部114はタッチ位置とタッチセンサとの右下隅の距離が(72mm÷2)÷24mm=1.5倍となるように、タッチ位置を(30mm、27mm)と補正する。
このような構成により、情報入力装置190の下方を左手(又は右手)で把持しタッチパッド100の右上方(又は左上方)に指が届かない場合でも、情報入力装置190を持ち直すことなく、タッチパッド100右上方(又は左上方)の位置を入力することができる。
これは、特にポインティング操作(図2(a))においてタッチ位置に応じてカーソル位置を制御する際に、タッチパッド100上で指が届かない領域があるためにカーソルの移動範囲が制限される場合に有効であり、情報入力装置190を持ち直すことなく、広範囲にカーソルを移動させることができるので、操作者の利便性が向上する。
(実施の形態5)
本発明の実施の形態5における情報入力装置190は、実施の形態1と同様に、筐体189と、静電容量式のタッチパッド100と、操作決定用のボタン150とを備える。
また、実施の形態1と同様に、情報入力装置190は、タッチ操作として、画面表示されたカーソルを移動させるポインティング操作と、縦方向に直線的にタッチパッド100をなぞる縦スライド操作、横方向に直線的にタッチパッド100をなぞる横スライド操作、円弧軌跡でタッチパッド100をなぞる回転操作を認識する。
図58は、本発明の一実施形態における情報入力装置190の構成例を示す図である。
実施の形態1における構成(図3)と異なる点は、タッチ操作種別頻度記憶部127がタッチ操作の認識結果であるタッチ操作種別の頻度を取得・記憶する点と、認識優先度決定部128がタッチ操作種別の頻度を用いてタッチ操作を認識するための優先度を決定する点と、タッチ操作認識条件更新部129が認識の優先度を用いてタッチ操作認識条件を更新する点である。
すなわち、情報入力装置190は、複数のタッチ操作の種別ごとの認識される度合いを示す認識優先度を複数の部分領域ごとに対応付けて決定する認識優先度決定部128と、複数の部分領域のうち第3の部分領域に対応付けて決定された認識優先度に応じて、第3の部分領域に対応付けられたタッチ操作認識条件を更新するタッチ操作認識条件更新部129とを備えている。
このタッチ操作認識条件更新部129は、認識優先度が高いタッチ操作の種別ほど認識されやすくなるように、タッチ操作認識条件に含まれる閾値の値を更新する。
より具体的には、情報入力装置190は、タッチ操作認識部114で認識されたタッチ操作の種別ごとの頻度である種別頻度を、前述した複数の部分領域の各々に対応付けて記憶しているタッチ操作種別頻度記憶部127を備えている。
さらに、認識優先度決定部128は、タッチ操作種別頻度記憶部127から取得した種別頻度がより高い種別のタッチ操作の認識優先度ほど、より高くなるように、認識優先度を決定する。
以下、より詳細に説明する。なお、実施の形態5では、主にタッチ操作種別頻度記憶部127と、認識優先度決定部128と、タッチ操作認識条件更新部129について説明し、その他の実施形態1と同じ構成要素については同一の符号をつけ説明を省略する。
まず、図58のブロックのうち、実施形態1とは異なる機能を説明する。
タッチ操作種別頻度記憶部127は、タッチ操作認識部114から認識結果であるタッチ操作種別を、タッチ操作開始位置検出部103から認識結果であるタッチ操作の認識に使用したタッチ操作を、それぞれ取得する。
そして、取得したタッチ操作開始位置を含む部分領域と、取得したタッチ操作種別を対応付けて、部分領域ごとに入力されたタッチ操作の回数を頻度として記録する。タッチ操作種別頻度記憶部127が記憶するデータの構造を図59に示す。
なお、実施形態5の部分領域も実施形態1で説明した部分領域と同じものであるとする。
認識優先度決定部128は、タッチ操作種別頻度記憶部127から部分領域ごとのタッチ操作の頻度を取得し、部分領域ごとにタッチ操作の優先度を決定する。
例えば、図59に示すように、取得した頻度が部分領域(1−1)では縦スライド操作が6回、横スライド操作が4回、回転操作が8回、ポインティング操作が2回であり、タッチ操作全種類は合計20回入力されている。
認識優先度決定部128は、タッチ操作全種類の操作回数に対する各タッチ操作の割合を縦スライド操作が30%、横スライド操作が20%、回転操作が40%、ポインティング操作が10%として算出する。これを各タッチ操作の認識の優先度とする。
すなわち先述の例では、各タッチ操作の優先度は、縦スライド操作:30、横スライド操作:20、回転操作:40、ポインティング操作:10となる(図60)。
タッチ操作認識条件更新部129は、認識優先度決定部128で決定された部分領域ごとの認識優先度を用いて、タッチ操作の認識条件を生成・出力し、タッチ操作認識条件記憶部115に記憶されたタッチ操作認識条件を更新する。
具体的には、タッチ操作認識条件更新部129は、図6で示したような縦スライド操作と横スライド操作と回転操作の認識のための閾値を生成する。以下では閾値の算出方法を説明する。
まず、実施形態1の図16〜図20で説明した、縦スライド操作、横スライド操作及び回転操作の入力容易度を使用する。
図61に実施形態1で説明した入力容易度をもとにした、実施形態5で使用する入力容易度を示す。
まず、縦スライド操作と横スライド操作をまとめて扱うために、縦スライド認識条件の移動方向の閾値Dvsと横スライド操作の移動方向の閾値Dhsを合わせた閾値としてDsを導入する。
ここで、Ds=Dvs+Dhsである。
10°≦Dvs≦80°、10°≦Dhs≦80°、20°≦Dvs+Dhs≦90°と設定した値域から、縦スライド操作の移動方向と横スライド操作の移動方向の両方に含まれる移動方向がないため、入力容易度を、縦スライド操作と横スライド操作を合わせてDs×8とすることができる。
回転操作の入力容易度は実施形態1と同様である。
次にポインティング操作の入力容易度を追加する。ポインティング操作については、実施形態1と同様に、認識条件を設けずに、縦スライド操作・横スライド操作・回転操作のいずれにも該当しない場合にポインティング操作を確定する。
しかし、ポインティング操作を認識するための認識条件がないため、移動方向又は移動方向差分の取り得る角度範囲の大きさを認識条件から決定することができない。
そこで、縦スライド操作・横スライド操作の移動方向の角度範囲外又は回転操作の移動方向差分の角度範囲外を求める。
具体的には図61に示すように、スライド操作の移動方向の角度範囲の期待値又は回転操作の移動方向差分の角度範囲の期待値を、全方向360°から除いた範囲が、ポインティング操作の移動方向又は移動方向差分の取り得る角度範囲となり、これを用いてポインティング操作の入力容易度を、1080°−Ds×8×Ps−dDr×6×Prとする(前記のスライド操作の頻度の割合をPs、回転操作の頻度の割合をPrとし、これらを生起確率として扱う)。
そして、タッチ操作認識条件更新部129は、入力容易度を認識優先度に応じた値にすることで、移動方向と移動方向差分のそれぞれの閾値を算出する。具体的には、認識優先度の比=入力容易度の比として算出する。
例えば、図60の部分領域(1−1)の認識優先度では、
(30+20):40:10=Ds×8:dDr×6:(1080°−Ds×8×(30+20)÷100−dDr×6×10÷100)
となり、タッチ操作認識条件更新部129はこれを解くことで、Ds=132°、dDr=141°を得る。ただし、Ds=Dvs+Dhs≦90°の制約を守るため、Dsは90°とする。
これを縦スライド操作と横スライド操作の認識優先度の比で分割し、タッチ操作認識条件更新部129は、Dvs=54°、Dhs=36°を得る。
続いて、タッチ操作認識条件更新部129は移動距離の閾値を決定する。
これは実施形態1で述べた閾値の値域である、5mm≦Lvs、Lhs、Lr≦40mmのうち、最小値5mm、最小値と最大値40mmとの差及び、所定値(100)と認識優先度との差を用いて、タッチ操作認識条件更新部129により以下のように算出される。
例えば、図60の部分領域(1−1)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ70%:80%:60%になるので、
Lvs=5+(40−5)×70%=29.5mm、
Lhs=5+(40−5)×80%=33mm、
Lr=5+(40−5)×60%=26mmと算出される。
同様に、回転操作における回転角度の閾値は、値域が30°≦Rr≦360°であるので、前記の割合を用いて
Rr=30+(360−30)×60%=228°と算出される。
操作種別頻度から認識の閾値を求める他の例を、以下に説明する。
図59と図60に部分領域(1−2)での操作種別頻度と操作認識優先度を示す。タッチ操作認識条件更新部129は、優先度を用いて、30:40:30=Ds×8:dDr×6:(1080°−Ds×8×30÷100−dDr×6×40÷100)を解き、Ds=74°、dDr=132°を得る。
なお、縦スライド操作の認識優先度は0である。この場合、閾値の値域(10°≦Dvs≦80°)での最小値に設定する。したがって、Dvs=10°、Dhs=64°を得る。
図60の部分領域(1−2)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ100%:70%:60%になるので、タッチ操作認識条件更新部129によって、
Lvs=5+(40−5)×100%=40mm、
Lhs=5+(40−5)×70%=29.5mm、
Lr=5+(40−5)×60%=26mmと、算出される。
同様に、Rr=30+(360−30)×60%=228°と算出される。
図59と図60に部分領域(1−3)での操作種別頻度と操作認識優先度を示す。タッチ操作認識条件更新部129は、優先度を用いて、
(25+25):25:25=Ds×8:dDr×6:(1080°−Ds×8×(25+25)÷100−dDr×6×25÷100)
を解き、Ds=120°、dDr=80°を得る。Dsが値域(20°≦Dvs+Dhs≦90°)を上回っているので、最大値でDs=90°とする。
タッチ操作認識条件更新部129は、これを縦スライド操作と横スライド操作の認識優先度の比で分割し、Dvs=45°、Dhs=45°を得る。
図60の部分領域(1−3)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ75%:75%:75%になるので、タッチ操作認識条件更新部129は
Lvs=5+(40−5)×75%=31.3mm、
Lhs=5+(40−5)×75%=31.3mm、
Lr=5+(40−5)×75%=31.3mmをそれぞれ算出する。
同様に、Rr=30+(360−30)×75%=277.5°と算出される。
図59と図60に部分領域(1−4)での操作種別頻度と操作認識優先度を示す。
タッチ操作認識条件更新部129は優先度を用いて、50:20:30=Ds×8:dDr×6:(1080°−Ds×8×50÷100−dDr×6×20÷100)を解き、Ds=114°、dDr=61°を得る。
横スライド操作の認識優先度は0である。この場合、閾値の値域(10°≦Dhs≦80°)での最小値に設定し、Dhs=10°とする。また、Dsが値域(20°≦Dvs+Dhs≦90°)を上回っているので、最大値でDs=90°とする。したがって、Dvs=80°となる。
図60の部分領域(1−4)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ100%:70%:60%になるので、タッチ操作認識条件更新部129は、
Lvs=5+(40−5)×50%=22.5mm、
Lhs=5+(40−5)×100%=40mm、
Lr=5+(40−5)×80%=33mmをそれぞれ算出する。
同様に、Rr=30+(360−30)×80%=294°と算出される。
図59と図60に部分領域(1−5)での操作種別頻度と操作認識優先度を示す。ポインティング操作の認識優先度が0である。この場合、タッチ操作認識条件更新部129は、Dsを値域(20°≦Dvs+Dhs≦90°)の最大値である90°に設定する。
タッチ操作認識条件更新部129は、これを縦スライド操作と横スライド操作の認識優先度の比で分割し、Dvs=56°、Dhs=34°を得る。さらにタッチ操作認識条件更新部129は、優先度の比を用いて、(50+30):20=Ds×8:dDr×6を解き、dDr=30°を得る。
図60の部分領域(1−5)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ50%:70%:80%になるので、タッチ操作認識条件更新部129は、
Lvs=5+(40−5)×50%=22.5mm、
Lhs=5+(40−5)×70%=29.5mm、
Lr=5+(40−5)×80%=33mmをそれぞれ算出する。
同様に、Rr=30+(360−30)×80%=294°と算出される。
図59と図60に部分領域(1−6)での操作種別頻度と操作認識優先度を示す。縦スライド操作、横スライド操作及び回転操作の認識優先度が0である。
この場合、DvsとDhsをそれぞれ値域(10°≦Dvs≦80°、10°≦Dhs≦80°)の最小値である10°に設定し、dDrを値域(10°≦dDr≦180°)の最小値である10°に設定し、Dvs=10°、Dhs=10°、dDr=10°を得る。
図60の部分領域(1−6)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ100%:100%:100%になるので、タッチ操作認識条件更新部129は、
Lvs=5+(40−5)×100%=40mm、
Lhs=5+(40−5)×100%=40mm、
Lr=5+(40−5)×100%=40mmをそれぞれ算出する。
同様に、Rr=30+(360−30)×100%=360°と算出される。
図59と図60に部分領域(2−1)での操作種別頻度と操作認識優先度を示す。
ここで、回転操作の認識優先度が0である。この場合、タッチ操作認識条件更新部129はdDrを値域(10°≦dDr≦180°)の最小値である10°に設定し、dDr=10°を得る。
さらに、縦スライド操作と横スライド操作を合わせた優先度が100である。この場合、タッチ操作認識条件更新部129はDsを値域(20°≦Dvs+Dhs≦90°)の最大値である90°に設定する。これを縦スライド操作と横スライド操作の認識優先度の比で分割し、タッチ操作認識条件更新部129はDvs=15°、Dhs=75°を得る。
図60の部分領域(2−1)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ83%:17%:100%になるので、タッチ操作認識条件更新部129は
Lvs=5+(40−5)×83%=34.1mm、
Lhs=5+(40−5)×17%=11mm、
Lr=5+(40−5)×100%=40mmをそれぞれ算出する。
同様に、Rr=30+(360−30)×100%=360°と算出される。
図59と図60に部分領域(2−2)での操作種別頻度と操作認識優先度を示す。
ここで、縦スライド操作及び横スライド操作の認識優先度が0である。この場合、タッチ操作認識条件更新部129は、DvsとDhsをそれぞれ値域(10°≦Dvs≦80°、10°≦Dhs≦80°)の最小値である10°に設定し、Dvs=10°、Dhs=10°を得る。
また、回転操作の認識優先度は100である。この場合、タッチ操作認識条件更新部129は、dDrを値域(20°≦Dvs+Dhs≦90°)の最大値である90°に設定し、dDr=90°を算出する。
図60の部分領域(2−2)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ100%:100%:0%になるので、タッチ操作認識条件更新部129は、
Lvs=5+(40−5)×100%=40mm、
Lhs=5+(40−5)×100%=40mm、
Lr=5+(40−5)×0%=5mmをそれぞれ算出する。
同様に、Rr=30+(360−30)×0%=30°と算出される。
図59と図60に部分領域(2−3)での操作種別頻度と操作認識優先度を示す。
ここで回転操作の認識優先度が0である。この場合、タッチ操作認識条件更新部129は、dDrを値域(10°≦dDr≦180°)の最小値である10°に設定し、dDr=10°を得る。
また、タッチ操作認識条件更新部129は、優先度の比を用いて、
(30+30):40=Ds×8:(1080°−Ds×8×(30+30)÷100)を解き、Ds=106°を得る。
ここで、Dsが値域(20°≦Dvs+Dhs≦90°)を上回っているので、最大値であるDs=90°に設定される。さらに、これが縦スライド操作と横スライド操作の認識優先度の比で分割され、Dvs=45°、Dhs=45°が算出される。
図60の部分領域(2−3)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ70%:70%:100%になるので、タッチ操作認識条件更新部129は、
Lvs=5+(40−5)×70%=29.5mm、
Lhs=5+(40−5)×70%=29.5mm、
Lr=5+(40−5)×100%=40mmをそれぞれ算出する。
同様に、Rr=30+(360−30)×100%=360°と算出される。
図59と図60に部分領域(2−4)での操作種別頻度と操作認識優先度を示す。
ここで、縦スライド操作及び横スライド操作の認識優先度が0である。この場合、タッチ操作認識条件更新部129は、DvsとDhsをそれぞれ値域(10°≦Dvs≦80°、10°≦Dhs≦80°)の最小値である10°に設定し、Dvs=10°、Dhs=10°を得る。さらに、タッチ操作認識条件更新部129は優先度の比を用いて、
30:70=dDr×6:(1080°−dDr×6×70÷100)
を解き、dDr=68°を得る。
図60の部分領域(1−2)では、所定値(100)と縦スライド操作、横スライド操作及び回転操作の認識優先度の差が、それぞれ100%:100%:70%になるので、タッチ操作認識条件更新部129は、
Lvs=5+(40−5)×100%=40mm、
Lhs=5+(40−5)×100%=40mm、
Lr=5+(40−5)×70%=29.5mmをそれぞれ算出する。
同様に、Rr=30+(360−30)×70%=261°が算出される。
図62は、実施形態5における、タッチパッド100で操作者の指のタッチ位置を検出してからタッチ操作の認識を行い、画面表示を行うまでの処理の流れを示したフローチャートである。実施形態1のフローチャート(図21)に追加したS501〜S503について説明する。
タッチ操作種別頻度記憶部127が、タッチ操作認識部114による認識確定後に、その認識結果であるタッチ操作の種別を取得し、確定した操作の回数を部分領域ごとにカウントすることで、頻度として取得及び記録を行う(S501)。
次に認識優先度決定部128が、部分領域ごとにタッチ操作全種別の操作回数に対する各タッチ操作の操作回数の割合を算出し、これを部分領域ごとの認識優先度とする(S502)。
さらに、タッチ操作認識条件更新部129が、部分領域ごとに算出した認識優先度を用いて、上記の説明のように、認識条件である閾値を生成する。
生成された閾値は、タッチ操作認識条件記憶部115の、対応する部分領域の閾値へ記憶される(S503)。その後、タッチパッド100から指が離れたことがタッチ位置検出部101により検出された場合は(S121)、タッチ操作の終了となる。
そして、次回のタッチ操作に対する処理が再び開始され(S101)、タッチ操作認識条件をタッチ操作認識条件記憶部115から取得する際に、前回までのタッチ操作種別頻度を基に生成及び更新されたタッチ操作認識条件を取得する(S109)。
なお、本実施形態では、タッチ操作種別頻度記憶部127を用いて取得したタッチ操作の種別頻度を用いてタッチ操作の認識優先度を決定したが、操作者が認識優先度を直接指示及び入力する構成としてもよい。
例えば、図63に示すようなGUIを用いて、操作者が直接、情報入力装置190へ認識優先度入力することが考えられる。このようにすれば、タッチ操作認識条件更新部129は、所定回数のタッチ操作認識結果が収集されるまでは操作者が入力した認識優先度を用いてタッチ操作認識条件を生成及び更新し、所定回数以上の認識結果が得られれば本実施形態で説明した方法でタッチ操作種別頻度から認識優先度を決定しタッチ操作認識条件を生成及び更新することができる。
以上、本実施の形態で述べた構成によれば、タッチパッド100上のどの位置から操作を開始しても、複数のジェスチャ操作を入力することができるだけでなく、タッチ操作開始位置に対応する部分領域ごとに、操作者の操作傾向や使い方に応じて、入力頻度が高いタッチ操作を他のタッチ操作よりも自動的に入力しやすくすることができるので、よく使う操作を短時間に素早く入力することができるようになり、利便性が向上する。
なお、上述の実施形態1〜5ではタッチセンサとしてタッチパッド100を使用するが、タッチ位置を検出できるタッチパッド100以外の任意のセンサを使用してもよい。また、タッチセンサとして使用するタッチパッド100は、静電容量方式の他、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式等のいずれでもよい。
なお、上述の実施形態1〜5で説明した情報入力装置190は、コンピュータにより実現することが可能である。図64を参照して、情報入力装置190は、コンピュータ34と、コンピュータ34に指示を与えるためのキーボード36及びマウス38と、コンピュータ34の演算結果等の情報を提示するためのディスプレイ32と、コンピュータ34で実行されるプログラムを読み取るためのCD−ROM(Compact Disc−Read Only Memory)装置40及び通信モデム(図示せず)とを含む。
情報入力装置190が行う処理であるプログラムは、コンピュータで読取可能な媒体であるCD−ROM42に記憶され、CD−ROM装置40で読み取られる。又は、コンピュータネットワーク26を通じて通信モデムで読み取られる。
図65は、情報入力装置190を実現するコンピュータシステムのハードウェア構成を示すブロック図である。コンピュータ34は、CPU(Central Processing Unit)44と、ROM(Read Only Memory)46と、RAM(Random Access Memory)48と、ハードディスク50と、通信モデム52と、バス54とを含む。
CPU44は、CD−ROM装置40又は通信モデム52を介して読み取られたプログラムを実行する。ROM46は、コンピュータ34の動作に必要なプログラムやデータを記憶する。RAM48は、プログラム実行時のパラメタなどのデータを記憶する。ハードディスク50は、プログラムやデータなどを記憶する。通信モデム52は、コンピュータネットワーク26を介して他のコンピュータとの通信を行う。バス54は、CPU44、ROM46、RAM48、ハード ディスク50、通信モデム52、ディスプレイ32、キーボード36、マウス38及びCD−ROM装置40を相互に接続する。
さらに、上記の各装置を構成する構成要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
さらにまた、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。ICカード又はモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカード又はモジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc(登録商標))、USBメモリ、SDカードなどのメモリカード、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。
また、上記プログラム又は上記デジタル信号を上記記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
本発明にかかる情報入力装置はタッチセンサを備え、複数の種別のタッチ操作を入力することができ、家電機器のリモコンや情報機器の入力インタフェース等として有用である。
32 ディスプレイ
34 コンピュータ
36 キーボード
38 マウス
40 CD−ROM装置
42 CD−ROM
44 CPU
46 ROM
48 RAM
50 ハードディスク
52 通信モデム
54 バス
100 タッチパッド
101 タッチ位置検出部
102 タッチ位置系列記憶部
103 タッチ操作開始位置検出部
104 ジェスチャ操作種別絞込み部
105 ジェスチャ操作種別記憶部
106 タッチ操作認識部(先行技術文献)
107 タッチ操作認識条件記憶部(先行技術文献)
108 機能制御部
109 画像横スクロール制御部
110 画像縦スクロール制御部
111 画像回転制御部
112 カーソル制御部
113 表示部
114 タッチ操作認識部(本願発明)
115 タッチ操作認識条件記憶部(本願発明)
116 タッチ特徴量算出部
117 タッチ操作判定部
118 ジェスチャ操作終了判定条件記憶部
119 ジェスチャ操作終了判定部
120 ジェスチャ終了位置取得部
121 周囲接触センサ
122 持ち手検出部
123 周囲近接センサ
124 把持位置検出部
125 方向角検出部
126 指長検出部
127 タッチ操作種別頻度記憶部
128 認識優先度決定部
129 タッチ操作認識条件更新部
140 把持情報検出部
189 筐体
150 ボタン
190 情報入力装置
200 表示装置

Claims (19)

  1. 情報を入力するためのセンサであるタッチセンサと、
    操作者の指が前記タッチセンサに接触したときの情報であるタッチ情報を検出するタッチ情報検出部と、
    前記タッチ情報を用いて、操作者のタッチ操作の開始位置であるタッチ操作開始位置を検出するタッチ操作開始位置検出部と、
    前記タッチ操作開始位置に対応付けて、複数のタッチ操作の種別をそれぞれ認識するための複数のタッチ操作認識条件を記憶しているタッチ操作認識条件記憶部と、
    前記タッチ操作開始位置検出部で検出されたタッチ操作開始位置に対応付けられた前記複数のタッチ操作認識条件を用いて前記タッチ操作を認識し、操作者が行ったタッチ操作の種別を求めるタッチ操作認識部とを備え、
    前記タッチ操作認識部は、
    前記タッチ操作開始位置のうち第1のタッチ操作開始位置では、前記複数のタッチ操作認識条件のうち第1のタッチ操作認識条件を使用して、前記複数のタッチ操作の種別のうち第1のタッチ操作を認識し、
    前記タッチ操作開始位置のうち前記第1のタッチ操作開始位置とは異なる第2のタッチ操作開始位置では、前記複数のタッチ操作認識条件のうち前記第1のタッチ操作認識条件とは異なる第2のタッチ操作認識条件を使用して、前記第1のタッチ操作を認識する
    情報入力装置。
  2. 前記タッチ操作認識部は、認識結果として、操作者が行ったタッチ操作の種別と前記タッチ操作の大きさを示す操作量を出力し、前記認識されたタッチ操作の種別は、操作者が指定した位置を入力するポインティング操作及び事前に定められた特定の処理の実行を指示する複数の種別のジェスチャ操作のうちのいずれか1つである
    請求項1に記載の情報入力装置。
  3. 前記タッチ操作認識部が、前記認識結果として前記ジェスチャ操作の種別を出力した場合において、
    前記タッチ操作認識部は、前記出力された種別のジェスチャ操作の入力が終了したか否かを判定し、終了したと判定した場合には、当該判定をした時点に検出された、操作者が触れている前記タッチセンサの操作面上の位置であるタッチ位置、及び、当該判定をした時点の1つ前に検出された、操作者が触れている前記タッチセンサの操作面上の位置であるタッチ位置のうち少なくとも1つをジェスチャ操作終了位置として出力し、
    前記タッチ操作開始位置検出部は、前記出力されたジェスチャ操作終了位置を前記タッチ操作開始位置として検出する
    請求項2に記載の情報入力装置。
  4. 前記タッチ操作開始位置検出部は、操作者の指が最初に前記タッチセンサに接触したタッチ位置をタッチ操作開始位置とする
    請求項1に記載の情報入力装置。
  5. 前記情報入力装置は、さらに、事前に定められた特定時間の間、前記タッチ情報を記憶しているタッチ情報系列記憶部を備えており、
    前記タッチ操作認識部は、
    前記タッチ情報系列記憶部が記憶しているタッチ情報を用いて、タッチ操作時間、タッチ移動距離、タッチ移動速度、タッチ移動加速度及び、タッチ移動方向のうち少なくとも1つをタッチ特徴量として算出するタッチ特徴量算出部と、
    前記タッチ操作認識条件記憶部が記憶している、前記タッチ操作開始位置に対応付けられた前記複数のタッチ操作認識条件に基づいて、前記タッチ特徴量からタッチ操作の種別を判定するタッチ操作判定部とを備える
    請求項2に記載の情報入力装置。
  6. 前記タッチセンサは静電容量方式であり、
    前記タッチ情報は、前記タッチ位置及び、接触したときのタッチ操作の強度であるタッチ強度を示す静電容量値を含む
    請求項2に記載の情報入力装置。
  7. 前記タッチ操作認識条件記憶部は、前記タッチセンサの操作面上に定義された複数の部分領域の各々に対応付けて、前記複数のタッチ操作認識条件を記憶しており、
    前記タッチ操作判定部は、前記複数の部分領域のうち前記タッチ操作開始位置を内包する部分領域に対応付けられて記憶されている前記複数のタッチ操作認識条件のうちの1つであって前記複数のタッチ操作の種別のうち第1のタッチ操作を認識するためのタッチ操作認識条件を、前記タッチ特徴量が満たすか否かを判定し、満たさないと判定した場合には前記タッチ操作の種別は前記第1のタッチ操作ではないと判定する
    請求項5に記載の情報入力装置。
  8. 前記情報入力装置は、さらに、ジェスチャ操作終了判定条件記憶部を備え、
    前記タッチ操作認識部は、さらに、ジェスチャ操作終了判定部と、ジェスチャ終了位置取得部とを備えており、
    前記ジェスチャ操作終了判定条件記憶部は、前記複数の種別のジェスチャ操作それぞれの終了を判定するための条件である複数のジェスチャ操作終了判定条件を前記複数の部分領域各々に対応付けて記憶し、
    前記ジェスチャ操作終了判定部は、前記複数の部分領域のうち前記タッチ操作開始位置を内包する部分領域に対応付けて記憶されている前記複数のジェスチャ操作終了判定条件のうち、前記タッチ操作判定部により判定された種別のジェスチャ操作の終了を判定するためのジェスチャ操作終了判定条件を前記タッチ特徴量が満たすか否かを判定し、
    前記判定の結果、前記タッチ特徴量が前記ジェスチャ操作終了判定条件を満たす場合には、前記ジェスチャ終了位置取得部は、当該条件を満たした時点に検出されたタッチ位置、及び、当該条件を満たした時点の1つ前に検出されたタッチ位置のうち少なくとも1つをジェスチャ操作終了位置として出力し、
    前記タッチ操作開始位置検出部は、前記出力されたジェスチャ操作終了位置を前記タッチ操作開始位置として検出する
    請求項7に記載の情報入力装置。
  9. 前記情報入力装置は、さらに、前記情報入力装置に対する操作者の把持情報を検出する把持情報検出部を備えており、
    前記タッチ操作認識条件記憶部は、前記把持情報と前記タッチ操作開始位置とにそれぞれ対応付けて、前記複数のタッチ操作認識条件を記憶し、
    前記タッチ操作認識部は、前記把持情報と前記タッチ操作開始位置とに対応付けられた前記複数のタッチ操作認識条件を用いて前記タッチ操作を認識し、操作者が行ったタッチ操作の種別を求める
    請求項1に記載の情報入力装置。
  10. 前記把持情報は、操作者による前記情報入力装置の持ち手の種類、操作者が把持している前記情報入力装置の把持位置、操作者が把持している手に対する前記情報入力装置の方向角及び、操作者がタッチ操作に使用する指の長さのうち少なくとも1つである
    請求項10に記載の情報入力装置。
  11. 前記情報入力装置は、さらに、当該情報入力装置の筐体の少なくとも一部に配置され、前記情報入力装置に対する操作者の手及び指の少なくとも一方の接触位置を検出する周囲接触センサを備えており、
    前記把持情報検出部は、前記周囲接触センサで検出された接触位置を用いて、前記把持情報のうち前記持ち手の種類を検出し、
    前記タッチ操作認識条件記憶部は、前記持ち手の種類と前記タッチ操作開始位置とにそれぞれ対応付けて前記複数のタッチ操作認識条件を記憶し、
    前記タッチ操作認識部は、前記タッチ操作認識条件記憶部から取得した前記複数のタッチ操作認識条件を用いてタッチ操作の種別を求める
    請求項11に記載の情報入力装置。
  12. 前記情報入力装置は、さらに、前記情報入力装置の筐体の少なくとも一部に配置され、操作者の前記情報入力装置に対する手及び指の少なくとも一方の近接状態を検出する周囲近接センサを備えており、
    前記タッチ操作認識条件記憶部は、前記タッチセンサの操作面上に定義された複数の部分領域の各々に対応付けて、前記複数のタッチ操作認識条件を記憶し、
    前記把持情報検出部は、前記周囲近接センサで検出された前記近接状態を用いて、前記把持位置、前記方向角及び前記指の長さのうち少なくとも1つを検出し、
    前記タッチ操作認識部は、検出された前記把持位置、前記方向角及び前記指の長さのうちの少なくとも1つと、事前に定められた基準把持状態との差を算出し、当該差が小さくなるように前記タッチ操作開始位置を補正し、前記複数の部分領域のうち当該補正後のタッチ操作開始位置を内包する部分領域に対応づけて記憶されている前記複数のタッチ操作認識条件を用いて前記タッチ操作を認識する
    請求項11に記載の情報入力装置。
  13. 前記タッチ操作認識部は、検出された前記把持位置、前記方向角及び前記指の長さのうちの少なくとも1つと、事前に定められた基準把持状態との差を算出し、当該差が小さくなるように前記タッチ位置を補正し、当該補正後のタッチ位置を用いて操作者が行った前記タッチ操作の種別を判定し、前記タッチ操作の大きさを示す操作量を出力する
    請求項13に記載の情報入力装置。
  14. 前記情報入力装置は、前記複数のタッチ操作の種別ごとの認識される度合いを示す認識優先度を前記複数の部分領域ごとに対応付けて決定する認識優先度決定部と、
    前記複数の部分領域のうち第3の部分領域に対応付けて決定された前記認識優先度に応じて、当該第3の部分領域に対応付けられた前記複数のタッチ操作認識条件を更新するタッチ操作認識条件更新部とを備えており、
    前記タッチ操作認識条件更新部は、前記認識優先度が高いタッチ操作の種別ほど認識されやすくなるように、前記複数のタッチ操作認識条件に含まれる閾値の値を更新する
    請求項7に記載の情報入力装置。
  15. 前記情報入力装置は、さらに、前記タッチ操作認識部で認識されたタッチ操作の種別ごとの頻度である種別頻度を、前記複数の部分領域の各々に対応付けて記憶しているタッチ操作種別頻度記憶部を備えており、
    前記認識優先度決定部は、前記種別頻度がより高い種別のタッチ操作の前記認識優先度ほど、より高くなるように、前記認識優先度を決定する
    請求項15に記載の情報入力装置。
  16. タッチセンサを用いた情報入力方法であって、
    操作者の指が前記タッチセンサに接触したときの情報であるタッチ情報を検出するタッチ情報検出ステップと、
    前記タッチ情報を用いて、操作者のタッチ操作の開始位置であるタッチ操作開始位置を検出するタッチ操作開始位置検出ステップと、
    前記タッチ操作開始位置検出ステップで検出されたタッチ操作開始位置に対応付けられた複数のタッチ操作認識条件を用いて前記タッチ操作を認識し、複数のタッチ操作の種別のうち操作者が行ったタッチ操作の種別を求めるタッチ操作認識ステップとを含み、
    前記タッチ操作認識ステップにおいては、
    前記タッチ操作開始位置のうち第1のタッチ操作開始位置では、前記複数のタッチ操作認識条件のうち第1のタッチ操作認識条件を使用して、前記複数のタッチ操作の種別のうち第1のタッチ操作を認識し、
    前記タッチ操作開始位置のうち前記第1のタッチ操作開始位置とは異なる第2のタッチ操作開始位置では、前記複数のタッチ操作認識条件のうち前記第1のタッチ操作認識条件とは異なる第2のタッチ操作認識条件を使用して、前記第1のタッチ操作を認識する
    情報入力方法。
  17. 請求項17に記載の情報入力方法をコンピュータに実行させる
    プログラム。
  18. 請求項18に記載のプログラムを記録した
    コンピュータ読み取り可能な記録媒体。
  19. タッチセンサを用いて情報を入力するための集積回路であって、
    操作者の指が前記タッチセンサに接触したときの情報であるタッチ情報を検出するタッチ情報検出部と、
    前記タッチ情報を用いて、操作者のタッチ操作の開始位置であるタッチ操作開始位置を検出するタッチ操作開始位置検出部と、
    前記タッチ操作開始位置に対応付けて、複数のタッチ操作の種別をそれぞれ認識するための複数のタッチ操作認識条件を記憶しているタッチ操作認識条件記憶部と、
    前記タッチ操作開始位置検出部で検出されたタッチ操作開始位置に対応付けられた前記複数のタッチ操作認識条件を用いて前記タッチ操作を認識し、操作者が行ったタッチ操作の種別を求めるタッチ操作認識部とを備え、
    前記タッチ操作認識部は、
    前記タッチ操作開始位置のうち第1のタッチ操作開始位置では、前記複数のタッチ操作認識条件のうち第1のタッチ操作認識条件を使用して、前記複数のタッチ操作の種別のうち第1のタッチ操作を認識し、
    前記タッチ操作開始位置のうち前記第1のタッチ操作開始位置とは異なる第2のタッチ操作開始位置では、前記複数のタッチ操作認識条件のうち前記第1のタッチ操作認識条件とは異なる第2のタッチ操作認識条件を使用して、前記第1のタッチ操作を認識する
    集積回路。
JP2012520282A 2010-06-16 2011-06-10 情報入力装置、情報入力方法及びプログラム Active JP5728008B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012520282A JP5728008B2 (ja) 2010-06-16 2011-06-10 情報入力装置、情報入力方法及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010137771 2010-06-16
JP2010137771 2010-06-16
JP2012520282A JP5728008B2 (ja) 2010-06-16 2011-06-10 情報入力装置、情報入力方法及びプログラム
PCT/JP2011/003287 WO2011158475A1 (ja) 2010-06-16 2011-06-10 情報入力装置、情報入力方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2011158475A1 JPWO2011158475A1 (ja) 2013-08-19
JP5728008B2 true JP5728008B2 (ja) 2015-06-03

Family

ID=45347891

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012520282A Active JP5728008B2 (ja) 2010-06-16 2011-06-10 情報入力装置、情報入力方法及びプログラム

Country Status (4)

Country Link
US (2) US8933910B2 (ja)
JP (1) JP5728008B2 (ja)
CN (1) CN102713822A (ja)
WO (1) WO2011158475A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107171445A (zh) * 2016-03-08 2017-09-15 精工电子有限公司 便携设备和便携钟表

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5458783B2 (ja) * 2009-10-01 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9552093B2 (en) * 2011-07-22 2017-01-24 Lenovo (Singapore) Pte. Ltd. Selecting a sensor for user input
JP6011937B2 (ja) * 2012-01-05 2016-10-25 パナソニックIpマネジメント株式会社 タッチパッドを介する入力装置
WO2013121629A1 (ja) * 2012-02-14 2013-08-22 Necカシオモバイルコミュニケーションズ株式会社 情報処理装置、誤動作防止方法およびプログラム
JP5942477B2 (ja) 2012-02-29 2016-06-29 富士ゼロックス株式会社 設定装置及びプログラム
CN103376999A (zh) * 2012-04-23 2013-10-30 华晶科技股份有限公司 手持式电子装置及其数位资讯的画面控制方法
JP5659193B2 (ja) * 2012-05-25 2015-01-28 京セラドキュメントソリューションズ株式会社 表示入力装置および画像形成装置
US8875060B2 (en) * 2012-06-04 2014-10-28 Sap Ag Contextual gestures manager
WO2013187370A1 (ja) * 2012-06-15 2013-12-19 京セラ株式会社 端末装置
JP5991741B2 (ja) * 2012-07-03 2016-09-14 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP6000797B2 (ja) * 2012-10-17 2016-10-05 シャープ株式会社 タッチパネル式入力装置、その制御方法、および、プログラム
CN103777857A (zh) * 2012-10-24 2014-05-07 腾讯科技(深圳)有限公司 实现视频画面转动的方法和装置
TWI467467B (zh) * 2012-10-29 2015-01-01 Pixart Imaging Inc 畫面物件移動控制方法及裝置
US8847909B2 (en) * 2012-11-11 2014-09-30 Nomovok Co., Ltd. Touchable mobile remote control without display
CN103076968B (zh) * 2012-12-26 2016-06-22 天津三星通信技术研究有限公司 一种触控终端的操作控制方法及其触控终端
KR102044826B1 (ko) 2013-01-02 2019-11-14 삼성전자 주식회사 마우스 기능 제공 방법 및 이를 구현하는 단말
US10331219B2 (en) 2013-01-04 2019-06-25 Lenovo (Singaore) Pte. Ltd. Identification and use of gestures in proximity to a sensor
CN103135929A (zh) * 2013-01-31 2013-06-05 北京小米科技有限责任公司 控制应用界面移动的方法、装置和终端设备
JP6179412B2 (ja) * 2013-01-31 2017-08-16 株式会社Jvcケンウッド 入力表示装置
KR20140107829A (ko) * 2013-02-28 2014-09-05 삼성전자주식회사 디스플레이장치, 입력장치 및 그 제어방법
US10025459B2 (en) * 2013-03-14 2018-07-17 Airwatch Llc Gesture-based workflow progression
CN104049879A (zh) * 2013-03-14 2014-09-17 中兴通讯股份有限公司 触摸式终端及其提示框定位的方法
CN103218117B (zh) * 2013-03-18 2016-04-13 惠州Tcl移动通信有限公司 实现屏幕显示界面平移的方法及电子设备
KR102092062B1 (ko) * 2013-04-30 2020-03-23 인텔렉추얼디스커버리 주식회사 디스플레이어 입력장치 및 입력방법
US20140347171A1 (en) * 2013-05-23 2014-11-27 Juan Carlos Ramiro Portable wireless tactile control device
JP6147149B2 (ja) * 2013-09-06 2017-06-14 三菱電機株式会社 画面入力操作装置
US10394444B2 (en) * 2013-10-08 2019-08-27 Sony Interactive Entertainment Inc. Information processing device
EP2866165B1 (en) * 2013-10-28 2018-12-05 LG Electronics Inc. -1- Mobile terminal and controlling method thereof
JP6356411B2 (ja) * 2013-11-28 2018-07-11 京セラ株式会社 電子機器
CN107678631B (zh) * 2013-12-30 2021-09-14 华为技术有限公司 侧边菜单显示方法、装置和终端
US9560254B2 (en) * 2013-12-30 2017-01-31 Google Technology Holdings LLC Method and apparatus for activating a hardware feature of an electronic device
JP2015170282A (ja) * 2014-03-10 2015-09-28 トヨタ自動車株式会社 車両用操作装置
CN103870199B (zh) * 2014-03-31 2017-09-29 华为技术有限公司 手持设备上用户操作模式的识别方法及手持设备
KR102282498B1 (ko) * 2014-05-19 2021-07-27 삼성전자주식회사 디스플레이를 이용한 입력 처리 방법 및 장치
JP6434144B2 (ja) * 2014-07-18 2018-12-05 アップル インコーポレイテッドApple Inc. デバイスにおけるレイズジェスチャ検出
JP5701440B1 (ja) * 2014-08-29 2015-04-15 株式会社Cygames ユーザ入力の操作性を向上させる方法
JP6394335B2 (ja) * 2014-12-03 2018-09-26 日本電気株式会社 入力予測装置、入力予測方法および入力予測プログラム
CN105786375A (zh) 2014-12-25 2016-07-20 阿里巴巴集团控股有限公司 在移动终端操作表单的方法及装置
CN105934732B (zh) * 2014-12-26 2021-04-27 株式会社尼康 控制装置、电子设备、控制方法及程序
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
JP6552277B2 (ja) * 2015-05-28 2019-07-31 シャープ株式会社 情報端末、情報端末による処理実行方法、及び、プログラム
US20190042056A1 (en) * 2015-08-12 2019-02-07 Cirque Corporation Avoiding noise when using multiple capacitive measuring integrated circuits
US20170102758A1 (en) * 2015-10-08 2017-04-13 Stmicroelectronics Asia Pacific Pte Ltd Wake up gesture for low power using capacitive touch controller
KR20170054866A (ko) * 2015-11-10 2017-05-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2017113357A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 悬浮触控装置及方法
JP2017134638A (ja) * 2016-01-28 2017-08-03 株式会社東海理化電機製作所 操作検出装置
US20170277265A1 (en) * 2016-03-24 2017-09-28 Synaptics Incorporated Single axis gesture recognition
JP6499384B2 (ja) * 2016-08-24 2019-04-10 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
CN106412654A (zh) * 2016-10-12 2017-02-15 深圳Tcl新技术有限公司 基于安卓系统的遥控器控制方法和装置
CN110402427B (zh) * 2017-03-15 2022-05-31 三菱电机株式会社 触摸手势判定装置、触摸手势判定方法、记录有触摸手势判定程序的记录介质和触摸面板输入装置
JP6293953B1 (ja) * 2017-04-04 2018-03-14 京セラ株式会社 電子機器、プログラムおよび制御方法
JP6436203B2 (ja) * 2017-09-06 2018-12-12 カシオ計算機株式会社 電子機器、表示制御方法及びプログラム
CN107861683B (zh) * 2017-11-07 2020-08-21 苏州九号电子科技有限公司 无人机无按钮操作方法及装置
JP6719087B2 (ja) * 2017-12-08 2020-07-08 パナソニックIpマネジメント株式会社 入力装置、及び、入力方法
JP7048151B2 (ja) * 2018-03-30 2022-04-05 Necソリューションイノベータ株式会社 モーション判定装置、モーション判定方法、及びプログラム
KR102149105B1 (ko) * 2019-09-18 2020-08-27 세종대학교산학협력단 혼합현실 기반 3차원 스케치 장치 및 방법
US11934640B2 (en) 2021-01-29 2024-03-19 Apple Inc. User interfaces for record labels
CN113138693B (zh) * 2021-04-13 2023-04-07 Oppo广东移动通信有限公司 操作识别方法、装置、电子设备及存储介质
CN117234404A (zh) * 2022-06-06 2023-12-15 华为技术有限公司 一种设备控制方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076489A (ja) * 2001-09-04 2003-03-14 Alps Electric Co Ltd 座標入力装置
JP2003248549A (ja) * 2002-02-22 2003-09-05 Toshiba Corp 情報処理装置およびコンピュータの操作支援方法
JP2005518612A (ja) * 2002-02-26 2005-06-23 サーク・コーポレーション 高精細用および低精細用の分解能を有するタッチパッド
JP2006209647A (ja) * 2005-01-31 2006-08-10 Denso Wave Inc 光学情報読取装置
US20070262951A1 (en) * 2006-05-09 2007-11-15 Synaptics Incorporated Proximity sensor device and method with improved indication of adjustment
JP2009525538A (ja) * 2006-01-30 2009-07-09 アップル インコーポレイテッド マルチポイント感知装置を用いたジェスチャリング
JP2010517197A (ja) * 2007-01-30 2010-05-20 アップル インコーポレイテッド マルチポイント感知装置でのジェスチャー

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4686332A (en) * 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
JPH08286831A (ja) * 1995-04-14 1996-11-01 Canon Inc ペン入力型電子装置及びその制御方法
US5943052A (en) 1997-08-12 1999-08-24 Synaptics, Incorporated Method and apparatus for scroll bar control
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
EP1717682B1 (en) * 1998-01-26 2017-08-16 Apple Inc. Method and apparatus for integrating manual input
US7840912B2 (en) 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US20040102858A1 (en) * 2001-09-04 2004-05-27 Boris Kesil Soft-touch gripping mechanism for flat objects
US8768286B2 (en) * 2001-10-24 2014-07-01 Mouhamad Ahmad Naboulsi Hands on steering wheel vehicle safety control system
EP2544069A3 (en) * 2003-07-28 2013-03-13 NEC Corporation Mobile information terminal
US9024884B2 (en) 2003-09-02 2015-05-05 Apple Inc. Touch-sensitive electronic apparatus for media applications, and methods therefor
CN103365595B (zh) 2004-07-30 2017-03-01 苹果公司 用于触敏输入设备的手势
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US7570166B2 (en) * 2005-09-12 2009-08-04 Alden Ray M RFID transponder arrays for sensing input and controlling processes
US8686964B2 (en) * 2006-07-13 2014-04-01 N-Trig Ltd. User specific recognition of intended user interaction with a digitizer
US9007299B2 (en) * 2006-07-14 2015-04-14 Ailive Inc. Motion control used as controlling device
JP4884867B2 (ja) * 2006-07-25 2012-02-29 任天堂株式会社 情報処理装置および情報処理プログラム
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US9311528B2 (en) 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US7975242B2 (en) 2007-01-07 2011-07-05 Apple Inc. Portable multifunction device, method, and graphical user interface for conference calling
US8519963B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US8665225B2 (en) 2007-01-07 2014-03-04 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
US7978182B2 (en) 2007-01-07 2011-07-12 Apple Inc. Screen rotation gestures on a portable multifunction device
US20080165145A1 (en) 2007-01-07 2008-07-10 Scott Herz Portable Multifunction Device, Method, and Graphical User Interface for Interpreting a Finger Swipe Gesture
US7889175B2 (en) * 2007-06-28 2011-02-15 Panasonic Corporation Touchpad-enabled remote controller and user interaction methods
US7755744B1 (en) * 2007-08-15 2010-07-13 Thomas Leberer Environment sensor that conveys information about objects in the vicinity of the visually impaired user
KR101345755B1 (ko) * 2007-09-11 2013-12-27 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법
KR20090057609A (ko) * 2007-12-03 2009-06-08 삼성전자주식회사 터치 스크린을 구비한 휴대 단말기 및 그 문자 입력 방법
US8319832B2 (en) * 2008-01-31 2012-11-27 Denso Corporation Input apparatus and imaging apparatus
JP5448370B2 (ja) * 2008-05-20 2014-03-19 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体
JP4853507B2 (ja) * 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8217913B2 (en) * 2009-02-02 2012-07-10 Apple Inc. Integrated touch screen
US7995041B2 (en) * 2009-02-02 2011-08-09 Apple Inc. Integrated touch screen
US9703411B2 (en) * 2009-04-30 2017-07-11 Synaptics Incorporated Reduction in latency between user input and visual feedback
US8350820B2 (en) * 2009-11-06 2013-01-08 Bose Corporation Touch-based user interface user operation accuracy enhancement
US8638306B2 (en) * 2009-11-06 2014-01-28 Bose Corporation Touch-based user interface corner conductive pad
US8786559B2 (en) * 2010-01-06 2014-07-22 Apple Inc. Device, method, and graphical user interface for manipulating tables using multi-contact gestures
US20110242138A1 (en) * 2010-03-31 2011-10-06 Tribble Guy L Device, Method, and Graphical User Interface with Concurrent Virtual Keyboards
US9335870B2 (en) * 2010-06-07 2016-05-10 Apple Inc. Touch-display crosstalk
US8836643B2 (en) * 2010-06-10 2014-09-16 Qualcomm Incorporated Auto-morphing adaptive user interface device and methods
US8654555B2 (en) * 2012-06-04 2014-02-18 Raytheon Company ROIC control signal generator

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076489A (ja) * 2001-09-04 2003-03-14 Alps Electric Co Ltd 座標入力装置
JP2003248549A (ja) * 2002-02-22 2003-09-05 Toshiba Corp 情報処理装置およびコンピュータの操作支援方法
JP2005518612A (ja) * 2002-02-26 2005-06-23 サーク・コーポレーション 高精細用および低精細用の分解能を有するタッチパッド
JP2006209647A (ja) * 2005-01-31 2006-08-10 Denso Wave Inc 光学情報読取装置
JP2009525538A (ja) * 2006-01-30 2009-07-09 アップル インコーポレイテッド マルチポイント感知装置を用いたジェスチャリング
US20070262951A1 (en) * 2006-05-09 2007-11-15 Synaptics Incorporated Proximity sensor device and method with improved indication of adjustment
JP2010517197A (ja) * 2007-01-30 2010-05-20 アップル インコーポレイテッド マルチポイント感知装置でのジェスチャー

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107171445A (zh) * 2016-03-08 2017-09-15 精工电子有限公司 便携设备和便携钟表

Also Published As

Publication number Publication date
US20120293456A1 (en) 2012-11-22
CN102713822A (zh) 2012-10-03
WO2011158475A1 (ja) 2011-12-22
US8933910B2 (en) 2015-01-13
US9335878B2 (en) 2016-05-10
JPWO2011158475A1 (ja) 2013-08-19
US20150077395A1 (en) 2015-03-19

Similar Documents

Publication Publication Date Title
JP5728008B2 (ja) 情報入力装置、情報入力方法及びプログラム
US10817174B2 (en) Method of operating a display unit and a terminal supporting the same
JP5841590B2 (ja) 情報入力装置及び情報入力方法
US9671893B2 (en) Information processing device having touch screen with varying sensitivity regions
JP4743267B2 (ja) 情報処理装置、情報処理方法およびプログラム
AU2008100547B4 (en) Speed/position mode translations
EP1774429B1 (en) Gestures for touch sensitive input devices
JP5718042B2 (ja) タッチ入力処理装置、情報処理装置およびタッチ入力制御方法
TWI430141B (zh) 判斷旋轉手勢的方法與裝置
EP2416233A1 (en) Information processing apparatus, information processing method, and computer program
WO2008085789A2 (en) Gestures for devices having one or more touch sensitive surfaces
JP2012190215A (ja) 入力処理装置、入力処理方法、プログラム
WO2011115260A1 (ja) 情報入力装置、情報入力方法、及び情報入力プログラム
JP2006500676A (ja) グラフィカル・ユーザ・インタフェース・ナビゲーション方法、及び装置。
WO2014006487A1 (en) System and method for creating optimal command regions for the hand on a touch pad device
JP2011134273A (ja) 情報処理装置、情報処理方法およびプログラム
JP5492627B2 (ja) 情報表示装置および情報表示方法
JP5721602B2 (ja) 携帯端末装置およびプログラム
JP2014056519A (ja) 携帯端末装置、誤操作判定方法、制御プログラムおよび記録媒体
CN103543921B (zh) 信息处理设备和信息处理方法
US20150091831A1 (en) Display device and display control method
KR101436588B1 (ko) 멀티 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
JP5449088B2 (ja) 情報入力装置
JP5864050B2 (ja) 入力装置、入力装置の制御方法、制御プログラム、および記録媒体
KR20070079858A (ko) 터치패드를 이용한 드래그 기능 구현 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140411

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140411

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150403

R150 Certificate of patent or registration of utility model

Ref document number: 5728008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150