JP5783385B2 - データ処理装置及びプログラム - Google Patents

データ処理装置及びプログラム Download PDF

Info

Publication number
JP5783385B2
JP5783385B2 JP2013037594A JP2013037594A JP5783385B2 JP 5783385 B2 JP5783385 B2 JP 5783385B2 JP 2013037594 A JP2013037594 A JP 2013037594A JP 2013037594 A JP2013037594 A JP 2013037594A JP 5783385 B2 JP5783385 B2 JP 5783385B2
Authority
JP
Japan
Prior art keywords
gesture operation
gesture
data processing
operation type
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013037594A
Other languages
English (en)
Other versions
JP2014164695A (ja
Inventor
木村 哲
哲 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2013037594A priority Critical patent/JP5783385B2/ja
Priority to KR1020140021936A priority patent/KR101591586B1/ko
Priority to US14/191,319 priority patent/US20140245236A1/en
Priority to CN201410068760.6A priority patent/CN104007926B/zh
Publication of JP2014164695A publication Critical patent/JP2014164695A/ja
Application granted granted Critical
Publication of JP5783385B2 publication Critical patent/JP5783385B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

本発明は、ジェスチャ操作を検出してそのジェスチャ操作種に応じたデータ処理を行うデータ処理装置及びプログラムに関する。
従来、携帯端末装置などのデータ処理装置においてタッチパネル上でのジャスチャ操作の動き自体から、どのような種類の操作が行われたのかを判定する技術としては、例えば、タッチパネル上での接触開始点と接触終了点との関係からフリック操作が行われたのか、タップ操作が行われたのかを判定するようにした技術(特許文献1参照)と、タッチ位置の分散状態の閾値からドラッグ操作が行われたのか、フリック操作が行われたのかを判定するようにした技術(特許文献2参照)と、操作の動きと速度との閾値判定によってフリック操作が行われたのかを判定するようにした技術(特許文献3参照)とが存在している。
特開2011−118629公報 特開2011−134212公報 特開2006−85703公報
しかしながら、上述した各特許文献1〜3の技術にあっては、ジェスチャ操作そのものの動きから(物理的な操作状態から)フリック操作か否かを判定しているに過ぎず、誤判定する危険性があった。すなわち、同じ種類のジャスチャ操作であっても、操作するユーザによってはその動きが微妙に変化してしまうため、ユーザの意図とは反したジャスチャ判定が行われることがある。例えば、フリック操作を行ったつもりでもタップ操作と判定されたり、タップ操作を行ったつもりでもフリック操作と判定されたりするなど、誤判定の危険性があった。
本発明の課題は、ジェスチャ操作を検出してその操作に応じたデータ処理を行う場合に、そのジェスチャ操作を適切に判定できるようにすることである。
請求項1は、複数のジェスチャ操作種の夫々に対応した操作命令によるデータ処理を実行するデータ処理装置であって、前記複数のジェスチャ操作種の内で、ユーザに対応して優先すべきジェスチャ操作種の情報を記憶する記憶手段と、ユーザによるジェスチャ操作を検出した際は、そのジェスチャ操作による操作内容から何れか1つのジェスチャ操作種への絞り込みが可能か否かを判別する判別手段と、前記判別手段で何れか1つのジェスチャ操作種への絞り込みが可能な場合には、そのジェスチャ操作種を特定し、また、前記何れか1つのジェスチャ操作種への絞り込みが可能でない場合には、当該ジェスチャ操作を行ったユーザのユーザ属性に対応して前記記憶手段に記憶された前記ジェスチャ操作種を今回のジェスチャ操作種として特定する特定手段と、前記特定手段で特定されたジェスチャ操作種に応じた操作命令によるデータ処理を実行するデータ処理手段と、を具備したことを特徴とする。
本発明によれば、ジェスチャ操作を検出してその操作に応じたデータ処理を行う場合に、そのジェスチャ操作を適切に判定することができ、操作性が向上する。
データ処理装置として適用したタブレット端末装置の基本的な構成要素を示したブロック図。 各種の画像を縮小してタッチ表示部6に一覧表示させた場合のサムネイル画面を示した図。 (1)、(2)は、優先判定テーブル3d、ユーザ情報テーブル3eを説明するための図。 画像表示処理が指定された際に実行開始されるフローチャート。 図4の動作に続くフローチャート。 ジェスチャ操作が行われる毎に実行開始されるユーザの操作癖学習処理を示したフローチャート。
以下、図1〜図6を参照して本発明の実施形態を説明する。
本実施形態は、データ処理装置としてタブレット端末装置に適用した場合を例示したもので、図1は、このタブレット端末装置の基本的な構成要素を示したブロック図である。
タブレット端末装置は、その筐体全体が、例えば、A5サイズの携帯型情報端末装置であり、タッチ入力機能、無線通信機能などを備えている。CPU1は、電源部(二次電池)2からの電力供給によって動作し、記憶部3内の各種のプログラムに応じてこのタブレット端末装置の全体動作を制御する中央演算処理装置である。
記憶部3は、例えば、ROM、フラッシュメモリなどを有する構成で、図4〜図6に示した動作手順に応じて本実施形態を実現するためのプログラムを記憶するプログラムメモリ3aと、このタブレット端末装置で必要とされる各種のデータ(画像データ、文章データなど)を記憶するデータメモリ3bと、フラグなど一時記憶用のワークメモリ3cのほか、後述する優先判定テーブル3d、ユーザ情報テーブル3eを有している。なお、記憶部3は、例えば、SDカード、ICカードなど、着脱自在な可搬型メモリ(記録メディア)を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。
操作部4は、押しボタン式のキーとして、図示省略したが、電源をオン/オフさせる電源キーなどを備えている。無線LAN(Local Area Network)通信部5は、高速大容量の通信が可能な無線通信モジュールで、最寄りの無線LANルータ(図示省略)を介してインターネットなどに接続可能となっている。タッチ表示部6は、表示パネル6aにタッチパネル6bを積層配設した構成で、ソフトウェアキー(ソフトキー)としての機能名を表示したり、各種のアイコンなどを表示したりする。このタッチ表示部6のタッチパネル6bは、指など(ペンなどの操作子を含む)でタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用するようにしているが、光センサ方式など、その他の方式であってもよい。
タッチ表示部6上でタッチ操作(以下、各種のタッチ操作をジェスチャ操作と呼ぶことがある)が行われると、CPU1は、その接触位置に応じた信号の時間的変化に基づいて指などの移動方向、移動速度、移動量を検出したり、指などの接触が離れたことを検出したりする。そして、CPU1は、タッチパネル6b上でのジェスチャ操作種を判定して、その種類に応じたデータ処理を行う。すなわち、CPU1は、そのジェスチャ操作の内容(種類)として、タッチ表示部6の画面内の位置を指示するジェスチャ操作が行われたのか、画面内の表示内容の変更を指示するジェスチャ操作が行われたのかのジェスチャ操作種を判定する。
ここで、本実施形態においは、タッチパネル6b上で行われるジェスチャ操作種として、タッチパネル6b上の任意の位置を接触してすぐに離すジェスチャ操作(タップ操作)と、タッチパネル6b上を接触移動してからすぐに離すジェスチャ操作(表示スクロールを指示するフリック操作)のいずれが行われたのかを判定するようにしているが、このタップ操作、フリック操作に限らず、複数のジェスチャ操作の中からその他の種類のジェスチャ操作を判定するようにしてもよい。
なお、ジェスチャ操作とは、タッチパネル6b上への接触操作(タッチ操作)に限らず、その接触操作に近似する操作として、例えば、指やペンの接近や接近移動による静電容量変化や明るさ変化などに応じて指やペンの位置を検出する非接触操作を含むことを意味している。つまり、接触操作を検出する接触型タッチパネルに限らず、非接触操作を検出する非接触型タッチパネルや操作検出デバイスであってもよいが、本実施形態にあっては、ジェスチャ操作として、接触型タッチパネル上での接触操作を例示した場合である。
図2は、各種の画像を縮小してタッチ表示部6に一覧表示させた場合のサムネイル画面を示した図である。
ユーザ操作により画像の表示が指定されると、CPU1は、例えば、SDカードなどによって外部供給された画像をサムネイル画面に一覧表示させる。図示の例は、複数個の画像が3行×2列のマトリックス状に配置表示された場合でのサムネイル画面を示している。このサムネイル画面内の空き領域には、各種のボタンが配置され、例えば、右下領域には、直前の操作を取り消して元の状態に戻すことを指示する戻るボタンが配置されている。なお、サムネイル画面に配置されるボタンとしては、戻るボタン以外にページ切替ボタン(図示省略)などであ。
このサムネイル画面上において、何らかのジェスチャ操作が行われると、CPU1は、そのジェスチャ操作の種類(ジェスチャ操作種)を判定し、そのジェスチャ操作種がタップ操作であれば、画像の選択処理を実行するが、フリック操作であれば、ページ切替処理を実行するようにしている。なお、図示の例では、3行1列目の画像上でタップ操作を行った場合を例示し、また、1行目と2行目の空き領域上で矢印方向(右方向)へのフリック操作と、矢印方向(左方向)へのフリック操作を行った場合を例示している。
図3(1)、(2)は、優先判定テーブル3d、ユーザ情報テーブル3eを説明するための図で、図3(1)は、優先判定テーブル3dを示している。
優先判定テーブル3dは、例えば、製品出荷時に予め用意されたテーブルであり、「ユーザ属性」、「タップ基本判定値」、「フリック基本判定値」の各項目を有する構成となっている。「ユーザ属性」は、操作者(ユーザ)の属性を示す「年齢層」、「性別」の項目を有し、男女別の年齢層として“10〜20歳代”、“30〜50歳代”、…、“60歳以上”に区分されている。「タップ基本判定値」、「フリック基本判定値」は、ジェスチャ操作種を判定するために参照される判定値であり、予めユーザ属性に応じて固定的(基本的)に決められた値である。
例えば、一般に、“10〜20歳代”及び“30〜50歳代”の男性は、フリック操作を勢いよく行う傾向にあり、移動速度や移動量の値が大きくなるという特徴を持っているが、タップ操作も勢いよく行われる傾向にあるため、ジェスチャ操作種を一つに絞り込むことができない場合がある。このような場合にはタップ操作を優先するために、図示の例では、「タップ基本判定値」に“1”、「フリック基本判定値」に“0”が設定されている。これに対して、“60歳以上”の男性は、フリック操作を丁寧にゆっくり行ったりする傾向にあり、移動速度や移動量が小さくなるのに対して、タップ操作も丁寧に行われる傾向にある。このような場合にはフリック操作を優先して判定するために、図示の例では、「タップ基本判定値」に“0”、「フリック基本判定値」に“1”が設定されている。
また、“10〜20歳代”の女性は、「タップ基本判定値」に“1”、「フリック基本判定値」に“0”が設定され、“30〜50歳代”、“60歳以上”の女性は、「タップ基本判定値」に“0”、「フリック基本判定値」に“1”が設定されている。なお、上述の例では、「タップ基本判定値」、「フリック基本判定値」として、“0”又は“1”を設定することによって優先“1”/非優先“0”としたが、これに限らず、例えば、“10”以下の数値であってもよい。
図3(2)は、ユーザ情報テーブル3eを示している。このユーザ情報テーブル3eは、ユーザ毎にそのユーザに関する情報としてユーザ別に「No,」、「ユーザID」、「ユーザ属性」、「タップ判定値」、「フリック判定値」の各項目を記憶する構成で、複数人が共有して使用する環境では各ユーザが自己の識別情報を「ユーザID」を設定し、更に、優先判定テーブル3dの中から自己のユーザ属性(年齢層及び性別)を選択指定すると、その“年齢層”、“性別”が「ユーザ属性」に設定される。このように「ユーザ属性」に設定されると、優先判定テーブル3dからその「ユーザ属性」に対応する「タップ基本判定値」、「フリック基本判定値」が読み出されて、対応する「タップ判定値」、「フリック判定値」にその初期値として設定される。この「タップ判定値」及び「フリック判定値」の初期値は、ユーザの操作癖に応じて増加される。すなわち、CPU1は、タップ操作、フリック操作に関してユーザの操作癖を学習し、その学習結果に基づいて「タップ判定値」、「フリック判定値」の値を増加するようにしている。
ここで、フリック操作の直後(例えば、1秒以内)に逆方向への戻し操作(逆フリック操作)が行われた場合又は戻るボタン(図2参照)が操作された場合に、更にそれに引き続いてタップ操作が行われたときには、タップ操作をフリック操作と誤判定した場合であると判断して、「タップ判定値」を増加(例えば、+0.1)する。また、タップ操作の直後(例えば、1秒以内)に戻るボタン(図2参照)が操作された場合に、更にそれに引き続いてフリック操作が行われたときには、フリック操作をタップ操作と誤判定した場合であると判断して、「タップ判定値」を増加(例えば、+0.1)する。
このように本実施形態においてデータ処理装置(タブレット端末装置)は、ユーザの属性(性別、年齢層、操作癖)を記憶する属性記憶手段(ユーザ情報テーブル3e、CPU1)と、ジェスチャ操作を検出する検出手段(CPU1、タッチ表示部6)と、ジェスチャ操作が行われた際に、この検出手段の検出結果と属性記憶手段に記憶されているユーザ属性とに基づいて、複数のジェスチャ操作種の中から操作されたジェスチャ操作種を判定する判定手段(CPU1)と、この判定手段が判定したジェスチャ操作種に応じた種類の処理を実行するデータ処理手段(CPU1)と、を備える構成となっている。
次に、本実施形態におけるデータ処理装置(タブレット端末装置)の動作概念を図4〜図6に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム/データを利用して本実施形態特有の動作を実行することもできる。なお、図4〜図6は、タブレット端末装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図4〜図6のフローから抜けた際には、全体動作のメインフロー(図示省略)に戻る。
図4及び図5は、画像表示処理が指定された際に実行開始されるフローチャートであり、この画像表示処理に先だって、電源オン時に入力されたユーザ情報又は生体情報に基づいて操作者(ユーザ)が特定されているものとする。
先ず、CPU1は、例えば、SDカードなどによって外部供給された各種の画像を表示対象として選択して(図4のステップA1)、それらの画像を読み込み(ステップA2)、縮小処理を行った後、タッチ表示部6にサムネイル表示する(ステップA3)。このサムネイル画面には、例えば、図2に示すように複数の画像が3行×2列のマトリックス状に配置表示されると共に、戻るボタンなどが配置される。このサムネイル画面上において、何らかの操作が行われたときには(ステップA4でYES)、その操作は戻るボタンなどのボタン操作であるかを調べ(ステップA5)、ボタン操作であれば(ステップA4でYES)、戻るボタンであるかを調べたり(ステップA6)、画像表示処理の終了を指示する終了ボタンであるかを調べたりする(ステップA8)。
いま、戻るボタンが操作されたときには(ステップA6でYES)、直前の操作を取り消して元の状態とする戻し処理(ステップA7)を行った後、上述のステップA4に移るが、戻るボタン及び終了ボタン以外の他のボタンが操作されたときには(ステップA8でNO)、操作に応じた処理(例えば、ページ切替処理など)を行い(ステップA9)、その後、上述のステップA4に移る。また、終了ボタンであれば(ステップA8でYES)、図4及び図5のフローから抜ける。また、サムネイル画面上の操作がボタン操作でなければ、つまり、ジェスチャ操作であれば(ステップA5でNO)、図5のフローに移る。
先ず、CPU1は、サムネイル画面上でジェスチャ操作が行われると、タッチパネル6bへの接触位置を検出すると共に、その接触位置に応じた信号の時間的変化に基づいて指などの移動方向、移動速度、移動量を検出したり、指などの接触が離れたことを検出したりしてジェスチャ操作の検出を行う(図5のステップA10)。そして、次のステップA11では、このジェスチャ操作の検出結果に基づいてジェスチャ操作の絞り込みを行い(タップ操作であるかフリック操作であるかの絞り込みを行い)、一つのジェスチャ操作種に絞り込めたかを調べる(ステップA12)。この場合、例えば、ジェスチャ操作の検出結果(操作パターン)が複数のジェスチャ操作種の操作パターンに特徴的に類似しているかを判別し、複数のジェスチャ操作種の操作パターンに類似していなければ、つまり、いずれか一つのジェスチャ操作種のみに類似しているときには、一つのジェスチャ操作種に絞り込むことができたものとして判断する。
いま、ジェスチャ操作の検出結果(移動方向、移動速度、移動量など)から勢いの良いフリック操作などのようにジェスチャ操作種(操作パターン)の特徴が明確に検出され、一つのジェスチャ操作種に絞り込むことができたときには(ステップA12でYES)、次のステップA15に移る。この場合、その絞り込んだジェスチャ操作種がフリック操作であれば(ステップA15でYES)、フリック操作に応じてその操作方向へページを切り替るページめくり処理を実行し(ステップA16)、タップ操作であれば(ステップA15でNO)、タップ操作された位置の画像を選択する画像選択処理を実行する(ステップA17)。
また、ジェスチャ操作の検出結果から一つのジェスチャ操作種に絞り込むことができなかった場合、つまり、ジェスチャ操作の検出結果(操作パターン)が複数のジェスチャ操作種の操作パターンに特徴的に類似していてジェスチャ操作の検出結果だけで一つのジェスチャ操作種に絞り込むと誤判定の可能性があるような場合には(ステップA12でNO)、「ユーザ属性」を参照した判定を行う(ステップA13〜A15)。すなわち、上述のようにして特定した操作者の「ユーザ属性」に基づいてユーザ情報テーブル3eを参照し(ステップA13)、その「ユーザ属性」に対応する「タップ判定値」、「フリック判定値」を比較し(ステップA14)、その判別値の大きい方のジェスチャ操作種に絞り込む(ステップA15)。
なお、「タップ判定値」、「フリック判定値」の大小比較に応じてジェスチャ操作種の絞り込みを行う場合に限らず、「タップ判定値」、「フリック判定値」を重み付けして大小比較するなど、その比較の仕方は任意である。絞り込んだジェスチャ操作種がフリック操作であれば(ステップA15でYES)、フリック操作に応じてその操作方向へページを切り替るためのページめくり処理を実行し(ステップA16)、タップ操作であれば(ステップA15でNO)、タップ操作された位置の画像を選択する画像選択処理を実行する(ステップA17)。
図6は、ユーザの操作癖学習処理を示したフローチャートであり、ジェスチャ操作が行われる毎に図4及び図5のフローチャートに並行して実行開始される。
先ず、CPU1は、ジェスチャ操作種の判定結果を取得し(ステップB1)、それがフリック操作であれば(ステップB2でYES)、そのフリック操作後、一定時間内(例えば、1秒以内)に他の操作が行われたか否かを調べる(ステップB3)。ここで、他の操作が行われなければ(ステップB3でNO)、図6のフローから抜けるが、他の操作が行われたときには(ステップB3でYES)、逆方向への戻し操作(逆フリック操作)が行われたかを調べたり(ステップB4)、戻るボタン(図2参照)が操作されたかを調べたりする(ステップB5)。
いま、逆フリック操作、戻るボタン操作のいずれも行われなければ(ステップB5でNO)、図6のフローから抜けるが、そのいずれかの操作が行われたときには(ステップB4でYES又はステップB5でYES)、更に引き続いて一定時間内(例えば、1秒以内)に他の操作が行われたか否かを調べる(ステップB6)。ここで、一定時間内にタップ操作が行われたときには(ステップB7でYES)、タップ操作をフリック操作と誤判定した場合であると判断し、操作者の「ユーザ属性」に基づいてユーザ情報テーブル3eを参照して、対応する「タップ判定値」を増加(例えば、+0.1)する処理を行う(ステップB8)。
なお、逆フリック操作又は戻るボタン操作に引き続いて一定時間内に他の操作が行われなかった場合(ステップB6でNO)又はその操作がタップ操作でなかった場合には(ステップB7でNO)、図6のフローから抜ける。このように所定時間内に戻し操作(逆フリック操作又戻るボタン操作)を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最初の操作を誤判定の操作として認識し、最後の操作を正常に判定した操作として学習するようにしている。
また、判定されたジェスチャ操作種がタップ操作であれば(ステップB2でYES)、そのタップ操作後、一定時間内(例えば、1秒以内)に他の操作が行われたか否かを調べる(ステップB9)。ここで、他の操作が行われなければ(ステップB9でNO)、図6のフローから抜けるが、他の操作が行われたときには(ステップB9でYES)、その操作は戻るボタン(図2参照)であるかを調べ(ステップB10)、戻るボタンでなければ(ステップBでNO)、図6のフローから抜ける。
ここで、戻るボタンが操作されたときには(ステップB10でYES)、この戻るボタン操作に引き続いて更に一定時間内に他の操作が行われたかを調べ(ステップB11)、他の操作が行われなければ(ステップB11でNO)、図6のフローから抜けるが、他の操作が行われたときには(ステップB11でYES)、その操作はフリック操作であるかを調べる(ステップB12)。いま、戻るボタンに引き続いてフリック操作が行われたときには(ステップB12でYES)、フリック操作をタップ操作と誤判定した場合であると判断し、操作者の「ユーザ属性」に基づいてユーザ情報テーブル3eを参照して、対応する「フリック判定値」を増加(例えば、+0.1)する処理を行う(ステップB13)。
以下、ジェスチャ操作が行われる毎に操作癖学習処理を繰り返す結果、ユーザ情報テーブル3eの内容は、図3(2)に示すように、10〜20歳代の男性の、「タップ判定値」は、その初期値“1”が“1.6”に更新され、「フリック判定値」は、その初期値“0”がその初期値“1”が“0.2”に更新され、70歳の女性の、「タップ判定値」は、その初期値“1”が“0.1”に更新され、「フリック判定値」は、その初期値“1”が“1.8”に更新されて、操作癖が判定値に反映されることになる。
以上のように、本実施形態におけるデータ処理装置(タブレット端末装置)は、ジェスチャ操作が行われた際に、そのジェスチャ操作の検出結果とユーザ情報テーブル3eに記憶されているユーザ属性とに基づいて、複数のジェスチャ操作種の中から操作されたジェスチャ操作種を判定し、この判定したジェスチャ操作種に応じた種類の処理を実行するようにしたので、ジェスチャ操作を検出してその操作に応じたデータ処理を行う場合に、そのジェスチャ操作を適切に判定することができ、操作性の向上に役立ち、ユーザにあっては意図に沿った操作が可能となる。
ジェスチャ操作の検出結果に基づいて一つのジェスチャ操作種に絞り込めなかった場合に、ユーザ属性に応じて、いずれか一つのジェスチャ操作種を判定するようにしたので、全体的に適切な判定が可能となる。すなわち、ジェスチャ操作の検出結果(操作パターン)が複数のジェスチャ操作種の操作パターンに特徴的に類似していてジェスチャ操作の検出結果だけで一つのジェスチャ操作種に絞り込むと誤判定の可能性がある場合には、ユーザ属性を参照して判定を行うようにしたので、全体的に適切な判定が可能となる。
ユーザ情報テーブル3eは、ユーザ属性に対応してジェスチャ操作種毎に優先的に判定するかを示す判定値を記憶し、CPU1は、ジェスチャ操作種毎の判定値を比較することによって、いずれか一つのジェスチャ操作種を判定するようにしたので、例えば、判定値の大小比較など、様々な方法でジェスチャ操作種の絞り込みが可能となる。
CPU1は、ユーザ属性としてその性別、年齢層の複数の項目を記憶するようにしたので、ユーザの属性をきめ細かく設定することができ、ジェスチャ操作種をユーザ属性に応じて適切に判定することが可能となる。
CPU1は、操作者に対してそのジェスチャ操作の操作癖を学習し、この操作癖をユーザ属性として記憶するようにしたので、ジェスチャ操作種を判定する際にユーザの操作癖を考慮することができ、より適切な判定が可能となる。
CPU1は、所定時間内に戻し操作を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最初の操作を誤判定の操作として認識し、最後の操作を正常に判定した操作として学習するようにしたので、操作癖を適切に学習することが可能となる。
CPU1は、ジェスチャ操作を行ったユーザを特定し、そのユーザ属性に基づいてジェスチャ操作種を判定するようにしたので、複数のユーザが共有して使用する環境でも対応することが可能となる。
CPU1は、タッチ表示部6上の操作を検出した検出結果に応じてジェスチャ操作種を判定するようにしたので、タッチ表示部6上で行われるジェスチャ操作を判定することができる。
CPU1は、タッチ表示部6上のジェスチャ操作種としてタップ操作、フリック操作のいずれかを判定するようにしたので、類似しているタップ操作、フリック操作を適切に判定することができる。
なお、上述した実施形態においてユーザ情報テーブル3eは、ユーザ属性(性別及び年齢層)に対して「タップ判定値」、「フリック判定値」を記憶するようにしたが、性別に対応して「タップ判定値」、「フリック判定値」を記憶すると共に、年齢層に対応して「タップ判定値」、「フリック判定値」を記憶するようにしてもよい。この場合、性別を重視するのか年齢層を重視するのかに応じて、それらの判定値に対して重み付けをした後、重み付けした性別の「タップ判定値」と年齢層の「タップ判定値」との合計値を求めると共に、性別の「フリック判定値」と年齢層の「フリック判定値」の合計値を求め、それらの合計値を比較することによってジェスチャ操作種を判定するようにしてもよい。
上述した実施形態においては、ジェスチャ操作種としてタップ操作、フリック操作のいずれかを判定するようにしたが、タップ操作、フリック操作以外にも、例えば、接触移動する操作(スライド操作:ドラッグ操作)、接触位置を固定して継続する操作(ホールド操作)、複数本の指で複数の表示位置を同時に接触する操作(ダブルタップ操作)、表示データの拡大を指示する操作(ピンチアウト操作)、表示データの縮小を指示する操作(ピンチイン操作)などをジェスチャ操作種として判定するようにしてもよい。
上述した実施形態においては、ユーザ属性としてその性別、年齢層の複数の項目を記憶するようにしたが、ユーザの健康状態(身体の障害など)の項目をユーザ属性に含めるようにしてもよい。
上述した実施形態においては、所定時間内に戻し操作を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最初の操作を誤判定の操作として認識し、最後の操作を正常に判定した操作として学習するようにしたが、これとは逆に、所定時間内に戻し操作を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最後の操作を正常に判定した操作として認識し、最初の操作を誤判定の操作として学習するようにしてもよい。
上述した実施形態においては、タッチ表示部6上のジェスチャ操作を検出するようにしたが、ユーザの手振りや身振りを撮影する撮像デバイスを使用したりするようにしてもよい。すなわち、ジェスチャ操作を検出する手段は、撮像手段であってもよい。これによって多くのジェスチャ操作を検出することが可能となる。
また、上述した実施形態においてはデータ処理装置としてタブレット端末装置に適用した場合を例示したが、データ処理装置は、これに限らず、パーソナルコンピュータ、PDA(個人向け携帯型情報通信機器)、携帯電話機、デジタルカメラ、音楽プレイヤーなどであってもよい。
また、上述した実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
ユーザの属性を記憶する属性記憶手段と、
ジェスチャ操作を検出する検出手段と、
前記ジェスチャ操作が行われた際に、前記検出手段の検出結果と前記属性記憶手段に記憶されているユーザ属性とに基づいて、複数のジェスチャ操作種の中から前記操作されたジェスチャ操作種を判定する判定手段と、
前記判定手段が判定したジェスチャ操作種に応じた種類の処理を実行するデータ処理手段と、
を備えることを特徴とするデータ処理装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載のデータ処理装置において、
前記判定手段は、前記検出手段の検出結果に基づいて一つのジェスチャ操作種に絞り込めなかった場合に、前記ユーザ属性に応じて、いずれか一つのジェスチャ操作種を判定する、
ようにしたことを特徴とするデータ処理装置である。
(請求項3)
請求項3に記載の発明は、請求項1又は請求項2に記載のデータ処理装置において、
前記属性記憶手段は、ユーザ属性に対応してジェスチャ操作種毎に優先的に判定するかの判定値を記憶し、
前記判定手段は、前記ジェスチャ操作種毎の判定値を比較することによって、いずれか一つのジェスチャ操作種を判定する、
ようにしたことを特徴とするデータ処理装置である。
(請求項4)
請求項4に記載の発明は、請求項1〜請求項3のいずれか1項に記載のデータ処理装置において、
前記属性記憶手段は、ユーザ属性として少なくともその性別、年齢層、健康状態のうち、その複数の項目を記憶する、
ようにしたことを特徴とするデータ処理装置である。
(請求項5)
請求項5に記載の発明は、請求項1〜請求項4のいずれか1項に記載のデータ処理装置において、
ジェスチャ操作の操作癖を学習する操作癖学習手段を更に備え、
前記属性記憶手段は、前記操作癖学習手段によって得られた操作癖をユーザの属性として記憶する、
ようにしたことを特徴とするデータ処理装置である。
(請求項6)
請求項6に記載の発明は、請求項5に記載のデータ処理装置において、
前記操作癖学習手段は、所定時間内に戻し操作を含めて複数種の操作が連続して行われた場合に、その一連の操作の中で最初の操作を誤判定の操作として学習又は最後の操作を正常に判定した操作として学習する、
ようにしたことを特徴とするデータ処理装置である。
(請求項7)
請求項7に記載の発明は、請求項1〜請求項6のいずれか1項に記載のデータ処理装置において、
前記検出手段が検出したジェスチャ操作を行ったユーザを特定する特定手段を更に備え、
前記判定手段は、前記特定手段が特定したユーザの属性に基づいてジェスチャ操作種を判定する、
ようにしたことを特徴とするデータ処理装である。
(請求項8)
請求項8に記載の発明は、請求項1〜請求項7のいずれか1項に記載のデータ処理装置において、
前記検出手段は、表示画面上での操作内容からジェスチャ操作を検出、あるいは撮像部によって撮影されたユーザの撮影画像からジェスチャ操作を検出する、
ようにしたことを特徴とするデータ処理装置である。
(請求項9)
請求項9に記載の発明は、請求項8に記載のデータ処理装置において、
前記判定手段は、前記表示画面上で行われたジェスチャ操作種としてタップ操作、フリック操作のいずれかを判定する、
ようにしたことを特徴とするデータ処理装置である。
(請求項10)
請求項10に記載の発明は、
コンピュータに対して、
ユーザの属性を記憶管理する機能と、
ジェスチャ操作を検出する機能と、
前記ジェスチャ操作が行われた際に、前記検出結果と前記記憶されているユーザ属性とに基づいて、複数のジェスチャ操作種の中から前記操作されたジェスチャ操作種を判定する機能と、
前記判定したジェスチャ操作種に応じた種類の処理を実行する機能と、
を実現させるためのプログラムである。
1 CPU
3 記憶部
3a プログラムメモリ
3b データメモリ
3d 優先判定テーブル
3e ユーザ情報テーブル
4 操作部
6 タッチ表示部

Claims (6)

  1. 複数のジェスチャ操作種の夫々に対応した操作命令によるデータ処理を実行するデータ処理装置であって、
    前記複数のジェスチャ操作種の内で、ユーザに対応して優先すべきジェスチャ種の情報を記憶する記憶手段と、
    ユーザによるジェスチャ操作を検出した際は、そのジェスチャ操作による操作内容から何れか1つのジェスチャ操作種への絞り込みが可能か否かを判別する判別手段と、
    前記判別手段で何れか1つのジェスチャ操作種への絞り込みが可能な場合には、そのジェスチャ操作種を特定し、また、前記何れか1つのジェスチャ操作種への絞り込みが可能でない場合には、当該ジェスチャ操作を行ったユーザのユーザ属性に対応して前記記憶手段に記憶された前記ジェスチャ操作種を今回のジェスチャ操作種として特定する特定手段と、
    前記特定手段で特定されたジェスチャ操作種に応じた操作命令によるデータ処理を実行するデータ処理手段と、
    具備したことを特徴とするデータ処理装置。
  2. ユーザによるジェスチャ操作の操作内容から1つのジェスチャ操作種を判定した後に、その判定に対する訂正操作が行われた場合には、前記判定内容とは異なるジェスチャ操作種を前記優先すべきジェスチャ操作種の情報として前記記憶手段に更新記憶させる学習制御手段と、
    更に具備したことを特徴とする請求項1に記載のデータ処理装置。
  3. 前記学習制御手段は、前記1つのジェスチャ操作種を判定した後の所定時間内に戻し操作が行われた後に、再度のジェスチャ操作による操作が行われた場合を、前記訂正操作とする、
    ことを特徴とする請求項に記載のデータ処理装置。
  4. 前記ユーザによるジェスチャ操作の検出は、表示画面上でのタッチ操作によるジェスチャ操作、あるいは撮像部によって撮影されたユーザの撮影画像からジェスチャ操作を検出する、
    とを特徴とする請求項1〜3の何れかに記載のデータ処理装置。
  5. 前記複数のジェスチャ操作種は、前記表示画面上におけるタップ操作種とフリック操作種とを含み、
    前記判別手段は、前記ジェスチャ操作の操作内容から前記タップ操作種と前記フリック操作種の何れかのジェスチャ操作種への絞り込みが可能か否かを判別する、
    とを特徴とする請求項に記載のデータ処理装置。
  6. 複数のジェスチャ操作種の夫々に対応した操作命令によるデータ処理を実行するデータ処理装置のコンピュータを制御するためのプログラムであって、
    前記コンピュータを、
    前記複数のジェスチャ操作種の内で、ユーザに対応して優先すべきジェスチャ操作種の情報を記憶する記憶手段、
    ユーザによるジェスチャ操作を検出した際は、そのジェスチャ操作による操作内容から何れか1つのジェスチャ操作種への絞り込みが可能か否かを判別する判別手段、
    前記判別手段で何れか1つのジェスチャ操作種への絞り込みが可能な場合には、そのジェスチャ操作種を特定し、また、前記何れか1つのジェスチャ操作種への絞り込みが可能でない場合には、当該ジェスチャ操作を行ったユーザのユーザ属性に対応して前記記憶手段に記憶された前記ジェスチャ操作種を今回のジェスチャ操作種として特定する特定手段、
    前記特定手段で特定されたジェスチャ操作種に応じた操作命令によるデータ処理を実行するデータ処理手段、
    として機能させるようにしたコンピュータ読み取り可能なプログラム。
JP2013037594A 2013-02-27 2013-02-27 データ処理装置及びプログラム Active JP5783385B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013037594A JP5783385B2 (ja) 2013-02-27 2013-02-27 データ処理装置及びプログラム
KR1020140021936A KR101591586B1 (ko) 2013-02-27 2014-02-25 제스처 조작을 검출하는 데이터 처리 장치
US14/191,319 US20140245236A1 (en) 2013-02-27 2014-02-26 Data Processing Apparatus Which Detects Gesture Operation
CN201410068760.6A CN104007926B (zh) 2013-02-27 2014-02-27 对手势操作进行检测的数据处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013037594A JP5783385B2 (ja) 2013-02-27 2013-02-27 データ処理装置及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015138280A Division JP6094638B2 (ja) 2015-07-10 2015-07-10 処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014164695A JP2014164695A (ja) 2014-09-08
JP5783385B2 true JP5783385B2 (ja) 2015-09-24

Family

ID=51368598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013037594A Active JP5783385B2 (ja) 2013-02-27 2013-02-27 データ処理装置及びプログラム

Country Status (4)

Country Link
US (1) US20140245236A1 (ja)
JP (1) JP5783385B2 (ja)
KR (1) KR101591586B1 (ja)
CN (1) CN104007926B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5928245B2 (ja) * 2012-08-23 2016-06-01 カシオ計算機株式会社 データ処理装置及びプログラム
JP6249919B2 (ja) * 2014-10-06 2017-12-20 三菱電機株式会社 操作入力装置
JP2016099453A (ja) * 2014-11-20 2016-05-30 三菱電機株式会社 画像表示装置
JP6332224B2 (ja) * 2015-10-14 2018-05-30 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
CN109376065A (zh) * 2018-10-29 2019-02-22 北京旷视科技有限公司 一种用户行为热区分析方法、装置和电子设备
JP7466319B2 (ja) * 2019-03-29 2024-04-12 株式会社キーエンス プログラマブル表示器及びこれを備えるプログラマブルロジックコントローラシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
JP4153818B2 (ja) * 2003-03-31 2008-09-24 本田技研工業株式会社 ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム
JP2004355426A (ja) * 2003-05-30 2004-12-16 Hitachi Ltd タッチパネル操作性向上ソフトウェア及び端末
US8250001B2 (en) * 2008-12-18 2012-08-21 Motorola Mobility Llc Increasing user input accuracy on a multifunctional electronic device
KR20110076458A (ko) * 2009-12-29 2011-07-06 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US9405404B2 (en) * 2010-03-26 2016-08-02 Autodesk, Inc. Multi-touch marking menus and directional chording gestures
JP2012098988A (ja) * 2010-11-04 2012-05-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP5636888B2 (ja) * 2010-11-09 2014-12-10 ソニー株式会社 情報処理装置、プログラムおよびコマンド生成方法
US8656279B2 (en) * 2010-12-14 2014-02-18 Sap Ag Global settings for the enablement of culture-based gestures
US9785335B2 (en) * 2010-12-27 2017-10-10 Sling Media Inc. Systems and methods for adaptive gesture recognition
CN103098079A (zh) * 2011-04-11 2013-05-08 英特尔公司 个性化节目选择系统和方法
JP2012256099A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理端末および方法、プログラム、並びに記録媒体
US8886407B2 (en) * 2011-07-22 2014-11-11 American Megatrends, Inc. Steering wheel input device having gesture recognition and angle compensation capabilities
US9046958B2 (en) * 2012-03-15 2015-06-02 Nokia Technologies Oy Method, apparatus and computer program product for user input interpretation and input error mitigation
KR20150012265A (ko) * 2012-05-11 2015-02-03 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 입력 오류 교정
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition

Also Published As

Publication number Publication date
CN104007926B (zh) 2018-02-09
KR101591586B1 (ko) 2016-02-03
US20140245236A1 (en) 2014-08-28
CN104007926A (zh) 2014-08-27
KR20140107135A (ko) 2014-09-04
JP2014164695A (ja) 2014-09-08

Similar Documents

Publication Publication Date Title
US20220100368A1 (en) User interfaces for improving single-handed operation of devices
US10705707B2 (en) User interface for editing a value in place
JP5783385B2 (ja) データ処理装置及びプログラム
US9886179B2 (en) Anchored approach to scrolling
JP5674674B2 (ja) 表面に載せた手に合わせたジェスチャーの発生
JP4275151B2 (ja) ユーザが調整可能な閾値を用いる赤目補正方法及び装置
US20160004373A1 (en) Method for providing auxiliary information and touch control display apparatus using the same
US20150347358A1 (en) Concurrent display of webpage icon categories in content browser
US11620042B2 (en) Accelerated scrolling and selection
JP6232940B2 (ja) 画像情報処理装置及びプログラム
JP5928245B2 (ja) データ処理装置及びプログラム
WO2013011863A1 (ja) 情報処理装置、操作画面表示方法、制御プログラムおよび記録媒体
JP6025473B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20160098752A (ko) 디스플레이 장치 및 디스플레이 방법 및 컴퓨터 판독가능 기록매체
US20140223328A1 (en) Apparatus and method for automatically controlling display screen density
JP6094638B2 (ja) 処理装置及びプログラム
KR20150111651A (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치
US20170228128A1 (en) Device comprising touchscreen and camera
US10558356B2 (en) Display control device and non-transitory computer-readable storage medium having program recorded thereon
JP7248279B2 (ja) コンピュータシステム、プログラム、及び方法
US20160274667A1 (en) Apparatus and method for inputting character
JP6844699B2 (ja) 表示装置及び表示装置の表示方法
JP6485301B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、表示制御プログラムを記憶する記憶媒体
Madhuka et al. HTML5 Based Email Client with Touch Enabled Advanced User Interface for Tabs and Tablets
CN111566602A (zh) 具有改进的触摸界面的计算机设备及相应的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150707

R150 Certificate of patent or registration of utility model

Ref document number: 5783385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150