JP6131982B2 - ジェスチャ判別装置 - Google Patents

Description

本発明は、例えばタップおよびフリックなどのジェスチャを判別する技術に関する。

近年、タッチパネルの技術が向上し、タップ、ロングタップ、ダブルタップ、フリック、ドラッグ、ピンチイン、およびピンチアウトなど、様々なジェスチャが可能になった。また、「３Ｄジェスチャ入力機器」または「３Ｄモーション入力機器」などと呼ばれる、三次元空間でのジェスチャを検知する装置も、普及し始めている。

ユーザは、ジェスチャを使い分けることにより、データおよび指令の入力を従来よりも容易に行うことができるようになった。

一方、ジェスチャの種類が豊富になると、ユーザが意図するジェスチャがコンピュータによって別のジェスチャであると認識されることが、多くなる。

そこで、ジェスチャの区別をより正確に行うために、次のような技術が提案されている。ＣＰＵは、タイマが計時する時間Ｔが所定時間Ｔｍａｘを経過する前にタッチアップが行われると、メモリに記録されている各タッチ位置の座標情報に基づいて、タッチ位置の分散Ｓを算出する。算出した各分散Ｓｘ，Ｓｙがそれぞれ閾値Ｓｘｍａｘ，Ｓｙｍａｘより小さい場合、ＣＰＵは、入力操作を、ムーブを含まない操作（タップ操作）であると判別する。各分散Ｓｘ，Ｓｙがそれぞれ閾値Ｓｘｍａｘ，Ｓｙｍａｘより小さくない場合、ＣＰＵは、入力操作を、ムーブを含む操作（ドラック操作またはフリック操作）であると判別する（特許文献１）。

または、操作面に対して行った入力操作の接触時間を取得した後においても、操作体が操作面に置かれているか否かチェックし、置かれている場合にはタッチ操作と判定し、置かれていない場合にはタップ操作と判定する（特許文献２）。

または、スタイラスや指等のポインタの移動量あるいは移動時間に応じた基準速度を設定するようにし、ポインタの移動速度と基準速度とに基づいて、ポインタによるフリック操作の発生を判定する（特許文献３）。

特開２０１１−１３４２１２号公報 特開２００７−１５６６３４号公報 特開２０１２−１２８８３０号公報

ところが、常に同一の動きを行うことは、人間にとって困難である。したがって、ユーザが同一のジェスチャを行っているつもりでも、同一のジェスチャであると常にコンピュータが判別するとは、限らない。その結果、ユーザが意図しない処理が装置によって実行され、ユーザに不利益が生じることが、あり得る。または、ユーザにとって使いにくいことがある。

本発明は、このような問題点に鑑み、ジェスチャに基づいて処理を行う装置においてユーザにとっての利便性を従来よりも向上させることを目的とする。

本発明の一形態に係るジェスチャ判別装置は、複数の異なる種類の画面のうちの１つを選択的に表示する表示手段と、前記複数の画面のそれぞれの、複数のジェスチャそれぞれの区別の規則を記憶する記憶手段と、ユーザのモーションを検出する検出手段と、前記複数のジェスチャの中から、前記検出手段によって検出された前記モーションが表わすジェスチャを、当該モーションが検出された際に前記複数の画面のうちの前記表示手段によって表示されていた画面であるカレント画面の前記規則に基づいて判別する、判別手段と、を有し、前記規則は、所定の規則よりも、スクロール操作に対応するジェスチャおよび選択操作に対応するジェスチャのうちの前記カレント画面を用いて実行される主たる処理の種類に基づいて優先的に実行すべき処理に対応するジェスチャが他方のジェスチャよりも判別されやすくする規則である。

好ましくは、前記表示手段は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザが前記選択操作に対応するジェスチャを行うことよって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる宛先選択画面を表示し、前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記所定の規則よりも、前記モーションが表わすジェスチャが前記スクロール操作に対応するジェスチャであると判別されやすい規則である。

または、前記表示手段は、前記複数の画面のうちの１つとして、属性を出力させるジョ
ブを前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させるジョブ一覧画面を表示し、前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記所定の規則よりも、前記モーションが表わすジェスチャが前記選択操作に対応するジェスチャであると判別されやすい規則である。

例えば、前記選択操作に対応するジェスチャは、タップであり、前記スクロール操作に対応するジェスチャは、フリップである。または、前記選択操作に対応するジェスチャは、ロングタップであり、前記スクロール操作に対応するジェスチャは、ドラッグである。または、前記選択操作に対応するジェスチャは、エアタップであり、前記スクロール操作に対応するジェスチャは、エアフリックである。

本発明によると、ジェスチャに基づいて処理を行う装置においてユーザにとっての利便性を従来よりも向上させることができる。

イントラネットの全体的な構成の例を示す図である。 画像形成装置のハードウェア構成の例を示す図である。 画像形成装置の機能的構成の例を示す図である。 タップ閾値データの例を示す図である。 タップおよびフリックを区別する処理の流れの例を示すフローチャートである。 ドキュメント送信画面の例を示す図である。 ジョブ履歴確認画面の例を示す図である。 画面ごとのタップおよびフリックの判別結果の例を示す図である。 画像形成装置の機能的構成の変形例を示す図である。 ロングタップ閾値データの例を示す図である。 ロングタップおよびドラッグを区別する処理の流れの例を示すフローチャートである。 ロングタップ前のボックスドキュメント出力画面の例を示す図である。 ロングタップ前のジョブ履歴確認画面の例を示す図である。 ロングタップ後のボックスドキュメント出力画面の例を示す図である。 ロングタップ後のジョブ履歴確認画面の例を示す図である。 画面ごとのロングタップおよびドラッグの判別結果の例を示す図である。 画像形成装置の機能的構成の変形例を示す図である。 エアタップ閾値データの例を示す図である。 エアタップおよびエアフリップを区別する処理の流れの例を示すフローチャートである。 画面ごとのエアタップおよびエアフリップの判別結果の例を示す図である。 タップおよびフリックを区別する処理の流れの変形例を示すフローチャートである。

〔第一の実施形態〕
図１は、イントラネット３の全体的な構成の例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。図３は、画像形成装置１の機能的構成の例を示す図である。

図１に示すように、イントラネット３は、画像形成装置１、端末装置２、および通信回線３ＮＷなどによって構成される。画像形成装置１と端末装置２とは、通信回線３ＮＷを介して通信を行うことができる。通信回線３ＮＷとして、公衆回線、専用線、インターネット、またはいわゆるＬＡＮ（Local Area Network）回線などが用いられる。

画像形成装置１は、一般に複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれる装置であって、コピー、ネットワークプリンティング、スキャン、ファックス、ボックス、およびメーラなどの機能を集約した装置である。

「ネットワークプリンティング機能」は、端末装置２から画像データを受信し、この画像データに基づいて画像を用紙に印刷する機能である。「ネットワークプリント」または「ＰＣプリント」と呼ばれることもある。

「ボックス機能」は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどのデータを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。

画像形成装置１は、図２に示すように、中央処理装置１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、大容量記憶装置１０ｄ、タッチパネルディスプレイ１０ｅ、ハードキーパネル１０ｆ、ＮＩＣ（Network Interface Card）１０ｇ、モデム１０ｈ、スキャンユニット１０ｉ、画像記憶部１０ｊ、画像処理ユニット１０ｋ、プリントユニット１０ｍ、およびビデオカメラ１０ｎなどによって構成される。

タッチパネルディスプレイ１０ｅは、ユーザへメッセージを与えるための画面、処理の結果を示す画面、またはユーザが画像形成装置１に対してデータおよび指令を入力するための画面などを適宜、選択的に表示する。また、タッチパネルディスプレイ１０ｅは、タッチされた位置を検知し、中央処理装置１０ａへその位置を通知する。

ハードキーパネル１０ｆは、テンキー、スタートキー、ストップキー、およびファンクションキーなど、いわゆるハードウェアキーによって構成される。

ユーザは、タッチパネルディスプレイ１０ｅまたはハードキーパネル１０ｆを操作することによって、画像形成装置１に対して指令を与えたりデータを入力したりすることができる。特に、タップ、ロングタップ、フリック、およびドラッグなどのジェスチャを行うことによって、入力することができる。これらのジェスチャは、タッチパネルディスプレイ１０ｅの表示面にタッチしながら指を所定の通りに動かすことによって行うことができる。

ＮＩＣ１０ｇは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol
）などのプロトコルによって端末装置２などの装置と通信を行うための装置である。

モデム１０ｈは、Ｇ３などのプロトコルでファックス端末と通信を行うための装置である。

スキャンユニット１０ｉは、用紙に記されている文書、写真、絵、または図表などのドキュメントを読み取って画像データを生成する。

画像記憶部１０ｊは、スキャンユニット１０ｉによって得られた画像データを記憶する。また、ＮＩＣ１０ｇまたはモデム１０ｈによって受信された画像データを記憶することもできる。

画像処理ユニット１０ｋは、画像記憶部１０ｊに記憶されている画像データに対して、天地補正、傾き補正、汚れ除去、または解像度変換などの画像処理を行う。

プリントユニット１０ｍは、画像記憶部１０ｊに記憶されている画像データに基づいて用紙にドキュメントを印刷する。

ビデオカメラ１０ｎは、ユーザの指の動きを撮影する装置であって、エアジェスチャの種類を判別するために用いられる。エアジェスチャは、「３Ｄジェスチャ」または「三次元ジェスチャ」などと呼ばれることもある。

ＲＯＭ１０ｃまたは大容量記憶装置１０ｄには、図３に示すジェスチャ判別部１０１、画面表示制御部１０２、およびジョブ実行制御部１０３などの機能を実現するためのプログラムが記憶されている。このプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、中央処理装置１０ａによって実行される。

大容量記憶装置１０ｄとして、ハードディスクまたはＳＳＤ（Solid State Drive）な
どの不揮発性の記録媒体が用いられる。中央処理装置１０ａとして、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）などが用いられる。

ジェスチャ判別部１０１は、タップ閾値記憶部１２１、タップ閾値読出部１２２、モーション特性情報取得部１２３、距離比較部１２４、時間比較部１２５、およびジェスチャ特定部１２６などによって構成される。そして、ユーザによるタッチパネルディスプレイ１０ｅに対する操作が何のジェスチャであるかを判別する。

特に、第一の実施形態では、ジェスチャ判別部１０１は、タッチパネルディスプレイ１０ｅに対する操作（モーション）が表わすジェスチャがタップであるのかフリックであるのかを、そのモーションが行われた際に表示されている画面（以下、「カレント画面」と記載する。）に応じた条件に基づいて判別する。

図１の端末装置２は、画像形成装置１が提供する種々の機能を使用するためのクライア
ントである。端末装置２として、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ、または携帯電話端末などが用いられる。

以下、図３に示す画像形成装置１のジェスチャ判別部１０１の各部の機能を、フローチャートなどを参照しながら説明する。

図４は、タップ閾値データ５ＰＤの例を示す図である。図５は、タップおよびフリックを区別する処理の流れの例を示すフローチャートである。図６は、ドキュメント送信画面６１の例を示す図である。図７は、ジョブ履歴確認画面６２の例を示す図である。図８は、画面ごとのタップおよびフリックの判別結果の例を示す図である。

タップ閾値記憶部１２１は、図４に示すように、画面ごとのタップ閾値データ５ＰＤを記憶している。タップ閾値データ５ＰＤには、画面識別子Ｇｉ、距離閾値Ｄｍａｘ＿ａ、および時間閾値Ｔｍｉｎ＿ａが示されている。

画面識別子Ｇｉは、画面を識別するための識別子である。距離閾値Ｄｍａｘ＿ａおよび時間閾値Ｔｍｉｎ＿ａは、タップとフリックとを区別する際に用いられる閾値である。

タッチパネルディスプレイ１０ｅが１本の指によるタッチを検知した場合に、タップ閾値読出部１２２ないしジェスチャ特定部１２６は、図５に示す手順で処理を行う。

タップ閾値読出部１２２は、カレント画面のタップ閾値データ５ＰＤをタップ閾値記憶部１２１から読み出す（＃７０１）。

モーション特性情報取得部１２３は、タッチパネルディスプレイ１０ｅによるタッチの検出結果から、このタッチが行われていた時間（以下、「タッチ継続時間Ｔａ」と記載する。）および指が移動した距離（以下、「移動距離Ｄａ」と記載する。）を示すモーション特性データ５ＭＴを取得する（＃７０２）。

距離比較部１２４は、このモーション特性データ５ＭＴに示される移動距離Ｄａとこのタップ閾値データ５ＰＤに示される距離閾値Ｄｍａｘ＿ａとを比較し、この移動距離Ｄａがこの距離閾値Ｄｍａｘ＿ａ未満であるか否かを判別する（＃７０３）。

時間比較部１２５は、この移動距離Ｄａがこの距離閾値Ｄｍａｘ＿ａ未満である場合に（＃７０４でＹｅｓ）、このモーション特性データ５ＭＴに示されるタッチ継続時間Ｔａとこのタップ閾値データ５ＰＤに示される時間閾値Ｔｍｉｎ＿ａとを比較し、このタッチ継続時間Ｔａがこの時間閾値Ｔｍｉｎ＿ａを超えているか否かを判別する（＃７０５）。

ジェスチャ特定部１２６は、距離比較部１２４および時間比較部１２５による判別の結果に応じて、タッチパネルディスプレイ１０ｅに対するモーションが表わすジェスチャを次のように特定する。この移動距離Ｄａがこの距離閾値Ｄｍａｘ＿ａ未満であり、かつ、このタッチ継続時間Ｔａがこの時間閾値Ｔｍｉｎ＿ａを超えている場合は（＃７０６でＹｅｓ）、今回のモーションが表わすジェスチャをタップと判別する（＃７０７）。
この移動距離Ｄａがこの距離閾値Ｄｍａｘ＿ａ以上であり、または、このタッチ継続時間Ｔａがこの時間閾値Ｔｍｉｎ＿ａ以下である場合は（＃７０４でＮｏまたは＃７０６でＮｏ）、今回のモーションが表わすジェスチャをフリックと判別する（＃７０８）。

ここで、図６に示すドキュメント送信画面６１が表示されている場合および図７に示すジョブ履歴確認画面６２が表示されている場合を比較しながら、ジェスチャの判別の結果の差異を説明する。

ドキュメント送信画面６１は、ドキュメント送信ジョブの条件および指令をユーザが入力するための画面である。「ドキュメント送信ジョブ」は、用紙からドキュメントを読み取って電子データ化し、ユーザが指定した宛先へファックスまたは電子メールによって送信するジョブである。

ドキュメント送信画面６１には、宛先指定エリア６１ｅが設けられている。宛先指定エリア６１ｅには、アドレス帳に予め登録されている電子メールアドレスおよびファックス番号それぞれの選択ボタン６１ｂが配置されている。アドレス帳に電子メールアドレスおよびファックス番号が多数登録されている場合は、すべての選択ボタン６１ｂを一度に宛先指定エリア６１ｅに配置することができない。この場合は、一部の（図６の例では、１５個の）選択ボタン６１ｂのみが配置される。そして、所定のジェスチャが行われるごとに、宛先指定エリア６１ｅがスクロールし、残りの選択ボタン６１ｂが宛先指定エリア６１ｅに順次、配置される。

ユーザは、宛先指定エリア６１ｅの中の任意の位置をフリックすることによって、宛先指定エリア６１ｅをスクロールさせることができる。また、ドキュメントの宛先とする電子メールアドレスまたはファックス番号を、それに対応する選択ボタン６１ｂをタップすることによって指定することができる。

しかし、ユーザがフリックしたつもりであるにも関わらず選択ボタン６１ｂがタップされたと画像形成装置１が認識することは、好ましくない。このことにユーザが気付かなければ、意図しない宛先へドキュメントが送信されてしまうからである。したがって、ユーザがタップしたつもりであってもフリックされたと画像形成装置１が認識するほうが、安全である。

本来、タップを行う場合は、ユーザは、タッチパネルディスプレイのタッチする位置が変化しないようにすべきである。しかし、位置が１ドットでも変化した場合にタップではなくフリックであると判断すると、ユーザにとって、タップが難しくなる。そこで、一般に、タップとして許容する位置の変化の標準的な値（最大値）が、予め設定されている。以下、この最大値を「距離デフォルト最大値Ｄｏ＿ａ」と記載する。

また、通常、タッチパネルディスプレイのタッチされている時間は、タップの場合よりもフリックの場合のほうが長い。以下、予め設定された、タップの場合のタッチされている時間の一般的な長さとフリックの場合のタッチされている時間の一般的な長さとの中間の値を「時間デフォルト最小値Ｔｏ＿ａ」と記載する。

ドキュメント送信画面６１が表示されている際は、上述の理由により、ユーザが行ったジェスチャがフリックであると判別される傾向が通常よりも強い方が、望ましい。

そこで、ドキュメント送信画面６１のタップ閾値データ５ＰＤ（図４参照）に、距離閾値Ｄｍａｘ＿ａとして、距離デフォルト最大値Ｄｏ＿ａよりも小さい値を設定しておく。また、時間閾値Ｔｍｉｎ＿ａとして、時間デフォルト最小値Ｔｏ＿ａよりも大きい値を設定しておく。

以下、ドキュメント送信画面６１の距離閾値Ｄｍａｘ＿ａおよび時間閾値Ｔｍｉｎ＿ａをそれぞれ「距離閾値ｄ６１」および「時間閾値ｔ６１」と記載する。

一方、図７のジョブ履歴確認画面６２は、過去に画像形成装置１が実行したジョブの履歴をユーザが確認するための画面である。

ジョブ履歴確認画面６２には、ジョブ一覧エリア６２ｅが設けられている。ジョブ一覧エリア６２ｅには、新しい順にジョブごとの選択ボタン６２ｂが上から下へ一列に配置されている。ジョブが多数ある場合は、すべての選択ボタン６２ｂを一度にジョブ一覧エリア６２ｅに配置することができない。この場合は、一部の（図７の例では、７個の）選択ボタン６２ｂのみが配置される。そして、所定の操作が行われるごとに、ジョブ一覧エリア６２ｅがスクロールし、残りの選択ボタン６２ｂがジョブ一覧エリア６２ｅに順次、配置される。

ユーザは、ジョブ一覧エリア６２ｅの中の任意の位置を上または下へフリックすることによって、ジョブ一覧エリア６２ｅをスクロールさせることができる。また、ジョブの属性の詳細（実行条件、指令元など）を示す画面を表示させたい場合は、そのジョブに対応する選択ボタン６２ｂをタップすることによって指令することができる。

一般に、ユーザは、より新しいジョブの詳細を確認することが多い。したがって、ジョブ履歴確認画面６２においては主にフリックよりもタップのほうがよく行われると、考えられる。

そこで、ジョブ履歴確認画面６２のタップ閾値データ５ＰＤに、距離閾値Ｄｍａｘ＿ａとして、ドキュメント送信画面６１のタップ閾値データ５ＰＤに示される距離閾値Ｄｍａｘ＿ａ（つまり、距離閾値ｄ６１）よりも大きい値を設定しておく。または、距離デフォルト最大値Ｄｏ＿ａよりも大きい値を設定しておいてもよい。

また、ジョブ履歴確認画面６２のタップ閾値データ５ＰＤに、時間閾値Ｔｍｉｎ＿ａとして、ドキュメント送信画面６１のタップ閾値データ５ＰＤに示される時間閾値Ｔｍｉｎ＿ａ（つまり、時間閾値ｔ６１）よりも小さい値を設定しておく。または、時間デフォルト最小値Ｔｏ＿ａよりも小さい値を設定しておいてもよい。

以下、ジョブ履歴確認画面６２の距離閾値Ｄｍａｘ＿ａおよび時間閾値Ｔｍｉｎ＿ａをそれぞれ「距離閾値ｄ６２」および「時間閾値ｔ６２」と記載する。

以上の通り、距離閾値ｄ６２は、距離閾値ｄ６１よりも大きい。また、時間閾値ｔ６２は、時間閾値ｔ６１よりも小さい。したがって、図５の処理によると、図８（Ａ）と（Ｂ）とを比較して分かるように、ドキュメント送信画面６１が表示されている場合のほうが、ジョブ履歴確認画面６２が表示されている場合よりも、ユーザが行ったジェスチャがフリックであると判別されることが多い。また、ジョブ履歴確認画面６２が表示されている場合のほうが、ドキュメント送信画面６１が表示されている場合よりも、ユーザが行ったジェスチャがタップであると判別されることが多い。

なお、ジェスチャ判別部１０１は、タップ閾値データ５ＰＤが与えられていない画面が表示されている場合は、距離デフォルト最大値Ｄｏ＿ａまたは時間デフォルト最小値Ｔｏ＿ａなどに基づいて従来通りの方法によって、タッチパネルディスプレイ１０ｅに対するモーションが何のジェスチャを表わしているのかを判別する。また、ドキュメント送信画面６１およびジョブ履歴確認画面６２などタップ閾値データ５ＰＤが与えられている画面が表示されている場合において、タップおよびフリック以外のジェスチャも、従来通りの方法によって判別する。

図３に戻って、画面表示制御部１０２およびジョブ実行制御部１０３は、ジェスチャ判別部１０１によって判別されたジェスチャおよびその対象（以下、「操作内容」と記載する。）に基づいて次の通り処理を実行する。

画面表示制御部１０２は、操作内容に応じてカレント画面をスクロールさせたり変更したりする。

ジョブ実行制御部１０３は、操作内容に応じて種々のジョブが実行されるように、図２に示す各ハードウェアを制御する。

画面表示制御部１０２およびジョブ実行制御部１０３は、既存のオペレーティングシステム、ファームウェア、またはアプリケーションプログラムなどによって実現することができる。

第一の実施形態によると、タップおよびフリップの区別を画面に応じて従来よりも好適に行うことができる。これにより、ユーザにとっての不利益の発生を従来よりも減らすことができる。または、従来よりも使いやすくすることができる。

〔第二の実施形態〕
図９は、画像形成装置１の機能的構成の変形例を示す図である。図１０は、ロングタップ閾値データ５ＰＥの例を示す図である。図１１は、ロングタップおよびドラッグを区別する処理の流れの例を示すフローチャートである。図１２は、ロングタップ前のボックスドキュメント出力画面６３の例を示す図である。図１３は、ロングタップ前のジョブ履歴確認画面６４の例を示す図である。図１４は、ロングタップ後のボックスドキュメント出力画面６３の例を示す図である。図１５は、ロングタップ後のジョブ履歴確認画面６４の例を示す図である。図１６は、画面ごとのロングタップおよびドラッグの判別結果の例を示す図である。

第一の実施形態では、画像形成装置１は、カレント画面に応じた閾値に基づいてタップおよびフリックを判別した。第二の実施形態では、カレント画面に応じた閾値に基づいてロングタップおよびドラッグを判別する。

第二の実施形態におけるイントラネット３の構成は、第一の実施形態の場合と同様であり、図１に示した通りである。画像形成装置１のハードウェア構成および機能的構成も基本的に、第一の実施形態の場合と同様であり、それぞれ、図２および図３に示した通りである。ただし、ジェスチャ判別部１０１が、図９に示すように、ロングタップ閾値記憶部１３１、ロングタップ閾値読出部１３２、モーション特性情報取得部１３３、距離比較部１３４、時間比較部１３５、およびジェスチャ特定部１３６などによって構成される。

以下、ジェスチャ判別部１０１の各部の機能を、図１１のフローチャートなどを参照しながら説明する。第一の実施形態と重複する点については、説明を省略する。

ロングタップ閾値記憶部１３１は、図１０に示すように、画面ごとのロングタップ閾値データ５ＰＥを記憶している。ロングタップ閾値データ５ＰＥには、画面識別子Ｇｉ、距離閾値Ｄｍａｘ＿ｂ、および時間閾値Ｔｍｉｎ＿ｂが示されている。距離閾値Ｄｍａｘ＿ｂおよび時間閾値Ｔｍｉｎ＿ｂは、ロングタップとドラッグとを区別する際に用いられる閾値である。

タッチパネルディスプレイ１０ｅが１本の指によるタッチを検知した場合に、ロングタップ閾値読出部１３２ないしジェスチャ特定部１３６は、図１１に示す手順で処理を行う。

ロングタップ閾値読出部１３２は、カレント画面のロングタップ閾値データ５ＰＥをロ
ングタップ閾値記憶部１３１から読み出す（＃７２１）。

モーション特性情報取得部１３３は、このタッチが行われていた時間（以下、「タッチ継続時間Ｔｂ」と記載する。）および指が移動した距離（以下、「移動距離Ｄｂ」と記載する。）を示すモーション特性データ５ＭＵを取得する（＃７２２）。

距離比較部１３４は、このモーション特性データ５ＭＵに示される移動距離Ｄｂとこのロングタップ閾値データ５ＰＥに示される距離閾値Ｄｍａｘ＿ｂとを比較し、この移動距離Ｄｂがこの距離閾値Ｄｍａｘ＿ｂ未満であるか否かを判別する（＃７２３）。

時間比較部１３５は、この移動距離Ｄｂがこの距離閾値Ｄｍａｘ＿ｂ未満である場合に（＃７２４でＹｅｓ）、このモーション特性データ５ＭＵに示されるタッチ継続時間Ｔｂとこのロングタップ閾値データ５ＰＥに示される時間閾値Ｔｍｉｎ＿ｂとを比較し、このタッチ継続時間Ｔｂがこの時間閾値Ｔｍｉｎ＿ｂを超えているか否かを判別する（＃７２５）。

ジェスチャ特定部１３６は、距離比較部１３４および時間比較部１３５による判別の結果に応じて、タッチパネルディスプレイ１０ｅに対する操作（モーション）が表わすジェスチャを次のように特定する。この移動距離Ｄｂがこの距離閾値Ｄｍａｘ＿ｂ未満であり、かつ、このタッチ継続時間Ｔｂがこの時間閾値Ｔｍｉｎ＿ｂを超えている場合は（＃７２６でＹｅｓ）、今回のモーションが表わすジェスチャをロングタップと判別する（＃７２７）。この移動距離Ｄｂがこの距離閾値Ｄｍａｘ＿ｂ以上であり、または、このタッチ継続時間Ｔｂがこの時間閾値Ｔｍｉｎ＿ｂ以下である場合は（＃７２４でＮｏまたは＃７２６でＮｏ）、今回のモーションが表わすジェスチャをドラッグと判別する（＃７２８）。

ここで、図１２に示すボックスドキュメント出力画面６３が表示されている場合および図１３に示すジョブ履歴確認画面６４が表示されている場合を比較しながら、ジェスチャの判別の結果の差異を説明する。

ボックスドキュメント出力画面６３は、ボックスドキュメント送信ジョブまたはボックスドキュメント印刷ジョブの指令をユーザが入力するための画面である。「ボックスドキュメント送信ジョブ」は、ボックスに画像データとして保存されているドキュメントを他の装置へ送信するジョブである。「ボックスドキュメント印刷ジョブ」は、ボックスに画像データとして保存されているドキュメントを用紙に印刷するジョブである。

ボックスドキュメント出力画面６３には、ドキュメント指定エリア６３ｅが設けられている。ドキュメント指定エリア６３ｅには、ボックスに画像データとして保存されているドキュメントごとの選択アイコン６３ｂが配置されている。ドキュメントが多数登録されている場合は、すべての選択アイコン６３ｂを一度にドキュメント指定エリア６３ｅに配置することができない。この場合は、一部の（図１２の例では、８個の）選択アイコン６３ｂのみが配置される。そして、所定のジェスチャが行われるごとに、ドキュメント指定エリア６３ｅがスクロールし、残りの選択アイコン６３ｂがドキュメント指定エリア６３ｅに順次、配置される。

ユーザは、ドキュメント指定エリア６３ｅの中の任意の位置をドラッグすることによって、ドキュメント指定エリア６３ｅをスクロールさせることができる。

また、ユーザは、次のようにロングタップおよびドラッグ・アンド・ドロップを行うことによって、ボックスドキュメント送信ジョブまたはボックスドキュメント印刷ジョブの
指令を画像形成装置１に与えることができる。

ユーザは、送信しまたは印刷したいドキュメントに対応する選択アイコン６３ｂをロングタップする。ただし、この時点では未だ、指をタッチパネルディスプレイ１０ｅから離さない。つまり、選択アイコン６３ｂを一定の時間以上、タッチし続けたままにする。すると、ドキュメント指定エリア６３ｅの上方に、図１４のように２つのジョブアイコン６３ｉ１、６３ｉ２が現われる。ジョブアイコン６３ｉ１は、ボックスドキュメント送信ジョブに対応するアイコンである。ジョブアイコン６３ｉ２は、ボックスドキュメント印刷ジョブに対応するアイコンである。そして、ユーザは、その選択アイコン６３ｂを、ボックスドキュメント送信ジョブを実行したい場合はジョブアイコン６３ｉ１の上までドラッグしてドロップし、ボックスドキュメント印刷ジョブを実行したい場合はジョブアイコン６３ｉ２の上までドラッグしてドロップする。

選択アイコン６３ｂがジョブアイコン６３ｉ１にドロップされた場合は、この選択アイコン６３ｂに対応するドキュメントの画像データが他の装置へ送信される。一方、ジョブアイコン６３ｉ２にドロップされた場合は、この選択アイコン６３ｂに対応するドキュメントが用紙に印刷される。

しかし、ユーザがドラッグのみを行ったつもりであるにも関わらず、選択アイコン６３ｂがロングタップされ、続けてドラッグが行われたと画像形成装置１が認識することが、あり得る。しかし、このような認識は、好ましくない。ユーザが意図しない宛先へドキュメントが送信されたり無駄な印刷が行われたりすることがあるからである。したがって、ユーザがロングタップの後にドラッグを行ったつもりであっても、ドラッグのみが行われたと画像形成装置１に認識されるほうが、安全である。

本来、ロングタップを行う場合は、タップを行う場合と同様、ユーザは、タッチパネルディスプレイに対してユーザがタッチする位置が変化しないようにすべきである。しかし、位置が１ドットでも変化した場合にロングタップではなくドラッグであると判断すると、ユーザにとって、ロングタップが難しくなる。そこで、一般に、ロングタップとして許容する位置の変化の標準的な値（最大値）が、予め設定されている。以下、この最大値を「距離デフォルト最大値Ｄｏ＿ｂ」と記載する。

また、通常、タッチパネルディスプレイのタッチされている時間は、ロングタップの場合よりもドラッグの場合のほうが長い。以下、予め設定された、ロングタップの場合のタッチされている時間の一般的な長さとドラッグの場合のタッチされている時間の一般的な長さとの中間の値を「時間デフォルト最小値Ｔｏ＿ｂ」と記載する。

ボックスドキュメント出力画面６３が表示されている際は、上述の理由により、ユーザのモーションが表わすジェスチャがロングタップおよびドラッグと判別されるよりもドラッグのみと判別される傾向が通常よりも強い方が、望ましい。

そこで、ボックスドキュメント出力画面６３のロングタップ閾値データ５ＰＥ（図１０参照）に、距離閾値Ｄｍａｘ＿ｂとして、距離デフォルト最大値Ｄｏ＿ｂよりも小さい値を設定しておく。また、時間閾値Ｔｍｉｎ＿ｂとして、時間デフォルト最小値Ｔｏ＿ｂよりも大きい値を設定しておく。

以下、ボックスドキュメント出力画面６３の距離閾値Ｄｍａｘ＿ｂおよび時間閾値Ｔｍｉｎ＿ｂをそれぞれ「距離閾値ｄ６３」および「時間閾値ｔ６３」と記載する。

一方、図１３のジョブ履歴確認画面６４は、ジョブ履歴確認画面６２（図７参照）と同
様、過去に画像形成装置１が実行したジョブの履歴をユーザが確認するための画面である。

ジョブ履歴確認画面６４の構成もジョブ履歴確認画面６２の構成と基本的に同様である。つまり、ジョブ履歴確認画面６４には、ジョブ一覧エリア６４ｅが設けられている。ジョブ一覧エリア６４ｅには、新しい順にジョブごとの選択ボタン６４ｂが上から下へ一列に配置されている。ジョブが多数ある場合は、一部の選択ボタン６４ｂのみが配置される。そして、所定の操作が行われるごとに、ジョブ一覧エリア６４ｅがスクロールし、残りの選択ボタン６４ｂがジョブ一覧エリア６４ｅに順次、配置される。

ただし、ジョブ一覧エリア６４ｅのスクロールのためのジェスチャおよびジョブの選択のためのジェスチャが、ジョブ履歴確認画面６２の場合とは異なる。

ユーザは、ジョブ一覧エリア６４ｅの中の任意の位置を上または下へドラッグすることによって、ジョブ一覧エリア６４ｅをスクロールさせる。

また、ジョブの詳細を示す画面を表示させたい場合は、ユーザは、次のように操作を行う。

ユーザは、詳細を確認したジョブに対応する選択ボタン６４ｂをロングタップする。ただし、この時点では未だ、指をタッチパネルディスプレイ１０ｅから離さない。つまり、選択ボタン６４ｂを一定の時間以上、タッチし続けたままにする。すると、ジョブ一覧エリア６４ｅの上方に、図１５のように詳細アイコン６４ｉが現われる。そして、ユーザは、その選択ボタン６４ｂを詳細アイコン６４ｉの上までドラッグしてドロップする。

前に述べた通り、一般に、ユーザは、より新しいジョブの詳細を確認することが多い。したがって、ジョブ履歴確認画面６４においては、ロングタップのみの操作よりもロングタップとドラッグとを組み合わせた連続の操作のほうが主に行われると、考えられる。

そこで、ジョブ履歴確認画面６４のロングタップ閾値データ５ＰＥに、距離閾値Ｄｍａｘ＿ｂとして、ボックスドキュメント出力画面６３のロングタップ閾値データ５ＰＥに示される距離閾値Ｄｍａｘ＿ｂ（つまり、距離閾値ｄ６３）よりも大きい値を設定しておく。または、距離デフォルト最大値Ｄｏ＿ｂよりも大きい値を設定しておいてもよい。

また、ジョブ履歴確認画面６４のロングタップ閾値データ５ＰＥに、時間閾値Ｔｍｉｎ＿ｂとして、ボックスドキュメント出力画面６３のロングタップ閾値データ５ＰＥに示される時間閾値Ｔｍｉｎ＿ｂ（つまり、時間閾値ｔ６３）よりも小さい値を設定しておく。または、時間デフォルト最小値Ｔｏ＿ｂよりも小さい値を設定しておいてもよい。

以下、ジョブ履歴確認画面６４の距離閾値Ｄｍａｘ＿ｂおよび時間閾値Ｔｍｉｎ＿ｂをそれぞれ「距離閾値ｄ６４」および「時間閾値ｔ６４」と記載する。

以上の通り、距離閾値ｄ６４は、距離閾値ｄ６３よりも大きい。また、時間閾値ｔ６４は、時間閾値ｔ６３よりも小さい。したがって、図１１の処理によると、図１６（Ａ）と（Ｂ）とを比較して分かるように、ボックスドキュメント出力画面６３が表示されている場合のほうが、ジョブ履歴確認画面６４が表示されている場合よりも、ユーザが行ったジェスチャがドラッグであると判別されることが多い。また、ジョブ履歴確認画面６４が表示されている場合のほうが、ボックスドキュメント出力画面６３が表示されている場合よりも、ユーザが行ったジェスチャがロングタップであると判別されることが多い。

図９に戻って、画面表示制御部１０２およびジョブ実行制御部１０３は、第一の実施形態の場合と同様に機能する。ただし、ジェスチャの判別結果として、ジェスチャ特定部１３６による判別の結果が用いられる。

第二の実施形態によると、ロングタップおよびドラッグの区別を画面に応じて従来よりも好適に行うことができる。これにより、ユーザにとっての不利益の発生を従来よりも減らすことができる。または、従来よりも使いやすくすることができる。

〔第三の実施形態〕
図１７は、画像形成装置１の機能的構成の変形例を示す図である。図１８は、エアタップ閾値データ５ＰＦの例を示す図である。図１９は、エアタップおよびエアフリップを区別する処理の流れの例を示すフローチャートである。図２０は、画面ごとのエアタップおよびエアフリップの判別結果の例を示す図である。

第一の実施形態および第二の実施形態では、画像形成装置１は、タッチパネルディスプレイ１０ｅの表示面にタッチされる位置の変化に基づいてジェスチャを判別した。第三の実施形態では、画像形成装置１は、エアジェスチャを判別する。「エアジェスチャ」は、タッチパネルディスプレイ１０ｅの正面の空間で指を動かすことによって表現されるジェスチャである。タッチパネルディスプレイ１０ｅには、タッチしない。

特に、第三の実施形態では、画像形成装置１は、エアタップおよびエアフリップを区別する。「エアタップ」は、タップの仕草または真似であって、指をタッチパネルディスプレイ１０ｅへ近づけ直ちに離すジェスチャである。「エアフリップ」は、フリップの仕草または真似であって、指をタッチパネルディスプレイ１０ｅへ近づけ、タッチパネルディスプレイ１０ｅの表示面に平行に払うように指を動かすジェスチャである。

第三の実施形態におけるイントラネット３の構成は、第一の実施形態および第二の実施形態の場合と同様であり、図１に示した通りである。画像形成装置１のハードウェア構成および機能的構成も基本的に、第一の実施形態および第二の実施形態の場合と同様であり、それぞれ、図２および図３に示した通りである。ただし、ジェスチャ判別部１０１が、図１７に示すように、エアタップ閾値記憶部１５１、エアタップ閾値読出部１５２、モーション特性情報取得部１５３、第一の距離比較部１５４、第二の距離比較部１５５、およびジェスチャ特定部１５６などによって構成される。

エアタップ閾値記憶部１５１は、図１８に示すように、画面ごとのエアタップ閾値データ５ＰＦを記憶している。エアタップ閾値データ５ＰＦには、画面識別子Ｇｉ、表示面距離閾値Ｄｍａｘ＿ｃ、および垂直軸距離閾値Ｄｍｉｎ＿ｃが示されている。表示面距離閾値Ｄｍａｘ＿ｃおよび垂直軸距離閾値Ｄｍｉｎ＿ｃは、エアタップとエアフリックとを区別する際に用いられる閾値である。

ビデオカメラ１０ｎが指を検知した場合に、エアタップ閾値読出部１５２ないしジェスチャ特定部１５６は、図１９に示す手順で処理を行う。

エアタップ閾値読出部１５２は、カレント画面のエアタップ閾値データ５ＰＦをエアタップ閾値記憶部１５１から読み出す（＃７３１）。

モーション特性情報取得部１５３は、ビデオカメラ１０ｎから得られる指の画像を解析することによって、タッチパネルディスプレイ１０ｅの表示面に平行な面（ＸＹ平面）における指の移動距離Ｄｃ１および表示面の垂直方向（Ｚ軸）における指の移動距離Ｄｃ２を求める（＃７３２）。

第一の距離比較部１５４は、移動距離Ｄｃ１とこのエアタップ閾値データ５ＰＦに示される表示面距離閾値Ｄｍａｘ＿ｃとを比較し、この移動距離Ｄｃ１がこの表示面距離閾値Ｄｍａｘ＿ｃ未満であるか否かを判別する（＃７３３）。

第二の距離比較部１５５は、この移動距離Ｄｃ１がこの表示面距離閾値Ｄｍａｘ＿ｃ未満である場合に（＃７３４でＹｅｓ）、移動距離Ｄｃ２とこのエアタップ閾値データ５ＰＦに示される垂直軸距離閾値Ｄｍｉｎ＿ｃとを比較し、この移動距離Ｄｃ２がこの垂直軸距離閾値Ｄｍｉｎ＿ｃ未満であるか否かを判別する（＃７３５）。

ジェスチャ特定部１５６は、第一の距離比較部１５４および第二の距離比較部１５５による判別の結果に応じて、エアジェスチャの種類を次のように特定する。この移動距離Ｄｃ１がこの表示面距離閾値Ｄｍａｘ＿ｃ未満であり、かつ、この移動距離Ｄｃ２がこの垂直軸距離閾値Ｄｍｉｎ＿ｃ未満である場合は（＃７３６でＹｅｓ）、今回のエアジェスチャをエアタップと判別する（＃７３７）。
この移動距離Ｄｃ１がこの表示面距離閾値Ｄｍａｘ＿ｃ以下であり、または、この移動距離Ｄｃ２がこの垂直軸距離閾値Ｄｍｉｎ＿ｃ以下である場合は（＃７３４でＮｏまたは＃７３６でＮｏ）、今回のジェスチャをエアフリックと判別する（＃７３８）。

ここで、図６のドキュメント送信画面６１が表示されている場合および図７のジョブ履歴確認画面６２が表示されている場合を比較しながら、ジェスチャの判別の結果の差異を説明する。

ドキュメント送信画面６１およびジョブ履歴確認画面６２の構成および用途などは、前に説明した通りである。ただし、第三の実施形態では、タップの代わりにエアタップが用いられ、フリップの代わりにエアフリップが用いられる。

したがって、ドキュメント送信画面６１が表示されている際は、ユーザ行ったジェスチャがエアフリックであると判別される傾向が通常よりも強い方が、望ましい。

そこで、ドキュメント送信画面６１のエアタップ閾値データ５ＰＦ（図１８参照）に、表示面距離閾値Ｄｍａｘ＿ｃとして、距離デフォルト値Ｄｏ＿ｃ１（一般に、エアタップとして許容するＸＹ平面上での位置の変化の標準的な値）よりも小さい値を設定しておく。以下、設定した値を「距離閾値ｄ６１１」と記載する。また、垂直軸距離閾値Ｄｍｉｎ＿ｃとして、距離デフォルト値Ｄｏ＿ｃ２（一般に、エアタップとして許容するＺ軸方向での位置の変化の標準的な値））よりも小さい値を設定しておく。以下、設定した値を「距離閾値ｄ６１２」と記載する。

一方、ジョブ履歴確認画面６２が表示されている際は、ユーザが行ったジェスチャがエアタップであると判別される傾向が通常よりも強い方が、望ましい。

そこで、ジョブ履歴確認画面６２のエアタップ閾値データ５ＰＦに、表示面距離閾値Ｄｍａｘ＿ｃとして、距離閾値ｄ６１１よりも大きい値または距離デフォルト値Ｄｏ＿ｃ１よりも大きい値を設定しておく。以下、設定した値を「距離閾値ｄ６２１」と記載する。また、垂直軸距離閾値Ｄｍｉｎ＿ｃとして、距離閾値ｄ６１２よりも大きい値または距離デフォルト値Ｄｏ＿ｃ２よりも大きい値を設定しておく。以下、設定した値を「距離閾値ｄ６２２」と記載する。

以上の通り、距離閾値ｄ６２１は、距離閾値ｄ６１１よりも小さい。また、距離閾値ｄ６２２は、距離閾値ｄ６１２よりも小さい。したがって、図１９の処理によると、図２０
（Ａ）と（Ｂ）とを比較して分かるように、ドキュメント送信画面６１が表示されている場合のほうが、ジョブ履歴確認画面６２が表示されている場合よりも、ユーザが行ったジェスチャがエアドラッグであると判別されることが多い。また、ジョブ履歴確認画面６２が表示されている場合のほうが、ドキュメント送信画面６１が表示されている場合よりも、ユーザが行ったジェスチャがエアフリックであると判別されることが多い。

図１７に戻って、画面表示制御部１０２およびジョブ実行制御部１０３は、第一の実施形態および第二の実施形態の場合と同様に機能する。ただし、ジェスチャの判別結果として、ジェスチャ特定部１５６による判別の結果が用いられる。

第三の実施形態によると、エアタップおよびエアフリップの区別を画面に応じて従来よりも好適に行うことができる。これにより、ユーザにとっての不利益の発生を従来よりも減らすことができる。または、従来よりも使いやすくすることができる。

図２１は、タップおよびフリックを区別する処理の流れの変形例を示すフローチャートである。

第一の実施形態ないし第三の実施形態では、閾値を変えることによって、ジェスチャの区別の規則を画面ごとに異ならせたが、閾値以外を変えることによって異ならせてもよい。

例えば、区別のアルゴリズムを変えてもよい。具体的には、第一の実施形態において、ドキュメント送信画面６１の、タップとフリップとの区別のアルゴリズムとして、図５に示した通りのアルゴリズムを用いる。一方、ジョブ履歴確認画面６２のアルゴリズムとして、図２１に示すような、距離の条件および時間の条件のうち少なくとも一方を満たせば（＃７４４でＹｅｓまたは＃７４６でＹｅｓ）タップであると判別するアルゴリズムを用いる。

または、画面ごとに、ジェスチャを区別する際に用いるパラメータ（移動距離、移動時間など）を変えてもよい。例えば、第三の実施形態において、ジョブ履歴確認画面６２がカレント画面である場合は、タッチパネルディスプレイ１０ｅの表示面に平行な面の移動距離の条件は用いず、垂直方向の移動距離の条件を参照してもよい。

第一の実施形態ないし第三の実施形態では、それぞれ、２つのパラメータを用いてジェスチャを区別したが、１つのパラメータを用いて区別してもよい。または、３つ以上のパラメータを用いてジェスチャを区別してもよい。

第一の実施形態ではタップとフリックとを区別し、第二の実施形態ではロングタップとドラッグとを区別したが、本発明は、タップとロングタップとを区別する場合にも、フリップとドラッグとを区別する場合にも、適用することができる。これらの場合は、主にタッチの継続時間の閾値を画面ごとに変えればよい。タップまたはフリップと判別される傾向を強くしたいのであれば、閾値を大きくすればよい。

また、複数の指のモーションによって表わされるジェスチャ（マルチタッチジェスチャ）の区別にも、本発明を適用することができる。

例えば、２本指タップと２本指フリックとの区別にも適用することができる。この場合は、第一の実施形態と同様に、移動距離または移動時間を閾値と比較することによって、区別すればよい。

または、２本指スクロール（２本の指を平行に動かすジェスチャ）とピンチとの区別にも適用することができる。この場合は、２本の指同士の距離の変化率を検出し、変化率の絶対値が閾値未満であれば２本指スクロールと判別し、閾値以上であればピンチと判別すればよい。そして、２本指スクロールと判別される傾向を強くしたいのであれば、閾値を上げ、ピンチと判別される傾向を強くしたいのであれば、閾値を下げればよい。

第三の実施形態では、ビデオカメラ１０ｎによって指の移動距離を検出したが、３軸加速度センサを備えたコントローラ（例えば、任天堂社のＷｉｉリモコンまたはＡＰＰＬＥ社のｉＰｈｏｎｅ）、三次元ジェスチャコントローラ（例えば、ＬＥＡＰ社のLeap Motion Controller）などによって検出してもよい。

第一の実施形態ないし第三の実施形態では、ユーザが画像形成装置１を直接操作する場合を例に説明したが、端末装置２によって遠隔的に画像形成装置１を操作する場合にも、本発明を適用することができる。この場合は、ジェスチャの判別の処理を端末装置２に実行させ、判別結果を画像形成装置１へ送信することによって、指令またはデータを画像形成装置１に入力してもよい。または、モーションのデータを端末装置２が画像形成装置１へ送信し、画像形成装置１においてモーション特性情報取得部１２３、１３３、１５３（図３、図９、図１７参照）がこのデータを受信する。そして、以下、上述の通りの方法で、ジェスチャ特定部１２６、１３６、１５６などがジェスチャを特定する処理を実行すればよい。

その他、イントラネット３、画像形成装置１の全体または各部の構成、処理内容、処理順序、データの構成、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。

１ 画像形成装置（ジェスチャ判別装置）
１０ｅ タッチパネルディスプレイ（検出手段、表示手段）
１０ｎ ビデオカメラ（検出手段）
１２１ タップ閾値記憶部（記憶手段）
１２３ モーション特性情報取得部（検出手段、受信手段）
１２６ ジェスチャ特定部（判別手段）
１３１ ロングタップ閾値記憶部（記憶手段）
１３３ モーション特性情報取得部（検出手段、受信手段）
１３６ ジェスチャ特定部（判別手段）
１５１ エアタップ閾値記憶部（記憶手段）
１５３ モーション特性情報取得部（検出手段、受信手段）
１５６ ジェスチャ特定部（判別手段）
５ＰＤ タップ閾値データ
５ＰＥ ロングタップ閾値データ
５ＰＦ エアタップ閾値データ
５ＭＴ モーション特性データ
５ＭＵ モーション特性データ
６１ ドキュメント送信画面
６２ ジョブ履歴確認画面
６３ ボックスドキュメント出力画面
６４ ジョブ履歴確認画面

Claims (34)

1. 複数の異なる種類の画面のうちの１つを選択的に表示する表示手段と、
   前記複数の画面のそれぞれの、複数のジェスチャそれぞれの区別の規則を記憶する記憶手段と、
   ユーザのモーションを検出する検出手段と、
   前記複数のジェスチャの中から、前記検出手段によって検出された前記モーションが表わすジェスチャを、当該モーションが検出された際に前記複数の画面のうちの前記表示手段によって表示されていた画面であるカレント画面の前記規則に基づいて判別する、判別手段と、
   を有し、
   前記規則は、所定の規則よりも、スクロール操作に対応するジェスチャおよび選択操作に対応するジェスチャのうちの前記カレント画面を用いて実行される主たる処理の種類に基づいて優先的に実行すべき処理に対応するジェスチャが他方のジェスチャよりも判別されやすくする規則である、
   ことを特徴とするジェスチャ判別装置。
2. 前記表示手段は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる宛先選択画面を表示し、
   前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記所定の規則よりも、前記モーションが表わすジェスチャが前記スクロール操作に対応するジェスチャであると判別されやすい規則である、
   請求項１に記載のジェスチャ判別装置。
3. 前記表示手段は、前記複数の画面のうちの１つとして、属性を出力させるジョブを前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる、ジョブ一覧画面を表示し、
   前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記所定の規則よりも、前記モーションが表わすジェスチャが前記選択操作に対応するジェスチャであると判別されやすい規則である、
   請求項１に記載のジェスチャ判別装置。
4. 前記選択操作に対応するジェスチャは、エアタップであり、前記スクロール操作に対応するジェスチャは、エアフリックである、
   請求項１ないし請求項３のいずれかに記載のジェスチャ判別装置。
5. 前記検出手段は、タッチパネルを有し、前記モーションとして、所定の時間ごとの、前記タッチパネルに前記ユーザの指がタッチしている位置を検出し、
   前記記憶手段は、前記規則として、距離の閾値である距離閾値を記憶し、
   前記判別手段は、前記モーションが表わすジェスチャを、前記検出手段によって検出された前記位置から求められる前記指の移動距離が前記距離閾値未満である場合は前記選択操作に対応するジェスチャであると判別し、当該移動距離が当該距離閾値を超える場合は前記スクロール操作に対応するジェスチャであると判別する、
   請求項１に記載のジェスチャ判別装置。
6. 前記表示手段は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザが前記選択操作に対応するジェスチャを行うことよって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる宛先選択画面を表示し、
   前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記距離閾値を前記所定の規則の前記距離閾値よりも小さい値とする、
   請求項５に記載のジェスチャ判別装置。
7. 前記表示手段は、前記複数の画面のうちの１つとして、属性を出力させるジョブを前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させるジョブ一覧画面を表示し、
   前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記距離閾値を前記所定の規則の前記距離閾値よりも大きい値とする、
   請求項５に記載のジェスチャ判別装置。
8. 前記検出手段は、タッチパネルを有し、前記モーションとして、所定の時間ごとの、前記タッチパネルに前記ユーザの指がタッチしている位置を検出し、
   前記記憶手段は、前記規則として、時間の閾値である時間閾値を記憶し、
   前記判別手段は、前記モーションが表わすジェスチャを、前記検出手段によって前記位置が連続して検出されているタッチ継続時間が前記時間閾値を超える場合は前記選択操作に対応するジェスチャであると判別し、当該タッチ継続時間が当該時間閾値未満である場合は前記スクロール操作に対応するジェスチャであると判別する、
   請求項１に記載のジェスチャ判別装置。
9. 前記表示手段は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザが前記選択操作に対応するジェスチャを行うことよって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる宛先選択画面を表示し、
   前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記時間閾値を前記所定の規則の前記時間閾値よりも大きい値とする、
   請求項８に記載のジェスチャ判別装置。
10. 前記表示手段は、前記複数の画面のうちの１つとして、属性を出力させるジョブを前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させるジョブ一覧画面を表示し、
    前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記時間閾値を前記所定の規則の前記時間閾値よりも小さい値とする、
    請求項８に記載のジェスチャ判別装置。
11. 前記選択操作に対応するジェスチャは、タップであり、前記スクロール操作に対応するジェスチャは、フリップである、
    請求項１ないし請求項３、請求項５ないし請求項１０のいずれかに記載のジェスチャ判別装置。
12. 前記選択操作に対応するジェスチャは、ロングタップであり、前記スクロール操作に対応するジェスチャは、ドラッグである、
    請求項１ないし請求項３、請求項５ないし請求項１０のいずれかに記載のジェスチャ判別装置。
13. 前記検出手段は、前記モーションとして、所定の時間ごとの三次元空間における前記ユーザの指の位置を検出し、
    前記記憶手段は、前記規則として、距離の閾値である距離閾値を記憶し、
    前記判別手段は、前記モーションが表わすジェスチャを、前記検出手段によって検出された前記位置から求められる前記指の、前記表示手段の表示面の垂直方向の移動距離が前記距離閾値を超える場合はエアフリックであると判別し、当該移動距離が当該距離閾値未満である場合はエアタップであると判別する、
    請求項１に記載のジェスチャ判別装置。
14. 前記検出手段は、前記モーションとして、所定の時間ごとの三次元空間における前記ユーザの指の位置を検出し、
    前記記憶手段は、前記規則として、距離の閾値である距離閾値を記憶し、
    前記判別手段は、前記モーションが表わすジェスチャを、前記検出手段によって検出された前記位置から求められる前記指の、前記表示手段の表示面に平行な面上の移動距離が前記距離閾値を超える場合はエアフリックであると判別し、当該移動距離が当該距離閾値未満である場合はエアタップであると判別する、
    請求項１に記載のジェスチャ判別装置。
15. 前記表示手段は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザがエアタップすることよって選択するための複数のボタンを、前記ユーザがエアフリップすることに応じてスクロールさせながら順次出現させる宛先選択画面を表示し、
    前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記距離閾値を前記所定の規則の前記距離閾値よりも小さい値とする、
    請求項１３または請求項１４に記載のジェスチャ判別装置。
16. 前記表示手段は、前記複数の画面のうちの１つとして、属性を出力させるジョブを前記ユーザがエアタップすることによって選択するための複数のボタンを、前記ユーザがエアジェスチャすることに応じてスクロールさせながら順次出現させるジョブ一覧画面を表示し、
    前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記距離閾値を前記所定の規則の前記距離閾値よりも大きい値とする、
    請求項１３または請求項１４に記載のジェスチャ判別装置。
17. 複数の異なる種類の画面のうちの１つを選択的に表示する表示手段と、ユーザのモーションを検出する検出手段とを有する可搬型の端末装置から、前記検出手段によって検出された前記モーションを受信する受信手段と、
    前記複数の画面のそれぞれの、複数のジェスチャそれぞれの区別の規則を記憶する記憶手段と、
    前記複数のジェスチャの中から、前記受信手段によって受信された前記モーションが表わすジェスチャを、当該モーションが検出された際に前記複数の画面のうちの前記表示手段によって表示されていた画面であるカレント画面の前記規則に基づいて判別する、判別手段と、を有し、
    前記規則は、所定の規則よりも、スクロール操作に対応するジェスチャおよび選択操作に対応するジェスチャのうち、前記カレント画面を用いて実行される主たる処理の種類に基づいて優先的に実行すべき処理に対応するジェスチャが他方のジェスチャよりも判別されやすくする規則である、
    ことを特徴とするジェスチャ判別装置。
18. 複数の異なる種類の画面のそれぞれの、複数のジェスチャそれぞれの区別の規則を記憶する記憶手段を有するジェスチャ判別装置のコンピュータを制御するためのコンピュータプログラムであって、
    前記コンピュータに、
    前記複数の画面のうちの１つを選択的に表示する処理を実行させ、
    ユーザのモーションを検出する処理を実行させ、
    前記複数のジェスチャの中から、検出された前記モーションが表わすジェスチャを、当該モーションが検出された際に前記複数の画面のうちの表示されていた画面であるカレント画面の前記規則に基づいて判別する処理を実行させるコンピュータプログラムであって、
    前記規則は、所定の規則よりも、スクロール操作に対応するジェスチャおよび選択操作に対応するジェスチャのうち、前記カレント画面を用いて実行される主たる処理の種類に基づいて優先的に実行すべき処理に対応するジェスチャが他方のジェスチャよりも判別されやすくする規則である、
    ことを特徴とするコンピュータプログラム。
19. 前記表示する処理は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる宛先選択画面を表示する処理であり、
    前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記所定の規則よりも、前記モーションが表わすジェスチャが前記スクロール操作に対応するジェスチャであると判別されやすい規則である、
    請求項１８に記載のコンピュータプログラム。
20. 前記表示する処理は、前記複数の画面のうちの１つとして、属性を出力させるジョブを前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる、ジョブ一覧画面を表示する処理であり、
    前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記所定の規則よりも、前記モーションが表わすジェスチャが前記選択操作に対応するジェスチャであると判別されやすい規則である、
    請求項１８に記載のコンピュータプログラム。
21. 前記選択操作に対応するジェスチャは、エアタップであり、前記スクロール操作に対応するジェスチャは、エアフリックである、
    請求項１８ないし請求項２０のいずれかに記載のコンピュータプログラム。
22. 前記検出する処理は、前記モーションとして、所定の時間ごとの、前記ジェスチャ判別装置が有するタッチパネルに前記ユーザの指がタッチしている位置を検出する処理であり、
    前記規則として距離の閾値である距離閾値が前記記憶手段に記憶され、
    前記判別する処理は、前記モーションが表わすジェスチャを、検出された前記位置から求められる前記指の移動距離が前記距離閾値未満である場合は前記選択操作に対応するジェスチャであると判別し、当該移動距離が当該距離閾値を超える場合は前記スクロール操作に対応するジェスチャであると判別する処理である、
    請求項１８に記載のコンピュータプログラム。
23. 前記表示する処理は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザが前記選択操作に対応するジェスチャを行うことよって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる宛先選択画面を表示する処理であり、
    前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記距離閾値を前記所定の規則の前記距離閾値よりも小さい値とする、
    請求項２２に記載のコンピュータプログラム。
24. 前記表示する処理は、前記複数の画面のうちの１つとして、属性を出力させるジョブを前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させるジョブ一覧画面を表示する処理であり、
    前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記距離閾値を前記所定の規則の前記距離閾値よりも大きい値とする、
    請求項２２に記載のコンピュータプログラム。
25. 前記検出する処理は、前記モーションとして、所定の時間ごとの、前記ジェスチャ判別装置が有するタッチパネルに前記ユーザの指がタッチしている位置を検出する処理であり、
    前記規則として時間の閾値である時間閾値が前記記憶手段に記憶され、
    前記判別する処理は、前記モーションが表わすジェスチャを、前記位置が連続して検出されているタッチ継続時間が前記時間閾値を超える場合は前記選択操作に対応するジェスチャであると判別し、当該タッチ継続時間が当該時間閾値未満である場合は前記スクロール操作に対応するジェスチャであると判別する処理である、
    請求項１８に記載のコンピュータプログラム。
26. 前記表示する処理は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザが前記選択操作に対応するジェスチャを行うことよって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させる宛先選択画面を表示する処理であり、
    前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記時間閾値を前記所定の規則の前記時間閾値よりも大きい値とする、
    請求項２５に記載のコンピュータプログラム。
27. 前記表示する処理は、前記複数の画面のうちの１つとして、属性を出力させるジョブを前記ユーザが前記選択操作に対応するジェスチャを行うことによって選択するための複数のボタンを、前記ユーザが行う前記スクロール操作に対応するジェスチャに応じてスクロールさせながら順次出現させるジョブ一覧画面を表示する処理であり、
    前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記時間閾値を前記所定の規則の前記時間閾値よりも小さい値とする、
    請求項２５に記載のコンピュータプログラム。
28. 前記選択操作に対応するジェスチャは、タップであり、前記スクロール操作に対応するジェスチャは、フリップである、
    請求項１８ないし請求項２０、請求項２２ないし請求項２７のいずれかに記載のコンピュータプログラム。
29. 前記選択操作に対応するジェスチャは、ロングタップであり、前記スクロール操作に対応するジェスチャは、ドラッグである、
    請求項１８ないし請求項２０、請求項２２ないし請求項２７のいずれかに記載のコンピュータプログラム。
30. 前記検出する処理は、前記モーションとして、所定の時間ごとの三次元空間における前記ユーザの指の位置を検出する処理であり、
    前記規則として距離の閾値である距離閾値が前記記憶手段に記憶され、
    前記判別する処理は、前記モーションが表わすジェスチャを、検出された前記位置から求められる前記指の、画面が表示される表示面の垂直方向の移動距離が前記距離閾値を超える場合はエアフリックであると判別し、当該移動距離が当該距離閾値未満である場合はエアタップであると判別する処理である、
    請求項１８に記載のコンピュータプログラム。
31. 前記検出する処理は、前記モーションとして、所定の時間ごとの三次元空間における前記ユーザの指の位置を前記検出する処理であり、
    前記規則として距離の閾値である距離閾値が前記記憶手段に記憶され、
    前記判別する処理は、前記モーションが表わすジェスチャを、検出された前記位置から求められる前記指の、画面が表示される表示面に平行な面上の移動距離が前記距離閾値を超える場合はエアフリックであると判別し、当該移動距離が当該距離閾値未満である場合はエアタップであると判別する処理である、
    請求項１８に記載のコンピュータプログラム。
32. 前記表示する処理は、前記複数の画面のうちの１つとして、データの宛先を前記ユーザがエアタップすることよって選択するための複数のボタンを、前記ユーザがエアフリップすることに応じてスクロールさせながら順次出現させる宛先選択画面を表示する処理であり、
    前記規則は、前記宛先選択画面を前記カレント画面として用いて前記ユーザから前記データの宛先を受け付ける処理を前記主たる処理として実行する場合に、前記距離閾値を前記所定の規則の前記距離閾値よりも小さい値とする、
    請求項３０または請求項３１に記載のコンピュータプログラム。
33. 前記表示する処理は、前記複数の画面のうちの１つとして、属性を出力させるジョブを前記ユーザがエアタップすることによって選択するための複数のボタンを、前記ユーザがエアジェスチャすることに応じてスクロールさせながら順次出現させるジョブ一覧画面を表示する処理であり、
    前記規則は、前記ジョブ一覧画面を前記カレント画面として用いて前記ユーザから前記ジョブを受け付ける処理を前記主たる処理として実行する場合に、前記距離閾値を前記所定の規則の前記距離閾値よりも大きい値とする、
    請求項３０または請求項３１に記載のコンピュータプログラム。
34. 複数の異なる種類の画面のうちの１つを選択的に表示する表示手段と、ユーザのモーションを検出する検出手段と、を有する可搬型の端末装置と通信可能に接続される、当該複数の画面のそれぞれの、複数のジェスチャそれぞれの区別の規則を記憶する記憶手段を有するジェスチャ判別装置のコンピュータを制御するためのコンピュータプログラムであって、
    前記コンピュータに、
    前記検出手段によって検出された前記モーションを受信する処理を実行させ、
    前記複数のジェスチャの中から、受信された前記モーションが表わすジェスチャを、当該モーションが検出された際に前記複数の画面のうちの表示されていた画面であるカレント画面の前記規則に基づいて判別する処理を実行させるコンピュータプログラムであって、
    前記規則は、所定の規則よりも、スクロール操作に対応するジェスチャおよび選択操作に対応するジェスチャのうち、前記カレント画面を用いて実行される主たる処理の種類に基づいて優先的に実行すべき処理に対応するジェスチャが他方のジェスチャよりも判別されやすくする規則である、
    ことを特徴とするコンピュータプログラム。

Images