JP5978660B2 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP5978660B2
JP5978660B2 JP2012049079A JP2012049079A JP5978660B2 JP 5978660 B2 JP5978660 B2 JP 5978660B2 JP 2012049079 A JP2012049079 A JP 2012049079A JP 2012049079 A JP2012049079 A JP 2012049079A JP 5978660 B2 JP5978660 B2 JP 5978660B2
Authority
JP
Japan
Prior art keywords
touch
touch area
event
input event
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012049079A
Other languages
English (en)
Other versions
JP2013186540A (ja
Inventor
聡 白土
聡 白土
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012049079A priority Critical patent/JP5978660B2/ja
Priority to CN201310061946.4A priority patent/CN103309605B/zh
Priority to US13/778,904 priority patent/US20130234957A1/en
Publication of JP2013186540A publication Critical patent/JP2013186540A/ja
Application granted granted Critical
Publication of JP5978660B2 publication Critical patent/JP5978660B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本開示は、情報処理装置及び情報処理方法に関する。
近年、スマートフォン、タブレット端末、ゲーム機器等の多くの機器において、タッチパネルが利用されている。タッチパネルは、１つの画面上で表示及び入力という２つの機能性を実現する。
このようなタッチパネルでの操作をより容易にするために、タッチパネル上でのタッチ又はタッチジェスチャに対応する様々な入力イベントが定義されている。例えば、タッチの開始、タッチの移動及びタッチの終了のような、タッチに対応する入力イベントや、ドラッグ、タップ、ピンチイン及びピンチアウトのような、タッチジェスチャに対応する入力イベントが定義されている。また、これらの典型的な入力イベントに限られず、操作をより容易にするための入力イベントが提案されている。
例えば、特許文献１では、手の側面をタッチパネルにタッチした状態で動かすタッチジェスチャに対応する入力イベントを認識し、当該入力イベントに応じてオブジェクトを選択して移動させる技術が開示されている。
特開２０１１−２３８１２５号公報
しかし、従来の入力イベントが大型のタッチパネルでの操作に適用されると、ユーザへの大きな負担が生じ得る。例えば、ユーザは、広い範囲でオブジェクトを操作するために、体を大きく動かすことになり得る。
そこで、大型のタッチパネルでもユーザがより少ない負担で操作を行うことを可能にすることが望ましい。
本開示によれば、タッチパネルで検出された複数のタッチ位置から、所定の領域抽出条件をそれぞれ満たす第１のタッチ領域及び第２のタッチ領域を抽出する抽出部と、上記第１のタッチ領域と上記第２のタッチ領域との間の距離の変化に基づいて、入力イベントを認識する認識部と、を備える情報処理装置が提供される。
また、本開示によれば、タッチパネルで検出された複数のタッチ位置から、所定の領域抽出条件をそれぞれ満たす第１のタッチ領域及び第２のタッチ領域を抽出することと、上記第１のタッチ領域と上記第２のタッチ領域との間の距離の変化に基づいて、入力イベントを認識することと、を含む情報処理方法が提供される。
以上説明したように本開示に係る情報処理装置及び情報処理方法によれば、大型のタッチパネルでもユーザがより少ない負担で操作を行うことが可能となる。
一実施形態に係る情報処理装置の外観の一例を示す外観図である。 一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の機能構成の一例を示すブロック図である。 タッチ位置の検出の第１の例を説明するための説明図である。 タッチ位置の検出の第２の例を説明するための説明図である。 タッチ領域の抽出の一例を説明するための説明図である。 タッチ領域に含まれるタッチ位置の密度の例を説明するための説明図である。 ＧＡＴＨＥＲイベントの認識の一例を説明するための説明図である。 ＳＰＬＩＴイベントの認識の一例を説明するための説明図である。 タッチ領域間の距離の変化量に基づく入力イベントの認識の例を説明するための説明図である。 ２つのタッチ領域間の相対的な移動方向に基づく入力イベントの認識の例を説明するための説明図である。 ２つのタッチ領域の移動方向に基づく入力イベントの認識の例を説明するための説明図である。 その他の入力イベントの認識の例を説明するための説明図である。 ＧＡＴＨＥＲイベントによる操作対象オブジェクトの表示の変化の例を説明するための説明図である。 ＧＡＴＨＥＲイベントによる操作対象オブジェクトの表示の変化の別の例を説明するための説明図である。 ＳＰＬＩＴイベントによる操作対象オブジェクトの表示の変化の第１の例を説明するための説明図である。 ＳＰＬＩＴイベントによる操作対象オブジェクトの表示の変化の第２の例を説明するための説明図である。 ＳＰＬＩＴイベントによる操作対象オブジェクトの表示の変化の第３の例を説明するための説明図である。 ＧＲＡＢイベントによる操作対象オブジェクトの表示の変化の一例を説明するための説明図である。 ＳＨＡＫＥイベントによる操作対象オブジェクトの表示の変化の一例を説明するための説明図である。 ＣＵＴイベントによる操作対象オブジェクトの表示の変化の一例を説明するための説明図である。 ＣＩＲＣＬＥイベントによる操作対象オブジェクトの表示の変化の一例を説明するための説明図である。 ＷＩＰＥイベントによる操作対象オブジェクトの操作の一例を説明するための説明図である。 ＦＡＤＥイベントによる操作対象オブジェクトの操作の一例を説明するための説明図である。 情報処理装置における操作例を説明するための第１の説明図である。 情報処理装置における操作例を説明するための第２の説明図である。 情報処理装置における操作例を説明するための第３の説明図である。 情報処理装置における操作例を説明するための第４の説明図である。 情報処理装置における操作例を説明するための第５の説明図である。 情報処理装置における操作例を説明するための第６の説明図である。 一実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。 タッチ領域抽出処理の一例を示すフローチャートである。 ＧＡＴＨＥＲ／ＳＰＬＩＴ認識処理の一例を示すフローチャートである。 ＧＡＴＨＥＲ／ＳＰＬＩＴ制御処理の一例を示すフローチャートである。
以下に添付の図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．情報処理装置の外観
２．情報処理装置の構成
２．１．ハードウェア構成
２．２．機能構成
３．操作例
４．処理の流れ
５．まとめ
＜１．情報処理装置の外観＞
まず、図１を参照して、本開示の一実施形態に係る情報処理装置１００の外観について説明する。図１は、一実施形態に係る情報処理装置１００の外観の一例を示す外観図である。図１を参照すると、情報処理装置１００が示されている。情報処理装置１００は、タッチパネル２０を備える。また、情報処理装置１００は、例えば、大型のディスプレイ装置である。即ち、タッチパネル２０は、ユーザの手４１と比べてかなり大きい大型のタッチパネルである。
ユーザは、ユーザの手４１でタッチパネル２０にタッチすることにより、タッチパネル２０に表示されるオブジェクトを操作できる。ただし、大型のタッチパネル２０の広範囲にオブジェクトが散らばっている場合、ユーザは、当該オブジェクトを片手のみで操作しようとすると、体を大きく動かすことになり得る。その結果、ユーザへの大きな負担が生じ得る。
本実施形態に係る情報処理装置１００によれば、大型のタッチパネル２００でもユーザがより少ない負担で操作を行うことが可能となる。以降、＜２．情報処理装置の構成＞＜３．操作例＞＜４．処理の流れ＞において、その具体的な内容を説明する。
＜２．情報処理装置の構成＞
次に、図２〜図１３Ｆを参照して、本開示の一実施形態に係る情報処理装置１００の構成について説明する。
＜２．１ ハードウェア構成＞
まず、図２を参照して、本実施形態に係る情報処理装置１００のハードウェア構成の一例について説明する。図２は、本実施形態に係る情報処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、情報処理装置１００は、タッチパネル２０、バス３０、ＣＰＵ（Central Processing Unit）３１、ＲＯＭ（Read Only Memory）３３、ＲＡＭ（Random Access Memory）３５及び記憶装置３７を備える。
タッチパネル２０は、タッチ検出面２１及び表示面２３を含む。タッチ検出面２１は、タッチパネル２０におけるタッチ位置を検出する。より具体的には、例えば、ユーザが、タッチパネル２０にタッチすると、タッチ検出面２１は、当該タッチを感知し、当該タッチの位置に応じた電気信号を生成し、そして当該電気信号をタッチ位置の情報に変換する。タッチ検出面２１は、複数のタッチ位置を検出可能なマルチタッチ対応のタッチ検出面である。また、タッチ検出面２１は、例えば、静電容量方式、抵抗膜方式、光学式等の任意のタッチ検出方式に従って形成され得る。
表示面２３は、情報処理装置１００からの出力画像を表示する。表示面２３は、例えば、液晶、有機ＥＬ（Organic Light-Emitting Diode：ＯＬＥＤ）、ＣＲＴ（Cathode Ray Tube）等を用いて実現され得る。
バス３０は、タッチ検出面２１、表示面２３、ＣＰＵ３１、ＲＯＭ３３、ＲＡＭ３５及び記憶装置３７を相互に接続する。
ＣＰＵ３１は、情報処理装置１００の動作全般を制御する。ＲＯＭ３３は、ＣＰＵ３１により実行されるソフトウェアを構成するプログラム及びデータを記憶する。ＲＡＭ３５は、ＣＰＵ３１の処理の実行時に、プログラム及びデータを一時的に記憶する。
記憶装置３７は、ＣＰＵ３１により実行されるソフトウェアを構成するプログラム及びデータ、並びに、一時的又は恒久的に保存すべきその他のデータを記憶する。記憶装置３７は、例えば、ハードディスク（Hard Disk）のような磁気記録媒体であってもよく、又は、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）及びＰＲＡＭ（Phase change Random Access Memory）等の不揮発性メモリ（nonvolatile memory）であってもよい。
＜２．２ 機能構成＞
次に、図３〜図１３Ｆを参照して、本実施形態に係る情報処理装置１００の機能構成の一例について説明する。図３は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。図３を参照すると、情報処理装置１００は、タッチ検出部１１０、タッチ領域抽出部１２０、イベント認識部１３０、制御部１４０、記憶部１５０及び表示部１６０を備える。
（タッチ検出部１１０）
タッチ検出部１１０は、タッチパネル２０におけるタッチ位置を検出する。即ち、タッチ検出部１１０は、タッチ検出面２１に対応する機能である。上記タッチ位置は、例えば、タッチパネル２０内の座標である。ユーザが、複数の位置へのタッチを行った場合には、タッチ検出部１１０は、複数のタッチ位置を検出する。以下、タッチ位置の検出について図４Ａ及び図４Ｂを参照してより具体的に説明する。
まず、図４Ａは、タッチ位置の検出の第１の例を説明するための説明図である。図４Ａを参照すると、上段には、タッチパネル２０の一部及びユーザの手４１が示されている。ここでは、ユーザは、ユーザの手４１の１本の指でタッチパネル２０にタッチしている。一方、下段には、タッチパネル２０の一部が座標付きで示され、また、ユーザの手４１の１本の指でのタッチに応じて検出されるタッチ位置４３ａが示されている。このように、ユーザの手４１の１本の指でのタッチに応じて、タッチ検出部１１０は、例えば、１つのタッチ位置４３ａを検出する。
また、図４Ｂは、タッチ位置の検出の第２の例を説明するための説明図である。図４Ｂを参照すると、上段には、タッチパネル２０の一部及びユーザの手４１が示されている。ここでは、ユーザは、ユーザの手４１の側面でタッチパネル２０にタッチしている。一方、下段には、タッチパネル２０の一部が座標付きで示され、また、ユーザの手４１の側面でのタッチに応じて検出されるタッチ位置４３ｂが示されている。このように、ユーザの手４１の側面でのタッチに応じて、タッチ検出部１１０は、例えば、多数の密集するタッチ位置４３ｂを検出する。
タッチ検出部１１０は、検出したタッチ位置４３をタッチ領域抽出部１２０及びイベント認識部１３０へ時系列で出力する。
（タッチ領域抽出部１２０）
タッチ領域抽出部１２０は、タッチパネル２０で検出された複数のタッチ位置から、所定の領域抽出条件を満たすタッチ領域を抽出する。より具体的には、例えば、タッチ検出部１１０が、複数のタッチ位置を検出した場合に、タッチ領域抽出部１２０は、所定のグルーピング条件に従って、検出された複数のタッチ位置を１つ以上のタッチ位置集合にグルーピングする。ここでのグルーピング条件とは、例えば、各グループに属するタッチ位置の任意のペアの間の距離が所定の閾値を超えない、という条件であってよい。そして、タッチ領域抽出部１２０は、タッチ位置集合ごとに、当該タッチ位置集合を含む領域が領域抽出条件を満たすかを判定し、領域抽出条件を満たす当該領域をタッチ領域として抽出する。以下、領域抽出条件についてより具体的に説明する。
上記領域抽出条件は、例えば、抽出されるべきタッチ領域のサイズについての条件（以下、「サイズ条件」と呼ぶ）を含む。より具体的には、例えば、当該サイズ条件は、抽出されるべきタッチ領域の面積についての条件である。一例として、当該サイズ条件は、タッチ領域の面積が第１のサイズ閾値以上且つ第２のサイズ閾値未満であることである。ここでのタッチ領域の面積は、例えば、タッチ領域に含まれる画素数である。タッチ領域の面積と比較される第１及び第２のサイズ閾値は、例えば、標準的なユーザの手のサイズに基づいて予め定義されてよい。以下、領域抽出条件がサイズ条件である場合のタッチ領域の抽出について図５を参照してより具体的に説明する。
図５は、タッチ領域の抽出の一例を説明するための説明図である。図５を参照すると、図４Ｂと同様に、タッチパネル２０の一部が座標付きで示されている。また、図４Ｂと同様に、ユーザが手４１の側面でタッチパネル２０にタッチした場合に検出されるタッチ位置４３ｂが示されている。この場合に、タッチ領域抽出部１２０は、まず、上述したグルーピング条件を満たす複数のタッチ位置４３、即ちタッチ位置集合を特定し、さらに当該タッチ位置集合を含む領域４５を特定する。ここでは、サイズ条件が、タッチ領域の面積が第１のサイズ閾値以上且つ第２のサイズ閾値未満の画素数であることとするとする。この場合に、タッチ位置集合を含む領域４５は、第１のサイズ閾値以上且つ第２のサイズ閾値未満の画素を含み、タッチ領域抽出部１２０は、領域４５がサイズ条件を満たすと判定する。その結果、タッチ領域抽出部１２０は、サイズ条件を満たす領域４５をタッチ領域として抽出する。
このようなサイズ条件により、簡単な演算で、ユーザの手４１の特定部分でのタッチと、ユーザの手４１の別の部分でのタッチとを区別することが可能になる。例えば、ユーザの手４１の側面でのタッチとユーザの手４１の側面以外の部分（例えば、指、掌）でのタッチとを区別することが可能になる。
なお、サイズ条件は、単に、タッチ領域の面積が第１のサイズ閾値以上であることであってもよい。また、サイズ条件は、タッチ領域の面積についての条件の代わりに、タッチ領域の長さについての条件であってもよい。一例として、サイズ条件は、タッチ領域内の座標のうちの最も遠い２つの座標の間の距離が所定の閾値以上であることであってもよい。また、サイズ条件は、タッチ領域の面積についての条件とタッチ領域の長さについての条件との組合せであってもよい。
また、上記領域抽出条件は、抽出されるべきタッチ領域の形状についての条件（以下、「形状条件」と呼ぶ）を含んでもよい。より具体的には、例えば、当該形状条件は、タッチ領域と予め用意された領域パターンとが類似することである。一例として、当該領域パターンは、ユーザの手４１の特定部分（例えば、側面）でのタッチからサンプルとして取得された領域である。当該領域パターンは、多数のユーザの手４１について取得される。タッチ領域抽出部１２０は、タッチ位置集合を含む領域４５と各領域パターンとを比較する。そして、タッチ領域抽出部１２０は、タッチ位置集合を含む領域４５がいずれかの領域パターンと類似する場合に、タッチ位置集合を含む領域４５が形状条件を満たすと判定する。領域抽出条件が形状条件である場合に、このように、タッチ領域抽出部１２０は、形状条件を満たす領域４５をタッチ領域として抽出する。
このような形状条件により、ユーザの手４１の特定部分でのタッチと、ユーザの手４１の別の部分でのタッチとを細かく区別することが可能になる。例えば、ユーザの手４１の側面でのタッチとユーザの手４１の側面以外の部分（例えば、指、掌）でのタッチとを区別することだけではなく、右手の側面でのタッチと左手の側面でのタッチとを区別することも可能になる。その結果、ユーザの手４１がどちらを向いているかも知得することが可能になる。
また、上記領域抽出条件は、抽出されるべきタッチ領域に含まれるタッチ位置の密度についての条件（以下、「密度条件」と呼ぶ）を含んでもよい。より具体的には、例えば、当該密度条件は、タッチ領域の面積に対するタッチ位置の数の比率が密度閾値以上であることである。当該密度条件は、例えば、サイズ条件又は形状条件と組合せて用いられる。即ち、当該密度条件は、サイズ条件又は形状条件とともに領域抽出条件に含まれる。サイズ条件及び密度条件によるタッチ領域の抽出について図６を参照してより具体的に説明する。
図６は、タッチ領域に含まれるタッチ位置の密度の例を説明するための説明図である。図６を参照すると、上段には、タッチパネル２０の一部及びユーザの手４１が示されている。ここでは、ユーザは、ユーザの手４１の５本の指でタッチパネル２０にタッチしている。一方、下段には、タッチパネル２０の一部が座標付きで示され、また、ユーザの手４１の５本の指でのタッチに応じて検出されるタッチ位置４３が示されている。このように、ユーザの手４１の５本の指でのタッチに応じて、タッチ検出部１１０は、例えば、６個のタッチ位置４３を検出する。ここで、６個のタッチ位置４３が、上述したグルーピング条件を満たす場合に、タッチ領域抽出部１２０は、６個のタッチ位置４３をタッチ位置集合としてグルーピングする。そして、タッチ領域抽出部１２０は、当該タッチ位置集合を含む領域４５がサイズ条件及び密度条件を満たすかを判定する。ここで、例えば、領域４５は、第１のサイズ閾値以上且つ第２のサイズ閾値未満の画素を含み、タッチ領域抽出部１２０は、領域４５がサイズ条件を満たすと判定する。一方、領域４５は、面積に対するタッチ位置の数（６個）の比率が低く、例えば、当該比率は、上記密度閾値未満である。よって、タッチ領域抽出部１２０は、領域４５が密度条件を満たさないと判定し、領域４５をタッチ領域として抽出しない。
これに対して、図５を再び参照すると、領域４５は、面積に対するタッチ位置の数（１５個）の比率が高く、例えば、当該比率は、上記密度閾値以上である。よって、タッチ領域抽出部１２０は、領域４５が密度条件を満たすと判定し、領域４５をタッチ領域として抽出する。
このような密度条件により、ユーザの手４１の特定部分でのタッチと、ユーザの手４１の別の部分でのタッチとを細かく区別することが可能になる。例えば、上述したように、ユーザの手４１の側面でのタッチとユーザの手４１の複数の指でのタッチとを区別することも可能になる。
以上、領域抽出条件によるタッチ領域の抽出について説明した。このような抽出によれば、ユーザの手４１の特定部分（例えば、側面）でのタッチがあったこと、及び当該特定部分でのタッチがあった領域を知得することが可能になる。即ち、後述するように、ユーザの手４１の特定部分（例えば、側面）でのタッチによる入力イベントを定義することが可能になる。一例として、ユーザの手４１の側面は、例えば机に置かれている物を集めるような場合にも用いられるので、ユーザの手４１の側面をタッチパネル２０での操作に用いることができれば、より直感的な操作を行うことが可能になる。また、ユーザの手４１の側面には、掌側、甲側等の方向があるので、当該方向にも基づく入力イベントが定義されれば、ユーザの手の側面の方向を考慮した操作や、右手と左手との区別を前提とする操作が、実現され得る。
（イベント認識部１３０）
イベント認識部１３０は、タッチパネル２０で検出されたタッチ位置に応じた入力イベントを認識する。とりわけ、領域抽出条件をそれぞれ満たす第１のタッチ領域及び第２のタッチ領域が抽出された場合に、イベント認識部１３０は、当該第１のタッチ領域と当該第２のタッチ領域との間の距離の変化に基づいて、入力イベントを認識する。以下、この点についてより詳細に説明する。
−ＧＡＴＨＥＲイベント／ＳＰＬＩＴイベント
まず、例えば、イベント認識部１３０は、第１のタッチ領域と第２のタッチ領域との間の距離が小さくなった場合に、第１の入力イベント（以下、「ＧＡＴＨＥＲイベント」と呼ぶ）を認識する。また、例えば、イベント認識部１３０は、第１のタッチ領域と第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベント（以下、「ＳＰＬＩＴイベント」と呼ぶ）を認識する。これらの入力イベントについて図７Ａ及び図７Ｂを参照してより具体的に説明する。
まず、図７Ａは、ＧＡＴＨＥＲイベントの認識の一例を説明するための説明図である。図７Ａを参照すると、上段には、タッチパネル２０並びにユーザの左手４１ａ及びユーザの右手４１ｂが示されている。ユーザは、ユーザの左手４１ａ及びユーザの右手４１ｂの特定部分（即ち、側面）を、タッチパネル２０にタッチした状態で互いに近づく方向に動かす。この場合に、抽出された第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂは、ユーザの左手４１ａ及びユーザの右手４１ｂと同様に互いに近づく方向に移動するので、第１のタッチ領域４７ａと第２のタッチ領域４７ｂとの間の距離が小さくなる。よって、イベント認識部１３０は、このようなユーザの左手４１ａ及びユーザの右手４１ｂのタッチジェスチャに応じて、ＧＡＴＨＥＲイベントを認識する。
また、図７Ｂは、ＳＰＬＩＴイベントの認識の一例を説明するための説明図である。図７Ｂを参照すると、上段には、タッチパネル２０並びにユーザの左手４１ａ及びユーザの右手４１ｂが示されている。ユーザは、ユーザの左手４１ａ及びユーザの右手４１ｂの特定部分（即ち、側面）を、タッチパネル２０にタッチした状態で互いに遠ざかる方向に動かす。この場合に、抽出された第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂは、ユーザの左手４１ａ及びユーザの右手４１ｂと同様に互いに遠ざかる方向に移動するので、第１のタッチ領域４７ａと第２のタッチ領域４７ｂとの間の距離が大きくなる。よって、イベント認識部１３０は、このようなユーザの左手４１ａ及びユーザの右手４１ｂのタッチジェスチャに応じて、ＳＰＬＩＴイベントを認識する。
以上のようにＧＡＴＨＥＲイベント及びＳＰＬＩＴイベントが認識される。より具体的な処理を説明すると、例えば、イベント認識部１３０は、第１のタッチ領域と第２のタッチ領域との間の距離の変化量に基づいて、入力イベント（即ち、ＧＡＴＨＥＲイベント又はＳＰＬＩＴイベント）を認識する。以下、この点について図８を参照してより具体的に説明する。
図８は、タッチ領域間の距離の変化量に基づく入力イベントの認識の例を説明するための説明図である。図８を参照すると、タッチパネル２０が示されている。例えば、イベント認識部１３０は、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂが抽出されると、当該第１のタッチ領域４７ａについての代表点Ｐａ０及び当該第２のタッチ領域４７ｂについての代表点Ｐｂ０を決定する。一例として、イベント認識部１３０は、タッチ領域４７の重心を当該タッチ領域４７の代表点として決定する。次に、イベント認識部１３０は、第１のタッチ領域４７ａの代表点Ｐａ０と第２のタッチ領域４７ｂの代表点Ｐｂ０との間の初期距離Ｄ０を算出する。その後、イベント認識部１３０は、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂが継続して抽出されている間、当該第１のタッチ領域４７ａについての代表点Ｐａｋと当該第２のタッチ領域４７ｂについての代表点Ｐｂｋとの間の距離Ｄｋを追跡する。そして、イベント認識部１３０は、距離の変化量として、算出された距離Ｄｋと初期距離Ｄ０との差分（Ｄｋ−Ｄ０）を算出する。ここで、当該差分が所定の負の閾値以下となる場合に、イベント認識部１３０は、入力イベントとしてＧＡＴＨＥＲイベントを認識する。また、上記差分が所定の正の閾値以上となる場合に、イベント認識部１３０は、入力イベントとしてＳＰＬＩＴイベントを認識する。なお、上記代表点は、タッチ領域４７の重心に限られず、別の座標（例えば、タッチ領域４７の外心）であってもよい。
このように距離の変化量を用いることで、簡単な演算で、２つのタッチ領域間の距離が大きくなったか又は小さくなったかを判定することが可能になる。
なお、イベント認識部１３０は、第１のタッチ領域と第２のタッチ領域との間の相対的な移動方向に基づいて、入力イベント（即ち、ＧＡＴＨＥＲイベント又はＳＰＬＩＴイベント）を認識してもよい。以下、この点について図９Ａを参照してより具体的に説明する。
図９Ａは、２つのタッチ領域間の相対的な移動方向に基づく入力イベントの認識の例を説明するための説明図である。図９Ａを参照すると、上段には、タッチパネル２０が示されている。ここでも、図８と同様に、イベント認識部１３０は、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂが抽出されると、当該第１のタッチ領域４７ａについての代表点Ｐａ０及び当該第２のタッチ領域４７ｂについての代表点Ｐｂ０を決定する。そして、イベント認識部１３０は、第１のタッチ領域４７ａに対する第２のタッチ領域４７ｂの相対的な位置として、代表点Ｐａ０から代表点Ｐｂ０までのベクトルＲ０を算出する。また、イベント認識部１３０は、例えば、所定の期間が経過した後に抽出された第１のタッチ領域４７ａについての代表点Ｐａ１、及び当該所定の期間が経過した後に抽出された第２のタッチ領域４７ｂについての代表点Ｐｂ１を決定する。そして、イベント認識部１３０は、第１のタッチ領域４７ａに対する第２のタッチ領域４７ｂの相対的な位置として、代表点Ｐａ１から代表点Ｐｂ１までのベクトルＲ１を算出する。
次に、図９Ａの下段には、第１のタッチ領域４７ａの代表点Ｐａを原点とした場合の第２のタッチ領域４７ｂの位置、即ちベクトルＲ０及びＲ１が示されている。ここで、イベント認識部１３０は、ベクトルＲ１と、ベクトルＲ０と同じ向きの単位ベクトルＲ０／｜Ｒ０｜との内積を算出する。そして、イベント認識部１３０は、当該内積と、ベクトルＲ０の大きさ｜Ｒ０｜とを比較する。ここで、イベント認識部１３０は、上記内積の方が｜Ｒ０｜よりも小さければ、第１のタッチ領域と第２のタッチ領域との間の相対的な移動方向は両者の近づく方向であったと判定する。また、イベント認識部１３０は、上記内積の方が｜Ｒ０｜よりも大きければ、上記相対的な移動方向は両者の遠ざかる方向であったと判定する。そして、イベント認識部１３０は、上記相対的な移動方向が両者の近づく方向であった場合に、ＧＡＴＨＥＲイベントを認識し、上記相対的な移動方向が両者の遠ざかる方向であった場合に、ＳＰＬＩＴイベントを認識する。
このように相対的な移動方向を用いることでも、２つのタッチ領域間の距離が小さくなったか又は大きくなったかを判定することが可能になる。
また、イベント認識部１３０は、第１のタッチ領域の移動方向及び第２のタッチ領域の移動方向に基づいて、入力イベント（即ち、ＧＡＴＨＥＲイベント又はＳＰＬＩＴイベント）を認識してもよい。以下、この点について図９Ｂを参照してより具体的に説明する。
図９Ｂは、２つのタッチ領域の移動方向に基づく入力イベントの認識の例を説明するための説明図である。図９Ｂを参照すると、タッチパネル２０が示されている。ここでも、図９Ａと同様に、第１のタッチ領域４７ａについての代表点Ｐａ０及びＰａ１、並びに、第２のタッチ領域４７ｂについての代表点Ｐｂ０及びＰｂ１が、イベント認識部１３０により決定される。そして、イベント認識部１３０は、代表点Ｐａ０から代表点Ｐａ１への方向と、代表点Ｐａ０から代表点Ｐｂ０への方向とのなす角度θａを、第１のタッチ領域４７ａの移動方向として算出する。また、イベント認識部１３０は、代表点Ｐｂ０から代表点Ｐｂ１への方向と、代表点Ｐｂ０から代表点Ｐａ０への方向とのなす角度θｂを、第２のタッチ領域４７ｂの移動方向として算出する。ここで、イベント認識部１３０は、角度θａ及び角度θｂの両方が０°〜α（例えば、０°〜１５°）の範囲内にあれば、ＧＡＴＨＥＲイベントを認識する。また、イベント認識部１３０は、角度θａ及び角度θｂの両方が１８０°−α〜１８０°（例えば、１６５°〜１８０°）の範囲内にあれば、ＳＰＬＩＴイベントを認識する。
このように移動方向を用いることでも、２つのタッチ領域間の距離が小さくなったか又は大きくなったかを判定することが可能になる。また、単に距離だけではなく、２つのタッチ領域の両方がどのように移動したかも判定できるので、入力イベント（ＧＡＴＨＥＲイベント及びＳＰＬＩＴイベント）の認識のための条件をより厳密に定義することもできる。
以上、ＧＡＴＨＥＲイベント及びＳＰＬＩＴイベントの認識について説明した。さらに、イベント認識部１３０は、これらの入力イベントに加えて、その他の入力イベントを認識してもよい。以下、この点について図１０を参照してより具体的に説明する。
−その他の入力イベント
図１０は、その他の入力イベントの認識の例を説明するための説明図である。以下、６つの入力イベントの例の各々を説明する。
図１０を参照すると、まず、第３の入力イベントとして、イベント認識部１３０は、５つのタッチ位置４３が互いに近づくように移動する場合に、ＧＲＡＢイベントを認識してもよい。より具体的には、例えば、イベント認識部１３０は、５つのタッチ位置４３が検出されると、５つのタッチ位置４３の重心を算出し、当該重心と５つのタッチ位置４３の各々との間の距離を算出し、算出した５つの距離の総和を初期値として算出する。そして、イベント認識部１３０は、５つのタッチ位置４３が継続して検出されている間、５つの距離の総和を追跡し、当該総和と初期値との差分（総和−初期値）を算出する。ここで、イベント認識部１３０は、当該差分が所定の負の閾値以下である場合に、ＧＲＡＢイベントを認識する。当該ＧＲＡＢイベントは、例えば、ユーザの手４１の５本の指を、タッチパネル２０にタッチした状態で集まるように動かす、タッチジェスチャに対応する。なお、上記距離の総和の代わりに、５つのタッチ位置４３の外接円の半径又は直径が用いられてもよい。
また、第４の入力イベントとして、イベント認識部１３０は、５つのタッチ位置４３全体が方向を変えて移動する場合に、ＳＨＡＫＥイベントを認識してもよい。より具体的には、例えば、イベント認識部１３０は、５つのタッチ位置４３が継続して検出されている間、５つのタッチ位置４３の移動方向が変化したかを追跡する。当該移動方向は、例えば、前回のタッチ位置から最新のタッチ位置への方向である。また、移動方向の変化は、最新の移動方向（前回のタッチ位置から最新のタッチ位置への方向）と前回の移動方向（前々回のタッチ位置から前回のタッチ位置への方向）とのなす角度である。イベント認識部１３０は、当該なす角度が所定の閾値を超えた場合に、移動方向が変化したと判定する。イベント認識部１３０は、例えば、このように移動方向が変化したと２回判定した場合に、ＳＨＡＫＥイベントを認識する。当該ＳＨＡＫＥイベントは、例えば、ユーザの手４１の５本の指を、タッチパネル２０にタッチした状態で揺れるように動かす、タッチジェスチャに対応する。
また、第５のタッチイベントとして、イベント認識部１３０は、３つのタッチ位置のうちの２つのタッチ位置が静止し、もう１つのタッチ位置が一方向に移動する場合に、ＣＵＴイベントを認識してもよい。より具体的には、例えば、イベント認識部１３０は、３つのタッチ位置４３が継続して検出されている間、２つのタッチ位置が変化していないかを判定し、またもう１つのタッチ位置の移動の開始及び終了を判定する。そして、イベント認識部１３０は、上記２つのタッチ位置が変化していないと継続して判定し続け、且つ、タッチ位置の終了を判定した場合に、ＣＵＴイベントを認識する。当該ＣＵＴイベントは、例えば、片手の２本の指を、タッチパネル２０にタッチした状態で静止させ、またもう一方の手の１本の指を、タッチパネル２０にタッチした状態で一方向に動かす、タッチジェスチャに対応する。
また、第６のタッチイベントとして、イベント認識部１３０は、１つのタッチ位置が略円状に移動する場合に、ＣＩＲＣＬＥイベントを認識してもよい。より具体的には、例えば、イベント認識部１３０は、タッチ位置４３が継続して検出されている間、最新のタッチ位置４３がタッチ開始時のタッチ位置４３と一致するかを判定する。そして、イベント認識部１３０は、最新のタッチ位置４３がタッチ開始時のタッチ位置４３と一致する場合に、タッチ開始時のタッチ位置４３から最新のタッチ位置４３までのタッチ位置４３の軌跡が略円状であるか否かを判定する。そして、イベント認識部１３０は、上記軌跡が略円状であると判定した場合に、ＣＩＲＣＬＥイベントを認識する。当該ＣＩＲＣＬＥイベントは、例えば、１本の指を、タッチパネル２０にタッチした状態で円を描くように動かす、タッチジェスチャに対応する。
また、第７のタッチイベントとして、イベント認識部１３０は、１つのタッチ領域４７が一方向に移動する場合に、ＷＩＰＥイベントを認識してもよい。より具体的には、例えば、イベント認識部１３０は、１つのタッチ領域４７が抽出されると、当該１つのタッチ領域４７の代表点を初期代表点として決定する。その後、イベント認識部１３０は、１つのタッチ領域４７が継続して抽出されている間、タッチ領域４７の代表点を追跡し、当該代表点と初期代表点との距離を算出する。そして、イベント認識部１３０は、当該距離が所定の閾値以上となる場合に、ＷＩＰＥイベントを認識する。当該ＷＩＰＥイベントは、例えば、ユーザの手４１の特定部分（例えば、側面）を、タッチパネル２０にタッチした状態で一方向に移動させる、タッチジェスチャに対応する。
また、第８のタッチイベントとして、イベント認識部１３０は、掌状の領域４９が抽出される場合に、ＦＡＤＥイベントを認識してもよい。より具体的には、例えば、タッチ領域抽出部１２０が掌状の領域４９を抽出すると、イベント認識部１３０は、ＦＡＤＥイベントを認識する。この場合、上述したタッチ領域４７についての領域抽出条件とは別に、掌状の領域４９についての領域抽出条件（例えば、形状条件、サイズ条件）が用意される。当該ＦＡＤＥイベントは、ユーザの手４１の掌をタッチパネル２０にタッチするタッチジェスチャに対応する。
以上、その他の入力イベントの例を説明した。なお、図１０におけるタッチ位置４３は一例である。例えば、タッチ位置４３は、タッチ位置集合に置き換えられてもよい。
（制御部１４０）
制御部１４０は、情報処理装置１００全体の動作を制御し、また情報処理装置１００のユーザにアプリケーション機能を提供する。制御部１４０は、表示制御部１４１及びデータ編集部１４３を含む。
（表示制御部１４１）
表示制御部１４１は、表示部１６０における表示内容を決定し、当該表示内容に対応する出力画像を表示部１６０に表示させる。例えば、表示制御部１４１は、認識された入力イベントに応じて、タッチパネル２０に表示されるオブジェクトの表示を変化させる。とりわけ、表示制御部１４１は、第１のタッチ領域と第２のタッチ領域との間の距離の変化に基づいて認識された入力イベント（例えば、ＧＡＴＨＥＲイベント、ＳＰＬＩＴイベント）に応じて、当該第１のタッチ領域と当該第２のタッチ領域との間に表示される操作対象オブジェクトの表示を変化させる。
例えば、表示制御部１４１は、ＧＡＴＨＥＲイベントが認識された場合に、操作対象オブジェクトをより狭い範囲に再配置する。即ち、表示制御部１４１は、ＧＡＴＨＥＲイベントの認識前に表示されている操作対象オブジェクトの一部又は全部である複数の操作対象オブジェクトを、ＧＡＴＨＥＲイベントの認識後により狭い範囲に収まるように再配置する。以下、この点について図１１Ａを参照してより具体的に説明する。
図１１Ａは、ＧＡＴＨＥＲイベントによる操作対象オブジェクトの表示の変化の例を説明するための説明図である。図１１Ａを参照すると、タッチパネル２０の一部が示されている。また、時間Ｔ１で、タッチパネル２０の一部には、３つのオブジェクト５０ａ、５０ｂ、５０ｃが表示されている。ここで、まず、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂが抽出される。次に、時間Ｔ２で、第１のタッチ領域４７ａと第２のタッチ領域４７ｂとの間の距離が小さくなり、入力イベントとしてＧＡＴＨＥＲイベントが認識される。すると、例えば、表示制御部１４１は、パターンＡのように、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂの位置の変化に応じて、３つのオブジェクト５０ａ、５０ｂ、５０ｃの位置を互いにより近くなるように変える。または、表示制御部１４１は、パターンＢのように、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂの間のいずれかの範囲に３つのオブジェクト５０ａ、５０ｂ、５０ｃが重なるように、当該３つのオブジェクト５０ａ、５０ｂ、５０ｃの位置を変える。
また、例えば、表示制御部１４１は、ＧＡＴＨＥＲイベントが認識された場合に、複数の操作対象オブジェクトを１つの操作対象オブジェクトに変換する。即ち、表示制御部１４１は、ＧＡＴＨＥＲイベントの認識前に表示されている操作対象オブジェクトの一部又は全部である複数の操作対象オブジェクトを、ＧＡＴＨＥＲイベントの認識後に１つ操作対象オブジェクトに変換する。以下、この点について図１１Ｂを参照してより具体的に説明する。
図１１Ｂは、ＧＡＴＨＥＲイベントによる操作対象オブジェクトの表示の変化の別の例を説明するための説明図である。図１１Ｂを参照すると、図１１Ａと同様に、時間Ｔ１で、タッチパネル２０の一部に、３つのオブジェクト５０ａ、５０ｂ、５０ｃが表示されており、また、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂが抽出される。次に、時間Ｔ２で、第１のタッチ領域４７ａと第２のタッチ領域４７ｂとの間の距離が小さくなり、入力イベントとしてＧＡＴＨＥＲイベントが認識される。すると、例えば、表示制御部１４１は、３つのオブジェクト５０ａ、５０ｂ、５０ｃを１つの新たなオブジェクト５０ｄに変換する。
以上のようなＧＡＴＨＥＲイベントによる表示の変化によれば、例えば、ユーザは、両手でオブジェクト５０をかき集めるような直感的なタッチジェスチャにより、タッチパネル２０内の広い範囲に散乱しているオブジェクト５０を集約することができる。ここで、大型のタッチパネルの広い範囲にオブジェクトが配置されていたとしても、ユーザは、両手を用いるので、体を大きく動かす必要はなく、少ない負担で操作を行うことができる。
また、例えば、表示制御部１４１は、ＳＰＬＩＴイベントが認識された場合に、複数の操作対象オブジェクトをより広い範囲に再配置する。即ち、表示制御部１４１は、ＳＰＬＩＴイベントの認識前に表示されている操作対象オブジェクトの一部又は全部である複数の操作対象オブジェクトを、ＳＰＬＩＴイベントの認識後により広い範囲に散らばるように再配置する。以下、この点について図１２Ａを参照してより具体的に説明する。
まず、図１２Ａは、ＳＰＬＩＴイベントによる操作対象オブジェクトの表示の変化の第１の例を説明するための説明図である。図１２Ａを参照すると、タッチパネル２０の一部が示されている。また、時間Ｔ１で、タッチパネル２０の一部には、３つのオブジェクト５０ａ、５０ｂ、５０ｃが表示されている。ここで、まず、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂが抽出される。次に、時間Ｔ２で、第１のタッチ領域４７ａと第２のタッチ領域４７ｂとの間の距離が大きくなり、入力イベントとしてＳＰＬＩＴイベントが認識される。すると、表示制御部１４１は、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂの位置の変化に応じて、３つのオブジェクト５０ａ、５０ｂ、５０ｃの位置を互いにより遠くなるように変える。
また、例えば、表示制御部１４１は、ＳＰＬＩＴイベントが認識された場合に、１つの操作対象オブジェクトを複数の操作対象オブジェクトに変換する。即ち、表示制御部１４１は、ＳＰＬＩＴイベントの認識前に表示されている操作対象オブジェクトの一部又は全部である１つの操作対象オブジェクトを、ＳＰＬＩＴイベントの認識後に複数の操作対象オブジェクトに変換する。以下、この点について図１２Ｂを参照してより具体的に説明する。
また、図１２Ｂは、ＳＰＬＩＴイベントによる操作対象オブジェクトの表示の変化の第２の例を説明するための説明図である。図１２Ｂを参照すると、タッチパネル２０の一部が示されている。また、時間Ｔ１で、タッチパネル２０の一部には、１つのオブジェクト５０ｄが表示されている。ここで、まず、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂが抽出される。次に、時間Ｔ２で、第１のタッチ領域４７ａと第２のタッチ領域４７ｂとの間の距離が大きくなり、入力イベントとしてＳＰＬＩＴイベントが認識される。すると、表示制御部１４１は、１つのオブジェクト５０ｄを新たな３つのオブジェクト５０ａ、５０ｂ、５０ｃに変換する。
また、例えば、表示制御部１４１は、ＳＰＬＩＴイベントが認識された場合に、ＳＰＬＩＴイベントの認識前に表示されている複数の操作対象オブジェクトを整列させてもよい。即ち、表示制御部１４１は、ＳＰＬＩＴイベントの認識前に表示されている操作対象オブジェクトの一部又は全部である複数の操作対象オブジェクトを、ＳＰＬＩＴイベントの認識後に整列させる。以下、この点について図１２Ｃを参照してより具体的に説明する。
また、図１２Ｃは、ＳＰＬＩＴイベントによる操作対象オブジェクトの表示の変化の第３の例を説明するための説明図である。図１２Ｃを参照すると、図１２Ａと同様に、時間Ｔ１で、タッチパネル２０の一部に、３つのオブジェクト５０ａ、５０ｂ、５０ｃが表示されており、また、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂが抽出される。次に、時間Ｔ２で、第１のタッチ領域４７ａと第２のタッチ領域４７ｂとの間の距離が大きくなり、入力イベントとしてＳＰＬＩＴイベントが認識される。すると、表示制御部１４１は、３つのオブジェクト５０ａ、５０ｂ、５０ｃを整列させる。
このようなＳＰＬＩＴイベントによる表示の変化によれば、例えば、ユーザは、両手でオブジェクト５０を広げるような直感的なタッチジェスチャにより、タッチパネル２００内に集約されているオブジェクト５０を広い範囲に展開し、又は雑然と配置されたオブジェクト５０を整理できる。その結果、オブジェクト５０がユーザにとってより見やすくなる。ここで、大型のタッチパネルの広い範囲にオブジェクトを展開し、又は整理するとしても、ユーザは、両手を用いるので、体を大きく動かす必要はなく、少ない負担で操作を行うことができる。
なお、図１１Ａ〜図１２Ｃでは、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂとの間に表示される全てのオブジェクト５０が操作対象オブジェクトである場合について説明したが、本実施形態はこれに限られない。例えば、第１のタッチ領域４７ａ及び第２のタッチ領域４７ｂとの間に表示される一部のオブジェクトが操作対象オブジェクトであってもよい。また、操作対象オブジェクトの種類ごとに、表示が変化されてもよい。例えば、表示制御部１４１は、ＳＰＬＩＴイベントが認識された場合に、写真に対応する操作対象オブジェクト及び動画に対応する操作対象オブジェクトを別々に整列させてもよい。
（データ編集部１４３）
データ編集部１４３は、データの編集を行う。例えば、データ編集部１４３は、認識された入力イベントに応じて、オブジェクトに対応するデータの結合又は分割を行う。とりわけ、データ編集部１４３は、第１のタッチ領域と第２のタッチ領域との間の距離の変化に基づいて認識された入力イベント（例えば、ＧＡＴＨＥＲイベント、ＳＰＬＩＴイベント）に応じて、当該第１のタッチ領域と当該第２のタッチ領域との間に表示される操作対象オブジェクトに対応するデータを結合し、又は分割する。
例えば、データ編集部１４３は、ＧＡＴＨＥＲイベントが認識された場合に、ＧＡＴＨＥＲイベントの認識前に表示されている複数の操作対象オブジェクトに対応するデータを結合する。一例として、当該データは動画像である。例えば、図１１Ｂに示されている時間Ｔ１における３つのオブジェクト５０ａ、５０ｂ、５０ｃが、それぞれ動画像に対応するものとする。そして、時間Ｔ２でＧＡＴＨＥＲイベントが認識されると、データ編集部１４３は、３つのオブジェクト５０ａ、５０ｂ、５０ｃに対応する３つの動画像を結合する。この場合に、例えば、図１１Ｂに示されるように、３つのオブジェクト５０ａ、５０ｂ、５０ｃが１つのオブジェクト５０ｄに変換され、当該オブジェクト５０ｄが、結合後の動画像に対応する。
また、例えば、データ編集部１４３は、ＳＰＬＩＴイベントが認識された場合に、ＳＰＬＩＴイベントの認識前に表示されている１つの操作対象オブジェクトに対応するデータを分割する。一例として、当該データは動画像である。例えば、図１２Ｂに示されている時間Ｔ１における１つのオブジェクト５０ｄが、動画像に対応するものとする。そして、時間Ｔ２でＳＰＬＩＴイベントが認識されると、データ編集部１４３は、オブジェクト５０ｄに対応する動画像を３つの動画像に分割する。この場合に、例えば、図１２Ｂに示されるように、１つのオブジェクト５０ｄが３つのオブジェクト５０ａ、５０ｂ、５０ｃに変換され、当該３つのオブジェクト５０ａ、５０ｂ、５０ｃが、分割後の３つの動画像に対応する。なお、分割後の動画像の数及び分割位置は、例えば、分割前の動画像についてのシーン認識の結果に応じて決定されてよい。また、後述の図１３Ｅ及び図１３Ｆに示されるように、オブジェクト５０ａ、５０ｂ、５０ｃの間には、画像間のシーン遷移の際の視覚的演出（トランジション）に対応するオブジェクトがさらに表示されてもよい。
このようなＧＡＴＨＥＲイベントによるデータ結合又はＳＰＬＩＴイベントによるデータ分割により、ユーザは、両手でオブジェクト５０をかき集めるような直感的なタッチジェスチャ又は両手でオブジェクト５０を広げるような直感的なタッチジェスチャにより、データを容易に編集することができる。例えば、写真及び動画を容易に編集することができる。
以上、ＧＡＴＨＥＲイベント及びＳＰＬＩＴイベントについての表示制御部１４１及びデータ編集部１４３の動作について説明した。このようなＧＡＴＨＥＲイベント及びＳＰＬＩＴイベントという入力イベントによれば、ユーザは、両手の特定部分（例えば、側面）でオブジェクト５０をかき集めるような直感的なタッチジェスチャ又は両手でオブジェクト５０を広げるような直感的なタッチジェスチャにより、操作を行うことができる。ここで、タッチパネルが大型のものであっても、ユーザは、両手を用いるので、体を大きく動かす必要はなく、少ない負担で操作を行うことができる。例えば、操作対象オブジェクトが大型の画面の広範囲に散らばっていても、ユーザは、両手を広げて操作対象を指定した上で、その指定と一体のジェスチャで様々な操作を行うことができる。
以下では、図１３Ａ〜図１３Ｆを参照して、ＧＡＴＨＥＲイベント及びＳＰＬＩＴイベント以外の６つの入力イベントについての表示制御部１４１及びデータ編集部１４３の動作についても説明する。
（その他の入力イベントについての表示制御及びデータ編集）
図１３Ａは、ＧＲＡＢイベントによる操作対象オブジェクトの表示の変化の一例を説明するための説明図である。図１３Ａを参照すると、図１０を参照して説明したＧＲＡＢイベントが認識される。この場合に、表示制御部１４１は、５つのタッチ位置４３に囲まれて表示されているオブジェクト５０ｍを、削除された状態を示すように変更する。そして、データ編集部１４３は、オブジェクト５０ｍに対応するデータを削除する。
また、図１３Ｂは、ＳＨＡＫＥイベントによる操作対象オブジェクトの表示の変化の一例を説明するための説明図である。図１３Ｂを参照すると、図１０を参照して説明したＳＨＡＫＥイベントが認識される。この場合に、表示制御部１４１は、５つのタッチ位置４３のうちの少なくとも１つのタッチ位置４３に表示されているオブジェクト５０ｍを、操作前の元の状態を示すように変更する。例えば、表示制御部１４１は、トリミングされた状態を示すオブジェクト５０ｍを、トリミング前の状態を示すように変更する。そして、データ編集部１４３は、オブジェクト５０ｍに対応するデータ（例えば、トリミング後の写真）を、トリミング前のデータ（例えば、トリミング前の写真）に復元する（即ち、いわゆるアンドゥ操作が行われる）。
また、図１３Ｃは、ＣＵＴイベントによる操作対象オブジェクトの表示の変化の一例を説明するための説明図である。図１３Ｃを参照すると、図１０を参照して説明したＣＵＴイベントが認識される。この場合に、表示制御部１４１は、静止する２つのタッチ位置に表示され、且つ一方向に移動するタッチ位置に横断されたオブジェクト５０ｍを、トリミングされた状態を示すように変更する。そして、データ編集部１４３は、オブジェクト５０ｍに対応するデータ（例えば、写真）をトリミングする。
また、図１３Ｄは、ＣＩＲＣＬＥイベントによる操作対象オブジェクトの表示の変化の一例を説明するための説明図である。図１３Ｄを参照すると、図１０を参照して説明したＣＩＲＣＬＥイベントが認識される。この場合に、表示制御部１４１は、動画像に対応するオブジェクト５０ｎであって、当該動画像の第１のフレームを表示するオブジェクト５０ｎを、当該動画像の第２のフレーム（例えば、第１のフレームの後に現れるフレーム）を表示するように変更する。そして、データ編集部１４３は、動画像の編集のために上記第２のフレームを選択された状態にする。
また、図１３Ｅは、ＷＩＰＥイベントによる操作対象オブジェクトの操作の一例を説明するための説明図である。図１３Ｅを参照すると、タッチパネル２０の一部には、動画像にそれぞれ対応する３つのオブジェクト５０ａ、５０ｂ、５０ｃが表示されている。また、当該３つのオブジェクト５０ａ、５０ｂ、５０ｃの間には、動画像間のシーン遷移の際の視覚的演出（以下、「トランジション」と呼ぶ）に対応するオブジェクト５０ｉ及び５０ｊが表示されている。ここで、タッチによりタッチ位置４３が検出され、これによりトランジションに対応するオブジェクト５０ｉが選択された状態となる。そして、図１０を参照して説明したＷＩＰＥイベントが認識される。この場合に、データ編集部１４３は、オブジェクト５０ｉに対応するトランジションを、タッチ領域４７が移動した方向へのワイプトランジションに設定する。
また、図１３Ｆは、ＦＡＤＥイベントによる操作対象オブジェクトの操作の一例を説明するための説明図である。図１３Ｆを参照すると、図１３Ｅと同様に、タッチパネル２０には、動画像にそれぞれ対応する３つのオブジェクト５０ａ、５０ｂ、５０ｃ、及び動画像間のトランジションに対応するオブジェクト５０ｉ及び５０ｊが、表示されている。また、図１３Ｅと同様に、トランジションに対応するオブジェクト５０ｉが選択された状態となる。そして、図１０を参照して説明したＦＡＤＥイベントが認識される。この場合に、データ編集部１４３は、オブジェクト５０ｉに対応するトランジションを、フェードイントランジション又はフェードアウトトランジションに設定する。
（記憶部１５０）
記憶部１５０は、情報処理装置１００において一時的に又は恒久的に保持すべき情報を記憶する。例えば、記憶部１５０は、表示部１６０に表示されるオブジェクト５０の画像を記憶する。また、記憶部１５０は、当該オブジェクト５０に対応するデータ（写真、動画像、等）を記憶する。
（表示部１６０）
表示部１６０は、表示制御部１４１による制御に応じて、出力画像を表示する。即ち、表示部１６０は、表示面２３に対応する機能である。
＜３．操作例＞
次に、図１４Ａ〜図１４Ｆを参照して、情報処理装置１００における操作例について説明する。図１４Ａ〜図１４Ｆは、情報処理装置１００における操作例を説明するための説明図である。本操作例では、動画像の編集として、動画像の切り出しが行われる。
まず、図１４Ａを参照すると、時間Ｔ１に、タッチパネル２０には、動画像Ａ〜Ｆに対応する６つのオブジェクト５０ａ〜５０ｆが表示されている。また、動画像編集用の開始タグ５３及び終了タグ５５も表示されている。本操作例では、以降、動画像Ｆの切り出しが行われる。
次に、時間Ｔ２に、オブジェクト５０ｆを操作対象オブジェクトとするＳＰＬＩＴイベントが認識される。その結果、タッチパネル２０において、オブジェクト５０ｆは、６つのオブジェクト５０ｇ〜５０ｌに変換される。また、オブジェクト５０ｆに対応する動画像Ｆは、６つの動画像Ｆ１〜Ｆ６に分割される。ここで、６つのオブジェクト５０ｇ〜５０ｌは、分割後の当該６つの動画像Ｆ１〜Ｆ６に対応する。
次に、図１４Ｂを参照すると、時間Ｔ３に、タッチ位置４３が検出され、その結果、オブジェクト５０ｈ及び動画像Ｆ２が選択された状態となる。
次に、時間Ｔ４に、ＣＩＲＣＬＥイベントが認識される。その結果、動画像Ｆ２の第１のフレームを表示していたオブジェクト５０ｈは、当該動画像Ｆ２の第２のフレームを表示するように変更される。このように変更されたオブジェクト５０ｈは、ここではＦ２Ｘと示されている。また、動画像Ｆ２の上記第２のフレームは、選択された状態となる。
次に、図１４Ｃを参照すると、時間Ｔ５に、開始タグ５３が、オブジェクト５０ｈ上にドラッグされる。すると、動画像Ｆ２の上記第２のフレームが、動画像Ｆの編集開始点として決定される。
次に、時間Ｔ６に、オブジェクト５０ｈを対象とするＣＵＴイベントが認識される。その結果、動画像の切り出しが編集内容として決定される。ここでの動画像Ｆの切り出しの開始点は、編集開始点として決定された動画像Ｆ２の上記第２のフレームである。
次に、図１４Ｄを参照すると、時間Ｔ７に、オブジェクト５０ｈ〜５０ｌが再び表示される。そして、タッチ位置４３が検出され、その結果、オブジェクト５０ｋ及び動画像Ｆ５が選択された状態となる。
次に、時間Ｔ８に、ＣＩＲＣＬＥイベントが認識される。その結果、動画像Ｆ５の第１のフレームを表示していたオブジェクト５０ｋは、当該動画像Ｆ５の第２のフレームを表示するように変更される。このように変更されたオブジェクト５０ｋは、ここではＦ５Ｘと示されている。また、動画像Ｆ５の上記第２のフレームは、選択された状態となる。
次に、図１４Ｅを参照すると、時間Ｔ９に、終了タグ５５が、オブジェクト５０ｋ上にドラッグされる。すると、動画像Ｆ５の上記第２のフレームが、動画像Ｆの編集終了点として決定される。即ち、動画像Ｆ５の上記第２のフレームが、動画像Ｆの切り出しの終了点として決定される。
次に、時間Ｔ１０に、オブジェクト５０ｈ〜５０ｋが再び表示される。
そして、図１４Ｆを参照すると、時間Ｔ１１に、オブジェクト５０ｈ〜５０ｋを操作対象オブジェクトとするＧＡＴＨＥＲイベントが認識される。その結果、タッチパネル２０において、４つのオブジェクト５０ｈ〜ｋは、１つのオブジェクト５０ｚに変換される。また、４つのオブジェクト５０ｈ〜ｋに対応する動画像Ｆ２〜Ｆ５は、結合されて、１つの動画像Ｚとなる。ここで、結合される動画像Ｆ２は、動画像Ｆ２の第２のフレーム以降の部分であり、また、結合される動画像Ｆ５は、動画像Ｆ５の第２のフレームよりも前の部分である。即ち、動画像Ｚは、動画像Ｆのうちの動画像Ｆ２の第２のフレームから動画像Ｆ５の第２のフレームの直前までの部分の動画像である。
以上、情報処理装置１００における操作例を説明した。例えば、このように動画像の切り出しが行われる。
＜４．処理の流れ＞
次に、図１５〜図１８を参照して、本実施形態に係る情報処理の一例について説明する。図１５は、本実施形態に係る情報処理の概略的な流れの一例を示すフローチャートである。
まず、ステップＳ２０１で、タッチ検出部１１０は、タッチパネル２０におけるタッチ位置を検出する。次に、ステップＳ３００で、タッチ領域抽出部１２０は、後述のタッチ領域抽出処理を実行する。そして、ステップＳ２０３で、イベント認識部１３０は、２つのタッチ領域が抽出されたかを判定する。２つのタッチ領域が抽出されていれば、処理はステップＳ４００へ進む。そうでなければ、処理はステップＳ２０７へ進む。
ステップＳ４００で、イベント認識部１３０は、後述のＧＡＴＨＥＲ／ＳＰＬＩＴ認識処理を実行する。次に、ステップＳ２０５で、制御部１４０は、ＧＡＴＨＥＲイベント又はＳＰＬＩＴイベントが認識されたかを判定する。ＧＡＴＨＥＲイベント又はＳＰＬＩＴイベントが認識されていれば、処理はステップＳ５００へ進む。そうでなければ、処理はステップＳ２０７へ進む。
ステップＳ５００で、制御部１４０は、後述のＧＡＴＨＥＲ／ＳＰＬＩＴ制御処理を実行する。そして、処理はステップＳ２０１へ戻る。
ステップＳ２０７で、イベント認識部１３０は、ＧＡＴＨＥＲイベント及びＳＰＬＩＴイベント以外のその他の入力イベントを認識する。そして、ステップＳ２０９で、制御部１４０は、その他の入力イベントが認識されたかを判定する。その他の入力イベントが認識されていれば、処理はステップＳ２１１へ進む。そうでなければ、処理はステップＳ２０１へ戻る。
ステップＳ２１１で、制御部１４０は、認識された入力イベントに応じた処理を実行する。そして、処理はステップＳ２０１へ戻る。
（タッチ領域抽出処理Ｓ３００）
次に、タッチ領域抽出処理Ｓ３００の一例について説明する。図１６は、タッチ領域抽出処理３００の一例を示すフローチャートである。当該一例は、領域抽出条件がサイズ条件である場合の例である。
まず、ステップＳ３０１で、タッチ領域抽出部１２０は、複数のタッチ位置が検出されたかを判定する。複数のタッチ位置が検出されていれば、処理はステップＳ３０３へ進む。そうでなければ、処理は終了する。
ステップＳ３０３で、タッチ領域抽出部１２０は、所定のグルーピング条件に従って、複数のタッチ位置を１つ以上のタッチ位置集合にグルーピングする。ステップＳ３０５で、タッチ領域抽出部１２０は、タッチ位置集合があったかを判定する。タッチ位置集合があれば、処理はステップＳ３０７へ進む。そうでなければ、処理は終了する。
ステップＳ３０７で、タッチ領域抽出部１２０は、領域抽出条件の判定を行なっていないタッチ位置集合を選択する。次に、ステップＳ３０９で、タッチ領域抽出部１２０は、選択したタッチ位置集合を含む領域の面積を算出する。そして、ステップＳ３１１で、タッチ領域抽出部１２０は、算出した面積が閾値Ｔｍｉｎ以上閾値Ｔｍａｘ未満であるかを判定する。面積が閾値Ｔｍｉｎ以上閾値Ｔｍａｘ未満であれば、処理はステップＳ３１３へ進む。そうでなければ、処理はステップＳ３１５へ進む。
ステップＳ３１３で、タッチ領域抽出部１２０は、選択したタッチ位置集合を含む領域が領域抽出条件を満たすと判定する。即ち、タッチ領域抽出部１２０は、選択したタッチ位置集合を含む領域をタッチ領域として抽出する。
ステップＳ３１５で、タッチ領域抽出部１２０は、全てのタッチ位置集合について領域抽出条件の判定が完了したかを判定する。全てのタッチ位置集合について当該判定が完了していれば、処理は終了する。そうでなければ、処理はステップＳ３０７へ戻る。
（ＧＡＴＨＥＲ／ＳＰＬＩＴ認識処理Ｓ４００）
次に、ＧＡＴＨＥＲ／ＳＰＬＩＴ認識処理Ｓ４００の一例について説明する。図１７は、ＧＡＴＨＥＲ／ＳＰＬＩＴ認識処理の一例を示すフローチャートである。当該一例は、タッチ領域間の距離の変化量に基づいてＧＡＴＨＥＲイベント及びＳＰＬＩＴイベントが認識される場合の例である。
まず、ステップＳ４０１で、イベント認識部１３０は、抽出された第１のタッチ領域の代表点を決定する。また、ステップＳ４０３で、イベント認識部１３０は、抽出された第２のタッチ領域の代表点を決定する。そして、ステップＳ４０５で、イベント認識部１３０は、２つのタッチ領域が前回も抽出されていたか判定する。２つのタッチ領域が前回も抽出されていれば、処理はステップＳ４０９へ進む。そうでなければ、処理はステップＳ４０７へ進む。
ステップＳ４０７で、イベント認識部１３０は、決定した２つの代表点の間の距離を初期距離Ｄ０として算出する。そして処理は終了する。
ステップＳ４０９で、イベント認識部１３０は、決定した２つの代表点の間の距離Ｄｋを算出する。次に、ステップＳ４１１で、イベント認識部１３０は、距離の変化量として、算出された距離Ｄｋと初期距離Ｄ０との差分（Ｄｋ−Ｄ０）を算出する。そして、ステップＳ４１３で、イベント認識部１３０は、距離の変化量（Ｄｋ−Ｄ０）が、負の閾値ＴＧ以下であるかを判定する。距離の変化量（Ｄｋ−Ｄ０）が負の閾値ＴＧ以下であれば、処理はステップＳ４１５へ進む。そうでなければ、処理はステップＳ４１７へ進む。
ステップＳ４１５で、イベント認識部１３０は、入力イベントとしてＧＡＴＨＥＲイベントを認識する。そして、処理は終了する。
ステップＳ４１７で、イベント認識部１３０は、距離の変化量（Ｄｋ−Ｄ０）が、正の閾値ＴＳ以上であるかを判定する。距離の変化量（Ｄｋ−Ｄ０）が正の閾値ＴＳ以上であれば、処理はステップＳ４１９へ進む。そうでなければ、処理は終了する。
ステップＳ４１９で、イベント認識部１３０は、入力イベントとしてＳＰＬＩＴイベントを認識する。そして、処理は終了する。
（ＧＡＴＨＥＲ／ＳＰＬＩＴ制御処理Ｓ５００）
次に、ＧＡＴＨＥＲ／ＳＰＬＩＴ制御処理Ｓ５００の一例について説明する。図１８は、ＧＡＴＨＥＲ／ＳＰＬＩＴ制御処理の一例を示すフローチャートである。
まず、ステップＳ５０１で、表示制御部１４１は、第１のタッチ領域と第２のタッチ領域との間に表示されている操作対象オブジェクトを特定する。そして、ステップＳ５０３で、表示制御部１４１は、操作対象オブジェクトがあったかを判定する。操作対象オブジェクトがあれば、処理はステップＳ５０５へ進む。そうでなければ、処理は終了する。
ステップＳ５０５で、表示制御部１４１は、認識された入力イベントがＧＡＴＨＥＲイベントであったかを判定する。認識された入力イベントがＧＡＴＨＥＲイベントであれば、処理はステップＳ５０７へ進む。そうでなければ、即ち認識された入力イベントがＳＰＬＩＴイベントであれば、処理はステップＳ５１１へ進む。
ステップＳ５０７で、データ編集部１４３は、ＧＡＴＨＥＲイベントに応じたデータの編集を実行する。例えば、データ編集部１４３は、ＧＡＴＨＥＲイベントの認識前に表示されていた複数のオブジェクトに対応するデータを結合する。
ステップＳ５０９で、表示制御部１４１は、ＧＡＴＨＥＲイベントに応じた表示制御を実行する。例えば、表示制御部１４１は、図１１Ａを参照して説明したように、操作対象オブジェクトをより狭い範囲に再配置してもよく、又は、図１１Ｂを参照して説明したように、複数の操作対象オブジェクトを１つの操作対象オブジェクトに変換してもよい。そして、処理は終了する。
ステップＳ５１１で、データ編集部１４３は、ＳＰＬＩＴイベントに応じたデータの編集を実行する。例えば、データ編集部１４３は、ＳＰＬＩＴイベントの認識前に表示されていたオブジェクトに対応するデータを分割する。
ステップＳ５１３で、表示制御部１４１は、ＳＰＬＩＴイベントに応じた表示制御を実行する。例えば、表示制御部１４１は、図１２Ａを参照して説明したように、複数の操作対象オブジェクトをより広い範囲に再配置してもよく、図１２Ｂを参照して説明したように、１つの操作対象オブジェクトを複数の操作対象オブジェクトに変換してもよい。または、表示制御部１４１は、図１２Ｃを参照して説明したように、ＳＰＬＩＴイベントの認識前に表示されている複数の操作対象オブジェクトを整列させてもよい。そして、処理は終了する。
＜５．まとめ＞
ここまで、図１〜図１８を用いて、本開示の実施形態に係る情報処理装置１００について説明した。本実施形態によれば、２つのタッチ領域の間の距離の変化に基づいて入力イベント（ＧＡＴＨＥＲイベント又はＳＰＬＩＴイベント）が認識される。これにより、ユーザは、両手の特定部分（例えば、側面）でタッチパネル２０に表示されるオブジェクト５０をかき集めるような直感的なタッチジェスチャ又は両手でオブジェクト５０を広げるような直感的なタッチジェスチャにより、操作を行うことができる。ここで、タッチパネルが大型のものであっても、ユーザは、両手を用いるので、体を大きく動かす必要はなく、少ない負担で操作を行うことができる。例えば、操作対象オブジェクトが大型の画面の広範囲に散らばっていても、ユーザは、両手を広げて操作対象を指定した上で、その指定と一体のジェスチャで様々な操作を行うことができる。
例えば、ＧＡＴＨＥＲイベントが認識された場合に、操作対象オブジェクトがより狭い範囲に配置される。これにより、ユーザは、両手でオブジェクト５０をかき集めるような直感的なタッチにより、タッチパネル２０内の広い範囲に散乱しているオブジェクト５０を集約することができる。また、ＳＰＬＩＴイベントが認識された場合に、操作対象オブジェクトがより広い範囲に配置され、又は操作対象オブジェクトが整列する。これにより、ユーザは、両手でオブジェクト５０を広げるような直感的なタッチにより、タッチパネル２００内に集約されているオブジェクト５０を広い範囲に展開し、又は雑然と配置されたオブジェクト５０を整理できる。その結果、オブジェクト５０がユーザにとってより見やすくなる。
また、例えば、ＧＡＴＨＥＲイベントが認識された場合に、複数の操作対象オブジェクトに対応するデータが結合される。また、ＳＰＬＩＴイベントが認識された場合に、１つの操作対象オブジェクトに対応するデータが分割される。これらにより、ユーザは、両手でオブジェクト５０をかき集めるような直感的なタッチ又は両手でオブジェクト５０を広げるような直感的なタッチにより、データを容易に編集することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
例えば、タッチパネルがユーザの手のタッチ（接触）を感知する接触型である場合について説明したが、本開示におけるタッチパネルはこれに限られない。例えば、タッチパネルは、ユーザの手の近接状態を感知する近接型であってもよい。また、この場合に、検出されるタッチ位置は、タッチパネルにおける手の近接の位置であってもよい。
また、タッチ領域が手の側面でのタッチに応じて抽出される場合について説明したが、本開示におけるタッチ領域の抽出はこれに限られない。例えば、タッチ領域は、指の腹、掌、手の甲等の、手の別の部分でのタッチに応じて抽出されてもよい。また、タッチ領域は、ユーザの手以外でのタッチに応じて抽出されてもよい。
また、本開示に係る技術は、大型のディスプレイ装置に限られず、様々な種類の装置で実装され得る。例えば、本開示に係る技術は、タッチパネルを内蔵せず、タッチパネルに直接的に又は間接的に接続される、パーソナルコンピュータ、サーバ装置等の装置で実装されてもよい。この場合に、当該装置は、上述したタッチ検出部及び表示部を備えなくてもよい。また、本開示に係る技術は、タッチパネルの表示制御及びデータ編集を行う制御装置と直接的に又は間接的に接続される、パーソナルコンピュータ、サーバ装置等の装置で実装されてもよい。この場合に、当該装置は、上述した制御部及び記憶部を備えなくてもよい。また、本開示に係る技術は、大型のタッチパネル以外のタッチパネルに関しても実装され得る。例えば、本開示に係る技術は、スマートフォン、タブレット端末、電子書籍端末等の比較的小型のタッチパネルを備える装置で実装されてもよい。
また、本明細書の情報処理における処理ステップは、必ずしもフローチャートに記載された順序に沿って時系列に実行されなくてよい。例えば、情報処理における処理ステップは、フローチャートとして記載した順序と異なる順序で実行されても、並列的に実行されてもよい。
また、情報処理装置に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭ等のハードウェアに、上記情報処理装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
タッチパネルで検出された複数のタッチ位置から、所定の領域抽出条件をそれぞれ満たす第１のタッチ領域及び第２のタッチ領域を抽出する抽出部と、
前記第１のタッチ領域と前記第２のタッチ領域との間の距離の変化に基づいて、入力イベントを認識する認識部と、
を備える情報処理装置。
（２）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が小さくなった場合に、第１の入力イベントを認識する、前記（１）に記載の情報処理装置。
（３）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識する、前記（１）又は（２）に記載の情報処理装置。
（４）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離の変化量に基づいて、前記入力イベントを認識する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（５）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の相対的な移動方向に基づいて、前記入力イベントを認識する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（６）
前記認識部は、前記第１のタッチ領域の移動方向及び前記第２のタッチ領域の移動方向に基づいて、前記入力イベントを認識する、前記（１）〜（３）のいずれか１項に記載の情報処理装置。
（７）
認識された前記入力イベントに応じて、前記第１のタッチ領域と前記第２のタッチ領域との間に表示される操作対象オブジェクトの表示を変化させる制御部、をさらに備える前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が小さくなった場合に、第１の入力イベントを認識し、
前記制御部は、前記第１の入力イベントが認識された場合に、操作対象オブジェクトをより狭い範囲に再配置する、前記（７）に記載の情報処理装置。
（９）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が小さくなった場合に、第１の入力イベントを認識し、
前記制御部は、前記第１の入力イベントが認識された場合に、当該第１の入力イベントの認識前に表示されている複数の操作対象オブジェクトに対応するデータを結合する、
前記（７）に記載の情報処理装置。
（１０）
前記データは動画像である、前記（９）に記載の情報処理装置。
（１１）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識し、
前記制御部は、前記第２の入力イベントが認識された場合に、複数の操作対象オブジェクトをより広い範囲に再配置する、
前記（７）に記載の情報処理装置。
（１２）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識し、
前記制御部は、前記第２の入力イベントが認識された場合に、当該第２の入力イベントの認識前に表示されている複数の操作対象オブジェクトを整列させる、
前記（７）に記載の情報処理装置。
（１３）
前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識し、
前記制御部は、前記第２の入力イベントが認識された場合に、当該第２の入力イベントの認識前に表示されている１つの操作対象オブジェクトに対応するデータを分割する、
前記（７）に記載の情報処理装置。
（１４）
前記データは動画像である、前記（１３）に記載の情報処理装置。
（１５）
前記領域抽出条件は、抽出されるべきタッチ領域のサイズについての条件を含む、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記領域抽出条件は、抽出されるべきタッチ領域の形状についての条件を含む、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１７）
前記領域抽出条件は、抽出されるべきタッチ領域に含まれるタッチ位置の密度についての条件を含む、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１８）
タッチパネルで検出された複数のタッチ位置から、所定の領域抽出条件をそれぞれ満たす第１のタッチ領域及び第２のタッチ領域を抽出することと、
前記第１のタッチ領域と前記第２のタッチ領域との間の距離の変化に基づいて、入力イベントを認識することと、
を含む情報処理方法。
２０ タッチパネル
４１ ユーザの手
４３ タッチ位置
４５ タッチ位置集合を含む領域
４７ タッチ領域
５０ オブジェクト
１００ 情報処理装置
１１０ タッチ検出部
１２０ タッチ領域抽出部
１３０ イベント認識部
１４０ 制御部
１４１ 表示制御部
１４３ データ編集部
１５０ 記憶部
１６０ 表示部

Claims (15)

  1. タッチパネルで検出された複数のタッチ位置から、所定の領域抽出条件をそれぞれ満たす第１のタッチ領域及び第２のタッチ領域を抽出する抽出部と、
    前記第１のタッチ領域と前記第２のタッチ領域との間の距離の変化に基づいて、入力イベントを認識する認識部と、
    認識された前記入力イベントに応じて、前記第１のタッチ領域と前記第２のタッチ領域との間に表示される操作対象オブジェクトの表示を変化させる制御部と、
    を備え、
    前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識し、
    前記制御部は、前記第２の入力イベントが認識された場合に、当該第２の入力イベントの認識前に表示されている１つの操作対象オブジェクトに対応する動画像を前記動画像についてのシーン認識の結果に応じて分割する、
    情報処理装置。
  2. 前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が小さくなった場合に、第１の入力イベントを認識する、請求項１に記載の情報処理装置。
  3. 前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識する、請求項１に記載の情報処理装置。
  4. 前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離の変化量に基づいて、前記入力イベントを認識する、請求項１に記載の情報処理装置。
  5. 前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の相対的な移動方向に基づいて、前記入力イベントを認識する、請求項１に記載の情報処理装置。
  6. 前記認識部は、前記第１のタッチ領域の移動方向及び前記第２のタッチ領域の移動方向に基づいて、前記入力イベントを認識する、請求項１に記載の情報処理装置。
  7. 前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が小さくなった場合に、第１の入力イベントを認識し、
    前記制御部は、前記第１の入力イベントが認識された場合に、操作対象オブジェクトをより狭い範囲に再配置する、請求項１に記載の情報処理装置。
  8. 前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が小さくなった場合に、第１の入力イベントを認識し、
    前記制御部は、前記第１の入力イベントが認識された場合に、当該第１の入力イベントの認識前に表示されている複数の操作対象オブジェクトに対応するデータを結合する、
    請求項１に記載の情報処理装置。
  9. 前記データは動画像である、請求項８に記載の情報処理装置。
  10. 前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識し、
    前記制御部は、前記第２の入力イベントが認識された場合に、複数の操作対象オブジェクトをより広い範囲に再配置する、
    請求項１に記載の情報処理装置。
  11. 前記認識部は、前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識し、
    前記制御部は、前記第２の入力イベントが認識された場合に、当該第２の入力イベントの認識前に表示されている複数の操作対象オブジェクトを整列させる、
    請求項１に記載の情報処理装置。
  12. 前記領域抽出条件は、抽出されるべきタッチ領域のサイズについての条件を含む、請求項１に記載の情報処理装置。
  13. 前記領域抽出条件は、抽出されるべきタッチ領域の形状についての条件を含む、請求項１に記載の情報処理装置。
  14. 前記領域抽出条件は、抽出されるべきタッチ領域に含まれるタッチ位置の密度についての条件を含む、請求項１に記載の情報処理装置。
  15. タッチパネルで検出された複数のタッチ位置から、所定の領域抽出条件をそれぞれ満たす第１のタッチ領域及び第２のタッチ領域を抽出することと、
    前記第１のタッチ領域と前記第２のタッチ領域との間の距離の変化に基づいて、入力イベントを認識することと、
    認識された前記入力イベントに応じて、前記第１のタッチ領域と前記第２のタッチ領域との間に表示される操作対象オブジェクトの表示を変化させることと、
    前記第１のタッチ領域と前記第２のタッチ領域との間の距離が大きくなった場合に、第２の入力イベントを認識することと、
    前記第２の入力イベントが認識された場合に、当該第２の入力イベントの認識前に表示されている１つの操作対象オブジェクトに対応する動画像を前記動画像についてのシーン認識の結果に応じて分割することと、
    を含む情報処理方法。
JP2012049079A 2012-03-06 2012-03-06 情報処理装置及び情報処理方法 Expired - Fee Related JP5978660B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012049079A JP5978660B2 (ja) 2012-03-06 2012-03-06 情報処理装置及び情報処理方法
CN201310061946.4A CN103309605B (zh) 2012-03-06 2013-02-27 信息处理装置和信息处理方法
US13/778,904 US20130234957A1 (en) 2012-03-06 2013-02-27 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012049079A JP5978660B2 (ja) 2012-03-06 2012-03-06 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2013186540A JP2013186540A (ja) 2013-09-19
JP5978660B2 true JP5978660B2 (ja) 2016-08-24

Family

ID=49113652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012049079A Expired - Fee Related JP5978660B2 (ja) 2012-03-06 2012-03-06 情報処理装置及び情報処理方法

Country Status (3)

Country Link
US (1) US20130234957A1 (ja)
JP (1) JP5978660B2 (ja)
CN (1) CN103309605B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110112831A (ko) * 2009-01-05 2011-10-13 스마트 테크놀러지스 유엘씨 제스처 인식 방법 및 이 방법을 이용하는 대화형 입력 시스템
JP5629722B2 (ja) * 2012-04-11 2014-11-26 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
JP5634442B2 (ja) * 2012-06-26 2014-12-03 京セラドキュメントソリューションズ株式会社 表示入力装置および画像形成装置
US9342162B2 (en) * 2013-01-29 2016-05-17 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5776725B2 (ja) * 2013-05-14 2015-09-09 コニカミノルタ株式会社 画像処理連携システム、携帯端末装置、画像処理連携方法及び画像処理連携プログラム
TWI533179B (zh) * 2013-10-25 2016-05-11 緯創資通股份有限公司 光學觸控系統、觸控偵測方法及電腦程式產品
TWI502474B (zh) * 2013-11-28 2015-10-01 Acer Inc 使用者介面的操作方法與電子裝置
KR20160114158A (ko) * 2014-01-28 2016-10-04 후아웨이 디바이스 컴퍼니 리미티드 단말 장치를 처리하는 방법 및 단말 장치
JPWO2015181680A1 (ja) * 2014-05-30 2017-04-20 株式会社半導体エネルギー研究所 情報処理装置
TWI641986B (zh) * 2014-06-01 2018-11-21 美商英特爾公司 用於判定使用者之數目與他們相對於一裝置之個別位置的方法、電子裝置及電腦可讀媒體
JP6344083B2 (ja) * 2014-06-20 2018-06-20 カシオ計算機株式会社 マルチタッチシステム、タッチ座標ペア決定方法及びタッチ座標ペア決定プログラム
JP6255321B2 (ja) * 2014-08-20 2017-12-27 アルプス電気株式会社 情報処理装置とその指先操作識別方法並びにプログラム
CN104461357A (zh) * 2014-11-28 2015-03-25 上海斐讯数据通信技术有限公司 一种信息条目处理方法及移动终端
CN104808894A (zh) * 2015-03-30 2015-07-29 深圳市金立通信设备有限公司 一种终端
CN104808895A (zh) * 2015-03-30 2015-07-29 深圳市金立通信设备有限公司 一种图标整理方法
CN106168864A (zh) 2015-05-18 2016-11-30 佳能株式会社 显示控制装置以及显示控制方法
US9665769B2 (en) * 2015-08-18 2017-05-30 International Business Machines Corporation Handwriting recognition with natural user input on multitouch surfaces
JP5993511B1 (ja) * 2015-10-15 2016-09-14 株式会社東海理化電機製作所 操作装置
CN105511675B (zh) * 2015-11-20 2020-07-24 重庆桔子科技发展有限公司 触摸控制方法、用户设备、输入处理方法、移动终端及智能终端
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
WO2017168850A1 (ja) * 2016-03-30 2017-10-05 京セラドキュメントソリューションズ株式会社 表示制御装置
JP6024848B1 (ja) 2016-05-06 2016-11-16 富士ゼロックス株式会社 情報処理装置及びプログラム
CN106909296A (zh) * 2016-06-07 2017-06-30 阿里巴巴集团控股有限公司 数据的提取方法、装置及终端设备
CN105867829B (zh) * 2016-06-15 2019-05-17 维沃移动通信有限公司 一种控制终端显示界面切换的方法及终端
CN107885671B (zh) * 2016-09-30 2021-09-14 华为技术有限公司 一种非易失性内存的持久化方法和计算设备
KR102647885B1 (ko) * 2016-10-10 2024-03-15 삼성전자주식회사 전자 장치와 그 제어 방법 및 디스플레이 장치
US11023050B2 (en) 2016-11-25 2021-06-01 Sony Corporation Display control device, display control method, and computer program
JP7103782B2 (ja) * 2017-12-05 2022-07-20 アルプスアルパイン株式会社 入力装置および入力制御装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
JP2005301693A (ja) * 2004-04-12 2005-10-27 Japan Science & Technology Agency 動画編集システム
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
JP4903371B2 (ja) * 2004-07-29 2012-03-28 任天堂株式会社 タッチパネルを用いたゲーム装置およびゲームプログラム
US20070046643A1 (en) * 2004-08-06 2007-03-01 Hillis W Daniel State-Based Approach to Gesture Identification
JP2007128497A (ja) * 2005-10-05 2007-05-24 Sony Corp 表示装置および表示方法
US7855718B2 (en) * 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US7643011B2 (en) * 2007-01-03 2010-01-05 Apple Inc. Noise detection in multi-touch sensors
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
JP5161690B2 (ja) * 2008-07-31 2013-03-13 キヤノン株式会社 情報処理装置及びその制御方法
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8683390B2 (en) * 2008-10-01 2014-03-25 Microsoft Corporation Manipulation of objects on multi-touch user interface
KR101586627B1 (ko) * 2008-10-06 2016-01-19 삼성전자주식회사 멀티 터치를 이용한 리스트 관리 방법 및 장치
JP4766101B2 (ja) * 2008-11-10 2011-09-07 ソニー株式会社 触行動認識装置及び触行動認識方法、情報処理装置、並びにコンピューター・プログラム
KR101568129B1 (ko) * 2008-11-20 2015-11-11 삼성전자주식회사 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서 태그 정보 표시 방법
US8219937B2 (en) * 2009-02-09 2012-07-10 Microsoft Corporation Manipulation of graphical elements on graphical user interface via multi-touch gestures
JP5377143B2 (ja) * 2009-07-29 2013-12-25 京セラ株式会社 携帯電子機器
TWI498786B (zh) * 2009-08-24 2015-09-01 Semiconductor Energy Lab 觸控感應器及其驅動方法與顯示裝置
US8587532B2 (en) * 2009-12-18 2013-11-19 Intel Corporation Multi-feature interactive touch user interface
KR101058612B1 (ko) * 2009-12-28 2011-08-22 박원주 멀티터치가 가능한 터치스크린을 이용한 화상의 색 보정 방법
US8717317B2 (en) * 2010-02-22 2014-05-06 Canon Kabushiki Kaisha Display control device and method for controlling display on touch panel, and storage medium
JP5534857B2 (ja) * 2010-02-22 2014-07-02 キヤノン株式会社 表示制御装置及び表示制御装置の制御方法
US20110296333A1 (en) * 2010-05-25 2011-12-01 Bateman Steven S User interaction gestures with virtual keyboard
US9092089B2 (en) * 2010-09-15 2015-07-28 Advanced Silicon Sa Method for detecting an arbitrary number of touches from a multi-touch device
US9430140B2 (en) * 2011-05-23 2016-08-30 Haworth, Inc. Digital whiteboard collaboration apparatuses, methods and systems
US8913019B2 (en) * 2011-07-14 2014-12-16 Microsoft Corporation Multi-finger detection and component resolution

Also Published As

Publication number Publication date
CN103309605B (zh) 2019-07-19
US20130234957A1 (en) 2013-09-12
CN103309605A (zh) 2013-09-18
JP2013186540A (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
JP5978660B2 (ja) 情報処理装置及び情報処理方法
US9405404B2 (en) Multi-touch marking menus and directional chording gestures
CN107077197B (zh) 3d可视化图
US8473862B1 (en) Organizational tools on a multi-touch display device
US20150338942A1 (en) Definition and use of node-based shapes, areas and windows on touch screen devices
US9696882B2 (en) Operation processing method, operation processing device, and control method
US20130125069A1 (en) System and Method for Interactive Labeling of a Collection of Images
CN104380234B (zh) 图标移动方法、装置和电子设备
KR101735442B1 (ko) 표시장치에서 객체의 오리엔테이션을 조작하기 위한 장치 및 방법
JP5664147B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20120085783A (ko) 인간-컴퓨터의 상호작용을 위한 인터페이스 및 그 방법
EP2426589A2 (en) Electronic device, computer-implemented method and computer-implemented computer-readable storage medium
EP2717133A2 (en) Terminal and method for processing multi-point input
JP6248462B2 (ja) 情報処理装置及びプログラム
US10853318B2 (en) Method and system for displaying and interacting with digital content stored in a computer system utilizing concentric interface
Forlines et al. Glimpse: a novel input model for multi-level devices
US10073612B1 (en) Fixed cursor input interface for a computer aided design application executing on a touch screen device
CN104820584B (zh) 一种面向层次化信息自然操控的3d手势界面的构建方法及系统
JP6711616B2 (ja) グラフィック要素の選択
KR20160010993A (ko) 객체 편집 방법 및 이를 이용한 화상 표시 장치
US10386997B2 (en) Integrating functions for a user input device
JP6213120B2 (ja) ファイル表示装置及びプログラム
JP5860526B2 (ja) メニュー表示装置、メニュー表示制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160711

R151 Written notification of patent or utility model registration

Ref document number: 5978660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees