JP6350261B2

JP6350261B2 - オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法

Info

Publication number: JP6350261B2
Application number: JP2014254846A
Authority: JP
Inventors: 俊介 ▲高▼村; 真也荻布; 一真竹内; 星野　徳子; 徳子星野; 郁子坪谷; 河渕　洋一; 洋一河渕; 香美森脇
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2014-12-17
Filing date: 2014-12-17
Publication date: 2018-07-04
Anticipated expiration: 2034-12-17
Also published as: JP2016115231A; US20160179289A1; EP3035186A1

Description

本発明は、オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法に関し、特に、マルチタッチによる操作が可能なオブジェクト操作システム及び当該システムにおけるマルチタッチ操作を識別するオブジェクト操作制御プログラム並びにオブジェクト操作制御方法に関する。

近年、複数のユーザが利用可能な表示画面（共有画面と呼ぶ。）を用い、その共有画面に文字や図形、画像などの表示要素（以下、オブジェクトと呼ぶ。）を書き込んで議論する電子会議等が行われている。このような共有画面では、複数のユーザが様々なオブジェクトを書き込んだり、複数のオブジェクトをグループ化したり、オブジェクトやグループを共有画面内で任意の場所に移動したり、拡大／縮小（以下、拡縮と言う。）したりすることができる。特に、共有画面がマルチタッチに対応したタッチパネルで構成されている場合は、マルチタッチ操作により、オブジェクトやグループに対して様々な操作を行うことができる。

マルチタッチ操作に関する技術として、例えば、下記特許文献１には、タッチパネルを装備し、前記タッチパネル上で、指によるタッチ箇所をスライドさせて、表示画面をスクロールさせるスクロール装置において、前記タッチ箇所が同時に複数箇所であることを検知して、スクロール指示を判断し、表示画面をスクロールさせる制御装置を有するスクロール装置が開示されている。

特開平１１−１０２２７４号公報

上記特許文献１は、指によるスクロール操作をオブジェクト操作と区別することを課題としており、１本指によるタッチを検出した場合にはオブジェクト操作と判断し、複数本の指によるタッチを検出した場合にはスクロール操作と判断している。すなわち、シングルタッチかマルチタッチかに応じて操作を切り替えることによって、オブジェクトに対する様々な操作を可能にしている。

しかしながら、実際にユーザが使用する場面を考えると、大きなオブジェクトを操作する場合には、自然に複数本の指を使ってしまう傾向があり、この時に誤操作となってしまう場合がある。また、１つの画面に対して複数人で同時に操作を行う場合には、特許文献１のように画面全体で指の本数を判断すると、ユーザの意図と反する操作となってしまう場合がある。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、マルチタッチ操作を適切に判断することができるオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法を提供することにある。

本発明の一側面は、画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付け、前記タッチ操作に応じた情報を出力する操作部と、前記表示部及び前記操作部を制御する制御部と、を備え、前記制御部は、前記操作部から出力される前記情報に基づいて、前記画面上で３点以上の複数点が同時にタッチされるマルチタッチ操作を識別し、前記マルチタッチ操作が行われた場合に、２点以上の所定数のタッチが、１つのオブジェクト上又は複数のオブジェクトがグループ化されたオブジェクト群の領域上に位置するか否かに応じて、操作対象を判定し、前記所定数の内の少なくとも１つのタッチの位置が変化した場合に、前記操作対象に対して、前記タッチの位置の変化に応じた操作を実行することを特徴とする。

本発明の一側面は、画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付け、前記タッチ操作に応じた情報を出力する操作部と、を備えるタッチパネルを制御する装置で動作するオブジェクト操作制御プログラムであって、前記装置に、前記操作部から出力される前記情報に基づいて、前記画面上で３点以上の複数点が同時にタッチされるマルチタッチ操作を識別し、前記マルチタッチ操作が行われた場合に、２点以上の所定数のタッチが、１つのオブジェクト上又は複数のオブジェクトがグループ化されたオブジェクト群の領域上に位置するか否かに応じて、操作対象を判定する第１処理、前記所定数の内の少なくとも１つのタッチの位置が変化した場合に、前記操作対象に対して、前記タッチの位置の変化に応じた操作を実行する第２処理、を実行させることを特徴とする。

本発明の一側面は、画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付け、前記タッチ操作に応じた情報を出力する操作部と、前記表示部及び前記操作部を制御する制御部と、を備えるシステムにおけるオブジェクト操作制御方法であって、前記制御部は、前記操作部から出力される前記情報に基づいて、前記画面上で３点以上の複数点が同時にタッチされるマルチタッチ操作を識別し、前記マルチタッチ操作が行われた場合に、２点以上の所定数のタッチが、１つのオブジェクト上又は複数のオブジェクトがグループ化されたオブジェクト群の領域上に位置するか否かに応じて、操作対象を判定する第１処理と、前記所定数の内の少なくとも１つのタッチの位置が変化した場合に、前記操作対象に対して、前記タッチの位置の変化に応じた操作を実行する第２処理と、を実行することを特徴とする。

本発明のオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法によれば、マルチタッチ操作を適切に判断することができる。

その理由は、オブジェクトを表示する表示部とタッチ操作を受け付ける操作部とを備えるタッチパネルと、制御部と、を備えるシステムにおいて、制御部は、３点以上のマルチタッチ操作が行われた時、マルチタッチの内の所定数のタッチが１つのオブジェクト上又はグループ化されたオブジェクト群の領域上に位置するか否かに応じて操作対象を判定し、判定した操作対象に対して、マルチタッチのタッチ位置の変化に応じた操作を実行するからである。

本発明の第１の実施例に係るオブジェクト操作システムの外観構成を示す模式図である。本発明の第１の実施例に係るオブジェクト操作システムの他の外観構成を示す模式図である。本発明の第１の実施例に係るオブジェクト操作システムの構成を示すブロック図である。本発明の第１の実施例に係るオブジェクト操作システムの検出部の一例を示す模式図である。本発明の第１の実施例に係るオブジェクト操作システムの検出部の他の例を示す模式図である。本発明の第１の実施例に係るオブジェクト操作システムの処理を示すフローチャート図である。本発明の第１の実施例に係るタッチグループの作成例を示す図である。本発明の第１の実施例に係るマルチタッチの検出方法を説明する図である。本発明の第１の実施例に係るタッチグループの一例を示す図である。本発明の第１の実施例に係るマルチタッチ操作の一例を示す模式図である。本発明の第１の実施例に係るマルチタッチ操作の他の例を示す模式図である。本発明の第１の実施例に係るマルチタッチ操作の他の例を示す模式図である。本発明の第１の実施例に係るマルチタッチ操作の他の例を示す模式図である。本発明の第２の実施例に係るオブジェクト操作システムの処理を示すフローチャート図である。本発明の第２の実施例に係るマルチタッチ操作の一例を示す模式図である。本発明の第２の実施例に係るマルチタッチ操作の他の例を示す模式図である。本発明の第２の実施例に係るマルチタッチ操作の他の例を示す模式図である。本発明の第２の実施例に係るマルチタッチ操作の他の例を示す模式図である。本発明の第３の実施例に係るオブジェクト操作システムの処理を示すフローチャート図である。本発明の第３の実施例に係るマルチタッチ操作の一例を示す模式図である。

背景技術で示したように、共有画面に表示した文字や図形、画像などのオブジェクトやグループを操作して議論を行う場合、オブジェクトやグループを移動したり拡縮したりするなど、オブジェクトやグループに対する様々な操作が行われる。特に、共有画面がマルチタッチに対応したタッチパネルで構成されている場合は、マルチタッチ操作により、オブジェクトやグループに対して様々な操作を行うことができる。

ここで、実際にユーザが共有画面に表示されている大きなオブジェクトを操作する場面では、ユーザは自然に複数本の指を使ってオブジェクトを操作する傾向があり、意図せずに複数本の指がオブジェクトにタッチしてしまった場合には誤操作となってしまう場合がある。また、１つの共有画面に対して複数のユーザが同時に操作を行う場合には、特許文献１のように画面全体で指の本数を判断すると、ユーザの意図に反する操作が行われる場合がある。例えば、あるユーザが１本指でタッチしてオブジェクト操作を行おうとしても、他のユーザが画面にタッチしていれば、画面全体で指の本数は複数になるためにスクロール操作となってしまう。

そこで、本発明の一実施の形態では、画面上に配置された複数のオブジェクトをマルチタッチにより操作するシステムにおいて、３点以上のマルチタッチの内の所定数のタッチが１つのオブジェクト上又はグループ化されたオブジェクト群の領域上に位置するか否かに応じて操作対象を判定し、所定数のタッチが１つのオブジェクト上又はオブジェクト群の領域上に位置する場合には、そのオブジェクト又はオブジェクト群に対して、マルチタッチのタッチ位置の変化に応じた操作を実行するようにする。これにより、ユーザの意図に合った操作を実行することができる。

また、必要に応じて、マルチタッチを検出した際に、指の本数を判定する範囲を一定範囲内に区切り、複数の指がどこに位置するのかに応じてタッチグループを設定し、タッチグループ毎に操作対象を判定する。これにより、複数の並行操作に対応することができ、１つの画面での複数人の同時操作が可能となる。

また、必要に応じて、判定した操作対象を識別可能に表示する。これにより、複数の並行操作における操作の競合を回避する（例えば、オブジェクト操作中に全体をスクロールされてしまうといった不具合を防ぐ）ことができ、ユーザの意図と異なる場合に操作の修正を促すことができる。

上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係るオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法について、図１乃至図１３を参照して説明する。図１及び図２は、本実施例のオブジェクト操作システムの外観構成を示す模式図であり、図３は、オブジェクト操作システムの構成を示すブロック図、図４及び図５は、検出部の一例を示す模式図である。また、図６は、オブジェクト操作システムの処理を示すフローチャート図であり、図７は、タッチグループの作成例を示す図、図８は、マルチタッチの検出方法を説明する図である。また、図９は、タッチグループの一例を示す図であり、図１０乃至図１３は、マルチタッチ操作の一例を示す模式図である。

なお、本発明は、操作者が１人の場合及び複数の場合の双方に適用可能であるが、本明細書では、複数の操作者が操作可能な共有作業領域を有するシステムについて説明する。このシステムの形態としては以下の２つが考えられる。第１の形態は、図１に示すように、オブジェクトを表示する表示部４０とタッチ操作を受け付ける操作部５０とを有するタッチパネルと、タッチ操作の状態を検出（例えば、タッチ操作を行う手を撮像）する検出部６０と、これらを制御する制御部２０と、が一体となった装置で構成される形態である。第２の形態は、図２に示すように、表示部４０と操作部５０とを有するタッチパネル及び検出部６０と、これらを制御する制御部２０と、が別々に構成され、それらが有線又は無線で接続される形態である。以下では、説明を簡単にするために図１の第１の形態を前提にして説明する。

本実施形態のオブジェクト操作システム１０は、演算機能を備えた表示パネル、電子黒板などであり、図３（ａ）に示すように、制御部２０と記憶部３０と表示部４０と操作部５０と検出部６０などで構成される。

制御部２０は、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２やＲＡＭ（Random Access Memory）２３などのメモリと、で構成され、ＣＰＵ２１は、ＲＯＭ２２や記憶部３０から制御プログラムを呼び出し、ＲＡＭ２３に展開して実行することにより、オブジェクト操作システム１０全体の動作を制御する。また、制御部２０は、図３（ｂ）に示すように、判定部２０ａ、処理部２０ｂとしても機能する。

判定部２０ａは、操作部５０からの情報（タッチ位置の情報）に基づいて、１点のタッチによるタッチ操作（シングルタッチ操作）と複数点のタッチによるタッチ操作（マルチタッチ操作）とを識別する。そして、マルチタッチ操作が行われた場合は、各点のタッチ位置とオブジェクトの表示位置とを比較し、マルチタッチ操作の複数のタッチの内の所定数（例えば、全タッチ数や過半数）のタッチが１つのオブジェクト上に位置する場合は、そのオブジェクトを操作対象と判定する。また、必要に応じて、１つのオブジェクト上のタッチ数に応じて操作の種類を判定する。そして、判定結果（操作対象及び必要に応じて操作の種類）を処理部２０ｂに通知する。

また、判定部２０ａは、操作対象を正確に判定するために、複数のタッチをタッチグループに分類する。例えば、タッチ位置が所定の範囲内の１又は複数のタッチをタッチグループとして設定する。また、検出部６０が撮像した手の画像に基づいて、各々のタッチを行う手を判定し、同じ手によるタッチをタッチグループとして設定する。また、検出部６０は、タッチ操作を行う操作者を検知して当該操作者に関する情報を生成する操作者検出部としても機能する。具体的には、各操作者の手を撮像した画像を解析し、手の大きさや形、しわなどの特徴点を抽出したパターンを記憶しておき、検出部６０から取得した手の画像と予め記憶したパターンとを比較することによって、各々のタッチを行う操作者を判定し、同じ操作者によるタッチをタッチグループとして設定する。

なお、操作者を特定する方法は上記に限らず、例えば、検出部６０が画面の背面から撮影した画像を解析して指紋を抽出し、操作者毎の指紋のパターンを記憶しておき、検出部６０から取得した指の画像と予め記憶したパターンとを比較することによっても、タッチ操作を行う操作者を判定することができる。また、人体通信を利用して、人体（誘電体）を通信媒体として流れる微弱な電流を、タッチパネルや別途設けた検出器などで検出することによっても、タッチ操作を行う操作者を判定することができる。

処理部２０ｂは、操作部５０の操作に応じて、表示部４０に手書きのオブジェクトを表示させたり、記憶部３０からオブジェクトのデータを取得して、表示部４０にオブジェクトを表示させたりする。また、処理部２０ｂは、判定部２０ａが判定した操作対象に対して、タッチ位置の変化に応じた操作を実行して、オブジェクトの表示状態を変化させる。例えば、判定部２０ａがシングルタッチ操作と判定した場合は、表示部４０の画面上のタッチ位置に表示されているオブジェクトを、タッチ位置の変化に応じて移動させる。また、判定部２０ａがマルチタッチ操作と判定し、オブジェクトを操作対象と判定した場合は、そのオブジェクトをタッチ位置の変化に応じて移動したり拡縮したりする。また、判定部２０ａがオブジェクトを操作対象と判定しなかった場合は、表示部４０の画面に表示されている全てのオブジェクトをタッチ位置の変化に応じて移動したり拡縮したりする。

また、処理部２０ｂは、操作の種類を正確に判定するために、必要に応じて、マルチタッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かを判定する。両手マルチタッチ操作か片手マルチタッチ操作かを判別する手法は特に限定されないが、例えば、一方又は双方の手の任意の複数の指でタッチした時の画像を取得し、各々の画像の特徴点（大きさや形、しわなど）を抽出したパターンを記憶しておき、検出部６０から取得した手の画像と予め記憶したパターンとを比較することによって、両手マルチタッチ操作か片手マルチタッチ操作かを判定することができる。

また、一方又は双方の手の任意の複数の指でタッチした時の各々のタッチ位置のタッチ面積及びタッチ圧力を取得し、タッチ面積とタッチ圧力の組み合わせパターンを記憶しておき、操作部５０から取得したタッチ面積及びタッチ圧力と予め記憶した組み合わせパターンとを比較することによって、両手マルチタッチ操作か片手マルチタッチ操作かを判定することができる。例えば、両手でタッチする場合は同じ指を使用する場合が多く、両手の同じ指でタッチする場合、タッチ面積やタッチ圧力はほぼ等しくなる。一方、片手の異なる指でタッチする場合、タッチ面積やタッチ圧力は異なるため、タッチ面積とタッチ圧力の組み合わせにより、両手マルチタッチ操作か片手マルチタッチ操作かを判定することができる。この場合、マルチタッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かは操作部５０からの情報に基づいて判定することができるため、検出部６０を省略することができる。

なお、本発明における拡縮とは、オブジェクトの縦横の比率を一定に保った状態で（すなわち、相似形で）サイズを大きく若しくは小さくすること、及び、オブジェクトの縦横の比率を変えてサイズを大きく若しくは小さくすること（いわゆる変形）の双方を含む。

また、上記判定部２０ａ及び処理部２０ｂは、ハードウェアとして構成してもよいし、制御部２０を、判定部２０ａ及び処理部２０ｂとして機能させるソフトウェア（操作制御プログラム）として構成し、この操作制御プログラムをＣＰＵ２１に実行させるようにしてもよい。

記憶部３０は、メモリやＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などで構成され、操作部５０で行われた操作の内容（タッチ位置やタッチ操作の種類の情報など）、表示部４０に表示されているオブジェクトに関する情報（オブジェクトのデータ、オブジェクトを識別する番号、グループを構成するオブジェクトの情報など）、タッチ操作が両手マルチタッチ操作か片手マルチタッチ操作かを判定するためのパターンなどを記憶する。

表示部４０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどで構成され、複数の操作者がオブジェクトを操作可能な共有作業領域を提供する。操作部５０は、表示部４０上に配置された格子状の電極からなるタッチセンサ、ハードキーなどで構成され、ユーザの操作を受け付ける。そして、表示部４０と操作部５０とでタッチパネルが構成され、タッチパネル上のタッチ操作に応じた信号を判定部２０ａ及び処理部２０ｂに出力する。

検出部６０は、ＣＣＤ（Charge Coupled Devices）カメラなどで構成され、可視光や赤外線を用いてタッチ操作を行っている手を撮像し、撮像した画像データ若しくは画像データを処理したデータ（例えば画像の輪郭を抽出したデータなど）を判定部２０ａ及び処理部２０ｂに出力する。この検出部６０は、タッチ操作を行っている手を撮像可能であれば、その構成や配置は特に限定されない。例えば、タッチパネルが光透過性を有する場合は、図４に示すように、検出部６０はタッチパネルの背面に配置され、タッチパネルの裏面側からタッチ操作を行っている手を撮像する。この様なシステムとしては、Microsoft（登録商標）社のPixelSense（登録商標）、MultiTouch社のMultiTaction（登録商標）などがある。また、タッチパネルが光透過性を持たない場合や既存のタッチパネルを利用する場合は、図５に示すように、検出部６０はタッチパネルの正面や側面に配置され、タッチパネルの表面側からタッチ操作を行っている手を撮影する。なお、本実施形態では、検出部６０をタッチパネルとは別に設けているが、検出部６０はタッチパネルと一体の構成としても良い。

以下、本実施例のオブジェクトの操作制御方法について説明する。ＣＰＵ２１は、ＲＯＭ２２又は記憶部３０に記憶した操作制御プログラムをＲＡＭ２３に展開して実行することにより、図６のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、予め複数のオブジェクトが表示部４０（タッチパネル）に表示されているものとする。

まず、制御部２０（判定部２０ａ）は、検出部６０から出力される信号に基づいてタッチが行われたかを判断する（Ｓ１０１）。タッチが行われたら（Ｓ１０１のＹｅｓ）、制御部２０（判定部２０ａ）は、検出部６０から出力される信号に基づいて、タッチが複数点かどうかを判断する（Ｓ１０２）。

タッチが複数点の場合は、制御部２０（判定部２０ａ）は、複数のタッチを一定の範囲毎のグループに分類する（Ｓ１０３）。グループに分割する方法としては、以下の２つの方法がある。

第１の方法は、図７に示すように、画面上で一定距離内に入っているタッチ（白抜きの黒丸で表記）を１つのグループとする方法である。例えば、図７のタッチ１〜３は、各々の距離が予め定めた閾値以下であるため（実線で表記）、１つのグループ（タッチグループ１）とし、図７のタッチ４は、他のタッチとの距離が閾値を超えるため（破線で表記）、別のグループ（タッチグループ２）とする。なお、図７では、タッチ４が、タッチ１〜３のいずれに対してもタッチ間の距離が閾値を超える場合を示しているが、例えば、タッチ４がタッチ１の上方にあり、タッチ１との距離が閾値以下で、タッチ２、３との距離が閾値を超える場合は、タッチ４はタッチグループ１として扱ってもよいし、タッチグループ１とは別のタッチグループとして扱ってもよい。

第２の方法は、図８に示すように、画面の背面や側面、正面に配置した検出部６０が撮像した画像を解析して手の影７５ａを抽出し、手の影７５ａとタッチ位置との関係に基づいてグループに分類する方法である。この方法の場合、例えば、図９（ａ）に示すように、手７５ごとに一定範囲内のタッチ７３をタッチグループ７４としてまとめたり、図９（ｂ）に示すように、操作者ごとに一定範囲内のタッチ７３をタッチグループ７４としてまとめたりすることができる。なお、操作者ごとにグループ化する場合、手の影７５ａでは他人の手と混同する恐れがある。そのような場合は、検出部６０が画面の正面や側面から撮影した画像を解析して手の大きさや形、色、しわなどを抽出し、予め記憶した操作者ごとの情報と比較して操作者を識別したり、画面の背面から撮影した画像を解析して指紋を抽出し、予め記憶した操作者ごとのパターンと比較して操作者を識別したり、人体通信を利用して操作者を識別したりすることができる。

図６のフローチャート図に戻って、制御部２０（判定部２０ａ）は、各々のタッチグループが複数のタッチで構成されているかを判断し（Ｓ１０４）、複数タッチの場合は、所定数のタッチが１つのオブジェクト上にあるかを判断する（Ｓ１０５）。所定数のタッチが１つのオブジェクト上にある場合は、制御部２０（判定部２０ａ）は、オブジェクトが操作対象であると判定し、制御部２０（処理部２０ｂ）は、タッチされたオブジェクトをタッチ位置の変化に応じて操作する（Ｓ１０６）。一方、所定数のタッチが１つのオブジェクト上にない場合は、制御部２０（判定部２０ａ）は、画面全体が操作対象であると判定し、制御部２０（処理部２０ｂ）は、画面上の全てのオブジェクトをタッチ位置の変化に応じて操作する（Ｓ１０７）。

また、Ｓ１０２でタッチが１つの場合、若しくは、Ｓ１０４でタッチグループが１つのタッチの場合は、制御部２０（判定部２０ａ）は、そのタッチがオブジェクト上にあるかを判断する（Ｓ１０８）。タッチがオブジェクト上にある場合は、制御部２０（判定部２０ａ）は、オブジェクトが操作対象であると判定し、制御部２０（処理部２０ｂ）は、タッチされたオブジェクトをタッチ位置の変化に応じて操作する（Ｓ１０９）。一方、タッチがオブジェクト上にない場合は、制御部２０（判定部２０ａ）は、オブジェクトに対する操作ではないと判断し、制御部２０（処理部２０ｂ）は、その操作を無視する。

その際、オブジェクト以外の領域での１本指操作は他の操作（囲んで複数選択する）に割り当てられているため、オブジェクト外をドラッグしての画面操作は不可とする。また、長押しの有無によって操作を切り替えることも可能であるが、長押しも別操作（長押しして囲むとグループ化）が割り当てており、また、画面のスクロールは複数回連続して行われる操作であり、これに長押しを割り当てると操作性を著しく損なうため、使用不可とする。

なお、オブジェクトを操作対象として操作を実行している間、そのオブジェクトを包含する操作対象（オブジェクトを包含するオブジェクト群）に対する操作は無効とする。例えば、制御部２０（処理部２０ｂ）は、タッチ位置が変化しても、そのオブジェクトを包含する操作対象に対する操作を行わないようにする。また、制御部２０（判定部２０ａ）は、そのオブジェクトを包含する対象に対してマルチタッチ操作が行われたら、そのオブジェクトに対して現在、操作が実行されている旨の警告を行ってもよいし、そのオブジェクトを包含する対象に対して操作対象の判定を行わないようにしてもよい。

以下、本実施例のマルチタッチ操作の制御について、図１０乃至図１３を参照して具体的に説明する。

図１０は、上記所定数を５本の指の全タッチ数とし、片手マルチタッチでドラッグ操作を行う場合の例を示している。例えば、図１０（ａ）の左図に示すように、タッチグループ（ここでは右手の５個のタッチ）の一部のタッチ７３が１つのオブジェクト７０上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチがオブジェクト７０上にはないため、図１０（ａ）の右図に示すように、画面７２内の全てのオブジェクト７０を操作対象とし、タッチ位置の移動距離に応じて、画面をスクロールして全てのオブジェクト７０を移動させる（図６のＳ１０７の処理）。その際、全てのオブジェクト７０が操作対象となっていることをユーザに知らせるために、オブジェクト７０を点滅させたり、オブジェクト７０の枠を太くしたりするなど、オブジェクト７０を識別可能に強調表示してもよく、操作対象を識別可能に強調表示することによって誤操作を未然に防止することができる。以下、本実施例では、強調表示として、操作対象となっているオブジェクト７０の枠線を太く表記する。

なお、図１０（ｂ）の左図に示すように、タッチグループのいずれのタッチ７３もオブジェクト上にない場合、図１０（ａ）の右図と同様に、画面７２内の全てのオブジェクト７０を操作対象として、タッチ位置の移動距離に応じて、全てのオブジェクト７０を移動させてもよいし、操作を無視してもよいし、所定の操作（画面内の全てのオブジェクトを選択する操作など）を行ってもよい。

一方、図１０（ｃ）の左図に示すように、タッチグループの全てのタッチ７３が１つのオブジェクト７０上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチがオブジェクト７０上にあるため、図１０（ｃ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の移動距離に応じて、そのオブジェクト７０を移動させる（図６のＳ１０６の処理）。その際、上記と同様に、１つのオブジェクト７０が操作対象となっていることをユーザに知らせるために、オブジェクト７０を点滅させたり、オブジェクト７０の枠を太くしたりするなど、オブジェクト７０を識別可能に強調表示してもよく、操作対象を識別可能に強調表示することによって誤操作を未然に防止することができる。

図１１は、上記所定数を５本の指の過半数である３とし、片手マルチタッチでドラッグ操作を行う場合の例を示している。例えば、図１１（ａ）の左図に示すように、タッチグループ（ここでは右手の５個のタッチ）の２つのタッチが１つのオブジェクト７０上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチがオブジェクト７０上にないため、図１１（ａ）の右図に示すように、画面７２内の全てのオブジェクト７０を操作対象とし、タッチ位置の移動距離に応じて、画面をスクロールして全てのオブジェクト７０を移動させる（図６のＳ１０７の処理）。

一方、図１１（ｂ）の左図に示すように、タッチグループの３つのタッチが１つのオブジェクト７０上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチがオブジェクト７０上にあるため、図１１（ｂ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の移動距離に応じて、そのオブジェクト７０を移動させる（図６のＳ１０６の処理）。

図１２は、所定数を１０本の指の全タッチ数とし、両手マルチタッチで拡縮操作を行う場合の例を示している。例えば、図１２（ａ）の左図に示すように、タッチグループ（ここでは両手の１０個のタッチ）の一部のタッチが１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作（ここではピンチアウト操作、以下同様）が行われた場合、所定数のタッチがオブジェクト７０上にはないため、図１２（ａ）の右図に示すように、画面７２内の全てのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、全てのオブジェクト７０を拡縮（ここでは拡大、以下同様）する（図６のＳ１０７の処理）。

一方、図１２（ｂ）の左図に示すように、タッチグループの全てのタッチ７３が１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト７０上にあるため、図１２（ｂ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、そのオブジェクト７０を拡縮する（図６のＳ１０６の処理）。

図１３は、所定数を１０本の指の過半数である６とし、両手マルチタッチで拡縮操作を行う場合の例を示している。例えば、図１３（ａ）の左図に示すように、タッチグループ（ここでは両手の１０個のタッチ）の４つのタッチ７３が１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト７０上にはないため、図１３（ａ）の右図に示すように、画面７２内の全てのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、全てのオブジェクト７０を拡縮する（図６のＳ１０７の処理）。

一方、図１３（ｂ）の左図に示すように、タッチグループの両手の６つのタッチ７３が１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト７０上にあるため、図１３（ｂ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、そのオブジェクト７０を拡縮する（図６のＳ１０６の処理）。

なお、両手マルチタッチ操作の場合、必ずしも各々の手で複数点をタッチする必要はない。例えば、図１３（ｃ）の左図に示すように、タッチグループの右手の５つのタッチ７３及び左手の１つのタッチ７３が１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合も、所定数のタッチがオブジェクト７０上にあるため、図１３（ｃ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、そのオブジェクト７０を拡縮する（図６のＳ１０６の処理）。

また、上記では、両手マルチタッチ操作の場合に両手のタッチ位置を変化させたが、一方の手のタッチ位置を固定して他方の手のタッチ位置のみを変化させてもよい。また、上記では、片手マルチタッチ操作の所定数を３、両手マルチタッチ操作の所定数を６としたが、この所定数は適宜設定可能である。また、上記では所定数のタッチがオブジェクト上にない場合は全てのオブジェクトを操作対象としたが、他のマルチタッチ操作と区別する場合はタッチ数に応じて操作対象を判定することもできる。例えば、オブジェクトに対する操作として２本指によるピンチ操作を含める場合は、タッチ数が３以上で所定数に満たない場合は全てのオブジェクトを操作対象とすることができる。

また、上記では、マルチタッチのタッチ位置の変化に応じて操作の種類を判定したが、片手マルチタッチ操作の場合はオブジェクトの移動、両手マルチタッチ操作の場合はオブジェクトの拡縮のように、タッチ数に応じて操作の種類を判定してもよい。

このように、マルチタッチ操作が行われた場合に、マルチタッチの内の所定数のタッチが１オブジェクト上に位置するか否かに応じて操作対象を切り替えることにより、オブジェクトを適切に操作することができ、ユーザの利便性を向上させることができる。

次に、本発明の第２の実施例に係るオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法について、図１４乃至図１８を参照して説明する。図１４は、オブジェクト操作システムの処理を示すフローチャート図であり、図１５乃至図１８は、マルチタッチ操作の一例を示す模式図である。

前記した第１の実施例では、マルチタッチの内の所定数のタッチがオブジェクト上にあるか否かに応じて操作対象を切り替える場合について記載したが、複数のオブジェクトがグループ化されてオブジェクト群が構成されている場合、マルチタッチの内の所定数のタッチがオブジェクト上にあるかオブジェクト群の領域上にあるかに応じて操作対象を切り替えることもできる。その場合、オブジェクト操作システムの構成は前記した第１の実施例の図１乃至図３と同様であるが、制御部２０の判定部２０ａ及び処理部２０ｂの動作は以下のようになる。

判定部２０ａは、シングルタッチ操作とマルチタッチ操作を判定し、マルチタッチ操作が行われたと判定した場合は、複数点のタッチ位置とオブジェクト又はグループ化されたオブジェクト群の領域の位置とを比較し、所定数のタッチが１つのオブジェクト上又はオブジェクト群の領域上に位置する場合は、そのオブジェクト又はオブジェクト群を操作対象と判定する。また、必要に応じて、１つのオブジェクト上又はオブジェクト群の領域上のタッチ数に応じて操作の種類を判定する。そして、判定結果（操作対象及び必要に応じて操作の種類）を処理部２０ｂに通知する。

処理部２０ｂは、判定部２０ａが判定した操作対象に対して、タッチ位置の変化に応じた操作を実行して、オブジェクトやオブジェクト群の表示状態を変化させる。例えば、判定部２０ａがシングルタッチ操作と判定した場合は、表示部４０の画面上のタッチ位置に表示されているオブジェクト又はオブジェクト群を、タッチ位置の変化に応じて移動させる。また、判定部２０ａがマルチタッチ操作と判定し、オブジェクト又はオブジェクト群を操作対象と判定した場合は、オブジェクト又はオブジェクト群を、マルチタッチのタッチ位置の変化に応じて移動したり拡縮したりする。また、判定部２０ａがオブジェクト又はオブジェクト群を操作対象と判定しなかった場合は、表示部４０の画面に表示されている全てのオブジェクトをマルチタッチのタッチ位置の変化に応じて移動したり拡縮したりする。

なお、本発明におけるオブジェクト群は、予め登録された１又は複数のオブジェクトで構成されるものとするが、所定範囲内の複数のオブジェクト（例えば、タッチされたオブジェクトを中心とする所定範囲内のオブジェクト）をオブジェクト群としてもよい。また、オブジェクトの種類に基づいてオブジェクト群を構成してもよいし、オブジェクトのサイズや色に基づいてオブジェクト群を構成してもよい。また、オブジェクトのデータが階層構造で管理されている場合は、同じ階層の１又は複数のオブジェクトをオブジェクト群としてもよい。また、オブジェクトが操作者に関連付けられている場合は、同じ操作者に関連付けられた１又は複数のオブジェクトをオブジェクト群としてもよい。また、本発明におけるオブジェクト群の領域は、オブジェクトの表示領域のみとしてもよいし、オブジェクト近傍を含む領域としてもよいが、本実施例ではオブジェクト近傍を含む領域とし、その領域の境界は識別可能に表示されているものとする。

以下、本実施例のオブジェクトの操作制御方法について説明する。ＣＰＵ２１は、ＲＯＭ２２又は記憶部３０に記憶した操作制御プログラムをＲＡＭ２３に展開して実行することにより、図１４のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、予め複数のオブジェクトが表示部４０（タッチパネル）に表示されており、任意の複数のオブジェクトが予めオブジェクト群として登録されているものとする。また、判定部２０ａが判定の基準とする所定数は３以上、全タッチ数以下の任意の整数とする。

まず、第１の実施例と同様に、制御部２０（判定部２０ａ）は、検出部６０から出力される信号に基づいてタッチが行われたかを判断する（Ｓ２０１）。タッチが行われたら（Ｓ２０１のＹｅｓ）、制御部２０（判定部２０ａ）は、複数のタッチを一定の範囲毎のグループに分類する（Ｓ２０２）。

次に、制御部２０（判定部２０ａ）は、各々のタッチグループに対して、タッチグループのタッチが３点以上であるかどうかを判断する（Ｓ２０３）。タッチが３点以上の場合は、所定数のタッチが１つのオブジェクト上にあるかを判断する（Ｓ２０４）。所定数のタッチが１つのオブジェクト上にある場合は、制御部２０（判定部２０ａ）は、オブジェクトが操作対象であると判定し、制御部２０（処理部２０ｂ）は、タッチされたオブジェクトをタッチ位置の変化に応じて操作する（Ｓ２０５）。

一方、所定数のタッチが１つのオブジェクト上にない場合は、制御部２０（判定部２０ａ）は、所定数のタッチがオブジェクト群の領域上にあるかを判断する（Ｓ２０６）。所定数のタッチがオブジェクト群の領域上にある場合は、制御部２０（判定部２０ａ）は、オブジェクト群が操作対象であると判定し、制御部２０（処理部２０ｂ）は、オブジェクト群をタッチ位置の変化に応じて操作する（Ｓ２０７）。所定数のタッチがオブジェクト群の領域上にない場合は、制御部２０（判定部２０ａ）は、そのオブジェクト群に対する操作ではないと判断し、制御部２０（処理部２０ｂ）は、オブジェクト群を操作しない（操作を無視する）。

また、Ｓ２０３でタッチが１〜２点の場合は、制御部２０（判定部２０ａ）は、そのタッチが１つのオブジェクト上にあるかを判断する（Ｓ２０８）。タッチが１つのオブジェクト上にある場合は、制御部２０（判定部２０ａ）は、そのオブジェクトが操作対象であると判定し、制御部２０（処理部２０ｂ）は、タッチされたオブジェクトをタッチ位置の変化に応じて操作する（Ｓ２０９）。一方、タッチがオブジェクト上にない場合は、制御部２０（処理部２０ｂ）は、オブジェクトを操作しない（操作を無視する）。

なお、オブジェクト又はオブジェクト群を操作対象として操作を実行している間、そのオブジェクト又はオブジェクト群を包含する対象（オブジェクトを包含するオブジェクト群や下位のオブジェクト群を包含する上位のオブジェクト群）に対する操作は無効とする。例えば、制御部２０（処理部２０ｂ）は、タッチ位置が変化しても、そのオブジェクト又はオブジェクト群を包含する操作対象に対する操作を行わないようにする。また、制御部２０（判定部２０ａ）は、そのオブジェクト又はオブジェクト群を包含する対象に対してマルチタッチ操作が行われたら、そのオブジェクト又はオブジェクト群に対して現在、操作が実行されている旨の警告を行ってもよいし、そのオブジェクト又はオブジェクト群を包含する対象に対して操作対象の判定を行わないようにしてもよい。

以下、本実施例のマルチタッチ操作の制御について、図１５乃至図１８を参照して具体的に説明する。

図１５は、上記所定数を５本の指の全タッチ数とし、片手マルチタッチでドラッグ操作を行う場合の例を示している。例えば、図１５（ａ）の左図に示すように、タッチグループ（ここでは右手の５個のタッチ）の全てのタッチ７３がオブジェクト群７１の領域上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあるため、図１５（ａ）の右図に示すように、オブジェクト群７１を操作対象とし、タッチ位置の移動距離に応じて、オブジェクト群７１を移動させる（図１４のＳ２０７の処理）。

また、図１５（ｂ）の左図に示すように、タッチグループの全てのタッチ７３が１つのオブジェクト群７１の領域上にあり、かつ、一部のタッチがオブジェクト７０上にある場合、所定数のタッチがオブジェクト群７１の領域上にあるが、所定数のタッチがオブジェクト７０上にないため、図１５（ｂ）の右図に示すように、上記と同様にオブジェクト群７１を操作対象とし、タッチ位置の移動距離に応じて、オブジェクト群７１を移動させる（図１４のＳ２０７の処理）。

一方、図１５（ｃ）の左図に示すように、タッチグループの全てのタッチ７３がオブジェクト群７１の中の１つのオブジェクト７０上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチが１つのオブジェクト７０上にあるため、図１５（ｃ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の移動距離に応じて、そのオブジェクト７０を移動させる（図１４のＳ２０５の処理）。この場合、オブジェクト群７１の中のオブジェクト７０同士の距離が離れるため、オブジェクト群７１の領域のサイズは大きくなる。

図１６は、所定数を５本の指の過半数である３とし、片手マルチタッチでドラッグ操作を行う場合の例を示している。例えば、図１６（ａ）の左図に示すように、タッチグループ（ここでは右手の５個のタッチ）の３つのタッチ７３がオブジェクト群７１の領域上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあるため、図１６（ａ）の右図に示すように、オブジェクト群７１を操作対象とし、タッチ位置の移動距離に応じて、オブジェクト群７１を移動させる（図１４のＳ２０７の処理）。

また、図１６（ｂ）の左図に示すように、タッチグループの４つのタッチ７３が１つのオブジェクト群７１の領域上、かつ、２つのタッチ７３が１つのオブジェクト７０上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあるが、所定数のタッチが１つのオブジェクト７０上にはないため、図１６（ｂ）の右図に示すように、上記と同様にオブジェクト群７１を操作対象とし、タッチ位置の移動距離に応じて、オブジェクト群７１を移動させる（図１４のＳ２０７の処理）。

一方、図１６（ｃ）の左図に示すように、タッチグループの４つのタッチ７３がオブジェクト群７１の領域上、かつ、３つのタッチ７３が１つのオブジェクト７０上にあり、タッチ位置を移動させるドラッグ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあり、かつ、所定数のタッチが１つのオブジェクト７０上にあるため、図１６（ｃ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の移動距離に応じて、そのオブジェクト７０を移動させる（図１４のＳ２０５の処理）。

図１７は、所定数を１０本の指の全タッチ数とし、両手マルチタッチで拡縮操作を行う場合の例を示している。例えば、図１７（ａ）の左図に示すように、タッチグループ（ここでは両手の１０個のタッチ）の全てのタッチがオブジェクト群７１の領域上にあり、両手のタッチ位置の間隔を変化させるピンチ操作（ここではピンチアウト操作、以下同様）が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあるため、図１７（ａ）の右図に示すように、オブジェクト群７１を操作対象とし、タッチ位置の間隔の変化に応じて、オブジェクト群７１を拡縮（ここでは拡大、以下同様）する（図１４のＳ２０７の処理）。

また、図１７（ｂ）の左図に示すように、タッチグループの全てのタッチ７３がオブジェクト群７１の領域上、かつ、２つのタッチ７３が１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあるが、所定数のタッチが１つのオブジェクト７０上にはないため、図１７（ｂ）の右図に示すように、上記と同様にオブジェクト群７１を操作対象とし、タッチ位置の間隔の変化に応じて、オブジェクト群７１を拡縮する（図１４のＳ２０７の処理）。

一方、図１７（ｃ）の左図に示すように、タッチグループの全てのタッチ７３がオブジェクト群７１の中の１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあり、かつ、所定数のタッチが１つのオブジェクト７０上にあるため、図１７（ｃ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、そのオブジェクトを拡縮する（図１４のＳ２０５の処理）。

図１８は、所定数を１０本の指の過半数である６とし、両手マルチタッチで拡縮操作を行う場合の例を示している。例えば、図１８（ａ）の左図に示すように、タッチグループ（ここでは両手の１０個のタッチ）の６つのタッチ７３がオブジェクト群７１の領域上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあるため、図１８（ａ）の右図に示すように、オブジェクト群７１を操作対象とし、タッチ位置の間隔の変化に応じて、オブジェクト群７１を拡縮する（図１４のＳ２０７の処理）。

また、図１８（ｂ）の左図に示すように、タッチグループの６つのタッチ７３がオブジェクト群７１の領域上、かつ、４つのタッチ７３が１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあるが、所定数のタッチが１つのオブジェクト７０上にはないため、図１８（ｂ）の右図に示すように、上記と同様にオブジェクト群７１を操作対象とし、タッチ位置の間隔の変化に応じて、オブジェクト群７１を拡縮する（図１４のＳ２０７の処理）。

一方、図１８（ｃ）の左図に示すように、タッチグループの８つのタッチ７３がオブジェクト群７１の領域上、かつ、６つのタッチ７３がオブジェクト群７１の中の１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあり、かつ、所定数のタッチが１つのオブジェクト７０上にあるため、図１８（ｃ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、そのオブジェクト７０を拡縮する（図１４のＳ２０５の処理）。

本実施例においても、両手マルチタッチ操作の場合、必ずしも各々の手が複数点でタッチする必要はない。例えば、図１８（ｄ）の左図に示すように、タッチグループの右手の５つのタッチ７３及び左手の１つのタッチ７３が１つのオブジェクト群７１の中のオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合も、所定数のタッチが１つのオブジェクト７０上にあるため、図１８（ｄ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、そのオブジェクト７０を拡縮する（図１４のＳ２０５の処理）。

なお、上記では、両手マルチタッチ操作の場合に両手のタッチ位置を変化させたが、一方の手のタッチ位置を固定して他方の手のタッチ位置のみを変化させてもよい。また、上記では、片手マルチタッチ操作の所定数を３、両手マルチタッチ操作の所定数を６としたが、この所定数は適宜設定可能である。また、上記では、指の本数が３本以上の場合はオブジェクト又はオブジェクト群を操作対象とし、指の本数が１〜２本の場合はオブジェクトを操作対象としたが、これは指１本によるドラッグ操作、指２本によるピンチ操作を含めるためであり、判断の基準とする指の本数は上記に限定されない。

また、上記では、マルチタッチのタッチ位置の変化に応じて操作の種類を判定したが、片手マルチタッチ操作の場合はオブジェクト又はオブジェクト群の移動、両手マルチタッチ操作の場合はオブジェクト又はオブジェクト群の拡縮のように、タッチ数に応じて操作の種類を判定してもよい。

このように、マルチタッチ操作が行われた場合に、マルチタッチの内の所定数のタッチがオブジェクト上かオブジェクト群の領域上かに応じて操作対象（オブジェクト／オブジェクト群）を切り替えることにより、オブジェクトやオブジェクト群を適切に操作することができ、ユーザの利便性を向上させることができる。

次に、本発明の第３の実施例に係るオブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法について、図１９及び図２０を参照して説明する。図１９は、オブジェクト操作システムの処理を示すフローチャート図であり、図２０は、マルチタッチ操作の一例を示す模式図である。

前記した第１の実施例では、操作対象を１つのオブジェクトにするか画面内の全てのオブジェクトにするかを切り替え、第２の実施例では、操作対象を１つのオブジェクトにするか１つのオブジェクト群にするか画面内の全てのオブジェクトにするかを切り替えたが、これらを組み合わせて制御することもできる。

以下、本実施例のオブジェクトの操作制御方法について説明する。ＣＰＵ２１は、ＲＯＭ２２又は記憶部３０に記憶した操作制御プログラムをＲＡＭ２３に展開して実行することにより、図１９のフローチャート図に示す各ステップの処理を実行する。なお、以下のフローにおいて、予め複数のオブジェクトが表示部４０（タッチパネル）に表示されており、任意の複数のオブジェクトが予めオブジェクト群として登録されているものとする。また、判定部２０ａが判定の基準とする所定数は３以上、全タッチ数以下の任意の整数とする。また、判定部２０ａが画面を操作対象とするかを判定するための基準となる数は５点以上とする。

まず、第２の実施例と同様に、制御部２０（判定部２０ａ）は、検出部６０から出力される信号に基づいてタッチが行われたかを判断する（Ｓ３０１）。タッチが行われたら（Ｓ３０１のＹｅｓ）、制御部２０（判定部２０ａ）は、複数のタッチを一定の範囲毎のグループに分類する（Ｓ３０２）。

次に、制御部２０（判定部２０ａ）は、各々のタッチグループに対して、タッチグループのタッチが３点以上であるかどうかを判断する（Ｓ３０３）。タッチが３点以上の場合は、所定数のタッチが１つのオブジェクト上にあるかを判断する（Ｓ３０４）。所定数のタッチが１つのオブジェクト上にある場合は、制御部２０（判定部２０ａ）は、オブジェクトが操作対象であると判定し、制御部２０（処理部２０ｂ）は、タッチされたオブジェクトをタッチ位置の変化に応じて操作する（Ｓ３０５）。

一方、所定数のタッチが１つのオブジェクト上にない場合は、制御部２０（判定部２０ａ）は、所定数のタッチがオブジェクト群の領域上にあるかを判断する（Ｓ３０６）。所定数のタッチがオブジェクト群の領域上にある場合は、制御部２０（判定部２０ａ）は、オブジェクト群が操作対象であると判定し、制御部２０（処理部２０ｂ）は、オブジェクト群をタッチ位置の変化に応じて操作する（Ｓ３０７）。

所定数のタッチがオブジェクト群の領域上にない場合は、制御部２０（処理部２０ｂ）は、画面上の全てのオブジェクトをタッチ位置の変化に応じて操作する（Ｓ３０８）。

また、Ｓ３０３でタッチが１〜２点の場合は、制御部２０（判定部２０ａ）は、そのタッチが１つのオブジェクト上にあるかを判断する（Ｓ３０９）。タッチが１つのオブジェクト上にある場合は、制御部２０（判定部２０ａ）は、そのオブジェクトが操作対象であると判定し、制御部２０（処理部２０ｂ）は、タッチされたオブジェクトをタッチ位置の変化に応じて操作する（Ｓ３１０）。一方、タッチがオブジェクト上でない場合は、制御部２０（処理部２０ｂ）は、オブジェクトを操作しない（操作を無視する）。

以下、本実施例のマルチタッチ操作の制御の一例について、図２０を参照して具体的に説明する。

図２０は、所定数を１０本の指の全タッチ数とすると共に、判定部２０ａが画面を操作対象とするかを判定するための基準となる数を５点以上とし、両手マルチタッチで拡縮操作を行う場合の例を示している。例えば、図２０（ａ）の左図に示すように、タッチグループ（ここでは両手の１０個のタッチ）の６つのタッチがオブジェクト群７１の領域上にあり、両手のタッチ位置の間隔を変化させるピンチ操作（ここではピンチアウト操作、以下同様）が行われた場合、所定数のタッチがオブジェクト群７１の領域上にはないが、オブジェクト群７１の領域上のタッチ数は５点以上であるため、図２０（ａ）の右図に示すように、画面７２内の全てのオブジェクト７０及びオブジェクト群７１を操作対象として、タッチ位置の間隔の変化に応じて、全てのオブジェクト７０及びオブジェクト群７１を拡縮（ここでは拡大、以下同様）する（図１９のＳ３０９の処理）。

また、図２０（ｂ）の左図に示すように、タッチグループの全てのタッチ７３が１つのオブジェクト群７１の領域上、かつ、２つのタッチ７３が１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあるが、所定数のタッチが１つのオブジェクト７０上にはないため、図２０（ｂ）の右図に示すように、オブジェクト群７１を操作対象とし、タッチ位置の間隔の変化に応じて、オブジェクト群７１を拡縮する（図１９のＳ３０７の処理）。

また、図２０（ｃ）の左図に示すように、タッチグループの全てのタッチ７３がオブジェクト群７１の中の１つのオブジェクト７０上にあり、両手のタッチ位置の間隔を変化させるピンチ操作が行われた場合、所定数のタッチがオブジェクト群７１の領域上にあり、かつ、所定数のタッチが１つのオブジェクト７０上にあるため、図２０（ｃ）の右図に示すように、そのオブジェクト７０を操作対象とし、タッチ位置の間隔の変化に応じて、そのオブジェクトを拡縮する（図１９のＳ３０５の処理）。

このように、マルチタッチ操作が行われた場合に、マルチタッチの内の所定数のタッチがオブジェクト上かオブジェクト群の領域上かに応じて操作対象（オブジェクト／オブジェクト群）を切り替え、更に、所定数のタッチがオブジェクト上及びオブジェクト群の領域上のいずれにもない場合は、タッチ数が他の所定数以上か否かに応じて画面を操作対象とする（すなわち、複数の所定数を用いて操作対象を判定する）ことにより、オブジェクトやオブジェクト群をより適切に操作することができ、ユーザの利便性を向上させることができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。

例えば、上記実施例では、操作内容として、移動と拡縮を例示したが、オブジェクトやオブジェクト群に対して実施可能な任意の操作を適用することができる。

また、上記実施例では、複数のユーザが同時にオブジェクトの操作が可能な共有画面を前提にして説明したが、本発明のオブジェクト操作システムは、タッチパネルを有する装置であればよく、例えば、タッチパネルを有するパーソナルコンピュータ、タブレット端末やスマートフォンなどの携帯端末などに対しても、本発明を同様に適用することができる。

本発明は、文字や図形、画像などのオブジェクトの操作が可能なシステム、特に、複数の操作者による共同操作が可能なシステム、及び当該システムで動作する操作制御プログラム、操作制御プログラムを記録した記録媒体、並びに当該システムにおけるオブジェクトの操作を制御する操作制御方法に利用可能である。

１０オブジェクト操作システム
２０制御部
２０ａ判定部
２０ｂ処理部
２１ＣＰＵ
２２ＲＯＭ
２３ＲＡＭ
３０記憶部
４０表示部
５０操作部
６０検出部
７０オブジェクト
７１オブジェクト群
７２画面
７３タッチ
７４タッチグループ
７５手
７５ａ手の影

Claims

画面上にオブジェクトを表示する表示部と、
前記画面上のタッチ操作を受け付け、前記タッチ操作に応じた情報を出力する操作部と、
前記表示部及び前記操作部を制御する制御部と、を備え、
前記制御部は、
前記操作部から出力される前記情報に基づいて、前記画面上で３点以上の複数点が同時にタッチされるマルチタッチ操作を識別し、前記マルチタッチ操作が行われた場合に、２点以上の所定数のタッチが、１つのオブジェクト上又は複数のオブジェクトがグループ化されたオブジェクト群の領域上に位置するか否かに応じて、操作対象を判定し、
前記所定数の内の少なくとも１つのタッチの位置が変化した場合に、前記操作対象に対して、前記タッチの位置の変化に応じた操作を実行する、
ことを特徴とするオブジェクト操作システム。
前記制御部は、前記操作対象を判定する際に、前記１つのオブジェクト上又は前記オブジェクト群の領域上のタッチの数に応じて、前記操作対象に対して行う操作の種類を判定する、
ことを特徴とする請求項１に記載のオブジェクト操作システム。
前記制御部は、前記所定数のタッチが、前記１つのオブジェクト上又は前記オブジェクト群の領域上に位置する場合は、前記１つのオブジェクト又は前記オブジェクト群を操作対象とする、
ことを特徴とする請求項１又は２に記載のオブジェクト操作システム。
前記制御部は、前記所定数のタッチが、前記オブジェクト群の中の１つのオブジェクト上に位置する場合は、当該１つのオブジェクトを操作対象とする、
ことを特徴とする請求項３に記載のオブジェクト操作システム。
前記制御部は、前記所定数のタッチが、前記１つのオブジェクト上及び前記オブジェクト群の領域上のいずれにもない場合は、前記画面上の全てのオブジェクトを操作対象とする、
ことを特徴とする請求項３又は４に記載のオブジェクト操作システム。
前記制御部は、前記１つのオブジェクト上又は前記オブジェクト群の領域上のタッチ数が予め定めた値よりも多い場合に限り、前記画面上の全てのオブジェクトを操作対象とする、
ことを特徴とする請求項５に記載のオブジェクト操作システム。
前記所定数は、前記複数点の全タッチ数又は過半数である、
ことを特徴とする請求項１乃至６のいずれか一に記載のオブジェクト操作システム。
前記制御部は、タッチの位置が所定の範囲内の１又は複数のタッチをタッチグループに設定し、前記タッチグループ毎に前記操作対象の判定を行う、
ことを特徴とする請求項１乃至７のいずれか一に記載のオブジェクト操作システム。
更に、前記タッチ操作を行っている手を撮像する検出部を備え、
前記制御部は、前記検出部が撮像した手の画像に基づいて、各々のタッチ操作を行う手を判定し、同じ手による１又は複数のタッチをタッチグループとして設定する、
ことを特徴とする請求項８に記載のオブジェクト操作システム。
前記タッチ操作を行う操作者を検知して当該操作者に関する情報を生成する操作者検出部をさらに備え、
前記制御部は、前記操作者検出部が生成した情報に基づいて、各々のタッチ操作を行う操作者を判定し、同じ操作者による１又は複数のタッチをタッチグループとして設定する、
ことを特徴とする請求項８又は９に記載のオブジェクト操作システム。
前記制御部は、前記操作対象に対して操作を実行する前に、前記表示部に、前記操作対象を識別可能に強調表示する、
ことを特徴とする請求項１乃至１０のいずれか一に記載のオブジェクト操作システム。
前記制御部は、前記操作対象として判定した前記１つのオブジェクト又は前記オブジェクト群に対して操作を実行している間、前記１つのオブジェクト又は前記オブジェクト群を包含する操作対象に対する操作を無効とする、
ことを特徴とする請求項１乃至１１のいずれか一に記載のオブジェクト操作システム。
画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付け、前記タッチ操作に応じた情報を出力する操作部と、を備えるタッチパネルを制御する装置で動作するオブジェクト操作制御プログラムであって、
前記装置に、
前記操作部から出力される前記情報に基づいて、前記画面上で３点以上の複数点が同時にタッチされるマルチタッチ操作を識別し、前記マルチタッチ操作が行われた場合に、２点以上の所定数のタッチが、１つのオブジェクト上又は複数のオブジェクトがグループ化されたオブジェクト群の領域上に位置するか否かに応じて、操作対象を判定する第１処理、
前記所定数の内の少なくとも１つのタッチの位置が変化した場合に、前記操作対象に対して、前記タッチの位置の変化に応じた操作を実行する第２処理、を実行させる、
ことを特徴とするオブジェクト操作制御プログラム。
前記第１処理では、前記操作対象を判定する際に、前記１つのオブジェクト上又は前記オブジェクト群の領域上のタッチの数に応じて、前記操作対象に対して行う操作の種類を判定する、
ことを特徴とする請求項１３に記載のオブジェクト操作制御プログラム。
前記第１処理では、前記所定数のタッチが、前記１つのオブジェクト上又は前記オブジェクト群の領域上に位置する場合は、前記１つのオブジェクト又は前記オブジェクト群を操作対象とする、
ことを特徴とする請求項１３又は１４に記載のオブジェクト操制御プログラム。
前記第１処理では、前記所定数のタッチが、前記オブジェクト群の中の１つのオブジェクト上に位置する場合は、当該１つのオブジェクトを操作対象とする、
ことを特徴とする請求項１５に記載のオブジェクト操作制御プログラム。
前記第１処理では、前記所定数のタッチが、前記１つのオブジェクト上及び前記オブジェクト群の領域上のいずれにもない場合は、前記画面上の全てのオブジェクトを操作対象とする、
ことを特徴とする請求項１５又は１６に記載のオブジェクト操作制御プログラム。
前記第１処理では、前記１つのオブジェクト上又は前記オブジェクト群の領域上のタッチ数が予め定めた値よりも多い場合に限り、前記画面上の全てのオブジェクトを操作対象とする、
ことを特徴とする請求項１７に記載のオブジェクト操作制御プログラム。
前記所定数は、前記複数点の全タッチ数又は過半数である、
ことを特徴とする請求項１３乃至１８のいずれか一に記載のオブジェクト操作制御プログラム。
前記第１処理では、タッチの位置が所定の範囲内の１又は複数のタッチをタッチグループに設定し、前記タッチグループ毎に前記操作対象の判定を行う、
ことを特徴とする請求項１３乃至１９のいずれか一に記載のオブジェクト操作システム。
前記装置は、更に、前記タッチ操作を行っている手を撮像する検出部を備え、
前記第１処理では、前記検出部が撮像した手の画像に基づいて、各々のタッチ操作を行う手を判定し、同じ手による１又は複数のタッチをタッチグループとして設定する、
ことを特徴とする請求項２０に記載のオブジェクト操作制御プログラム。
前記装置は、更に、前記タッチ操作を行う操作者を検知して当該操作者に関する情報を生成する操作者検出部を備え、
前記第１処理では、前記操作者検出部が生成した情報に基づいて、各々のタッチ操作を行う操作者を判定し、同じ操作者による１又は複数のタッチをタッチグループとして設定する、
ことを特徴とする請求項２０又は２１に記載のオブジェクト操作制御プログラム。
前記第１処理では、前記第２処理で前記操作対象に対して操作を実行する前に、前記表示部に、前記操作対象を識別可能に強調表示する、
ことを特徴とする請求項１３乃至２２のいずれか一に記載のオブジェクト操作制御プログラム。
前記第２処理では、前記操作対象として判定した前記１つのオブジェクト又は前記オブジェクト群に対して操作を実行している間、前記１つのオブジェクト又は前記オブジェクト群を包含する操作対象に対する操作を無効とする、
ことを特徴とする請求項１３乃至２３のいずれか一に記載のオブジェクト操作制御プログラム。
画面上にオブジェクトを表示する表示部と、前記画面上のタッチ操作を受け付け、前記タッチ操作に応じた情報を出力する操作部と、前記表示部及び前記操作部を制御する制御部と、を備えるシステムにおけるオブジェクト操作制御方法であって、
前記制御部は、
前記操作部から出力される前記情報に基づいて、前記画面上で３点以上の複数点が同時にタッチされるマルチタッチ操作を識別し、前記マルチタッチ操作が行われた場合に、２点以上の所定数のタッチが、１つのオブジェクト上又は複数のオブジェクトがグループ化されたオブジェクト群の領域上に位置するか否かに応じて、操作対象を判定する第１処理と、
前記所定数の内の少なくとも１つのタッチの位置が変化した場合に、前記操作対象に対して、前記タッチの位置の変化に応じた操作を実行する第２処理と、を実行する、
ことを特徴とするオブジェクト操作制御方法。