JP6166250B2 - 情報処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、投影部から投影される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理技術に関するものである。

銀行にてローン等の契約を行う場合、行員（以下、「テラー」という）は顧客と対面形式にて商品説明や、契約書作成に必要な事項の説明を行うことが義務づけられている。そして、顧客はテラーより説明を受けたことを示すため、所定の欄に記名、捺印等を行うのが一般的である。また、係る業務を、半ば電子的に行うシステムも提案されている（特許文献１）。

また、タブレット等の端末を使用して、手続に関する操作を容易にしたり、必要な書類の記入を簡素化したりするものもある。また、プロジェクタによって手続に関する操作画面を机上に投影し、その操作画面に対する手指等によるジェスチャをカメラで検出することで、手続に関する情報の入力や案内を行う技術が存在する（特許文献２）。

特開２００９−１２２７９６号公報 特開２０１４−２０３１７６号公報

特許文献２で示されるようなシステムでは、机上に投影される操作画面に対する、タブレットやスマートフォンのようなタッチパネルを有するデバイスにおけるタッチ操作を、ジェスチャを検出するカメラを利用することで実現可能にしている。このタッチ操作には、１点のタッチによるシングルタッチ、２点のタッチによるマルチタッチ操作がある。マルチタッチ操作の一例には、図１１に示すように、１人のユーザ（Ａさん）の右手と左手それぞれの人差し指（あるいは一方の手に親指と人差し指）によって、操作画面５００を拡縮するピンチアウト／ピンチイン操作がある。

しかしながら、このようなマルチタッチ操作を受け付けることが可能な操作画面を、テラーと顧客とが対面して各種手続を行うような業務で利用する場合には、テラーと顧客とが同時に操作画面を操作し得る環境にある。つまり、複数人で操作画面のタッチ操作を行う可能性が生じる。そして、図１２に示すように、複数人が操作画面５００を操作し得る状況では、１人のユーザ（Ａさん）によるマルチタッチ操作と、複数人のユーザ（ＡさんとＢさん）それぞれによるシングルタッチ操作が発生し得るが、従来のシステムでは、どちらの操作もマルチタッチ操作として認識してしまい、両者を区別することができない。そのため、その操作内容によって、ユーザが意図する動作が実現されず、利便性や操作性が欠けているところがある。

本願は上記の課題を鑑みてなされたものであり、操作画面に対する操作性を向上することができる技術を提供することを目的とする。

上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
表示面上の対象物によるジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置であって、
前記表示面上の複数の対象物によるジェスチャ操作を検出する検出手段と、
前記検出手段で検出された前記ジェスチャ操作の複数の対象物の種類を特定する特定手段と、
前記特定手段で特定された前記複数の対象物の種類が同一である場合に、前記検出手段で検出された複数の対象物による前記ジェスチャ操作を、当該複数の対象物のそれぞれによるジェスチャ操作として動作を制御する制御手段とを備える。

本発明によれば、操作画面に対する操作性を向上することができる技術を提供できる。

システムの外観構成図である。 システムのブロック構成図である。 対面システムの利用形態を示す図である。 対面システムの基本処理を示すフローチャートである。 シートＤＢのデータ構造を示す図である。 タッチ操作の一例を示す図である。 タッチ操作の一例を示す図である。 タッチ操作の一例を示す図である。 表示制御処理の詳細を示すフローチャートである。 ジェスチャテーブルの一例を示す図である。 タッチ操作の一例を示す図である。 タッチ操作の一例を示す図である。 手情報管理テーブル１３００の一例を示す図である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

本実施形態におけるシステムは、銀行で利用される例を説明する。また、以下の説明では、銀行側の者（行員）をテラーとし、顧客と区別して説明する。尚、銀行を例にしたのは、これは業務を具現化することで理解を容易にするためであって、生命保険会社等、対面にて商品の売買や契約を行う類であれば利用可能であり、これに限定されない。あくまで例であることに注意されたい。

図１は本実施形態におけるシステムの外観構成図であり、図２はそのブロック構成図である。本システムは、情報処理装置として、システム全体の制御を司る制御装置１００を有する。そして、この制御装置１００には、投影撮像装置１１０をはじめ、ユーザとの間のユーザインターフェースとして機能するディスプレイ１２０、入力デバイス（キーボードやマウス等）１３０が接続されている。また、制御装置１００は、業務に係る基幹ネットワーク（不図示）とも接続される。

制御装置１００は、通常のＰＣ（パーソナルコンピュータ）等と同様のハードウェア構成を備える。制御装置１００は、プログラムに従って処理を行うＣＰＵ１０１、ブートプログラムやＢＩＯＳ等を記憶するＲＯＭ１０２、ＣＰＵ１０１が実行するＯＳやアプリケーションを格納するため、並びにＣＰＵ１０１がワークエリアとして利用するＲＡＭ１０３を有する。また、制御装置１００は、投影撮像装置１１０と通信するためのＩ／Ｆ部１０５、ＣＰＵ１０１の指示に従って描画処理やビデオ信号の出力処理等を行うビデオコントローラ１０６を有する。更に、制御装置１００は、ハードディスク（ＨＤＤ）に代表される外部記憶装置１０８に対する読み書きを行うストレージコントローラ１０７、基幹ネットワーク（特に、ネットワークプリンタ）と通信するためのネットワークＩ／Ｆ１０４を有する。外部記憶装置１０８には、オペレーティングシステム（ＯＳ）１０８ａ、対面システムとして機能させるためのアプリケーションプログラム１０８ｂをはじめ、シートデータベース（シートＤＢ）１０８ｃ、環境情報１０８ｄ及びジェスチャテーブル（ジェスチャＴＬ）１０８ｅが格納されている。尚、シートＤＢ１０８ｃ及びジェスチャＴＬ１０８ｅの詳細については後述する。

投影撮像装置１１０は、その筐体内に、制御装置１００と通信するためのＩ／Ｆ部１１８、投影部１１５、撮像部１１６、距離測定部１１７を収容している。投影撮像装置１１０には、投影部１１５から出射した投影光を通過させるための開口部１１１が設けられている。更に、撮像部１１６並びに距離測定部１１７に共有され、外部からの光（赤外線を含む）を入射するための開口部１１２も設けられている。

投影部１１５は、制御装置１００から要求された画像を表す投影光を開口部１１２を介して天板１１３に向け、且つ、若干斜め方向に出射する。天板１１３の下面側にはミラーが設けられており、投影部１１５からの投影光を反射する。この結果、図１における投影撮像装置１１０の設置位置より手前側の領域（実際には、テーブルの上面）が投影スクリーンとして、その画像を表示することになる。尚、出射する方向を斜めにするのではなく、天板１１３を傾けても構わない。

また、撮像部１１６並びに距離測定部１１７は、天板１１３のミラーを介して、投影部１１５によるテーブル上の投影領域よりも広い範囲を撮像範囲、又は、測距範囲として設定されている。撮像部１１６は通常のデジタルカメラに代表される撮像装置と同じ構成であり、テーブルの撮影範囲内の画像を光学的に読み取るものである。距離測定部１１７は、奥行きを検出するものであり、予め設定されたパターンを示す赤外線を照射する照射部と、その対象物から反射赤外線を検出するセンサで構成される。そして、撮像部１１６で得らえた画像データと、距離測定部１１７より検出された距離データの時間軸に対する変化に基づき、制御装置１００のＣＰＵ１０１による処理によって、ユーザの手指の大きさや動き（例えば、移動方向や、手指が指し示す向き等）、手指でテーブルをタップする操作（ジェスチャ）の検出処理が実現する。

尚、画像と赤外線によるパターン照射／検出によって、ユーザのジェスチャを検出する技術は公知（例えば、米国マイクロソフト社のＫＩＮＥＣＴ（商標））であるので、ここでは、その詳細については省略する。但し、ユーザのジェスチャを検出することができれば良く、その構成、原理は特に問わない。また、投影撮像装置１１０の筐体内に十分なスペースがあれば、制御装置１００を構成する回路を投影撮像装置１１０に内蔵させることで、これらを一体化しても構わない。

上記構成において、本装置の電源がＯＮになると、ＣＰＵ１０１はＲＯＭ１０２に格納されたブートプログラムを実行し、外部記憶装置１０８に格納されたＯＳ１０８ａをＲＡＭ１０３にロードし実行する。そして、そのＯＳの制御下にて、外部記憶装置１０８から対面システムのアプリケーションプログラム１０８ｂをＲＡＭ１０３にロードして、実行させる。この結果、本システムが銀行業務の対面システムとして機能することになる。

図３は図１に示すシステムの利用形態を示している。本実施形態では、図示のように、テラー（行員）４０１と顧客４０２がテーブル４００を間に挟み、それぞれが椅子に座って対面して業務を行うような対面システムを想定している。また、テーブル４００には、ディスプレイ１２０、入力デバイス１３０がテラー４０１が操作しやすい位置に配置されている。また、投影撮像装置１１０は、その天板１１３によって斜め方向から投影光がテーブル４００に向けて照射することになるので、テラー４０１と顧客４０２が向かい合った際に、邪魔にならない位置に載置することが可能である。この結果、テーブル４００の、テラー４０１と顧客４０２との間には十分なスペースが確保され、撮像部１１６及び距離測定部１１７の検出範囲４１０、投影部１１５による投影範囲４１１が確保される。

尚、検出範囲４１０、投影範囲４１１が示す矩形は、シート画像等の画像の投影面であるテーブル４００上にそれぞれの範囲が規定されていることを示すためであって、その境界線が表示されることを意図するものではない。また、制御装置１００は、例えばテラー側のテーブル４００の下に配置するものとする。

次に、対面システムの基本処理について、図４を用いて説明する。この基本処理は、ＣＰＵ１０１が外部記憶装置１０８に記憶されているアプリケーションプログラム１０８ｂを読み出し、ＲＡＭ１０３上で実行することで実現される。
対面システムの処理内容を、特に、ＣＰＵ１０１の処理手順として説明する。

本システムが稼働すると、テラー４０１と顧客４０２との間のテーブル４００上（の投影範囲４１１）に、投影撮像装置１１０から各種のシート画像が投影表示される。そして、テラー４０１はその都度解説や説明を行い、顧客４０２はその投影内容とテラー４０１の説明を理解したことの意思を示していって、手続きを進めていく。かかる手続きをＣＰＵ１０１の処理で示せば、以下の通りである。ＣＰＵ１０１は、外部記憶装置１０８から投影すべきシート画像の選択と選択したシート画像を投影部１１５に表示させる処理、並びに、テラー４０１及び顧客４０２の操作をジェスチャとして、撮像部１１６及び距離測定部１１７によって認識していく。そして、次に、表示すべきシート画像の選択等と処理を繰り返し、最終シート画像の表示で、テラー４０１と顧客４０２が合意したことを示すジェスチャを検出した際に、その処理を終了する。

以下、更に詳しく説明する。図４は対面システムのアプリケーションプログラム１０８ｂを実行した際のＣＰＵ１０１の処理手順を示すフローチャートである。

本アプリケーションが実行されると、まず、ステップＳ１０１にて、ＣＰＵ１０１は、メニュー画面をディスプレイ１２０に表示し、テラー４０１に項目の１つを選択させる。表示する項目は、「住宅ローンの借り入れ手続」、「口座開設の手続」等の銀行にて対面で手続を行うものが含まれる。但し、項目の１つには「環境設定」が含まれるものとする。

ステップＳ１０２にて、ＣＰＵ１０１は、テラー４０１による入力デバイス１３０の操作による選択メニューにおける項目の選択の有無を判定する。選択がない場合（ステップＳ１０２でＮＯ）、選択されるまで待機する。一方、選択がある場合（ステップＳ１０２でＹＥＳ）、ステップＳ１０３にて、ＣＰＵ１０１は、その選択した項目が「環境設定」であるか否かを判定する。

判定の結果、環境設定である場合（ステップＳ１０３でＹＥＳ）、ステップＳ１０４にて、ＣＰＵ１０１は、環境設定に関する処理を行う。この環境設定は、投影撮像装置１１０がテラー４０１から見て右側に設置するのか、左側に設置するのかを設定するためである。投影撮像装置１１０がテーブル４００上に投影することになるシート画像は、テラー側、顧客側の向きがあり、その向きと座席についているテラー４０１、顧客４０２の位置関係の整合性を取るためである。設定が完了すると、ＣＰＵ１０１は、その設定内容を外部記憶装置１０８の環境情報１０８ｄとして保存する。

尚、投影撮像装置１１０の配置位置を変更しない限り、この環境設定を行う必要はない。つまり、ＣＰＵ１０１は、シート画像を投影部１１５に投影させる際に、この環境情報１０８ｄに記憶された情報に従って、必要に応じてシート画像の向きを１８０°回転させて表示させる。また、起動時の初期段階にて、ＣＰＵ１０１は、環境情報１０８ｄに記憶された情報に従い、現在設定されたテラー、顧客側がいずれの方向に設定されているのかを示すテストメッセージを表示させ、環境設定の必要性をテラー４０１に報知しても良い。例えば、顧客４０２から見て正立して見える「ご相談を承ります」というメッセージを表示する。テラー４０１から見てそのメッセージが逆さまに見えれば、正しい環境設定がなされていると判断できる。

判定の結果、環境設定でない場合（ステップＳ１０３でＮＯ）、つまり、テラー４０１は、顧客４０２の相談目的から、該当するメニュー項目を入力デバイス１３０を操作して選択することになる。ＣＰＵ１０１は、この選択がなされたことを検出すると、ステップＳ１０５にて、ＣＰＵ１０１は、外部記憶装置１０８のシートＤＢ１０８ｃを参照して、選択した手続きのＧＵＩ構成情報を読み込む。そして、ステップＳ１０６にて、ＣＰＵ１０１は、読み込んだＧＵＩ構成情報に基づいて、シート画像をテーブル４００に投影し、その投影されたシート画像に対する操作（ジェスチャ）とに基づいて、そのシート画像の表示制御処理を実行する。また、この表示制御処理に伴って、テラー４０１と顧客４０２の双方のジェスチャ操作の認識処理とを行い、テラー４０１と顧客４０２との間のやりとりを支援しながら、手続の支援処理を実行する。尚、このジェスチャに伴うシート画像の表示制御においては、ＣＰＵ１０１は、例えば、ジェスチャテーブル１０８ｅに登録されている内容に基づいて行う。このジェスチャテーブル１０８ｅの詳細については後述する。

ここで、シートＤＢ１０８ｃの構成について、図５を用いて説明する。

シートＤＢ１０８ｃは、図５に示すように、ステップＳ１０１にて表示するメニュー項目を単位として管理されている。そして、各項目には、それぞれにおける手続きの推移と利用するシート画像を記述したＧＵＩ構成情報が格納されている。本実施形態では、この内、「住宅ローンの申請」項目３００を例にして説明するので、それに含まれるＧＵＩ構成情報３０１について説明する。このＧＵＩ構成情報３０１は、住宅ローンの借り入れ申請に係る手続きと、その際に利用するシート画像の表示形式を記述するＧＵＩシート情報３０２を特定する情報が記述されている。

テラー４０１と顧客４０２との間の手続きとしては、例えば、（１）顧客登録、（２）商品説明、（３）ローンのシミュレーション、（４）書類読取、（５）今後の手続きの説明の、５段階がある。そして、図５のＧＵＩシート情報３０２では、（１）〜（５）の各手続において投影するシート画像（ＧＵＩ）の表示形態を記述するフォーム情報（「顧客登録フォーム」、「商品説明フォーム」、．．．）が管理される。また、フォーム情報には、テラー側、顧客側の方向に関する記述も含まれており、且つ、複数のフォームも入れ子式で記述可能としている。

尚、図５では、「住宅ローンの申請」項目３００に対して管理する情報の具体例を示しているが、必要な各種項目（例えば、「口座開設」項目３５０）毎に、必要な情報が適宜、シートＤＢ１０８ｃ上で管理されていることは言うまでもない。

本実施形態では、図３に示すような対面システムにおいて、操作画面に対するマルチタッチ操作によるピンチイン／ピンチアウト操作が、同一方向からの１人のユーザの２本の手によるものか、異なる方向からの２人のユーザのそれぞれの手によるものかを判定して、後者である場合は、ピンチイン／ピンチアウト操作の実行を禁止する（ピンチイン／ピンチアウト操作を無効にする）。

具体的には、図６（ａ）に示すように、同一方向から進入した２本の手（テラー４０１であるＡさんが自身の左手と右手）による操作画面５００のピンチイン／ピンチアウト操作であると検出した場合には、その操作に応じた操作画面５００の拡大・縮小操作を可能にする（許可する）。一方、図６（ｂ）に示すように、異なる方向から進入した２本の手（テラー４０１であるＡさんの左手と顧客４０２の右手）による操作画面５００のピンチイン／ピンチアウト操作であると検出した場合には、その操作に応じた操作画面５００の拡大・縮小操作を不可能にする（禁止する）。但し、このような場合においては、マルチタッチ操作を構成するテラー４０１のシングルタッチ操作と顧客４０２のシングルタッチ操作の一方を有効として、そのシングルタッチ操作による動作（例えば、ドラッグ動作）を許容するようにしても良い。

また、図７に示すように、同一方向から進入した２本の手によるマルチタッチ操作を検出した場合には、更に、その２本の手の形を判別して、それらが同じ向きの手（例えば、右手と右手）の組み合わせである場合は、２人のユーザのそれぞれによるシングルタッチ操作であると判定するようにしても良い。

更には、図８に示すように、同一方向から進入した２本の手によるマルチタッチ操作を検出した場合には、更に、その２本の手の形を判別して、それらが所定の位置関係にない場合は、２人のユーザのそれぞれによるシングルタッチ操作であると判定するようにしても良い。ここで、所定の位置関係とは、例えば、人間が正面を向いているときに、右手が右側、左手が左側と、本来、物理的に各手が存在する通常の正しい位置関係を意味する。換言すれば、手の甲が見えるように各手を顔の正面にもってきたときに、各手の親指が互いに相対する位置関係である。タッチパネルを操作するときは、一般的には、手の甲を上にして操作するものであり、両手を使う場合にしても、わざわざ手を交差させて、マルチタッチ操作を行うことは通常はあり得ない。そのため、２本の手の位置関係が、この所定の位置関係を満足しない場合は、１人の操作者の両手（２本の手）によるマルチタッチ操作でないと判定することにしている。

尚、このような制御を行うにあたり、ピンチイン／ピンチアウト操作の操作者がテラー４０１であるか顧客４０２であるかを判定するようにしても良い。図３に示すように、本実施形態では、テラー４０１と顧客４０２は、テーブル４００を挟んで対向するように着座している。そして、検出範囲４１０が投影範囲４１１を包含する関係にもなっている。そのため、操作画面上のＧＵＩ部品を指示するタイミングよりも前のタイミングで、操作者の手が投影範囲４１１内に進入してくる方向を検出できる。環境情報１０８ｄからテラー側、顧客側がいずれの方向にあるのかは判明しているので、ピンチイン／ピンチアウト操作を行う操作者の手が、テラー４０１のものであるか顧客４０２のものであるかを判定できることになる。

また、ここでは、ピンチイン／ピンチアウト操作の操作者がテラー４０１であるか顧客４０２であるかの判定は、手の進入方向から判定するものとするが、これに限定されない。例えば、ピンチイン／ピンチアウト操作を含むタッチ操は、一般に、人差し指で操作するものであるので、人差し指を突き出した手の外形パターンと向きから判定するようにしても良い。

次に、本実施形態の図６〜図８で説明したようなユーザの操作に基づく操作画面の表示制御処理について、図９を用いて説明する。この表示制御処理は、ＣＰＵ１０１が外部記憶装置１０８に記憶されているアプリケーションプログラム１０８ｂを読み出し、ＲＡＭ１０３上で実行することで実現される。尚、この表示制御処理は、図４のステップＳ１０６の表示制御処理の詳細構成となる。

まず、ステップＳ２０１にて、ＣＰＵ１０１は、ＧＵＩ構成情報３０１に基づく操作画面が投影されている状態で、距離測定部１１７により検出範囲４１０内への手の挿入（進入）を検出する。ステップＳ２０２にて、ＣＰＵ１０１は、タッチ操作の有無を検出して、タッチ操作を受け付けたか否かを判定する。ここでの判定は、検出範囲４１０内での複数個所のタッチ操作を検出する。複数個所のタッチ操作を検出することで、後述するステップＳ２０７以降の処理で、その複数個所のタッチ操作が、テラー４０１あるいは顧客４０２の単独のマルチタッチ操作、あるいは先に検出したタッチ操作の操作元のシングルタッチ操作のどちらであるかを判定することができる。

判定の結果、タッチ操作を受け付けていない場合（ステップＳ２０２でＮＯ）、タッチ操作を受け付けるまで待機する。一方、タッチ操作を受け付けた場合（ステップＳ２０２でＹＥＳ）、ステップＳ２０３にて、ＣＰＵ１０１は、受け付けたタッチ操作を行う手の挿入元（テラー４０１側あるいは顧客４０２側、あるいはその両方）を特定する。この特定した挿入元を示す挿入元情報（テラー方向あるいは顧客方向、あるいはその両方向）は、手情報管理テーブル１３００（図１３）に手の挿入元１３０１として格納する。

ステップＳ２０４にて、ＣＰＵ１０１は、挿入元を特定した手の形を認識する。ステップＳ２０５にて、ＣＰＵ１０１は、認識した手のこの認識した手の形からその種類（右手あるいは左手）を特定する。この特定した種類を示す種類情報（右あるいは左）は、先に特定した手の挿入元１３０１と対応付けて、手情報管理テーブル１３００（図１３）に手の種類１３０２として追加して格納する。尚、この手の形の認識とその向きの特定は、例えば、手の形と向きを判定するための基準パターンを利用するパターンマッチング技術を用いることで実現することができる。

ステップＳ２０６にて、ＣＰＵ１０１は、特定した手の指先によるタッチ操作のタッチ位置を示す座標を特定する。タッチ操作のタッチ位置（操作画面に対する接触点）を示す座標は、例えば、検出範囲４１０をＸＹ座標面として定義しておき、そのＸＹ座標面で規定される座標情報を取得する。例えば、２つのタッチ位置を検出した場合には、２つの座標情報（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）を取得して、先に特定した手の挿入元１３０１と手の種類１３０２と対応付けて、ＲＡＭ１０３上に確保される手情報管理テーブル１３００（図１３）に接触点１３０３として格納する。

まず、ステップＳ２０７にて、ＣＰＵ１０１は、距離測定部１１７からの測定結果、撮像部１１６の撮像画像、及び手情報管理テーブル１３００で管理されている情報に基づいて、挿入された手が１本あるいは２本であるかを判定する。

尚、ステップＳ２０７の判定は、例えば、操作画面を表示してから所定時間範囲の間に実行する。つまり、距離測定部１１７と撮像部１１６は、操作画面が投影される投影面全体に対する測定と撮像を継続的に実行することで、投影面に進入してくる対象物（例えば、操作者の手）の移動の軌跡や挙動を把握することが可能となる。ここで、手等の対象物の進行（進入）方向や、動きの検出そのものの原理は、上述のように公知であるため、ここではその詳細については省略する。

判定の結果、挿入された手が１本である場合、ステップＳ２１２にて、ＣＰＵ１０１は、その挿入された手によるタッチ操作の対象のＧＵＩ部品を特定する。この特定は、手情報管理テーブル１３００で管理されている情報によって特定される挿入された手によるタッチ操作のタッチ位置の座標情報が、ＧＵＩ構成情報３０１に基づく操作画面内に配置されるＧＵＩ部品が占める領域に対応する座標範囲情報内にあるか否かで、タッチ操作の対象のＧＵＩ部品を特定する。

ステップＳ２１３にて、特定したＧＵＩ部品が既に操作対象となっているか否かを判定する。判定の結果、既に操作対象となっている場合（ステップＳ２１３でＹＥＳ）、例えば、他のタッチ操作によって既にそのＧＵＩ部品に対する操作が完了している場合は、処理対象のタッチ操作による操作を受け付けずに、ステップＳ２１５へ進む。一方、まだ、操作対象となっていない場合（ステップＳ２１３でＮＯ）、ステップＳ２１４にて、ＣＰＵ１０１は、挿入された手によって行われるタッチ操作はシングルタッチ操作であると判定して、シングルタッチ操作による処理（シングルタッチ操作処理）を実行する。但し、挿入された手が１本の場合でも、複数の指（例えば、親指と人差し指）を使用してマルチタッチ操作を行うことが可能である。そのため、ステップＳ２０７において挿入された手の本数を判定した後に行われたジェスチャ操作がマルチタッチ操作であると検出した場合には、そのまま、マルチタッチ操作を受け付けて、それに対応する動作（例えば、ピンチイン／ピンチアウト）を行うようにしても良い。

一方、判定の結果、挿入された手が２本である場合、ステップＳ２０８にて、ＣＰＵ１０１は、距離測定部１１７からの測定結果、撮像部１１６の撮像画像、及び手情報管理テーブル１３００で管理されている情報に基づいて、更に、その挿入された２本の手の進入方向が同一方向であるか否かを判定する。この判定は、特に、手情報管理テーブル１３００で管理されている手の挿入元１３０１を参照することで、挿入された２本の手の進入方向が同一方向であるか否かを判定することができる。

判定の結果、同一方向でない場合（ステップＳ２０８でＮＯ）、ステップＳ２１２以降の処理を実行する。一方、判定の結果、同一方向である場合（ステップＳ２０８でＹＥＳ）、ステップＳ２０９にて、ＣＰＵ１０１は、その挿入された２本の手の向きの組み合わせが異なるか否かを判定する。尚、この向きの判定は、特に、手情報管理テーブル１３００で管理されている手の種類１３０２を参照することで、挿入された２本の手の向きの組み合わせが異なるか否かを判定することができる。

判定の結果、挿入された２本の手の向きの組み合わせが同一である場合（ステップＳ２０９でＮＯ）、例えば、図７で示したように、その挿入された２本の手が同じ向きの手（右手同士）である場合は、ステップＳ２１２以降の処理を実行する。一方、挿入された２本の手の向きの組み合わせが異なる場合（ステップＳ２０９でＹＥＳ）、つまり、右手と左手の組み合わせである場合は、ステップＳ２１０にて、ＣＰＵ１０１は、その挿入された２本の手の位置関係が正しいか否かを判定する。尚、２本の手の位置関係が正しいか否かの判定は、特に、挿入された２本の手それぞれに対する、手情報管理テーブル１３００で管理されている接触点１３０３が示す座標情報を参照することで、その挿入された２本の手の位置関係が上述の図８で説明したような所定の位置関係であるか否かを判定することで行う。

より具体的には、接触点１３０３のＸ座標の関係によって、手の位置関係が正しいか否かを判定する。本実施形態では、例えば、顧客方向から２本の手が挿入され、かつ、手の組み合わせが異なる場合であって、その２本の手の一方の手に対応する「手の種類１３０２」が「右」の接触点１３０３のＸ座標が、他方の手に対応する「手の種類１３０２」が「左」の接触点１３０３のＸ座標より小さい場合に、手の位置関係は正しくないと判定する。また、例えば、２本の手の「手の挿入元１３０１」がともに「テラー方向」であり、一方の手に対応する「手の種類１３０２」が「右」の接触点１３０３のＸ座標が、他方の手に対応する「手の種類１３０２」が「左」の接触点１３０３のＸ座標より小さい場合は、手の位置関係は正しいと判定する。

判定の結果、挿入された２本の手の位置関係が正しくない場合（ステップＳ２０１でＮＯ）、ステップＳ２１２以降の処理を実行する。一方、挿入された２本の手の位置関係が正しい場合（ステップＳ２１０でＹＥＳ）、ステップＳ２１１にて、ＣＰＵ１０１は、挿入された２本の手による操作は、同一ユーザによるマルチタッチ操作であると判定して、マルチタッチ操作による処理（マルチタッチ操作処理）を実行する。

そして、ステップＳ２１４でのシングルタッチ操作処理、あるいはステップＳ２１１でのマルチタッチ操作処理の実行後、ステップＳ２１５にて、ＣＰＵ１０１は、終了指示を受け付けたか否かを判定する。この判定は、例えば、操作画面上に用意されている終了ボタン等のボタンコントロール操作（タッチ操作）の有無に基づいて行う。

判定の結果、終了指示を受け付けていない場合（ステップＳ２１５でＮＯ）、ステップＳ２０１に戻る。一方、終了指示を受け付けた場合（ステップＳ２１５でＹＥＳ）、処理を終了する。

以上の処理によって、判定された操作元（操作内容）に基づいて、ＣＰＵ１０１は、ジェスチャテーブル１０８ｅを参照して、対応する操作画面の表示制御を実行することになる。図１０は、ジェスチャテーブル１０８ｅの一例であり、図６〜図８で示した操作例と表示制御例を実現するものである。

つまり、図１０のジェスチャテーブル１０８ｅでは、以下のような操作画面に対する操作を制御するためのものとなっている。

（１）シングルタッチ操作と判定した操作元が１本の手によるものである場合には、そのタッチ操作に応じた操作画面に対するドラッグ操作の実行
（２）シングルタッチ操作と判定した操作元が２本の手それぞれによるものである場合には、先に検出した手のユーザのタッチ操作に応じた操作画面に対するドラック操作の実行
（３）マルチタッチ操作と判定した操作元が同一ユーザの２本の手によるものである場合には、そのタッチ操作に応じた操作画面に対するピンチイン／ピンチアウト操作の実行
（４）マルチタッチ操作と判定した操作元が別ユーザの２本の手によるものである場合には、そのタッチ操作に応じた操作画面に対する操作の禁止

尚、図１０に示すジェスチャテーブル１０８ｅは一例であり、用途や目的に応じて、ジェスチャ操作（シングル／マルチタッチ操作）に伴う操作画面に対する操作や表示制御のための設定を適宜定義することができる。例えば、図１０では、シングルタッチ操作の操作元が２人の操作者の手それぞれによるものである場合には、先に検出した手のユーザのタッチ操作に応じた操作画面に対するドラック操作を実行するようにしているが、この場合も、そのシングルタッチ操作の実行を禁止するようにしても良い。このように、制御装置１００は、投影面上に投影する画像に対する操作を検出することで、その操作を受け付けて、画像の表示を制御する表示制御装置としても機能する。

また、上記実施形態では、ジェスチャ操作を行う操作者の手を操作画面の操作を行う操作元として、その操作画面への進入方向を判定するようにしているが、これに限定されない。例えば、操作元の操作画面への進入方向は、操作元である手に繋がる腕の方向に基づいて、操作画面への進入方向を判定するようにしても良い。また、操作元は、手や腕に限定されず、手に持つスタイラスやペン等の指示具であっても良い。あるいは、手等にマーカを施し、そのマーカの挙動を追跡することで、操作元の操作画面への進入方向を判定するようにしても良い。

また、図９の処理では、操作元の数（手の数）を判定してから、その後に行われるマルチタッチ操作に対応する動作を制御するようにしているが、その処理順序は、これに限定されない。マルチタッチ操作を検出してから、そのマルチタッチ操作の操作元とその数を判定した上で、そのマルチタッチ操作に対応する動作を制御するようにしているが、その処理順序はこれに限定されない。例えば、操作元の数（手の数）を判定しておき、その後に、マルチタッチ操作を検出した場合に、そのマルチタッチ操作に対応する動作を制御するようにしても良い。

上記実施形態では、検出範囲４１０に挿入される、検出対象の対象物が２本の手である場合を例に挙げて説明しているが、この対象物は、２本に限定されず、３本以上の複数の対象物についても、同様に、適用することができる。つまり、情報管理テーブル１３００において、検出範囲４１０で検出した複数の対象物それぞれについての各種情報を管理しておくとともに、その対象物の数に応じて想定される対象物による操作の操作元の進入方向、組み合わせ、及び位置関係を適宜判定するようすれば良い。

以上説明したように、本実施形態によれば、複数のユーザで操作画面（操作対象画像）が操作され得る環境においても、その操作状態に応じて、より適切な操作及び操作画面の表示制御を実行することができる。

尚、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：制御装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ネットワークＩ/Ｆ、１０５：Ｉ/Ｆ、１０６：ビデオコントローラ、１０７：ストレージコントローラ、１０８：外部記憶装置、１１０：投影撮像装置、１１５：投影部、１１６：撮像部、１１７：距離測定部

Claims (19)

1. 表示面上の対象物によるジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置であって、
   前記表示面上の複数の対象物によるジェスチャ操作を検出する検出手段と、
   前記検出手段で検出された前記ジェスチャ操作の複数の対象物の種類を特定する特定手段と、
   前記特定手段で特定された前記複数の対象物の種類が同一である場合に、前記検出手段で検出された複数の対象物による前記ジェスチャ操作を、当該複数の対象物のそれぞれによるジェスチャ操作として動作を制御する制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記複数の対象物の前記表示面上への進入方向を特定する方向特定手段をさらに備え、
   前記制御手段は、前記複数の対象物の種類が同一でなくとも、前記方向特定手段で特定された前記複数の対象物の前記進入方向がそれぞれ対応する方向である場合には、前記検出手段で検出された複数の対象物による前記ジェスチャ操作を、当該複数の対象物のそれぞれによるジェスチャ操作として動作を制御する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記対応する方向とは、複数の対象物のそれぞれが対向する方向であることを特徴とする請求項２に記載の情報処理装置。
4. 前記検出手段で検出された前記ジェスチャ操作の複数の対象物の前記表示面における位置関係を特定する位置特定手段をさらに備え、
   前記制御手段は、前記特定手段で特定された前記複数の対象物の種類が同一でなく、前記位置特定手段で特定された前記複数の対象物の前記位置関係が所定の位置関係を満たす場合に、当該複数の対象物によるジェスチャ操作として動作を制御し、前記特定手段で特定された前記複数の対象物の種類が同一でなく、前記位置特定手段で特定された前記複数の対象物の前記位置関係が所定の位置関係を満たさない場合に、当該複数の対象物のそれぞれによるジェスチャ操作として動作を制御する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 表示面に表示される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置であって、
   前記表示面上に進入する対象物を検出する検出手段と、
   前記検出手段で検出した対象物の数とその進入方向を判定する判定手段と、
   前記判定手段で判定した対象物の数とその進入方向に応じて、前記対象物によるジェスチャ操作の動作を制御する制御手段と
   を備え、
   前記判定手段は、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向である場合、更に、前記複数の対象物の種類を判定し、
   前記制御手段は、前記判定手段の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が同一である場合には、該複数の対象物によって行われるジェスチャ操作は、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
   ことを特徴とする情報処理装置。
6. 表示面に表示される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置であって、
   前記表示面上に進入する対象物を検出する検出手段と、
   前記検出手段で検出した対象物の数とその進入方向を判定する判定手段と、
   前記判定手段で判定した対象物の数とその進入方向に応じて、前記対象物によるジェスチャ操作の動作を制御する制御手段と
   を備え、
   前記判定手段は、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ前記複数の対象物の種類が異なる場合には、更に、前記複数の対象物の位置関係を判定し、
   前記制御手段は、前記判定手段の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が異なり、かつ該複数の対象物の位置関係が所定の位置関係にない場合には、該複数の対象物によって行われるジェスチャ操作は、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
   ことを特徴とする情報処理装置。
7. 前記制御手段は、前記判定手段の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が異なり、かつ該複数の対象物の位置関係が所定の位置関係にある場合には、該複数の対象物によって行われるジェスチャ操作は、該複数の対象物によるマルチジェスチャ操作として、その動作を制御する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記制御手段は、前記複数の対象物それぞれの進入方向が同一方向でない場合には、該複数の対象物によって行われるジェスチャ操作は、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
   ことを特徴とする請求項５乃至７のいずれか１項に記載の情報処理装置。
9. 表示面に表示される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置であって、
   前記表示面上での対象物によるマルチジェスチャ操作を検出した場合、その対象物の数とその進入方向を判定する判定手段と、
   前記判定手段で判定した対象物の数とその進入方向に応じて、前記対象物によるマルチジェスチャ操作の動作を制御する制御手段と
   を備え、
   前記判定手段は、前記マルチジェスチャ操作が複数の対象物によるものであり、かつ前記複数の対象物それぞれのその進入方向が同一方向である場合、更に、前記複数の対象物の種類を判定し、
   前記制御手段は、前記判定手段の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が同一である場合には、前記マルチジェスチャ操作を、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
   ことを特徴とする情報処理装置。
10. 表示面に表示される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置であって、
    前記表示面上での対象物によるマルチジェスチャ操作を検出した場合、その対象物の数とその進入方向を判定する判定手段と、
    前記判定手段で判定した対象物の数とその進入方向に応じて、前記対象物によるマルチジェスチャ操作の動作を制御する制御手段と
    を備え、
    前記判定手段は、前記マルチジェスチャ操作が複数の対象物によるものであり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ前記複数の対象物の種類が異なる場合には、更に、前記複数の対象物の位置関係を判定し、
    前記制御手段は、前記判定手段の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が異なり、かつ該複数の対象物の位置関係が所定の位置関係にない場合には、前記マルチジェスチャ操作を、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
    ことを特徴とする情報処理装置。
11. 前記制御手段は、前記判定手段の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が異なり、かつ該複数の対象物の位置関係が所定の位置関係にある場合には、前記マルチジェスチャ操作を、該複数の対象物によるマルチジェスチャ操作として、その動作を制御する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記制御手段は、前記判定手段の判定の結果、前記マルチジェスチャ操作が複数の対象物によるものであり、かつ前記複数の対象物それぞれのその進入方向が同一方向でない場合には、前記マルチジェスチャ操作を、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
    ことを特徴とする請求項９乃至１１のいずれか１項に記載の情報処理装置。
13. 前記対象物は、前記ジェスチャ操作を行う操作者の手であって、
    前記対象物の種類とは、右と左であること
    を特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 表示面上の対象物によるジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置の制御方法であって、
    前記表示面上の複数の対象物によるジェスチャ操作を検出する検出工程と、
    前記検出工程で検出された前記ジェスチャ操作の複数の対象物の種類を特定する特定工程と、
    前記特定工程で特定された前記複数の対象物の種類が同一である場合に、前記検出工程で検出された複数の対象物による前記ジェスチャ操作を、当該複数の対象物のそれぞれによるジェスチャ操作として動作を制御する制御工程と
    を備えることを特徴とする情報処理装置の制御方法。
15. 表示面に表示される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置の制御方法であって、
    前記表示面上に進入する対象物を検出する検出工程と、
    前記検出工程で検出した対象物の数とその進入方向を判定する判定工程と、
    前記判定工程で判定した対象物の数とその進入方向に応じて、前記対象物によるジェスチャ操作の動作を制御する制御工程と
    を備え、
    前記判定工程は、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向である場合、更に、前記複数の対象物の種類を判定し、
    前記制御工程は、前記判定工程の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が同一である場合には、該複数の対象物によって行われるジェスチャ操作は、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
    ことを特徴とする情報処理装置の制御方法。
16. 表示面に表示される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置の制御方法であって、
    前記表示面上に進入する対象物を検出する検出工程と、
    前記検出工程で検出した対象物の数とその進入方向を判定する判定工程と、
    前記判定工程で判定した対象物の数とその進入方向に応じて、前記対象物によるジェスチャ操作の動作を制御する制御工程と
    を備え、
    前記判定工程は、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ前記複数の対象物の種類が異なる場合には、更に、前記複数の対象物の位置関係を判定し、
    前記制御工程は、前記判定工程の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が異なり、かつ該複数の対象物の位置関係が所定の位置関係にない場合には、該複数の対象物によって行われるジェスチャ操作は、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
    ことを特徴とする情報処理装置の制御方法。
17. 表示面に表示される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置の制御方法であって、
    前記表示面上での対象物によるマルチジェスチャ操作を検出した場合、その対象物の数とその進入方向を判定する判定工程と、
    前記判定工程で判定した対象物の数とその進入方向に応じて、前記対象物によるマルチジェスチャ操作の動作を制御する制御工程と
    を備え、
    前記判定工程は、前記マルチジェスチャ操作が複数の対象物によるものであり、かつ前記複数の対象物それぞれのその進入方向が同一方向である場合、更に、前記複数の対象物の種類を判定し、
    前記制御工程は、前記判定工程の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が同一である場合には、前記マルチジェスチャ操作を、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
    ことを特徴とする情報処理装置の制御方法。
18. 表示面に表示される画像に対するジェスチャ操作を検出して、そのジェスチャ操作に基づく動作を制御する情報処理装置の制御方法であって、
    前記表示面上での対象物によるマルチジェスチャ操作を検出した場合、その対象物の数とその進入方向を判定する判定工程と、
    前記判定工程で判定した対象物の数とその進入方向に応じて、前記対象物によるマルチジェスチャ操作の動作を制御する制御工程と
    を備え、
    前記判定工程は、前記マルチジェスチャ操作が複数の対象物によるものであり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ前記複数の対象物の種類が異なる場合には、更に、前記複数の対象物の位置関係を判定し、
    前記制御工程は、前記判定工程の判定の結果、前記対象物の数が複数であり、かつ前記複数の対象物それぞれの進入方向が同一方向であり、かつ該複数の対象物の種類が異なり、かつ該複数の対象物の位置関係が所定の位置関係にない場合には、前記マルチジェスチャ操作を、該複数の対象物の少なくともいずれかによるシングルジェスチャ操作として、その動作を制御する
    ことを特徴とする情報処理装置の制御方法。
19. コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置の各手段として機能させるための、または請求項１４乃至１８のいずれか１項に記載の制御方法をコンピュータに実行させるためのプログラム。

Images