JP6205924B2 - システム、情報処理方法、画像投影装置およびプログラム - Google Patents

Description

本発明は、システム、情報処理方法、画像投影装置およびプログラムに関する。

従来、会議や店舗では、画像を表示する表示装置が利用されることがある。会議においては、資料を表示してプレゼンテーションを行なう用途で表示装置が利用される。店舗においては、各種コンテンツをユーザに表示する用途で表示装置が利用される。また、表示装置は、大画面化が可能となっており、大画面になることでユーザにとってはより見易くなっている。

また、表示装置に表示された画像上でユーザ操作が行なわれることで、画像を切り替える等の各種指示を行なえる技術が知られている。つまり、ユーザは、表示装置の近傍に居ながら、ユーザ操作を行なうことにより各種指示を行うことができる。これにより、会議において効率良くプレゼンテーションを行なうことができるし、店舗においても各々のユーザが自身に有用な情報を迅速に閲覧することができる。

但し、表示装置が大画面である場合には、ユーザの手が届かない位置に対してユーザ操作を行なうことが困難である。そこで、最近では、表示する元画像に、元画像を縮小した縮小画像を合成して表示し、縮小画像に対するユーザ操作を検出して、各種指示を元画像に反映する技術がある。これにより、大画面の表示装置を利用する場合においても、ユーザ操作による各種指示を実現している。

しかしながら、従来技術では、複数のユーザの各々が、当該ユーザに割り当てられた縮小画像に対して操作指示を行う場合、互いの操作が干渉し合い、あるユーザによる操作が他のユーザによる操作の妨げになるおそれがある。

本発明は、上記に鑑みてなされたものであって、出力画像に対する各ユーザの操作が干渉し合うことを防止可能なシステム、情報処理方法、画像投影装置およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、出力された画像に対応する対象空間を撮像した撮像画像を用いて、ユーザによる指示動作を認識する認識部と、前記認識部によってユーザによる指示動作が認識された場合、該ユーザとは異なる他のユーザによる指示動作を制限するように前記画像の出力を制御する制御部と、指示動作間の関係を示す関係情報を記憶する第１記憶部と、を備え、前記関係情報は、所定の指示動作を行ったユーザ以外のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を非表示にすることを示し、前記制御部は、前記認識部によってユーザによる前記所定の指示動作が認識された場合、該ユーザとは異なる他のユーザが利用する複数の操作アイコンのうち、前記関係情報により非表示にすることが示された操作アイコンを非表示にする制御を行う、ことを特徴とするシステムである。

本発明によれば、出力画像に対する各ユーザの操作が干渉し合うことを防止できるという有利な効果を奏する。

図１は、実施形態のシステムの概略構成例を示す図である。 図２は、第１実施形態のシステムの機能構成例を示す図である。 図３は、実施形態の情報処理装置のハードウェア構成例を示す図である。 図４は、実施形態のプロジェクタのハードウェア構成例を示す図である。 図５は、システムの動作手順の一例を模式的に示す図である。 図６は、座標更新処理の一例を示すフローチャートである。 図７は、座標記憶部に記憶された座標情報の一例を示す図である。 図８は、表示内容決定処理の一例を示すフローチャートである。 図９は、表示内容の一例を示す図である。 図１０は、画像表示処理の一例を示すフローチャートである。 図１１は、投影面に投影された画像の一例を示す図である。 図１２は、第２実施形態のシステムの機能構成例を示す図である。 図１３は、関係情報の一例を示す図である。 図１４は、第２実施形態における表示内容決定処理の一例を示すフローチャートである。 図１５は、表示内容の一例を示す図である。 図１６は、投影面に投影された画像の一例を示す図である。 図１７は、変形例に係る関係情報の一例を示す図である。 図１８は、変形例に係る表示内容の一例を示す図である。 図１９は、投影面に投影された画像の一例を示す図である。 図２０は、変形例に係る関係情報の一例を示す図である。 図２１は、変形例に係る表示内容の一例を示す図である。 図２２は、投影面に投影された画像の一例を示す図である。 図２３は、第３実施形態のシステムの動作手順の一例を模式的に示す図である。 図２４は、第３実施形態の座標更新処理の一例を示すフローチャートである。 図２５は、座標記憶部に記憶された座標情報の一例を示す図である。 図２６は、ホールド中指示棒を表す情報の一例を示す図である。 図２７は、第３実施形態の表示内容決定処理の一例を示すフローチャートである。 図２８は、表示内容の一例を示す図である。 図２９は、表示内容の一例を示す図である。 図３０は、第３実施形態の画像表示処理の一例を示すフローチャートである。 図３１は、投影面に投影された画像の一例を示す図である。 図３２は、変形例に係る表示内容決定処理の一例を示すフローチャートである。 図３３は、表示内容の一例を示す図である。 図３４は、投影面に投影された画像の一例を示す図である。 図３５は、投影面に投影された画像の一例を示す図である。 図３６は、座標記憶部に記憶された座標情報の一例を示す図である。 図３７は、表示内容の一例を示す図である。 図３８は、表示内容の一例を示す図である。 図３９は、無競合操作情報の一例を示す図である。 図４０は、第４実施形態の表示内容決定処理の一例を示すフローチャートである。 図４１は、表示内容の一例を示す図である。 図４２は、表示内容の一例を示す図である。

以下、添付図面を参照しながら、本発明に係るシステム、情報処理方法、画像投影装置およびプログラムの実施形態を詳細に説明する。なお、本発明は、以下の各実施形態に限定されるものではない。また、以下の各実施形態および変形例は、内容が矛盾しない範囲で適宜に組み合わせることもできる。

（第１実施形態）
図１は、本実施形態に係るシステム１の概略構成例を示す図である。図１に示すように、システム１は、情報処理装置１００と、プロジェクタ２００とを備える。情報処理装置１００とプロジェクタ２００は、相互に通信可能に接続されている。情報処理装置１００とプロジェクタ２００との接続形態は任意であり、有線接続であってもよいし、無線接続であってもよい。

図２は、本実施形態に係るシステム１の機能構成例を示すブロック図である。図２に示すように、システム１は、画像記憶部１０と、映像出力部２０と、認識部３０と、座標管理部４０と、座標記憶部５０と、指示領域画像作成部６０と、アイコン作成部７０と、実画面作成部８０と、を備える。

画像記憶部１０は、各種の画像を記憶する。より具体的には、画像記憶部１０は、ユーザから指定された画像（以下、「指定画像」と称する場合がある）や、スクリーン（不図示）などの投影対象物に投影される画像（以下、「投影画像」と称する場合がある）などを記憶する。投影画像は、出力される画像の一例である。

映像出力部２０は、画像記憶部１０に記憶された投影画像を、投影対象物に投影する。

認識部３０は、出力された画像に対応する対象空間を撮像した撮像画像を用いて、ユーザによる指示動作（ジェスチャ）を認識する。この例では、カメラ等の撮像装置（不図示）が、投影対象物のうち画像が投影される投影面の手前側の空間（対象空間）を撮像することにより撮像画像を生成する。認識部３０は、連続した複数の撮像画像の各々に映り込んだユーザの所定部位（例えば手）の軌跡（動き）を検出して、ユーザによる指示動作を認識する。ユーザによる指示動作を認識する方法としては、公知の様々な技術を利用することができる。また、認識部３０は、撮像画像を用いて、投影画像に対するユーザの所定部位の座標を算出する。以下の説明では、この座標を、指示座標と称する場合がある。認識部３０は、対象空間内での指示動作を認識するたびに、その認識結果（認識した指示動作を示す情報、当該指示動作を行ったユーザを識別するユーザ情報、指示座標を示す情報などを含む）を座標管理部４０へ通知する。

座標管理部４０は、認識部３０から通知された認識結果が、ユーザの所定部位が対象空間へ進入したことを示す場合（認識部３０からの通知が進入通知である場合）、当該認識結果に含まれる座標（指示座標）に応じて、投影画像のうち、当該ユーザによる指示動作が行われる領域に対応する指示領域の位置を決定し、決定した指示領域の位置を示す座標を、座標記憶部５０に追加する。指示領域とは、投影画像に含まれる領域であって、投影画像を縮小した縮小画像が配置される領域である。また、座標管理部４０は、認識部３０から通知された認識結果が、ユーザの所定部位が対象空間から離脱したことを示す場合（認識部３０からの通知が離脱通知である場合）、当該認識結果に含まれるユーザ情報により識別されるユーザに紐付けられた座標（例えば指示領域の座標等）を、座標記憶部５０から削除する。

また、座標管理部４０は、実画面作成部８０に対して、指定画像を背景とする実画面の作成を指示する。例えば座標管理部４０は、実画面作成部８０に対して、座標記憶部５０に記憶された座標に従って、各ユーザの指示領域を表示することを指示する。また、座標管理部４０は、例えばハイライト指示を行ったユーザの指示座標が、当該ユーザに対応する指示領域に含まれている場合は、その指示座標について、元の指定画像の座標系への変換を行い、変換後の座標においてハイライト表示するよう、実画面作成部８０に指示する。一方、ユーザの指示座標が、当該ユーザに対応する指示領域外である場合は、ハイライト表示は行わないよう、実画面作成部８０に指示する。

また、座標管理部４０は、認識部３０から通知された認識結果が、特定の操作を示す場合（例えば所定のアイコンの押下操作を示す場合）、その特定の操作に応じた画像を表示するよう、実画面作成部８０に指示する。

さらに、座標管理部４０は、認識部３０から通知された認識結果が、あるユーザによる指示動作を示す場合（認識部３０によってユーザによる指示動作が認識された場合）、該ユーザとは異なる他のユーザによる指示動作を制限するように、投影対象の画像の出力を制御する。本実施形態では、座標管理部４０は、認識部３０によってユーザによる指示動作が認識された場合、該ユーザとは異なる他のユーザに対応する指示領域に対して、当該他のユーザ以外のユーザによる指示動作が行われた旨を表示するよう、実画面作成部８０に指示する。この詳細な内容については後述する。この例では、座標管理部４０は、請求項の「制御部」に対応している。

以上のようにして、座標管理部４０は、実画面作成部８０が画面を作成するための情報（以下、「表示内容」と称する場合がある）を構築する。後述するように、本実施形態における表示内容は、指示領域やアイコンなどの表示対象の種別と、ユーザと、表示対象の座標、横幅および高さと、表示の制御内容とが対応付けられた情報である。

座標記憶部５０は、各ユーザに割り当てられた指示領域の表示範囲の座標や、各ユーザの指示座標などを記憶する。後述するように、本実施形態では、座標記憶部５０は、指示領域やアイコンなどの表示対象の種別と、ユーザと、表示対象の座標、横幅および高さとを対応付けて記憶する。

指示領域画像作成部６０は、画像記憶部１０に記憶されている画像を元に、指示領域の画像（この例では指定画像を縮小した縮小画像）を作成する。アイコン作成部７０は、ユーザが指し示す場所を表現するためのハイライト画像や、操作指示を行うための操作アイコン、指示棒などのアイコンを作成する。

実画面作成部８０は、指定画像を背景として、座標管理部４０により構築された表示内容に従って、指示領域の画像やハイライト画像などを合成し、画像記憶部１０に、次に出力すべき投影画像として保存する。また、そのための画像用メモリを保持している。

図３は、情報処理装置１００のハードウェア構成例を示す図である。図３に示すように、情報処理装置１００は、演算処理装置１０１と、メモリ装置１０２と、補助記憶装置１０３と、入力装置１０４と、表示装置１０５と、インターフェース装置１０６とを備えている。

演算処理装置１０１は、情報処理装置１００の動作を統括的に制御する。演算処理装置１０１は、メモリ装置１０２や補助記憶装置１０３等に格納されたプログラムを実行することで、情報処理装置１００全体の動作を制御する。

入力装置１０４は、各種の入力に用いられるデバイスであり、例えばキーボードやマウスなどで構成され得る。表示装置１０５は、情報処理装置１００やシステム１に関する様々な情報を表示するデバイスであり、例えば液晶ディスプレイ装置などで構成され得る。また、例えば入力装置１０４が設けられずに、タッチパネル機能が搭載されたディスプレイ装置で、入力装置１０４と表示装置１０５の機能を兼用する形態であってもよい。

インターフェース装置１０６は、プロジェクタ２００や外部装置等と通信するためのインターフェースである。

図４は、プロジェクタ２００のハードウェア構成例を示す図である。図４に示すように、プロジェクタ２００は、演算処理装置２０１と、メモリ装置２０２と、補助記憶装置２０３と、入力装置２０４と、投影装置２０５と、インターフェース装置２０６とを備えている。

演算処理装置２０１は、プロジェクタ２００の動作を統括的に制御する。演算処理装置２０１は、メモリ装置２０２や補助記憶装置２０３等に格納されたプログラムを実行することで、プロジェクタ２００全体の動作を制御する。

入力装置２０４は、各種の入力に用いられるデバイスであり、例えばキーボードやマウスなどで構成され得る。投影装置２０５は、投影画像を投影するデバイスであり、作像エンジン、光源、および、光学系レンズなどから構成される。

インターフェース装置２０６は、情報処理装置１００や外部装置等と通信するためのインターフェースである。

本実施形態では、図２に示す画像記憶部１０は、例えば情報処理装置１００の補助記憶装置１０３等により実現可能である。図２に示す映像出力部２０は、例えばプロジェクタ２００のメモリ装置２０２、投影装置２０５等により実現可能である。図２に示す認識部３０は、例えば不図示の撮像装置（カメラなど）、情報処理装置１００の演算処理装置１０１、メモリ装置１０２、および、入力装置１０４等により実現可能である。図２に示す座標管理部４０は、例えば情報処理装置１００の演算処理装置１０１、メモリ装置１０２、および、入力装置１０４等により実現可能である。図２に示す座標記憶部５０は、例えば情報処理装置１００の補助記憶装置１０３等により実現可能である。図２に示す指示領域画像作成部６０は、例えば情報処理装置１００の演算処理装置１０１、メモリ装置１０２等により実現可能である。図２に示すアイコン作成部７０は、例えば情報処理装置１００の演算処理装置１０１、メモリ装置１０２等により実現可能である。図２に示す実画面作成部８０は、例えば情報処理装置１００の演算処理装置１０１、メモリ装置１０２等により実現可能である。

なお、例えば上述したシステム１の機能は、プロジェクタ２００（と撮像装置）のみで実現してもよい。

図５は、図２に示す各要素間のやりとりを模式的に示す図である。図５に示すように、認識部３０からの認識結果の通知を契機として、座標管理部４０は、座標記憶部５０に記憶された座標を更新する座標更新処理を実行する。座標更新処理の後、座標管理部４０は、表示内容を決定する表示内容決定処理を実行する。座標管理部４０は、決定した表示内容に従った画面の表示を実画面作成部８０に要求する。そして、実画面作成部８０は、決定された表示内容に従って、次に投影すべき画像を生成する画像表示処理を実行する。

図６は、座標更新処理の詳細な内容の一例を示すフローチャートである。まず、座標管理部４０は、座標記憶部５０から、座標記憶部５０に記憶されている全ての座標情報を取得する（ステップＳ１）。次に、座標管理部４０は、認識部３０からの通知が、進入通知であるか否かを判断する（ステップＳ２）。認識部３０からの通知が進入通知であると判断した場合（ステップＳ２：ＹＥＳ）、座標管理部４０は、認識部３０から通知された座標（認識結果に含まれる座標）に応じて指示領域の位置を決定し、決定した指示領域の座標を座標記憶部５０に追加する（ステップＳ３）。そして、座標管理部４０は、指示領域内に配置するアイコンの座標を座標記憶部５０に追加する（ステップＳ４）。

一方、上述のステップＳ２において、認識部３０からの通知が、進入通知ではないと判断した場合（ステップＳ２：ＮＯ）、座標管理部４０は、認識部３０からの通知が離脱通知であるか否かを判断する（ステップＳ５）。認識部３０からの通知が離脱通知であると判断した場合（ステップＳ５：ＹＥＳ）、座標管理部４０は、認識部３０から通知されたユーザ（認識結果に含まれるユーザ情報により識別されるユーザ）に紐付く座標情報を座標記憶部５０から削除する（ステップＳ６）。認識部３０からの通知が離脱通知ではないと判断した場合（ステップＳ５：ＮＯ）、座標管理部４０は、認識部３０から通知された座標で、座標記憶部５０内の指示座標を更新する（ステップＳ７）。

いま、例えばユーザＡおよびユーザＢの各々が対象空間に進入し、ユーザＡがハイライト指示（ハイライト表示に対応する指示動作）を実施した場合を想定する。この場合、上述の座標更新処理によって、座標記憶部５０に記憶された座標情報は、図７のようになる。図７に示すように、座標記憶部５０は、指示領域やアイコンなどの表示対象の種別と、ユーザと、表示対象の座標、横幅および高さとを対応付けて記憶している。例えば表示対象の種別として「指示領域」を示す情報と、「ユーザＡ」を識別する情報と、Ｘ座標「０」、Ｙ座標「２００」、横幅「６０」および高さ「４０」とが対応付けられて座標記憶部５０に記憶されているといった具合である。ここでは、表示対象の種別と、ユーザと、表示対象の座標、横幅および高さとが対応付けられた１行分の情報を、座標情報と称する場合がある。

次に、表示内容決定処理について説明する。図８は、表示内容決定処理の詳細な内容の一例を示すフローチャートである。まず、座標管理部４０は、座標記憶部５０から、座標記憶部５０に記憶されている全ての座標情報を取得する（ステップＳ１０）。次に、座標管理部４０は、取得した座標情報の中に指示領域が含まれていれば、表示内容として指示領域を追加する（ステップＳ１１）。次に、座標管理部４０は、取得した座標情報の中にアイコンが含まれていれば、表示内容としてアイコンを追加する（ステップＳ１２）。次に、座標管理部４０は、取得した座標情報の中にハイライト指示が含まれており、そのハイライト指示に対応する座標が指示領域の表示範囲に含まれている場合は、その座標を指定画像の座標系に変換した上で、表示内容としてハイライト指示を追加する（ステップＳ１３）。座標系の変換は、投影画像と縮小画像（指示領域の画像）との大きさ（横幅や高さ）をもとに行えばよい。

次に、座標管理部４０は、表示内容としてハイライト指示が含まれている場合、そのハイライト指示に紐付くユーザ以外のユーザの指示領域に対して、他のユーザによるハイライト指示が行われている旨を示すメッセージを表示内容として追加する（ステップＳ１４）。

例えば前述の座標更新処理により、図７に示す座標情報が座標記憶部５０に記憶されている場合、以上の表示内容決定処理により、図９に示す表示内容が構築される。図９に示すように、表示内容は、表示対象の種別と、ユーザと、表示対象の座標、横幅および高さと、表示の制御内容とが対応付けられた情報である。この例では、制御内容が「通常」を示す場合、その制御内容に対応付けられた表示対象は、対応する座標、横幅および高さで表示されることを表す。一方、制御内容が「非表示」を示す場合、その制御内容に対応付けられた表示対象は、表示されないことを表す。また、図９の例では、表示対象の種別として「ハイライト」を示す情報に対応付けられたＸ座標、Ｙ座標、横幅および高さは、指定画像の座標系における値（座標系の変換が行われた後の値）を示している。

次に、画像表示処理について説明する。図１０は、画像表示処理の詳細な内容の一例を示すフローチャートである。まず、実画面作成部８０は、指定画像を背景として画像メモリ上で合成する（ステップＳ２０）。次に、実画面作成部８０は、前述の表示内容決定処理で決定された表示内容に従って、指示領域を画像として画像メモリ上で合成する（ステップＳ２１）。次に、実画面作成部８０は、表示内容に従って、操作アイコンを画像として画像メモリ上で合成する（ステップＳ２２）。次に、実画面作成部８０は、表示内容に従って、ハイライトを画像として画像メモリ上で合成する（ステップＳ２３）。次に、実画面作成部８０は、表示内容に従って、前述のメッセージを画像として画像メモリ上で合成する（ステップＳ２４）。次に、実画面作成部８０は、映像出力部２０に対して、画像メモリ上に合成された画像で、出力を更新するように要求する（ステップＳ２５）。

例えば前述の表示内容決定処理によって、図９に示す表示内容が構築された場合、以上の画像表示処理により、投影面に投影される画像は、図１１のようになる。

以上に説明したように、本実施形態では、あるユーザによる指示動作が認識された場合、他のユーザに対応する指示領域に対して、当該他のユーザ以外のユーザによる指示動作が行われた旨を示すメッセージが表示されるので、他のユーザは、当該他のユーザ以外のユーザによる指示動作が行われたことを認識し、その指示動作の妨げになるような指示動作を行うことを自粛するので、投影画像（出力画像の一例）に対する各ユーザの操作が干渉し合うことを防止できるという有利な効果を達成できる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、指示動作間の関係を示す関係情報と、認識部３０によって認識された指示動作とに基づいて、その認識された指示動作を行ったユーザ以外のユーザによる指示動作を制限するように投影画像の出力を制御する点で上述の第１実施形態と相違する。以下、具体的な内容を説明する。なお、上述の第１実施形態と共通する部分については適宜に説明を省略する。

図１２は、第２実施形態に係るシステム２の機能構成例を示す図である。図１２に示すように、システム２は、第１記憶部９０をさらに備える。第１記憶部９０は、例えば情報処理装置１００の補助記憶装置１０３等により実現可能である。第１記憶部９０は、指示動作間の関係を示す関係情報を記憶する。本実施形態における関係情報は、所定の指示動作を行ったユーザ以外のユーザによる指示動作に対応する操作アイコンを非表示にすることを示す。図１３は、関係情報の一例を示す図である。図１３の例では、指示動作の種別として「ハイライト指示」を示す情報に対して、制御対象として「全操作」を示す情報と、制御内容として「非表示」を示す情報とが対応付けられている。この関係情報は、例えば認識部３０によってユーザによるハイライト指示が認識された場合、該ユーザとは異なる他のユーザによる全ての操作に対応する操作アイコンが非表示になることを表している。

次に、第２実施形態における表示内容決定処理を説明する。座標更新処理および画像表示処理の内容は、上述の第１実施形態と同様であるので、詳細な説明は省略する。図１４は、第２実施形態における表示内容決定処理の一例を示すフローチャートである。図１４に示すステップＳ３０〜ステップＳ３３の内容は、図８に示すステップＳ１０〜ステップＳ１３の内容と同様であるので、詳細な説明については省略する。ステップＳ３３の後、座標管理部４０は、第１記憶部９０から関係情報を取得する（ステップＳ３４）。次に、座標管理部４０は、取得した座標情報に含まれている指示が、関係情報に含まれる「種別」が示す指示動作と一致するか否かを判定する（ステップＳ３５）。

上述のステップＳ３５において、取得した座標情報に含まれている指示が、関係情報に含まれる「種別」が示す指示動作と一致すると判定した場合（ステップＳ３５：ＹＥＳ）、座標管理部４０は、関係情報のうち、取得した座標情報に含まれている指示と一致する指示動作を示す種別に対応付けられた制御対象および制御内容に従って、その指示を行ったユーザ以外の他のユーザが利用する操作アイコンの表示形態を決定し（ステップＳ３６）、処理はステップＳ３７に移行する。一方、上述のステップＳ３５において、取得した座標情報に含まれている指示が、関係情報に含まれる「種別」が示す指示動作と一致しないと判定した場合（ステップＳ３５：ＮＯ）、処理はそのままステップＳ３７に移行する。

ステップＳ３７において、座標管理部４０は、取得した座標情報に含まれる指示に対応する座標（指示座標）が、「通常」を示す制御内容に対応付けられた操作アイコンの表示範囲に含まれるか否かを判定する（ステップＳ３７）。取得した座標情報に含まれる指示に対応する座標が、「通常」を示す制御内容に対応付けられた操作アイコンの表示範囲に含まれると判定した場合（ステップＳ３７：ＹＥＳ）、座標管理部４０は、当該指示に従った処理を行う（ステップＳ３８）。一方、取得した座標情報に含まれる指示に対応する座標が、「通常」を示す制御内容に対応付けられた操作アイコンの表示範囲に含まれないと判定された場合（ステップＳ３７：ＮＯ）、処理はそのまま終了する。

例えば前述の座標更新処理により、図７に示す座標情報が座標記憶部５０に記憶されている場合、以上の表示内容決定処理により、図１５に示す表示内容が構築される。ここでは、ユーザＡおよびユーザＢの各々が対象空間に進入し、ユーザＡがハイライト指示（ハイライト表示に対応するジェスチャ）を実施した場合が想定されており、図１６に示すように、ハイライト指示者ではないユーザＢに対応する指示領域から、操作アイコンが消えるといった具合である。

以上に説明したように、本実施形態では、所定の指示動作を行ったユーザ以外のユーザによる指示動作に対応する操作アイコンを非表示にすることを示す関係情報を記憶する第１記憶部９０をさらに備え、認識部３０によってユーザによる所定の指示動作が認識された場合、該ユーザとは異なる他のユーザが利用する操作アイコンを非表示にする。これにより、所定の指示動作を行ったユーザ以外のユーザによる指示動作を防止することができるので、結果として、各ユーザの操作が干渉し合うことを防止できる。

（第２実施形態の変形例１）
例えば上述の関係情報は、所定の指示動作を行ったユーザ以外のユーザによる指示動作に対応する操作アイコンを無効にすることを示すものであってもよい。この形態では、座標管理部４０は、認識部３０によってユーザによる所定の指示動作が認識された場合、該ユーザとは異なる他のユーザによる指示動作に対応する操作アイコンを無効にする制御を行うこともできる。図１７は、本変形例に係る関係情報の一例を示す図である。図１７の例では、指示動作の種別として「ハイライト指示」を示す情報に対して、制御対象として「全操作」を示す情報と、表示の制御内容として「無効化」を示す情報とが対応付けられている。この関係情報は、例えば認識部３０によってユーザによるハイライト指示が認識された場合、該ユーザとは異なる他のユーザによる全ての操作に対応する操作アイコンを利用する操作が無効になることを表している。

例えば前述の座標更新処理により、図７に示す座標情報が座標記憶部５０に記憶されている場合、前述の表示内容決定処理により、図１８に示す表示内容が構築される。ここでは、ユーザＡおよびユーザＢの各々が対象空間に進入し、ユーザＡがハイライト指示（ハイライト表示に対応するジェスチャ）を実施した場合が想定されており、図１９に示すように、ハイライト指示者ではないユーザＢに対応する指示領域に表示される操作アイコンが無効になるといった具合である。

（第２実施形態の変形例２）
例えば指示領域に表示される操作アイコンが複数存在する場合において、上述の関係情報は、所定の指示動作を行ったユーザ以外のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を無効にすることを示すものであってもよい。この形態では、座標管理部４０は、認識部３０によって、ユーザによる所定の指示動作が認識された場合、該ユーザとは異なる他のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を無効にする制御を行うこともできる。図２０は、本変形例に係る関係情報の一例を示す図である。図２０の例では、指示動作の種別として「ハイライト指示」を示す情報に対して、制御対象として「ページ切り替え操作」を示す情報と、表示の制御内容として「無効化」を示す情報とが対応付けられている。この関係情報は、例えばあるユーザによるハイライト指示が認識された場合、他のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうち、「ページ切り替え操作」に対応する操作アイコンが無効になることを表している。

例えば前述の座標更新処理により、図７に示す座標情報が座標記憶部５０に記憶されている場合、前述の表示内容決定処理により、図２１に示す表示内容が構築される。ここでは、ユーザＡおよびユーザＢの各々が対象空間に進入し、ユーザＡがハイライト指示（ハイライト表示に対応するジェスチャ）を実施した場合が想定されており、図２２に示すように、ハイライト指示者ではないユーザＢに対応する指示領域に表示される「ページ切り替え操作」に対応する操作アイコンが無効になるといった具合である。

なお、例えば指示領域に表示される操作アイコンが複数存在する場合において、上述の関係情報は、所定の指示動作を行ったユーザ以外のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を非表示にすることを示すものであってもよい。この形態では、座標管理部４０は、認識部３０によってユーザによる所定の指示動作が認識された場合、該ユーザとは異なる他のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を非表示にする制御を行うこともできる。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、座標管理部４０は、認識部３０によって、ユーザに対応する指示領域に表示される仮想の指示手段をつかむことを示す指示動作が認識された場合、該ユーザに対応する指示領域において、当該仮想の指示手段を利用した操作に対応する操作アイコンを表示する。一方、該ユーザとは異なる他のユーザに対応する指示領域において、当該他のユーザに対応する指示領域に表示される仮想の指示手段を利用する操作に対応する操作アイコンを非表示にする制御を行う。以下、具体的な内容を説明する。ここでは、仮想の指示手段として、指示棒を例に挙げて説明するが、これに限られるものではない。なお、上述の各実施形態と共通する部分については適宜に説明を省略する。

図２３は、本実施形態に係るシステムの動作手順の一例を模式的に示す図である。基本的な流れは、上述の各実施形態と同様である。次に、本実施形態における座標更新処理について説明する。図２４は、本実施形態における座標更新処理の詳細な内容の一例を示すフローチャートである。図２４に示すステップＳ４１〜ステップＳ４４の内容は、図６に示すステップＳ１〜ステップ４の内容と同様であるので、詳細な説明は省略する。図２４に示すステップＳ４５において、座標管理部４０は、指示領域内に配置する指示棒の座標を座標記憶部５０に追加する。

図２４に示すステップＳ４６およびステップＳ４７の内容は、図６に示すステップＳ５およびステップＳ６の内容と同様であるので、詳細な説明は省略する。ステップＳ４６において、認識部３０から通知が離脱通知ではないと判断した場合（ステップＳ４６：ＮＯ）、座標管理部４０は、認識部３０からの通知が、ホールド開始通知であるか否かを判断する（ステップＳ４８）。つまり、認識部３０からの認識結果が、指示棒のホールドを開始したことを示すものであるか否かを判断する。認識部３０からの通知がホールド開始通知であると判断した場合（ステップＳ４８：ＹＥＳ）、座標管理部４０は、認識部３０から通知された座標が、指示棒の座標と重なるか否かを判断する（ステップＳ４９）。認識部３０から通知された座標が指示棒の座標と重ならないと判断した場合（ステップＳ４９：ＮＯ）、そのまま処理は終了する。一方、認識部３０から通知された座標が指示棒の座標と重なると判断した場合（ステップＳ４９：ＹＥＳ）、座標管理部４０は、ホールド中指示棒として、通知された座標と重なる指示棒をユーザと紐付けて座標記憶部５０に追加する（ステップＳ５０）。

上述のステップＳ４８において、認識部３０からの通知がホールド開始通知ではないと判断した場合（ステップＳ４８：ＮＯ）、座標管理部４０は、認識部３０からの通知がホールド中通知であるか否かを判断する（ステップＳ５１）。つまり、認識部３０からの認識結果が、指示棒をホールド中であることを示すものであるか否かを判断する。認識部３０からの通知がホールド中通知であると判断した場合（ステップＳ５１：ＹＥＳ）、座標管理部４０は、座標記憶部５０に記憶されたホールド中指示棒において、認識部３０から通知されたユーザに紐付けられた指示棒が含まれているか否かを判断する（ステップＳ５２）。座標記憶部５０に記憶されたホールド中指示棒において、認識部３０から通知されたユーザに紐付けられた指示棒が含まれていないと判断した場合（ステップＳ５２：ＮＯ）、そのまま処理は終了する。一方、座標記憶部５０に記憶されたホールド中指示棒において、認識部３０から通知されたユーザに紐付けられた指示棒が含まれていると判断した場合（ステップＳ５２：ＹＥＳ）、座標管理部４０は、その指示棒の座標を、認識部３０から通知された座標で更新する（ステップＳ５３）。そして、座標管理部４０は、その指示棒の先端の座標で、座標記憶部５０に記憶された指示座標を更新する（ステップＳ５４）。

上述のステップＳ５１において、認識部３０からの通知がホールド中通知ではないと判断した場合（ステップＳ５１：ＮＯ）、座標管理部４０は、認識部３０からの通知がホールド終了通知であるか否かを判断する（ステップＳ５５）。つまり、認識部３０からの認識結果が、指示棒のホールドを終了したことを示すものであるか否かを判断する。認識部３０からの通知がホールド終了通知であると判断した場合（ステップＳ５５：ＹＥＳ）、座標管理部４０は、座標記憶部５０に記憶されたホールド中指示棒から、認識部３０から通知されたユーザ（認識結果に含まれるユーザ情報により識別されるユーザ）に紐付けられた指示棒を削除する（ステップＳ５６）。一方、認識部３０からの通知がホールド終了通知ではないと判断した場合（ステップＳ５５：ＮＯ）、座標管理部４０は、認識部３０から通知された座標で、座標記憶部５０内の指示座標を更新する（ステップＳ５７）。

例えば以上の座標更新処理が行われる前の座標記憶部５０に記憶された座標情報が図２５の内容であった場合、ユーザＡが、自身に割り当てられた指示領域に表示された指示棒をつかむジェスチャを行うと、座標記憶部５０には、図２６のような情報が追加される。図２６の例では、ホールド中指示棒を表す情報として、ユーザＡと、全ての操作に用いることができる指示棒とが対応付けられている。これは、ユーザＡが、全ての操作に用いることができる指示棒をホールド中であることを表している。

次に、本実施形態における表示内容決定処理について説明する。図２７は、本実施形態における表示内容決定処理の一例を示すフローチャートである。図２７にステップＳ６０〜ステップＳ６２の内容は、図１４に示すステップＳ３０〜ステップＳ３２の内容と同様であるので、詳細な説明は省略する。

図２７に示すステップＳ６３において、座標管理部４０は、取得した座標情報の中に指示棒が含まれていれば、表示内容として指示棒を追加する。次に、座標管理部４０は、全てのアイコンの制御内容を「非表示」に設定する（ステップＳ６４）。次に、座標管理部４０は、取得した座標情報の中にハイライト指示が含まれており、そのハイライト指示に対応する座標が指示領域の表示範囲に含まれている場合は、その座標を指定画像の座標系に変換した上で、表示内容としてハイライト指示を追加する（ステップＳ６５）。ステップＳ６５の内容は、図１４に示すステップＳ３３の内容と同様である。次に、座標管理部４０は、第１記憶部９０から関係情報を取得する（ステップＳ６６）。次に、座標管理部４０は、ホールド中指示棒が示す操作とユーザとの組み合わせに対応する操作アイコンの制御内容を「通常」に設定する（ステップＳ６７）。ステップＳ６８〜ステップＳ７１の内容は、図１４に示すステップＳ３５〜ステップＳ３８の内容と同様であるので、詳細な説明は省略する。

例えば前述の座標更新処理により、図２５に示す座標情報が座標記憶部５０に記憶されていて、ホールド中指示棒を表す情報が座標記憶部５０に記憶されていない場合、以上の表示内容決定処理により、図２８に示す表示内容が構築される。ここで、ユーザＡが、自身に割り当てられた指示領域に表示された指示棒をつかむことを示すジェスチャを行うと、前述の座標更新処理により、図２６のような情報（ホールド中指示棒を表す情報）が座標記憶部５０に追加され、以上の表示内容決定処理により、図２９に示す表示内容が構築される。

次に、本実施形態における画像表示処理について説明する。図３０は、本実施形態における画像表示処理の一例を示すフローチャートである。図３０に示すステップＳ８０およびステップＳ８１の内容は、図１０に示すステップＳ２０およびステップＳ２１の内容と同様であるので、詳細な説明は省略する。

図３０に示すステップＳ８２において、実画面作成部８０は、前述の表示内容決定処理で決定された表示内容に従って、指示棒を画像として画像メモリ上で合成する（ステップＳ８２）。図３０に示すステップＳ８３およびステップＳ８４の内容は、図１０に示すステップＳ２２およびステップＳ２３の内容と同様であるので、詳細な説明は省略する。また、図３０に示すステップＳ８５の内容は、図１０に示すステップＳ２５の内容と同様であるので、詳細な説明は省略する。

例えば前述の表示内容決定処理によって、図２９に示す表示内容が構築された場合、投影面に投影される画像は、図３１のようになる。図３１の例では、ユーザＡが、自身に割り当てられた指示領域に表示された指示棒をつかむジェスチャを行ったことにより、他のユーザＢに割り当てられた指示領域において、当該指示領域（ユーザＢに割り当てられた指示領域）に表示された指示棒を利用する操作に対応する操作アイコンが非表示にされていることが分かる。

（第３実施形態の変形例１）
例えば座標管理部４０は、認識部３０によってユーザに対応する指示領域に表示された指示棒をつかむことを示す指示動作が認識された場合、該ユーザとは異なる他のユーザに対応する指示領域に表示される指示棒（他のユーザに割り当てられた指示棒であると捉えることもできる）を非表示にする制御を行うこともできる。

本変形例に係る表示内容決定処理を説明する。座標更新処理および画像表示処理の内容は、上述の第３実施形態と同様であるので、詳細な説明は省略する。図３２は、本変形例に係る表示内容決定処理の一例を示すフローチャートである。図３２に示すステップＳ８０〜ステップＳ８７の内容は、図２７に示すステップＳ６０〜ステップＳ６７の内容と同様であるので、詳細な説明は省略する。

図３２に示すステップＳ８８において、座標管理部４０は、ホールド中指示棒に対応するユーザ（指示棒をつかんで指示動作を行っているユーザ）以外のユーザの指示棒の制御内容を「非表示」に設定する。ステップＳ８９〜ステップＳ９２の内容は、図２７に示すステップＳ６８〜ステップＳ７１の内容と同様であるので、詳細な説明は省略する。

例えば前述の座標更新処理により、図２５に示す座標情報が座標記憶部５０に記憶され、かつ、ホールド中指示棒を表す情報が座標記憶部５０に記憶されていない場合、以上の表示内容決定処理により、図２８に示す表示内容が構築される。ここで、ユーザＡが、自身に割り当てられた指示領域に表示された指示棒をつかむことを示すジェスチャを行うと、前述の座標更新処理により、図２６のような情報（ホールド中指示棒を表す情報）が座標記憶部５０に追加され、以上の表示内容決定処理により、図３３に示す表示内容が構築される。図３３に示す表示内容が構築された場合、前述の画像表示処理により、投影面に投影される画像は、図３４のようになる。図３４の例では、ユーザＡが、自身に割り当てられた指示領域に表示された指示棒をつかむジェスチャを行ったことにより、他のユーザＢに割り当てられた指示領域において、ユーザＢの指示棒も非表示にされていることが分かる。

（第３実施形態の変形例２）
例えば指示棒ごとに、当該指示棒を利用する操作が予め定められていてもよい。複数種類の操作と１対１に対応する複数種類の指示棒が存在する場合は、図３５に示すように、その複数種類の指示棒を指示領域に表示することもできる。

例えば前述の座標更新処理により、図３６に示す座標情報が座標記憶部５０に記憶されている場合、前述の表示内容決定処理により、図３７に示す表示内容が構築される。ここで、ユーザＡが、「ページ切り替え」操作用の指示棒をつかむジェスチャを行うと、前述の表示内容決定処理により構築される表示内容は、図３８のように更新され、ユーザＡに対応する指示領域において、「ページ切り替え」操作用の指示棒に対応する操作アイコンが表示されることになる。

（第４実施形態）
次に、第４実施形態について説明する。第４実施形態では、指示棒を利用する１以上の操作のうち、他の指示棒と競合しない操作を示す無競合操作情報を記憶する第２記憶部をさらに備え、座標管理部４０は、認識部３０によって、ユーザに対応する指示領域に表示される指示棒をつかむ指示動作（あるユーザが指示棒をつかむジェスチャ）が認識された場合、該ユーザに対応する指示領域において、当該指示棒を利用する操作に対応する操作アイコンを表示する一方、該ユーザとは異なる他のユーザに対応する指示領域に表示される指示棒（他のユーザに割り当てられた指示棒）を、無競合操作情報が示す操作に対応する指示棒に変更する制御を行う点で上述の各実施形態と相違する。以下、具体的な内容を説明する。なお、上述の各実施形態と共通する部分については適宜に説明を省略する。

図３９は、第２記憶部に記憶される無競合操作情報の一例を示す図である。図３９の例では、指示棒を利用する１以上の操作のうち「拡大／縮小」の操作が、他の指示棒を利用する操作と競合しない操作であることが示されている。なお、無競合操作が示す操作は、「拡大／縮小」の操作に限られるものではなく、任意に変更可能である。

次に、本実施形態に係る表示内容決定処理を説明する。座標更新処理および画像表示処理の各々の内容は、上述の第３実施形態と同様であるので、詳細な説明は省略する。図４０は、本実施形態に係る表示内容決定処理の一例を示すフローチャートである。図４０に示すステップＳ１００〜ステップＳ１０３の内容は、図２７に示すステップＳ６０〜ステップＳ６３の内容と同様であるので、詳細な説明は省略する。

図４０に示すステップＳ１０４において、座標管理部４０は、ホールド中指示棒が示す操作が、無競合操作情報が示す操作と一致するか否かを判断する（ステップＳ１０４）。ホールド中指示棒が示す操作が、無競合操作情報が示す操作と一致しないと判断した場合（ステップＳ１０４：ＮＯ）、無競合操作情報が示す操作に用いられる他のユーザ用の指示棒が存在するか否かを判断する（ステップＳ１０５）。一方、ホールド中指示棒が示す操作が、無競合操作情報が示す操作と一致すると判断した場合（ステップＳ１０４：ＹＥＳ）、処理はステップＳ１０８に移行する。

上述のステップＳ１０５において、無競合操作情報が示す操作に用いられる他のユーザ用の指示棒が存在すると判断した場合（ステップＳ１０５：ＹＥＳ）、座標管理部４０は、無競合操作情報が示す操作に用いられる他のユーザ用の指示棒以外の指示棒が示す操作と、他のユーザとの組み合わせに対応する操作アイコンの制御内容を「非表示」に設定し（ステップＳ１０６）、処理はステップＳ１０８に移行する。一方、無競合操作情報が示す操作に用いられる他のユーザ用の指示棒が存在しないと判断した場合（ステップＳ１０５：ＮＯ）、座標管理部４０は、他のユーザ用の指示棒を、無競合操作情報が示す操作に用いられる指示棒（無競合操作情報が示す操作に対応する指示棒）に変更し（ステップＳ１０７）、処理はステップＳ１０８に移行する。

図４０に示すステップＳ１０８以降の内容は、図２７に示すステップＳ６５以降の内容と基本的には同様であるので、詳細な説明は省略する。

例えば座標記憶部５０に記憶された座標情報が図２５に示す状態であった場合に、ユーザＡが、自身に割り当てられた指示領域に表示された何れかの指示棒をつかむジェスチャを行うと、以上の表示内容決定処理により、図４１に示す表示内容が構築される。また例えば座標記憶部５０に記憶された座標情報が図３６に示す状態であった場合に、ユーザＡが、自身に割り当てられた指示領域に表示された何れかの指示棒をつかむジェスチャを行うと、以上の表示内容決定処理により、図４２に示す表示内容が構築されるといった具合である。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。また、上述の各実施形態および変形例は任意に組み合わせることが可能である。

上述した各実施形態のシステムで実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ システム
１０ 画像記憶部
２０ 映像出力部
３０ 認識部
４０ 座標管理部
５０ 座標記憶部
６０ 指示領域画像作成部
７０ アイコン作成部
８０ 実画面作成部
９０ 第１記憶部
１００ 情報処理装置
２００ プロジェクタ

特開２００９−２８２６３７号公報

Claims (11)

1. 出力された画像に対応する対象空間を撮像した撮像画像を用いて、ユーザによる指示動作を認識する認識部と、
   前記認識部によってユーザによる指示動作が認識された場合、該ユーザとは異なる他のユーザによる指示動作を制限するように前記画像の出力を制御する制御部と、
   指示動作間の関係を示す関係情報を記憶する第１記憶部と、を備え、
   前記関係情報は、所定の指示動作を行ったユーザ以外のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を非表示にすることを示し、
   前記制御部は、前記認識部によってユーザによる前記所定の指示動作が認識された場合、該ユーザとは異なる他のユーザが利用する複数の操作アイコンのうち、前記関係情報により非表示にすることが示された操作アイコンを非表示にする制御を行う、
   ことを特徴とするシステム。
2. 前記制御部は、
   複数のユーザの各々の所定部位が検出された位置に応じて、ユーザごとに、前記画像のうち当該ユーザによる指示動作が行われる領域に対応する指示領域の位置を決定し、
   前記認識部によってユーザによる指示動作が認識された場合、該ユーザとは異なる他のユーザに対応する前記指示領域に対して、当該他のユーザ以外のユーザによる指示動作が行われた旨を表示する制御を行う、
   ことを特徴とする請求項１に記載のシステム。
3. 前記制御部は、
   前記認識部によって、前記画像のうちユーザによる指示動作が行われる領域に対応する指示領域に表示される仮想の指示手段をつかむことを示す指示動作が認識された場合、該ユーザに対応する前記指示領域において、当該仮想の指示手段を利用する操作に対応する操作アイコンを表示する一方、該ユーザとは異なる他のユーザに対応する前記指示領域において、当該他のユーザに対応する前記指示領域に表示される仮想の指示手段を利用する操作に対応する操作アイコンを非表示にする制御を行う、
   請求項１に記載のシステム。
4. 前記制御部は、
   前記認識部によって、前記画像のうちユーザによる指示動作が行われる領域に対応する指示領域に表示される仮想の指示手段をつかむことを示す指示動作が認識された場合、該ユーザとは異なる他のユーザに対応する前記指示領域に表示される仮想の指示手段を非表示にする制御を行う、
   ことを特徴とする請求項３に記載のシステム。
5. 前記指示領域に表示される１以上の仮想の指示手段ごとに、当該仮想の指示手段を利用する操作が予め定められている、
   ことを特徴とする請求項３または請求項４に記載のシステム。
6. 前記画像のうちユーザによる指示動作が行われる領域に対応する指示領域に表示される仮想の指示手段を利用する１以上の操作のうち、他の仮想の指示手段と競合しない操作を示す無競合操作情報を記憶する第２記憶部をさらに備え、
   前記制御部は、
   前記認識部によって、前記指示領域に表示される仮想の指示手段をつかむ指示動作が認識された場合、該ユーザに対応する前記指示領域において、当該仮想の指示手段を利用する操作に対応する操作アイコンを表示する一方、該ユーザとは異なる他のユーザに対応する前記指示領域に表示される仮想の指示手段を、前記無競合操作情報が示す操作に対応する仮想の指示手段に変更する制御を行う、
   ことを特徴とする請求項１に記載のシステム。
7. 出力された画像に対応する対象空間を撮像した撮像画像を用いて、ユーザによる指示動作を認識する認識ステップと、
   前記認識ステップによってユーザによる指示動作が認識された場合、該ユーザとは異なる他のユーザによる指示動作を制限するように前記画像の出力を制御する制御ステップと、を含み、
   前記制御ステップは、前記認識ステップによってユーザによる所定の指示動作が認識された場合、該ユーザとは異なる他のユーザが利用する複数の操作アイコンのうち、前記所定の指示動作を行ったユーザ以外のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を非表示にすることを示す関係情報により非表示にすることが示された操作アイコンを非表示にする制御を行う、
   ことを特徴とする情報処理方法。
8. 前記制御ステップでは、
   前記認識ステップによって、前記画像のうちユーザによる指示動作が行われる領域に対応する指示領域に表示される仮想の指示手段をつかむことを示す指示動作が認識された場合、該ユーザに対応する前記指示領域において、当該仮想の指示手段を利用する操作に対応する操作アイコンを表示する一方、該ユーザとは異なる他のユーザに対応する前記指示領域において、当該他のユーザに対応する前記指示領域に表示される仮想の指示手段を利用する操作に対応する操作アイコンを非表示にする制御を行う、
   請求項７に記載の情報処理方法。
9. 前記制御ステップでは、
   前記認識ステップによって、前記画像のうちユーザによる指示動作が行われる領域に対応する指示領域に表示される仮想の指示手段をつかむ指示動作が認識された場合、該ユーザに対応する前記指示領域において、当該仮想の指示手段を利用する操作に対応する操作アイコンを表示する一方、該ユーザとは異なる他のユーザに対応する前記指示領域に表示される仮想の指示手段を、前記指示領域に表示される仮想の指示手段を利用する１以上の操作のうち、他の仮想の指示手段と競合しない操作を示す無競合操作情報が示す操作に対応する仮想の指示手段に変更する制御を行う、
   ことを特徴とする請求項７に記載の情報処理方法。
10. 投影対象物に画像を投影する投影部と、
    前記投影対象物に投影された前記画像に対応する対象空間を撮像した撮像画像を用いて、ユーザによる指示動作を認識する認識部と、
    前記認識部によってユーザによる指示動作が認識された場合、該ユーザとは異なる他のユーザによる指示動作を制限するように前記画像の出力を制御する制御部と、
    指示動作間の関係を示す関係情報を記憶する第１記憶部と、を備え、
    前記関係情報は、所定の指示動作を行ったユーザ以外のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を非表示にすることを示し、
    前記制御部は、前記認識部によってユーザによる前記所定の指示動作が認識された場合、該ユーザとは異なる他のユーザが利用する複数の操作アイコンのうち、前記関係情報により非表示にすることが示された操作アイコンを非表示にする制御を行う、
    ことを特徴とする画像投影装置。
11. コンピュータに、
    出力された画像に対応する対象空間を撮像した撮像画像を用いて、ユーザによる指示動作を認識する認識ステップと、
    前記認識ステップによってユーザによる指示動作が認識された場合、該ユーザとは異なる他のユーザによる指示動作を制限するように前記画像の出力を制御する制御ステップと、を実行させ、
    前記制御ステップは、前記認識ステップによってユーザによる所定の指示動作が認識された場合、該ユーザとは異なる他のユーザが利用する複数の操作アイコンのうち、前記所定の指示動作を行ったユーザ以外のユーザによる複数種類の指示動作と１対１に対応する複数の操作アイコンのうちの少なくとも一部を非表示にすることを示す関係情報により非表示にすることが示された操作アイコンを非表示にする制御を行う、
    プログラム。

Images