JP6790396B2 - 情報処理装置、情報処理システム、サービス処理実行制御方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、サービス処理実行制御方法及びプログラムに関する。

従来から、プロジェクタなどの情報処理装置と、複数の端末装置とを、ネットワークを介して接続したシステムが知られている（例えば、特許文献１を参照）。なお、端末装置としては、例えば、タブレットやスマートフォンなどのスマート端末や、ＰＣ（Personal Computer）などが挙げられる。

このようなシステムでは、ユーザが、複数の端末装置の中から、情報処理装置に投影対象画像を出力する端末装置を選択し、情報処理装置は、選択された端末装置から出力された投影対象画像を投影することで、サービス処理（画像投影）を実行する。

しかしながら、上述したような従来技術では、ユーザは、サービス処理の対象端末を選択するために、複数の端末装置のリストの中から当該サービス処理の対象端末を探し出す必要があり、サービス処理の対象端末でサービス処理を実行するまでに時間を要していた。

本発明は、上記事情に鑑みてなされたものであり、サービス処理の対象端末でサービス処理を実行するまでに要する時間を短縮することができる情報処理装置、情報処理システム、サービス処理実行制御方法及びプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の一態様にかかる情報処理装置は、端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶部と、それぞれが端末装置を所持する複数のユーザを撮像した撮像画像を時系列で取得する画像取得部と、一定時間の間に前記時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識部と、前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置をサービス処理の対象端末に選択する選択部と、前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御部と、を備え，前記第１のジェスチャは、前記サービス処理を開始させる開始ジェスチャであり、前記実行制御部は、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、前記認識部は、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させることを特徴とする。

本発明によれば、サービス処理の対象端末でサービス処理を実行するまでに要する時間を短縮することができるという効果を奏する。

図１は、本実施形態の情報処理システムの構成の一例を示すブロック図である。 図２は、本実施形態の端末装置のハードウェア構成の一例を示すブロック図である。 図３は、本実施形態の撮像装置のハードウェア構成の一例を示すブロック図である。 図４は、本実施形態の情報処理装置のハードウェア構成の一例を示すブロック図である。 図５は、本実施形態の端末装置、撮像装置、及び情報処理装置の機能構成の一例を示すブロック図である。 図６は、本実施形態の認識手法の一例を示す説明図である。 図７は、本実施形態の認識手法の一例を示す説明図である。 図８は、本実施形態の認識手法の一例を示す説明図である。 図９は、本実施形態の認識手法の一例を示す説明図である。 図１０は、本実施形態の認識手法の一例を示す説明図である。 図１１は、本実施形態の認識手法の一例を示す説明図である。 図１２は、本実施形態の端末識別情報記憶部に記憶されている情報の一例を示す図である。 図１３は、本実施形態の抽出された顔画像と類似する顔画像の一例を示す説明図である。 図１４は、本実施形態の抽出された顔画像と類似する顔画像の一例を示す説明図である。 図１５は、本実施形態の認識精度設定画面の一例を示す図である。 図１６は、本実施形態の情報処理システムで実行される処理の一例を示すシーケンス図である。 図１７は、本実施形態の認識部で実行される処理の一例を示すフローチャートである。 図１８は、変形例１の説明図である。 図１９は、変形例１の端末識別情報記憶部に記憶されている情報の一例を示す図である。 図２０は、変形例２のジェスチャ画像記憶部に記憶されている情報の一例を示す図である。 図２１は、変形例３のジェスチャ画像記憶部に記憶されている情報の一例を示す図である。 図２２は、変形例４の端末装置、撮像装置、及び情報処理装置の機能構成の一例を示すブロック図である。 図２３は、変形例４の操作可否情報記憶部に記憶されている情報の一例を示す図である。

以下、添付図面を参照しながら、本発明にかかる情報処理装置、情報処理システム、サービス処理実行制御方法及びプログラムの実施形態を詳細に説明する。

図１は、本実施形態の情報処理システム１の構成の一例を示すブロック図である。図１に示すように、情報処理システム１は、端末装置１００−１〜１００−Ｎ（Ｎは２以上の自然数）と、撮像装置２００と、情報処理装置３００と、を備える。

端末装置１００−１〜１００−Ｎ、撮像装置２００、及び情報処理理装置３００は、ネットワーク２を介して接続されている。ネットワーク２は、例えば、ＬＡＮ（Local Area Network）やインターネットなどにより実現できる。なお、撮像装置２００と情報処理装置３００とは、ネットワーク２ではなく通信ケーブルなどで直接接続されていてもよい。

なお、以下の説明では、端末装置１００−１〜１００−Ｎを各々区別する必要がない場合は、単に端末装置１００と称する。

端末装置１００は、タブレットやスマートフォンなどのスマート端末や、ＰＣ（Personal Computer）などが挙げられる。本実施形態では、端末装置１００がタブレットである場合を例に取り説明するが、これに限定されるものではない。

図２は、本実施形態の端末装置１００のハードウェア構成の一例を示すブロック図である。図２に示すように、端末装置１００は、ＣＰＵ（Central Processing Unit）などの制御装置１１と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などの主記憶装置１２と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの補助記憶装置１３と、タッチパネルなどの表示装置１４及び入力装置１５と、通信インタフェースなどの通信装置１６と、イメージセンサなどの撮像装置１７と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

撮像装置２００は、ビデオカメラなどが挙げられる。図３は、本実施形態の撮像装置２００のハードウェア構成の一例を示すブロック図である。図３に示すように、撮像装置２００は、ＣＰＵなどの制御装置２１と、ＲＯＭやＲＡＭなどの主記憶装置２２と、ＨＤＤやＳＳＤなどの補助記憶装置２３と、タッチパネルなどの表示装置２４及び入力装置２５と、通信インタフェースなどの通信装置２６と、イメージセンサなどの撮像装置２７と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

情報処理装置３００は、例えば、プロジェクタ、カメラ、エアコン、冷蔵庫、蛍光灯、自販機、及びハンドヘルド型端末等の各種電子機器、印刷装置、複写機、複合機、スキャナ装置、及びファクシミリ装置等の画像形成装置、並びにスマート端末やＰＣ等が挙げられる。複合機は、複写機能、印刷機能、スキャナ機能、及びファクシミリ機能のうち少なくとも２つの機能を有するものである。なお本実施形態では、情報処理装置３００がプロジェクタである場合を例に取り説明するが、これに限定されるものではない。

図４は、本実施形態の情報処理装置３００のハードウェア構成の一例を示すブロック図である。図４に示すように、情報処理装置３００は、ＣＰＵなどの制御装置３１と、ＲＯＭやＲＡＭなどの主記憶装置３２と、ＨＤＤやＳＳＤなどの補助記憶装置３３と、画像投影に関わる画像処理を行うエンジン３４と、タッチパネルなどの表示装置３５及び入力装置３６と、通信インタフェースなどの通信装置３７と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

なお本実施形態では、情報処理システム１が、学校での授業などに使用される場合を例に取り説明するが、これに限定されるものではない。具体的には、教室などにいる教師及び複数の生徒それぞれが端末装置１００を所持しており、撮像装置２００は、教師及び複数の生徒の全員が収まるように教室内を時系列で撮像し、撮像した時系列の画像を情報処理装置３００に出力する。そして情報処理装置３００は、撮像装置２００から出力された時系列の画像から、所定のジェスチャを行った教師又は生徒を特定し、特定した教師又は生徒が所持する端末装置１００を、投影対象画像を情報処理装置３００に出力する端末に選択し、選択した端末装置１００から出力された投影対象画像を投影する。

このように本実施形態の情報処理システム１では、教師又は生徒のジェスチャ（例えば、挙手）を認識することで、投影対象画像を情報処理装置３００に出力する端末装置１００の選択を自動化しているため、当該端末装置１００の選択に時間を要さず、当該端末装置１００の投影対象画像を情報処理装置３００から即座に投影でき、授業の進行を阻害せず、授業の円滑な進行を支援できる。なお、以下の説明では、教師や生徒をユーザと称する場合もある。

図５は、本実施形態の端末装置１００、撮像装置２００、及び情報処理装置３００の機能構成の一例を示すブロック図である。

図５に示すように、端末装置１００は、撮像部１０１と、登録要求部１０３と、実行制御部１０５と、を含む。撮像部１０１は、例えば、撮像装置１７などにより実現できる。登録要求部１０３及び実行制御部１０５は、例えば、制御装置１１、主記憶装置１２及び通信装置１６などにより実現できる。

また図５に示すように、撮像装置２００は、撮像部２０１と、画像送信部２０３と、を含む。撮像部２０１は、例えば、撮像装置２７などにより実現できる。画像送信部２０３は、例えば、制御装置２１、主記憶装置２２及び通信装置２６などにより実現できる。

また図５に示すように、情報処理装置３００は、登録部３０１と、ジェスチャ画像記憶部３０３と、端末識別情報記憶部３０５と、画像取得部３０７と、認識部３０９と、選択部３１１と、実行制御部３１３と、を含む。

登録部３０１、画像取得部３０７、及び実行制御部３１３は、例えば、制御装置３１、主記憶装置３２及び通信装置３７などにより実現できる。ジェスチャ画像記憶部３０３及び端末識別情報記憶部３０５は、例えば、補助記憶装置３３などにより実現できる。認識部３０９及び選択部３１１は、例えば、制御装置３１及び主記憶装置３２などにより実現できる。

撮像部１０１は、認識部３０９の認識対象のジェスチャを示すジェスチャ画像を撮像したり、端末装置１００を所持するユーザ（教師又は生徒）の顔画像を撮像したりする。本実施形態では、認識部３０９の認識対象のジェスチャが挙手である場合を例に取り説明するが、これに限定されるものではない。

登録要求部１０３は、情報処理装置３００に対し、撮像部１０１により撮像されたジェスチャ画像や、撮像部１０１により撮像された端末装置１００を所持するユーザの顔画像と端末装置１００を識別する端末識別情報との組の登録を要求する。本実施形態では、端末識別情報が端末装置１００のＩＰアドレスである場合を例に取り説明するが、これに限定されるものではない。端末識別情報は、例えば、補助記憶装置１３などに記憶されている。

また本実施形態では、ジェスチャ画像の登録要求、及び顔画像と端末識別情報との組の登録要求は、端末装置１００と情報処理装置３００との接続時に行われることを想定しているが、これに限定されるものではない。なお、ジェスチャ画像の登録要求は、任意の端末装置１００が行えばよく、全ての端末装置１００で行う必要はない。一方、顔画像と端末識別情報との組の登録要求は、全ての端末装置１００で行う必要がある。

登録部３０１は、端末装置１００からジェスチャ画像の登録要求を受け付けると、当該ジェスチャ画像をジェスチャ画像記憶部３０３に登録する。また登録部３０１は、端末装置１００から顔画像と端末識別情報との組の登録要求を受け付けると、当該顔画像と端末識別情報との組を端末識別情報記憶部３０５に登録する。なお、登録部３０１は、端末装置１００と情報処理装置３００との切断時に、端末識別情報記憶部３０５から、顔画像と当該端末装置１００の端末識別情報との組を削除する。

撮像部２０１は、それぞれが端末装置１００を所持する複数のユーザ（教師及び複数の生徒）の全員が収まるように教室内を時系列で撮像する。なお、撮像部２０１が撮像する時系列の撮像画像は、動画であってもよいし、静止画を定期的に撮像したものであってもよい。

画像送信部２０３は、撮像部２０１により撮像された時系列の撮像画像を情報処理装置３００に送信する。

画像取得部３０７は、撮像装置２００から、それぞれが端末装置１００を所持する複数のユーザ（教師及び複数の生徒）を撮像した撮像画像を時系列で取得する。

認識部３０９は、画像取得部３０７により時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該撮像画像から当該第１のジェスチャを行ったユーザの顔画像を抽出する。本実施形態では、第１のジェスチャが左手の挙手である場合を例に取り説明するが、これに限定されるものではない。

具体的には、認識部３０９は、画像取得部３０７により取得された前回の撮像画像（例えば、図６に示す画像）と、画像取得部３０７により取得された最新の撮像画像（例えば、図７に示す画像）と、の差分を抽出し、当該抽出した差分を示す差分画像（例えば、図８に示す画像）を生成する。なお、図６に示す画像では、誰も挙手していないが、図７に示す画像では、左のユーザが左手を挙手しているため、図８に示す差分画像は、左のユーザの挙手した左腕となっている。

そして認識部３０９は、ジェスチャ画像記憶部３０３に記憶されているジェスチャ画像をテンプレートとして、差分画像に対するテンプレートマッチングを行い、ジェスチャ画像が示すジェスチャを検索する。例えば、図９に示す左腕を挙手したジェスチャ画像５０１がジェスチャ画像記憶部３０３に記憶されている場合、認識部３０９は、図９に示すように、ジェスチャ画像５０１をテンプレートとして、図８に示す差分画像に対するテンプレートマッチングを行う。この結果、図１０に示すように、図８に示す差分画像上でテンプレートマッチングされた左腕の位置（詳細には、左腕を囲う矩形の左上の座標（Ｘ，Ｙ）が特定される。

更に認識部３０９は、特定した左腕の位置（Ｘ，Ｙ）に基づいて、画像取得部３０７により時系列で取得された最新の撮像画像（図７に示す画像）から、左手を挙手したユーザ（左のユーザ）の顔画像を切り出す。本実施形態では、認識した第１のジェスチャが左手の挙手であるため、認識部３０９は、図１１に示すように、図７に示す画像の左上を原点として、（Ｘ−Ｚ，Ｙ）、（Ｘ，Ｙ）、（Ｘ−Ｚ，Ｙ＋Ｚ）、（Ｘ，Ｙ＋Ｚ）を頂点とする矩形を、左手を挙手したユーザ（左のユーザ）の顔画像として切り出す。なお、切り出される顔画像の位置は、これに限定されず、第１のジェスチャのパターンによって異なる。

選択部３１１は、認識部３０９により抽出された顔画像と類似する顔画像に対応付けられた端末識別情報が示す端末装置１００をサービス処理の対象端末に選択する。具体的には、端末識別情報記憶部３０５には、図１２に示すように、端末装置１００を識別する端末識別情報と、当該端末装置１００を所持するユーザの顔画像と、が対応付けて記憶されているため、選択部３１１は、認識部３０９により抽出された顔画像と類似する顔画像に対応付けられた端末識別情報を取得し、取得した端末識別情報が示す端末装置１００をサービス処理の対象端末に選択する。

なお、認識部３０９により抽出された顔画像と類似する顔画像は、例えば、端末識別情報記憶部３０５に記憶されている顔画像のうち、認識部３０９により抽出された顔画像と最も類似する顔画像とすればよい。例えば、図１３に示す例の場合、端末識別情報記憶部３０５に記憶されている顔画像５１２〜５１５のうち、認識部３０９により抽出された顔画像５１１との類似度が最も高い顔画像５１４が、認識部３０９により抽出された顔画像５１１と類似する顔画像となる。なお、図１３に示す例では、類似度は、０〜１の数値で表され、１に近づくほど類似度が高くなる。

また、認識部３０９により抽出された顔画像と類似する顔画像は、閾値以上の類似度であることを条件としてもよい。このようにすれば、顔ではない画像を顔画像として誤検出した場合であっても、挙手をしていないユーザの端末装置１００が、投影対象画像を情報処理装置３００に出力する端末として誤選択されてしまうことを防止できる。例えば、図１４に示す例の場合、端末識別情報記憶部３０５に記憶されている顔画像５２２〜５２５のうち、認識部３０９により顔画像と誤検出された画像５２１との類似度が閾値以上のものはない。このため、画像５２１との類似度が最も高い顔画像５２３のユーザの端末装置１００が、投影対象画像を情報処理装置３００に出力する端末として誤選択されてしまうことを防止できる。

なお、選択部３１１は、閾値の値を調整してもよい。例えば、選択部３１１は、図１５に示すような認識精度設定画面を表示装置３５上に表示し、ユーザによる入力装置３６からの操作入力に基づいて、認識精度のレベルを設定することで、閾値の値を調整してもよい。このようにすれば、利用環境（明るさ等）に応じた最適な閾値を設定できる。

実行制御部３１３は、選択部３１１により選択された端末装置１００と通信し、サービス処理の実行を制御する。具体的には、実行制御部３１３は、選択部３１１により選択された端末装置１００と通信し、端末装置１００の実行制御部１０５と協働してサービス処理の実行を制御する。

本実施形態では、サービス処理は、投影対象画像の投影であり、情報処理装置３００による端末装置１００が有するコンテンツの出力であるため、実行制御部３１３は、選択部３１１により選択された端末装置１００と通信し、投影対象画像を要求する。実行制御部１０５は、端末装置１００の表示装置１４に表示されている画面をキャプチャして投影対象画像とし、情報処理装置３００に出力する。そして実行制御部３１３は、端末装置１００から出力された投影対象画像を投影する。

なお、情報処理装置３００による端末装置１００が有するコンテンツの出力は、投影対象画像の投影に限定されず、印刷対象画像の印刷などであってもよい。また、サービス処理は、情報処理装置３００が有するコンテンツの端末装置１００への配信や、情報処理装置３００による端末装置１００のセキュリティレベルに応じた機器制御（扉のロック解除）などであってもよい。

図１６は、本実施形態の情報処理システム１で実行される処理の一例を示すシーケンス図である。

まず、撮像部１０１は、認識部３０９の認識対象のジェスチャを示すジェスチャ画像を撮像する（ステップＳ１０１）。

続いて、登録要求部１０３は、情報処理装置３００に対し、撮像部１０１により撮像されたジェスチャ画像の登録を要求する（ステップＳ１０３）。

続いて、登録部３０１は、端末装置１００からジェスチャ画像の登録要求を受け付けると、当該ジェスチャ画像をジェスチャ画像記憶部３０３に登録する（ステップＳ１０５）。

続いて、撮像部１０１は、端末装置１００を所持するユーザ（教師又は生徒）の顔画像を撮像する（ステップＳ１０７）。

続いて、登録要求部１０３は、情報処理装置３００に対し、撮像部１０１により撮像された端末装置１００を所持するユーザの顔画像と端末装置１００を識別する端末識別情報との組の登録を要求する（ステップＳ１０９）。

続いて、登録部３０１は、端末装置１００から顔画像と端末識別情報との組の登録要求を受け付けると、当該顔画像と端末識別情報との組を端末識別情報記憶部３０５に登録する（ステップＳ１１１）。

続いて、撮像部２０１は、それぞれが端末装置１００を所持する複数のユーザ（教師及び複数の生徒）の全員が収まるように教室内などの空間を時系列で撮像する（ステップＳ１２１）。

続いて、画像送信部２０３は、撮像部２０１により撮像された時系列の撮像画像を情報処理装置３００に送信し、画像取得部３０７は、撮像装置２００から、撮像画像を時系列で取得する（ステップＳ１２３）。

続いて、認識部３０９は、画像取得部３０７により時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該撮像画像から当該第１のジェスチャを行ったユーザの顔画像を抽出する（ステップＳ１２５）。

続いて、選択部３１１は、認識部３０９により抽出された顔画像と類似する顔画像に対応付けられた端末識別情報が示す端末装置１００をサービス処理の対象端末（投影対象の端末装置）に選択する（ステップＳ１２７）。

続いて、実行制御部３１３は、選択部３１１により選択された端末装置１００に、投影対象画像を要求する（ステップＳ１２９）。

続いて、実行制御部１０５は、端末装置１００の表示装置１４に表示されている画面をキャプチャして投影対象画像とし（ステップＳ１３１）、情報処理装置３００に出力する（ステップＳ１３３）。

続いて、実行制御部３１３は、端末装置１００から出力された投影対象画像を投影する（ステップＳ１３５）。

図１７は、本実施形態の認識部３０９で実行される処理の一例を示すフローチャートである。

まず、認識部３０９は、画像取得部３０７により取得された最新の撮像画像（例えば、図７に示す画像）を取得する（ステップＳ２０１）。

続いて、認識部３０９は、最新の撮像画像（例えば、図７に示す画像）と、画像取得部３０７により取得された前回の撮像画像（例えば、図６に示す画像）と、の差分を抽出し、当該抽出した差分を示す差分画像（例えば、図８に示す画像）を生成する（ステップＳ２０３）。

続いて、認識部３０９は、ジェスチャ画像記憶部３０３に記憶されているジェスチャ画像をテンプレートとして、差分画像に対するテンプレートマッチングを行い、ジェスチャ画像が示す所定のジェスチャを検索する（ステップＳ２０５）。

ジェスチャが検索された場合（ステップＳ２０７でＹｅｓ）、認識部３０９は、最新の撮像画像（図７に示す画像）から、検索されたジェスチャ近傍の部分画像を、所定のジェスチャを行ったユーザの顔画像として切り出す（ステップＳ２０９）。

なお、ジェスチャが検索されなかった場合（ステップＳ２０７でＮｏ）、ステップＳ２０９の処理は実行されない。

以上のように本実施形態によれば、ユーザ（教師又は生徒）のジェスチャ（例えば、挙手）を認識することで、投影対象画像を情報処理装置３００に出力する端末装置１００の選択を自動化しているため、当該端末装置１００の選択に時間を要さず、当該端末装置１００の投影対象画像を情報処理装置３００から即座に投影でき、授業の進行を阻害せず、授業の円滑な進行を支援できる。

（変形例１）
上記実施形態において、認識部３０９は、一定時間の間に時系列で取得された撮像画像に基づいて、第１のジェスチャを認識するようにしてもよい。このようにすれば、図１８に示すように、一定時間の間に、時間差で異なるユーザが挙手を行った場合であっても、最初に挙手をしたユーザではなく、２番目に挙手をしたユーザが所持する端末装置１００を選択することもできる。

なお、図１８に示す例では、撮像画像６０２を最新の撮像画像、撮像画像６０１を前回の撮像画像としてジェスチャ認識を行った場合、左のユーザの挙手が認識され、撮像画像６０３を最新の撮像画像、撮像画像６０２を前回の撮像画像としてジェスチャ認識を行った場合、右のユーザの挙手が認識される。

また、一定時間については、上記実施形態で説明した閾値のように、ユーザが時間を設定できるようにしてもよい。

そして認識部３０９は、第１のジェスチャを複数認識した場合、当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する。

なお、変形例１では、端末識別情報記憶部３０５には、図１９に示すように、端末装置１００を識別する端末識別情報と、当該端末装置１００を所持するユーザの顔画像と、当該端末装置１００を所持するユーザの優先度と、を対応付けて記憶されている。優先度は、値が小さいほど高いものとするが、これに限定されるものではない。

そして選択部３１１は、認識部３０９により抽出された複数の顔画像それぞれに類似する顔画像のうち優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置１００をサービス処理の対象端末に選択する。

以上より、一定時間内に複数のユーザが挙手した場合には、優先度が最も高いユーザが所持する端末装置１００がサービス処理の対象端末に選択される。例えば、生徒よりも教師の優先度を高くすれば、生徒と教師が挙手した場合には、教師が所持する端末装置１００がサービス処理の対象端末に優先的に選択される。

（変形例２）
上記実施形態において、複数種類のジェスチャそれぞれが第１のジェスチャであってもよい。具体的には、撮像部１０１は、認識部３０９の認識対象のジェスチャを示すジェスチャ画像を複数種類撮像し、登録要求部１０３は、情報処理装置３００に対し、撮像部１０１により撮像された複数種類のジェスチャ画像の登録を要求し、登録部３０１は、端末装置１００から複数種類のジェスチャ画像の登録要求を受け付けると、図２０に示すように、当該複数種類のジェスチャ画像をジェスチャ画像記憶部３０３に登録してもよい。

このようにすれば、複数種類のジェスチャ画像を用いてジェスチャが認識されるため、サービス処理の対象端末に選択させるためのジェスチャのパターンを様々用意することができる。

（変形例３）
変形例２において、ジェスチャの種類毎に、サービス処理においてジェスチャに応じた動作を実行させるようにしてもよい。例えば、ジェスチャ画像記憶部３０３に、図２１に示すように、ジェスチャ画像と、当該ジェスチャ画像が示すジェスチャに応じた動作例とを対応付けた情報を登録するようにしてもよい。この場合、登録要求部１０３は、ジェスチャ画像と当該ジェスチャ画像が示すジェスチャに応じた動作例を示す情報との組を含めて登録要求を行えばよい。

なお、変形例３では、第１のジェスチャは、サービス処理を開始させる開始ジェスチャであるものとする。具体的には、第１のジェスチャは、図２１のＩＤが１の右手を挙手するジェスチャであり、投影対象画像の投影を開始するジェスチャとする。また、第２のジェスチャは、サービス処理を終了させる終了ジェスチャであるものとする。具体的には、第２のジェスチャは、図２１のＩＤが２の左手を挙手するジェスチャであり、投影対象画像の投影を終了するジェスチャとする。

この場合、認識部３０９が第１のジェスチャを認識した場合の認識部３０９、選択部３１１、及び実行制御部３１３の動作は、実施形態と同様である。なお、実行制御部３１３は、サービス処理の対象端末に選択された端末装置１００と通信し、サービス処理の実行を開始する。

一方、認識部３０９が第２のジェスチャを認識した場合、実行制御部３１３は、サービス処理が開始された端末装置１００と通信し、サービス処理において第２のジェスチャに応じた動作を実行させる。具体的には、実行制御部３１３は、サービス処理が開始された端末装置１００と通信し、サービス処理を終了させる。

例えば、実行制御部３１３は、投影対象画像の投影が開始された端末装置１００と通信し、投影対象画像の投影を終了させる。具体的には、実行制御部３１３は、投影対象画像の投影が開始された端末装置１００に、投影対象画像の出力停止を要求し、実行制御部１０５は、端末装置１００の表示装置１４に表示されている画面のキャプチャ及び投影対象画像の情報処理装置３００への出力を停止し、実行制御部３１３は、投影対象画像の投影を中止する。

このようにすれば、複数種類のジェスチャを用いて、サービス処理において様々な動作を実行させることができる。

（変形例４）
変形例３において、第２のジェスチャを行ったユーザが第１のジェスチャを行ったユーザと同一人物であるか否かで、第２のジェスチャに応じた動作の実行可否を制御してもよい。

図２２は、変形例４の端末装置１００、撮像装置２００、及び情報処理装置１３００の機能構成の一例を示すブロック図である。図２２に示すように、情報処理装置１３００は、操作可否情報記憶部１３１５を更に含む。

操作可否情報記憶部１３１５は、対象者と操作の可否とを対応付けた情報であり、図２３に示す例では、対象者が本人（同一人物）であれば、操作が許可され、対象者が本人以外（他人）であれば、操作が不許可となる。

変形例４では、認識部３０９は、撮像画像から第２のジェスチャを行ったユーザの顔画像を抽出し、選択部３１１は、抽出された顔画像と類似する顔画像を選択する。

そして実行制御部３１３は、第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ操作可否情報記憶部１３１５において、サービス処理を開始した本人による操作の可否を定義した本人操作可否情報（対象者が本人の場合の操作の可否）が操作可を示す場合、サービス処理が開始された端末装置１００と通信し、サービス処理を終了させる。

また実行制御部３１３は、第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致せず、かつ操作可否情報記憶部１３１５において、サービス処理を開始した本人以外による操作の可否を定義した他人操作可否情報（対象者が本人以外の場合の操作の可否）が操作可を示す場合、サービス処理が開始された端末装置１００と通信し、サービス処理を終了させる。

このようにすれば、サービス処理を開始した本人以外によるサービス処理に関する操作を防止できる。

なお、図２３に示す例において、対象者が本人（同一人物）であれば、操作が不許可となり、対象者が本人以外（他人）であれば、操作が許可となるようにしてもよい。このようにすれば、生徒が開始したサービス処理を、先生が終了させるなどとすることができる。

（プログラム）
上記実施形態の端末装置１００、撮像装置２００、及び情報処理装置３００（以下、「上記実施形態及び各変形例の各装置」と称する）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記実施形態及び各変形例の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態及び各変形例の各装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態及び各変形例の各装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記実施形態及び各変形例の各装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、ＣＰＵがＲＯＭからプログラムをＲＡＭ上に読み出して実行することにより、上記各機能部がコンピュータ上で実現されるようになっている。

なお、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 情報処理システム
２ ネットワーク
１００−１〜１００−Ｎ（１００） 端末装置
１０１ 撮像部
１０３ 登録要求部
１０５ 実行制御部
２００ 撮像装置
２０１ 撮像部
２０３ 画像送信部
３００、１３００ 情報処理装置
３０１ 登録部
３０３ ジェスチャ画像記憶部
３０５ 端末識別情報記憶部
３０７ 画像取得部
３０９ 認識部
３１１ 選択部
３１３ 実行制御部
１３１５ 操作可否情報記憶部

特開２０１４−０４４７３８号公報

Claims (9)

1. 端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶部と、
   それぞれが端末装置を所持する複数のユーザを撮像した撮像画像を時系列で取得する画像取得部と、
   一定時間の間に前記時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識部と、
   前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置をサービス処理の対象端末に選択する選択部と、
   前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御部と、
   を備え，
   前記第１のジェスチャは、前記サービス処理を開始させる開始ジェスチャであり、
   前記実行制御部は、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、
   前記認識部は、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、
   前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、
   前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させること
   を特徴とする情報処理装置。
2. 前記選択部は、前記抽出された顔画像との類似度が閾値以上かつ最も高い顔画像に対応付けられた端末識別情報が示す端末装置を前記サービス処理の対象端末に選択する請求項１に記載の情報処理装置。
3. 前記選択部は、前記閾値の値を調整する請求項２に記載の情報処理装置。
4. 複数種類のジェスチャそれぞれが前記第１のジェスチャである請求項１〜３のいずれか１つに記載の情報処理装置。
5. 前記認識部は、前記撮像画像から前記第２のジェスチャを行ったユーザの顔画像を抽出し、
   前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、
   前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致せず、かつ前記サービス処理を開始した本人以外による操作の可否を定義した他人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させる請求項１から請求項４のうち、いずれか一項に記載の情報処理装置。
6. 前記サービス処理は、前記情報処理装置による前記端末装置が有するコンテンツの出力、前記情報処理装置が有するコンテンツの前記端末装置への配信、及び前記情報処理装置による前記端末装置のセキュリティレベルに応じた機器制御の少なくともいずれかである請求項１から請求項５のうち、いずれか一項に記載の情報処理装置。
7. 端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶部と、
   それぞれが端末装置を所持する複数のユーザを時系列で撮像する撮像部と、
   前記撮像部により撮像された撮像画像を時系列で取得する画像取得部と、
   一定時間の間に前記時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識部と、
   前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置をサービス処理の対象端末に選択する選択部と、
   前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御部と、 を備え、
   前記第１のジェスチャは、前記サービス処理を開始させる開始ジェスチャであり、
   前記実行制御部は、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、
   前記認識部は、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、
   前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、
   前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させること
   を特徴とする情報処理システム。
8. 端末識別情報記憶部が、端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶ステップと、
   画像取得部が、それぞれが端末装置を所持する複数のユーザを撮像した撮像画像を時系列で取得する画像取得ステップと、
   認識部が、一定時間の間に前記時系列で取得された撮像画像に基づいて、サービス処理を開始させる開始ジェスチャである第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識ステップと、
   選択部が、前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置を前記サービス処理の対象端末に選択する選択ステップと、
   実行制御部が、前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御ステップと、を含み、
   前記実行制御ステップでは、前記実行制御部が、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、
   前記認識ステップでは、前記認識部が、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、
   前記選択ステップでは、前記選択部が、前記抽出された顔画像と類似する顔画像を選択し、
   前記実行制御ステップでは、前記実行制御部が、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させること
   を特徴とするサービス処理実行制御方法。
9. コンピュータを、
   端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶部と、
   それぞれが端末装置を所持する複数のユーザを撮像した撮像画像を時系列で取得する画像取得部と、
   一定時間の間に前記時系列で取得された撮像画像に基づいて、サービス処理を開始させる開始ジェスチャである第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識部と、
   前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置を前記サービス処理の対象端末に選択する選択部と、
   前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御部として機能させ、
   前記実行制御部は、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、
   前記認識部は、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、
   前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、
   前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させること
   を特徴とするプログラム。

Images