JP7006619B2 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

テーブルなどに置かれた物体を認識して、認識した物体に関連したアプリケーションを投影する技術が、例えば特許文献１などで開示されている。

特開２０１５－９０５２４号公報

本開示では、テーブルなどに置かれた物体を識別して、物体の状態を個別にセンシングし、センシング結果に応じた情報を提供することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提案する。

本開示によれば、センシング可能領域に存在する物体のセンシングを行う検出部と、外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを前記検出部に行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信する処理部と、を備える、情報処理装置が提供される。

また本開示によれば、センシング可能領域に存在する物体のセンシングを行うことと、外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信することと、をプロセッサが行うことを含む、情報処理方法が提供される。

また本開示によれば、コンピュータに、センシング可能領域に存在する物体のセンシングを行うことと、外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信することと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本開示によれば、テーブルなどに置かれた物体を識別して、物体の状態を個別にセンシングし、センシング結果に応じた情報を提供することが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの一構成例を示す説明図である。 同実施形態に係る情報処理システムの他の構成例について説明する。 同実施形態に係る情報処理システムの他の構成例について説明する。 同実施形態に係る情報処理システムの他の構成例について説明する。 同実施形態に係る情報処理システム１００の機能構成例を示す説明図である。 手指と物体の検出技術を示す説明図である。 手指と物体の検出技術を示す説明図である。 手指と物体の検出技術を示す説明図である。 検出時に手指と物体が置かれている状況の例を示す説明図である。 検出時に手指と物体が置かれている状況の例を示す説明図である。 検出時に手指と物体が置かれている状況の例を示す説明図である。 同実施形態に係る手指検出部２１０の動作例を示す流れ図である。 物体から各手指の距離を算出する際の模式図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 センシング可能領域に未知の物体が現れた際の動作を説明する説明図である。 センシング可能領域に未知の物体が現れた際の動作を説明する説明図である。 センシング可能領域に未知の物体が現れた際の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。 同実施の形態に係る情報処理システム１００を用いた通信システムの構成例を示す説明図である。 同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。 情報処理システム１００及びＰＣ８００の動作例を示す流れ図である。 情報処理システム１００による物体のセンシングを示す説明図である。 情報処理システム１００による情報の投影例を示す説明図である。 情報処理システム１００及びＰＣ８００の動作例を示す流れ図である。 図３１の動作例においてセンシングされる物体の例を示す説明図である。 情報処理システム１００及びＰＣ８００の動作例を示す流れ図である。 図３３の動作例においてセンシングされる物体の例を示す説明図である。 皿の近くに置かれたワイングラスに所定の柄が投影された様子を示す図である。 皿の近くに置かれたビアマグに所定の柄が投影された様子を示す図である。 情報処理システム１００及びＰＣ８００の動作例を示す流れ図である。 図３７の動作例においてセンシングされる物体の例を示す説明図である。 情報処理システム１００がセンシングした物体の周囲に所定の柄を投影している様子を示す説明図である。 本実施形態に係る情報処理システム１００の動作例を示す流れ図である。 情報処理システム１００が投影する柄の例を示す説明図である。 情報処理システム１００が投影する柄の例を示す説明図である。 情報処理システム１００が投影する柄の例を示す説明図である。 ハードウェア構成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．システム構成例
１．２．機能構成例
１．３．動作例
２．ハードウェア構成例
３．まとめ

＜１．本開示の実施の形態＞
［１．１．システム構成例］
まず、本開示の実施の形態に係る情報処理システムの構成例を説明する。

図１は、本開示の一実施形態に係る情報処理システムの一構成例を示す説明図である。なお、本明細書において、システムとは、所定の処理を実行するための構成のことを意味していてよく、システム全体として１つの装置とみなすこともできるし、複数の装置によってシステムが構成されているとみなすこともできる。図１に示す本実施形態に係る情報処理システムも、情報処理システム全体として所定の処理を実行可能に構成されていればよく、情報処理システム内のどの構成を１つの装置とみなすかは任意であってよい。

図１を参照すると、本開示の一実施形態に係る情報処理システム１００ａは、入力部１１０ａと、出力部１３０ａと、を備える。

出力部１３０ａは、各種の情報をテーブル１４０ａに表示することにより、当該情報をユーザに対して視覚的に通知する。出力部１３０ａとしては、例えばプロジェクタが用いられる。図示するように、出力部１３０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態でテーブル１４０ａと所定の距離離隔して配置され、テーブル１４０ａの天面に情報を投影する。このように上方からテーブル１４０ａの天面に情報を表示する方式を、「プロジェクション型」とも呼称する。

なお、以下の説明では、出力部１３０ａによって情報が表示される領域全体のことを表示画面とも呼称する。例えば、出力部１３０ａは、表示画面に、情報処理システム１００ａによるアプリケーションの実行に伴いユーザに対して提示される情報を表示する。表示される情報は、例えば各アプリケーションの動作画面である。以下では、表示画面において、このようなアプリケーションの動作画面が表示される各表示領域を、ウインドウとも呼称する。また、例えば、出力部１３０ａは、表示画面に、ボタンやスライダー、チェックボックス、テキストボックス、キーボード等の、選択、入力等のユーザによる各種の操作を受け付ける、いわゆるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品（ウィジェット）を表示する。ウインドウもＧＵＩ部品の１つとみなすことができるが、本明細書では、ウインドウとその他のＧＵＩ部品とを区別するために、便宜的に、ウインドウをＧＵＩ部品には含めず、ウインドウ以外の表示要素のことをＧＵＩ部品と呼ぶこととする。

ここで、情報処理システム１００ａがプロジェクション型である場合には、出力部１３０ａは照明機器を含んでもよい。出力部１３０ａに照明機器が含まれる場合、情報処理システム１００ａは、入力部１１０ａによって入力された情報の内容及び／又は出力部１３０ａによって表示される情報の内容に基づいて、当該照明機器の点灯、消灯等の状態を制御してもよい。

また、出力部１３０ａは、スピーカを含んでもよく、各種の情報を音声として出力してもよい。出力部１３０ａがスピーカで構成される場合、スピーカの数は１つであってもよく、複数であってもよい。出力部１３０ａが複数のスピーカで構成される場合、情報処理システム１００ａは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしてもよい。

入力部１１０ａは、情報処理システム１００ａを使用するユーザの操作内容を入力する装置である。図１に示す例では、入力部１１０ａは、センサ等を含んで構成され、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。このように、入力部１１０ａは、情報が表示される対象となるテーブル１４０ａと離隔して設けられる。入力部１１０ａは、テーブル１４０ａの天面、すなわち、表示画面を撮影し得る撮像装置によって構成され得る。入力部１１０ａとしては、例えば１つのレンズでテーブル１４０ａを撮像するカメラや、２つのレンズでテーブル１４０ａを撮像して奥行き方向の情報を記録することが可能なステレオカメラ等が用いられ得る。入力部１１０ａがステレオカメラである場合には、例えば可視光カメラや赤外線カメラ等が用いられ得る。

入力部１１０ａとして、１つのレンズでテーブル１４０ａを撮像するカメラが用いられる場合、情報処理システム１００ａは、そのカメラが撮像した画像（撮像画像）を解析することで、テーブル１４０ａ上に位置する、実在する物理的な物体、例えばユーザの手の位置を検出することができる。また、入力部１１０ａとしてステレオカメラが用いられる場合には、情報処理システム１００ａは、当該ステレオカメラによる撮像画像を解析することで、テーブル１４０ａ上に位置する物体の位置情報に加えて、当該物体の深度情報を取得することができる。情報処理システム１００ａは、当該深度情報に基づいて、高さ方向におけるテーブル１４０ａへのユーザの手の接触若しくは近接、及びテーブル１４０ａからの手の離脱を検出することが可能となる。なお、以下の説明では、ユーザが情報に表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。

本実施形態では、入力部１１０ａによる撮像画像に基づいて、表示画面上（すなわちテーブル１４０ａの天面上）における操作体、例えばユーザの手の位置が検出され、検出された操作体の位置に基づいて各種の情報が入力される。つまり、ユーザは、表示画面上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、ウインドウその他のＧＵＩ部品に対するユーザの手の接触が検出されることにより、当該ウインドウその他のＧＵＩ部品に対する操作入力が行われることになる。なお、以下の説明では、一例として、操作体としてユーザの手が用いられる場合について説明するが、本実施形態はかかる例に限定されず、操作体としてはスタイラスやロボットアーム等の各種の操作部材が用いられてもよい。なお、操作体とはＧＵＩ部品に対する操作入力に限らず、テーブル１４０ａ等に置かれた物体を移動させることが可能な物体をいうものとする。

また、入力部１１０ａが撮像装置によって構成される場合には、入力部１１０ａは、テーブル１４０ａの天面を撮影するだけでなく、テーブル１４０ａの周囲に存在するユーザを撮影してもよい。例えば、情報処理システム１００ａは、撮像画像に基づいて、テーブル１４０ａの周囲におけるユーザの位置を検出することができる。また、例えば、情報処理システム１００ａは、撮像画像に含まれるユーザの顔や体の大きさ等、ユーザ個人を特定し得る身体的な特徴を抽出することにより、ユーザの個人認識を行ってもよい。

ここで、本実施形態はかかる例に限定されず、他の方法によりユーザの操作入力が実行されてもよい。例えば、入力部１１０ａがテーブル１４０ａの天面にタッチパネルとして設けられてもよく、ユーザの操作入力は、当該タッチパネルに対するユーザの指等の接触によって検出されてもよい。また、入力部１１０ａを構成する撮像装置に対するジェスチャによってユーザの操作入力が検出されてもよい。あるいは、入力部１１０ａは、ユーザが発する音声や、周囲の環境の環境音を収音するマイクロフォン等の音声入力装置を含んでもよい。当該音声入力装置としては、特定の方向の音声を収音するためのマイクアレイが好適に用いられ得る。また、当該マイクアレイは、その収音方向を任意の方向に調整可能に構成され得る。入力部１１０ａとして音声入力装置が用いられる場合には、収音された音声により操作入力が行われてもよい。また、情報処理システム１００ａは、収音された音声を解析することにより、当該音声に基づいて個人認識を行ってもよい。あるいは、入力部１１０ａは、リモートコントロール装置（いわゆるリモコン）によって構成されてもよい。当該リモコンは、リモコンに配置された所定のボタンを操作することにより、所定の指示が入力されるものであってもよいし、リモコンに搭載される加速度センサやジャイロセンサ等のセンサによってリモコンの動きや姿勢が検出されることにより、ユーザが当該リモコンを動かす操作によって、所定の指示が入力されるものであってもよい。更に、情報処理システム１００ａは、図示しないマウス、キーボード、ボタン、スイッチ及びレバー等、他の入力装置を入力部１１０ａとして備えてもよく、ユーザによる操作は、これらの入力装置を介して入力されてもよい。

以上、図１を参照して、本実施形態に係る情報処理システム１００ａの構成について説明した。なお、図１には図示しないが、情報処理システム１００ａには他の装置が接続されていてもよい。例えば、情報処理システム１００ａには、テーブル１４０ａを照らすための照明機器が接続されていてもよい。情報処理システム１００ａは、表示画面の状態に応じて当該照明機器の点灯状態を制御してもよい。

ここで、本実施形態では、情報処理システムの構成は図１に示すものに限定されない。本実施形態に係る情報処理システムは、各種の情報を表示画面に表示する出力部と、表示された情報に対する操作入力を少なくとも受け付けることが可能な入力部を備えればよく、その具体的な構成は限定されない。図２－図４を参照して、本実施形態に係る情報処理システムの他の構成例について説明する。図２－図４は、本実施形態に係る情報処理システムの他の構成例を示す図である。

図２に示す情報処理システム１００ｂでは、テーブル１４０ｂの下方に出力部１３０ａが設けられる。出力部１３０ａは、例えばプロジェクタであり、当該テーブル１４０ｂの天板に向かって下側から情報を投影する。テーブル１４０ｂの天板は、例えばガラス板や透明プラスチック板等の透明な材質で形成されており、出力部１３０ａによって投影された情報は、テーブル１４０ｂの天面に表示されることとなる。このようにテーブル１４０ｂの下から情報を出力部１３０ａに投影して、テーブル１４０ｂの天面に情報を表示する方式を、「リアプロジェクション型」とも称する。

図２に示す例では、テーブル１４０ｂの天面（表面）に入力部１１０ｂが設けられる。入力部１１０ｂは、例えばタッチパネルによって構成され、テーブル１４０ｂの天面の表示画面への操作体の接触が当該タッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、入力部１１０ｂの構成はかかる例に限定されず、図１に示す情報処理システム１００ａと同様に、入力部１１０ｂは、テーブル１４０ｂの下方にテーブル１４０ｂと離隔して設けられてもよい。この場合、入力部１１０ｂは、例えば撮像装置によって構成され、透明な材質によって形成される天板越しに、テーブル１４０ｂの天面上での操作体の位置を検出し得る。またこの場合、入力部１１０ｂは、影の長さや重さをセンシング可能なセンサで構成され、テーブル１４０ｂの天面に置かれた物体の重さや大きさをセンシングすることができる。

図３に示す情報処理システム１００ｃでは、タッチパネル式のディスプレイが、その表示面を上方に向けた状態でテーブル上に設置される。情報処理システム１００ｃでは、入力部１１０ｃ及び出力部１３０ｃは、当該タッチパネル式のディスプレイとして一体的に構成され得る。つまり、ディスプレイの表示画面に各種の情報が表示され、当該ディスプレイの表示画面に対する操作体の接触がタッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、情報処理システム１００ｃにおいても、図１に示す情報処理システム１００ａと同様に、入力部１１０ｃとして、タッチパネル式のディスプレイの上方に撮像装置が設けられてもよい。当該撮像装置により、テーブルの周囲のユーザの位置等が検出され得る。また入力部１１０ｃは、入力部１１０ｂは、影の長さや重さをセンシング可能なセンサ（インセルセンサ）で構成され、出力部１３０ｃに置かれた物体の重さや大きさをセンシングすることができる。

図４に示す情報処理システム１００ｄは、フラットパネル式のディスプレイを備える。情報処理システム１００ｄでは、出力部１３０ｄは、フラットパネル式のディスプレイとして構成され、当該ディスプレイの表示画面に各種の情報が表示される。入力部は、図示しないマウスやキーボード、タッチパッド等の入力装置によって構成され、これらの入力装置によって表示画面内のポインタが操作されることにより、ユーザによる操作入力が行われる。なお、図３に示す情報処理システム１００ｃと同様に、情報処理システム１００ｄの入力部は、フラットパネル式のディスプレイに設けられるタッチパネルを含んでもよく、当該タッチパネルを介してユーザによる操作入力が行われてもよい。また、当該入力部は、フラットパネル式のディスプレイの表示面と対向する領域を撮像し得る撮像装置を含んでもよい。当該撮像装置により、フラットパネル式のディスプレイを観察するユーザの位置等が検出され得る。

以上、図２－図４を参照して、本実施形態に係る情報処理システムの他の構成例について説明した。以上説明したように、本実施形態に係る情報処理システムは、多様な構成によって実現され得る。ここで、以下では、図１に示す、テーブル１４０ａの上方に入力部１１０ａ及び出力部１３０ａが設けられる情報処理システム１００ａの構成を例に挙げて、本実施形態についての説明を行う。ただし、上述した図２－図４に示す構成等、本実施形態に係る情報処理システムを実現し得る他の構成であっても、以下に説明する機能と同様の機能を実現することが可能である。以下の説明では、簡単のため、情報処理システム１００ａ、入力部１１０ａ、出力部１３０ａを、単に情報処理システム１００、入力部１１０、出力部１３０とも呼称することとする。

以上、本開示の実施の形態に係る情報処理システム１００の構成例について説明した。続いて、本開示の実施の形態に係る情報処理システム１００の機能構成例について説明する。

［１．２．機能構成例］
図５は、本開示の実施の形態に係る情報処理システム１００の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係る情報処理システム１００の機能構成について説明する。

図５に示したように、本開示の実施の形態に係る情報処理システム１００は、入力部１１０と、グラフィックス表示処理部１２０と、出力部１３０と、物体情報制御部２００と、を含んで構成される。

入力部１１０は、情報処理システム１００に対して各種の情報を入力するための入力インターフェースである。ユーザは、入力部１１０を介して、各種の情報を情報処理システム１００に入力することができる。本実施形態では、入力部１１０は、出力部１３０によって生成される表示画面に対するユーザの操作入力を少なくとも受け付けることができるように構成される。例えば、入力部１１０は、イメージセンサを含む撮像装置によって構成され、表示画面上でのユーザの手等の操作体を含む撮像画像を撮影する。また例えば、入力部１１０は、ステレオカメラ、time of flight方式、structured light方式などの三次元情報を取得可能なデプスセンサで構成される。入力部１１０を介して入力された情報（例えば当該撮像画像についての情報等）は、後述する物体情報制御部２００に提供され、物体情報制御部２００によってユーザの操作入力が検出される。なお、本実施形態はかかる例に限定されず、入力部１１０は、例えばタッチパネル、マウス、キーボード、マイクロフォン、ボタン、スイッチ及びレバー等、他の入力装置によって構成されてもよい。

グラフィックス表示処理部１２０は、入力部１１０が受け付けたユーザの操作入力に基づき、出力部１３０に表示するグラフィックスの処理を行う。グラフィックス表示処理部１２０は、例えば、アプリケーションを表示するウインドウなどの様々なコンテンツの描画制御や、それぞれのコンテンツに対してユーザの操作入力などのイベントの提供を行う。本実施形態では、グラフィックス表示処理部１２０は、入力部１１０から受け付けたユーザの操作入力の内容を物体情報制御部２００に提供する。そしてグラフィックス表示処理部１２０は、物体情報制御部２００で行われた処理の内容を受け取り、その内容に基づいたグラフィックス処理を実行する。グラフィックス表示処理部１２０は、例えば画像処理回路を含んで構成される。

出力部１３０は、情報処理システム１００によって処理される各種の情報をユーザに対して通知するための出力インターフェースである。出力部１３０は、例えば、ディスプレイやプロジェクタ等の表示装置によって構成され、後述する物体情報制御部２００からの制御により、表示画面に各種の情報を表示する。出力部１３０は、上述したように、表示画面にウインドウ及びＧＵＩ部品を表示する。出力部１３０に表示されるウインドウ及びＧＵＩ部品等のことを「表示オブジェクト」とも称する。なお、本実施形態はかかる例に限定されず、出力部１３０は、スピーカ等の音声出力装置を更に含んでもよく、各種の情報を音声として出力してもよい。

物体情報制御部２００は、入力部１１０が受け付けたユーザの操作入力に基づいた様々な処理を実行する。本実施形態では、物体情報制御部２００は、入力部１１０が取得した手指や物体の情報に基づいて物体に関連付けられた属性情報や、手指に関連付けられた所有状態を認識し、これらの情報に基づいて物体の情報を制御する処理を行う。物体情報制御部２００は、例えばＣＰＵ等の制御回路と制御回路を動作させるプログラムを格納するメモリを含んで構成される。

物体情報制御部２００は、手指検出部２１０と、属性処理部２２０と、情報蓄積処理部２３０と、を含んで構成される。

手指検出部２１０は、入力部１１０が取得した情報に含まれる物体と手指の位置関係を用いて、ユーザがどの物体を操作したかを検出する処理を行う。手指検出部２１０による具体的な処理内容は後に詳述する。

属性処理部２２０は、入力部１１０がセンシング可能な領域（センシング可能領域）に存在する物体や手指に対する属性の割り当てに関する処理を行う。例えば属性処理部２２０は、物体と手指が近接または接触しているかの情報を用い、物体がどの属性を保持しているかを推定する処理を行う。また例えば属性処理部２２０は、物体が重なっているかどうかの情報を用い、重なっている物体がどの属性を保持しているかを推定する処理を行う。属性処理部２２０による具体的な処理内容は後に詳述する。

情報蓄積処理部２３０は、物体や手指の情報を蓄積する処理を行う。情報蓄積処理部２３０が蓄積した情報は、属性処理部２２０による処理に用いられる。情報蓄積処理部２３０が蓄積する情報の例については後述する。

以上、本開示の実施の形態に係る情報処理システム１００の機能構成例について説明した。続いて、本開示の実施の形態に係る情報処理システム１００を説明するが、その前に、情報処理システム１００の動作で前提とする手指と物体の検出技術について説明する。

図６Ａ～６Ｃは、手指と物体の検出技術を示す説明図である。

図６Ａは、輪郭情報を用いた認識による検出技術の例である。この検出技術は、画像情報や三次元情報から輪郭抽出を行い、手と物体を判別する手法である。輪郭情報を用いた検出は、可視光でも不可視光でも利用でき、不可視光を利用した場合、上方からプロジェクションされても表示物が手や物体と干渉しないという利点がある。一方、輪郭情報を用いた検出は、物体を手に持つと、物体と手の輪郭が一体となるため、手と物体とを判別することが不可能になるという欠点がある。

図６Ｂは、セグメント情報を用いた認識による検出技術の例である。この検出技術は、画像情報の画素値を用いてセグメント分けすることで、手と物体を判別する手法である。例えば可視光カメラから取得された情報に対し、色を用いてセグメント分けすることが可能である。この検出技術は手に覆われなければ、手で物体を持っても手と物体とを識別することが可能という利点がある。一方、この検出技術は、手の色と物体の色が一定以上の差を持っていることが前提となり、差が小さい場合は手と物体とが一体として認識されてしまう欠点がある。またこの検出技術は、上方からプロジェクションされると手や物体に投影が重なった場合に誤判定の可能性が高くなるという欠点がある。またこの検出技術は、情報処理システムの全体構成が図１～図４のいずれの場合であっても、画面内に手や物体と近い色を表示する際には実物か表示物かを判別できないという欠点がある。

図６Ｃは、マーカを用いた認識による検出技術の例である。この検出技術は、これは手指と物体に予めマーカ（図中では星印）を付けて認識する方法である。この検出技術は、物体のマーカが手に覆われなければ、手で物体を持っても認識可能という利点がある。一方、この検出技術は、マーカを予め手指や物体に付加する必要性が生じるため、登録されている（マーカが付けられた）物体しか扱えないという欠点がある。

図７Ａ～７Ｃは、検出時に手指と物体が置かれている状況の例を示す説明図である。図７Ａは、手に物体を持ってはいるが、物体がまだ見えている状態である。この状態では、検出技術と状態によっては、手指と物体を判別することが可能である。図７Ｂは、物体を手が完全に覆う形で保持している状態である。この状態では、上述した３つの検出技術のいずれを用いても判別することは不可能である。図７Ｃは、手が持っている物体で、検出の対象となる物体が覆われている状態である。手が持っている物体も、本開示の操作体となり得る。この状態も、図７Ｂの場合と同様に上述した３つの検出技術のいずれを用いても判別することは不可能である。

本実施形態では、環境や状態により、手指と物体を判別できなくなることが分かるため、物体を追跡して属性を保持することができない状況下であっても、物体を追跡し、物体に関連付けられる属性を保持することを可能にする。

まず、本実施形態で用いる情報を示す。下記の表１～３は、情報蓄積処理部２３０において蓄積される情報を示している。表１は物体管理表、表２は所有状態管理表、表３は属性管理表である。それぞれの表は、例えばリレーショナルデータベース等の形式で実現される。

物体ＩＤは、入力部１１０のセンサが返す物体のＩＤである。センサが手指か物体かを判別している限り維持される情報である。物体ＩＤはセンサが認識できた単位で振られるため、重なっている物体は、その一塊に対して一つの物体ＩＤが振られる。上述のように手に覆われたりすると、同じ物体であっても物体ＩＤはインクリメントされる。

手指ＩＤは、入力部１１０のセンサが返す手指のＩＤである。手１つについて１つのＩＤが振られる。

認識ＩＤは、本実施形態による認識技術によって認識および追跡されるＩＤである。本認識技術により、物体が手に覆われたりしても一意の認識ＩＤを維持することが可能である。物体の性質の数だけ一意の認識ＩＤが存在する。

表１の物体管理表は、物体の状態を管理する表である。認識ＩＤ配列は、物体ＩＤに対してその物体群がどの認識ＩＤとして認識されているかを保持する。物体が重なっている場合は認識ＩＤの配列として表現され、先頭の要素ほど下の段の物体の認識ＩＤであることを示している。特徴量は、物体の高さや重さなどセンサから取得されたパラメータである。処理フラグはその物体ＩＤを処理したかどうかを表すフラグで、例えば処理済みであればｔｒｕｅや「１」といった処理済みであることを示す情報が、未処理であればｆａｌｓｅや「０」といった未処理であることを示す情報が格納される。

表２の所有状態管理表は、どの手指が何を保持しているかを管理する表である。認識ＩＤ配列は、手指ＩＤに対してその手指がどの認識ＩＤを保持しているかを表す。複数の物体を保持している場合は配列となり、先頭の要素ほど手に近い（置かれる順番が後）物体の認識ＩＤである。

表３の属性管理表は、どの認識ＩＤがどの属性を保持しているかを管理する表である。属性とは、アプリケーションに依存して決められる特性である。

まず、手指検出部２１０の動作例を説明する。図８は、本実施形態に係る手指検出部２１０の動作例を示す流れ図であり、後の図の「最寄手指検出処理」として示されている処理の例を示したものである。

手指検出部２１０は、入力部１１０から取得した全ての手指に対して（ステップＳ１０１）、手指の位置と物体の位置を取得し距離を算出するとともに、その距離が所定の閾値以下かどうかを判定する（ステップＳ１０２）。

図９は、物体から各手指の距離を算出する際の模式図である。図９に示すｈａｎｄ ａ，ｂ，ｃ，ｄのうち、ｈａｎｄ ｃ、ｄは、物体（ｏｂｊｅｃｔ １）から大きく離れており、物体と手との距離が閾値外のため物体を操作していた手とは見做されない。一方、ｈａｎｄ ａ、ｂは閾値内のため距離を比較し、最小値であるｈａｎｄ ａが、この物体を操作していた手と推定される。なお、手指検出部２１０は、距離の算出において、物体は中心や重心の位置を基準とし、手は甲の中心や指先の位置を基準とすることが出来る。また、より厳密に距離を測りたい場合には、手指検出部２１０は、手の形状や、手の面などを使って判断しても良い。距離に有意差が無い場合には、手指検出部２１０は、前フレームと比較して動いている方の手を、物体を操作している手と見做してもよい。

ステップＳ１０２の判定の結果、距離が閾値以下でない場合は（ステップＳ１０２、Ｎｏ）、手指検出部２１０は別の手指の処理に戻る。距離が閾値以下の場合は（ステップＳ１０２、Ｙｅｓ）、手指検出部２１０は、これまで検出された距離と比較し、新たに算出した距離が最小であるかどうかを判定する（ステップＳ１０３）。

ステップＳ１０３の判定の結果、距離が最小でない場合は（ステップＳ１０３、Ｎｏ）、手指検出部２１０は別の手指の処理に戻る。距離が最小の場合は（ステップＳ１０３、Ｙｅｓ）、手指検出部２１０は、その手指が物体の最寄りの手指であると判断し、その手指ＩＤを記録（更新）する（ステップＳ１０４）。

手指検出部２１０は、以上の処理を繰り返し行うこと（ステップＳ１０５）で、物体から最も近い手指ＩＤを取得する。

続いて、本開示の実施の形態に係る物体情報制御部２００の動作例を説明する。図１０は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。以下、図１０を用いて本開示の実施の形態に係る物体情報制御部２００の動作例について説明する。

物体情報制御部２００は、まず入力部１１０がセンシングによって取得した手指情報及び物体情報を取得する（ステップＳ１１１）。以降の処理は、ユーザによる所定の操作が行われたなどの終了条件を満たすまで、毎フレーム繰り返し行われる。この場合のフレームは、グラフィックスをレンダリングするフレーム、もしくは入力部１１０からセンサ情報を取得する周期のフレームを指す。

手指情報及び物体情報を取得すると、続いて物体情報制御部２００は、物体管理表の処理フラグを全てクリアする（ステップＳ１１２）。物体管理表の処理フラグが全てクリアされることにより、前のフレームで認識されていた物体について全て未処理の状態となる。

続いて物体情報制御部２００は、物体が存在する場合の処理を実行する（ステップＳ１１３）。物体が存在する場合の処理の詳細は後述する。

続いて物体情報制御部２００は、物体が存在しない場合の処理を実行する（ステップＳ１１４）。物体が存在しない場合の処理の詳細は後述する。

続いて物体情報制御部２００は、手指がセンシング可能領域の範囲外に消えた場合の処理を実行する（ステップＳ１１５）。手指がセンシング可能領域の範囲外に消えた場合の処理の詳細は後述する。

そして物体情報制御部２００は、ユーザによる所定の操作が行われたなどの終了条件を満たしたかどうか判断する（ステップＳ１１６）。終了条件を満たしていなければ（ステップＳ１１６、Ｎｏ）、物体情報制御部２００はステップＳ１１１の処理に戻り、終了条件を満たしていれば（ステップＳ１１６、Ｙｅｓ）、物体情報制御部２００は一連の処理を終了する。

続いて、上述のステップＳ１１３の物体が存在する場合の処理の詳細について説明する。図１１は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、上述のステップＳ１１３の物体が存在する場合の動作例を示す説明図である。なお、以下の一連の処理は、例えば属性処理部２２０が実行しうる。

物体情報制御部２００は、入力部１１０から取得した物体分、以下の一連の処理を繰り返す（ステップＳ１２１）。全ての物体について処理していなければ（ステップＳ１２１、Ｎｏ）、物体情報制御部２００は、処理対象の物体の物体ＩＤが物体管理表に登録されているかを判断する（ステップＳ１２２）。処理対象の物体の物体ＩＤが物体管理表に登録されていない場合（ステップＳ１２２、Ｎｏ）は、その物体は前フレームには存在しなかった物体であるため、物体情報制御部２００は、後述の近接情報による物体推定処理を行う（ステップＳ１２３）。この近接情報による物体推定処理は、その物体が手指から発生した（置かれた）ものなのか、手指によらず発生したものかを判断し、認識ＩＤを推定する処理である。

一方、処理対象の物体の物体ＩＤが物体管理表に登録されている場合（ステップＳ１２２、Ｙｅｓ）は、その物体は前フレームも存在していた物体であるため、物体情報制御部２００は、その物体の高さや重さなどの特徴量に変化がないかを判断する（ステップＳ１２４）。このステップＳ１２４の判断の際に、特徴量の差はセンサ性能による誤差なのか、明らかな有意差なのかを判断基準として付け加えてもよい。

その物体の高さや重さなどの特徴量に変化がない場合は（ステップＳ１２４、Ｎｏ）、物体情報制御部２００は、次の物体の処理に移る。一方、その物体の高さや重さなどの特徴量に変化がある場合は（ステップＳ１２４、Ｙｅｓ）、物体情報制御部２００は、後述の重畳情報による物体推定処理を行う（ステップＳ１２５）。この重畳情報による物体推定処理は、物体がどのように重ねられ増えたか、もしくは重ねられたものが減らされたか、を判断し、認識ＩＤを推定する処理である。

物体情報制御部２００は、近接情報による物体推定処理または重畳情報による物体推定処理を実行すると、推定した認識ＩＤを用いて物体管理表に物体ＩＤ、認識ＩＤ配列、特徴量を更新する（ステップＳ１２６）。そして物体情報制御部２００は、その物体について処理フラグを処理済みに設定する（ステップＳ１２７）。

物体情報制御部２００は、上述の一連の処理を、入力部１１０から取得した物体分繰り返す（ステップＳ１２８）。

続いて、上述のステップＳ１１４の物体が存在しない場合の処理の詳細について説明する。図１２は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、上述のステップＳ１１４の物体が存在しない場合の動作例を示す説明図である。なお、以下の一連の処理は、例えば手指検出部２１０や属性処理部２２０が実行しうる。

ここまでの処理で処理フラグが立っていない物体は、前フレームには存在していたものが現フレームでは処理されていないため、物体が取り除かれた、または何らかの原因で消失して存在しない場合であると判断できる。物体情報制御部２００は、この処理フラグが立っていない物体が存在する分、以下の処理を繰り返し行う（ステップＳ１３１）。

物体情報制御部２００は、上述の最寄手指検出処理により、物体を取り除いたと推定される手指ＩＤを取得し（ステップＳ１３２）。手指ＩＤが発見できたかどうか判断する（ステップＳ１３３）。最寄手指検出処理により手指ＩＤが発見できた場合は（ステップＳ１３３、Ｙｅｓ）、物体が手指に所有されたと考えられるので、物体情報制御部２００は、所有状態管理表における、該当する手指ＩＤの認識ＩＤ配列の末尾に認識ＩＤを追加する（ステップＳ１３４）。該当する手指ＩＤが存在しない場合は、物体情報制御部２００は、手指ＩＤと物体の持つ認識ＩＤを追加する。なお、センシングの奥行き方向（例えば高さ方向）では物体と手等の操作体とが近接していなくても、手等の操作体が入力部１１０による物体のセンシングを遮蔽する位置に移動する場合はあり得る。そのような場合、操作体が物体のセンシングを少なくとも一部遮蔽する位置に移動してきたことが検出されると、物体情報制御部２００は、物体がその操作体に所有されたとみなしてもよい。そして物体情報制御部２００は、所有状態管理表における、物体のセンシングを少なくとも一部遮蔽した操作体に対応する手指ＩＤの認識ＩＤ配列の末尾に、センシングが遮蔽された物体に対して登録されていた認識ＩＤを追加してもよい。

一方、最寄手指検出処理により手指ＩＤが発見できなかった場合は（ステップＳ１３３、Ｎｏ）、風で飛んだ等の何らかの原因で物体がセンシング可能領域から消失したことを意味するため、物体情報制御部２００は、属性管理表から属性情報を削除する（ステップＳ１３５）。

そして物体情報制御部２００は、物体管理表から該当する物体の行を削除する（ステップＳ１３６）。

物体情報制御部２００は、上述の一連の処理を、処理フラグが立っていない物体が存在する分繰り返す（ステップＳ１３７）。

続いて、上述のステップＳ１１５の手指が範囲外に消えた場合の処理の詳細について説明する。図１３は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、上述のステップＳ１１５の手指が範囲外に消えた場合の動作例を示す説明図である。なお、以下の一連の処理は、例えば属性処理部２２０が実行しうる。

物体情報制御部２００は、所有状態表に登録されている手指分、以下の処理を繰り返し行う（ステップＳ１４１）。

物体情報制御部２００は、入力部１１０からの情報を基に、該当する手指がセンシング可能領域の範囲内に存在するかを判定する（ステップＳ１４２）。手指がセンシング可能領域の範囲内に存在する場合は（ステップＳ１４２、Ｙｅｓ）、物体情報制御部２００は、その手指は物体を持ち続けていると判断し、何もせずに次の手指の処理に移る。

手指がセンシング可能領域の範囲内に存在しない場合は（ステップＳ１４２、Ｎｏ）、物体情報制御部２００は、その手指が範囲外に消えたと判断し、手指が範囲外に消えた場合の処理を行う（ステップＳ１４３）。手指が範囲外に消えた場合の処理は、情報処理システム１００が実行するアプリケーションで実現したい機能の用途に依存する。

例えば、手指が物体を持っている状態で範囲外に消えた場合、再び登場したときに同じ物体を持っているか不明なため、物体情報制御部２００は、物体管理表、所有状態管理表、属性管理表の全てから該当する項目を削除する。

また例えば、範囲外に消えても同じ物体を持って再び登場するという前提のもと、物体情報制御部２００は、全項目は維持し、所有状態管理表の手指ＩＤにフラグを付けて記憶しておく。このケースの前提として、再び登場した手指が同じＩＤを振られる、または、同じ方向から手指が入ってきたらＩＤは異なっても同じと見做す場合が考えられる。

物体情報制御部２００は、一連の処理を実行することにより、物体と手指の動きを追跡し、物体が手指に覆われたとしても、物体に関連付けられる属性を保持することが可能となる。

次に、図１１のステップＳ１２３に示した、近接情報による物体推定処理について説明する。図１４は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１１のステップＳ１２３に示した近接情報による物体推定処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

近接情報による物体推定処理を行う場合、まず物体情報制御部２００は最寄手指検出処理を行う（ステップＳ１５１）。そして物体情報制御部２００は、最寄手指検出処理によって最寄手指ＩＤが発見できたかどうか判断する（ステップＳ１５２）。

最寄手指ＩＤが発見できた場合は（ステップＳ１５２、Ｙｅｓ）、続いて物体情報制御部２００は、その手指ＩＤが所有状態管理表に登録されているかを判断する（ステップＳ１５３）。

手指ＩＤが所有状態管理表に登録されていれば（ステップＳ１５３、Ｙｅｓ）、続いて物体情報制御部２００は、その手指ＩＤに認識ＩＤ配列が存在するかを判断する（ステップＳ１５４）。

その手指ＩＤに認識ＩＤ配列が存在していれば（ステップＳ１５４、Ｙｅｓ）、その手指ＩＤを有する手指が持っていたのは、認識ＩＤ配列の最後尾の物体であると考えられるので、物体情報制御部２００は、この物体を既存の認識ＩＤを持つ物体と推定するとともに、推定に利用した認識ＩＤ配列の最後尾を削除する（ステップＳ１５５）。物体情報制御部２００は、認識ＩＤ配列の最後尾の削除後に認識ＩＤ配列がまだ存在する場合はそのままにし、存在しない場合は手指ＩＤごと行を削除する。

ステップＳ１５２の判断で最寄手指ＩＤが検出できなかった場合は（ステップＳ１５２、Ｎｏ）、物体情報制御部２００は、この物体は何らかの原因で発生した未知の物体であると判断し、新しい認識ＩＤを割り振る（ステップＳ１５６）。

ステップＳ１５３の判断で手指ＩＤが所有状態管理表に登録されていない場合は（ステップＳ１５３、Ｎｏ）、物体情報制御部２００は、新たな手指から発生した未知の物体であると判断し、新しい認識ＩＤを割り振る（ステップＳ１５６）。

ステップＳ１５４の判断で手指ＩＤに認識ＩＤ配列が存在していなければ（ステップＳ１５４、Ｎｏ）、物体情報制御部２００は、手指は既知だが置かれた物体は未知であると判断し、新しい認識ＩＤを割り振る（ステップＳ１５６）。このケースは、例えば範囲外で最初から物体を持った状態でさらに範囲内でもう１つ物体を持った場合などが該当する。

物体情報制御部２００は、この一連の処理を実行することにより、センシング可能領域に物体が発生した際に、その物体の最寄りの手指を検出することで、その物体が認識されているものかどうかを判断することができる。

続いて、図１１のステップＳ１２５に示した、重畳情報による物体推定処理について説明する。図１５は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１１のステップＳ１２５に示した重畳情報による物体推定処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

以下の処理では、前提として、センシングの対象の物体が、所定の高さ方向の単位特徴量を有するものとして説明する。例えば、センシングの対象の物体が、平たい円柱状のコインの様な形状を有する物体であるとする。また、以下の説明では、センシングの奥行き方向が高さ方向であり、センシングの奥行き方向の特徴量が高さ方向の特徴量（物体が置かれる面を基準とした、物体の天面の高さ）であるとして説明するが、本開示は係る例に限定されるものではない。例えば、壁面に磁力を有する物体を吸着させるような場合では、壁面に対するセンシングや投影が行われる。そのような場合では、センシングの奥行き方向は壁面に対して垂直方向であり、センシングの奥行き方向の特徴量は壁面に対して垂直方向の特徴量（壁面を基準として、物体の面のうち壁面と平行な面の高さ）である。なお、センシングの奥行き方向の特徴量として基準面からの高さ以外の情報を用いてもよい。また例えばセンシングの奥行き方向の特徴量としてデプスセンサにより得られる物体の三次元情報の奥行方向の位置（デプスの座標情報）を用いても良い。

物体情報制御部２００は、まず物体の特徴量が減少したかどうかを判断する（ステップＳ１６１）。特徴量が減少していれば（ステップＳ１６１、Ｙｅｓ）、物体情報制御部２００は特徴量が減少した場合の処理を実行する（ステップＳ１６２）。特徴量が減少した場合の処理は後に詳述する。特徴量が減少していなければ（ステップＳ１６１、Ｎｏ）、物体情報制御部２００は、その増加の差分が１段分（１単位特徴量分）であるかどうか判断する（ステップＳ１６３）。増加が１段分であれば（ステップＳ１６３、Ｙｅｓ）、物体情報制御部２００は特徴量が１段増加した場合の処理を実行する（ステップＳ１６４）。特徴量が１段増加した場合の処理は後に詳述する。増加が２段分以上であれば（ステップＳ１６３、Ｎｏ）、物体情報制御部２００は特徴量が２段以上増加した場合の処理を実行する（ステップＳ１６５）。特徴量が２段以上増加した場合の処理は後に詳述する。

続いて、上記ステップＳ１６２の特徴量が減少した場合の処理について説明する。図１６は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１５のステップＳ１６２に示した特徴量が減少した場合の処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

物体情報制御部２００は、まず最寄手指検出処理を行う（ステップＳ１７１）。そして物体情報制御部２００は、最寄手指検出処理によって最寄手指ＩＤが発見できたかどうか判断する（ステップＳ１７２）。

最寄手指ＩＤが発見できた場合は（ステップＳ１７２、Ｙｅｓ）、物体情報制御部２００は、手指に所有されたため特徴量が減ったと判断し、所有状態管理表における該当する手指ＩＤの認識ＩＤ配列の末尾に、所有された物体の認識ＩＤを追加する（ステップＳ１７３）。ここで２段以上減少した場合は、物体情報制御部２００は、手指ＩＤの認識ＩＤ配列の末尾に、所有された物体の認識ＩＤを複数追加する。この場合、認識ＩＤ配列には、上の段ほど配列の先頭に近い（つまり手に近い）順に追加される。

続いて、物体情報制御部２００は、残された物体の最上段の認識ＩＤが既知かを判断する（ステップＳ１７４）。既知の場合は（ステップＳ１７４、Ｙｅｓ）、物体情報制御部２００は何もしない。一方、未知の場合は（ステップＳ１７４、Ｎｏ）、物体情報制御部２００は、残された物体は所有された物体と同時に置かれていたことから、手指に持って行かれた物体と同じ性質の物体であろうと推定し、手指に持って行かれた物体と同じ認識ＩＤを振る（ステップＳ１７５）。

ステップＳ１７２の判断で最寄手指ＩＤが発見できなかった場合（ステップＳ１７２、Ｙｅｓ）は、物体情報制御部２００は、その物体は手指に依らず減少したと判断するとともに、残された物体は、原因は不明だが、消失した上段に存在していた物体と同じ性質の物体であろうと推定し、その消失した物体と同じ認識ＩＤを振る（ステップＳ１７５）。

続いて、上記ステップＳ１６４の特徴量が１段増加した場合の処理について説明する。図１７は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１５のステップＳ１６４の特徴量が１段増加した場合の処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

物体情報制御部２００は、まず最寄手指検出処理を行う（ステップＳ１８１）。そして物体情報制御部２００は、最寄手指検出処理によって最寄手指ＩＤが発見できたかどうか判断する（ステップＳ１８２）。

手指ＩＤが検出できた場合は（ステップＳ１８２、Ｙｅｓ）、物体情報制御部２００は、その手指ＩＤが所有状態管理表に登録されており、かつ認識ＩＤ配列を保持しているかを判断する（ステップＳ１８３）。その手指ＩＤが所有状態管理表に登録されており、かつ認識ＩＤ配列を保持していれば（ステップＳ１８３、Ｙｅｓ）、物体情報制御部２００は、認識ＩＤ配列の最後尾を用いて、この特徴量が１段増加した物体の認識ＩＤと推定し、さらに推定に利用した認識ＩＤ配列の最後尾を削除する（ステップＳ１８４）。手指ＩＤが所有状態管理表に登録されていない、または認識ＩＤ配列を保持していない場合は（ステップＳ１８３、Ｎｏ）、物体情報制御部２００は、新たな手指から発生した未知の物体が１段増えており、かつ同じ場所に重ねられたことから、同じ性質を持った物体であろうと推定し、１段下の物体と同じ認識ＩＤを振る（ステップＳ１８５）。

ステップＳ１８２の判断で最寄手指ＩＤが発見できなかった場合（ステップＳ１８２、Ｙｅｓ）は、物体情報制御部２００は、新たな手指から発生した未知の物体が１段増えており、かつ同じ場所に重ねられたことから、同じ性質を持った物体であろうと推定し、１段下の物体と同じ認識ＩＤを振る（ステップＳ１８５）。

続いて、上記ステップＳ１６５の特徴量が２段以上増加した場合の処理について説明する。図１８は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１５のステップＳ１６５の特徴量が２段以上増加した場合の処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

物体情報制御部２００は、まず最寄手指検出処理を行う（ステップＳ１９１）。そして物体情報制御部２００は、最寄手指検出処理によって最寄手指ＩＤが発見できたかどうか判断する（ステップＳ１９２）。

手指ＩＤが検出できた場合は（ステップＳ１９２、Ｙｅｓ）、物体情報制御部２００は、その手指ＩＤが所有状態管理表に登録されており、かつ認識ＩＤ配列を保持しているかを判断する（ステップＳ１９３）。その手指ＩＤが所有状態管理表に登録されており、かつ認識ＩＤ配列を保持していれば（ステップＳ１９３、Ｙｅｓ）、続いて物体情報制御部２００は、増加した段数分の認識ＩＤ配列が存在するかを判断する（ステップＳ１９４）。増加した段数分の認識ＩＤ配列が存在していれば（ステップＳ１９４、Ｙｅｓ）、増加した物体は全て既知の物体であるので、物体情報制御部２００は、その増加した段数分の認識ＩＤ配列を用いて、その物体に既存の認識ＩＤを割り当てると共に、増加した段数分の認識ＩＤ配列を所有状態管理表から削除する（ステップＳ１９５）。

ステップＳ１９４の判断で、増加した段数分の認識ＩＤ配列が存在していなければ（ステップＳ１９４、Ｎｏ）、物体情報制御部２００は、増加した段数分の物体に未知の物体が挟まっていると判断し、利用できるだけの認識ＩＤを用いる。物体情報制御部２００は、不足分は一緒に置かれた物体の一番下の段と同じ性質の物体であろうと推定して、同じ認識ＩＤで属性管理表を更新する（ステップＳ１９６）。また物体情報制御部２００は、利用した分の認識ＩＤ配列を削除する。

ステップＳ１９２の判断で、手指ＩＤが検出できなかった場合は（ステップＳ１９２、Ｎｏ）、新たな手指から発生した未知の物体が数段増えたことになり、物体情報制御部２００は、同じ場所に重ねられたことから、同じ性質を持った物体であろうと推定する。そして物体情報制御部２００は、１段下の物体と同じ認識ＩＤを振る（ステップＳ１９７）。

ステップＳ１９３の判断で、手指ＩＤが所有状態管理表に登録されておらず、または認識ＩＤ配列を保持していなければ（ステップＳ１９３、Ｎｏ）、物体情報制御部２００は、同じ場所に重ねられたことから、同じ性質を持った物体であろうと推定する。そして物体情報制御部２００は、１段下の物体と同じ認識ＩＤを振る（ステップＳ１９７）。

物体情報制御部２００は、このように物体の特徴量が変化したかを検出することにより、物体が重ねられて同時に置かれていた、手指により同時に置かれたといった物体の動きを追跡することができる。また物体情報制御部２００は、このような一連の処理により、同じ動きをしている物体は同じ性質であろうと推定を行い、未知の物体に対して認識ＩＤを割り振ることができる。

ここまで説明してきた物体情報制御部２００の一連の処理について具体例を挙げて説明する。以下の具体例では、物体管理表に保存される特徴量として、三次元センサから取得された物体の高さを例に挙げて説明する。まずは、センシング可能領域に未知の物体が現れる例を説明する。

図１９Ａ～１９Ｃは、センシング可能領域に未知の物体が現れた際の動作を説明する説明図である。図１９Ａ～１９Ｃには、テーブルがセンシング可能領域であり、そのテーブルに未知の物体が現れた場合の各表の状態も併せて図示されている。

図１９Ａは、物体を持った手（ｈａｎｄ ａ）が現れた状態を示す図である。この場合、物体管理表、所有状態管理表、属性管理表には何も情報が登録されていないとする。

図１９Ｂは、物体を持った手がテーブルに物体を置いた状態を示す図である。この時点でも、まだ物体管理表、所有状態管理表、属性管理表には何も情報が登録されない。

図１９Ｃは、手が物体をテーブルに置いた後、物体から手を離した状態を示す図である。物体がテーブルに置かれ、その物体から手が離されると、物体情報制御部２００は、テーブルに置かれた物体を認識し、その物体に対して、図１９Ｃに示したような情報を登録する。物体情報制御部２００は、その物体に対し物体ＩＤは「１」として登録し、認識ＩＤ配列に認識ＩＤとして「Ａ」を登録する。物体情報制御部２００は、この認識ＩＤ「Ａ」の情報を属性管理表にも登録する。この時点では、この物体がどのような属性を有するか不明のため、物体情報制御部２００は、属性管理表には未知の物体として登録する。

次に、センシング可能領域に属性が既知の物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する。図２０Ａ～２０Ｄは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２０Ａ～２０Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で属性が既知の物体が動かされた場合の各表の状態も併せて図示されている。

図２０Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。この状態では、図２０Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。

図２０Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。また物体情報制御部２００は、この時点で、物体管理表の処理フラグをｆａｌｓｅに変化させる。

図２０Ｃは、手が認識ＩＤ配列「Ａ」の物体を持ってテーブル上で動いている状態を示す図である。この時点では物体管理表には情報が登録されておらず、所有状態管理表には、認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していることが登録されている。

図２０Ｄは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体をテーブルに置いた後、物体から手を離した状態を示す図である。物体がテーブルに置かれ、その物体から手が離されると、物体情報制御部２００は、テーブルに置かれた物体を認識し、その物体に対して、図２０Ｄに示したような情報を登録する。物体情報制御部２００は、その物体に対し物体ＩＤは「２」として登録し、認識ＩＤ配列に認識ＩＤとして「Ａ」を登録する。

次に、センシング可能領域の外に物体を移動される例を説明する。これは、手指が物体を持っている状態で範囲外に消えた場合、再び登場したときに同じ物体を持っているか不明なため、物体情報制御部２００が物体管理表、所有状態管理表、属性管理表の全てから該当する項目を削除する例である。図２１Ａ～２１Ｄは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２１Ａ～２１Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で属性が既知の物体が動かされた場合の各表の状態も併せて図示されている。

図２１Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。この状態では、図２１Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。

図２１Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。この際、物体情報制御部２００は、検出した手の手指ＩＤを「ａ」として登録する。また物体情報制御部２００は、この時点で、物体管理表の処理フラグをｆａｌｓｅに変化させる。

図２１Ｃは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体を持ってテーブル上で動いている状態を示す図である。この時点では物体管理表には情報が登録されておらず、所有状態管理表には、認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していることが登録されている。

図２１Ｄは、手指ＩＤ「ａ」の手がセンシング可能領域の外に出た状態を示す図である。手指ＩＤ「ａ」の手がセンシング可能領域の外に出て、入力部１１０が認識出来なくなると、物体情報制御部２００は、所有状態管理表の情報をクリアする。認識ＩＤ配列に記述されていた認識ＩＤ「Ａ」の物体が他にセンシング可能領域に存在しないので、物体情報制御部２００は、属性管理表の情報もクリアする。

センシング可能領域の外に物体を移動される例をもう一つ説明する。これは、範囲外に消えても同じ物体を持って再び登場するという前提のもと、物体情報制御部２００が、全項目を維持した上で所有状態管理表の手指ＩＤにフラグ等を付けて記憶しておく例である。図２２Ａ～２２Ｆは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２２Ａ～２２Ｆには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

図２２Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。この状態では、図２２Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。

図２２Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。この際、物体情報制御部２００は、検出した手の手指ＩＤを「ａ」として登録する。また物体情報制御部２００は、この時点で、物体管理表の処理フラグをｆａｌｓｅに変化させる。

図２２Ｃは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体を持ってテーブル上で動いている状態を示す図である。この時点では物体管理表には情報が登録されておらず、所有状態管理表には、認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していることが登録されている。

図２２Ｄは、手指ＩＤ「ａ」の手がセンシング可能領域の外に出た状態を示す図である。手指ＩＤ「ａ」の手がセンシング可能領域の外に出て、入力部１１０が認識出来なくなっても、物体情報制御部２００は、所有状態管理表及び属性管理表の情報を維持する。この際、物体情報制御部２００は、手指ＩＤ「ａ」の手がセンシング可能領域の外に出たことを示す情報を付す。ここでは、物体情報制御部２００は、手指ＩＤに括弧を付すことで手がセンシング可能領域の外に出たことを示す。

図２２Ｅは、手指ＩＤ「ａ」の手がセンシング可能領域の中に戻ってきた状態を示す図である。ここでは、手指ＩＤ「ａ」の手は認識ＩＤ配列「Ａ」の物体を所有したままであるとみなし、物体情報制御部２００は、所有状態管理表の手指ＩＤに付いていた括弧を外す。

図２２Ｆは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体をテーブルに置いた後、物体から手を離した状態を示す図である。物体がテーブルに置かれ、その物体から手が離されると、物体情報制御部２００は、テーブルに置かれた物体を認識し、その物体に対して、図２２Ｆに示したような情報を登録する。物体情報制御部２００は、その物体に対し物体ＩＤは「２」として登録し、認識ＩＤ配列に認識ＩＤとして「Ａ」を登録する。

次に、センシング可能領域内に２つ重ねて置かれている物体の一つを手で持って移動させた場合の例を説明する。図２３Ａ～２３Ｄは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２３Ａ～２３Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

図２３Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。物体ＩＤ「１」の物体は、高さ方向の基準特徴量として高さ１センチメートルの２つの物体が積み重なったものである。この状態では、図２３Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。物体情報制御部２００は、積み重なっている２つの物体の内、上の物体は認識ＩＤが「Ａ」であるとして認識しているが、下の物体はどのような物体か認識出来ていない。従って物体情報制御部２００は、物体ＩＤ「１」の物体について、物体管理表の認識ＩＤ配列に「？，Ａ」として登録している。

図２３Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。この際、物体情報制御部２００は、検出した手の手指ＩＤを「ａ」として登録する。

図２３Ｃは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体のうち、上の物体を持ってテーブル上で動いている状態を示す図である。物体情報制御部２００は、残された物体について物体ＩＤを「２」として物体管理表に登録する。この際、物体情報制御部２００は、不明であった物体ＩＤ「２」の物体について、認識ＩＤ配列に「Ａ」を割り当てる。これは、同じ所に積み重なっている物体は同じ属性を有すると推定することに基づくものである。また物体情報制御部２００は、所有状態管理表に、認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していることを登録する。

図２３Ｄは、手指ＩＤ「ａ」の手が物体をテーブルに置いた状態を示す図である。物体情報制御部２００は、手から離れた物体について、物体ＩＤを「３」として物体管理表に登録する。その際、直前まで認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していたので、物体情報制御部２００は、物体ＩＤ「３」の物体について、認識ＩＤ配列に「Ａ」を割り当てる。

次に、センシング可能領域内に置かれている物体を積み重ねた後に移動させ、さらにその中の一つを手で持って移動させた場合の例を説明する。図２４Ａ～２４Ｆは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２４Ａ～２４Ｆには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

図２４Ａは、物体ＩＤ「１」および「２」の物体がテーブルに置かれている状態を示す図である。物体ＩＤ「１」および「２」の物体は、それぞれ高さ１センチメートルの物体である。この状態では、図２４Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。物体ＩＤ「１」の物体の認識ＩＤ配列は「Ａ」であり、物体ＩＤ「２」の物体の認識ＩＤ配列は「Ｂ」である。

図２４Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。この際、物体情報制御部２００は、検出した手の手指ＩＤを「ａ」として登録する。

図２４Ｃは、物体ＩＤ「１」の物体が物体「２」に、手によって積み重ねられている状態を示す図である。物体ＩＤ「１」に次いで「２」の物体が手（ｈａｎｄ ａ）に覆われたことが検出されると、物体情報制御部２００は、物体ＩＤ「２」の物体に対応する認識ＩＤ配列の情報も所有状態管理表に移す。

図２４Ｄは、積み重ねられている物体が手によって持ち上げられている状態を示す図である。物体情報制御部２００は、所有状態管理表における手指ＩＤを「ａ」の行に認識ＩＤ配列「Ａ，Ｂ」を登録する。物体情報制御部２００は、手指ＩＤ「ａ」を有する手が認識ＩＤ配列「Ａ，Ｂ」からなる物体を持っていることを把握する。

図２４Ｅは、積み重ねられている物体のうち、下の物体をテーブルに置いた状態を示す図である。物体情報制御部２００は、手から離れた物体について、物体ＩＤを「３」として物体管理表に登録する。その際、直前まで認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していたので、物体情報制御部２００は、物体ＩＤ「３」の物体について、認識ＩＤ配列に、下の物体に割り当てられていた認識ＩＤである「Ｂ」を割り当てる。

図２４Ｆは、手指ＩＤ「ａ」の手が物体をテーブルに置いた状態を示す図である。物体情報制御部２００は、手から離れた物体について、物体ＩＤを「４」として物体管理表に登録する。その際、直前まで認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していたので、物体情報制御部２００は、物体ＩＤ「４」の物体について、認識ＩＤ配列に「Ａ」を割り当てる。

次に、センシング可能領域内に置かれている物体に、別の物体が１段積み重ねられた場合の例を説明する。図２５Ａ～２５Ｄは、センシング可能領域内に置かれている物体に、別の物体が積み重ねられた場合の動作を説明する説明図である。図２５Ａ～２５Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

図２５Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。物体ＩＤ「１」の物体は、高さ１センチメートルの物体である。この状態では、図２５Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。物体ＩＤ「１」の物体の認識ＩＤ配列は「Ａ」である。

図２５Ｂは、物体ＩＤ「１」の物体に、別の物体が積み重ねられた状態の例を示す図である。そして図２５Ｃは、物体から手が離された状態の例を示す図である。所有状態管理表には何も情報が登録されていなかったので、図２５Ｃで現れた（認識可能になった）物体は、誰が持っていた物体か不明である。従って、その物体がどのような物体であるかも不明である。よって物体情報制御部２００は、物体ＩＤ「１」を「２」に変化させると共に、認識ＩＤ配列を「？，Ａ」として物体管理表に登録する。

図２５Ｄは、積み重ねられた物体の認識ＩＤを推定する例を示す図である。物体情報制御部２００は、積み重ねられた物体は、下に置かれていた物体と同じ認識ＩＤを有すると推定し、物体ＩＤ「２」の物体の認識ＩＤ配列を「？，Ａ」として物体管理表に登録する。

次に、センシング可能領域内に置かれている物体に、別の物体が２段積み重ねられた場合の例を説明する。図２６Ａ～２６Ｄは、センシング可能領域内に置かれている物体に、別の物体が２段積み重ねられた場合の動作を説明する説明図である。図２６Ａ～２６Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

図２５Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。物体ＩＤ「１」の物体は、高さ１センチメートルの物体である。この状態では、図２５Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。物体ＩＤ「１」の物体の認識ＩＤ配列は「Ａ」である。また、手指ＩＤ「ａ」の手には、認識ＩＤ配列が「Ｂ」で登録されている。すなわち物体情報制御部２００は、この時点では、認識ＩＤが「Ｂ」である物体が１つだけ手指ＩＤ「ａ」の手に持たれていると把握している。

図２６Ｂは、物体ＩＤ「１」の物体に、別の物体が積み重ねられた状態の例を示す図である。そして図２６Ｃは、物体から手が離された状態の例を示す図である。入力部１１０による認識の結果、高さが増えたので、物体情報制御部２００は、物体ＩＤ「１」を「２」に変化させる。そして物体情報制御部２００は、所有状態管理表に登録されている認識ＩＤ配列の情報を物体管理表に移すが、その際、高さが１センチメートルから３センチメートルに増えたので、物体ＩＤ「１」の物体に、別の物体が２つ積み重ねられたことになる。しかし、物体情報制御部２００は認識ＩＤが「Ｂ」である物体が１つだけ手指ＩＤ「ａ」の手に持たれていると把握している。すなわち、一番下の物体の認識ＩＤは「Ａ」であり、一番上の物体の認識ＩＤは「Ｂ」であるが、真ん中の物体の認識ＩＤは何であるか分からない。従って物体情報制御部２００は物体ＩＤ「２」の認識ＩＤ配列を「Ａ，？，Ｂ」と登録する。

図２６Ｄは、積み重ねられた物体の認識ＩＤを推定する例を示す図である。物体情報制御部２００は、認識ＩＤが不明な物体は、一緒に持たれていた物体と同じ認識ＩＤを有すると推定し、物体ＩＤ「２」の物体の認識ＩＤ配列を「Ａ，Ｂ，Ｂ」として物体管理表に登録する。

本実施形態では、このように物体に認識ＩＤを付与するとともに、物体の近くにあった手を認識することで、ユーザが手でテーブルに置かれた物体を覆い、再度物体をテーブルに置いた場合であっても、当該物体に認識ＩＤを付与し続けることが出来る。この技術を用いることで、例えば、ネットワークへの通信機能が無い物体であっても、あたかもネットワーク通信機能を有するかのような振る舞いをさせることが可能になる。

図２７は、本開示の実施の形態に係る情報処理システム１００を用いた通信システムの構成例を示す説明図である。図２７には、情報処理システム１００と、情報処理システム１００にネットワークを介して接続されているルータ７００及びＰＣ８００が図示されている。ネットワークはインターネット等のＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよく、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。情報処理システム１００と、ルータ７００と、ＰＣ８００との間のネットワーク接続は、有線であっても良く、無線であっても良い。またネットワークの通信プロトコルとしてＴＣＰ／ＩＰが用いられてもよく、その他のプロトコル、例えば独自に定められたプロトコル等が使用されても良い。

また図２７には、テーブル上の、情報処理システム１００からセンシング可能な領域に置かれている物体６０１、６０２が図示されている。この物体６０１、６０２は、例えば食器などの、いずれも通信機能を有していない物体である。そこで本実施形態では、これらの物体６０１、６０２に、ＩＰアドレスのような、物体を一意に識別可能な識別子を付与する。この識別子は、物体６０１、６０２に仮想的にアクセスするための識別子であり、図２７には、情報処理システム１００、ルータ７００、ＰＣ８００には実際の通信で使用するＩＰアドレスが、物体６０１、６０２には、情報処理システム１００から一意に識別可能な仮想のＩＰアドレスが図示されている。すなわち、物体６０１、６０２に割り当てられた仮想のＩＰアドレスは、情報処理システム１００がこのＩＰアドレスを用いて通信を行うためのものでは無く、情報処理システム１００が物体を識別するために使用するものである。なお、本実施形態では物体を一意に識別可能な識別子としてＩＰアドレスを用いたが、本開示は係る例に限定されるものでは無く、情報処理システム１００は、他にも物体のセンシングに際して物体ＩＤを用いてもよく、物体ＩＤに所定のインデックス（objectIndex）を付加したものを用いてもよい。

図２７に示した物体６０１、６０２には、属性処理部２２０によって以下のような情報が割り当てられている。ここで物体ＩＤが１の物体は物体６０１であり、物体ＩＤが２の物体は物体６０２である。

情報処理システム１００は、仮想的に、ゲートウェイであり、かつＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）サーバのように振る舞う仮想的なローカルエリアネットワークを構成する。物体６０１、６０２に、上記の表５で示したような属性を付与することで、例えばＰＣ８００から物体６０１、６０２の状態のセンシングを情報処理システム１００に指示することが可能となる。すなわち、ＰＣ８００から、物体６０１、６０２に関連付けられたＩＰアドレスを指定したリクエストを情報処理システム１００に送信することで、情報処理システム１００は、指定した物体に対する処理（センシング処理や情報投影処理）を実行することができる。

情報処理システム１００は、上述したように様々なセンサを備えうるので、例えばセンシング可能領域に置かれた物体の重さ、大きさ、数、色、温度等の情報をセンシングすることができる。そして情報処理システム１００は、ＰＣ８００からのリクエストに基づいて、どの物体のどの情報をセンシングすべきかについて把握することが可能となる。なお、情報処理システム１００は、外部の装置からのリクエストに基づいて２つ以上の状態のセンシングを同時に行っても良い。例えば、ＰＣ８００から指定された物体の数と重さをセンシングするリクエストが送信された場合は、情報処理システム１００は、リクエストに基づいて指定された物体の数と重さをセンシングする。

図２８は、本開示の実施の形態に係る情報処理システム１００の動作例を示す流れ図である。図２８に示したのは、情報処理システム１００からセンシング可能な領域に置かれている物体の状態を外部からの指示に基づいてセンシングしたり、情報の投影を外部からの指示に基づいて行ったりする場合の、情報処理システム１００の動作例である。

情報処理システム１００は、ユーザによる所定の操作が行われたなどの所定の終了条件を満たしたかどうかを判断し（ステップＳ２０１）、終了条件を満たしていれば（ステップＳ２０１、Ｙｅｓ）、一連の処理を終了するが、終了条件を満たしていなければ（ステップＳ２０１、Ｎｏ）、続いて外部の装置からリクエストを受信したかどうか判断する（ステップＳ２０２）。本実施形態では、外部の装置からは、リクエストとして、物体等の状態を取得する情報取得リクエストか、情報を出力する情報出力リクエストのいずれかがネットワークを介して情報処理システム１００に送信される。

外部の装置、例えばＰＣ８００からリクエストを受信していなければ（ステップＳ２０２、Ｎｏ）、情報処理システム１００は、ステップＳ２０１の所定の終了条件を満たしたかどうかの判断処理に戻る。

一方、外部の装置、例えばＰＣ８００からリクエストを受信していれば（ステップＳ２０２、Ｙｅｓ）、情報処理システム１００は、そのリクエストを解析し（ステップＳ２０３）、受信したリクエストが物体の状態を取得する情報取得リクエストかどうか判断する（ステップＳ２０４）。当該判断は、例えば属性処理部２２０が実行しうる。物体の状態を取得する情報取得リクエストであれば（ステップＳ２０４、Ｙｅｓ）、情報処理システム１００は、物体の状態の取得を行う情報取得リクエスト処理を行う（ステップＳ２０５）。物体の状態の取得を行う情報取得リクエスト処理とは、入力部１１０を用いて、センシング可能領域に置かれた物体のセンシングを行う処理であり、この場合において情報取得リクエストはセンシングリクエストである。センシング対象の物体は、外部の装置、例えばＰＣ８００から指示されうる。なお情報取得リクエストの内容がセンシングを必要としない情報取得である場合は、情報処理システム１００は物体のセンシング処理を行わず、指定された情報をメモリなどの記憶媒体から読み出し、読み出した情報をレスポンスとして送信する。センシングを必要としない情報取得とは、例えば情報処理システム１００の状態の取得であり、具体的には例えば、情報処理システム１００の電源投入からの稼働時間、総稼働時間、稼働時間帯、ファームウェアのバージョン等の情報を取得する場合などをいう。また情報処理システム１００の状態として、センサやプロジェクタ等の状態（正常か異常か）を取得できれば、それらのデバイスの状態についても情報処理システム１００の状態に含まれうる。受信リクエストが情報を出力する情報出力リクエストであれば（ステップＳ２０４、Ｙｅｓ）、情報処理システム１００は、情報の投影を行う情報出力リクエスト処理を行う（ステップＳ２０６）。これらの処理は、例えば属性処理部２２０が実行しうる。情報の投影対象は、外部の装置、例えばＰＣ８００から指示されうる。情報出力リクエスト処理が情報の投影である場合、情報処理システム１００は、リクエストに含まれる識別子で指定された物体の位置、高さ等や、投影対象の状態等をセンシングして、物体に応じた適切な場所に投影する。例えば、物体の色が黒である、物体の天面の形状の起伏が激しい、物体の天面の面積が狭い等の理由で視認性が悪い場合は、情報処理システム１００は、その物体の周辺に投影する。また例えば、物体の色が白であり、物体の天面の形状が平面で、物体の天面の面積も投影に十分な広さである場合は、情報処理システム１００は、その物体の天面に投影する。また入力部１１０に備えられるセンサやその他のセンサによりユーザの位置をセンシングできる場合、情報処理システム１００は、そのユーザに正対する方向に文字列や画像などの情報を投影してもよい。すなわち、外部の装置、例えばＰＣ８００が情報出力リクエストを送信する場合、ＰＣ８００が情報を投影したい物体や、当該物体の周辺の現在の状態を把握していなくても、また投影場所を座標などで細かく指定しなくても、識別子を指定するだけで、物体に対して適切な場所へ情報の投影が可能となる。また情報を投影するリクエストには、物体との相対的な投影位置（例えば物体の天面、右方向、左方向、上方向、又は下方向）を指定するコマンドが含まれていても良い。情報処理システム１００が物体の識別子及び相対的な投影位置を指定するコマンドをＰＣ８００から受信した場合、物体情報制御部２００は、受信したリクエストで指定された物体の識別子に対応する物体の現在位置をセンシングし、その現在位置を基準として当該コマンドで指定された相対的な位置に指定された情報を投影する。なお、情報出力リクエスト処理は情報の投影に限られない。例えば、情報出力リクエストは音声の出力を指示するコマンドを含んでいてもよい。情報出力リクエストに音声の出力を指示するコマンドが含まれている場合、情報処理システム１００は、情報出力リクエスト処理として指向性スピーカなどによる音声の出力を行っても良い。

取得リクエスト処理または投影リクエスト処理が完了すると、情報処理システム１００は、リクエストを送った装置に対するリプライ処理を行う（ステップＳ２０７）。情報処理システム１００は、一連の動作を実行することで、外部の装置からのリクエストに応じて、物体のセンシングを行ったり、情報の投影を行ったりすることが出来る。

次に、情報処理システム１００とＰＣ８００との間の具体的な通信内容について説明する。図２９は、情報処理システム１００及びＰＣ８００の動作例を示す流れ図である。図２９に示した例では、物体を識別する情報として物体ＩＤに所定のインデックス（objectIndex）を付加したものを用いている。

ＰＣ８００は、まず情報処理システム１００に対して、情報処理システム１００のセンシング可能領域に物体が存在するかどうかのリクエストを送信する（ステップＳ２１１）。この際、ＰＣ８００からは、情報処理システム１００のアドレスを指定し、引数に対象の物体の認識ＩＤ（ここでは認識ＩＤを「Ｂ」とする。以下同じ）を指定する。情報処理システム１００は、センシングを行って、指定された物体が存在するかどうかのレスポンスをＰＣ８００に返す（ステップＳ２１２）。情報処理システム１００は、物体が存在していればコード２００番をＰＣ８００に返し、存在していなければコード４０４番をＰＣ８００に返す。これらのコードは、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）で規定されたステータスコードを用いることが出来、例えばＷＥＢ ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）として利用することができる。ただし、情報処理システム１００とＰＣ８００との間で使用されるコードはＨＴＴＰで規定されたステータスコードに限定されるものではない。

続いてＰＣ８００は、情報処理システム１００に対して、その物体の温度を取得するリクエストを送信する（ステップＳ２１３）。情報処理システム１００は、リクエストに応じて、指定された物体の温度のセンシングを行い、センシング結果をＰＣ８００に返す（ステップＳ２１４）。ここでは、認識ＩＤが「Ｂ」の物体が２つあり、情報処理システム１００はその２つの物体の温度をセンシングしてＰＣ８００へ返す例が示されている。なお、図２９には、「objectIndex」が「１」の物体の温度は摂氏２０度であり、「objectIndex」が「２」の物体の温度は摂氏１０度であることが、情報処理システム１００からＰＣ８００に返されている。

続いてＰＣ８００は、情報処理システム１００に対して情報を投影するリクエストを送信する（ステップＳ２１５）。ここでは、温度が摂氏２０度であった物体に対して「おかわりいかがですか？」というメッセージを投影するリクエストをＰＣ８００から情報処理システム１００に送っている例が示されている。

情報処理システム１００は、情報を投影するリクエストに基づいて情報の投影を行うと、その投影処理の結果をＰＣ８００に返す（ステップＳ２１６）。

図３０Ａ、３０Ｂは、情報処理システム１００による物体のセンシング及び情報の投影例を示す説明図である。図３０Ａ、３０Ｂには、物体６０１、６０２として、それぞれビールが注がれたグラスが図示されている。物体６０１、６０２は、いずれも認識ＩＤ（recognitionID）が「Ｂ」として登録されている。また物体６０１は「objectIndex」が「１」として、物体６０２は「objectIndex」が「２」として、それぞれ登録されている。

情報処理システム１００は、ＰＣ８００から送られた、物体の温度を取得するリクエストに応じて物体６０１、６０２の温度をセンシングした結果、物体６０１の温度が２０度、物体６０２の温度が１０度と、それぞれ測定した。

物体６０１の温度が２０度であったので、ＰＣ８００の操作者は物体６０１に対して「おかわりいかがですか？」というメッセージを投影するリクエストを情報処理システム１００に送信する。情報処理システム１００は、ＰＣ８００からのリクエストに応じ、図３０Ｂに示したように、物体６０１の周囲に「おかわりいかがですか？」というメッセージを投影することができる。

ＰＣ８００から情報処理システム１００へのリクエストの他の例を示す。認識ＩＤがＡである物体の個数を返して欲しい場合は、ＰＣ８００は情報処理システム１００へ、以下のような引数を与えたＵＲＬによるリクエストを送信する。情報処理システム１００は、リクエストに基づいて認識ＩＤがＡである物体の個数をカウントし、認識ＩＤがＡである物体の個数をＰＣ８００へ返信する。
http://11.22.33.2/index.html?recognitionID=A&query=number

認識ＩＤがＡである１番目の物体の色を返して欲しい場合は、ＰＣ８００は情報処理システム１００へ、以下のような引数を与えたＵＲＬによるリクエストを送信する。情報処理システム１００は、リクエストに基づいて認識ＩＤがＡである１番目の物体の色をセンシングし、認識ＩＤがＡである１番目の物体の色をＰＣ８００へ返信する。
http://11.22.33.2/index.html?recognitionID=A&objectIndex=1&query=color

認識ＩＤがＢである２番目の物体のサイズをミリメートル単位で返して欲しい場合は、ＰＣ８００は情報処理システム１００へ、以下のような引数を与えたＵＲＬによるリクエストを送信する。情報処理システム１００は、リクエストに基づいて認識ＩＤがＢである２番目の物体のサイズをミリメートル単位でセンシングし、認識ＩＤがＢである２番目の物体のサイズをＰＣ８００へ返信する。
http://11.22.33.2/index.html?recognitionID=B&objectIndex=2&query=size&unit=mm

図２９の例では物体を識別する情報として物体ＩＤに所定のインデックス（objectIndex）を付加したものが用いられていたが、上述したように、物体を識別する情報として物体ＩＤそのものが用いられても良く、物体ＩＤにＩＰアドレスを付加したものが用いてもよい。どのような情報が物体を識別する情報として用いられるかによって上記のＵＲＬの引数部分（「？」以降のパラメータ）が変化する。

認識ＩＤに関連付けられる属性は、ＩＰアドレス以外のものであってもよい。例えば、認識ＩＤに関連付けられる属性として、物体の種類（タイプ）の情報が関連付けられても良い。物体の種類としては、例えば食器であれば、皿、コーヒーカップ、ワイングラスなどである。この物体の種類（タイプ）の情報は、認識ＩＤで示された種類に属する物体に、仮想的にアクセスするための種類識別子である。認識ＩＤに関連付けられる属性として物体の種類の情報を関連付ければ、情報処理システム１００は、認識ＩＤを指定することでセンシング環境下の同一種類の複数の物体に、一度のリクエストで情報取得処理を行ったり、情報出力処理を行ったりしてもよい。

また情報処理システム１００は、認識ＩＤに物体の種類の情報が関連付けられた場合、認識ＩＤごとに対応したアクションＩＤを設定し、情報出力リクエストに認識ＩＤとアクションＩＤを含めても良い。このアクションＩＤは、物体の種類に対応した情報出力処理を示すものである。情報処理システム１００は、情報出力リクエストに認識ＩＤとアクションＩＤを含めることで、物体の種類に応じた適切なアクションを実行することが出来る。例えば、アクションＩＤと情報出力処理との内容を関連付けたデータベースを用意しておき、情報処理システム１００は、このデータベースを参照して情報出力処理の内容を決定しても良い。例えば情報処理システム１００は、ＰＣ８００からのリクエストが前記種類識別子と前記アクション識別子を伴う情報出力リクエストである場合、物体の種類の情報により示された種類に属する物体に対し、アクションＩＤに対応する情報出力を出力部１３０に行わせる。以下において、ＰＣ８００からリクエストを受けた情報処理システム１００の動作例を説明する。

図３１は、情報処理システム１００及びＰＣ８００の動作例を示す流れ図である。図３１に示した例では、物体を識別する情報として物体ＩＤに所定のインデックス（objectIndex）を付加したものを用いている。また、図３２は、図３１の動作例においてセンシングされる物体の例を示す説明図である。図３２には、センシング対象の物体としてテーブルに置かれたコーヒーカップ及びコーヒーカップの中に注がれているコーヒーが示されている。

ＰＣ８００は、まず情報処理システム１００に対して、情報処理システム１００のセンシング可能領域に物体が存在するかどうかのリクエストを送信する（ステップＳ２２１）。この際、ＰＣ８００からは、情報処理システム１００のアドレスを指定し、引数に対象の物体の認識ＩＤ（ここでは認識ＩＤを「Ｃ」とする。以下同じ）を指定する。情報処理システム１００は、センシングを行って、指定された物体が存在するかどうかのレスポンスをＰＣ８００に返す（ステップＳ２２２）。情報処理システム１００は、物体が存在していればコード２００番をＰＣ８００に返し、存在していなければコード４０４番をＰＣ８００に返す。これらのコードは、ＨＴＴＰで規定されたステータスコードを用いることができ、例えばＷＥＢ ＡＰＩとして利用することができる。ただし、情報処理システム１００とＰＣ８００との間で使用されるコードは、情報処理システム１００とＰＣ８００が処理可能な所定のコードであればよく、必ずしもＨＴＴＰで規定されたステータスコードに限定されるものではない。

続いてＰＣ８００は、情報処理システム１００に対して、その物体の内部高さを取得するリクエストを送信する（ステップＳ２２３）。情報処理システム１００は、リクエストに応じて、指定された物体の内部高さのセンシングを行い、センシング結果をＰＣ８００に返す（ステップＳ２２４）。ここでは、認識ＩＤが「Ｃ」の物体が１つあり、情報処理システム１００はその物体の内部高さをセンシングしてＰＣ８００へ返す例が示されている。なお、図３１には、「objectIndex」が「１」の物体の内部高さは１０センチメートルであることが、情報処理システム１００からＰＣ８００に返されている。

続いてＰＣ８００は、情報処理システム１００に対して、その物体に対して文字を投影するリクエストを送信する（ステップＳ２２５）。ここでは、センシングした物体に対して「good morning」という文字を投影する例が示されている。情報処理システム１００は、指定された文字を投影した結果に関するレスポンスをＰＣ８００に返す（ステップＳ２２６）。ＰＣ８００からリクエストを受けた情報処理システム１００は、図３２に示すように、コーヒーカップに注がれたコーヒーの表面に「good morning」という文字を投影することが可能となる。

所定期間経過後、ＰＣ８００は、情報処理システム１００に対して、センシングした物体の内部高さを取得するリクエストを送信する（ステップＳ２２７）。情報処理システム１００は、リクエストに応じて、指定された物体の内部高さのセンシングを行い、センシング結果をＰＣ８００に返す（ステップＳ２２８）。ここでは、認識ＩＤが「Ｃ」の物体が１つあり、情報処理システム１００はその物体の内部高さをセンシングしてＰＣ８００へ返す例が示されている。なお、図３１には、「objectIndex」が「１」の物体の内部高さは０センチメートルであることが、情報処理システム１００からＰＣ８００に返されている。

続いてＰＣ８００は、情報処理システム１００に対して、その物体に対して文字を投影するリクエストを送信する（ステップＳ２２９）。ここでは、センシングした物体の周囲に対して「It's time to go」という文字を投影する例が示されている。情報処理システム１００は、指定された文字を投影した結果に関するレスポンスをＰＣ８００に返す（ステップＳ２３０）。なお、このステップＳ２３０では、ステップＳ２２５とは異なるアクションＩＤ＝２が指定されている。このアクションＩＤ＝２は、センシングした物体の周囲に、現在時刻と共にメッセージを表示するアクションであるとする。ＰＣ８００からリクエストを受けた情報処理システム１００は、図３２に示すように、コーヒーカップの周囲に現在時刻を表示すると共に「It's time to go」という文字を投影することが可能となる。

図３３は、情報処理システム１００及びＰＣ８００の動作例を示す流れ図である。図３３に示した例では、物体を識別する情報として物体ＩＤに所定のインデックス（objectIndex）を付加したものを用いている。また、図３４は、図３３の動作例においてセンシングされる物体の例を示す説明図である。図３４には、センシング対象の物体としてテーブルに置かれた皿およびワイングラスが示されている。

ＰＣ８００は、まず情報処理システム１００に対して、情報処理システム１００のセンシング可能領域に物体が存在するかどうかのリクエストを送信する（ステップＳ２３１）。この際、ＰＣ８００からは、情報処理システム１００のアドレスを指定し、対象の物体の認識ＩＤ（ここでは認識ＩＤを「Ｄ」とする）を引数で指定すると共に、その物体の位置を座標で返すための引数を指定する。情報処理システム１００は、センシングを行って、指定された物体が存在するかどうかのレスポンスをＰＣ８００に返す（ステップＳ２３２）。情報処理システム１００は、物体が存在していればコード２００番をＰＣ８００に返し、存在していなければコード４０４番をＰＣ８００に返す。これらのコードは、ＨＴＴＰで規定されたステータスコードを用いることが出来、例えばＷＥＢ ＡＰＩとして利用することができる。ただし、情報処理システム１００とＰＣ８００との間で使用されるコードはＨＴＴＰで規定されたステータスコードに限定されるものではない。また情報処理システム１００はレスポンスをＰＣ８００に返す際に、その物体の中心位置の座標を返す。

続いてＰＣ８００は、情報処理システム１００に対して、情報処理システム１００のセンシング可能領域に物体が存在するかどうかのリクエストを送信する（ステップＳ２３３）。この際、ＰＣ８００からは、情報処理システム１００のアドレスを指定し、対象の物体の認識ＩＤ（ここでは認識ＩＤを「Ｅ」とする）を引数で指定すると共に、その物体の位置を座標で返すための引数を指定する。情報処理システム１００は、センシングを行って、指定された物体が存在するかどうかのレスポンスをＰＣ８００に返す（ステップＳ２３４）。情報処理システム１００は、物体が存在していればコード２００番をＰＣ８００に返す。また情報処理システム１００はレスポンスをＰＣ８００に返す際に、その物体の中心位置の座標を返す。

そしてＰＣ８００は、情報処理システム１００から取得した２つの物体の中心座標間の距離が所定の距離以下であれば、情報処理システム１００に対して、「objectIndex」が「１」の物体に対して所定の柄を投影するリクエストを送信する（ステップＳ２３５）。情報処理システム１００は、所定の柄を投影した結果に関するレスポンスをＰＣ８００に返す（ステップＳ２３６）。

この処理を応用すれば、ＰＣ８００は、様々な物体に対して柄などを投影するよう情報処理システム１００に指示を送出することが出来る。図３５は、皿の近くに置かれたワイングラスに所定の柄が投影された様子を示す図である。また図３６は、皿の近くに置かれたビアマグに所定の柄が投影された様子を示す図である。情報処理システム１００は、皿の近くに置かれている物体に応じた柄を投影することが可能となる。

図３７は、情報処理システム１００及びＰＣ８００の動作例を示す流れ図である。図３７に示した例では、物体を識別する情報として物体ＩＤに所定のインデックス（objectIndex）を付加したものを用いている。また、図３８は、図３７の動作例においてセンシングされる物体の例を示す説明図である。図３８には、センシング対象の物体としてテーブルに置かれた皿およびワイングラスが示されている。

ＰＣ８００は、まず情報処理システム１００に対して、情報処理システム１００のセンシング可能領域に物体が存在するかどうかのリクエストを送信する（ステップＳ２４１）。この際、ＰＣ８００からは、情報処理システム１００のアドレスを指定し、対象の物体の認識ＩＤ（ここでは認識ＩＤを「Ｄ」とする）を引数で指定すると共に、その物体の位置を座標で返すための引数を指定する。情報処理システム１００は、センシングを行って、指定された物体が存在するかどうかのレスポンスをＰＣ８００に返す（ステップＳ２４２）。情報処理システム１００は、物体が存在していればコード２００番をＰＣ８００に返し、存在していなければコード４０４番をＰＣ８００に返す。これらのコードは、ＨＴＴＰで規定されたステータスコードを用いることが出来、例えばＷＥＢ ＡＰＩとして利用することができる。ただし、情報処理システム１００とＰＣ８００との間で使用されるコードはＨＴＴＰで規定されたステータスコードに限定されるものではない。また情報処理システム１００はステップＳ２４２でレスポンスをＰＣ８００に返す際に、認識した物体の中心位置の座標を返す。

続いてＰＣ８００は、情報処理システム１００のセンシング可能領域に物体が存在するかどうかのリクエストを送信する（ステップＳ２４３）。この際、ＰＣ８００からは、情報処理システム１００のアドレスを指定し、対象の物体の認識ＩＤ（ここでは認識ＩＤを「Ｇ」とする）を引数で指定すると共に、その物体の位置を座標で返すための引数を指定する。情報処理システム１００は、センシングを行って、指定された物体が存在するかどうかのレスポンスをＰＣ８００に返す（ステップＳ２４４）。また情報処理システム１００はステップＳ２４４でレスポンスをＰＣ８００に返す際に、認識した物体の中心位置の座標を返す。

続いてＰＣ８００は、情報処理システム１００のセンシング可能領域に物体が存在するかどうかのリクエストを送信する（ステップＳ２４５）。この際、ＰＣ８００からは、情報処理システム１００のアドレスを指定し、対象の物体の認識ＩＤ（ここでは認識ＩＤを「Ｈ」とする）を引数で指定すると共に、その物体の位置を座標で返すための引数を指定する。情報処理システム１００は、センシングを行って、指定された物体が存在するかどうかのレスポンスをＰＣ８００に返す（ステップＳ２４６）。

図３７に示した例では、認識ＩＤ「Ｄ」、「Ｇ」の物体は存在するが、認識ＩＤ「Ｈ」の物体は存在しないことが情報処理システム１００のセンシングにより判明したとする。するとＰＣ８００は、情報処理システム１００に対して、「objectIndex」が「１」で、物認識ＩＤが「Ｄ」の物体に対して所定の柄を投影するリクエストを送信する（ステップＳ２４７）。情報処理システム１００は、所定の柄を投影した結果に関するレスポンスをＰＣ８００に返す（ステップＳ２４８）。図３９は、情報処理システム１００がセンシングした物体（皿）の周囲に所定の柄を投影している様子を示す説明図である。

図４０は、本実施形態に係る情報処理システム１００の動作例を示す流れ図である。図４０に示したのは、図３７に示した動作例に対応するものであり、情報処理システム１００の動作に注目して示した流れ図である。情報処理システム１００は、ＰＣ８００からのセンシングの指示により、まず認識ＩＤがＤ（皿）の物体が見つかったかどうかを判定する（ステップＳ２５１）。認識ＩＤがＤ（皿）の物体が見つからなかった場合は（ステップＳ２５１、Ｎｏ）、情報処理システム１００は、その後何もせずに処理を終了する（ステップＳ２５２）。

一方、認識ＩＤがＤ（皿）の物体が見つかった場合は（ステップＳ２５１、Ｙｅｓ）、続いて情報処理システム１００は、ＰＣ８００からのセンシングの指示により、認識ＩＤがＧ（スープ皿）の物体が見つかったかどうかを判定する（ステップＳ２５３）。認識ＩＤがＧ（スープ皿）の物体が見つからなかった場合は（ステップＳ２５３、Ｎｏ）、情報処理システム１００は、認識ＩＤがＤ（皿）の物体が見つかった場合の柄を表示する処理を実行する（ステップＳ２５４）。図４１は、認識ＩＤがＤ（皿）の物体が見つかった場合に情報処理システム１００が投影する柄の例を示す説明図である。図４１には、テーブルに置かれた皿の周囲、および、皿の表面に所定の柄が投影されている様子が示されている。

一方、認識ＩＤがＧ（スープ皿）の物体が見つかった場合は（ステップＳ２５３、Ｙｅｓ）、続いて情報処理システム１００は、ＰＣ８００からのセンシングの指示により、認識ＩＤがＨ（ナプキン）の物体が見つかったかどうかを判定する（ステップＳ２５５）。認識ＩＤがＨ（ナプキン）の物体が見つからなかった場合は（ステップＳ２５５、Ｎｏ）、情報処理システム１００は、認識ＩＤがＧ（スープ皿）の物体が見つかった場合の柄を表示する処理を実行する（ステップＳ２５６）。図４２は、認識ＩＤがＧ（スープ皿）の物体が見つかった場合に情報処理システム１００が投影する柄の例を示す説明図である。図４２には、スープ皿の周囲に所定の柄が投影されている様子が示されている。

一方、認識ＩＤがＨ（ナプキン）の物体が見つかった場合は（ステップＳ２５５、Ｙｅｓ）、続いて情報処理システム１００は、認識ＩＤがＨ（ナプキン）の物体が見つかった場合の柄を表示する処理を実行する（ステップＳ２５７）。図４３は、認識ＩＤがＨ（ナプキン）の物体が見つかった場合に情報処理システム１００が投影する柄の例を示す説明図である。図４３には、皿の周囲、および、ナプキンの表面に所定の柄が投影されている様子が示されている。

このように、情報処理システム１００は、認識した物体に応じてそれぞれ異なる絵柄を投影する制御を、ＰＣ８００からの指示により実行することが可能となる。

＜２．ハードウェア構成例＞
次に、図４４を参照して、本開示の一実施形態にかかる情報処理システム１００のハードウェア構成について説明する。図４４は、本開示の実施形態にかかる情報処理システム１００のハードウェア構成例を示すブロック図である。

図４４に示すように、情報処理システム１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０５を含む。また、情報処理システム１００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理システム１００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理システム１００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理システム１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理システム１００に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動きなどを撮像することによって、入力装置として機能しうる。

出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理システム１００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

ストレージ装置９１９は、情報処理システム１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理システム１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理システム１００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理システム１００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理システム１００の筐体の姿勢など、情報処理システム１００自体の状態に関する情報や、情報処理システム１００の周辺の明るさや騒音など、情報処理システム１００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

以上、情報処理システム１００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

＜３．まとめ＞
以上説明したように本開示の実施の形態によれば、通信機能を有していない物体を個別に識別して、その物体の状態のセンシングが可能な情報処理システム１００が提供される。本開示の実施の形態に係る情報処理システム１００は、外部の装置からのリクエストに応じて物体を識別して物体のセンシングを行うとともに、外部の装置からのリクエストに応じて物体を識別して情報の投影を行うことが可能となる。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
センシング可能領域に存在する物体のセンシングを行う検出部と、
外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを前記検出部に行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信する処理部と、
を備える、情報処理装置。
（２）
前記リクエストは少なくとも物体に対するセンシングを要求するセンシングリクエスト又は物体に対する情報出力を要求する情報出力リクエストであり、
前記処理部は、前記リクエストがセンシングリクエストである場合、前記検出部に前記物体に対するセンシングを行わせ、前記リクエストが情報出力リクエストである場合、前記物体に関する情報の出力を出力部に行わせる、前記（１）に記載の情報処理装置。
（３）
前記物体はネットワーク接続機能を持たない物理的な物体であり、
前記処理部は、前記センシング可能領域内でセンシングした前記物体に前記識別子を関連付ける処理を行う、前記（２）に記載の情報処理装置。
（４）
前記識別子は、前記物体に仮想的にアクセスするための識別子である、前記（３）に記載の情報処理装置。
（５）
前記識別子は、前記物体に仮想的にアクセスするためのアドレスを含む、前記（４）に記載の情報処理装置。
（６）
前記識別子は物体の種類を示す情報であって、前記識別子で示された種類に属する前記物体に仮想的にアクセスするための種類識別子である、前記（４）または（５）に記載の情報処理装置。
（７）
前記種類識別子には、物体の種類に対応した情報出力処理を示すアクション識別子が関連付けられており、
前記処理部は、前記リクエストが前記種類識別子と前記アクション識別子を伴う情報出力リクエストである場合、前記種類識別子により示された種類に属する前記物体に対して前記アクション識別子に対応する情報出力を前記出力部に行わせる、
前記（６）に記載の情報処理装置。
（８）
前記処理部は、前記情報出力リクエストが受信された場合、前記情報出力リクエストの受信後に、前記情報出力リクエストで指定された識別子に対応する物体の位置をセンシングし、センシングした位置に対応する場所に対して前記出力部に情報の出力を行わせる、前記（２）～（７）のいずれかに記載の情報処理装置。
（９）
前記出力部は、前記リクエストが前記情報出力リクエストである場合、前記物体に関する文字若しくは画像の投影出力又は音声出力を行う、前記（２）～（８）のいずれかに記載の情報処理装置。
（１０）
前記検出部は、前記物体の温度をセンシングし、センシングした温度に基づいて前記リクエストに対するレスポンスを送信する、前記（１）～（９）に記載の情報処理装置。
（１１）
前記検出部は、前記物体の色をセンシングし、センシングした色に基づいて前記リクエストに対するレスポンスを送信する、前記（１）～（１０）に記載の情報処理装置。
（１２）
前記検出部は、前記物体の重さをセンシングし、センシングした重さに基づいて前記リクエストに対するレスポンスを送信する、前記（１）～（１１）に記載の情報処理装置。
（１３）
前記検出部は、前記物体の数をセンシングし、センシングした数に基づいて前記リクエストに対するレスポンスを送信する、前記（１）～（１２）に記載の情報処理装置。
（１４）
前記検出部は、前記物体の状態として物体のサイズをセンシングし、センシングしたサイズに基づいて前記リクエストに対するレスポンスを送信する、前記（１）～（１３）に記載の情報処理装置。
（１５）
前記処理部からの処理の結果に基づいて情報の出力を行う出力部を備える、前記（１）～（１４）に記載の情報処理装置。
（１６）
センシング可能領域に存在する物体のセンシングを行うことと、
外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信することと、
をプロセッサが行うことを含む、情報処理方法。
（１７）
コンピュータに、
センシング可能領域に存在する物体のセンシングを行うことと、
外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信することと、
を実行させる、コンピュータプログラム。

１００ 情報処理システム
２００ 物体情報制御部

Claims (15)

1. センシング可能領域に存在する物体のセンシングを行う検出部と、
   外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを前記検出部に行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信する処理部と、
   を備え、
   前記リクエストは少なくとも物体に対するセンシングを要求するセンシングリクエスト又は物体に対する情報出力を要求する情報出力リクエストであり、
   前記処理部は、前記リクエストがセンシングリクエストである場合、前記検出部に前記物体に対するセンシングを行わせ、前記リクエストが情報出力リクエストである場合、前記物体に関する情報の出力を出力部に行わせ、
   前記物体はネットワーク接続機能を持たない物理的な物体であり、
   前記処理部は、前記センシング可能領域内でセンシングした前記物体に前記識別子を関連付ける処理を行う、情報処理装置。
2. 前記識別子は、前記物体に仮想的にアクセスするための識別子である、請求項１に記載の情報処理装置。
3. 前記識別子は、前記物体に仮想的にアクセスするためのアドレスを含む、請求項２に記載の情報処理装置。
4. 前記識別子は物体の種類を示す情報であって、前記識別子で示された種類に属する前記物体に仮想的にアクセスするための種類識別子である、請求項２に記載の情報処理装置。
5. 前記種類識別子には、物体の種類に対応した情報出力処理を示すアクション識別子が関連付けられており、
   前記処理部は、前記リクエストが前記種類識別子と前記アクション識別子を伴う情報出力リクエストである場合、前記種類識別子により示された種類に属する前記物体に対して前記アクション識別子に対応する情報出力を前記出力部に行わせる、
   請求項４に記載の情報処理装置。
6. 前記処理部は、前記情報出力リクエストが受信された場合、前記情報出力リクエストの受信後に、前記情報出力リクエストで指定された識別子に対応する物体の位置をセンシングし、センシングした位置に対応する場所に対して前記出力部に情報の出力を行わせる、請求項１に記載の情報処理装置。
7. 前記出力部は、前記リクエストが前記情報出力リクエストである場合、前記物体に関する文字若しくは画像の投影出力又は音声出力を行う、請求項１に記載の情報処理装置。
8. 前記検出部は、前記物体の温度をセンシングし、センシングした温度に基づいて前記リクエストに対するレスポンスを送信する、請求項１に記載の情報処理装置。
9. 前記検出部は、前記物体の色をセンシングし、センシングした色に基づいて前記リクエストに対するレスポンスを送信する、請求項１に記載の情報処理装置。
10. 前記検出部は、前記物体の重さをセンシングし、センシングした重さに基づいて前記リクエストに対するレスポンスを送信する、請求項１に記載の情報処理装置。
11. 前記検出部は、前記物体の数をセンシングし、センシングした数に基づいて前記リクエストに対するレスポンスを送信する、請求項１に記載の情報処理装置。
12. 前記検出部は、前記物体の状態として物体のサイズをセンシングし、センシングしたサイズに基づいて前記リクエストに対するレスポンスを送信する、請求項１に記載の情報処理装置。
13. 前記処理部からの処理の結果に基づいて情報の出力を行う出力部を備える、請求項１に記載の情報処理装置。
14. センシング可能領域に存在する物体のセンシングを行う検出ステップと、
    外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信する処理ステップと、
    をプロセッサが行うことを含み、
    前記リクエストは少なくとも物体に対するセンシングを要求するセンシングリクエスト又は物体に対する情報出力を要求する情報出力リクエストであり、
    前記処理ステップは、前記リクエストがセンシングリクエストである場合、前記検出ステップにおいて前記物体に対するセンシングを行わせ、前記リクエストが情報出力リクエストである場合、前記物体に関する情報の出力を出力部に行わせ、
    前記物体はネットワーク接続機能を持たない物理的な物体であり、
    前記処理ステップは、前記センシング可能領域内でセンシングした前記物体に前記識別子を関連付ける処理を行う、情報処理方法。
15. コンピュータに、
    センシング可能領域に存在する物体のセンシングを行う検出ステップと、
    外部装置からネットワークを介して送信された前記物体に関連付けられた識別子が指定されたリクエストの受信に応じて、前記識別子に対応する物体のセンシングを行わせて、該センシングの結果に基づき前記リクエストに対するレスポンスを前記外部装置に送信する処理ステップと、
    を実行させ、
    前記リクエストは少なくとも物体に対するセンシングを要求するセンシングリクエスト又は物体に対する情報出力を要求する情報出力リクエストであり、
    前記処理ステップは、前記リクエストがセンシングリクエストである場合、前記検出ステップにおいて前記物体に対するセンシングを行わせ、前記リクエストが情報出力リクエストである場合、前記物体に関する情報の出力を出力部に行わせ、
    前記物体はネットワーク接続機能を持たない物理的な物体であり、
    前記処理ステップは、前記センシング可能領域内でセンシングした前記物体に前記識別子を関連付ける処理を行う、コンピュータプログラム。

Images