WO2018123475A1

WO2018123475A1 - 情報処理装置、情報処理方法及びコンピュータプログラム

Info

Publication number: WO2018123475A1
Application number: PCT/JP2017/043717
Authority: WO
Inventors: 哲男池田; 隆之坂本; 智裕石井; 池田　卓郎
Original assignee: ソニー株式会社
Priority date: 2016-12-27
Filing date: 2017-12-06
Publication date: 2018-07-05

Abstract

【課題】物体が手で覆われる状態となっても適切な処理を行うことが可能な情報処理装置を提供する。【解決手段】センシング可能領域において物体及び操作体を検出する検出部と、前記センシング可能領域で操作体から物体が離れたことを前記検出部が検出したことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付ける属性処理部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法及びコンピュータプログラム

　本開示は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

　テーブルなどに置かれた物体を認識して、認識した物体に関連したアプリケーションを投影する技術が、例えば特許文献１などで開示されている。

特開２０１５－９０５２４号公報

　しかし、物体が手で覆われるなどの理由で物体の状態が変化して、物体を認識出来ない状態となると、物体を見失ってしまい、アプリケーションを適切に処理することが困難になる場合がある。

　そこで本開示では、物体が手で覆われる状態となっても適切に処理を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提案する。

　本開示によれば、センシング可能領域において物体及び操作体を検出する検出部と、前記センシング可能領域で操作体から物体が離れたことを前記検出部が検出したことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付ける属性処理部と、を備える、情報処理装置が提供される。

　また本開示によれば、センシング可能領域において物体及び操作体を検出することと、前記センシング可能領域で操作体から物体が離れたことが検出されたことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付けることと、をプロセッサが行うことを含む、情報処理方法が提供される。

　また本開示によれば、コンピュータに、センシング可能領域において物体及び操作体を検出することと、前記センシング可能領域で操作体から物体が離れたことが検出されたことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付けることと、を実行させる、コンピュータプログラムが提供される。

　以上説明したように本開示によれば、物体が手で覆われる状態となっても適切に処理を行うことが可能な、新規かつ改良された情報処理装置、情報処理方法及びコンピュータプログラムを提供することが出来る。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの一構成例を示す説明図である。同実施形態に係る情報処理システムの他の構成例について説明する。同実施形態に係る情報処理システムの他の構成例について説明する。同実施形態に係る情報処理システムの他の構成例について説明する。同実施形態に係る情報処理システム１００の機能構成例を示す説明図である。手指と物体の検出技術を示す説明図である。手指と物体の検出技術を示す説明図である。手指と物体の検出技術を示す説明図である。検出時に手指と物体が置かれている状況の例を示す説明図である。検出時に手指と物体が置かれている状況の例を示す説明図である。検出時に手指と物体が置かれている状況の例を示す説明図である。同実施形態に係る手指検出部２１０の動作例を示す流れ図である。物体から各手指の距離を算出する際の模式図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。同実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。センシング可能領域に未知の物体が現れた際の動作を説明する説明図である。センシング可能領域に未知の物体が現れた際の動作を説明する説明図である。センシング可能領域に未知の物体が現れた際の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。化学シミュレーションアプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。カクテル注文アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。音楽演奏アプリケーションの動作例を示す説明図である。ハードウェア構成例を示す説明図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．本開示の実施の形態
　　１．１．システム構成例
　　１．２．機能構成例
　　１．３．動作例
　２．ハードウェア構成例
　３．まとめ

　＜１．本開示の実施の形態＞
　［１．１．システム構成例］
　まず、本開示の実施の形態に係る情報処理システムの構成例を説明する。

　図１は、本開示の一実施形態に係る情報処理システムの一構成例を示す説明図である。なお、本明細書において、システムとは、所定の処理を実行するための構成のことを意味していてよく、システム全体として１つの装置とみなすこともできるし、複数の装置によってシステムが構成されているとみなすこともできる。図１に示す本実施形態に係る情報処理システムも、情報処理システム全体として所定の処理を実行可能に構成されていればよく、情報処理システム内のどの構成を１つの装置とみなすかは任意であってよい。

　図１を参照すると、本開示の一実施形態に係る情報処理システム１００ａは、入力部１１０ａと、出力部１３０ａと、を備える。

　出力部１３０ａは、各種の情報をテーブル１４０ａに表示することにより、当該情報をユーザに対して視覚的に通知する。出力部１３０ａとしては、例えばプロジェクタが用いられる。図示するように、出力部１３０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態でテーブル１４０ａと所定の距離離隔して配置され、テーブル１４０ａの天面に情報を投影する。このように上方からテーブル１４０ａの天面に情報を表示する方式を、「プロジェクション型」とも呼称する。

　なお、以下の説明では、出力部１３０ａによって情報が表示される領域全体のことを表示画面とも呼称する。例えば、出力部１３０ａは、表示画面に、情報処理システム１００ａによるアプリケーションの実行に伴いユーザに対して提示される情報を表示する。表示される情報は、例えば各アプリケーションの動作画面である。以下では、表示画面において、このようなアプリケーションの動作画面が表示される各表示領域を、ウインドウとも呼称する。また、例えば、出力部１３０ａは、表示画面に、ボタンやスライダー、チェックボックス、テキストボックス、キーボード等の、選択、入力等のユーザによる各種の操作を受け付ける、いわゆるＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）部品（ウィジェット）を表示する。ウインドウもＧＵＩ部品の１つとみなすことができるが、本明細書では、ウインドウとその他のＧＵＩ部品とを区別するために、便宜的に、ウインドウをＧＵＩ部品には含めず、ウインドウ以外の表示要素のことをＧＵＩ部品と呼ぶこととする。

　ここで、情報処理システム１００ａがプロジェクション型である場合には、出力部１３０ａは照明機器を含んでもよい。出力部１３０ａに照明機器が含まれる場合、情報処理システム１００ａは、入力部１１０ａによって入力された情報の内容及び／又は出力部１３０ａによって表示される情報の内容に基づいて、当該照明機器の点灯、消灯等の状態を制御してもよい。

　また、出力部１３０ａは、スピーカを含んでもよく、各種の情報を音声として出力してもよい。出力部１３０ａがスピーカで構成される場合、スピーカの数は１つであってもよく、複数であってもよい。出力部１３０ａが複数のスピーカで構成される場合、情報処理システム１００ａは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしてもよい。

　入力部１１０ａは、情報処理システム１００ａを使用するユーザの操作内容を入力する装置である。図１に示す例では、入力部１１０ａは、センサ等を含んで構成され、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。このように、入力部１１０ａは、情報が表示される対象となるテーブル１４０ａと離隔して設けられる。入力部１１０ａは、テーブル１４０ａの天面、すなわち、表示画面を撮影し得る撮像装置によって構成され得る。入力部１１０ａとしては、例えば１つのレンズでテーブル１４０ａを撮像するカメラや、２つのレンズでテーブル１４０ａを撮像して奥行き方向の情報を記録することが可能なステレオカメラ等が用いられ得る。入力部１１０ａがステレオカメラである場合には、例えば可視光カメラや赤外線カメラ等が用いられ得る。

　入力部１１０ａとして、１つのレンズでテーブル１４０ａを撮像するカメラが用いられる場合、情報処理システム１００ａは、そのカメラが撮像した画像（撮像画像）を解析することで、テーブル１４０ａ上に位置する、実在する物理的な物体、例えばユーザの手の位置を検出することができる。また、入力部１１０ａとしてステレオカメラが用いられる場合には、情報処理システム１００ａは、当該ステレオカメラによる撮像画像を解析することで、テーブル１４０ａ上に位置する物体の位置情報に加えて、当該物体の深度情報を取得することができる。情報処理システム１００ａは、当該深度情報に基づいて、高さ方向におけるテーブル１４０ａへのユーザの手の接触若しくは近接、及びテーブル１４０ａからの手の離脱を検出することが可能となる。なお、以下の説明では、ユーザが情報に表示画面に手等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。

　本実施形態では、入力部１１０ａによる撮像画像に基づいて、表示画面上（すなわちテーブル１４０ａの天面上）における操作体、例えばユーザの手の位置が検出され、検出された操作体の位置に基づいて各種の情報が入力される。つまり、ユーザは、表示画面上で操作体を動かすことにより、各種の操作入力を行うことができる。例えば、ウインドウその他のＧＵＩ部品に対するユーザの手の接触が検出されることにより、当該ウインドウその他のＧＵＩ部品に対する操作入力が行われることになる。なお、以下の説明では、一例として、操作体としてユーザの手が用いられる場合について説明するが、本実施形態はかかる例に限定されず、操作体としてはスタイラスやロボットアーム等の各種の操作部材が用いられてもよい。なお、操作体とはＧＵＩ部品に対する操作入力に限らず、テーブル１４０ａ等に置かれた物体を移動させることが可能な物体をいうものとする。

　また、入力部１１０ａが撮像装置によって構成される場合には、入力部１１０ａは、テーブル１４０ａの天面を撮影するだけでなく、テーブル１４０ａの周囲に存在するユーザを撮影してもよい。例えば、情報処理システム１００ａは、撮像画像に基づいて、テーブル１４０ａの周囲におけるユーザの位置を検出することができる。また、例えば、情報処理システム１００ａは、撮像画像に含まれるユーザの顔や体の大きさ等、ユーザ個人を特定し得る身体的な特徴を抽出することにより、ユーザの個人認識を行ってもよい。

　ここで、本実施形態はかかる例に限定されず、他の方法によりユーザの操作入力が実行されてもよい。例えば、入力部１１０ａがテーブル１４０ａの天面にタッチパネルとして設けられてもよく、ユーザの操作入力は、当該タッチパネルに対するユーザの指等の接触によって検出されてもよい。また、入力部１１０ａを構成する撮像装置に対するジェスチャによってユーザの操作入力が検出されてもよい。あるいは、入力部１１０ａは、ユーザが発する音声や、周囲の環境の環境音を収音するマイクロフォン等の音声入力装置を含んでもよい。当該音声入力装置としては、特定の方向の音声を収音するためのマイクアレイが好適に用いられ得る。また、当該マイクアレイは、その収音方向を任意の方向に調整可能に構成され得る。入力部１１０ａとして音声入力装置が用いられる場合には、収音された音声により操作入力が行われてもよい。また、情報処理システム１００ａは、収音された音声を解析することにより、当該音声に基づいて個人認識を行ってもよい。あるいは、入力部１１０ａは、リモートコントロール装置（いわゆるリモコン）によって構成されてもよい。当該リモコンは、リモコンに配置された所定のボタンを操作することにより、所定の指示が入力されるものであってもよいし、リモコンに搭載される加速度センサやジャイロセンサ等のセンサによってリモコンの動きや姿勢が検出されることにより、ユーザが当該リモコンを動かす操作によって、所定の指示が入力されるものであってもよい。更に、情報処理システム１００ａは、図示しないマウス、キーボード、ボタン、スイッチ及びレバー等、他の入力装置を入力部１１０ａとして備えてもよく、ユーザによる操作は、これらの入力装置を介して入力されてもよい。

　以上、図１を参照して、本実施形態に係る情報処理システム１００ａの構成について説明した。なお、図１には図示しないが、情報処理システム１００ａには他の装置が接続されていてもよい。例えば、情報処理システム１００ａには、テーブル１４０ａを照らすための照明機器が接続されていてもよい。情報処理システム１００ａは、表示画面の状態に応じて当該照明機器の点灯状態を制御してもよい。

　ここで、本実施形態では、情報処理システムの構成は図１に示すものに限定されない。本実施形態に係る情報処理システムは、各種の情報を表示画面に表示する出力部と、表示された情報に対する操作入力を少なくとも受け付けることが可能な入力部を備えればよく、その具体的な構成は限定されない。図２－図４を参照して、本実施形態に係る情報処理システムの他の構成例について説明する。図２－図４は、本実施形態に係る情報処理システムの他の構成例を示す図である。

　図２に示す情報処理システム１００ｂでは、テーブル１４０ｂの下方に出力部１３０ａが設けられる。出力部１３０ａは、例えばプロジェクタであり、当該テーブル１４０ｂの天板に向かって下側から情報を投影する。テーブル１４０ｂの天板は、例えばガラス板や透明プラスチック板等の透明な材質で形成されており、出力部１３０ａによって投影された情報は、テーブル１４０ｂの天面に表示されることとなる。このようにテーブル１４０ｂの下から情報を出力部１３０ａに投影して、テーブル１４０ｂの天面に情報を表示する方式を、「リアプロジェクション型」とも称する。

　図２に示す例では、テーブル１４０ｂの天面（表面）に入力部１１０ｂが設けられる。入力部１１０ｂは、例えばタッチパネルによって構成され、テーブル１４０ｂの天面の表示画面への操作体の接触が当該タッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、入力部１１０ｂの構成はかかる例に限定されず、図１に示す情報処理システム１００ａと同様に、入力部１１０ｂは、テーブル１４０ｂの下方にテーブル１４０ｂと離隔して設けられてもよい。この場合、入力部１１０ｂは、例えば撮像装置によって構成され、透明な材質によって形成される天板越しに、テーブル１４０ｂの天面上での操作体の位置を検出し得る。またこの場合、入力部１１０ｂは、影の長さや重さをセンシング可能なセンサで構成され、テーブル１４０ｂの天面に置かれた物体の重さや大きさをセンシングすることができる。

　図３に示す情報処理システム１００ｃでは、タッチパネル式のディスプレイが、その表示面を上方に向けた状態でテーブル上に設置される。情報処理システム１００ｃでは、入力部１１０ｃ及び出力部１３０ｃは、当該タッチパネル式のディスプレイとして一体的に構成され得る。つまり、ディスプレイの表示画面に各種の情報が表示され、当該ディスプレイの表示画面に対する操作体の接触がタッチパネルによって検出されることにより、ユーザによる操作入力が行われる。なお、情報処理システム１００ｃにおいても、図１に示す情報処理システム１００ａと同様に、入力部１１０ｃとして、タッチパネル式のディスプレイの上方に撮像装置が設けられてもよい。当該撮像装置により、テーブルの周囲のユーザの位置等が検出され得る。また入力部１１０ｃは、入力部１１０ｂは、影の長さや重さをセンシング可能なセンサ（インセルセンサ）で構成され、出力部１３０ｃに置かれた物体の重さや大きさをセンシングすることができる。

　図４に示す情報処理システム１００ｄは、フラットパネル式のディスプレイを備える。情報処理システム１００ｄでは、出力部１３０ｄは、フラットパネル式のディスプレイとして構成され、当該ディスプレイの表示画面に各種の情報が表示される。入力部は、図示しないマウスやキーボード、タッチパッド等の入力装置によって構成され、これらの入力装置によって表示画面内のポインタが操作されることにより、ユーザによる操作入力が行われる。なお、図３に示す情報処理システム１００ｃと同様に、情報処理システム１００ｄの入力部は、フラットパネル式のディスプレイに設けられるタッチパネルを含んでもよく、当該タッチパネルを介してユーザによる操作入力が行われてもよい。また、当該入力部は、フラットパネル式のディスプレイの表示面と対向する領域を撮像し得る撮像装置を含んでもよい。当該撮像装置により、フラットパネル式のディスプレイを観察するユーザの位置等が検出され得る。

　以上、図２－図４を参照して、本実施形態に係る情報処理システムの他の構成例について説明した。以上説明したように、本実施形態に係る情報処理システムは、多様な構成によって実現され得る。ここで、以下では、図１に示す、テーブル１４０ａの上方に入力部１１０ａ及び出力部１３０ａが設けられる情報処理システム１００ａの構成を例に挙げて、本実施形態についての説明を行う。ただし、上述した図２－図４に示す構成等、本実施形態に係る情報処理システムを実現し得る他の構成であっても、以下に説明する機能と同様の機能を実現することが可能である。以下の説明では、簡単のため、情報処理システム１００ａ、入力部１１０ａ、出力部１３０ａを、単に情報処理システム１００、入力部１１０、出力部１３０とも呼称することとする。

　以上、本開示の実施の形態に係る情報処理システム１００の構成例について説明した。続いて、本開示の実施の形態に係る情報処理システム１００の機能構成例について説明する。

　［１．２．機能構成例］
　図５は、本開示の実施の形態に係る情報処理システム１００の機能構成例を示す説明図である。以下、図５を用いて本開示の実施の形態に係る情報処理システム１００の機能構成について説明する。

　図５に示したように、本開示の実施の形態に係る情報処理システム１００は、入力部１１０と、グラフィックス表示処理部１２０と、出力部１３０と、物体情報制御部２００と、を含んで構成される。

　入力部１１０は、情報処理システム１００に対して各種の情報を入力するための入力インターフェースである。ユーザは、入力部１１０を介して、各種の情報を情報処理システム１００に入力することができる。本実施形態では、入力部１１０は、出力部１３０によって生成される表示画面に対するユーザの操作入力を少なくとも受け付けることができるように構成される。例えば、入力部１１０は、イメージセンサを含む撮像装置によって構成され、表示画面上でのユーザの手等の操作体を含む撮像画像を撮影する。また例えば、入力部１１０は、ステレオカメラ、time　of　flight方式、structured　light方式などの三次元情報を取得可能なデプスセンサで構成される。入力部１１０を介して入力された情報（例えば当該撮像画像についての情報等）は、後述する物体情報制御部２００に提供され、物体情報制御部２００によってユーザの操作入力が検出される。なお、本実施形態はかかる例に限定されず、入力部１１０は、例えばタッチパネル、マウス、キーボード、マイクロフォン、ボタン、スイッチ及びレバー等、他の入力装置によって構成されてもよい。

　グラフィックス表示処理部１２０は、入力部１１０が受け付けたユーザの操作入力に基づき、出力部１３０に表示するグラフィックスの処理を行う。グラフィックス表示処理部１２０は、例えば、アプリケーションを表示するウインドウなどの様々なコンテンツの描画制御や、それぞれのコンテンツに対してユーザの操作入力などのイベントの提供を行う。本実施形態では、グラフィックス表示処理部１２０は、入力部１１０から受け付けたユーザの操作入力の内容を物体情報制御部２００に提供する。そしてグラフィックス表示処理部１２０は、物体情報制御部２００で行われた処理の内容を受け取り、その内容に基づいたグラフィックス処理を実行する。グラフィックス表示処理部１２０は、例えば画像処理回路を含んで構成される。

　出力部１３０は、情報処理システム１００によって処理される各種の情報をユーザに対して通知するための出力インターフェースである。出力部１３０は、例えば、ディスプレイやプロジェクタ等の表示装置によって構成され、後述する物体情報制御部２００からの制御により、表示画面に各種の情報を表示する。出力部１３０は、上述したように、表示画面にウインドウ及びＧＵＩ部品を表示する。出力部１３０に表示されるウインドウ及びＧＵＩ部品等のことを「表示オブジェクト」とも称する。なお、本実施形態はかかる例に限定されず、出力部１３０は、スピーカ等の音声出力装置を更に含んでもよく、各種の情報を音声として出力してもよい。

　物体情報制御部２００は、入力部１１０が受け付けたユーザの操作入力に基づいた様々な処理を実行する。本実施形態では、物体情報制御部２００は、入力部１１０が取得した手指や物体の情報に基づいて物体に関連付けられた属性情報や、手指に関連付けられた所有状態を認識し、これらの情報に基づいて物体の情報を制御する処理を行う。物体情報制御部２００は、例えばＣＰＵ等の制御回路と制御回路を動作させるプログラムを格納するメモリを含んで構成される。

　物体情報制御部２００は、手指検出部２１０と、属性処理部２２０と、情報蓄積処理部２３０と、を含んで構成される。

　手指検出部２１０は、入力部１１０が取得した情報に含まれる物体と手指の位置関係を用いて、ユーザがどの物体を操作したかを検出する処理を行う。手指検出部２１０による具体的な処理内容は後に詳述する。

　属性処理部２２０は、入力部１１０がセンシング可能な領域（センシング可能領域）に存在する物体や手指に対する属性の割り当てに関する処理を行う。例えば属性処理部２２０は、物体と手指が近接または接触しているかの情報を用い、物体がどの属性を保持しているかを推定する処理を行う。また例えば属性処理部２２０は、物体が重なっているかどうかの情報を用い、重なっている物体がどの属性を保持しているかを推定する処理を行う。属性処理部２２０による具体的な処理内容は後に詳述する。

　情報蓄積処理部２３０は、物体や手指の情報を蓄積する処理を行う。情報蓄積処理部２３０が蓄積した情報は、属性処理部２２０による処理に用いられる。情報蓄積処理部２３０が蓄積する情報の例については後述する。

　以上、本開示の実施の形態に係る情報処理システム１００の機能構成例について説明した。続いて、本開示の実施の形態に係る情報処理システム１００を説明するが、その前に、情報処理システム１００の動作で前提とする手指と物体の検出技術について説明する。

　図６Ａ～６Ｃは、手指と物体の検出技術を示す説明図である。

　図６Ａは、輪郭情報を用いた認識による検出技術の例である。この検出技術は、画像情報や三次元情報から輪郭抽出を行い、手と物体を判別する手法である。輪郭情報を用いた検出は、可視光でも不可視光でも利用でき、不可視光を利用した場合、上方からプロジェクションされても表示物が手や物体と干渉しないという利点がある。一方、輪郭情報を用いた検出は、物体を手に持つと、物体と手の輪郭が一体となるため、手と物体とを判別することが不可能になるという欠点がある。

　図６Ｂは、セグメント情報を用いた認識による検出技術の例である。この検出技術は、画像情報の画素値を用いてセグメント分けすることで、手と物体を判別する手法である。例えば可視光カメラから取得された情報に対し、色を用いてセグメント分けすることが可能である。この検出技術は手に覆われなければ、手で物体を持っても手と物体とを識別することが可能という利点がある。一方、この検出技術は、手の色と物体の色が一定以上の差を持っていることが前提となり、差が小さい場合は手と物体とが一体として認識されてしまう欠点がある。またこの検出技術は、上方からプロジェクションされると手や物体に投影が重なった場合に誤判定の可能性が高くなるという欠点がある。またこの検出技術は、情報処理システムの全体構成が図１～図４のいずれの場合であっても、画面内に手や物体と近い色を表示する際には実物か表示物かを判別できないという欠点がある。

　図６Ｃは、マーカを用いた認識による検出技術の例である。この検出技術は、これは手指と物体に予めマーカ（図中では星印）を付けて認識する方法である。この検出技術は、物体のマーカが手に覆われなければ、手で物体を持っても認識可能という利点がある。一方、この検出技術は、マーカを予め手指や物体に付加する必要性が生じるため、登録されている（マーカが付けられた）物体しか扱えないという欠点がある。

　図７Ａ～７Ｃは、検出時に手指と物体が置かれている状況の例を示す説明図である。図７Ａは、手に物体を持ってはいるが、物体がまだ見えている状態である。この状態では、検出技術と状態によっては、手指と物体を判別することが可能である。図７Ｂは、物体を手が完全に覆う形で保持している状態である。この状態では、上述した３つの検出技術のいずれを用いても判別することは不可能である。図７Ｃは、手が持っている物体で、検出の対象となる物体が覆われている状態である。手が持っている物体も、本開示の操作体となり得る。この状態も、図７Ｂの場合と同様に上述した３つの検出技術のいずれを用いても判別することは不可能である。

　本実施形態では、環境や状態により、手指と物体を判別できなくなることが分かるため、物体を追跡して属性を保持することができない状況下であっても、物体を追跡し、物体に関連付けられる属性を保持することを可能にする。

　まず、本実施形態で用いる情報を示す。下記の表１～３は、情報蓄積処理部２３０において蓄積される情報を示している。表１は物体管理表、表２は所有状態管理表、表３は属性管理表である。それぞれの表は、例えばリレーショナルデータベース等の形式で実現される。

　物体ＩＤは、入力部１１０のセンサが返す物体のＩＤである。センサが手指か物体かを判別している限り維持される情報である。物体ＩＤはセンサが認識できた単位で振られるため、重なっている物体は、その一塊に対して一つの物体ＩＤが振られる。上述のように手に覆われたりすると、同じ物体であっても物体ＩＤはインクリメントされる。

　手指ＩＤは、入力部１１０のセンサが返す手指のＩＤである。手１つについて１つのＩＤが振られる。

　認識ＩＤは、本実施形態による認識技術によって認識および追跡されるＩＤである。本認識技術により、物体が手に覆われたりしても一意の認識ＩＤを維持することが可能である。物体の性質の数だけ一意の認識ＩＤが存在する。

　表１の物体管理表は、物体の状態を管理する表である。認識ＩＤ配列は、物体ＩＤに対してその物体群がどの認識ＩＤとして認識されているかを保持する。物体が重なっている場合は認識ＩＤの配列として表現され、先頭の要素ほど下の段の物体の認識ＩＤであることを示している。特徴量は、物体の高さや重さなどセンサから取得されたパラメータである。処理フラグはその物体ＩＤを処理したかどうかを表すフラグで、例えば処理済みであればｔｒｕｅや「１」といった処理済みであることを示す情報が、未処理であればｆａｌｓｅや「０」といった未処理であることを示す情報が格納される。

　表２の所有状態管理表は、どの手指が何を保持しているかを管理する表である。認識ＩＤ配列は、手指ＩＤに対してその手指がどの認識ＩＤを保持しているかを表す。複数の物体を保持している場合は配列となり、先頭の要素ほど手に近い（置かれる順番が後）物体の認識ＩＤである。

　表３の属性管理表は、どの認識ＩＤがどの属性を保持しているかを管理する表である。属性とは、アプリケーションに依存して決められる特性である。

　まず、手指検出部２１０の動作例を説明する。図８は、本実施形態に係る手指検出部２１０の動作例を示す流れ図であり、後の図の「最寄手指検出処理」として示されている処理の例を示したものである。

　手指検出部２１０は、入力部１１０から取得した全ての手指に対して（ステップＳ１０１）、手指の位置と物体の位置を取得し距離を算出するとともに、その距離が所定の閾値以下かどうかを判定する（ステップＳ１０２）。

　図９は、物体から各手指の距離を算出する際の模式図である。図９に示すｈａｎｄ　ａ，ｂ，ｃ，ｄのうち、ｈａｎｄ　ｃ、ｄは、物体（ｏｂｊｅｃｔ　１）から大きく離れており、物体と手との距離が閾値外のため物体を操作していた手とは見做されない。一方、ｈａｎｄ　ａ、ｂは閾値内のため距離を比較し、最小値であるｈａｎｄ　ａが、この物体を操作していた手と推定される。なお、手指検出部２１０は、距離の算出において、物体は中心や重心の位置を基準とし、手は甲の中心や指先の位置を基準とすることが出来る。また、より厳密に距離を測りたい場合には、手指検出部２１０は、手の形状や、手の面などを使って判断しても良い。距離に有意差が無い場合には、手指検出部２１０は、前フレームと比較して動いている方の手を、物体を操作している手と見做してもよい。

　ステップＳ１０２の判定の結果、距離が閾値以下でない場合は（ステップＳ１０２、Ｎｏ）、手指検出部２１０は別の手指の処理に戻る。距離が閾値以下の場合は（ステップＳ１０２、Ｙｅｓ）、手指検出部２１０は、これまで検出された距離と比較し、新たに算出した距離が最小であるかどうかを判定する（ステップＳ１０３）。

　ステップＳ１０３の判定の結果、距離が最小でない場合は（ステップＳ１０３、Ｎｏ）、手指検出部２１０は別の手指の処理に戻る。距離が最小の場合は（ステップＳ１０３、Ｙｅｓ）、手指検出部２１０は、その手指が物体の最寄りの手指であると判断し、その手指ＩＤを記録（更新）する（ステップＳ１０４）。

　手指検出部２１０は、以上の処理を繰り返し行うこと（ステップＳ１０５）で、物体から最も近い手指ＩＤを取得する。

　続いて、本開示の実施の形態に係る物体情報制御部２００の動作例を説明する。図１０は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図である。以下、図１０を用いて本開示の実施の形態に係る物体情報制御部２００の動作例について説明する。

　物体情報制御部２００は、まず入力部１１０がセンシングによって取得した手指情報及び物体情報を取得する（ステップＳ１１１）。以降の処理は、ユーザによる所定の操作が行われたなどの終了条件を満たすまで、毎フレーム繰り返し行われる。この場合のフレームは、グラフィックスをレンダリングするフレーム、もしくは入力部１１０からセンサ情報を取得する周期のフレームを指す。

　手指情報及び物体情報を取得すると、続いて物体情報制御部２００は、物体管理表の処理フラグを全てクリアする（ステップＳ１１２）。物体管理表の処理フラグが全てクリアされることにより、前のフレームで認識されていた物体について全て未処理の状態となる。

　続いて物体情報制御部２００は、物体が存在する場合の処理を実行する（ステップＳ１１３）。物体が存在する場合の処理の詳細は後述する。

　続いて物体情報制御部２００は、物体が存在しない場合の処理を実行する（ステップＳ１１４）。物体が存在しない場合の処理の詳細は後述する。

　続いて物体情報制御部２００は、手指がセンシング可能領域の範囲外に消えた場合の処理を実行する（ステップＳ１１５）。手指がセンシング可能領域の範囲外に消えた場合の処理の詳細は後述する。

　そして物体情報制御部２００は、ユーザによる所定の操作が行われたなどの終了条件を満たしたかどうか判断する（ステップＳ１１６）。終了条件を満たしていなければ（ステップＳ１１６、Ｎｏ）、物体情報制御部２００はステップＳ１１１の処理に戻り、終了条件を満たしていれば（ステップＳ１１６、Ｙｅｓ）、物体情報制御部２００は一連の処理を終了する。

　続いて、上述のステップＳ１１３の物体が存在する場合の処理の詳細について説明する。図１１は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、上述のステップＳ１１３の物体が存在する場合の動作例を示す説明図である。なお、以下の一連の処理は、例えば属性処理部２２０が実行しうる。

　物体情報制御部２００は、入力部１１０から取得した物体分、以下の一連の処理を繰り返す（ステップＳ１２１）。全ての物体について処理していなければ（ステップＳ１２１、Ｎｏ）、物体情報制御部２００は、処理対象の物体の物体ＩＤが物体管理表に登録されているかを判断する（ステップＳ１２２）。処理対象の物体の物体ＩＤが物体管理表に登録されていない場合（ステップＳ１２２、Ｎｏ）は、その物体は前フレームには存在しなかった物体であるため、物体情報制御部２００は、後述の近接情報による物体推定処理を行う（ステップＳ１２３）。この近接情報による物体推定処理は、その物体が手指から発生した（置かれた）ものなのか、手指によらず発生したものかを判断し、認識ＩＤを推定する処理である。

　一方、処理対象の物体の物体ＩＤが物体管理表に登録されている場合（ステップＳ１２２、Ｙｅｓ）は、その物体は前フレームも存在していた物体であるため、物体情報制御部２００は、その物体の高さや重さなどの特徴量に変化がないかを判断する（ステップＳ１２４）。このステップＳ１２４の判断の際に、特徴量の差はセンサ性能による誤差なのか、明らかな有意差なのかを判断基準として付け加えてもよい。

　その物体の高さや重さなどの特徴量に変化がない場合は（ステップＳ１２４、Ｎｏ）、物体情報制御部２００は、次の物体の処理に移る。一方、その物体の高さや重さなどの特徴量に変化がある場合は（ステップＳ１２４、Ｙｅｓ）、物体情報制御部２００は、後述の重畳情報による物体推定処理を行う（ステップＳ１２５）。この重畳情報による物体推定処理は、物体がどのように重ねられ増えたか、もしくは重ねられたものが減らされたか、を判断し、認識ＩＤを推定する処理である。

　物体情報制御部２００は、近接情報による物体推定処理または重畳情報による物体推定処理を実行すると、推定した認識ＩＤを用いて物体管理表に物体ＩＤ、認識ＩＤ配列、特徴量を更新する（ステップＳ１２６）。そして物体情報制御部２００は、その物体について処理フラグを処理済みに設定する（ステップＳ１２７）。

　物体情報制御部２００は、上述の一連の処理を、入力部１１０から取得した物体分繰り返す（ステップＳ１２８）。

　続いて、上述のステップＳ１１４の物体が存在しない場合の処理の詳細について説明する。図１２は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、上述のステップＳ１１４の物体が存在しない場合の動作例を示す説明図である。なお、以下の一連の処理は、例えば手指検出部２１０や属性処理部２２０が実行しうる。

　ここまでの処理で処理フラグが立っていない物体は、前フレームには存在していたものが現フレームでは処理されていないため、物体が取り除かれた、または何らかの原因で消失して存在しない場合であると判断できる。物体情報制御部２００は、この処理フラグが立っていない物体が存在する分、以下の処理を繰り返し行う（ステップＳ１３１）。

　物体情報制御部２００は、上述の最寄手指検出処理により、物体を取り除いたと推定される手指ＩＤを取得し（ステップＳ１３２）。手指ＩＤが発見できたかどうか判断する（ステップＳ１３３）。最寄手指検出処理により手指ＩＤが発見できた場合は（ステップＳ１３３、Ｙｅｓ）、物体が手指に所有されたと考えられるので、物体情報制御部２００は、所有状態管理表における、該当する手指ＩＤの認識ＩＤ配列の末尾に認識ＩＤを追加する（ステップＳ１３４）。該当する手指ＩＤが存在しない場合は、物体情報制御部２００は、手指ＩＤと物体の持つ認識ＩＤを追加する。なお、センシングの奥行き方向（例えば高さ方向）では物体と手等の操作体とが近接していなくても、手等の操作体が物体のセンシングを遮蔽する位置に移動する場合はあり得る。そのような場合、操作体が物体のセンシングを少なくとも一部遮蔽する位置に移動してきたことが検出されると、物体情報制御部２００は、物体がその操作体に所有されたとみなしてもよい。そして物体情報制御部２００は、所有状態管理表における、物体のセンシングを少なくとも一部遮蔽した操作体に対応する手指ＩＤの認識ＩＤ配列の末尾に、センシングが遮蔽された物体に対して登録されていた認識ＩＤを追加してもよい。

　一方、最寄手指検出処理により手指ＩＤが発見できなかった場合は（ステップＳ１３３、Ｎｏ）、風で飛んだ等の何らかの原因で物体がセンシング可能領域から消失したことを意味するため、物体情報制御部２００は、属性管理表から属性情報を削除する（ステップＳ１３５）。

　そして物体情報制御部２００は、物体管理表から該当する物体の行を削除する（ステップＳ１３６）。

　物体情報制御部２００は、上述の一連の処理を、処理フラグが立っていない物体が存在する分繰り返す（ステップＳ１３７）。

　続いて、上述のステップＳ１１５の手指が範囲外に消えた場合の処理の詳細について説明する。図１３は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、上述のステップＳ１１５の手指が範囲外に消えた場合の動作例を示す説明図である。なお、以下の一連の処理は、例えば属性処理部２２０が実行しうる。

　物体情報制御部２００は、所有状態表に登録されている手指分、以下の処理を繰り返し行う（ステップＳ１４１）。

　物体情報制御部２００は、入力部１１０からの情報を基に、該当する手指がセンシング可能領域の範囲内に存在するかを判定する（ステップＳ１４２）。手指がセンシング可能領域の範囲内に存在する場合は（ステップＳ１４２、Ｙｅｓ）、物体情報制御部２００は、その手指は物体を持ち続けていると判断し、何もせずに次の手指の処理に移る。

　手指がセンシング可能領域の範囲内に存在しない場合は（ステップＳ１４２、Ｎｏ）、物体情報制御部２００は、その手指が範囲外に消えたと判断し、手指が範囲外に消えた場合の処理を行う（ステップＳ１４３）。手指が範囲外に消えた場合の処理は、情報処理システム１００が実行するアプリケーションで実現したい機能の用途に依存する。

　例えば、手指が物体を持っている状態で範囲外に消えた場合、再び登場したときに同じ物体を持っているか不明なため、物体情報制御部２００は、物体管理表、所有状態管理表、属性管理表の全てから該当する項目を削除する。

　また例えば、範囲外に消えても同じ物体を持って再び登場するという前提のもと、物体情報制御部２００は、全項目は維持し、所有状態管理表の手指ＩＤにフラグを付けて記憶しておく。このケースの前提として、再び登場した手指が同じＩＤを振られる、または、同じ方向から手指が入ってきたらＩＤは異なっても同じと見做す場合が考えられる。

　物体情報制御部２００は、一連の処理を実行することにより、物体と手指の動きを追跡し、物体が手指に覆われたとしても、物体に関連付けられる属性を保持することが可能となる。

　次に、図１１のステップＳ１２３に示した、近接情報による物体推定処理について説明する。図１４は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１１のステップＳ１２３に示した近接情報による物体推定処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

　近接情報による物体推定処理を行う場合、まず物体情報制御部２００は最寄手指検出処理を行う（ステップＳ１５１）。そして物体情報制御部２００は、最寄手指検出処理によって最寄手指ＩＤが発見できたかどうか判断する（ステップＳ１５２）。

　最寄手指ＩＤが発見できた場合は（ステップＳ１５２、Ｙｅｓ）、続いて物体情報制御部２００は、その手指ＩＤが所有状態管理表に登録されているかを判断する（ステップＳ１５３）。

　手指ＩＤが所有状態管理表に登録されていれば（ステップＳ１５３、Ｙｅｓ）、続いて物体情報制御部２００は、その手指ＩＤに認識ＩＤ配列が存在するかを判断する（ステップＳ１５４）。

　その手指ＩＤに認識ＩＤ配列が存在していれば（ステップＳ１５４、Ｙｅｓ）、その手指ＩＤを有する手指が持っていたのは、認識ＩＤ配列の最後尾の物体であると考えられるので、物体情報制御部２００は、この物体を既存の認識ＩＤを持つ物体と推定するとともに、推定に利用した認識ＩＤ配列の最後尾を削除する（ステップＳ１５５）。物体情報制御部２００は、認識ＩＤ配列の最後尾の削除後に認識ＩＤ配列がまだ存在する場合はそのままにし、存在しない場合は手指ＩＤごと行を削除する。

　ステップＳ１５２の判断で最寄手指ＩＤが検出できなかった場合は（ステップＳ１５２、Ｎｏ）、物体情報制御部２００は、この物体は何らかの原因で発生した未知の物体であると判断し、新しい認識ＩＤを割り振る（ステップＳ１５６）。

　ステップＳ１５３の判断で手指ＩＤが所有状態管理表に登録されていない場合は（ステップＳ１５３、Ｎｏ）、物体情報制御部２００は、新たな手指から発生した未知の物体であると判断し、新しい認識ＩＤを割り振る（ステップＳ１５６）。

　ステップＳ１５４の判断で手指ＩＤに認識ＩＤ配列が存在していなければ（ステップＳ１５４、Ｎｏ）、物体情報制御部２００は、手指は既知だが置かれた物体は未知であると判断し、新しい認識ＩＤを割り振る（ステップＳ１５６）。このケースは、例えば範囲外で最初から物体を持った状態でさらに範囲内でもう１つ物体を持った場合などが該当する。

　物体情報制御部２００は、この一連の処理を実行することにより、センシング可能領域に物体が発生した際に、その物体の最寄りの手指を検出することで、その物体が認識されているものかどうかを判断することができる。

　続いて、図１１のステップＳ１２５に示した、重畳情報による物体推定処理について説明する。図１５は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１１のステップＳ１２５に示した重畳情報による物体推定処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

　以下の処理では、前提として、センシングの対象の物体が、所定の高さ方向の単位特徴量を有するものとして説明する。例えば、センシングの対象の物体が、平たい円柱状のコインの様な形状を有する物体であるとする。また、以下の説明では、センシングの奥行き方向が高さ方向であり、センシングの奥行き方向の特徴量が高さ方向の特徴量（物体が置かれる面を基準とした、物体の天面の高さ）であるとして説明するが、本開示は係る例に限定されるものではない。例えば、壁面に磁力を有する物体を吸着させるような場合では、壁面に対するセンシングや投影が行われる。そのような場合では、センシングの奥行き方向は壁面に対して垂直方向であり、センシングの奥行き方向の特徴量は壁面に対して垂直方向の特徴量（壁面を基準として、物体の面のうち壁面と平行な面の高さ）である。なお、センシングの奥行き方向の特徴量として基準面からの高さ以外の情報を用いてもよい。また例えばセンシングの奥行き方向の特徴量としてデプスセンサにより得られる物体の三次元情報の奥行方向の位置（デプスの座標情報）を用いても良い。

　物体情報制御部２００は、まず物体の特徴量が減少したかどうかを判断する（ステップＳ１６１）。特徴量が減少していれば（ステップＳ１６１、Ｙｅｓ）、物体情報制御部２００は特徴量が減少した場合の処理を実行する（ステップＳ１６２）。特徴量が減少した場合の処理は後に詳述する。特徴量が減少していなければ（ステップＳ１６１、Ｎｏ）、物体情報制御部２００は、その増加の差分が１段分（１単位特徴量分）であるかどうか判断する（ステップＳ１６３）。増加が１段分であれば（ステップＳ１６３、Ｙｅｓ）、物体情報制御部２００は特徴量が１段増加した場合の処理を実行する（ステップＳ１６４）。特徴量が１段増加した場合の処理は後に詳述する。増加が２段分以上であれば（ステップＳ１６３、Ｎｏ）、物体情報制御部２００は特徴量が２段以上増加した場合の処理を実行する（ステップＳ１６５）。特徴量が２段以上増加した場合の処理は後に詳述する。

　続いて、上記ステップＳ１６２の特徴量が減少した場合の処理について説明する。図１６は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１５のステップＳ１６２に示した特徴量が減少した場合の処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

　物体情報制御部２００は、まず最寄手指検出処理を行う（ステップＳ１７１）。そして物体情報制御部２００は、最寄手指検出処理によって最寄手指ＩＤが発見できたかどうか判断する（ステップＳ１７２）。

　最寄手指ＩＤが発見できた場合は（ステップＳ１７２、Ｙｅｓ）、物体情報制御部２００は、手指に所有されたため特徴量が減ったと判断し、所有状態管理表における該当する手指ＩＤの認識ＩＤ配列の末尾に、所有された物体の認識ＩＤを追加する（ステップＳ１７３）。ここで２段以上減少した場合は、物体情報制御部２００は、手指ＩＤの認識ＩＤ配列の末尾に、所有された物体の認識ＩＤを複数追加する。この場合、認識ＩＤ配列には、上の段ほど配列の先頭に近い（つまり手に近い）順に追加される。

　続いて、物体情報制御部２００は、残された物体の最上段の認識ＩＤが既知かを判断する（ステップＳ１７４）。既知の場合は（ステップＳ１７４、Ｙｅｓ）、物体情報制御部２００は何もしない。一方、未知の場合は（ステップＳ１７４、Ｎｏ）、物体情報制御部２００は、残された物体は所有された物体と同時に置かれていたことから、手指に持って行かれた物体と同じ性質の物体であろうと推定し、手指に持って行かれた物体と同じ認識ＩＤを振る（ステップＳ１７５）。

　ステップＳ１７２の判断で最寄手指ＩＤが発見できなかった場合（ステップＳ１７２、Ｙｅｓ）は、物体情報制御部２００は、その物体は手指に依らず減少したと判断するとともに、残された物体は、原因は不明だが、消失した上段に存在していた物体と同じ性質の物体であろうと推定し、その消失した物体と同じ認識ＩＤを振る（ステップＳ１７５）。

　続いて、上記ステップＳ１６４の特徴量が１段増加した場合の処理について説明する。図１７は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１５のステップＳ１６４の特徴量が１段増加した場合の処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

　物体情報制御部２００は、まず最寄手指検出処理を行う（ステップＳ１８１）。そして物体情報制御部２００は、最寄手指検出処理によって最寄手指ＩＤが発見できたかどうか判断する（ステップＳ１８２）。

　手指ＩＤが検出できた場合は（ステップＳ１８２、Ｙｅｓ）、物体情報制御部２００は、その手指ＩＤが所有状態管理表に登録されており、かつ認識ＩＤ配列を保持しているかを判断する（ステップＳ１８３）。その手指ＩＤが所有状態管理表に登録されており、かつ認識ＩＤ配列を保持していれば（ステップＳ１８３、Ｙｅｓ）、物体情報制御部２００は、認識ＩＤ配列の最後尾を用いて、この特徴量が１段増加した物体の認識ＩＤと推定し、さらに推定に利用した認識ＩＤ配列の最後尾を削除する（ステップＳ１８４）。手指ＩＤが所有状態管理表に登録されていない、または認識ＩＤ配列を保持していない場合は（ステップＳ１８３、Ｎｏ）、物体情報制御部２００は、新たな手指から発生した未知の物体が１段増えており、かつ同じ場所に重ねられたことから、同じ性質を持った物体であろうと推定し、１段下の物体と同じ認識ＩＤを振る（ステップＳ１８５）。

　ステップＳ１８２の判断で最寄手指ＩＤが発見できなかった場合（ステップＳ１８２、Ｙｅｓ）は、物体情報制御部２００は、新たな手指から発生した未知の物体が１段増えており、かつ同じ場所に重ねられたことから、同じ性質を持った物体であろうと推定し、１段下の物体と同じ認識ＩＤを振る（ステップＳ１８５）。

　続いて、上記ステップＳ１６５の特徴量が２段以上増加した場合の処理について説明する。図１８は、本開示の実施の形態に係る物体情報制御部２００の動作例を示す流れ図であり、図１５のステップＳ１６５の特徴量が２段以上増加した場合の処理を示す流れ図である。なお、一連の処理は、手指検出部２１０や属性処理部２２０が実行しうる。

　物体情報制御部２００は、まず最寄手指検出処理を行う（ステップＳ１９１）。そして物体情報制御部２００は、最寄手指検出処理によって最寄手指ＩＤが発見できたかどうか判断する（ステップＳ１９２）。

　手指ＩＤが検出できた場合は（ステップＳ１９２、Ｙｅｓ）、物体情報制御部２００は、その手指ＩＤが所有状態管理表に登録されており、かつ認識ＩＤ配列を保持しているかを判断する（ステップＳ１９３）。その手指ＩＤが所有状態管理表に登録されており、かつ認識ＩＤ配列を保持していれば（ステップＳ１９３、Ｙｅｓ）、続いて物体情報制御部２００は、増加した段数分の認識ＩＤ配列が存在するかを判断する（ステップＳ１９４）。増加した段数分の認識ＩＤ配列が存在していれば（ステップＳ１９４、Ｙｅｓ）、増加した物体は全て既知の物体であるので、物体情報制御部２００は、その増加した段数分の認識ＩＤ配列を用いて、その物体に既存の認識ＩＤを割り当てると共に、増加した段数分の認識ＩＤ配列を所有状態管理表から削除する（ステップＳ１９５）。

　ステップＳ１９４の判断で、増加した段数分の認識ＩＤ配列が存在していなければ（ステップＳ１９４、Ｎｏ）、物体情報制御部２００は、増加した段数分の物体に未知の物体が挟まっていると判断し、利用できるだけの認識ＩＤを用いる。物体情報制御部２００は、不足分は一緒に置かれた物体の一番下の段と同じ性質の物体であろうと推定して、同じ認識ＩＤで属性管理表を更新する（ステップＳ１９６）。また物体情報制御部２００は、利用した分の認識ＩＤ配列を削除する。

　ステップＳ１９２の判断で、手指ＩＤが検出できなかった場合は（ステップＳ１９２、Ｎｏ）、新たな手指から発生した未知の物体が数段増えたことになり、物体情報制御部２００は、同じ場所に重ねられたことから、同じ性質を持った物体であろうと推定する。そして物体情報制御部２００は、１段下の物体と同じ認識ＩＤを振る（ステップＳ１９７）。

　ステップＳ１９３の判断で、手指ＩＤが所有状態管理表に登録されておらず、または認識ＩＤ配列を保持していなければ（ステップＳ１９３、Ｎｏ）、物体情報制御部２００は、同じ場所に重ねられたことから、同じ性質を持った物体であろうと推定する。そして物体情報制御部２００は、１段下の物体と同じ認識ＩＤを振る（ステップＳ１９７）。

　物体情報制御部２００は、このように物体の特徴量が変化したかを検出することにより、物体が重ねられて同時に置かれていた、手指により同時に置かれたといった物体の動きを追跡することができる。また物体情報制御部２００は、このような一連の処理により、同じ動きをしている物体は同じ性質であろうと推定を行い、未知の物体に対して認識ＩＤを割り振ることができる。

　ここまで説明してきた物体情報制御部２００の一連の処理について具体例を挙げて説明する。以下の具体例では、物体管理表に保存される特徴量として、三次元センサから取得された物体の高さを例に挙げて説明する。まずは、センシング可能領域に未知の物体が現れる例を説明する。

　図１９Ａ～１９Ｃは、センシング可能領域に未知の物体が現れた際の動作を説明する説明図である。図１９Ａ～１９Ｃには、テーブルがセンシング可能領域であり、そのテーブルに未知の物体が現れた場合の各表の状態も併せて図示されている。

　図１９Ａは、物体を持った手（ｈａｎｄ　ａ）が現れた状態を示す図である。この場合、物体管理表、所有状態管理表、属性管理表には何も情報が登録されていないとする。

　図１９Ｂは、物体を持った手がテーブルに物体を置いた状態を示す図である。この時点でも、まだ物体管理表、所有状態管理表、属性管理表には何も情報が登録されない。

　図１９Ｃは、手が物体をテーブルに置いた後、物体から手を離した状態を示す図である。物体がテーブルに置かれ、その物体から手が離されると、物体情報制御部２００は、テーブルに置かれた物体を認識し、その物体に対して、図１９Ｃに示したような情報を登録する。物体情報制御部２００は、その物体に対し物体ＩＤは「１」として登録し、認識ＩＤ配列に認識ＩＤとして「Ａ」を登録する。物体情報制御部２００は、この認識ＩＤ「Ａ」の情報を属性管理表にも登録する。この時点では、この物体がどのような属性を有するか不明のため、物体情報制御部２００は、属性管理表には未知の物体として登録する。

　次に、センシング可能領域に属性が既知の物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する。図２０Ａ～２０Ｄは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２０Ａ～２０Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で属性が既知の物体が動かされた場合の各表の状態も併せて図示されている。

　図２０Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。この状態では、図２０Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。

　図２０Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。また物体情報制御部２００は、この時点で、物体管理表の処理フラグをｆａｌｓｅに変化させる。

　図２０Ｃは、手が認識ＩＤ配列「Ａ」の物体を持ってテーブル上で動いている状態を示す図である。この時点では物体管理表には情報が登録されておらず、所有状態管理表には、認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していることが登録されている。

　図２０Ｄは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体をテーブルに置いた後、物体から手を離した状態を示す図である。物体がテーブルに置かれ、その物体から手が離されると、物体情報制御部２００は、テーブルに置かれた物体を認識し、その物体に対して、図２０Ｄに示したような情報を登録する。物体情報制御部２００は、その物体に対し物体ＩＤは「２」として登録し、認識ＩＤ配列に認識ＩＤとして「Ａ」を登録する。

　次に、センシング可能領域の外に物体を移動される例を説明する。これは、手指が物体を持っている状態で範囲外に消えた場合、再び登場したときに同じ物体を持っているか不明なため、物体情報制御部２００が物体管理表、所有状態管理表、属性管理表の全てから該当する項目を削除する例である。図２１Ａ～２１Ｄは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２１Ａ～２１Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で属性が既知の物体が動かされた場合の各表の状態も併せて図示されている。

　図２１Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。この状態では、図２１Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。

　図２１Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。この際、物体情報制御部２００は、検出した手の手指ＩＤを「ａ」として登録する。また物体情報制御部２００は、この時点で、物体管理表の処理フラグをｆａｌｓｅに変化させる。

　図２１Ｃは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体を持ってテーブル上で動いている状態を示す図である。この時点では物体管理表には情報が登録されておらず、所有状態管理表には、認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していることが登録されている。

　図２１Ｄは、手指ＩＤ「ａ」の手がセンシング可能領域の外に出た状態を示す図である。手指ＩＤ「ａ」の手がセンシング可能領域の外に出て、入力部１１０が認識出来なくなると、物体情報制御部２００は、所有状態管理表の情報をクリアする。認識ＩＤ配列に記述されていた認識ＩＤ「Ａ」の物体が他にセンシング可能領域に存在しないので、物体情報制御部２００は、属性管理表の情報もクリアする。

　センシング可能領域の外に物体を移動される例をもう一つ説明する。これは、範囲外に消えても同じ物体を持って再び登場するという前提のもと、物体情報制御部２００が、全項目を維持した上で所有状態管理表の手指ＩＤにフラグ等を付けて記憶しておく例である。図２２Ａ～２２Ｆは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２２Ａ～２２Ｆには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

　図２２Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。この状態では、図２２Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。

　図２２Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。この際、物体情報制御部２００は、検出した手の手指ＩＤを「ａ」として登録する。また物体情報制御部２００は、この時点で、物体管理表の処理フラグをｆａｌｓｅに変化させる。

　図２２Ｃは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体を持ってテーブル上で動いている状態を示す図である。この時点では物体管理表には情報が登録されておらず、所有状態管理表には、認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していることが登録されている。

　図２２Ｄは、手指ＩＤ「ａ」の手がセンシング可能領域の外に出た状態を示す図である。手指ＩＤ「ａ」の手がセンシング可能領域の外に出て、入力部１１０が認識出来なくなっても、物体情報制御部２００は、所有状態管理表及び属性管理表の情報を維持する。この際、物体情報制御部２００は、手指ＩＤ「ａ」の手がセンシング可能領域の外に出たことを示す情報を付す。ここでは、物体情報制御部２００は、手指ＩＤに括弧を付すことで手がセンシング可能領域の外に出たことを示す。

　図２２Ｅは、手指ＩＤ「ａ」の手がセンシング可能領域の中に戻ってきた状態を示す図である。ここでは、手指ＩＤ「ａ」の手は認識ＩＤ配列「Ａ」の物体を所有したままであるとみなし、物体情報制御部２００は、所有状態管理表の手指ＩＤに付いていた括弧を外す。

　図２２Ｆは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体をテーブルに置いた後、物体から手を離した状態を示す図である。物体がテーブルに置かれ、その物体から手が離されると、物体情報制御部２００は、テーブルに置かれた物体を認識し、その物体に対して、図２２Ｆに示したような情報を登録する。物体情報制御部２００は、その物体に対し物体ＩＤは「２」として登録し、認識ＩＤ配列に認識ＩＤとして「Ａ」を登録する。

　次に、センシング可能領域内に２つ重ねて置かれている物体の一つを手で持って移動させた場合の例を説明する。図２３Ａ～２３Ｄは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２３Ａ～２３Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

　図２３Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。物体ＩＤ「１」の物体は、高さ方向の基準特徴量として高さ１センチメートルの２つの物体が積み重なったものである。この状態では、図２３Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。物体情報制御部２００は、積み重なっている２つの物体の内、上の物体は認識ＩＤが「Ａ」であるとして認識しているが、下の物体はどのような物体か認識出来ていない。従って物体情報制御部２００は、物体ＩＤ「１」の物体について、物体管理表の認識ＩＤ配列に「？，Ａ」として登録している。

　図２３Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。この際、物体情報制御部２００は、検出した手の手指ＩＤを「ａ」として登録する。

　図２３Ｃは、手指ＩＤ「ａ」の手が認識ＩＤ配列「Ａ」の物体のうち、上の物体を持ってテーブル上で動いている状態を示す図である。物体情報制御部２００は、残された物体について物体ＩＤを「２」として物体管理表に登録する。この際、物体情報制御部２００は、不明であった物体ＩＤ「２」の物体について、認識ＩＤ配列に「Ａ」を割り当てる。これは、同じ所に積み重なっている物体は同じ属性を有すると推定することに基づくものである。また物体情報制御部２００は、所有状態管理表に、認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していることを登録する。

　図２３Ｄは、手指ＩＤ「ａ」の手が物体をテーブルに置いた状態を示す図である。物体情報制御部２００は、手から離れた物体について、物体ＩＤを「３」として物体管理表に登録する。その際、直前まで認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していたので、物体情報制御部２００は、物体ＩＤ「３」の物体について、認識ＩＤ配列に「Ａ」を割り当てる。

　次に、センシング可能領域内に置かれている物体を積み重ねた後に移動させ、さらにその中の一つを手で持って移動させた場合の例を説明する。図２４Ａ～２４Ｆは、センシング可能領域に物体が置いてあり、その物体をセンシング可能領域内で動かした場合の動作を説明する説明図である。図２４Ａ～２４Ｆには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

　図２４Ａは、物体ＩＤ「１」および「２」の物体がテーブルに置かれている状態を示す図である。物体ＩＤ「１」および「２」の物体は、それぞれ高さ１センチメートルの物体である。この状態では、図２４Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。物体ＩＤ「１」の物体の認識ＩＤ配列は「Ａ」であり、物体ＩＤ「２」の物体の認識ＩＤ配列は「Ｂ」である。

　図２４Ｂは、物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に持たれた状態を示す図である。物体ＩＤ「１」の物体が手（ｈａｎｄ　ａ）に覆われたことが検出されると、物体情報制御部２００は、当該物体に対応する認識ＩＤ配列の情報を所有状態管理表に移す。この際、物体情報制御部２００は、検出した手の手指ＩＤを「ａ」として登録する。

　図２４Ｃは、物体ＩＤ「１」の物体が物体「２」に、手によって積み重ねられている状態を示す図である。物体ＩＤ「１」に次いで「２」の物体が手（ｈａｎｄ　ａ）に覆われたことが検出されると、物体情報制御部２００は、物体ＩＤ「２」の物体に対応する認識ＩＤ配列の情報も所有状態管理表に移す。

　図２４Ｄは、積み重ねられている物体が手によって持ち上げられている状態を示す図である。物体情報制御部２００は、所有状態管理表における手指ＩＤを「ａ」の行に認識ＩＤ配列「Ａ，Ｂ」を登録する。物体情報制御部２００は、手指ＩＤ「ａ」を有する手が認識ＩＤ配列「Ａ，Ｂ」からなる物体を持っていることを把握する。

　図２４Ｅは、積み重ねられている物体のうち、下の物体をテーブルに置いた状態を示す図である。物体情報制御部２００は、手から離れた物体について、物体ＩＤを「３」として物体管理表に登録する。その際、直前まで認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していたので、物体情報制御部２００は、物体ＩＤ「３」の物体について、認識ＩＤ配列に、下の物体に割り当てられていた認識ＩＤである「Ｂ」を割り当てる。

　図２４Ｆは、手指ＩＤ「ａ」の手が物体をテーブルに置いた状態を示す図である。物体情報制御部２００は、手から離れた物体について、物体ＩＤを「４」として物体管理表に登録する。その際、直前まで認識ＩＤ配列「Ａ」の物体を手指ＩＤ「ａ」の手が所有していたので、物体情報制御部２００は、物体ＩＤ「４」の物体について、認識ＩＤ配列に「Ａ」を割り当てる。

　次に、センシング可能領域内に置かれている物体に、別の物体が１段積み重ねられた場合の例を説明する。図２５Ａ～２５Ｄは、センシング可能領域内に置かれている物体に、別の物体が積み重ねられた場合の動作を説明する説明図である。図２５Ａ～２５Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

　図２５Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。物体ＩＤ「１」の物体は、高さ１センチメートルの物体である。この状態では、図２５Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。物体ＩＤ「１」の物体の認識ＩＤ配列は「Ａ」である。

　図２５Ｂは、物体ＩＤ「１」の物体に、別の物体が積み重ねられた状態の例を示す図である。そして図２５Ｃは、物体から手が離された状態の例を示す図である。所有状態管理表には何も情報が登録されていなかったので、図２５Ｃで現れた（認識可能になった）物体は、誰が持っていた物体か不明である。従って、その物体がどのような物体であるかも不明である。よって物体情報制御部２００は、物体ＩＤ「１」を「２」に変化させると共に、認識ＩＤ配列を「？，Ａ」として物体管理表に登録する。

　図２５Ｄは、積み重ねられた物体の認識ＩＤを推定する例を示す図である。物体情報制御部２００は、積み重ねられた物体は、下に置かれていた物体と同じ認識ＩＤを有すると推定し、物体ＩＤ「２」の物体の認識ＩＤ配列を「？，Ａ」として物体管理表に登録する。

　次に、センシング可能領域内に置かれている物体に、別の物体が２段積み重ねられた場合の例を説明する。図２６Ａ～２６Ｄは、センシング可能領域内に置かれている物体に、別の物体が２段積み重ねられた場合の動作を説明する説明図である。図２６Ａ～２６Ｄには、テーブルがセンシング可能領域であり、そのテーブル上で物体が動かされた場合の各表の状態も併せて図示されている。

　図２５Ａは、物体ＩＤ「１」の物体がテーブルに置かれている状態を示す図である。物体ＩＤ「１」の物体は、高さ１センチメートルの物体である。この状態では、図２５Ａに示したような情報が物体管理表、所有状態管理表、属性管理表に登録されているとする。物体ＩＤ「１」の物体の認識ＩＤ配列は「Ａ」である。また、手指ＩＤ「ａ」の手には、認識ＩＤ配列が「Ｂ」で登録されている。すなわち物体情報制御部２００は、この時点では、認識ＩＤが「Ｂ」である物体が１つだけ手指ＩＤ「ａ」の手に持たれていると把握している。

　図２６Ｂは、物体ＩＤ「１」の物体に、別の物体が積み重ねられた状態の例を示す図である。そして図２６Ｃは、物体から手が離された状態の例を示す図である。入力部１１０による認識の結果、高さが増えたので、物体情報制御部２００は、物体ＩＤ「１」を「２」に変化させる。そして物体情報制御部２００は、所有状態管理表に登録されている認識ＩＤ配列の情報を物体管理表に移すが、その際、高さが１センチメートルから３センチメートルに増えたので、物体ＩＤ「１」の物体に、別の物体が２つ積み重ねられたことになる。しかし、物体情報制御部２００は認識ＩＤが「Ｂ」である物体が１つだけ手指ＩＤ「ａ」の手に持たれていると把握している。すなわち、一番下の物体の認識ＩＤは「Ａ」であり、一番上の物体の認識ＩＤは「Ｂ」であるが、真ん中の物体の認識ＩＤは何であるか分からない。従って物体情報制御部２００は物体ＩＤ「２」の認識ＩＤ配列を「Ａ，？，Ｂ」と登録する。

　図２６Ｄは、積み重ねられた物体の認識ＩＤを推定する例を示す図である。物体情報制御部２００は、認識ＩＤが不明な物体は、一緒に持たれていた物体と同じ認識ＩＤを有すると推定し、物体ＩＤ「２」の物体の認識ＩＤ配列を「Ａ，Ｂ，Ｂ」として物体管理表に登録する。

　（アプリケーション例１）
　続いて、本実施形態が適用される、情報処理システム１００で動作されるアプリケーションの動作例を説明する。最初は、物体を使った化学シミュレーションアプリケーションの動作例を示す。このアプリケーションは、同じ性質を有するコイン状の円柱（以下トークンと称する）を用いて、テーブル上で化学反応のシミュレーションを可能にする。

　図２７Ａ～２７Ｃは、化学シミュレーションアプリケーションの動作例を示す説明図である。図２７Ａは、ユーザがトークン３０１を持って、原子のイメージが描かれた画像３０２にトークン３０１を近付ける様子を示す図である。そして図２７Ｂは、ユーザがトークン３０１を画像３０２の中の炭素原子（Ｃ）の上に置いた状態を示す図である。物体情報制御部２００は、トークン３０１が炭素原子に置かれたことにより、トークン３０１に炭素の属性を与える。情報処理システム１００は、トークン３０１に炭素の属性を与えると、炭素に対応する色をトークン３０１の表面に照射してもよい。

　化学シミュレーションアプリケーションの動作の際に情報蓄積処理部２３０において蓄積される情報を示す。下記の表４、５は、化学シミュレーションアプリケーションの動作の際に情報蓄積処理部２３０において蓄積される情報を示している。表４は物体管理表、表５は属性管理表である。それぞれの表は、例えばリレーショナルデータベース等の形式で実現される。

　図２８Ａ～２８Ｃは、化学シミュレーションアプリケーションの動作例を示す説明図である。図２８Ａは、酸素（Ｏ）の属性を有するトークン３１１が置かれている様子を示す図である。この状態では、酸素の原子であることを意味する情報３１０が表示されている。図２８Ｂは、酸素の属性を有するトークン３１１に、属性が不明のトークン３１２が置かれる様子を示す図である。そして図２８Ｃは、属性が不明のトークン３１２にも酸素の属性が与えられた様子を示す図である。原子量が増えたので、情報３１０に表示される情報が「Ｏ」から「２Ｏ」に変化している。

　図２９Ａ～２９Ｃは、化学シミュレーションアプリケーションの動作例を示す説明図である。図２９Ａは、２つのトークン３２１、３２２が重ねられている様子を示す図である。この状態では、上のトークン３２１は酸素の属性を有するが、下のトークン３２２の属性はどのような属性を有しているか分からないものとする。図２９Ｂは、上のトークン３２１をユーザが手で持ち上げた様子を示す図である。そして図２９Ｃはトークン３２１をユーザがテーブルに置いた様子を示す図である。物体情報制御部２００は、トークン３２２の属性は、上に積み重なっていたトークン３２１と同じ属性、すなわち酸素の属性を有すると推定し、トークン３２２に酸素の属性を与える。情報処理システム１００は、トークン３２２に酸素の属性を与えると、酸素に対応する色をトークン３２２の表面に照射してもよい。

　図３０Ａ～３０Ｃは、化学シミュレーションアプリケーションの動作例を示す説明図である。図３０Ａは、酸素の属性を有するトークン３３３がテーブルに置かれている様子を示す図である。この状態では、トークン３３３が酸素の原子であることを意味する情報３３０が表示されている。図３０Ｂは、ユーザによって２つのトークン３３１、３３２がトークン３３３に重ねられようとしている様子を示す図である。トークン３３１は水素（Ｈ）の属性を有するが、一緒にユーザが持っているトークン３３２の属性は不明であるとする。図３０Ｃは、トークン３３１、３３２がトークン３３３に重ねられた様子を示す図である。トークン３３２の属性は不明であるが、物体情報制御部２００は、トークン３３２の属性はトークン３３１の属性と同じ、すなわち水素の属性を有すると推定し、トークン３３２に水素の属性を与える。トークン３３２に水素の属性が与えられることで、トークン３３１、３３２、３３３によって水の分子（Ｈ_２０）が表される。情報３３０にはトークン３３１、３３２、３３３によって水の分子が表されていることが示されている。

　図３１Ａ～３１Ｅは、化学シミュレーションアプリケーションの動作例を示す説明図である。図３１Ａは、水素の属性を有するトークン３４１及び酸素の属性を有するトークン３４２がテーブルに置かれており、ユーザがトークン３４１を持っている様子を示す図である。図３１Ｂは、ユーザがトークン３４１を持った状態で、トークン３４２を持とうとしている様子を示す図である。ユーザがトークン３４１を持っており、入力部１１０からはトークン３４１を認識出来ないが、物体情報制御部２００は、水素の属性を有しているトークン３４１をユーザが持っていることを認識出来ている。そして図３１Ｃは、ユーザがトークン３４１、３４２を持っている様子を示す図である。入力部１１０からはトークン３４１、３４２を認識出来ないが、物体情報制御部２００は、水素の属性を有しているトークン３４１及び酸素の属性を有しているトークン３４２をユーザが持っていることを認識出来ている。図３１Ｄは、ユーザがトークン３４２だけをテーブルに置いた様子を示す図である。物体情報制御部２００は、酸素の属性を有しているトークン３４２をユーザが持っていることを認識出来ていたので、トークン３４２が置かれた時点でトークン３４２に酸素の属性を再度与えることができる。図３１Ｅは、ユーザがトークン３４１をテーブルに置いた様子を示す図である。物体情報制御部２００は、水素の属性を有しているトークン３４１をユーザが持っていることを認識出来ていたので、トークン３４１が置かれた時点でトークン３４１に水素の属性を再度与えることができる。

　情報処理システム１００が実行する化学シミュレーションアプリケーションは、同一の、または異なる属性を有するトークン同士を結びつける動作に応じて、別の属性を発生させることが出来る。ここでは、トークン同士を結びつける動作としてユーザが指でトークンを囲む軌跡を描く例を示す。図３２Ａ～３２Ｆは、化学シミュレーションアプリケーションの動作例を示す説明図である。図３２Ａは、炭素の属性を有するトークンと、酸素の属性を有する２つのトークンとがテーブルに置かれた様子を示す図である。図３２Ｂは、炭素の属性を有するトークンと、酸素の属性を有する２つのトークンとを、ユーザが指で囲むジェスチャを行った様子を示す図である。ここで、ユーザが指で描いた軌跡はテーブル上に表示されても良く、表示されなくても良い。図３２Ｃは、炭素の属性を有するトークンと、酸素の属性を有する２つのトークンとで、二酸化炭素（ＣＯ_２）が発生しているようなエフェクトが発生している様子を示す図である。図３２Ｄは、二酸化炭素が発生しているようなエフェクトにユーザがトークンを近付ける様子を示す図であり、図３２Ｅは、二酸化炭素が発生しているようなエフェクトにユーザがトークンを置いた様子を示す図である。図３２Ｆは、ユーザが置いたトークンに二酸化炭素の属性が与えられた様子を示す図である。

　図３３は、化学シミュレーションアプリケーションの動作例を示す説明図であり、異なる属性を有するトークン同士を結びつけて、別の属性を発生させる様子を示したものである。化学シミュレーションアプリケーションは、例えば、水素の属性を有する２つのトークンと、酸素の属性を有する１つのトークンとを結びつける動作に応じて、水の属性を発生させることが出来る。そして、化学シミュレーションアプリケーションは、水の属性を有する２つのトークンと、ナトリウム（Ｎａ）の属性を有する１つのトークンとを結びつける動作に応じて、爆発するようなエフェクトを発生させることができる。

　化学シミュレーションアプリケーションは、例えば、酸素の属性を有するトークン同士を結びつける動作に応じて、酸素分子の属性を発生させることが出来る。そして、化学シミュレーションアプリケーションは、鉄（Ｆｅ）の属性を有するトークンと、酸素分子の属性を有するトークンと、燃焼反応の属性を有するトークンを結びつける動作に応じて、赤色の炎色反応のエフェクトを発生させることができる。化学シミュレーションアプリケーションは、同様に、ナトリウムの属性を有するトークンと、酸素分子の属性を有するトークンと、燃焼反応の属性を有するトークンを結びつける動作に応じて、黄色の炎色反応のエフェクトを発生させることができる。化学シミュレーションアプリケーションは、同様に、銅（Ｃｕ）の属性を有するトークンと、酸素分子の属性を有するトークンと、燃焼反応の属性を有するトークンを結びつける動作に応じて、緑色の炎色反応のエフェクトを発生させることができる。

　図３４は、化学シミュレーションアプリケーションの動作例を示す説明図であり、異なる属性を有するトークン同士を結びつけて、別の属性を発生させる様子を示したものである。化学シミュレーションアプリケーションは、例えば、炭素の属性を有するトークンと、酸素の属性を有する２つのトークンとで、二酸化炭素の属性を発生させることが出来る。化学シミュレーションアプリケーションは、また例えば、炭素の属性を有するトークンと、酸素の属性を有するトークンとで、一酸化炭素の属性を発生させることが出来る。化学シミュレーションアプリケーションは、また例えば、酸素の属性を有するトークンと、酸素の属性を有する２つのトークンとで、オゾンの属性を発生させることが出来る。化学シミュレーションアプリケーションは、また例えば、水素の属性を有する２つのトークンと、酸素の属性を有する２つのトークンとで、過酸化水素（Ｈ_２Ｏ_２）の属性を発生させることが出来る。

　図３５は、化学シミュレーションアプリケーションによって表示されるユーザインターフェースの例を示す説明図である。化学シミュレーションアプリケーションは、合成した化合物の数や、発生させた現象の数をユーザ毎に表示させることが出来る。

　（アプリケーション例２）
　情報処理システム１００で動作される別のアプリケーションの動作例を説明する。次の例は、カクテルのオーダーを行うカクテル注文アプリケーションの動作例を示す。このアプリケーションは、トークンを用いて、テーブル上でカクテルのオーダーを可能にする。

　図３６Ａ～３６Ｃは、カクテル注文アプリケーションの動作例を示す説明図である。図３６Ａは、ユーザがトークン４０１を、果物が描かれた画像４００に近付ける様子を示す図である。図３６Ｂは、ユーザがトークン４０１を、画像４００の中のライムの画像に置いた様子を示す図である。トークン４０１がライムの画像に置かれると、物体情報制御部２００は、トークン４０１にライムの属性を与える。この際、カクテル注文アプリケーションは、ライムの属性が与えられたトークン４０１にライムの画像を投影してもよい。

　図３７Ａ～３７Ｃは、カクテル注文アプリケーションの動作例を示す説明図である。図３７Ａは、ウォッカ１０ｍｌの属性が与えられたトークン４１２がテーブルに置かれている様子を示す図である。図３７Ｂは、トークン４１２の上に、属性が割り当てられていないトークン４１１をユーザが置こうとしている様子を示す図である。図３７Ｃは、トークン４１２の上に、トークン４１１が積み重ねられた様子を示す図である。物体情報制御部２００は、ウォッカ１０ｍｌの属性が与えられたトークン４１２の上に積み重ねられたトークン４１１にも、ウォッカ１０ｍｌの属性を与える。従って、トークン４１１、４１２によってウォッカ２０ｍｌの属性が与えられていることになる。

　図３８Ａ～３８Ｄは、カクテル注文アプリケーションの動作例を示す説明図である。図３８Ａは、ウォッカ、グレープフルーツ、塩の属性がそれぞれ与えられたトークンがテーブルに置かれている様子を示す図である。図３８Ｂは、ウォッカ、グレープフルーツ、塩の属性がそれぞれ与えられたトークンをユーザが指で囲むジェスチャを行った様子を示す図である。図３８Ｃは、ウォッカ、グレープフルーツ、塩の属性がそれぞれ与えられたトークンをユーザが指で囲むジェスチャを行ったことにより、ソルティドッグを注文するユーザインターフェースが表示されている様子を示す図である。カクテル注文アプリケーションは、ユーザがカクテルを注文すると、待ち時間の間にそのカクテルについての情報を表示しても良い。図３８Ｄは、ソルティドッグについての情報が表示されている様子を示す図である。

　図３９Ａ、３９Ｂは、カクテル注文アプリケーションの動作例を示す説明図である。図３９Ａは、スクリュードライバーについての情報が表示されている様子を示す図である。ユーザが未知の組み合わせを選択した場合には、カクテル注文アプリケーションは、その組み合わせが新しいものであることを表示するユーザインターフェースを表示しても良い。図３９Ｂは、ユーザが未知の組み合わせを選択した際の情報が表示されている様子を示す図である。

　注文したカクテルが完成すると、バーテンダーがグラスをテーブルに置く。カクテル注文アプリケーションは、グラスが置かれたことを検出し、光や音による演出を行っても良い。図４０Ａは、スクリュードライバーが入ったグラスがテーブルに置かれた様子を示す図である。そして図４０Ｂは、スクリュードライバーが入ったグラスにスポットライトを当てたり、音が流れたりしている様子を示す図である。

　カクテル注文アプリケーションの動作の際に情報蓄積処理部２３０において蓄積される情報を示す。下記の表６、７は、カクテル注文アプリケーションの動作の際に情報蓄積処理部２３０において蓄積される情報を示している。表６は物体管理表、表７は属性管理表である。それぞれの表は、例えばリレーショナルデータベース等の形式で実現される。

　（アプリケーション例３）
　情報処理システム１００で動作される別のアプリケーションの動作例を説明する。次の例は、楽器の演奏を行う音楽演奏アプリケーションの動作例を示す。このアプリケーションは、トークンを用いて、テーブル上で楽器の演奏を行うことを可能にする。

　図４１Ａ～４１Ｆは、音楽演奏アプリケーションの動作例を示す説明図である。図４１Ａは、ユーザがトークン５０１を、楽器が描かれた画像５００に近付ける様子を示す図である。図４１Ｂは、ユーザがトークン５０１を、画像５００の中のスネアドラムの画像に置いた様子を示す図である。トークン５０１がスネアドラムの画像に置かれると、物体情報制御部２００は、トークン５０１にスネアドラムの属性を与える。この際、音楽演奏アプリケーションは、スネアドラムの属性が与えられたトークン５０１にスネアドラムの画像を投影してもよい。図４１Ｄは、スネアドラムの属性が与えられたトークン５０１をユーザが手に持って移動させる例を示す図である。図４１Ｅは、スネアドラムの属性が与えられたトークン５０１をユーザが手から離した例を示す図である。このように一度ユーザがトークン５０１を手に持っても、物体情報制御部２００は、トークン５０１がスネアドラムの属性を有していることを把握しているので、トークン５０１をユーザが手から離した際に、トークン５０１にスネアドラムの属性を付与することが出来る。

　スネアドラムの属性が与えられたトークン５０１をユーザが指でタップすると、音楽演奏アプリケーションは、そのタップに応じてスネアドラムの音を出力する。図４１Ｆは、スネアドラムの属性が与えられたトークン５０１をユーザが指でタップする例を示す図である。

　同じ属性を有するトークンが重ねられ、そのトークンがタップされると、音楽演奏アプリケーションは、そのトークンの重畳に基づいて出力する音を変化させても良い。

　図４２Ａ～４２Ｃは、音楽演奏アプリケーションの動作例を示す説明図である。図４２Ａは、スネアドラムの属性が与えられたトークン５１２がテーブルに置かれている様子を示す図である。図４２Ｂは、トークン５１２の上に、属性が割り当てられていないトークン５１１をユーザが置こうとしている様子を示す図である。図４２Ｃは、トークン５１２の上に、トークン５１１が積み重ねられた様子を示す図である。物体情報制御部２００は、スネアドラムの属性が与えられたトークン５１２の上に積み重ねられたトークン５１１にも、スネアドラムの属性を与える。そして、ユーザがトークン５１１をタップすると、音楽演奏アプリケーションは、スネアドラムの属性が与えられたトークンが１つだけの場合とは異なる音を出力する。

　異なる属性を有するトークンが重ねられ、そのトークンがタップされると、音楽演奏アプリケーションは、そのトークンの重畳に基づいて出力する音を合成させても良い。

　図４２Ｄ～４２Ｅは、音楽演奏アプリケーションの動作例を示す説明図である。図４２Ｄは、トークン５１２の上に、ハイハットの属性が与えられたトークン５１３をユーザが置こうとしている様子を示す図である。図４２Ｅは、トークン５１２の上に、トークン５１３が積み重ねられた様子を示す図である。物体情報制御部２００は、スネアドラムの属性が与えられたトークン５１２の上に、ハイハットの属性が与えられたトークン５１３が積み重ねられたことを認識する。そして、ユーザがトークン５１３をタップすると、音楽演奏アプリケーションは、スネアドラムの音とハイハットの音とが合成された音を出力する。

　図４３は、音楽演奏アプリケーションの動作例を示す説明図である。図４３には、テーブルの上にトークン５２１～５２５が置かれている様子が示されている。また図４３には、音楽演奏アプリケーションによって楽器の画像５２０が表示されている状態も示されている。トークン５２１～５２５をユーザが指でタップすることで、音楽演奏アプリケーションは、そのトークンに応じた音を出力する。すなわち、ユーザはトークン５２１～５２５をタップすることで異なる楽器による合奏を楽しむことができる。

　音楽演奏アプリケーションは、トークンをタップするだけでなく、ユーザがテーブルをタップさせたことに応じてオブジェクトを発生させ、そのオブジェクトとトークンとが衝突すると、トークンに割り当てた楽器の音を発生させても良い。

　図４４は、音楽演奏アプリケーションの動作例を示す説明図である。図４４には、テーブルの上にトークン５２６～５２８が置かれている様子が示されている。また図４４には、音楽演奏アプリケーションによって楽器の画像５２０が表示されている状態も示されている。さらに図４４には、テーブルに置かれているペン５３１、５３２も示されている。

　ユーザがテーブルの上をタップすると、音楽演奏アプリケーションは、球のようなオブジェクトを表示させると共に、ユーザの指の向きに移動させる。このオブジェクトと、トークン５２６～５２８とが衝突すると、音楽演奏アプリケーションは、衝突したトークンに割り当てた楽器の音を発生させる。また音楽演奏アプリケーションは、ユーザが発生させたオブジェクトがペン５３１、５３２に当たると反射させる。このように、音楽演奏アプリケーションは、トークンをタップするだけでなく、ユーザがテーブルをタップさせたことに応じてオブジェクトを発生させ、そのオブジェクトとトークンとが衝突すると、トークンに割り当てた楽器の音を発生させることができる。

　音楽演奏アプリケーションの動作の際に情報蓄積処理部２３０において蓄積される情報を示す。下記の表８、９は、音楽演奏アプリケーションの動作の際に情報蓄積処理部２３０において蓄積される情報を示している。表８は物体管理表、表９は属性管理表である。それぞれの表は、例えばリレーショナルデータベース等の形式で実現される。

　＜２．ハードウェア構成例＞
　次に、図４５を参照して、本開示の一実施形態にかかる情報処理システム１００のハードウェア構成について説明する。図４５は、本開示の実施形態にかかる情報処理システム１００のハードウェア構成例を示すブロック図である。

　図４５に示すように、情報処理システム１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０３、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０５を含む。また、情報処理システム１００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理システム１００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理システム１００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）と呼ばれるような処理回路を有してもよい。

　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理システム１００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。

　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、ユーザの音声を検出するマイクを含んでもよい。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理システム１００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理システム１００に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置９３３も、ユーザの手の動きなどを撮像することによって、入力装置として機能しうる。

　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ　Ｄｉｓｐｌａｙ　Ｐａｎｅｌ）、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置９１７は、情報処理システム１００の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置９１７は、周囲を明るくするためライトなどを含んでもよい。

　ストレージ装置９１９は、情報処理システム１００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理システム１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

　接続ポート９２３は、機器を情報処理システム１００に直接接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理システム１００と外部接続機器９２９との間で各種のデータが交換されうる。

　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などである。

　撮像装置９３３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

　センサ９３５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ９３５は、例えば情報処理システム１００の筐体の姿勢など、情報処理システム１００自体の状態に関する情報や、情報処理システム１００の周辺の明るさや騒音など、情報処理システム１００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）信号を受信して装置の緯度、経度および高度を測定するＧＰＳセンサを含んでもよい。

　以上、情報処理システム１００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

　＜３．まとめ＞
　以上説明したように本開示の実施の形態によれば、物体が手で覆われるなどの理由で物体の状態が変化して、物体を認識出来ない状態となっても、物体の追跡を行うことが可能な情報処理システム１００が提供される。本開示の実施の形態に係る情報処理システム１００は、物体の状態を管理する表を設け、物体が手で覆われた場合には当該物体に関連付けられている属性の情報を手に移し、再度物体が現れた際にその物体に属性の情報を戻すことで、物体を認識出来ない状態となっても、引き続き物体の追跡を行うことを可能としている。

　本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

　また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　センシング可能領域において物体及び操作体を検出する検出部と、
　前記センシング可能領域で操作体から物体が離れたことを前記検出部が検出したことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付ける属性処理部と、
を備える、情報処理装置。
（２）
　前記属性処理部は、前記センシング可能領域で物体が操作体に近接又は接触したことを前記検出部が検出したことに基づき前記物体に関連付けられていた属性を前記操作体に関連付ける、前記（１）に記載の情報処理装置。
（３）
　前記属性処理部は、センシングの奥行き方向において、前記操作体が物体のセンシングを少なくとも一部遮蔽する位置に動いたことを前記検出部が検出したことに基づき、前記物体に関連付けられていた属性を前記操作体に関連付ける、前記（１）に記載の情報処理装置。
（４）
　前記属性処理部は、前記センシング可能領域で操作体から物体が離れたことを前記検出部が検出し、該物体の近傍に操作体が存在していなければ、該物体に関連付けられる属性を未知のものとして処理する、前記（１）に記載の情報処理装置。
（５）
　前記属性処理部は、物体を持った操作体が前記センシング可能領域内に存在しないこと検出部が検出したことに基づき、該物体に関連付けられていた属性を消去する、前記（１）に記載の情報処理装置。
（６）
　前記属性処理部は、物体を持った操作体が前記センシング可能領域内に存在しないことを前記検出部が検出しても、該物体に関連付けられていた属性を保持したままにする、前記（１）に記載の情報処理装置。
（７）
　前記属性処理部の処理に基づいて前記センシング可能領域に情報を出力させる出力制御部をさらに備える、前記（１）～（６）のいずれかに記載の情報処理装置。
（８）
　前記出力制御部は、前記センシング可能領域に物体が置かれたことに基づき、前記属性処理部により該物体に関連付けられている属性に関する情報を出力させる、前記（７）に記載の情報処理装置。
（９）
　前記出力制御部は、前記センシング可能領域に置かれた物体に対し、該物体に関連付けられている属性に関する情報を投影させる、前記（８）に記載の情報処理装置。
（１０）
　前記出力制御部は、前記センシング可能領域に置かれた物体に対する操作が行われたことに基づき、該物体に関連付けられている属性に関する情報を出力させる、前記（８）に記載の情報処理装置。
（１１）
　前記出力制御部は、前記属性に関する情報として音を出力させる、前記（１０）に記載の情報処理装置。
（１２）
　前記属性処理部は、前記出力制御部により表示される情報の所定の領域に、属性が関連付けられていない物体が置かれたことを前記検出部が検出したことに基づき、前記領域に対応する属性を前記物体に関連付ける、前記（７）に記載の情報処理装置。
（１３）
　前記出力制御部は、属性が関連付けられている物体同士を結びつける動作が実行されたことを前記検出部が検出したことに基づき、該動作に応じたエフェクトを出力させる、前記（７）に記載の情報処理装置。
（１４）
　前記動作は、前記物体を囲む軌跡をユーザが描くことである、前記（１２）に記載の情報処理装置。
（１５）
　前記出力制御部は、前記エフェクトとして画像を出力させ、前記属性処理部は、前記エフェクトに置かれた物体に対して該エフェクトに対応する属性を関連付ける、前記（１３）または（１４）に記載の情報処理装置。
（１６）
　センシング可能領域において物体及び操作体を検出することと、
　前記センシング可能領域で操作体から物体が離れたことが検出されたことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付けることと、
をプロセッサが行うことを含む、情報処理方法。
（１７）
　コンピュータに、
　センシング可能領域において物体及び操作体を検出することと、
　前記センシング可能領域で操作体から物体が離れたことが検出されたことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付けることと、
を実行させる、コンピュータプログラム。

　１００　　情報処理システム
　２００　　物体情報制御部

Claims

　センシング可能領域において物体及び操作体を検出する検出部と、
　前記センシング可能領域で操作体から物体が離れたことを前記検出部が検出したことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付ける属性処理部と、
を備える、情報処理装置。
　前記属性処理部は、前記センシング可能領域で物体が操作体に近接又は接触したことを前記検出部が検出したことに基づき前記物体に関連付けられていた属性を前記操作体に関連付ける、請求項１に記載の情報処理装置。
　前記属性処理部は、センシングの奥行き方向において、前記操作体が物体のセンシングを少なくとも一部遮蔽する位置に動いたことを前記検出部が検出したことに基づき、前記物体に関連付けられていた属性を前記操作体に関連付ける、請求項１に記載の情報処理装置。
　前記属性処理部は、前記センシング可能領域で操作体から物体が離れたことを前記検出部が検出し、該物体の近傍に操作体が存在していなければ、該物体に関連付けられる属性を未知のものとして処理する、請求項１に記載の情報処理装置。
　前記属性処理部は、物体を持った操作体が前記センシング可能領域内に存在しないこと検出部が検出したことに基づき、該物体に関連付けられていた属性を消去する、請求項１に記載の情報処理装置。
　前記属性処理部は、物体を持った操作体が前記センシング可能領域内に存在しないことを前記検出部が検出しても、該物体に関連付けられていた属性を保持したままにする、請求項１に記載の情報処理装置。
　前記属性処理部の処理に基づいて前記センシング可能領域に情報を出力させる出力制御部をさらに備える、請求項１に記載の情報処理装置。
　前記出力制御部は、前記センシング可能領域に物体が置かれたことに基づき、前記属性処理部により該物体に関連付けられている属性に関する情報を出力させる、請求項７に記載の情報処理装置。
　前記出力制御部は、前記センシング可能領域に置かれた物体に対し、該物体に関連付けられている属性に関する情報を投影させる、請求項８に記載の情報処理装置。
　前記出力制御部は、前記センシング可能領域に置かれた物体に対する操作が行われたことに基づき、該物体に関連付けられている属性に関する情報を出力させる、請求項８に記載の情報処理装置。
　前記出力制御部は、前記属性に関する情報として音を出力させる、請求項１０に記載の情報処理装置。
　前記属性処理部は、前記出力制御部により表示される情報の所定の領域に、属性が関連付けられていない物体が置かれたことを前記検出部が検出したことに基づき、前記領域に対応する属性を前記物体に関連付ける、請求項７に記載の情報処理装置。
　前記出力制御部は、属性が関連付けられている物体同士を結びつける動作が実行されたことを前記検出部が検出したことに基づき、該動作に応じたエフェクトを出力させる、請求項７に記載の情報処理装置。
　前記動作は、前記物体を囲む軌跡をユーザが描くことである、請求項１３に記載の情報処理装置。
　前記出力制御部は、前記エフェクトとして画像を出力させ、前記属性処理部は、前記エフェクトに置かれた物体に対して該エフェクトに対応する属性を関連付ける、請求項１３に記載の情報処理装置。
　センシング可能領域において物体及び操作体を検出することと、
　前記センシング可能領域で操作体から物体が離れたことが検出されたことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付けることと、
をプロセッサが行うことを含む、情報処理方法。
　コンピュータに、
　センシング可能領域において物体及び操作体を検出することと、
　前記センシング可能領域で操作体から物体が離れたことが検出されたことに基づき、前記操作体に関連付けられていた属性を前記物体に関連付けることと、
を実行させる、コンピュータプログラム。