WO2021084882A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2021084882A1
WO2021084882A1 PCT/JP2020/032435 JP2020032435W WO2021084882A1 WO 2021084882 A1 WO2021084882 A1 WO 2021084882A1 JP 2020032435 W JP2020032435 W JP 2020032435W WO 2021084882 A1 WO2021084882 A1 WO 2021084882A1
Authority
WO
WIPO (PCT)
Prior art keywords
real
real object
information processing
image
function execution
Prior art date
Application number
PCT/JP2020/032435
Other languages
English (en)
French (fr)
Inventor
高志 瀬能
智也 石川
岳 成田
都夢 田原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2021084882A1 publication Critical patent/WO2021084882A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the AR application that controls the display of the AR image can make the character act according to the semantic consistency of the real object in the real world, for example, by using the environment recognition technology. Specifically, for example, a character can be made to perform a character action such as sitting on a sofa in the real world.
  • an AR image display control unit that executes display control for causing a character, which is a virtual object to be displayed in an AR (Augmented Reality) image, to operate an operation target object, which is a real object in the AR image, and a character. It has a real object function execution control unit that controls to execute the function of the function execution object which is the real object associated with the operation target object operated by.
  • the real object function execution control unit identifies the function execution object by referring to the correspondence data between the operation target object and the function execution object.
  • the information processing device of the present disclosure is an image displayed by superimposing a virtual object on an image taken by a camera in real space, that is, a virtual object displayed in an image called an augmented reality (AR) image or an AR image. It has a configuration in which a character is made to operate a real object in the real world (operation object such as a remote control), and the real object in the real world (function execution object such as a television) is controlled based on the operation.
  • operation object such as a remote control
  • function execution object such as a television
  • the television 11 and the TV remote controller 12 which are real objects existing in the real world are displayed. Further, in the AR image at time t1, a character 20 which is a virtual object that does not exist in the real world is displayed.
  • the information processing device of the present disclosure controls the real object based on the operation of the remote controller 12, for example, the television 11 which is a real object in the real world, in addition to the display control of the character 20. Specifically, ON / OFF control of the television 11 and the like are executed.
  • the real object-relational database 114 is composed of (1) real object analysis data and (2) real object-relational data.
  • Step S101 First, the real object-relational database generation unit 113 executes the information input process in step S101. For example, as shown in FIG. 4, an image taken by using the camera 112 is input.
  • the information input is an information input for generating the real object-relational database 114, and the user may input various information via the input unit 111, not limited to the image captured by the camera. A specific example of the information input process will be described.
  • step S101 of the flow shown in FIG. 5 can be executed by any or a combination of these various methods.
  • step S102 the processing of step S102 and the following of the flow shown in FIG. 5 will be described.
  • real object analysis data (2) real object-relational data described with reference to FIG. 3 above.
  • a real object-relational database 114 having each of these data is generated.
  • the TSDF expression format of the existing technology can be used.
  • the object structure is expressed as a volume which is a three-dimensional space, and the distance from the depth value acquired by the depth camera is stored in each of the cubic voxels which are the volume components with a code. It is a map.
  • TSDF Volume Volumetric Truncated Signed Distance Function
  • FIG. 11 shows the configuration data of the real object-relational database 114 described above with reference to FIG. (1) Real object analysis data (2) Real object-relational data With each of these data, (A) Instance ID-Object ID correspondence data described above with reference to FIG. 10 Each of these data is shown.
  • the function to be executed differs depending on the combination of the operation target object and the function execution object. For example, when the operation target object is a TV remote controller and the function execution object is a TV, the TV switch ON / OFF, channel switching, volume adjustment, and the like are performed. When the operation target object is an air conditioner remote controller and the function execution object is an air conditioner, the air conditioner is switched on / off, the set temperature is adjusted, and the like. When the operation target object is a lighting switch and the function execution object is lighting, lighting ON / OFF, brightness adjustment, and the like are performed.
  • the environment map generation / update unit 115 inputs a captured image of the camera 112, for example, an image including depth information, and generates and updates an environment map which is analysis information of a real object existing in the image capturing environment. ..
  • the generated and updated environment map is stored in the storage unit 116.
  • This process is a process executed by the application control unit 118, the AR image display control unit 119, and the real object function execution control unit 120 of the information processing apparatus 100 shown in FIG. 2, and is the process described above with reference to FIG. Corresponds to.
  • the function to be executed differs depending on the combination of the operation target object and the function execution object.
  • the operation target object is a TV remote controller and the function execution object is a TV
  • the TV switch ON / OFF, channel switching, volume adjustment, and the like are performed.
  • What kind of function is to be executed by the function execution object can be determined by, for example, the program generated by the application creator described above.
  • the real-time real object-relational table generation unit The feature data of the object recorded in the real object-relational database that records the feature information of the real object, By executing the matching process with the characteristics of the real object acquired from the environment map, it is determined which registered object in the real object-relational database the object existing in the current environment map generation target area corresponds to.
  • the information processing apparatus according to (4), which generates the real-time real object relational table.
  • a configuration for executing the function of the function execution object which is a real object associated with the operation target object operated by the character in the AR image.
  • an AR image display control unit that executes display control for causing a character, which is a virtual object to be displayed in an AR (Augmented Reality) image, to operate an operation target object, which is a real object in the AR image, and a character.
  • It has a real object function execution control unit that controls to execute the function of the function execution object which is the real object associated with the operation target object operated by.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ＡＲ画像内のキャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる構成を実現する。ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御部と、キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御部を有する。実オブジェクト機能実行制御部は、操作対象オブジェクトと機能実行オブジェクトとの対応関係データを参照して機能実行オブジェクトを特定する。

Description

情報処理装置、および情報処理方法、並びにプログラム
　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、ＡＲ画像に表示される仮想オブジェクト、例えばキャラクタに実世界のリモコンやスイッチ等、実オブジェクトの操作を行わせ、その操作に応じて実世界のテレビ等の実オブジェクトを動作させる制御を可能とした情報処理装置、および情報処理方法、並びにプログラムに関する。
　実空間のカメラ撮影画像に仮想オブジェクトを重畳して表示した画像は拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像やＡＲ画像と呼ばれる。ＡＲ画像の表示制御等を実行するアプリケーションはＡＲアプリケーションと呼ばれる。
　ＡＲ画像を利用したコンテンツやゲームでは、人間と同じような動きをする仮想オブジェクト、例えばキャラクタを表示することが多い。
　例えばコンテンツやゲーム内のキャラクタを人と同じように動かすことで、キャラクタのリアリティを高めることができる。
　ＡＲ画像の表示制御を行うＡＲアプリケーションは、環境認識技術を用いることで、例えばキャラクタを実世界の実オブジェクトの意味的整合性に従って行動させることができる。具体的には、例えばキャラクタを実世界のソファに腰掛けさせるといったキャラクタ動作を行わせることができる。
　なお、このようなキャラクタ動作を制御するＡＲ画像制御処理について開示した従来技術として、例えば特許文献１（特表２０１６－５１６２４１号公報）や、特許文献２（特開２０１８－１４２０９０号公報）がある。
　しかし、上記文献も含め、既存技術には実世界の実オブジェクトに合わせてＡＲキャラクタのふるまいを変化させる構成を開示しているものはあるが、ＡＲキャラクタが実世界の実オブジェクトに作用を及ぼす構成について開示したものは少ない。
特表２０１６－５１６２４１号公報 特開２０１８－１４２０９０号公報
　本開示は、ＡＲ画像に表示される仮想オブジェクト、例えばキャラクタに実世界のリモコンやスイッチ等、実オブジェクトの操作を行わせ、その操作に応じて実世界のテレビ等の実オブジェクトを動作させる制御を実現する情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御部と、
　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御部を有する情報処理装置にある。
　さらに、本開示の第２の側面は、
　情報処理装置において実行する情報処理方法であり、
　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像表示制御部が、
　ＡＲ画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御ステップと、
　実オブジェクト機能実行制御部が、
　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御ステップを実行する情報処理方法にある。
　さらに、本開示の第３の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像表示制御部に、
　ＡＲ画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行させるＡＲ画像表示制御ステップと、
　実オブジェクト機能実行制御部に、
　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御ステップを実行させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、ＡＲ画像内のキャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる構成が実現される。
　具体的には、例えば、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御部と、キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御部を有する。実オブジェクト機能実行制御部は、操作対象オブジェクトと機能実行オブジェクトとの対応関係データを参照して機能実行オブジェクトを特定する。
　本構成により、ＡＲ画像内のキャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる構成が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の情報処理装置の実行する処理の概要について説明する図である。 本開示の情報処理装置の一構成例を示すブロック図である。 実オブジェクト関係データベースのデータ構成例について説明する図である。 実オブジェクト関係データベースの生成処理の一例について説明する図である。 実オブジェクト関係データベース生成部の実行する処理について説明する図である。 環境マップ生成、更新部の実行する処理について説明する図である。 環境マップに記録されるインスタンスＩＤの具体例について説明する図である。 環境マップに記録されるオブジェクト機能ラベルの具体例について説明する図である。 リアルタイム実オブジェクト関係テーブル生成部の実行する処理について説明する図である。 リアルタイム実オブジェクト関係テーブル生成部の実行する処理について説明する図である。 リアルタイム実オブジェクト関係テーブル生成部の生成するリアルタイム実オブジェクト関係テーブルの具体例について説明する図である。 アプリケーション制御部と、ＡＲ画像表示制御部と、実オブジェクト機能実行制御部の実行する処理について説明する図である。 本開示の情報処理装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 情報処理装置のハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の情報処理装置の実行する処理の概要について
　２．本開示の情報処理装置の構成と実行する処理の詳細について
　３．本開示の情報処理装置の各構成部の実行する処理の詳細について
　３－（１）実オブジェクト関係データベース生成部の実行する処理の詳細について
　３－（２）環境マップ生成、更新部の実行する処理の詳細について
　３－（３）リアルタイム実オブジェクト関係テーブル生成部の実行する処理の詳細について
　３－（４）アプリケーション制御部、ＡＲ画像表示制御部、実オブジェクト機能実行制御部の実行する処理の詳細について
　４．本開示の情報処理装置の実行する処理の全体シーケンスについて
　５．情報処理装置のハードウェア構成例について
　６．本開示の構成のまとめ
　　［１．本開示の情報処理装置の実行する処理の概要について］
　まず、図１を参照して、本開示の情報処理装置の実行する処理の概要について説明する。
　本開示の情報処理装置は、実空間のカメラ撮影画像に仮想オブジェクトを重畳して表示する画像、いわゆる拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像やＡＲ画像とよばれる画像内に表示する仮想オブジェクトであるキャラクタに実世界の実オブジェクト（リモコン等の操作オブジェクト）を操作させ、その操作に基づいて実世界の実オブジェクト（テレビ等の機能実行オブジェクト）を制御する構成を有する。
　具体的には、例えば、キャラクタに実世界にあるテレビやエアコン、あるいは照明等のリモコンやスイッチを操作させ、この操作に基づいて実世界にあるテレビやエアコンや照明のＯＮ／ＯＦＦ処理等の制御を行う。
　このように、本開示の情報処理装置は、リモコンを使ったテレビの操作、スイッチを使った照明の操作など、ＡＲキャラクタによる実世界の実オブジェクトの操作に基づいて実世界の実オブジェクトの制御を行うことを可能とした構成を有する。
　図１を参照して本開示の情報処理装置の実行する処理の具体例について説明する。
　図１には、本開示の情報処理装置の制御により表示部に表示される以下の２つのＡＲ画像の例を示している。
　（１）ＡＲ画像＠ｔ１
　（２）ＡＲ画像＠ｔ２
　ＡＲ画像＠ｔ１は時間ｔ１のＡＲ画像であり、ＡＲ画像＠ｔ２は時間ｔ１の後の時間ｔ２のＡＲ画像である。
　なお、ＡＲ画像を表示する表示部は、ＡＲ画像の表示制御等を実行する情報処理装置に一体化された表示部であってもよいし、情報処理装置とネットワーク接続された表示装置の表示部であってもよい。
　図１に示すように時間ｔ１のＡＲ画像には、実世界に存在する実オブジェクトであるテレビ１１とＴＶリモコン１２が表示されている。
　さらに、時間ｔ１のＡＲ画像には、実世界に存在しない仮想オブジェクトであるキャラクタ２０が表示されている。
　本開示の情報処理装置は、このように実世界に存在する実オブジェクトからなる画像に、実世界に存在しない仮想オブジェクトを重畳表示したＡＲ画像を生成して表示する。
　本開示の情報処理装置は、さらに、ＡＲ画像に表示された仮想オブジェクトであるキャラクタ２０の表示制御を実行し、キャラクタ２０にＴＶリモコン１２の操作を実行させる。具体的には、キャラクタ２０をテーブルの上にあるＴＶリモコン１２の位置まで移動させ、キャラクタ２０の手を、リモコン１２に触れさせる。すなわちキャラクタ２０がリモコン操作を行っているようにキャラクタ２０の表示制御を実行する。
　さらに、本開示の情報処理装置は、このキャラクタ２０の表示制御に併せて、リモコン１２の操作に基づく実オブジェクトの制御、例えば実世界の実オブジェクトであるテレビ１１の制御を行う。具体的には、テレビ１１のＯＮ／ＯＦＦ制御等を実行する。
　これらの制御結果のＡＲ画像が図１（２）に示す時間ｔ２のＡＲ画像である。この時間ｔ２のＡＲ画像に表示される実オブジェクトであるテレビ１１はＯＮとなり、ＴＶに画像が表示されている。
　このように、本開示の情報処理装置は、ＡＲ画像内に表示する仮想オブジェクトであるキャラクタに実世界の実オブジェクト（リモコン等の操作オブジェクト）を操作する行動を行わせ、この操作行動に応じて実世界の実オブジェクト（テレビ等の機能実行オブジェクト）を、実際に制御して機能を実行させる。
　　［２．本開示の情報処理装置の構成と実行する処理の詳細について］
　次に、本開示の情報処理装置の構成と実行する処理の詳細について説明する。
　本開示の情報処理装置１００の構成例を図２に示す。
　図２に示すように、本開示の情報処理装置１００は、入力部１１１、カメラ１１２、実オブジェクト関係データベース生成部１１３、実オブジェクト関係データベース１１４、環境マップ生成、更新部１１５、記憶部１１６、リアルタイム実オブジェクト関係テーブル生成部１１７、アプリケーション制御部１１８、ＡＲ画像表示制御部１１９、実オブジェクト機能実行制御部１２０、表示部１２１を有する。
　なお、これらの構成は、１つの情報処理装置内にすべて構成してもよいし、複数の情報処理装置に分散して構成することも可能である。
　例えば、表示部１２１は、スマホ、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）等の表示部を利用し、それ以外の構成はＰＣ等の装置内に構成してもよい。
　また、カメラ１１２は、情報処理装置１００と通信可能なカメラを利用可能である。
　また、図２に示す情報処理装置１００の一部構成は、ネットワーク接続されたサーバ内に構成してもよい。
　まず、情報処理装置１００の各構成要素を理容して実行される一連の処理について説明する。その後、各構成要素の実行する処理の詳細について後段で順次、説明する。
　入力部１１１は、キーボード、マウス、センサ、音声入力部等によって構成される。カメラ１１２は、例えばＲＧＢカラー画像を撮影するＲＧＢカメラ、あるいはＲＧＢカラー画像に併せて被写体距離情報であるデプスデータを取得可能なＲＧＢＤカメラ等によって構成される。
　実オブジェクト関係データベース生成部１１３は、入力部１１１、またはカメラ１１２の撮影画像を入力し、実オブジェクト関係データベース１１４を生成する。
　実オブジェクト関係データベース１１４は、実世界に存在する実オブジェクトの解析データによって構成されるデータであり、以下の２つのデータによって構成される。
　（１）リモコン等の実オブジェクトのオブジェクト名と、そのオブジェクトの特徴（サイズ、色、位置）等の対応データから構成される実オブジェクト解析データ、
　（２）ＡＲ画像に表示する仮想オブジェクトであるキャラクタの操作対象となるリモコン等の操作対象オブジェクトと、その操作対象オブジェクトの操作によって制御されるテレビ等の機能実行オブジェクトとの対応データを記録した実オブジェクト関係データ
　実オブジェクト関係データベース１１４は、これらの２つのデータによって構成される。
　実オブジェクト関係データベース生成部１１３の実行する処理と、実オブジェクト関係データベース１１４の具体的な処理については後段で説明する。
　なお、実オブジェクト関係データベース１１４の生成処理は、ＡＲ画像に表示するキャラクタの表示制御や、キャラクタによるリモコン操作によるテレビの制御処理等の機器制御処理を行う前の事前準備処理として実行する。
　環境マップ生成、更新部１１５から後段の処理部は、ＡＲ画像に表示するキャラクタの表示制御や、キャラクタによるリモコン操作によるテレビの制御処理等の機器制御処理を行う処理部である。
　これらの処理は、事前に生成された実オブジェクト関係データベース１１４のデータを参照して行われる。
　環境マップ生成、更新部１１５は、現在のカメラ１１２の撮影画像を入力し、現在の撮影環境に実在する実オブジェクトの解析情報である環境マップを生成、または更新する。生成、または更新された環境マップは記憶部１１６に格納される。
　なお、「環境マップ」とは、カメラ撮影画像に含まれる実オブジェクト各々の種類等の情報を持つマップである。例えば、マップ生成対象領域に存在するオブジェクトの３Ｄ（３次元）形状や、３Ｄ形状上の各点のオブジェクト種類を示すオブジェクトカテゴリラベル等を含むマップである。オブジェクトカテゴリラベルは、インスタンスラベル、あるいはインスタンスＩＤとも呼ばれる。
　この環境マップ生成、更新部１１５の実行する処理の詳細と環境マップの具体例については後段で説明する。
　リアルタイム実オブジェクト関係テーブル生成部１１７は、環境マップ生成、更新部１１５が生成または更新した最新の環境マップと、実オブジェクト関係データベース１１４に格納されたデータを参照して、今、現在の実オブジェクト間の関係データ、すなわち、キャラクタに操作させる操作対象オブジェクトと、その操作対象オブジェクトの操作によって制御される機能実行オブジェクトとの対応データを、現時点の環境マップに設定されるインスタンスＩＤを用いて記録したリアルタイム実オブジェクト関係テーブルを生成する。
　この具体的処理例については後述する。
　アプリケーション制御部１１８は、ＡＲ画像表示制御部１１９と、実オブジェクト機能実行制御部１２０を制御する。
　ＡＲ画像表示制御部１１９は、表示部１２１に表示するＡＲ画像の表示制御を行う。具体的には、ＡＲ画像に表示するキャラクタに操作対象オブジェクト（例えばＴＶリモコン）を操作させる画像表示制御を実行する。
　実オブジェクト機能実行制御部１２０は、キャラクタが操作した操作対象オブジェクト（例えばＴＶリモコン）によって制御される実オブジェクト（例えばテレビ）を制御して実オブジェクト（例えばテレビ）の機能を実行、例えばテレビのＯＮ／ＯＦＦ制御等を実行する。
　　［３．本開示の情報処理装置の各構成部の実行する処理の詳細について］
　次に、本開示の情報処理装置の各構成部の実行する処理の詳細について説明する。
　以下の各構成部の実行する処理の詳細について、順次、説明する。
　（１）実オブジェクト関係データベース生成部１１３の実行する処理、
　（２）環境マップ生成、更新部１１５の実行する処理、
　（３）リアルタイム実オブジェクト関係テーブル生成部１１７の実行する処理、
　（４）アプリケーション制御部１１８、ＡＲ画像表示制御部１１９、実オブジェクト機能実行制御部１２０の実行する処理、
　　（３－（１）実オブジェクト関係データベース生成部の実行する処理の詳細について）
　まず、実オブジェクト関係データベース生成部１１３の実行する処理の詳細について説明する。
　前述したように、実オブジェクト関係データベース生成部１１３は、入力部１１１、またはカメラ１１２の撮影画像を入力し、実オブジェクト関係データベース１１４を生成する。
　実オブジェクト関係データベース１１４の具体例を図３に示す。
　図３に示すように、実オブジェクト関係データベース１１４は、実世界に存在する実オブジェクトの解析データによって構成されるデータであり、以下の２つのデータによって構成される。
　（１）実オブジェクト解析データ
　（２）実オブジェクト関係データ
　図３に示すように、（１）実オブジェクト解析データには、以下の各データの対応データが記録される。
　（ａ）オブジェクトＩＤ
　（ｂ）オブジェクト名
　（ｃ）オブジェクト特徴
　（ｃ）オブジェクト特徴には、以下の各データが記録される。
　（ｃ１）サイズ
　（ｃ２）色
　（ｃ３）位置（基準オブジェクトと相対位置）
　このように、（１）実オブジェクト解析データは、実オブジェクト単位の識別子であるオブジェクトＩＤと、リモコン等の実オブジェクトのオブジェクト名と、そのオブジェクトの特徴（サイズ、色、位置）等の対応データから構成される。
　また、図３に示すように、（２）実オブジェクト関係データには、以下の各データの対応データが記録される。
　（ｘ）操作対象オブジェクトＩＤ
　（ｙ）機能実行オブジェクトＩＤ
　（ｘ）操作対象オブジェクトＩＤは、ＡＲ画像に表示する仮想オブジェクトであるキャラクタの操作対象となるリモコン等の操作対象オブジェクトのオブジェクトＩＤである。
　（ｙ）機能実行オブジェクトＩＤは、（ｘ）操作対象オブジェクトＩＤとして登録されたＩＤ対応の実オブジェクト（リモコン等）の操作によって制御されるテレビ等の機能実行オブジェクトのＩＤである。
　（２）実オブジェクト関係データに記録するＩＤは、（１）実オブジェクト解析データに記録されたＩＤを用いる。
　すなわち、（１）実オブジェクト解析データに登録された実オブジェクトのＩＤを用いて、（２）実オブジェクト関係データが生成される。このように図３に示す（１），（２）の２つのデータは関連付けられている。実オブジェクト関係データベース１１４は、これら（１）実オブジェクト解析データと、（２）実オブジェクト関係データによって構成される。
　実オブジェクト関係データベース生成部１１３は、入力部１１１、またはカメラ１１２の撮影画像を入力し、図３に示すような
　（１）実オブジェクト解析データ
　（２）実オブジェクト関係データ
　これらの各データを有する実オブジェクト関係データベース１１４を生成する。
　図３に示すデータは、例えば図４に示す実オブジェクトの配置された環境に基づいて生成されるデータベースである。
　図４に示すように、テレビやエアコン、さらにこれらを操作するリモコン等の様々な実オブジェクトが配置された環境における各実オブジェクトの解析結果に基づいて、図３に示すデータ構成を持つ実オブジェクト関係データベース１１４が生成される。
　例えば、図３に示す（１）実オブジェクト解析データ中のＩＤ＝１は、リモコンであり、５×１５×２（ｃｍ）のサイズを有し、色が白である。
　また、オブジェクトＩＤ＝３のオブジェクトはテレビであることが登録されている。
　さらに、図３に示す（２）実オブジェクト関係解析データの最初のエントリとして、
　（ｘ）操作対象オブジェクトＩＤ＝１
　（ｙ）機能実行オブジェクトＩＤ＝３
　この対応データが登録されている。
　この対応データは、操作対象オブジェクトＩＤ＝１の実オブジェクトの操作により、機能実行オブジェクトＩＤ＝３の実オブジェクトが制御される関係であることを意味している。
　図３に示す（１）実オブジェクト解析データの登録データから、オブジェクトＩＤ＝１のオブジェクトは、リモコンであり、オブジェクトＩＤ＝３のオブジェクトは、テレビであると判定できるので、オブジェクトＩＤ＝１のリモコンはテレビのリモコンであると判断できる。
　なお、このリモコンは、図４に示すテーブルの上のテレビリモコンに相当する。
　図３に示す（１）実オブジェクト解析データには、オブジェクトＩＤ＝１のオブジェクトであるリモコンの（ｃ）オブジェクト特徴として、
　（ｃ１）サイズ＝５×１５×２
　（ｃ２）色＝白
　これらのオブジェクト特徴データも記録されている。
　後段で説明するが、リアルタイム実オブジェクト関係テーブル生成部１１７は、これらの実オブジェクト関係データベース１１４の登録データを参照して、現在の状況を反映した実オブジェクト関係テーブルを生成する。
　アプリケーション制御部１１８や、ＡＲ画像表示制御部１１９や、実オブジェクト機能実行制御部１２０は、リアルタイム実オブジェクト関係テーブル生成部１１７が生成した実オブジェクト関係テーブルを利用して、ＡＲ画像上のキャラクタに操作対象オブジェクト（リモコン等）を操作させ、その操作対象オブジェクトに対応づけられた機能実行オブジェクト（テレビ等）を動作させる。
　図５は、実オブジェクト関係データベース生成部１１３が実行する実オブジェクト関係データベース１１４の生成シーケンスを説明するフローチャートである。
　このフローの各ステップの処理について説明する。
　　（ステップＳ１０１）
　まず、実オブジェクト関係データベース生成部１１３はステップＳ１０１において情報入力処理を実行する。
　例えば図４に示すようにカメラ１１２を用いて撮影した画像を入力する。
　なお、情報入力は、実オブジェクト関係データベース１１４を生成するための情報入力であり、カメラ撮影画像に限らず、入力部１１１を介してユーザが様々な情報を入力してもよい。
　情報入力処理の具体例について説明する。
　（ａ）ユーザによるテキスト情報入力
　テキストで実オブジェクトの情報や、実オブジェクト間の関係（操作対象オブジェクトと機能実行オブジェクトの対応関係等）を入力する。
　例えば「白色で２ｘ３ｘ１０ｃｍのリモコンがテレビの上のエアコンに対応する」などのテキストデータを入力する。このときの記述方法は自由記述でも良いし、選択肢を提示してユーザが選択する方式でもよい。
　（ｂ）ユーザによる音声情報入力
　音声で実オブジェクトの情報や、実オブジェクト間の関係（操作対象オブジェクトと機能実行オブジェクトの対応関係等）を入力する。
　例えば「白色で２ｘ３ｘ１０ｃｍのリモコンがテレビの上のエアコンに対応する」などの音声データを入力する。このときの記述方法は自由記述でも良いし、音声ガイダンスに従って記述する方式でもよい。
　（ｃ）システム開発者による一般的知識の事前入力
　システム開発者により、あらかじめ一般的な事前知識を入力しておいてもよい。例えば「壁についているスイッチは部屋の照明に対応する」などの一般的知識を情報処理装置１００内の記憶部に記録しておき、実オブジェクト関係データベース生成部１１３がこれを読み取る。あるいは、実オブジェクト関係データベース生成部１１３が外部のサーバ等から提供される情報を取得する構成としてもよい。
　（ｄ）カメラ撮影画像の入力
　図４を参照して説明したようにカメラにより対象領域の撮影画像を入力する。
　（ｅ）実オブジェクトのカタログ等の説明情報の入力
　例えば製品カタログなど、特定のオブジェクトの情報が記載されたカタログを入力する。
　例えばテレビのカタログには、リモコンやテレビの写真やサイズ、色情報が記載されており、実オブジェクト関係データベース生成部１１３がこれらを読み取る。
　カタログ等の説明情報の入力手法としては、インターネット上のカタログサイトのアクセスや、カタログデータの直接入力などが可能である。
　図５に示すフローのステップＳ１０１の情報入力処理は、これら様々な方法のいずれか、あるいは組み合わせて実行することが可能である。
　次に、図５に示すフローのステップＳ１０２以下の処理について説明する。
　　（ステップＳ１０２）
　実オブジェクト関係データベース生成部１１３は、ステップＳ１０２において、ステップＳ１０１で入力した情報に基づいて実オブジェクト解析データと、実オブジェクト関係解析データの生成に必要となる入力情報解析処理を実行する。
　先に説明したように、実オブジェクト関係解析データに記録するオブジェクトの関係は、具体的には、操作対象オブジェクトと、機能実行オブジェクトとの関係である。
　実オブジェクト関係データベース生成部１１３は、ステップＳ１０１における入力情報に応じた解析処理を実行する。例えば、以下のような入力情報に応じたデータ解析を行う。
　（ａ）ユーザによるテキスト情報入力に対する解析処理
　入力テキストを機械学習により解析し、オブジェクトの特徴や、オブジェクト間の関係を出力する。
　また、ユーザ入力情報が、選択肢が提示されたテキスト情報に対するユーザ選択情報を入力した場合は、ユーザの選択した情報に基づいて、オブジェクトの特徴や、オブジェクト間の関係を出力する。
　（ｂ）ユーザによる音声情報入力に対する解析処理
　入力音声を機械学習により解析し、オブジェクトの特徴、オブジェクト間の関係を出力する。
　また、ユーザ入力音声が、ガイダンスに従った音声である場合は、各ガイダンス内容に対応する音声の解析を行って、オブジェクトの特徴や、オブジェクト間の関係を出力する。
　（ｃ）カメラ撮影画像の入力
　カメラ撮影画像を解析してオブジェクトの特徴、オブジェクト間の関係を出力する。
　例えば、以下のような解析処理が可能である。
　一定時間の映像データを解析し、インスタンスセグメンテーションによりオブジェクト単位で分離処理を行う。分離した各オブジェクトに対し、例えばテレビの電源が点く、エアコンの口が開く、など変化が生じる時刻を記録する。また、映像中の人物を、例えばスケルトントラッキング（ｓｋｅｌｅｔｏｎ　ｔｒａｃｋｉｎｇ）を行って追従する。オブジェクトの変化時刻におけるスケルトン（ｓｋｅｌｅｔｏｎ）が別のオブジェクトに作用を及ぼしているかを確認する。作用を及ぼしている場合、作用対象の物体は操作対象オブジェクトであり、変化を生じたオブジェクトは対応する機能実行オブジェクトであると同定する。
　　（ステップＳ１０３）
　次に、実オブジェクト関係データベース生成部１１３は、ステップＳ１０３において、ステップＳ１０２で解析した情報に基づいて実オブジェクト解析データと、実オブジェクト関係解析データから構成される実オブジェクト関係ＤＢ１１４を生成する。
　具体的には、先に図３を参照して説明した
　（１）実オブジェクト解析データ
　（２）実オブジェクト関係データ
　これらの各データを有する実オブジェクト関係データベース１１４を生成する。
　　（３－（２）環境マップ生成、更新部の実行する処理の詳細について）
　まず、環境マップ生成、更新部１１５の実行する処理の詳細について説明する。
　環境マップ生成、更新部１１５は、カメラ１１２の撮影画像、例えばデプス情報とＲＧＢカラー画像を含む画像データを入力し、画像撮影環境に存在する実オブジェクトの解析情報である環境マップを生成、または更新する。生成、更新された環境マップは記憶部１１６に格納する。
　環境マップは、例えば、マップ生成対象領域に存在するオブジェクトの３Ｄ形状や、３Ｄ形状上の各点のオブジェクト種類を示すオブジェクトカテゴリラベル等を含むマップである。
　オブジェクト種類を示すオブジェクトカテゴリラベルは、先に説明した実オブジェクト各々に対応するインスタンスＩＤに相当する。
　具体的には、オブジェクトの種類に応じて異なるオブジェクトカテゴリラベル（インスタンスＩＤ）が設定される。例えば、以下のようなラベルが設定される。
　オブジェクト種類＝エアコン→オブジェクトカテゴリラベル（インスタンスＩＤ）＝００１
　オブジェクト種類＝照明→オブジェクトカテゴリラベル（インスタンスＩＤ）＝００２
　なお、３Ｄ形状の表現形式としては、既存技術の例えばＴＳＤＦ表現形式が利用可能である。
　ＴＳＤＦ表現形式は、オブジェクト構造を立体空間であるボリューム（Ｖｏｌｕｍｅ）として表現し、さらにボリューム（Ｖｏｌｕｍｅ）構成要素である立方体のボクセル各々にデプスカメラが取得したデプス値からの距離を符号付で格納したマップである。このマップは、ＴＳＤＦ空間（ＴＳＤＦ　Ｖｏｌｕｍｅ＝Ｖｏｌｕｍｅｔｒｉｃ　Ｔｒｕｎｃａｔｅｄ　Ｓｉｇｎｅｄ　Ｄｉｓｔａｎｃｅ　Ｆｕｎｃｔｉｏｎ）とも呼ばれる。なお、三次元空間の中の位置領域として定義されるＴＳＤＦ空間（ＴＳＤＦ　Ｖｏｌｕｍｅ）を細分割した１つの立方体をボクセルと呼ぶ。
　オブジェクト種類対応のカテゴリラベル情報の設定処理には、既存技術のパノプティック・フュージョン（Ｐａｎｏｐｔｉｃ　Ｆｕｓｉｏｎ）の利用が可能である。
　この手法は、上述したＴＳＤＦ空間の区分領域である各ボクセルにラベル（ｐａｎｏｐｔｉｃラベル）とその信頼値を格納する手法である。
　本開示の構成では、環境マップ生成、更新部１１５は、カメラ１１２の撮影するデプス情報を含む動画像を構成する各フレーム画像およびその画像の認識結果をレイキャストすることで格納された値を更新する。なお、ボクセルル各々に格納するラベルの種類とその信頼値を増やすことで、例えば機能認識ラベル・材質ラベルなど、複数のラベルを表現することができる。
　図６に示すフローチャートを参照して、環境マップ生成、更新部１１５が実行する処理のシーケンスについて説明する。
　　（ステップＳ１２１）
　まず、環境マップ生成、更新部１１５は、カメラ１１２の撮影するデプス情報を含む動画像を入力する。例えば単眼ＲＧＢＤセンサやステレオカメラを用いて撮影された動画像を入力する。
　入力データには、画像、デプス、カメラパラメータが含まれる。このうちデプスおよびカメラパラメータは、画像の解析により求めてもよい。もしくは、画像とデプスを個別に入力することなく、３Ｄマップを直接入力してもよい。
　　（ステップＳ１２２）
　ステップＳ１２２～Ｓ１２４の処理は、ステップＳ１２１で入力した画像を利用して並列に実行することが可能な処理である。
　ステップＳ１２２の処理は、ｖｉｓｕａｌ　ＳＬＡＭ（Ｓｉｍｕｌｔａｎｉｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）によるＲＧＢＤ画像からの３Ｄマップ生成処理である。ｖｉｓｕａｌ　ＳＬＡＭにより、カメラ撮影画像から３次元マップとカメラの位置姿勢情報を算出することができる。
　　（ステップＳ１２３）
　ステップＳ１２３の処理は、前述したインスタンスセグメンテーションなどの手法を用いて、ＲＧＢ画像内の実オブジェクト領域検出と、検出したオブジェクトの種類を示すオブジェクトカテゴリラベル（インスタンスラベル、あるいはインスタンスＩＤと同じ）の設定処理である。
　オブジェクトカテゴリラベル（インスタンスラベル、あるいはインスタンスＩＤ）は、画像上の各ピクセル単位に設定することができる。
　オブジェクトカテゴリラベル（インスタンスラベル、あるいはインスタンスＩＤ）はオブジェクトの種類に応じた識別子（ＩＤ）となる。
　　（ステップＳ１２４）
　ステップＳ１２４では、入力画像の解析により、画像に含まれる各オブジェクトの機能を解析する。
　このオブジェクト機能解析処理は、例えば既存技術であるアフォーダンス検出手法を用いることができる。
　例えばアフォーダンス検出手法の１つである「Ｗｅａｋｌｙ　Ｓｕｐｅｒｖｉｓｅｄ　Ａｆｆｏｒｄａｎｃｅ　Ｄｅｔｅｃｔｉｏｎ」を用いて、オブジェクト各々の機能解析処理を行うことができる。
　環境マップ生成、更新部１１５は、各オブジェクトの機能解析結果を各オブジェクトに対する機能ラベルとして付与する。
　検出する機能ラベルは、例えば以下のような機能カテゴリ別のララベルが含まれる。
　＊機能ラベルＦ００１＝押せる
　＊機能ラベルＦ００２＝切る
　＊機能ラベルＦ００３＝送風する
　＊機能ラベルＦ００４＝握れる
　＊機能ラベルＦ００５＝映る
　＊機能ラベルＦ００６＝座れる
　＊機能ラベルＦ００７＝寄りかかれる
　＊機能ラベルＦ００８＝開く
　＊機能ラベルＦ００９＝支える
　＊機能ラベルＦ０１０＝照らす
　　（ステップＳ１２５）
　ステップＳ１２２～Ｓ１２４の処理が完了するとステップＳ１２５の処理を実行する。
　環境マップ生成、更新部１１５は、ステップＳ１２２で生成された３Ｄマップと、ステップＳ１２３で解析されたオブジェクト識別情報、ステップＳ１２４で解析されたオブジェクト機能情報、これらの情報を利用して、環境マップの生成、更新を行う。
　一例として３Ｄ形状の表現形式としてＴＳＤＦ表現形式を利用した場合の環境マップの生成、更新処理例について説明する。
　環境マップ生成、更新部１１５は、ステップＳ１２２の処理でｖｉｓｕａｌ　ＳＬＡＭによって生成された最新の３Ｄマップにより更新されたＴＳＤＦの各ボクセルに対して、ステップＳ１２３で解析されたオブジェクト識別情報、ステップＳ１２４で解析されたオブジェクト機能情報を割り当てる。
　すなわち、各ボクセルに対応する画像の各ピクセルに対して、オブジェクト識別結果から得られるオブジェクトカテゴリラベル（インスタンスラベル、あるいはインスタンスＩＤ）と、オブジェクト機能ラベルを設定する。さらに、ボクセルが保持するラベルの信頼値を更新する。
　画像のラベルとレイキャストした対応ボクセルが同じカテゴリのラベルを保持していた場合、ラベルの信頼値を増加し、異なるラベルを保持していた場合ラベルの信頼値を減少させる。
　ラベルの信頼値が予め規定した閾値以下であれば、ボクセルが保持しているラベルを、そのときの認識結果のラベルに置き換えることで更新する。以上の処理により、各フレームの認識結果を環境マップに反映することができる。
　このように、環境マップ生成、更新部１１５は、カメラ撮影画像に基づいて環境マップを生成する。なお、環境マップ生成、更新部１１５は、新たに入力されるカメラ撮影画像に基づいて環境マップの更新処理も実行し、最新の環境マップを図２に示す記憶部１１６に格納する。
　記憶部１１６には最新の撮影画像に基づく最新の環境マップが保持される。
　環境マップには、撮影画像に含まれる実オブジェクトの構成画素（ピクセル）単位でオブジェクトカテゴリラベル（＝インスタンスラベル、インスタンスＩＤ）と、オブジェクト機能ラベルが設定されている。
　環境マップの構成データであるオブジェクト種類を示すインスタンスＩＤの設定例を図７に示す。図７には環境マップに含まれるインスタンスＩＤ（オブジェクトカテゴリラベル）の設定例を示している。
　図７に示す例は、カメラ撮影画像に含まれる実オブジェクトの構成画素（ピクセル）に対応付けられた以下のインスタンスＩＤ（オブジェクトカテゴリラベル）が設定された例である。
　（ａ）エアコン：インスタンスＩＤ＝００１
　（ｂ）照明：インスタンスＩＤ＝００２
　（ｃ）照明スイッチ：インスタンスＩＤ＝００３
　（ｄ）テレビ：インスタンスＩＤ＝００４
　（ｅ）エアコンリモコン：インスタンスＩＤ＝００５
　（ｆ）テレビリモコン：インスタンスＩＤ＝００６
　（ｇ）テーブル：インスタンスＩＤ＝００７
　（ｈ）椅子：インスタンスＩＤ＝００８
　環境マップには、例えばこのようなインスタンスＩＤ（オブジェクトカテゴリラベル）が、実オブジェクトの構成画素（ピクセル）に対応付けられて設定されている。
　また、環境マップの構成データであるオブジェクトの機能を示すオブジェクト機能ラベルの設定例を図８に示す。図８には環境マップに含まれるオブジェクト機能ラベルの設定例を示している。
　図８に示す例は、カメラ撮影画像に含まれる実オブジェクトの構成画素（ピクセル）に対応付けられた以下のオブジェクト機能ラベルが設定された例である。
　（ａ）エアコン：オブジェクト機能ラベル＝Ｆ００３（送風する）
　（ｂ）照明：オブジェクト機能ラベル＝Ｆ０１０（照らす）
　（ｃ）照明スイッチ：オブジェクト機能ラベル＝Ｆ００１（押せる）
　（ｄ）テレビ：オブジェクト機能ラベル＝Ｆ００５（映る）
　（ｅ）エアコンリモコン：オブジェクト機能ラベル＝Ｆ００１（押せる）
　（ｆ）テレビリモコン：オブジェクト機能ラベル＝Ｆ００１（押せる）
　（ｇ）テーブル：オブジェクト機能ラベル＝Ｆ００９（支える）
　（ｈ）椅子：オブジェクト機能ラベル＝Ｆ００６（座れる）
　環境マップには、例えばこのようなオブジェクト機能ラベルが、実オブジェクトの構成画素（ピクセル）に対応付けられて設定されている。
　　（３－（３）リアルタイム実オブジェクト関係テーブル生成部の実行する処理の詳細について）
　次に、（３）リアルタイム実オブジェクト関係テーブル生成部１１７の実行する処理の詳細について説明する。
　先に図２を参照して説明したように、リアルタイム実オブジェクト関係テーブル生成部１１７は、環境マップ生成、更新部１１５が生成または更新した最新の環境マップと、実オブジェクト関係データベース１１４に格納されたデータを参照して、今、現在の実オブジェクト間の関係データ、すなわち、キャラクタに操作させる操作対象オブジェクトと、その操作対象オブジェクトの操作によって制御される機能実行オブジェクトとの対応データを、現時点の環境マップに設定されるインスタンスＩＤを用いて記録したリアルタイム実オブジェクト関係テーブルを生成する。
　図９を参照して、リアルタイム実オブジェクト関係テーブル生成部１１７の実行する処理について説明する。
　図９は、リアルタイム実オブジェクト関係テーブル生成部１１７の実行する処理シーケンスを説明するフローチャートである。
　以下、各ステップの処理の詳細について説明する。
　　（ステップＳ１４１）
　まず、リアルタイム実オブジェクト関係テーブル生成部１１７は、ステップＳ１４１において、環境マップ内オブジェクトが、実オブジェクト関係ＤＢ１１４に登録されたどの実オブジェクトに対応するか解析処理を実行する。
　すなわち、環境マップ生成、更新部１１５が生成し、記憶部１１６に格納された環境マップに含まれる実オブジェクトの各々が、実オブジェクト関係ＤＢ１１４に登録されたどの実オブジェクトにそれぞれ対応するかを解析する。
　前述したように環境マップに含まれる実オブジェクトには、オブジェクトカテゴリラベル（＝インスタンスラベル、インスタンスＩＤ）が設定されており、例えば、インスタンスＩＤごとに点群を抽出することで、オフブジェクト構成点群、すなわち、オブジェクト構成画素領域を取得することができる。
　この、環境マップから取得されるオフブジェクト単位のオブジェクト構成点群と、実オブジェクト関係ＤＢ１１４に登録された実オブジェクト、例えば図３を参照して説明した実オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データに登録された実オブジェクトとの対応関係を解析する。
　図３を参照して説明したように、実オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データには、実オブジェクトのオブジェクト名とオブジェクトの特徴情報（サイズ、色、位置）が記録されている。
　リアルタイム実オブジェクト関係テーブル生成部１１７は、以下の２つの処理（処理１，２）を実行する。
　（処理１）オブジェクト種類マッチング処理
　環境マップから取得された各オブジェクトのオブジェクトカテゴリラベル（インスタンスＩＤ）から判定されるオブジェクト種類（エアコン、テレビ等）と、実オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データのオブジェクト名との比較処理（一致または類似判定処理）
　（処理２）オブジェクト特徴マッチング処理
　環境マップから取得された各オブジェクトの特徴と、実オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データのオブジェクト特徴との比較処理（一致または類似判定処理）
　上記（処理１）において、環境マップから取得された各オブジェクトのオブジェクトカテゴリラベル（インスタンスＩＤ）から判定されるオブジェクト種類（エアコン、テレビ等）と、実オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データのオブジェクト名とが一致、または類似すると判定した場合、（処理２）を行う。
　（処理２）では、環境マップから取得されるオブジェクトと、実オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データの登録データの特徴、例えばサイズ、色、位置の類似度を判定する。
　類似度が予め設定した閾値以上であれば、環境マップから取得されたオブジェクトが、実オブジェクト関係ＤＢ１１４に登録された実オブジェクトに対応すると判定する。
　なお、オブジェクトのサイズの比較処理を行う場合は、環境マップ上のオブジェクトのオブジェクト領域を規定するバウンディングボックスの大きさと、実オブジェクト関係ＤＢ１１４に登録された実オブジェクトのサイズを比較する。
　オブジェクトの色の比較処理は、環境マップ、または環境マップの生成元となるカメラ撮影画像（ＲＧＢ画像）を解析し、オブジェクト領域のＲＧＢ値の中央値を取得し、この中央値と、実オブジェクト関係ＤＢ１１４に登録された実オブジェクトの色情報を比較する。
　また、オブジェクトの位置の比較処理は、環境マップ上のオブジェクトのオブジェクト領域を規定するバウンディングボックスの位置と、実オブジェクト関係ＤＢ１１４に登録された実オブジェクトの位置情報を比較する。
　なお、これらの比較処理において、同じカテゴリのオブジェクトが複数ある場合は、すべてについて、サイズ、位置、位置を比較し、最も類似度が高いものを選択する。
　これらの処理により、環境マップから検出したオブジェクトの各々が、実オブジェクト関係ＤＢ１１４に登録されたどの実オブジェクトに対応するかを解析する。
　この解析結果として、環境マップ内の各オブジェクトに設定されたインスタンスＩＤと、オブジェクト関係ＤＢ１１４に登録された実オブジェクトのオブジェクトＩＤとの対応データを生成する。
　この対応データの例を図１０に示す。
　図１０には、オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データと、（Ｐ）環境マップから取得したオブジェクト対応のインスタンスＩＤを示している。
　図１０に示す、
　（Ａ）インスタンスＩＤ－オブジェクトＩＤ対応データ
　が、「（Ｐ）環境マップから取得したオブジェクト対応のインスタンスＩＤ」と、「オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データに登録されたオブジェクトＩＤ」との対応データである。
　リアルタイム実オブジェクト関係テーブル生成部１１７は、ステップＳ１４１において、このような対応データを生成する。
　この対応データは、環境マップ内オブジェクトが、実オブジェクト関係ＤＢ１１４に登録されたどの実オブジェクトに対応するかを示すデータである。
　　（ステップＳ１４２～Ｓ１４３）
　次に、リアルタイム実オブジェクト関係テーブル生成部１１７は、ステップＳ１４２において、オブジェクト関係解析処理を実行し、ステップＳ１４３において、リアルタイム実オブジェクト関係テーブルを生成する。
　オブジェクト関係とは、操作対象オブジェクトと機能実行オブジェクトとの対応関係である。すなわちＡＲ画像に表示する仮想オブジェクトであるキャラクタの操作対象となるリモコン等の操作対象オブジェクトと、この操作オブジェクト（リモコン等）の操作によって制御される機能実行オブジェクトとの対応関係である。
　この対応関係データを、最新の環境マップから得られる実オブジェクト対応のインスタンスＩＤで示したテーブルであるリアルタイム実オブジェクト関係テーブルを生成する。
　リアルタイム実オブジェクト関係テーブルの具体例について、図１１を参照して説明する。
　図１１には、先に図３を参照して説明した実オブジェクト関係データベース１１４の構成データである、
　（１）実オブジェクト解析データ
　（２）実オブジェクト関係データ
　これらの各データと、
　先に図１０を参照して説明した
　（Ａ）インスタンスＩＤ－オブジェクトＩＤ対応データ
　これらの各データを示している。
　ステップＳ１４２では、先に図１０を参照して説明した
　（Ａ）インスタンスＩＤ－オブジェクトＩＤ対応データ
　この対応データと、実オブジェクト関係データベース１１４の構成データである、
　（２）実オブジェクト関係データ
　これらのデータを用いて、図１１に示す、
　（Ｂ）リアルタイム実オブジェクト関係テーブル
　を生成する。
　図１１に示す（Ｂ）リアルタイム実オブジェクト関係テーブルは、実オブジェクト関係データベース１１４の構成データである、
　（２）実オブジェクト関係データ
　に登録された、
　（ｘ）操作対象オブジェクトＩＤ
　（ｙ）機能実行オブジェクトＩＤ
　これらの対応関係データを、最新の環境マップから得られる実オブジェクト対応のインスタンスＩＤに変換して記録したテーブルである。
　すなわち、（Ｂ）リアルタイム実オブジェクト関係テーブルは、環境マップから得られる実オブジェクト対応のインスタンスＩＤを利用した対応関係データ、すなわち、
　（ｘ）操作対象オブジェクトインスタンスＩＤ
　（ｙ）機能実行オブジェクトインスタンスＩＤ
　これらの対応関係データが記録されたテーブルである。
　この図１１に示す（Ｂ）リアルタイム実オブジェクト関係テーブルと環境マップを利用すれば、環境マップに含まれるインスタンスＩＤが設定された実オブジェクトの対応関係、すなわち、操作対象オブジェクトＩと機能実行オブジェクトとの対応関係を即座に把握することが可能となる。
　アプリケーション制御部１１８や、ＡＲ画像表示制御部１１９や、実オブジェクト機能実行制御部１２０は、リアルタイム実オブジェクト関係テーブル生成部１１７が生成した、この実オブジェクト関係テーブルを利用して、ＡＲ画像上のキャラクタに操作対象オブジェクト（リモコン等）を操作させ、その操作対象オブジェクトに対応づけられた機能実行オブジェクト（テレビ等）を動作させる。
　　（３－（４）アプリケーション制御部、ＡＲ画像表示制御部、実オブジェクト機能実行制御部の実行する処理の詳細について）
　次に、アプリケーション制御部１１８、ＡＲ画像表示制御部１１９、実オブジェクト機能実行制御部１２０の実行する処理の詳細について説明する。
　先に図２を参照して説明したように、アプリケーション制御部１１８は、ＡＲ画像表示制御部１１９と、実オブジェクト機能実行制御部１２０を制御する。
　ＡＲ画像表示制御部１１９は、表示部１２１に表示するＡＲ画像の表示制御を行う。具体的には、ＡＲ画像に表示するキャラクタに操作対象オブジェクト（例えばＴＶリモコン）を操作させる画像表示制御を実行する。
　実オブジェクト機能実行制御部１２０は、キャラクタが操作した操作対象オブジェクト（例えばＴＶリモコン）によって制御される実オブジェクト（例えばテレビ）を制御して実オブジェクト（例えばテレビ）の機能を実行、例えばテレビのＯＮ／ＯＦＦ制御等を実行する。
　また、上述したように、アプリケーション制御部１１８、ＡＲ画像表示制御部１１９、および実オブジェクト機能実行制御部１２０は、リアルタイム実オブジェクト関係テーブル生成部１１７が生成した実オブジェクト関係テーブルを利用して、ＡＲ画像上のキャラクタに操作対象オブジェクト（リモコン等）を操作させ、その操作対象オブジェクトに対応づけられた機能実行オブジェクト（テレビ等）を動作させる。
　アプリケーション制御部１１８は、アプリケーション製作者によって定められた動作をＡＲキャラクタに動作させる。すなわちアプリケーション製作者の生成したプログラムに従ってＡＲキャラクタの行動を決定する。
　アプリケーション製作者の生成したプログラムは、例えば椅子に座り、リモコンを使ってテレビの電源を点け、椅子の上でくつろぐなどの一連のキャラクタ動作を規定したプログラムである。
　しかし、このプログラム自体にはリモコンの位置情報は含まれていない。アプリケーション制御部１１８は、実オブジェクト関係データベース１１４の記録データや、リアルタイム実オブジェクト関係テーブル生成部１１７が生成した実オブジェクト関係テーブルを利用して、実オブジェクトの位置や、実オブジェクトの関係、すなわち操作対象オブジェクトと機能実行オブジェクトとの関係を取得して、キャラクタの具体的な行動を決定する。
　アプリケーション制御部１１８は、実オブジェクト関係データベース１１４の記録データや、リアルタイム実オブジェクト関係テーブル生成部１１７が生成した実オブジェクト関係テーブルを参照することで、どのリモコンを操作するとどのテレビが動作するかを解析する。
　アプリケーション制御部１１８は、この解析結果に基づいて、キャラクタをプログラムに従って動作させるための行動態様、すなわち、現在の実環境におけるテレビのリモコン位置にキャラクタを移動させて、キャラクタの手をリモコンに触れさせる具体的な動作を決定することができる。
　アプリケーション制御部１１８は、アプリケーション製作者の生成したプログラムをベースとして、このプログラムに従った行動を実環境内でキャラクタに実行させるための修正プログラムを生成し、この修正プログラムによって規定されるキャラクタ動作制御情報をＡＲ画像表示制御部１１９に出力する。
　図１２は、アプリケーション制御部１１８と、ＡＲ画像表示制御部１１９と、実オブジェクト機能実行制御部１２０の実行する処理を説明するフローチャートである。
　左側にＡＲ画像表示制御部１１９の実行する処理（処理ステップＳ１５１）を示し、右側に実オブジェクト機能実行制御部１２０の実行する処理（処理ステップＳ１６１）を示している。
　図１２に示すように、アプリケーション制御部１１８は、キャラクタ動作制御情報をＡＲ画像表示制御部１１９に出力する。
　ＡＲ画像表示制御部１１９は、ステップＳ１５１において、アプリケーション制御部１１８から入力するキャラクタ動作制御情報に従って表示部１２１に表示するキャラクタの表示制御を実行する。
　すなわち、実際のテーブルやテレビ、リモコン等の実オヤブジェクトが存在する空間に仮想オブジェクトであるキャラクタを重畳表示して、アプリケーション制御部１１８から入力するキャラクタ動作制御情報に従って動作するキャラクタの表示を実行する。
　アプリケーション制御部１１８は、さらに、ＡＲ画像上に表示されたキャラクタが操作対象オブジェクト（例えばテレビリモコン）に触れるタイミングで、この操作対象オブジェクトに対応づけられた機能実行オブジェクト（例えばテレビ）の機能を実行（例えばテレビのスイッチＯＮ）させるため、機能実行オブジェクトのＩＤを実オブジェクト機能実行制御部１２０に出力する。
　実オブジェクト機能実行制御部１２０は、図１２に示すステップＳ１６１において、アプリケーション制御部１１８から受け取った機能実行オブジォクトＩＤに基づいて、どの物体を実行するかを判断し、機能を実行する。
　実行する機能は、操作対象オブジェクトと機能実行オブジェクトの組み合わせによって異なるものとなる。
　例えば、操作対象オブジェクトがテレビリモコンであり、機能実行オブジェクトがテレビの場合は、テレビのスイッチＯＮ／ＯＦＦ、チャンネル切り替え、音量調整等である。
　また、操作対象オブジェクトがエアコンリモコンであり、機能実行オブジェクトがエアコンの場合は、エアコンのスイッチＯＮ／ＯＦＦ、設定温度の調整等である。
　また、操作対象オブジェクトが照明スイッチであり、機能実行オブジェクトが照明の場合は、照明のＯＮ／ＯＦＦ、明るさ調整等である。
　なお、機能実行オブジェクトに対してどのような機能を実行させるかについては、例えば前述したアプリケーション製作者の生成したプログラムによって決定することができる。
　例えば、このプログラムをユーザ発話の解析結果に基づく行動をキャラクタに実行させるプログラムとして構成すれば、ユーザによる発話、例えば「テレビのチャンネルを１にして」といった発話を解析し、この解析結果に従った制御を行わせるように実オブジェクト機能実行部１２０に制御命令を出力すればよい。
　　［４．本開示の情報処理装置の実行する処理の全体シーケンスについて］
　次に、本開示の情報処理装置１００の実行する処理の全体シーケンスについて説明する。
　図１３は、本開示の情報処理装置１００の実行する処理の全体シーケンスについて説明するフローチャートを示す図である。
　なお、このフローチャートに従った処理は、例えば情報処理装置１００の記憶部に格納されたプログラムに従って実行することが可能である。例えばプログラム実行機能を有するＣＰＵ等のプロセッサによるプログラム実行処理として行うことができる。
　以下、図１３のフローチャートに示す各処理ステップについて、順次、説明する。
　　（ステップＳ２０１～Ｓ２０２）
　まず、情報処理装置１００のデータ処理部は、ステップＳ２０１において、実オブジェクトの特徴、および実オブジェクトの関係を入力、または解析する処理を実行する。
　さらに、ステップＳ２０２において、実オブジェクト関係データベースを生成する。
　これらの処理は、図２に示す情報処理装置１００の実オブジェクト関係データベース生成部１１３の実行する処理である。
　前述したように、実オブジェクト関係データベース生成部１１３は、入力部１１１、またはカメラ１１２の撮影画像を入力し、図３に示すような
　（１）実オブジェクト解析データ
　（２）実オブジェクト関係データ
　これらの各データを有する実オブジェクト関係データベース１１４を生成する。
　ステップＳ２０１～Ｓ２０２の処理は、この実オブジェクト関係データベース１１４を生成する処理である。
　なお、ステップＳ２０１～Ｓ２０２において実行する情報入力および解析処理は、先に説明したように、様々な態様での処理が可能である。すなわち、以下のような処理のいずれか、または組み合わせとして実行することができる。
　（ａ）ユーザによるテキスト情報入力とテキスト情報の解析
　（ｂ）ユーザによる音声情報入力と音声情報解析
　（ｃ）システム開発者による一般的知識の事前入力と解析
　（ｄ）カメラ撮影画像の入力とカメラ撮影画像の解析
　（ｅ）実オブジェクトのカタログ等の説明情報の入力と解析
　例えば、これら（ａ）～（ｅ）のいずれか、または組み合わせとして実行することができる。
　　（ステップＳ２０３～Ｓ２０５）
　次に本開示の情報処理装置１００のデータ処理部は、ステップＳ２０３において、カメラ撮影画像を入力する。
　さらに、ステップＳ２０４において、カメラ撮影画像に基づく実オブジェクトの解析処理、例えばＳＬＡＭによる実オブジェクト各々の形状、位置等の実オブジェクト解析処理を実行する。
　さらに、ステップＳ２０５において、実オブジェクト解析結果に基づいて環境マップを生成する。
　これらの処理は、図２に示す情報処理装置１００の環境マップ生成、更新部１１５が実行する処理である。
　前述したように、環境マップ生成、更新部１１５は、カメラ１１２の撮影画像、例えばデプス情報を含む画像を入力し、画像撮影環境に存在する実オブジェクトの解析情報である環境マップを生成、更新する。生成、更新された環境マップは記憶部１１６に格納する。
　環境マップは、例えば、マップ生成対象領域に存在するオブジェクトの３Ｄ形状や、３Ｄ形状上の各点のオブジェクト種類を示すオブジェクトカテゴリラベルや、オブジェクトの機能を示す機能ラベル等を含むマップである。
　ステップＳ２０３におけるカメラ撮影画像の入力は、例えば単眼ＲＧＢＤセンサやステレオカメラを用いて撮影された動画像の入力処理として実行される。
　入力データには、画像、デプス、カメラパラメータが含まれる。このうちデプスおよびカメラパラメータは、画像の解析により求めてもよい。もしくは、画像とデプスを個別に入力することなく、３Ｄマップを直接入力してもよい。
　ステップＳ２０４における、カメラ撮影画像に基づく実オブジェクトの解析処理には、先に図６を参照して説明した環境マップ生成、更新部１１５が実行する処理フローのステップＳ１２２～Ｓ１２４の処理が含まれる。
　具体的には、例えば以下の処理が含まれる。
　（１）ｖｉｓｕａｌ　ＳＬＡＭ（Ｓｉｍｕｌｔａｎｉｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）によるＲＧＢＤ画像からの３Ｄマップ生成処理。
　（２）ＲＧＢ画像内の実オブジェクト領域検出と、検出したオブジェクトの種類を示すオブジェクトカテゴリラベル（インスタンスラベル、あるいはインスタンスＩＤと同じ）の設定処理。
　（３）ＲＧＢ画像内の実オブジェクトの機能の解析処理。
　環境マップ生成、更新部１１５は、ステップＳ２０４において、ステップＳ２０３で取得した画像に基づいて上記（１）～（３）の処理を実行する。
　環境マップ生成、更新部１１５は、ステップＳ２０４の解析結果に基づいて、ステップＳ２０５において環境マップを生成する。
　先に図７、図８を参照して説明したように、環境マップには、撮影画像に含まれる実オブジェクトの構成画素（ピクセル）単位でオブジェクトカテゴリラベル（＝インスタンスラベル、インスタンスＩＤ）と、オブジェクト機能ラベルが設定されている。
　なお、ステップＳ２０３～Ｓ２０５の処理は、新たなカメラ撮影画像フレームの入力に応じて、継続的に繰り返し実行される。
　すなわち、環境マップ生成、更新部１１５は、最新のカメラ撮影画像に基づく最新の環境マップを逐次、生成、更新し、更新された最新の環境マップが記憶部１１６に記録されることになる。
　　（ステップＳ２０６）
　次に本開示の情報処理装置１００のデータ処理部はステップＳ２０６において、ステップＳ２０５で生成された最新の環境マップに基づいてリアルタイム実オブジェクトテーブルを生成する。
　この処理は、図２に示す情報処理装置１００のリアルタイム実オブジェクト関係テーブル生成部１１７が実行する処理である。
　リアルタイム実オブジェクト関係テーブル生成部１１７は、ステップＳ２０６において、キャラクタに操作させる操作対象オブジェクトと、その操作対象オブジェクトの操作によって制御される機能実行オブジェクトとの対応データを、現時点の環境マップに設定されるインスタンスＩＤを用いて記録したリアルタイム実オブジェクト関係テーブルを生成する。
　リアルタイム実オブジェクト関係テーブル生成部１１７は、環境マップ生成、更新部１１５がステップＳ２０５で生成または更新した最新の環境マップと、実オブジェクト関係データベース１１４に格納されたデータを参照して、現在の実オブジェクト間の関係を反映した関係データ、すなわち、キャラクタに操作させる操作対象オブジェクトと、その操作対象オブジェクトの操作によって制御される機能実行オブジェクトとの対応データをインスタンスＩＤを用いて記録したリアルタイム実オブジェクト関係テーブルを生成する。
　この処理は、先に図９～図１１を参照して説明した処理に対応する。
　まず、図１０を参照して説明した、
　（Ａ）インスタンスＩＤ－オブジェクトＩＤ対応データ
　を生成する。
　この図１０に示す、（Ａ）インスタンスＩＤ－オブジェクトＩＤ対応データは、「（Ｐ）環境マップから取得したオブジェクト対応のインスタンスＩＤ」と、「オブジェクト関係ＤＢ１１４の構成データである（１）実オブジェクト解析データに登録されたオブジェクトＩＤ」との対応データである。
　次に、図１１を参照して説明した
　（Ｂ）リアルタイム実オブジェクト関係テーブル
　を生成する。
　図１１に示す（Ｂ）リアルタイム実オブジェクト関係テーブルは、実オブジェクト関係データベース１１４の構成データである、
　（２）実オブジェクト関係データ
　に登録された、
　（ｘ）操作対象オブジェクトＩＤ
　（ｙ）機能実行オブジェクトＩＤ
　これらの対応関係データを、最新の環境マップから得られる実オブジェクト対応のインスタンスＩＤに変換して記録したテーブルである。
　すなわち、（Ｂ）リアルタイム実オブジェクト関係テーブルは、環境マップから得られる実オブジェクト対応のインスタンスＩＤを利用した対応関係データ、すなわち、
　（ｘ）操作対象オブジェクトインスタンスＩＤ
　（ｙ）機能実行オブジェクトインスタンスＩＤ
　これらの対応関係データが記録されたテーブルである。
　この図１１に示す（Ｂ）リアルタイム実オブジェクト関係テーブルと環境マップを利用すれば、環境マップに含まれるインスタンスＩＤが設定された実オブジェクトの対応関係、すなわち、操作対象オブジェクトＩと機能実行オブジェクトとの対応関係を把握することができる。
　　（ステップＳ２０７）
　次に、本開示の情報処理装置１００のデータ処理部は、ステップＳ２０７において、ステップＳ２０６で生成されたリアルタイム実オブジェクト関係テーブルに基づいて、キャラクタに操作対象オブジェクトを操作させるＡＲ画像表示制御を実行し、同時に機能実行オブジェクトの機能を実行する。
　この処理は、図２に示す情報処理装置１００のアプリケーション制御部１１８、ＡＲ画像表示制御部１１９、実オブジェクト機能実行制御部１２０が実行する処理であり、先に図１２を参照して説明した処理に相当する。
　先に図１２を参照して説明したように、アプリケーション制御部１１８は、キャラクタ動作制御情報をＡＲ画像表示制御部１１９に出力し、ＡＲ画像表示制御部１１９は、アプリケーション制御部１１８から入力するキャラクタ動作制御情報に従って表示部１２１に表示するキャラクタの表示制御を実行する。
　アプリケーション制御部１１８は、さらに、ＡＲ画像上に表示されたキャラクタが操作対象オブジェクト（例えばテレビリモコン）に触れるタイミングで、この操作対象オブジェクトに対応づけられた機能実行オブジェクト（例えばテレビ）の機能を実行（例えばテレビのスイッチＯＮ）させるため、機能実行オブジェクトのＩＤを実オブジェクト機能実行制御部１２０に出力する。実オブジェクト機能実行制御部１２０は、アプリケーション制御部１１８から受け取った機能実行オブジォクトＩＤに基づいて、どの物体を実行するかを判断し、機能を実行する。
　前述したように、実行する機能は、操作対象オブジェクトと機能実行オブジェクトの組み合わせによって異なるものとなる。
　例えば、操作対象オブジェクトがテレビリモコンであり、機能実行オブジェクトがテレビの場合は、テレビのスイッチＯＮ／ＯＦＦ、チャンネル切り替え、音量調整等である。機能実行オブジェクトに対してどのような機能を実行させるかについては、例えば前述したアプリケーション製作者の生成したプログラムによって決定することができる。
　　［５．情報処理装置のハードウェア構成例について］
　次に、図１４を参照して、情報処理装置のハードウェア構成例について説明する。
　図１４を参照して説明するハードウェアは、先に図２を参照して説明した情報処理装置のハードウェア構成の一例である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
　ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホン、カメラ、センサなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
　入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
　　［６．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御部と、
　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御部を有する情報処理装置。
　（２）　前記情報処理装置は、
　前記ＡＲ画像内に表示される操作対象オブジェクト各々と、各操作対象オブジェクトに対応する機能実行オブジェクトとの対応関係を記録した実オブジェクト関係データベースを有し、
　前記実オブジェクト機能実行制御部は、前記実オブジェクト関係データベースの記録データに従って特定される機能実行オブジェクトの機能を実行させる制御を行う（１）に記載の情報処理装置。
　（３）　前記情報処理装置は、さらに、
　現在のカメラ撮影画像に基づく環境マップを生成、または更新する環境マップ生成、更新部を有し、
　前記環境マップ生成、更新部は、
　環境マップ生成対象領域に存在する実オブジェクトの３次元形状、およびオブジェクト種類を示すオブジェクトカテゴリラベルを含む環境マップを生成する（１）または（２）に記載の情報処理装置。
　（４）　前記情報処理装置は、さらに、
　前記環境マップを参照して、現在の環境マップ生成対象領域に存在する操作対象オブジェクトと操作対象オブジェクトに対応する機能実行オブジェクトとの関係を記録したリアルタイム実オブジェクト関係テーブルを生成するリアルタイム実オブジェクト関係テーブル生成部を有する（３）に記載の情報処理装置。
　（５）　前記リアルタイム実オブジェクト関係テーブル生成部は、
　実オブジェクトの特徴情報を記録した実オブジェクト関係データベースに記録されたオブジェクトの特徴データと、
　前記環境マップから取得される実オブジェクトの特徴とのマッチング処理を実行して、現在の環境マップ生成対象領域に存在するオブジェクトが前記実オブジェクト関係データベースのどの登録オブジェクトに対応するかを判別して、前記リアルタイム実オブジェクト関係テーブルを生成する（４）に記載の情報処理装置。
　（６）　前記情報処理装置は、さらに、
　前記リアルタイム実オブジェクト関係テーブルに基づいて、前記キャラクタに操作させる操作対象オブジェクトを特定するアプリケーション制御部を有し、
　前記ＡＲ画像表示制御部は、
　前記アプリケーション制御部が特定した操作対象オブジェクトを操作させる表示制御を実行する（４）または（５）に記載の情報処理装置。
　（７）　前記アプリケーション制御部は、
　前記リアルタイム実オブジェクト関係テーブルに基づいて、前記キャラクタが操作した操作対象オブジェクトに対応付けられた機能実行オブジェクトを特定し、
　前記実オブジェクト機能実行制御部は、
　前記アプリケーション制御部が特定した機能実行オブジェクトの機能を実行させる制御を行う（６）に記載の情報処理装置。
　（８）　前記情報処理装置は、
　前記ＡＲ画像内に表示される操作対象オブジェクト各々と、各操作対象オブジェクトに対応する機能実行オブジェクトとの対応関係を記録した実オブジェクト関係データベースを生成する実オブジェクト関係データベース生成部を有する（１）～（７）いずれかに記載の情報処理装置。
　（９）　前記実オブジェクト関係データベースは、
　実オブジェクトの特徴情報を記録した実オブジェクト解析データと、
　操作対象オブジェクトと機能実行オブジェクトとの対応関係を記録した実オブジェクト関係解析データを有する（１）～（８）いずれかに記載の情報処理装置。
　（１０）　情報処理装置において実行する情報処理方法であり、
　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像表示制御部が、
　ＡＲ画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御ステップと、
　実オブジェクト機能実行制御部が、
　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御ステップを実行する情報処理方法。
　（１１）　情報処理装置において情報処理を実行させるプログラムであり、
　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像表示制御部に、
　ＡＲ画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行させるＡＲ画像表示制御ステップと、
　実オブジェクト機能実行制御部に、
　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御ステップを実行させるプログラム。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、ＡＲ画像内のキャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる構成が実現される。
　具体的には、例えば、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御部と、キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御部を有する。実オブジェクト機能実行制御部は、操作対象オブジェクトと機能実行オブジェクトとの対応関係データを参照して機能実行オブジェクトを特定する。
　本構成により、ＡＲ画像内のキャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる構成が実現される。
　　１１　テレビ
　　１２　ＴＶリモコン
　　２０　キャラクタ
　１００　情報処理装置
　１１１　入力部
　１１２　カメラ
　１１３　実オブジェクト関係データベース生成部
　１１４　実オブジェクト関係データベース
　１１５　環境マップ生成、更新部
　１１６　記憶部
　１１７　リアルタイム実オブジェクト関係テーブル生成部
　１１８　アプリケーション制御部
　１１９　ＡＲ画像表示制御部
　１２０　実オブジェクト機能実行制御部
　１２１　表示部
　３０１　ＣＰＵ
　３０２　ＲＯＭ
　３０３　ＲＡＭ
　３０４　バス
　３０５　入出力インタフェース
　３０６　入力部
　３０７　出力部
　３０８　記憶部
　３０９　通信部
　３１０　ドライブ
　３１１　リムーバブルメディア

Claims (11)

  1. 　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御部と、
    　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御部を有する情報処理装置。
  2. 　前記情報処理装置は、
    　前記ＡＲ画像内に表示される操作対象オブジェクト各々と、各操作対象オブジェクトに対応する機能実行オブジェクトとの対応関係を記録した実オブジェクト関係データベースを有し、
    　前記実オブジェクト機能実行制御部は、前記実オブジェクト関係データベースの記録データに従って特定される機能実行オブジェクトの機能を実行させる制御を行う請求項１に記載の情報処理装置。
  3. 　前記情報処理装置は、さらに、
    　現在のカメラ撮影画像に基づく環境マップを生成、または更新する環境マップ生成、更新部を有し、
    　前記環境マップ生成、更新部は、
    　環境マップ生成対象領域に存在する実オブジェクトの３次元形状、およびオブジェクト種類を示すオブジェクトカテゴリラベルを含む環境マップを生成する請求項１に記載の情報処理装置。
  4. 　前記情報処理装置は、さらに、
    　前記環境マップを参照して、現在の環境マップ生成対象領域に存在する操作対象オブジェクトと操作対象オブジェクトに対応する機能実行オブジェクトとの関係を記録したリアルタイム実オブジェクト関係テーブルを生成するリアルタイム実オブジェクト関係テーブル生成部を有する請求項３に記載の情報処理装置。
  5. 　前記リアルタイム実オブジェクト関係テーブル生成部は、
    　実オブジェクトの特徴情報を記録した実オブジェクト関係データベースに記録されたオブジェクトの特徴データと、
    　前記環境マップから取得される実オブジェクトの特徴とのマッチング処理を実行して、現在の環境マップ生成対象領域に存在するオブジェクトが前記実オブジェクト関係データベースのどの登録オブジェクトに対応するかを判別して、前記リアルタイム実オブジェクト関係テーブルを生成する請求項４に記載の情報処理装置。
  6. 　前記情報処理装置は、さらに、
    　前記リアルタイム実オブジェクト関係テーブルに基づいて、前記キャラクタに操作させる操作対象オブジェクトを特定するアプリケーション制御部を有し、
    　前記ＡＲ画像表示制御部は、
    　前記アプリケーション制御部が特定した操作対象オブジェクトを操作させる表示制御を実行する請求項４に記載の情報処理装置。
  7. 　前記アプリケーション制御部は、
    　前記リアルタイム実オブジェクト関係テーブルに基づいて、前記キャラクタが操作した操作対象オブジェクトに対応付けられた機能実行オブジェクトを特定し、
    　前記実オブジェクト機能実行制御部は、
    　前記アプリケーション制御部が特定した機能実行オブジェクトの機能を実行させる制御を行う請求項６に記載の情報処理装置。
  8. 　前記情報処理装置は、
    　前記ＡＲ画像内に表示される操作対象オブジェクト各々と、各操作対象オブジェクトに対応する機能実行オブジェクトとの対応関係を記録した実オブジェクト関係データベースを生成する実オブジェクト関係データベース生成部を有する請求項１に記載の情報処理装置。
  9. 　前記実オブジェクト関係データベースは、
    　実オブジェクトの特徴情報を記録した実オブジェクト解析データと、
    　操作対象オブジェクトと機能実行オブジェクトとの対応関係を記録した実オブジェクト関係解析データを有する請求項１に記載の情報処理装置。
  10. 　情報処理装置において実行する情報処理方法であり、
    　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像表示制御部が、
    　ＡＲ画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行するＡＲ画像表示制御ステップと、
    　実オブジェクト機能実行制御部が、
    　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御ステップを実行する情報処理方法。
  11. 　情報処理装置において情報処理を実行させるプログラムであり、
    　ＡＲ（Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像表示制御部に、
    　ＡＲ画像内に表示する仮想オブジェクトであるキャラクタにＡＲ画像内の実オブジェクトである操作対象オブジェクトを操作させる表示制御を実行させるＡＲ画像表示制御ステップと、
    　実オブジェクト機能実行制御部に、
    　前記キャラクタが操作した操作対象オブジェクトに対応付けられた実オブジェクトである機能実行オブジェクトの機能を実行させる制御を行う実オブジェクト機能実行制御ステップを実行させるプログラム。
PCT/JP2020/032435 2019-10-28 2020-08-27 情報処理装置、および情報処理方法、並びにプログラム WO2021084882A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-194983 2019-10-28
JP2019194983 2019-10-28

Publications (1)

Publication Number Publication Date
WO2021084882A1 true WO2021084882A1 (ja) 2021-05-06

Family

ID=75716212

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032435 WO2021084882A1 (ja) 2019-10-28 2020-08-27 情報処理装置、および情報処理方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2021084882A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304268A (ja) * 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2013161267A (ja) * 2012-02-06 2013-08-19 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2015213212A (ja) * 2014-05-01 2015-11-26 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
JP2018124515A (ja) * 2017-02-03 2018-08-09 Kddi株式会社 コンピュータプログラム、端末および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008304268A (ja) * 2007-06-06 2008-12-18 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2013161267A (ja) * 2012-02-06 2013-08-19 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2015213212A (ja) * 2014-05-01 2015-11-26 セイコーエプソン株式会社 頭部装着型表示装置、制御システム、および、頭部装着型表示装置の制御方法
JP2018124515A (ja) * 2017-02-03 2018-08-09 Kddi株式会社 コンピュータプログラム、端末および方法

Similar Documents

Publication Publication Date Title
CN110310175B (zh) 用于移动增强现实的系统和方法
US10394334B2 (en) Gesture-based control system
US10500720B2 (en) Display control device, display control method, computer program product, and communication system
US5010500A (en) Gesture-modified diagram for retrieval of image resembling diagram, with parts selectable for further interactive retrieval
JP5844288B2 (ja) 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
CN108874126B (zh) 基于虚拟现实设备的交互方法及系统
US20110234481A1 (en) Enhancing presentations using depth sensing cameras
JP2011209965A (ja) 情報処理装置、情報処理方法、およびプログラム
KR20140109020A (ko) 스마트 가전기기의 제어를 위한 디바이스 정보 구축 장치 및 그 방법
KR102186607B1 (ko) 증강현실을 통한 발레 공연 시스템 및 방법
JP7379603B2 (ja) 推奨を配信する方法、デバイス、及びシステム
US10970932B2 (en) Provision of virtual reality content
CN111643899A (zh) 一种虚拟物品显示方法、装置、电子设备和存储介质
KR20120038616A (ko) 마커리스 실감형 증강현실 제공 방법 및 시스템
KR102262521B1 (ko) 다양한 확장현실 모드의 통합 렌더링 방법 및 그것이 적용된 장치
WO2021084882A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US8224025B2 (en) Group tracking in motion capture
KR101214612B1 (ko) 증강현실 기반 건물 네비게이션 시스템
US20210142573A1 (en) Viewing system, model creation apparatus, and control method
JP7065795B2 (ja) データ作成システム及びデータ作成方法
KR101525011B1 (ko) Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법
EP3652704B1 (en) Systems and methods for creating and displaying interactive 3d representations of real objects
KR102104136B1 (ko) 제어 장치를 위한 증강 현실 오버레이
KR101211178B1 (ko) 증강 현실 컨텐츠 재생 시스템 및 방법
KR102388715B1 (ko) 문화유적복원 실감 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20880645

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20880645

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP