WO2018047458A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
WO2018047458A1
WO2018047458A1 PCT/JP2017/024966 JP2017024966W WO2018047458A1 WO 2018047458 A1 WO2018047458 A1 WO 2018047458A1 JP 2017024966 W JP2017024966 W JP 2017024966W WO 2018047458 A1 WO2018047458 A1 WO 2018047458A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
processing apparatus
information processing
control signal
map
Prior art date
Application number
PCT/JP2017/024966
Other languages
English (en)
French (fr)
Inventor
和子 山田
成志 見山
崇裕 坂本
智彦 坂本
芳宏 真鍋
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2018047458A1 publication Critical patent/WO2018047458A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/28—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves by co-ordinating position lines of different shape, e.g. hyperbolic, circular, elliptical or radial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the generation unit may generate a 3D map of the surrounding space. Thereby, the three-dimensional position information of the surrounding space can be acquired with high accuracy.
  • the second acquisition unit may acquire function information of the peripheral device.
  • the generation unit may generate the map information including position information of the peripheral devices associated with each other and function information of the peripheral devices. Thereby, it is possible to acquire detailed information about the surrounding space. For example, it is possible to generate map information in which position information, device information, and function information of peripheral devices are associated with each other.
  • the output unit may select the infrared remote control signal to be output based on the acquired image information. Thereby, the infrared remote control signal to be output can be efficiently selected. This makes it possible to shorten the processing time and the like.
  • the map generation device 20 is provided in the living space, for example, on a ceiling or a wall surface overlooking the living space.
  • the map generation apparatus 20 is a device directly attached to the ceiling, such as a ceiling light, or a device that can be installed stationary. Without being limited to these forms, the map generation device 20 may be realized in various forms.
  • the infrared transmitter 23 outputs an infrared remote control signal in the living space.
  • the direction in which the infrared remote control signal is transmitted may be controllable.
  • the CPU of the controller 26 executes a predetermined program, so that a command output unit 260, a data reception unit 261, a change detection unit 262, and a map generation unit 263 are realized as functional blocks.
  • a command output unit 260, a data reception unit 261, a change detection unit 262, and a map generation unit 263 are realized as functional blocks.
  • dedicated hardware such as an IC (integrated circuit) may be used as appropriate.
  • the infrared command providing unit 33 has a list of infrared command formats for various devices that support infrared remote control signals. Information on the format of the infrared command can be provided as appropriate. For example, when a type of device such as a television or a lighting device is specified, a list of infrared commands corresponding to the type is provided.
  • the predetermined operations that can be executed by each device include, for example, display of a TV program by a television device, reproduction of music by an audio device, change of an illumination mode by an illumination device, and the like.
  • a command signal related to an arbitrary operation that can be detected based on image information or the like may be transmitted.
  • the map generation unit 263 generates a 3D map (step 105).
  • the 3D map is generated based on the 3D model of the living space generated in step 101 and the map information of the devices A40 and B50.
  • the map information of devices A and B is information in which the position information generated in step 103 is associated with the device information and function information of each device. A method for acquiring the device information and function information of the devices A40 and B50 will be described later.
  • the map generation unit 263 generates map information in which the position information (XYZ coordinate values) of the generated device A40 is associated with the device information and function information of the device A40 stored in the data storage unit 25 (step) 313). Thereby, the map information containing information, such as a position in the living space of device A40, a kind, and service contents, can be generated.
  • Image analysis is performed by the image analysis unit 32 based on the uploaded image data (step 404).
  • an object shown in a color image is detected by the image analysis. For example, based on the shape of an object such as a sofa, a television, and an air conditioner reflected in a color image, the type such as the product category of each object is identified.
  • FIG. 6 is a sequence diagram illustrating an example of a method for generating map information of the device B50 that is a non-network-compatible device.
  • a case will be described in which it is known from the object identification process shown in FIG.
  • the map generation unit may be able to update the map information based on conditions such as time, the presence / absence of a user in the living space, and a change in the living space.
  • the map information may be updated when there is no user in the preset time or living space, or when a new device is added to the living space.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本技術の一形態に係る情報処理装置は、出力部と、第１の取得部と、生成部とを具備する。前記出力部は、所定の制御信号を出力する。前記第１の取得部は、周辺空間の画像情報及び音情報の少なくとも一方を取得する。前記生成部は、前記取得された画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じて動作する周辺装置の位置情報を生成する。

Description

情報処理装置、情報処理方法、及びプログラム
　本技術は、居住空間等の周辺の空間に関する情報を取得可能な情報処理装置、情報処理方法、及びプログラムに関する。
　例えば特許文献１には、居住空間に設置された家電の情報を取得可能な制御装置が記載されている。この制御装置では、各部屋に設置されたカメラにより、家電の画像が撮影される。撮影された家電の画像から特徴量が算出され、予めメモリに保存された各種家電の特徴量と比較されることで、類似度が算出される。算出された類似度に基づいて、撮影画像内の家電の家電名が取得され、当該家電を遠隔制御するためのユーザインターフェースが生成される（特許文献１の明細書段落［００２２］［００３１］［００６４］－［００８０］図１０等）。
特開２０１３－２０７５２０号公報
　近年、居住空間等でユーザを補助するパーソナルロボットの開発が進んでいる。例えば居住空間等の周辺空間の情報を精度よく取得することで、当該パーソナルロボットの動作精度を向上させることが可能となる。
　以上のような事情に鑑み、本技術の目的は、周辺空間の情報を高精度に取得することを可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る情報処理装置は、出力部と、第１の取得部と、生成部とを具備する。
　前記出力部は、所定の制御信号を出力する。
　前記第１の取得部は、周辺空間の画像情報及び音情報の少なくとも一方を取得する。
　前記生成部は、前記取得された画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じて動作する周辺装置の位置情報を生成する。
　この情報処理装置では、所定の制御信号が出力され、また周辺空間の画像情報及び音情報の少なくとも一方が取得される。出力された制御信号に応じて動作する周辺装置が周辺空間に存在する場合、取得された画像情報等に基づいて、周辺装置の位置情報が生成される。これにより周辺空間の情報を高精度に取得することが可能である。
　前記生成部は、前記画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じた前記周辺装置の動作を検出し、当該検出結果に基づいて前記周辺装置の位置情報を生成してもよい。
　これにより周辺空間の位置情報を高精度に取得可能である。
　前記生成部は、前記所定の制御信号に応じて動作する前記周辺装置の位置情報を含む、前記周辺空間のマップ情報を生成してもよい。
　これにより周辺空間の位置情報を高精度に取得可能である。
　前記生成部は、前記周辺空間の３Ｄマップを生成してもよい。
　これにより周辺空間の３次元の位置情報を高精度に取得可能である。
　前記情報処理装置は、さらに、前記周辺装置の機器情報を取得する第２の取得部を具備してもよい。この場合、前記生成部は、互いに関連付けられた前記周辺装置の位置情報、及び前記周辺装置の機器情報を含む、前記マップ情報を生成してもよい。
　これにより周辺空間に関する詳細な情報を取得可能である。
　前記第２の取得部は、前記周辺装置の機能情報を取得してもよい。この場合、前記生成部は、互いに関連付けられた前記周辺装置の位置情報、及び前記周辺装置の機能情報を含む、前記マップ情報を生成してもよい。
　これにより周辺空間に関する詳細な情報を取得可能である。例えば周辺装置の位置情報、機器情報、及び機能情報が互いに関連付けられたマップ情報を生成することが可能である。
　前記機器情報は、前記周辺装置の種類、メーカ名及び型番の少なくとも一つを含んでもよい。この場合、前記機能情報は、前記周辺装置の動作内容及びサービス内容の少なくとも一方を含んでもよい。
　これにより周辺空間に関する詳細な情報を取得可能である。
　前記出力部は、前記周辺装置との双方向通信を介して前記所定の制御信号を出力してもよい。
　例えばネットワーク通信等を介して容易に制御信号を送信することが可能である。
　前記出力部は、前記双方向通信を介して、前記機器情報及び前記機能情報の少なくとも一方を要求してもよい。
　例えばネットワーク通信等を介して機器情報等を容易に取得することが可能である。
　前記出力部は、赤外線通信を介して前記所定の制御信号を出力してもよい。
　例えば赤外線リモコン信号を用いて制御信号を送信することが可能である。これにより例えばネットワーク等に接続されていない（双方向通信ができない）周辺装置の位置情報を取得することが可能となる。
　前記出力部は、互いに異なる形式の複数の赤外線リモコン信号を順に出力してもよい。この場合、前記生成部は、前記出力された赤外線リモコン信号に応じて動作した前記周辺装置の位置情報を生成してもよい。
　これにより赤外線リモコン信号に反応した周辺装置の位置情報を十分に取得可能である。
　前記第２の取得部は、前記周辺装置が応じて動作した前記赤外線リモコン信号に基づいて、当該周辺装置の前記機器情報及び前記機能情報の少なくとも一方を取得してもよい。
　これにより、例えばネットワーク等に接続されていない周辺装置の機器情報等を容易に取得可能である。
　前記出力部は、前記取得された画像情報に基づいて、出力する前記赤外線リモコン信号を選択してもよい。
　これにより出力する赤外線リモコン信号を効率的に選択可能である。これにより処理時間等を短縮することが可能となる。
　前記第２の取得部は、前記取得された画像情報に基づいて、前記周辺装置の前記機器情報及び前記機能情報の少なくとも一方を取得してもよい。
　これにより画像情報を使って周辺装置の機器情報等を含むマップ情報を生成することが可能となる。
　前記所定の制御信号は、電源のオン/オフ、音量の制御、及び所定の動作の開始/終了のうち少なくとも１つに関する制御信号であってもよい。
　これにより周辺装置の動作を容易に検出することが可能となり、周辺装置の位置情報を高精度に取得可能である。
　前記生成部は、時刻、前記周辺空間のユーザの有無、及び前記周辺空間の変化の少なくとも１つに関する所定の条件に基づいて、前記マップ情報を更新してもよい。
　これにより、例えばユーザの活動等を邪魔することなく、高精度のマップ情報を自動的に生成することが可能となる。
　本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、所定の制御信号を出力することを含む。
　周辺空間の画像情報及び音情報の少なくとも一方が取得される。
　前記取得された画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じて動作する周辺装置の位置情報が生成される。
　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　所定の制御信号を出力するステップ。
　周辺空間の画像情報及び音情報の少なくとも一方を取得するステップ。
　前記取得された画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じて動作する周辺装置の位置情報を生成するステップ。
　以上のように、本技術によれば、周辺空間の情報を高精度に取得することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
一実施形態に係るマップ生成システムの構成例を示す模式的な図である。 居住空間の３Ｄマップの生成の概要を示すフローチャートである。 居住空間の３Ｄモデルの生成方法の一例を示すシーケンス図である。 ネットワーク対応機器であるデバイスＡのマップ情報の生成例を示すシーケンス図である。 画像分析による物体の識別処理の一例を示したシーケンス図である。 ネットワーク非対応機器であるデバイスＢのマップ情報の生成方法の一例を示したシーケンス図である。 居住空間の３Ｄマップの一例を説明するための模式図である。 ３Ｄマップに含まれる機器情報及び機能情報の一例を説明するための表である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　［マップ生成システム］
　図１は、本技術の一実施形態に係るマップ生成システムの構成例を示す模式的な図である。マップ生成システム１００は、ホームネットワーク１０、マップ生成装置２０、クラウドサーバ３０、デバイスＡ４０、及びデバイスＢ５０を含む。
　ホームネットワーク１０は、ユーザが生活する家庭（居住空間）内に構築される。ホームネットワーク１０は、ＵＰｎＰ ＤＡ（Universal Plug and Play Device Architecture）のプロトコルに準拠したネットワークであり、例えばＤＬＮＡ（Digital Living Network Alliance：登録商標）規格に準拠したネットワークが用いられる。もちろん他のプロトコルを利用したネットワークが用いられてもよい。本実施形態において、ホームネットワーク１０は双方向通信に相当する。
　マップ生成装置２０は、居住空間内に設けられ、例えば居住空間内を見渡すことが可能な天井や壁面等に設けられる。マップ生成装置２０は、例えばシーリングライトのような天井直付型のデバイスや、据置取り付け可能型のデバイスである。これらの形態に限定されず、マップ生成装置２０は、種々の形態で実現されてよい。
　図１に示すようにマップ生成装置２０は、ＲＧＢ－Ｄｅｐｔｈカメラ２１、音センサ２２、赤外線送信部２３、通信モジュール２４、データ記憶部２５、及びコントローラ２６を有する。本実施形態において、マップ生成装置２０は情報処理装置に相当する。
　ＲＧＢ－Ｄｅｐｔｈカメラ２１は、ＲＧＢカメラと距離センサとを有する。ＲＧＢカメラは、居住空間のカラー画像を撮影し、画像情報を取得する。ＲＧＢカメラとしては、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等のイメージセンサを備えるデジタルカメラが用いられる。
　距離センサは、居住空間における物体との距離に関する情報を検出し、奥行情報を生成する。距離センサは、例えばミリ波レーダや赤外線レーザ等を用いた種々のセンサで構成される。ＲＧＢカメラ及び距離センサの向きや位置を適宜制御することで、居住空間内の任意の領域の画像情報及び奥行情報を取得することができる。
　音センサ２２は、居住空間で発せられた音を検出し、例えば音量や音の波形、音源の方向等を検出することが可能である。音センサ２２としては、例えば所定の方向の音を選択的に検出する指向性マイク等が用いられる。例えば異なる方向に向けられた複数の指向性マイクにより、音センサ２２が構成されてもよい。本実施形態において、ＲＧＢ－Ｄｅｐｔｈカメラ２１及び音センサ２２は、第１の取得部に相当する。
　赤外線送信部２３は、居住空間内に赤外線リモコン信号を出力する。赤外線リモコン信号を送信する方向が制御可能であってもよい。
　通信モジュール２４は、他のデバイスとの間で、ネットワーク通信や近距離無線通信等を実行するためのモジュールである。例えばＷｉＦｉ等の無線ＬＡＮ（Local Area Network）モジュールや、Bluetooth（登録商標）等の通信モジュールが設けられる。通信モジュール２４は、有線及び無線のどちらを利用して通信するものであってもよい。マップ生成装置２０は、通信モジュール２４を介してホームネットワーク１０に接続される。
　データ記憶部２５は、不揮発性の記憶デバイスであり、例えばＨＤＤ（Hard Disk Drive）、フラッシュメモリ、その他の固体メモリである。データ記憶部２５には、マップ生成装置２０の全体の動作を制御するための制御プログラムが記憶される。またデータ記憶部２５には、通信モジュール２４を介して取得された各種の情報や、ＲＧＢ－Ｄｅｐｔｈカメラ２１及び音センサ２２によって取得された画像情報及び音情報が記憶される。なお制御プログラムを、マップ生成装置２０にインストールする方法は限定されない。
　コントローラ２６は、マップ生成装置２０が有する各ブロックの動作を制御し、またクラウドサーバ３０、デバイスＡ４０、及びデバイスＢ５０等との通信を行う。コントローラ２６は、例えばＣＰＵ（Central Processing Unit）やメモリ（ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory））等のコンピュータに必要なハードウェア構成を有する。ＣＰＵがデータ記憶部２５に記憶されている本技術に係るプログラム（アプリケーション）を、ＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実現される。
　コントローラ２６として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。
　本実施形態では、コントローラ２６のＣＰＵが所定のプログラムを実行することで、機能ブロックとしてコマンド出力部２６０、データ受信部２６１、変化検知部２６２、及びマップ生成部２６３が実現される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。
　コマンド出力部２６０は、通信モジュール２４及び赤外線送信部２３を介して所定の制御信号を出力する。通信モジュール２４からは、所定の制御信号として、例えばＵＰｎＰのプロトコルに準拠した動作コマンド等が出力される。赤外線送信部２３からは、赤外線コマンドが出力される。赤外線コマンドは、赤外線通信を介して送信される制御信号（コマンド信号）であり、赤外線リモコン信号に含まれる。本実施形態において、コマンド出力部２６０は出力部に相当する。なお、所定の制御信号の種類、具体的な形式等は限定されない。
　データ受信部２６１は、居住空間内のデバイスＡ４０及びＢ５０に関する機器情報（Description）及び機能情報（Capability）を取得する。機器情報には、デバイスの種類、メーカ名及び型番等が含まれる。また機能情報には、デバイスの動作内容やサービス内容等が含まれる。本実施形態において、データ受信部２６１は、第２の取得部に相当する。
　変化検知部２６２は、ＲＧＢ－Ｄｅｐｔｈカメラ２１及び音センサ２２により取得された居住空間の画像情報及び音情報に基づいて、居住空間の映像や音の変化を検出する。これにより、居住空間内のデバイスＡ４０及びＢ５０の動作を検出することが可能である。例えば、変化検知部２６２により、デバイスＡ４０及びＢ５０のＬＥＤ表示部の点灯/消灯や、再生されたコンテンツの音声等が検出される。なお、デバイスＡ４０及びＢ５０の動作を検出する方法やタイミング等は限定されない。例えば、変化検知部２６２は、居住空間の映像をリアルタイムでモニタリングすることで、デバイスの動作を検出してもよい。
　マップ生成部２６３は、ＲＧＢ－Ｄｅｐｔｈカメラ２１により取得された画像情報及び変化検知部２６２の検出結果に基づいてデバイスＡ４０及びＢ５０の位置情報を生成し、当該位置情報を含む居住空間のマップ情報を生成する。またマップ生成部２６３は、デバイスＡ４０及びＢ５０の位置情報と、データ受信部２６１が取得したデバイスＡ４０及びＢ５０の機器情報及び機能情報とをそれぞれ関連付けて、マップ情報を生成する。本実施形態において、変化検知部２６２とマップ生成部２６３とが協働することで、生成部が実現される。
　クラウドサーバ３０は、外部に設けられ、インターネット等のグローバルネットワークを介してホームネットワーク１０と接続される。クラウドサーバ３０は、例えばクラウド（インターネット）上の、単体あるいは複数のコンピュータにより構成される。
　クラウドサーバ３０が有するＣＰＵ等により所定のプログラムが実行されることで、図１に示す空間認識部３１、画像分析部３２、及び赤外線コマンド提供部３３が実現される。データ記憶部３５には、通信モジュール３４を介してクラウドサーバ３０にアップロードされた種々の情報や、各機能ブロックの処理結果等が記憶される。
　空間認識部３１は、例えばクラウドサーバ３０にアップロードされた居住空間の画像情報や奥行情報等に基づいて３Ｄモデリングを行い、居住空間の３Ｄモデルを生成する。例えば居住空間を所定の座標系で表した３Ｄモデルが生成される。３Ｄモデリングの具体的な方法は限定されない。
　本実施形態では、例えば空間認識部３１が生成した居住空間の３Ｄモデルと、マップ生成部２６３により生成されたマップ情報とに基づいて、居住空間の３Ｄマップが生成される。すなわち、居住空間に置かれたデバイスＡ４０及びデバイスＢ５０の位置情報、機器情報、及び機能情報を含む立体的なマップが生成される。
　画像分析部３２は、クラウドサーバ３０にアップロードされた画像情報に基づいて、画像に映っている物体や文字などを識別する画像分析を行う。例えば、画像分析部３２により、居住空間に存在する物体の種類や画像に映っている活字等が検出される。画像分析の方法は限定されず、例えば物体の特徴量を抽出して物体を識別する方法等が用いられる。
　赤外線コマンド提供部３３は、赤外線リモコン信号に対応した種々のデバイスの、赤外線コマンドのフォーマット（形式）の一覧を有する。そして赤外線コマンドの形式の情報を適宜提供することが可能である。例えば、テレビや照明機器等のデバイスの種類が特定されている場合には、その種類に対応した赤外線コマンドの一覧が提供される。
　デバイスＡ４０は、居住空間内に設けられたホームネットワーク１０に接続可能な、ネットワーク対応機器である。通信モジュールＡ４１を介して、マップ生成装置２０との通信が行われる。赤外線受信部Ａ４２は、マップ生成装置２０から出力された赤外線コマンドを受信する。コマンド処理部Ａ４３は、通信モジュールＡ４１及び赤外線受信部Ａ４２を介して受信されたコマンド信号に基づいて、デバイスＡ４０の動作等の制御を行う。データ記憶部Ａ４４には、デバイスＡ４０の制御プログラム、機器情報、及び機能情報等が記憶される。
　デバイスＡ４０の種類は限定されず、任意の機器が用いられてよい。例えばネットワークに対応したテレビジョン装置、ＨＤＤレコーダ、ＢＤ（Blu-ray（登録商標） Disc）レコーダ、ＡＶ（Audio Visual）プレイヤ、ネットワークスピーカ、ゲーム機器、デスクトップＰＣ（Personal Computer）、ノートＰＣ、ＰＤＡ（Personal Digital Assistant）、プリンター、デジタルスチルカメラ、及びデジタルフォトフレーム等が挙げられる。またネットワークに接続可能な冷蔵庫、掃除機、洗濯機等の家電製品や、ソーラ発電システム等のスマートメータ等であってもよい。
　またデバイスＡ４０として、ＤＬＮＡのＤＭＰ（Digital Media Player）、ＤＭＲ（Digital Media Renderer）、ＤＭＳ（Digital Media Server）、又はＤＭＣ（Digital Media Controller）として機能するデバイスが用いられてもよい。
　デバイスＢ５０は、ネットワーク非対応機器である。各デバイスＢ５０に対応した赤外線コマンドにより、デバイスＢ５０の動作を制御することが可能である。デバイスＢ５０の種類は限定されず、赤外線リモコンに対応した任意の機器が用いられてよい。例えばテレビジョン装置、ビデオレコーダ、ＤＶＤプレイヤ、ＣＤプレイヤ、コンポ等の再生装置や、エアコンディショナ、扇風機、空気清浄機、及び照明機器等の家電製品が挙げられる。なおネットワーク対応機器であって、ホームネットワーク１０に接続されていないデバイスも、デバイスＢ５０に含まれるとする。
　デバイスＡ４０及びＢ５０は、居住空間内で使用される。本実施形態において、居住空間は、周辺空間に相当し、デバイスＡ４０及びＢ５０は、周辺装置に相当する。居住空間の種類や広さ等は限定されず、例えば住宅や店舗等の建物、リビングや会議室等の所定の室内等が挙げられる。その他、庭等やガレージ等の屋外の空間を含めて、本技術を適用することも可能である。
　[３Ｄマップの生成]
　図２は、居住空間の３Ｄマップの生成の概要を示すフローチャートである。
　まず、居住空間の３Ｄモデルが生成される（ステップ１０１）。３Ｄモデルは、ＲＧＢ－Ｄｅｐｔｈカメラ２１により取得された居住空間の画像情報や奥行情報に基づいて、クラウドサーバ３０の空間認識部３１により生成される。
　マップ生成装置２０により、デバイスＡ４０及びＢ５０を制御するためのコマンド信号が出力される（ステップ１０２）。本実施形態では、ホームネットワーク１０を介した動作コマンドの送信、及び周辺への赤外線コマンドの送信が実行される。
　コマンド信号としては、ＲＧＢ－Ｄｅｐｔｈカメラ２１及び音センサ２２により取得された画像情報及び音情報に基づいて、デバイスＡ４０及びＢ５０の動作が検出可能な制御信号が出力される。例えば各デバイスの電源のオン／オフ、各デバイスから出力される音量の制御、各デバイスが実行可能な所定の動作の開始／終了等に関するコマンド信号が出力される。
　各デバイスが実行可能な所定の動作とは、例えば、テレビジョン装置によるテレビ番組の表示、オーディオ装置による音楽の再生、照明装置による照明モードの変更等が含まれる。その他、画像情報等に基づいて検出可能である任意の動作に関するコマンド信号が送信されてよい。
　ＲＧＢ－Ｄｅｐｔｈカメラ２１及び音センサ２２により取得された画像情報及び音情報に基づいて、ステップ１０２にて出力されたコマンド信号に応じて動作するデバイスＡ４０及びＢ５０の動作が検出される（ステップ１０３）。例えば各デバイスの電源ランプ（ＬＥＤ）の点灯／消灯、ディスプレイの表示の変化、音量の増減、及び照明の色の変化等が検出される。もちろんこれらに限定されるわけではない。
　ＲＧＢ－Ｄｅｐｔｈカメラ２１及び音センサ２２により取得された画像情報及び音情報には、当該画像が撮影された方向や、音源の方向等の情報が関連付けられている。本実施形態では、ステップ１０３にて得られる各デバイスの動作の検出結果は、各デバイスの動作が検出された画像の撮影方向や、音が発生した方向等の情報を含む。
　マップ生成部２６３により、各デバイスの動作の検出結果に基づいて、デバイスＡ４０及びＢ５０の位置情報が生成される（ステップ１０４）。典型的には、検出された動作が実行されている位置が、各デバイスの位置情報として生成される。例えば電源ランプやディスプレイ等の位置（画像情報に基づいて検出）や、スピーカ等の位置（音情報に基づいて検出）等が、各デバイスの位置情報として生成される。
　各デバイスの位置情報は、例えば所定の基準位置を基準とした３ＤのＸＹＺ座標値にて生成される。基準位置（原点）は限定されず、例えばマップ生成装置２０の位置を基準として、座標系が設定されてもよい。あるいは、ステップ１０１にて生成される３Ｄモデルの座標系の原点に対応する位置が、基準位置として設定されてもよい。すなわち３Ｄモデルと共通した座標系が用いられてもよい。これにより３Ｄマップの生成が容易となる。
　各デバイスの動作の検出結果に基づいた、デバイスＡ４０及びＢ５０のＸＹＺ座標値の生成例について説明する。
　例えば、各デバイスの電源ランプの色の変化等が検出された場合、検出に使用された画像等を含む画像情報に基づいて、電源ランプのＸＹＺ座標値が生成される。例えば、検出に使用された画像と、当該画像とは異なる位置及び方向から撮影された画像とを使ったステレオ計測等により、電源ランプのＸＹＺ座標値が生成される。生成された電源ランプのＸＹＺ座標値が、デバイスのＸＹＺ座標値となる。
　デバイスのスピーカ等が再生する音が検出された場合、検出された音源の方向等を含む音情報に基づいて、スピーカ等のＸＹＺ座標値が生成される。例えば、音情報として、コマンド信号が出力されるタイミングと、音が検出されたタイミングとの時間差に基づいて、音源までの距離が算出可能である。音源の方向と音源までの距離とに基づいて、スピーカ等のＸＹＺ座標値が生成される。生成されたスピーカ等のＸＹＺ座標値が、デバイスのＸＹＺ座標値となる。
　その他、デバイスＡ４０及びＢ５０のＸＹＺ座標値を生成する方法は限定されない。例えば、各デバイスの動作の検出結果と、距離センサによる測定値（距離）に基づいて、デバイスＡ４０及びＢ５０のＸＹＺ座標値が生成されてもよい。
　具体的には、各デバイスの動作の検出結果に基づいて、マップ生成装置２０から見た当該動作が実行された位置の方向等が算出される。そして距離センサにより、当該動作が実行された位置とマップ生成装置との距離が測定される。これら方向及び距離に基づいて、各デバイスのＸＹＺ座標値を高い精度で生成することが可能である。
　またステップ１０１にて生成された３Ｄモデルを用いて、デバイスＡ４０及びＢ５０のＸＹＺ座標が生成されてもよい。例えばマップ生成装置２０から動作が実行された位置までの方向が算出される。マップ生成装置２０の位置、及び算出された方向が、３Ｄモデルに適用される。３Ｄモデル内において、マップ生成装置２０から見て算出された方向上に存在する物体が、動作が検出されたデバイスとして判定される。当該デバイスのＸＹＺ座標値が、位置情報として生成される。これにより、３Ｄモデルの座標系に準じた各デバイスのＸＹＺ座標値を生成することが可能である。なおデバイスまでの距離情報が適宜用いられてもよい。
　マップ生成部２６３により、３Ｄマップが生成される（ステップ１０５）。３Ｄマップは、ステップ１０１により生成された居住空間の３Ｄモデルと、デバイスＡ４０及びＢ５０のマップ情報とに基づいて生成される。デバイスＡ及びＢのマップ情報は、ステップ１０３にて生成された位置情報と、各デバイスの機器情報及び機能情報とが関連付けられた情報である。デバイスＡ４０及びＢ５０の機器情報及び機能情報の取得方法については、後に説明する。
　図３は、居住空間の３Ｄモデルの生成方法の一例を示すシーケンス図である。マップ生成装置２０により、ＲＧＢ－Ｄｅｐｔｈカメラ２１を用いて居住空間の空間スキャンが実行される（ステップ２０１）。空間スキャンにより、居住空間のカラー画像と、カラー画像に対応した奥行情報である深度マップとが取得される。マップ生成装置２０は、ＲＧＢ－Ｄｅｐｔｈカメラ２１の向き及び位置を変えて、複数のカラー画像及び深度マップを含む３Ｄデータを生成する（ステップ２０２）。
　生成された３Ｄデータがクラウドサーバ３０にアップロードされ、空間認識部３１に対して、３Ｄモデルの生成処理が要求される（ステップ２０３）。
　空間認識部３１により、アップロードされた居住空間の３Ｄデータに基づいて、３Ｄモデリングが実行される（ステップ２０４）。３Ｄモデリングにより、例えば部屋の奥行や家具の形等を含む居住空間の形状を表わす３Ｄモデルが生成される。また３Ｄモデルには、カラー画像に基づいて生成されたテクスチャ（モデル表面の画像情報）等が付加されてもよい。
　３Ｄモデルの生成が完了すると、マップ生成装置２０に対して３Ｄモデルが生成されたことが通知される（ステップ２０５）。マップ生成装置２０により、３Ｄモデルの取得が要求され（ステップ２０６）、マップ生成装置２０に３Ｄモデルが送信される（ステップ２０７）。マップ生成装置２０に送信された居住空間の３Ｄモデルは、データ記憶部２５に記憶される。
　図４は、ネットワーク対応機器であるデバイスＡのマップ情報の生成例を示すシーケンス図である。図４に示す例では、デバイスＡ４０はＤＬＮＡデバイスであり、ＤＬＮＡ規格に準拠したホームネットワーク１０での通信が実行されるとする。これに限定されず、他の規格に準拠したネットワークにおいても同様のシーケンスを用いることが可能である。
　マップ生成装置２０により、デバイス検索メッセージが生成される（ステップ３０１）。デバイス検索メッセージは、ホームネットワーク１０に接続されたＤＬＮＡデバイスを検索するためのメッセージである。本実施形態では、ＳＳＤＰ（Simple Service Discovery Protocol）のプロトコルに基づいて、デバイス検索メッセージとしてＭ－ＳＥＡＲＣＨメッセージが生成される。
　生成されたデバイス検索メッセージが、マルチキャストで送信される（ステップ３０２）。デバイス検索メッセージは、ホームネットワーク１０に接続されたデバイスＡ４０に送信される。
　デバイスＡ４０により、デバイス検索メッセージに応じて、デバイス応答メッセージ（Ｍ－ＳＥＡＲＣＨレスポンス）が生成される（ステップ３０３）。デバイス応答メッセージには、デバイスＡ４０のデータにアクセスするためのＵＲＬ（Uniform Resource Locator）アドレスが記載されている。当該データのデバイスディスクリプション及びサービスディスクリプションの項目には、デバイスＡ４０の機器情報及び機能情報がそれぞれ記載されている。
　生成されたデバイス応答メッセージがマップ生成装置２０に送信される（ステップ３０４）。マップ生成装置２０により、デバイス応答メッセージが受信され、デバイスＡ４０がホームネットワーク１０上に存在するデバイスであることが確認される。
　マップ生成装置２０により、ホームネットワーク１０を介して、デバイスＡ４０の機器情報及び機能情報等が要求される（ステップ３０５）。例えば、デバイスＡ４０の機器情報及び機能情報を要求するために、デバイスＡ４０のデータのデバイスディスクリプション及びサービスディスクリプションの項目をそれぞれ要求する要求メッセージが送信される。本実施形態では、ＨＴＴＰ　ＧＥＴ等のメッソドを用いて生成された要求メッセージが用いられる。デバイスＡ４０の機器情報及び機能情報を要求する方法は限定されず、他の方法が用いられてもよい。
　デバイスＡ４０により、マップ生成装置２０からの要求メッセージが処理され（ステップ３０６）、要求された機器情報や機能情報等を含むメッセージがマップ生成装置２０に送信される（ステップ３０７）。
　マップ生成装置２０のデータ受信部２６１により、機器情報及び機能情報等が取得される。機器情報としては、例えばDevice Type、Friendly Name、Model Name、Manufacture、Serial Number、及びUDN（Unique Device Name）であるUUID（Universally Unique Identifier）等が取得される。また機能情報としては、例えばデバイスＡ４０の各種の動作（Action）及び状態情報（State Variable）のリスト等が取得される。これらに限定されず、他の情報が機器情報及び機能情報として取得されてよい。取得された機器情報及び機能情報は、データ記憶部２５に記憶される。
　コマンド出力部２６０により、取得されたデバイスＡ４０の機能情報に基づいて、デバイスＡ４０の動作内容及びサービス内容に応じた動作コマンドが生成される。本実施形態では、デバイスＡ４０の状態情報に基づいて、デバイスＡ４０に実行させる動作が選択される。例えば、状態情報に基づいてデバイスＡ４０がスタンバイ状態にあると判定された場合、デバイスＡ４０の電源をＯＮにする動作等が選択される。もちろん他の動作が選択されてもよい。
　選択された動作をデバイスＡ４０に実行させるための動作コマンドが生成される。本実施形態では、ＳＯＡＰ（Simple Object Access Protocol）プロトコルを用いた動作コマンド（ＳＯＡＰメッセージ）が生成される。デバイスＡ４０の動作コマンドの形式や生成方法は限定されず、他の方法が用いられてもよい。
　コマンド出力部２６０により、ホームネットワーク１０を介して動作コマンドが送信される（ステップ３０８）。デバイスＡ４０により、動作コマンドが受信され、動作コマンドに応じた動作が実行される（ステップ３０９）。
　例えばデバイスＡ４０がテレビジョン装置である場合には、動作コマンドに基づいてテレビジョン装置の電源がＯＮにされる。これにより、例えば、電源のＯＮ／ＯＦＦを示す電源ランプ等の色が変更される。また消灯していたテレビジョン装置のディスプレイには、テレビ放送等の表示が映し出され、テレビジョン装置のスピーカからは音声等が再生される。
　デバイスＡ４０により、マップ生成装置２０に対して、動作コマンドに応じた動作が完了したことが通知される（ステップ３１０）。これにより、マップ生成装置２０により、デバイスＡ４０の動作が完了したことが確認される。
　変化検知部２６２により、デバイスＡ４０の動作が検出される（ステップ３１１）。例えば、動作完了の通知を受けたタイミングでの居住空間の画像情報及び音情報等の変化がデバイスＡ４０の動作として検出される。
　マップ生成部２６３により、デバイスＡ４０の動作の検出結果に基づいて、デバイスＡ４０の位置情報が生成される（ステップ３１２）。本実施形態では、検出に用いられた画像情報等に基づいて、デバイスＡ４０の位置情報としてデバイスＡ４０のＸＹＺ座標値が生成される。
　マップ生成部２６３により、生成されたデバイスＡ４０の位置情報（ＸＹＺ座標値）と、データ記憶部２５に記憶されたデバイスＡ４０の機器情報及び機能情報とが関連付けられたマップ情報が生成される（ステップ３１３）。これにより、デバイスＡ４０の居住空間での位置、種類、及びサービス内容等の情報を含むマップ情報を生成することができる。
　マップ生成部２６３により、例えば、図３に示したシーケンスで生成された３Ｄモデルと、ステップ３１３で生成されたマップ情報とに基づいて居住空間の３Ｄマップが生成される。
　本実施形態では、マップ生成装置２０が受け取ったデバイス応答メッセージが複数存在した場合、デバイス応答メッセージを送信した全てのＤＬＮＡデバイスについて、ステップ３０５からステップ３１３の処理が実行され、各デバイスのマップ情報が生成される。これにより、ホームネットワークに接続された全てのＤＬＮＡデバイスの位置情報等を含む３Ｄマップを生成することが可能である。
　図４に示す例では、マップ生成装置２０とデバイスＡ４０との間で、ホームネットワーク１０を介した通信が行われる。マップ生成装置２０とデバイスＡ４０との間の通信は限定されず、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＺｉｇＢｅｅ（登録商標）等の他の近距離通信等が用いられてもよい。この場合でも、図４と同様のシーケンスを用いることが可能である。
　図５は、画像分析による物体の識別処理の一例を示したシーケンス図である。本実施形態では、マップ生成装置２０によって撮影された居住空間の画像が、クラウドサーバ３０へアップロードされ、画像分析部３２によって処理される。
　ＲＧＢ－Ｄｅｐｔｈカメラ２１により、居住空間の画像が撮影される（ステップ４０１）。本実施形態では、居住空間の所定の方向に向けられたＲＧＢカメラにより、居住空間の２次元（２Ｄ）のカラー画像（ＲＧＢ画像）が撮影される。
　ＲＧＢカメラで撮影されたカラー画像が取得され（ステップ４０２）、当該カラー画像の画像データ（画像情報）がクラウドサーバ３０にアップロードされる（ステップ４０３）。画像データの形式等は限定されない。例えば、任意の形式で撮影されたカラー画像を所定のデータ圧縮形式で圧縮することで、画像データが生成されてもよい。
　画像分析部３２により、アップロードされた画像データに基づいて、画像分析が実行される（ステップ４０４）。本実施形態では、当該画像分析によりカラー画像（画像データ）に映っている物体が検出される。例えば、カラー画像に映っているソファ、テレビ、及びエアコンといった物体の形状等に基づいて、各物体の商品カテゴリ等の種類が識別される。
　また、カラー画像に活字等が映っている場合、例えばＯＣＲ（Optical Character Recognition）等の手法を用いた画像分析が実行され、活字の画像が文字として認識され読み取られる。カラー画像から活字等を読み取る方法は限定されず、他の方法が用いられてもよい。これにより、例えばカラー画像に映っているデバイスに表記されたメーカ名等の機器情報が取得される。
　画像分析部３２により、カラー画像に映っている物体の種類やメーカ名等を含む分析結果が生成される。クラウドサーバ３０により、カラー画像の分析結果がマップ生成装置２０に送信される（ステップ４０５）。
　マップ作成装置２０により、カラー画像の分析結果に基づいて、ズーム撮影を行うか否かが判定される。例えば、カラー画像でのサイズが小さい等の理由で画像分析が途中で終了した活字等について、当該活字等のズーム撮影を行うことが判定される。
　ＲＧＢ－Ｄｅｐｔｈカメラ２１により、ズーム画像が撮影される（ステップ４０６）。本実施形態では、画像分析が途中で終了した活字等を拡大したズーム画像が撮影される。すなわち、光学的に拡大された活字等の画像が撮影される。ズーム画像の拡大率等は限定されず、例えば活字等のサイズに合わせて、適宜拡大率が設定されてもよい。
　ズーム画像が取得され（ステップ４０７）、ズーム画像のズーム画像データがクラウドサーバ３０に再度アップロードされる（ステップ４０８）。画像分析部３２により、ズーム画像データに対してそれぞれ画像分析が実行される（ステップ４０９）。
　画像分析部３２により、ズーム画像の分析結果が生成される。ズーム画像の分析結果には、例えばメーカ名等の情報が含まれる。ズーム画像の分析結果が、マップ生成装置２０に送信される（ステップ４１０）。データ受信部２６１により、カラー画像及びズーム画像の分析結果に基づいて、カラー画像に映ったデバイスの種類やメーカ名等の機器情報が取得される。データ受信部によって取得される情報は限定されず、例えばカラー画像に映った家具等の種類が取得されてもよい。
　本実施形態では、マップ生成装置２０により、ＲＧＢカメラの撮影方向が適宜変更され、それぞれの撮影方向で図４と同様のシーケンスが実行される。ＲＧＢカメラの向き（撮影方向）は、居住空間の全体をカバーできるように制御される。これにより、居住空間にある家具やデバイスの種類等がそれぞれ識別される。
　図６は、ネットワーク非対応機器であるデバイスＢ５０のマップ情報の生成方法の一例を示したシーケンス図である。ここでは、図５に示す物体の識別処理により、デバイスＢとしてエアコンが存在することが分かっている場合を説明する。
　マップ生成装置２０により、クラウドサーバ３０の赤外線コマンド提供部３３に対し、デバイスＢ５０を動作させるための赤外線コマンドの一覧が要求される（ステップ５０１）。デバイスＢがエアコンであることは分かっているので、エアコンを動作させるための赤外線コマンドの一覧が要求される。図６に示す例では、デバイスＢ５０（エアコン）の電源をＯＮにする動作を実行させる場合が示されている。
　赤外線コマンド提供部３３により、マップ生成装置２０の要求に応じた赤外線コマンドの一覧が生成される（ステップ５０２）。すなわちエアコンの電源をＯＮにするための赤外線コマンドの一覧が生成される。
　赤外線コマンドの一覧を生成する方法は限定されない。例えば、エアコンを製造する各メーカが採用している赤外線コマンドのフォーマット（形式）の一覧に基づいて、赤外線コマンドの一覧が生成されてもよい。赤外線コマンドのフォーマット（形式）の一覧は、例えばネットワーク等を介して取得可能である。本実施形態において、一覧に含まれる複数の赤外線コマンドは、互いに異なる形式の複数の赤外線リモコン信号に相当する。
　生成された赤外線コマンドの一覧が、マップ生成装置２０に送信される（ステップ５０３）。マップ生成装置２０により赤外線コマンドの一覧が取得され、データ記憶部２５に保存される。
　本実施形態では、取得された一覧に含まれる赤外線コマンドが、コマンド出力部２６０により順に出力される。以下では、出力される順に第１の赤外線コマンド、第２の赤外線コマンド、・・・というように記載する。赤外線コマンドが出力される順序は限定されない。
　コマンド出力部２６０により、赤外線送信部２３を介して第１の赤外線コマンドが出力される（ステップ５０４）。第１の赤外線コマンドに応じてデバイスＢ５０が反応したか否かが判定される。例えば、変化検知部２６２により、第１の赤外線コマンドが出力されてから所定の時間内に、デバイスＢ５０の電源ＯＮの動作が検出されるか否かが判定される。
　デイバスＢ５０の電源ＯＮの動作が検出されない場合、デバイスＢ５０は反応していないと判定される。すなわち、第１の赤外線コマンドはデバイスＢ５０に対応していないことが確認される。なお図６に示す例では、反応がない旨が、デバイスＢ５０からの矢印により示されている。
　変化検知部２６２によりデバイスＢ５０の電源ＯＮの動作が検出されるまで、互いに異なる形式の複数の赤外線コマンドが順に出力される。
　第Ｎの赤外線コマンドが出力され（ステップ５０５）、デバイスＢ５０の電源ＯＮの動作が実行されるとする（ステップ５０６）。例えばデバイスＢ５０の電源ランプが点灯され、起動音等が出力される。図６では、反応がある旨が、デバイスＢ５０からの矢印により示されている。
　居住空間の画像情報及び音情報に基づいて、変化検知部２６２によりデバイスＢ５０の電源ＯＮの動作が検出される（ステップ５０７）。これにより第Ｎの赤外線コマンドがデバイスＢ５０に対応していることが確認される。
　マップ生成部２６３により、デバイスＢ５０の動作の検出結果に基づいて、デバイスＢ５０の位置情報が生成される（ステップ５０８）。例えば、色変化を生じた電源ランプのＸＹＺ座標値が、デバイスＢ５０の位置情報として生成される。
　マップ生成装置２０により、赤外線コマンド提供部３３に対して、第Ｎの赤外線コマンドに対応するエアコンの機器情報及び機能情報等が要求される（ステップ５０９）。すなわち第Ｎの赤外線コマンドに応じて電源がＯＮになるデバイスＢ５０の、機器情報及び機能情報が要求される。
　赤外線コマンド提供部３３により、第Ｎの赤外線コマンドに対応するエアコンの機器情報及び機能情報等が生成される（ステップ５１０）。本実実施形態では、第Ｎの赤外線コマンドに含まれるカテゴリーコード（カスタマーコード）及びデータコードに基づいて、メーカ名等の機器情報及びサービス内容等の機能情報が生成される。機器情報には、例えば商品カテゴリ、メーカ、及びモデル等の情報が含まれる。また機能情報には、例えばMuting、Volume Up、Volume Down、Power ON、及びPower OFF等の情報が含まれる。機器情報及び機能情報は、予め赤外線コマンドと関連付けられて記憶されていてもよい。あるいは、ネットワーク等を介して、各メーカ等に対して問い合わせてもよい。
　赤外線コマンド提供部３３により、生成された機器情報及び機能情報等がマップ生成装置２０に送信される（ステップ５１１）。送信された機器情報及び機能情報は、データ受信部２６１により取得される。この機器情報及び機能情報は、デバイスＢ５０が応じて動作した第Ｎの赤外線コマンドに基づいて取得される情報である。
　マップ生成部２６３により、ステップ５１０で生成されたデバイスＢ５０の位置情報と、ステップ５１３で取得されたデバイスＢ５０の機器情報及び機能情報とが関連付けられたマップ情報が生成される（ステップ５１２）。
　マップ生成部２６３により、デバイスＢ５０のマップ情報を含む居住空間の３Ｄマップが生成される。これにより、ネットワーク非対応機器であるデバイスＢ５０の位置情報等を含む３Ｄマップを生成することが可能である。
　図７は、居住空間の３Ｄマップの一例を説明するための模式図である。居住空間の３Ｄマップ６０には、ネットワーク対応機器であるテレビジョン装置６１及びオーディオ装置６２が含まれる。また３Ｄマップ６０には、ネットワーク非対応機器であり赤外線リモコンに対応したエアコンディショナ６３及び扇風機６４と、家具であるソファ６５及びＡＶラック６６とが含まれる。
　図７に示す例では、マップ生成装置２０は、居住空間の中央の天井部分に配置される。３Ｄマップ６０は、居住空間の３Ｄモデルに基づいて、マップ生成装置２０の位置を原点としたＸＹＺ座標系で生成される。なお図７では、Ｚ方向から見た３Ｄマップ６０が平面的に示されている。
　例えば、図４に示した処理により、ネットワークに対応したテレビジョン装置６１及びオーディオ装置６２のＸＹＺ座標値、機器情報、及び機能情報を含む３Ｄマップ６０が生成される。また図６に示した処理により、ネットワークに非対応であり赤外線リモコンに対応したエアコンディショナ６３及び扇風機６４のＸＹＺ座標値等を含む３Ｄマップ６０が生成される。
　さらに本実施形態では、図５に示した処理等により、ネットワーク及び赤外線リモコンに非対応であるソファ６５及びＡＶラック６６のＸＹＺ座標値等を含む３Ｄマップ６０を生成することが可能である。
　３Ｄマップ６０は、例えば、居住空間にある各種機器を遠隔制御する場合等に参照される。例えば各種機器を遠隔制御する装置のメモリ等に、３Ｄマップ６０が記憶されて適宜参照される。この場合、３Ｄマップ６０は、図７に示すような画像のデータとして記憶される必要はない。一方で、ユーザが操作可能なＧＵＩ（Graphical User Interface）として、３Ｄマップ６０の３Ｄ画像が生成されて表示されもよい。これにより、宅内のデバイスの状況を、視覚的かつ直感的にわかりやすい状態でユーザに提示することが可能である。これによりユーザは、表示された３Ｄマップ６０を介して、操作性よく遠隔制御を実行することが可能となる。
　図８は、３Ｄマップに含まれる機器情報及び機能情報の一例を説明するための表である。図８には、テレビジョン装置６１、エアコンディショナ６３、及びソファ６５の機器情報（Description）及び機能情報（Capability）がそれぞれ示されている。
　図８に示す例では、機器情報として、種類（Device Type）、フレンドリ名（Friendly Name）、固有ID（UUID）、型番（Model Name）、及びメーカ名（Manufacturer）が示されている。また機能情報として、各種のサービス内容等が示されている。
　例えば、テレビジョン装置６１の機器情報として、テレビジョン装置６１の種類がＤＭＲである旨が記憶される。また機能情報として、テレビジョン装置６１が、ＤＬＮＡ規格に従ってＤＭＣ及びＤＭＳとして機能することが記憶される。
　エアコンディショナ６３の機能情報としては、例えば空調（Air conditioning）、暖房（Heating）、および除湿（Dehumidification）といったエアコンディショナの一般的な機能が記憶される。また例えば、ソファ６５の機能情報としては、寝そべる（Lie）、座る（SitOn）、眠る（Sleep）といったソファに関する基本的な機能が記憶される。
　なお３Ｄマップ６０に記憶される機器情報及び機能情報の種類や形式は、図８に示すものに限定されない。例えば各種機器の色、製造年代、及び所有者等の他の種々の情報が関連付けられてよい。
　以上、本実施形態に係るマップ生成システム１００では、所定の制御信号である動作コマンドが出力され、また居住空間の画像情報及び音情報の少なくとも一方が取得される。出力された動作コマンドに応じて動作するデバイスＡ４０及びＢ５０が居住空間に存在する場合、取得された画像情報等に基づいて、デバイスＡ４０及びＢ５０の位置情報が生成される。これにより居住空間の情報を高精度に取得することが可能である。
　近年、ユーザの活動する居住空間等でユーザを補助するパーソナルロボットやパーソナルエージェント等の技術が実用化され始めている。パーソナルロボット等の中には、ユーザに代わって居住空間に設置された家電等を制御する機能を持ったものも存在している。
　パーソナルロボット等が家電等の制御を行う場合には、居住空間内にどのような物体が配置されており、それらの物体が何であるか、またそれらの物体は何ができるのかを把握しておくことが重要である。
　例えば、居住空間内にある家電等を撮影して家電名等を取得し、居住空間を表すマップを作成する方法が考えられる。この方法では、居住空間のマップを作成するために、各家電を１つ１つ手動で配置したり、各家電の情報を入力したりする必要がある。すなわち、ユーザが自ら家電等の位置、種類、及び機能等の情報を入力する手間を要する。
　本実施形態に係るマップ生成システム１００では、デバイスＡ４０及びＢ５０の位置を取得するために、各デバイスを動作させるための制御信号が出力される。そして各デバイスの動作を検出することで、各デバイスの居住空間での位置座標が生成される。これにより、各デバイスの居住空間での配置等を精度よく容易に取得することが可能である。
　また制御信号の出力として、ネットワークを介した動作コマンドの出力、及び赤外線コマンドの出力の両方が可能である。これによりホームネットワーク１０に接続されたネットワーク対応機器と、赤外線リモコンに対応したネットワーク非対応機器とを含む、居住空間内の全ての機器について、位置情報、機器情報及び機能情報を取得することが可能である。従って周辺空間の情報を、高精度にまた容易に取得することが可能となり、高い精度の３Ｄマップを生成することが可能となる。
　また各デバイスについて、位置情報と、機器情報及び機能情報とが互いに関連付けられる。これにより、各デバイスの位置だけでなく、種類や機能といったメタ情報を持つ居住空間のマップを生成することが可能である。この結果、精度の高い遠隔操作が可能となる。
　また本実施形態では、居住空間の３Ｄモデルと、各デバイスのマップ情報とに基づいて、居住空間の３Ｄマップが生成される。これにより、各デバイスの位置関係等を３Ｄモデル上で再現することが可能であり、非常に高い汎用性を発揮することが可能となる。
　また本マップ生成システム１００では、ユーザによる操作等を介さずにデバイスＡ４０及びＢ５０の位置情報、機器情報、及び機能情報が取得される。従ってユーザの手を煩わせることなく、居住空間の情報を高精度に取得することが可能である。これにより、ユーザの負担を抑えて居住空間の３Ｄマップを生成することが可能である。
　本マップ生成システム１００により生成された３Ｄマップ６０を、パーソナルロボット等に参照させることで、その動作精度を十分に向上させることが可能となる。例えば、ユーザからパーソナルロボットに対して、テレビの電源をＯＮにするように支持が与えられたとする。この場合、パーソナルロボットにより、３Ｄマップが参照され、ユーザが居住空間の何処にいるのかが把握される。次に、３Ｄマップの機器情報等に基づいて、ユーザに最も近いテレビが検索される。そして、３Ｄマップの機能情報に基づいて、検索されたテレビの電源をＯＮにするコマンドが把握され、当該テレビに向けて動作コマンドが送信される。その後、テレビの音量操作やチャンネル切替え等も、ユーザの指示に応じて精度よく実行可能である。
　またユーザの指示によって、パーソナルロボットが居住空間内を移動する場合も考えられる。この場合でも、３Ｄマップを参照することで、最短距離の移動ルートやユーザの活動を邪魔することのない移動ルート等を精度よく算出することが可能となる。これによりユーザにとって非常に快適な生活環境を提供することが可能となる。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　図６では、赤外線リモコンに対応したデバイスＢ５０の種類（エアコン）が予め取得された。これに対して、赤外線リモコンに対応したデバイス（以下では赤外線対応デバイスと記載する）についての情報が取得されていない場合でも、本技術は適用可能である。
　例えば、居住空間に一般に存在する各種の赤外線対応デバイス（エアコン、扇風機、空気清浄機等）に応じた赤外線コマンドの一覧が取得される。マップ生成装置により、一覧に含まれる赤外線コマンドが総当りで送信される。赤外線対応デバイスの動作（反応）が検出された場合、例えば図６のステップ５０８以降のシーケンスにより、当該デバイスの位置情報、機器情報、及び機能情報等を取得可能である。
　例えば、図６のシーケンスを行う前に、動作した赤外線対応デバイスに対して、画像分析による物体の識別処理が実行されてもよい。これにより、当該デバイスの色や形状といった視覚的な情報を取得可能である。もちろんメーカ名等の情報を取得することも可能であり、例えば図６のステップ５１０での処理と合わせて、多様な機器情報等を取得可能である。
　また赤外線対応デバイスのメーカ名や型番等を利用して、赤外線コマンドの一覧を絞ることが可能である。例えば、赤外線対応デバイスの画像分析から型番等の情報を予め取得し、当該型番に対応した赤外線コマンドだけを含む一覧が生成されてもよい。すなわち、赤外線対応デバイスの画像情報に基づいて、出力する赤外線コマンドを選択されてもよい。これにより、赤外線コマンドの送信回数を減らすことが可能となり、赤外線対応デバイスの位置情報等を効率的に取得可能である。
　図５に示したシーケンスでは、画像分析による物体の識別処理を行うことにより、居住空間の画像に映っている物体の種類やメーカ名等の機器情報が取得された。居住空間の画像について、物体の識別処理を行うことにより、物体の機器情報、機能情報及び位置情報がそれぞれ取得されてもよい。
　例えば、物体の識別処理により取得された機器情報に基づいて、物体の機能情報が取得されてもよい。物体の機器情報からメーカ名及び商品名等がわかる場合、ネットワーク等を介して、同じ商品名を持つ製品のサービス内容等をメーカに問い合わせてもよい。また物体の機器情報と、商品カテゴリ（種類）ごとの一般的なサービス内容等とが照合されて、該当するサービス内容等が取得されてもよい。これにより、ＲＧＢ－Ｄｅｐｔｈカメラによって取得された居住空間の画像情報に基づいて、居住空間に設置されたデバイス及び家具等の機能情報を取得することが可能である。もちろん、識別処理により機能情報だけが取得されてもよい。
　例えば、物体の識別処理により、物体の居住空間での位置情報が取得されてもよい。この場合、物体の特徴となる部位（電源ランプやメーカロゴ等）の位置情報が、物体の位置情報として取得されてもよい。例えば、特徴となる部位が映るように、異なる位置及び方向から撮影された２枚の画像を使うことで、特徴となる部位の居住空間でのＸＹＺ座標値を取得可能である。すなわち居住空間の画像情報に基づいて、物体の位置情報を取得可能である。
　このように、居住空間の画像に基づいて、画像に映った物体の機器情報、機能情報、及び位置情報等が取得される。これにより、例えば各情報を取得するために、デバイス等を動作させる必要が無くなる。また動作させることができない家具等に関する機器情報等も取得可能である。従って、居住空間の多様な種類の情報を効率的に取得することが可能である。
　画像分析による認識処理と、動作の検出による処理との二つの処理を併用してデバイスの機器情報や機能情報が取得されてもよい。画像分析による認識処理では、取得される機器情報等の精度が低い場合が有り得るが、動作の検出による処理を併用することで、高精度の機器情報等を取得することが可能となる。
　出力された動作コマンドに応じて動作するデバイスＡ４０及びＢ５０が居住空間に存在する場合、出力された動作コマンドに対応する複数の参照画像情報の一覧と、居住空間の画像に映った物体とを比較して物体の機器情報あるいは位置情報が取得されてもよい。この参照画像情報の一覧と画像内の物体との比較においては、物体を識別するための類似度の閾値が、動作コマンドを用いない場合の類似度の閾値よりも小さく設定されてよい。例えば動作コマンドがテレビを起動させるための赤外線コマンドである場合、参照画像情報は、出力された赤外線コマンドに応じて動作し得るテレビの画像情報に予め限定され得る。したがって、動作コマンドを用いて画像分析を行う場合、動作コマンドを用いずに画像分析を行う場合よりも類似度の閾値が小さく設定されたとしても、高精度に機器情報あるいは位置情報を取得することが出来る。
　上記した各実施形態に係るマップ生成部が、時刻、居住空間のユーザの有無、及び居住空間の変化等の条件に基づいて、マップ情報を更新可能であってもよい。例えば、予め設定された時刻や居住空間にユーザがいないとき、あるいは居住空間に新規にデバイスが加えられた場合等に、マップ情報が更新されてもよい。これにより、ユーザの活動を邪魔することなく最新のマップ情報を提供することが可能である。従って、上記の条件等を適宜設定することにより、ユーザの手を煩わすことなく、自動的に最新の３Ｄマップ等を提供可能である。
　上記した実施形態では、居住空間に設置された１つのマップ生成装置２０により、居住空間の３Ｄマップ等の生成処理が行われた。居住空間に設置されるマップ生成装置の数は限定されない。例えば、複数の部屋がある住宅等において、部屋ごとにマップ生成装置が設置されてもよい。これにより、例えば複数のマップ生成装置により生成された３Ｄマップ等を適宜組み合わせることで、住宅全体の３Ｄマップを生成することが可能である。
　図４及び図６のシーケンスでは、デバイスＡ４０及びＢ５０を１回動作させることで、各デバイスの位置情報が生成された。各デバイスを動作させる回数は限定されない。例えば各デバイスを複数回動作させて、位置情報が取得されてもよい。これにより、居住空間の他のデバイスが偶然検出されるといったケースを排除することが可能である。従って、信頼性の高い３Ｄマップ等を提供することが可能である。
　上記では、デバイスＡ４０及びＢ５０の位置情報、機器情報、及び機能情報が関連付けられて３Ｄマップが生成された。各デバイスの位置情報と、機器情報及び機能情報とのいずれか一方が関連付けられてもよい。この場合でも、周辺空間の情報を高精度に取得することが可能である。
　上記では、ＲＧＢ－Ｄｅｐｔｈカメラ２１と音センサ２２とを使って、デバイスＡ４０及びＢ５０の動作が検出された。ＲＧＢ－Ｄｅｐｔｈカメラ及び音センサに加えて、他のセンサが補助的に用いられてもよい。
　例えば、各デバイスの電源ランプ（ＬＥＤ等）の発光色や輝度の変化を高速で判別する色センサが用いられてもよい。例えば色センサにより、色センサが向けられた居住空間での電源ランプ等の変化が検知される。従って、変化が検知された向きを撮影することで、電源ランプ等の変化を検出することが可能である。これにより、余分な画像処理等を行う必要が無くなり、効率的に各デバイスの動作を検出することが可能である。色センサの具体的な構成は限定されない。例えば、光ファイバ等を介して居住空間の光を受光部に誘導する色センサが用いられてもよい。
　例えば、居住空間の温度、湿度、及び照度等の変化を検知する温度センサ、湿度センサ、及び照度センサ等が用いられてもよい。例えば、温度、湿度、及び照度等の変化を伴う動作として、例えばエアコン、空気清浄機、及び照明機器等の動作が検知される。それぞれのセンサが検知した変化に基づいて、各動作が実行された方向等の情報が取得される。これらの情報を用いることで、効率的に各デバイスの動作を検出することが可能である。
　上記したクラウドサーバの機能の全部または一部が、マップ生成装置に搭載されてもよい。例えばマップ生成装置により３Ｄモデルの生成処理等が行われてもよい。また、マップ生成装置の各機能のうち、情報処理に関する機能の全部または一部が、クラウドサーバに搭載されてもよい。例えばクラウドサーバにより、マップ生成装置が取得した画像情報等に基づいて、３Ｄマップの生成処理等が行われてもよい。
　上記では、ホームネットワーク等を介してクラウドサーバと接続された情報処理装置（マップ生成装置）により、居住空間のデバイス等の位置情報の生成等を含む、本技術に係る情報処理方法が実行された。これに限定されず、クラウドサーバにより、本技術に係る情報処理方法が実行されてもよい。すなわち情報処理装置の機能が、クラウドサーバに搭載されてもよい。この場合、当該クラウドサーバは、本技術に係る情報処理装置として動作することになる。
　また画像情報及び音情報が入力されるコンピュータにより、本技術に係る情報処理方法が実行される場合に限定されず、画像情報及び音情報が入力されるコンピュータと、ネットワーク等を介して通信可能な他のコンピュータとが連動して、本技術に係るマップ生成システムが構築されてもよい。
　すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば各デバイスの位置情報等の生成処理や３Ｄマップの生成処理等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
　すなわち本技術に係る情報処理方法及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）所定の制御信号を出力する出力部と、
　周辺空間の画像情報及び音情報の少なくとも一方を取得する第１の取得部と、
　前記取得された画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じて動作する周辺装置の位置情報を生成する生成部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記生成部は、前記画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じた前記周辺装置の動作を検出し、当該検出結果に基づいて前記周辺装置の位置情報を生成する
　情報処理装置。
（３）（２）に記載の情報処理装置であって、
　前記生成部は、前記所定の制御信号に応じて動作する前記周辺装置の位置情報を含む、前記周辺空間のマップ情報を生成する
　情報処理装置。
（４）（３）に記載の情報処理装置であって、
　前記生成部は、前記周辺空間の３Ｄマップを生成する
　情報処理装置。
（５）（３）または（４）に記載の情報処理装置であって、さらに、
　前記周辺装置の機器情報を取得する第２の取得部を具備し、
　前記生成部は、互いに関連付けられた前記周辺装置の位置情報、及び前記周辺装置の機器情報を含む、前記マップ情報を生成する
　情報処理装置。
（６）（５）に記載の情報処理装置であって、
　前記第２の取得部は、前記周辺装置の機能情報を取得し、
　前記生成部は、互いに関連付けられた前記周辺装置の位置情報、及び前記周辺装置の機能情報を含む、前記マップ情報を生成する
　情報処理装置。
（７）（６）に記載の情報処理装置であって、
　前記機器情報は、前記周辺装置の種類、メーカ名及び型番の少なくとも一つを含み、
　前記機能情報は、前記周辺装置の動作内容及びサービス内容の少なくとも一方を含む
　情報処理装置。
（８）（６）または（７）に記載の情報処理装置であって、
　前記出力部は、前記周辺装置との双方向通信を介して前記所定の制御信号を出力する
　情報処理装置。
（９）（８）に記載の情報処理装置であって、
　前記出力部は、前記双方向通信を介して、前記機器情報及び前記機能情報の少なくとも一方を要求する
　情報処理装置。
（１０）（６）から（９）のうちいずれか１つに記載の情報処理装置であって、
　前記出力部は、赤外線通信を介して前記所定の制御信号を出力する
　情報処理装置。
（１１）（１０）に記載の情報処理装置であって、
　前記出力部は、互いに異なる形式の複数の赤外線リモコン信号を順に出力し、
　前記生成部は、前記出力された赤外線リモコン信号に応じて動作した前記周辺装置の位置情報を生成する
　情報処理装置。
（１２）（１１）に記載の情報処理装置であって、
　前記第２の取得部は、前記周辺装置が応じて動作した前記赤外線リモコン信号に基づいて、当該周辺装置の前記機器情報及び前記機能情報の少なくとも一方を取得する
　情報処理装置。
（１３）（１１）または（１２）に記載の情報処理装置であって、
　前記出力部は、前記取得された画像情報に基づいて、出力する前記赤外線リモコン信号を選択する
　情報処理装置。
（１４）（６）から（１３）のうちいずれか１つに記載の情報処理装置であって、
　前記第２の取得部は、前記取得された画像情報に基づいて、前記周辺装置の前記機器情報及び前記機能情報の少なくとも一方を取得する
　情報処理装置。
（１５）（１）から（１４）のうちいずれか１つに記載の情報処理装置であって、
　前記所定の制御信号は、電源のオン/オフ、音量の制御、及び所定の動作の開始/終了のうち少なくとも１つに関する制御信号である
　情報処理装置。
（１６）（３）から（１５）のうちいずれか１つに記載の情報処理装置であって、
　前記生成部は、時刻、前記周辺空間のユーザの有無、及び前記周辺空間の変化の少なくとも１つに関する所定の条件に基づいて、前記マップ情報を更新する
　情報処理装置。
　１０…ホームネットワーク
　２０…マップ生成装置
　２１…Ｄｅｐｔｈカメラ
　２２…音センサ
　２３…赤外線送信部
　２４…通信モジュール
　２５…データ記憶部
　２６…コントローラ
　３０…クラウドサーバ
　３１…空間認識部
　３２…画像分析部
　３３…赤外線コマンド提供部
　４０…デバイスＡ
　５０…デバイスＢ
　６０…３Ｄマップ
　１００…マップ生成システム
　２６０…コマンド出力部
　２６１…データ受信部
　２６２…変化検知部
　２６３…マップ生成部

Claims (18)

  1. 　所定の制御信号を出力する出力部と、
    　周辺空間の画像情報及び音情報の少なくとも一方を取得する第１の取得部と、
    　前記取得された画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じて動作する周辺装置の位置情報を生成する生成部と
    　を具備する情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記生成部は、前記画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じた前記周辺装置の動作を検出し、当該検出結果に基づいて前記周辺装置の位置情報を生成する
    　情報処理装置。
  3. 　請求項２に記載の情報処理装置であって、
    　前記生成部は、前記所定の制御信号に応じて動作する前記周辺装置の位置情報を含む、前記周辺空間のマップ情報を生成する
    　情報処理装置。
  4. 　請求項３に記載の情報処理装置であって、
    　前記生成部は、前記周辺空間の３Ｄマップを生成する
    　情報処理装置。
  5. 　請求項３に記載の情報処理装置であって、さらに、
    　前記周辺装置の機器情報を取得する第２の取得部を具備し、
    　前記生成部は、互いに関連付けられた前記周辺装置の位置情報、及び前記周辺装置の機器情報を含む、前記マップ情報を生成する
    　情報処理装置。
  6. 　請求項５に記載の情報処理装置であって、
    　前記第２の取得部は、前記周辺装置の機能情報を取得し、
    　前記生成部は、互いに関連付けられた前記周辺装置の位置情報、及び前記周辺装置の機能情報を含む、前記マップ情報を生成する
    　情報処理装置。
  7. 　請求項６に記載の情報処理装置であって、
    　前記機器情報は、前記周辺装置の種類、メーカ名及び型番の少なくとも一つを含み、
    　前記機能情報は、前記周辺装置の動作内容及びサービス内容の少なくとも一方を含む
    　情報処理装置。
  8. 　請求項６に記載の情報処理装置であって、
    　前記出力部は、前記周辺装置との双方向通信を介して前記所定の制御信号を出力する
    　情報処理装置。
  9. 　請求項８に記載の情報処理装置であって、
    　前記出力部は、前記双方向通信を介して、前記機器情報及び前記機能情報の少なくとも一方を要求する
    　情報処理装置。
  10. 　請求項６に記載の情報処理装置であって、
    　前記出力部は、赤外線通信を介して前記所定の制御信号を出力する
    　情報処理装置。
  11. 　請求項１０に記載の情報処理装置であって、
    　前記出力部は、互いに異なる形式の複数の赤外線リモコン信号を順に出力し、
    　前記生成部は、前記出力された赤外線リモコン信号に応じて動作した前記周辺装置の位置情報を生成する
  12. 　請求項１１に記載の情報処理装置であって、
    　前記第２の取得部は、前記周辺装置が応じて動作した前記赤外線リモコン信号に基づいて、当該周辺装置の前記機器情報及び前記機能情報の少なくとも一方を取得する
    　情報処理装置。
  13. 　請求項１１に記載の情報処理装置であって、
    　前記出力部は、前記取得された画像情報に基づいて、出力する前記赤外線リモコン信号を選択する
    　情報処理装置。
  14. 　請求項６に記載の情報処理装置であって、
    　前記第２の取得部は、前記取得された画像情報に基づいて、前記周辺装置の前記機器情報及び前記機能情報の少なくとも一方を取得する
    　情報処理装置。
  15. 　請求項１に記載の情報処理装置であって、
    　前記所定の制御信号は、電源のオン/オフ、音量の制御、及び所定の動作の開始/終了のうち少なくとも１つに関する制御信号である
    　情報処理装置。
  16. 　請求項３に記載の情報処理装置であって、
    　前記生成部は、時刻、前記周辺空間のユーザの有無、及び前記周辺空間の変化の少なくとも１つに関する所定の条件に基づいて、前記マップ情報を更新する
    　情報処理装置。
  17. 　所定の制御信号を出力し、
    　周辺空間の画像情報及び音情報の少なくとも一方を取得し、
    　前記取得された画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じて動作する周辺装置の位置情報を生成する
    　ことをコンピュータシステムが実行する情報処理方法。
  18. 　所定の制御信号を出力するステップと、
    　周辺空間の画像情報及び音情報の少なくとも一方を取得するステップと、
    　前記取得された画像情報及び音情報の少なくとも一方に基づいて、前記所定の制御信号に応じて動作する周辺装置の位置情報を生成するステップと
    　をコンピュータシステムに実行させるプログラム。
PCT/JP2017/024966 2016-09-07 2017-07-07 情報処理装置、情報処理方法、及びプログラム WO2018047458A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016174252 2016-09-07
JP2016-174252 2016-09-07

Publications (1)

Publication Number Publication Date
WO2018047458A1 true WO2018047458A1 (ja) 2018-03-15

Family

ID=61561967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/024966 WO2018047458A1 (ja) 2016-09-07 2017-07-07 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2018047458A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020041993A (ja) * 2018-09-13 2020-03-19 富士通株式会社 情報表示制御プログラム、情報表示制御方法および情報表示制御装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374584A (ja) * 2001-06-15 2002-12-26 Mitsubishi Electric Corp 遠隔操作装置、操作信号配信装置、操作信号入手方法、操作信号配信方法、駆動信号発生装置、接続サービスシステム
JP2011146796A (ja) * 2010-01-12 2011-07-28 Sony Corp 画像処理装置、物体選択方法及びプログラム
JP2016039449A (ja) * 2014-08-06 2016-03-22 株式会社リコー 機器制御システム及び機器制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002374584A (ja) * 2001-06-15 2002-12-26 Mitsubishi Electric Corp 遠隔操作装置、操作信号配信装置、操作信号入手方法、操作信号配信方法、駆動信号発生装置、接続サービスシステム
JP2011146796A (ja) * 2010-01-12 2011-07-28 Sony Corp 画像処理装置、物体選択方法及びプログラム
JP2016039449A (ja) * 2014-08-06 2016-03-22 株式会社リコー 機器制御システム及び機器制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020041993A (ja) * 2018-09-13 2020-03-19 富士通株式会社 情報表示制御プログラム、情報表示制御方法および情報表示制御装置
JP7119809B2 (ja) 2018-09-13 2022-08-17 富士通株式会社 情報表示制御プログラム、情報表示制御方法および情報表示制御装置

Similar Documents

Publication Publication Date Title
US11267131B2 (en) Mobile home robot and controlling method of the mobile home robot
CN107113544B (zh) 用于物联网设备的3d映射的方法、系统及介质
US10505755B2 (en) Server and method of managing group actions of external apparatuses
KR102444075B1 (ko) 전자 장치, 주변 기기 및 그 제어 방법
JP6503557B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP3329352B1 (en) User terminal apparatus and controlling method thereof
US8307059B2 (en) Network system, control apparatus, terminal apparatus, and connection state determining method
EP2744216B1 (en) Content playing apparatus, method for providing UI of content playing apparatus, network server, and method for controlling by network server
US20210281613A1 (en) Method and computing device for converting data received via multiple protocols and outputting the converted data via other protocols
KR20130035716A (ko) 전자기기들의 그룹 제어 방법 및 그를 위한 전자기기 관리 시스템
JP2009129198A (ja) 情報処理装置及び情報処理方法
CN104866084B (zh) 手势识别方法、装置和系统
TWI491232B (zh) 管理用戶選擇型設備的方法和系統
WO2017088331A1 (zh) 控制装置及运作方法
US20220094850A1 (en) Communication terminal, image communication system, and method for displaying image
JP2007306088A (ja) 制御装置及び制御方法
TWI458291B (zh) 實像網控裝置及其相關方法
CN107801074B (zh) 显示系统及其控制方法
TWI595427B (zh) 設備至制方法和設備控制系統及其儲存媒介
WO2018047458A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112041803A (zh) 电子设备及其操作方法
US10847021B1 (en) Determining commands on a media device interface
US11336731B1 (en) Methods and systems for identifying devices and positions of devices in an IoT environment
KR20190018358A (ko) 외부 디스플레이 장치에서 제공한 컨텐츠를 이어서 제공하기 위한 디스플레이 장치 및 이의 컨텐츠 제공 방법
JP2011130417A (ja) コンテンツ再生装置、コントローラ、コンテンツ再生システム、通信方法及び再生装置決定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848403

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17848403

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP