JP4989532B2

JP4989532B2 - 移動サービスロボットの中央情報処理システム、移動サービスロボットの情報処理方法及び移動サービスロボットの情報処理方法を記録したコンピュータで読み取り可能な記録媒体

Info

Publication number: JP4989532B2
Application number: JP2008077271A
Authority: JP
Inventors: 錫漢李; ▲連▼出朴; 俊映朴; 峻熙李
Original assignee: 成均館大学校産学協力団
Priority date: 2007-03-30
Filing date: 2008-03-25
Publication date: 2012-08-01
Anticipated expiration: 2028-03-25
Also published as: US20080243305A1; JP2008254167A; US8214079B2

Description

本発明は、室内の空間及び物体に関する情報を認識／推論の水準に応じて階層的に分離して統合管理し、室内で移動可能な移動サービスロボットに各移動サービスロボットの認識／推論の水準に合う空間／物体情報を提供する中央情報処理システム及び方法に関する。

一般に、室内環境（ＩｎｄｏｏｒＥｎｖｉｒｏｎｍｅｎｔ）において移動サービスロボット(ＭｏｂｉｌｅＳｅｒｖｉｃｅＲｏｂｏｔ)は、物体又は状況に対する認識(Ｒｅｃｏｇｎｉｔｉｏｎ)、目標地点までの移動(Ｎａｖｉｇａｔｉｏｎ)、指定された物体に対する把持、ＤＢ格納などの多様な作業を行う。また、移動サービスロボットは、前記のような認識、走行、操作など基本的な機能以外にも自己位置の認識及びマップの生成（ＳＬＡＭ、ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐＢｕｉｌｄｉｎｇ）、セルフモデリング(Ｓｅｌｆ−Ｍｏｄｅｌｉｎｇ)、物等を分類して認識する（Ｃａｔｅｇｏｒｉｚａｔｉｏｎ）などの高等な技術が必要な作業も遂行可能でなければならない。現在、このような移動サービスロボットの各機能について個別の研究が活発に進められている。

しかしながら、各機能に対する個別の開発結果を単純に結合して１つの移動サービスロボットを製作すれば、この移動サービスロボットは各機能によって互いに異なるデータの形式や格納場所を有するため、各機能に対するモジュール（Ｍｏｄｕｌｅ）間の互換性が低下し、類似の情報をそれぞれ保有して情報運用性の側面からかなり重複してしまう。例えば、移動サービスロボットが台所に位置する冷蔵庫の中からお茶を持って来るように命令されると、この移動サービスロボットは、走行、認識、操作など一連の作業を行う。もし、認識のためのお茶情報と操作のためのお茶情報が別々に存在し、走行のための冷蔵庫と認識のための冷蔵庫情報が別々に散在していれば、情報を統合的に管理できず、剰余（Ｒｅｄｕｎｄａｎｃｙ）情報が発生する。このような無駄が続けば、記憶空間の側面や互換性の側面から非効率性は次第に増大する。また、ある１つの移動サービスロボットが冷蔵庫、お茶、台所に対する感知（Ｓｅｎｓｉｎｇ）又は知覚（Ｐｅｒｃｅｐｔｉｏｎ）情報を既に保有しているにも拘らず、他の移動サービスロボットが同一な感知／知覚過程を経て同じ情報を獲得すれば、移動サービスロボットの間にも空間的／時間的な重複による無駄が生じてしまう。

更に、移動サービスロボットが各機能によって独立的に開発されて構成されると、この移動サービスロボットが提供できるサービスは当然限られており、低い水準にとどまってしまう。例えば、移動サービスロボットが自己位置の認識及びマップの生成など高等な推論技術を備えて走行能力に優れていても、空間や物体に関する上位水準の推論情報や状況(ｃｏｎｔｅｘｔ)情報がなければ、環境（ｅｎｖｉｒｏｎｍｅｎｔ）と物体（ｏｂｊｅｃｔ）に対する知識の習得と関係を理解する認識能力は低くなる。そうなると、この移動サービスロボットは室内環境内で空間と物体に対する理解に基づく作業、例えば、家庭環境で冷蔵庫の中にあるお茶を持って来る作業、台所のテーブル上にあるジュースを居間のソファに座っている持ち主の所まで持って来る作業などを行うことができなくなる。このような上位水準の作業及びサービスを行うためには、正確な走行能力やマップの生成能力とは別途に物体／空間に対する知識体系及び構造が必要となる。これは他ならぬ移動サービスロボットの空間又は物体に対する理解を意味する。

更に、１つの移動サービスロボットではなく、多数の移動サービスロボットが運用される室内環境であれば、空間や物体に関する情報の共有が一層切実になる。即ち、１つの移動サービスロボットにより習得された情報は、同じ環境内にある他の移動サービスロボットにより共有されなければならず、その内容が他の移動サービスロボットのサービスに反映されなければならない。特に、認識や推論の水準が異なる移動サービスロボットが常に存在する場合には、各認識／推論の水準に合うように情報が加工され、変換されて共有される必要がある。

従って、多様な移動サービスロボットが必要とする情報を統合して管理し、共有するための体系に関する研究が必要であり、このような研究が部分的に行われている。

地理的／空間的情報を効果的に表現して管理する方法の代表として、ＧＩＳ（ＧｅｏｇｒａｐｈｉｃＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍ、地理情報体系）が挙げられる。ＧＩＳは、ユーザが認知的決定（ＩｎｔｅｌｌｉｇｅｎｔＤｅｃｉｓｉｏｎ）を行うようにする技術の１つである。ＧＩＳは、地理情報（ＧｅｏｇｒａｐｈｉｃａｌＩｎｆｏｒｍａｔｉｏｎ）上に属性（ｐｒｏｐｅｒｔｙ）を有するデータをマルチレイヤ（ＭｕｌｔｉＬａｙｅｒ）にマッピングするシステムであって、通常、目的に合う情報のみを詳細に表現する。一般的なＧＩＳのデータは、膨大な室外及び地上に限定されるため、家庭環境における精密な操作のための移動サービスロボットには適していない。また、ＣＡＤ（ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｅｓｉｇｎ）を用いた室内環境モデリングは多数の商用製品があるほどに数多く行われており、ＩＦＣ（ＩｎｄｕｓｔｒｉａｌＦｏｕｎｄａｔｉｏｎＣｌａｓｓｅｓ）を通じて標準化が試みられている。しかしながら、ＣＡＤも幾何学的な建築構造情報のみを提供するため、実際の家庭環境における移動サービスロボットの要求事項には及ばない。

ホームサービスのサービスの対象となる個々人に関する情報を統合して管理しようとする試みは、ウェブサービス分野においても活発になされている。主に、人間の行動パターン（Ｐａｔｔｅｒｎ）を観察し、観察されたデータをオントロジ（Ｏｎｔｏｌｏｇｙ）で構築し、構築されたオントロジで推論して新たなユーザの情報を生成することを目的とする。このようなアプローチは、実際に移動サービスロボットが与えられたミッション（Ｍｉｓｓｉｏｎ）を行うのに役立つというよりは、移動サービスロボットが人々の要求事項をより容易に判断できるようにするのに役立つものと期待される。

物理的データ（ＰｈｙｓｉｃａｌＤａｔａ）や源泉データ（ＲａｗＤａｔａ）に関する情報システムアプローチ（ＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍＡｐｐｒｏａｃｈ）は、主に用いられたセンサ（Ｓｅｎｓｏｒ）の特性に限定されたデータを集めたり、低い水準で処理された源泉データを取得したりする分野で利用されている。このように取得された大部分の情報は、移動サービスロボットのための情報として用いるのには再使用性（Ｒｅｕｓａｂｉｌｉｔｙ）が低下したり、抽象的知識と関連付けて利用され得ないという問題がある。

人間と移動サービスロボットとの間の相互作用（Ｈｕｍａｎ-ＲｏｂｏｔＩｎｔｅｒａｃｔｉｏｎ、ＨＲＩ）の観点から人の音声に関する研究のうち源泉データと高次元の抽象知識（Ｋｎｏｗｌｅｄｇｅ）を結び付けようとする試みとしてオーロラプロジェクト（ＡｕｒｏｒａＰｒｏｊｅｃｔ）が挙げられる。オーロラプロジェクトは、人の音声に関する語彙（Ｖｏｃａｂｕｌａｒｙ）を中央サーバに置く方法を取りながら、前処理（Ｐｒｅｐｒｏｃｅｓｓ）されたデータの分析とエラーの処理（ＥｒｒｏｒＨａｎｄｌｉｎｇ）までサーバを共有して用いる。しかしながら、分散サウンド認識（ＤｉｓｔｒｉｂｕｔｅｄＳｏｕｎｄＲｅｃｏｇｎｉｔｉｏｎ）の本来の趣旨は、ターミナル（Ｔｅｒｍｉｎａｌ）の演算リソース（ＣｏｍｐｕｔａｔｉｏｎａｌＲｅｓｏｕｒｃｅ）の不足に起因するボトルネック（ＢｏｔｔｌｅＮｅｃｋ）現象を低減することにある。

移動サービスロボットに関するデータの共有ではないソフトウェアコンポーネント（Ｃｏｍｐｏｎｅｎｔ）共有システムとしてはＯｒｃａが挙げられる。Ｏｒｃａは、移動サービスロボットの各コンポーネントの間に一般に用いられるインターフェース（ｉｎｔｅｒｆａｃｅ）を単純化させ、コンポーネントの使用を容易にしてコンポーネントの効果的、かつ、持続的な再利用を目標とする。Ｏｒｃａは、ソフトウェアコンポーネントの設計だけでなく、コンポーネントリポジトリ（Ｒｅｐｏｓｉｔｏｒｙ）の効果的な管理を通じて実現される。しかしながら、Ｏｒｃａはコンポーネントの接続（ｃｏｎｎｅｃｔｉｏｎ）とリポジトリを１つのフレームワーク（Ｆｒａｍｅｗｏｒｋ）で統合するミドルウェア接近法（ＭｉｄｄｌｅｗａｒｅＡｐｐｒｏａｃｈ）である。

また、ある研究では４足ロボットのサッカーで認知された空間情報と物体情報を表現して格納する方法を開示しているが、他の個体との情報交換はトークン（Ｔｏｋｅｎ）を通じた作業の共有（ＴａｓｋＳｈａｒｅ）にとどまっているという短所がある（下記の非特許文献１参照）。

更に、他の研究では作業（Ｔａｓｋ）中心の情報生成及びロボットの学習（Ｌｅａｒｎｉｎｇ）について開示している。各作業毎に一般家庭や事務用環境で作動しなければならないロボットは非常に多様な環境と動きを考慮するが、ロボットがこのような環境に対する事前知識を予め完壁に構築しているということは現実的に難しい。従って、本研究では作業モデルに基づく相互教習（ＴａｓｋＭｏｄｅｌ−ＢａｓｅｄＩｎｔｅｒａｃｔｉｖｅＴｅａｃｈｉｎｇ）という新たな教習フレームワーク（ＴｅａｃｈｉｎｇＦｒａｍｅｗｏｒｋ）を提案している（非特許文献２参照）。

その他にも、データ／情報／知識を体系化してロボット／自動化機器に適用させようとする試みは様々であるが、ロボットの要求事項を満足させる情報システムは新たに開発されなければならない。
Ｆａｒｉｎｅｌｌｉ、Ａ．Ｉｏｃｃｈｉ、Ｌ．Ｎａｒｄｉ、Ｄ及びＺｉｐａｒｏ、Ｖ．Ａ．の「Ａｓｓｉｇｎｍｅｎｔｏｆｄｙｎａｍｉｃａｌｌｙｐｅｒｃｅｉｖｅｄｔａｓｋｓｂｙｔｏｋｅｎｐａｓｓｉｎｇｉｎｍｕｌｔｉｒｏｂｏｔｓｙｓｔｅｍｓ、ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ、ＳｐｅｃｉａｌｉｓｓｕｅｏｎＭｕｌｔｉ-ＲｏｂｏｔＳｙｓｔｅｍｓ、２００６」ＪｕｎＭｉｕｒａ、ＫｏｊｉＩｗａｓｅ及びＹｏｓｈｉａｋｉＳｈｉｒａｒｉの「ＩｎｔｅｒａｃｔｉｖｅＴｅａｃｈｉｎｇｏｆａＭｏｂｉｌｅＲｏｂｏｔ、ＩｎＰｒｏｃｅｅｄｉｎｇｏｆ２００５Ｉｎｔ. Ｃｏｎｆ．ｏｎＲｏｂｏｔｉｃａｎｄＡｕｔｏｍａｔｉｏｎ、ｐｐ．３３８９‐３３９４、２００５」

本発明は、上記問題に鑑みてなされたものであって、その目的は、室内の移動サービスロボットに必要な室内情報を提供し、移動サービスロボットから変化した情報の提供を受けることで、室内の多数の移動サービスロボットが室内情報を共有できるように室内の空間及び物体に関する情報を統合管理する移動サービスロボットの中央情報処理システム及び方法を提供することにある。

本発明の他の目的は、室内の空間及び物体に関する情報を認識／推論の水準に応じて階層的に分離して統合管理し、室内で移動サービスロボットに各移動サービスロボットの認識／推論の水準に合う空間／物体情報を提供する中央情報処理システム及び方法を提供することにある。
本発明の更に別の目的は、移動サービスロボットが認識／推論する物体又は空間に関する下位階層情報から上位階層の情報を用いて情報を検索し推論して提供する中央情報処理システム及び方法を提供することにある。

前記目的を達成するために、本発明は、以下のようなシステムを提供する。

第１発明では、室内で少なくとも１つ以上の移動サービスロボットと通信する中央情報処理システムにおいて、前記移動サービスロボットに対応する少なくとも１つ以上のインターフェース部を含み、前記インターフェース部は対応する移動サービスロボットの情報要請を解析し、要請した情報を前記移動サービスロボットが解析可能な形態に変換して伝送するブローカ手段と、前記室内に関する空間情報を認識／推論の水準に応じて階層別に構成して格納し、前記ブローカ手段の空間情報の要請によって要請された空間情報を検索して返信する空間情報管理部と、前記室内に存在する物体を認識／推論の水準に応じて階層別に構成して格納し、前記ブローカ手段の物体情報の要請によって要請された物体情報を検索して返信する物体情報管理部と、実際の環境または物体から得られた下位階層の情報を用いて物体又は空間に関する上位階層の情報を検索して推論したり、上位階層の情報を用いて物体又は空間の理解のために用いられるべき下位階層の情報を検索して推論する空間物体推論部とを備えることを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第２発明では、第１発明を基本とし、前記空間情報又は物体情報は、実測した情報を格納する実測情報階層と、測光特徴を格納する測光情報階層と、空間又は物体を幾何学的構造に分節して格納する幾何学的情報階層と、空間又は物体の構成要素を区分して記号化し、階層化して格納する構造的情報階層と、空間上で物体の位置又は障害を表現する情報を格納する位相的情報階層と、空間又は物体、又は前記空間又は物体の構成要素の普遍的モデルを定義し格納する普遍的情報階層と、物体又は空間の時空間による変化と関係を格納する時空間情報階層と、物体又は空間に関する下位階層情報から空間又は物体、又は前記空間又は物体の状態を推論するための推論情報を格納する推論情報階層とをさらに有する事を特徴とする移動サービスロボットの中央情報処理システムを提供する。

第３発明では、第２発明を基本とし前記空間の実測情報階層は室内空間の地理的情報を格納する基本マップ情報を含み、前記空間の測光情報階層は室内空間の測光特徴としてマップを含み、前記空間の幾何学的情報階層は室内空間を幾何学的に分節した情報を含み、前記空間の位相的情報階層は物体の全域的座標と姿勢、又は障害と認識される物体に関する情報を含み、前記空間の普遍的情報階層は空間又は空間の構成部分に関する意味論的情報を含み、前記空間の時空間情報階層は室内の時間的空間的状況によって変化する光の明るさ、照明の方向、温度、湿度を含むことを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第４発明では、第２発明を基本とし前記物体の実測情報階層は物体に対して実際に測定して得た２次元又は３次元表現データを格納する２Ｄ／３Ｄ原映像情報を含み、前記物体の位相的情報階層は多数の３次元コンタクトポイントと３次元方向ベクトルで表現される接近方向の情報を含み、前記物体の時空間情報階層は物体−空間の時間従属関係、物体の存在と時空間従属関係、物体−物体間の時空間従属関係、物体−機能間の時空間従属関係、物体−物理特性の時空間従属関係に関する情報を含み、前記物体の推論情報階層は下位情報階層の情報間の関係を確率で作成するグラフを格納する証拠構造を含むことを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第５発明では、第３又は第４発明を基本とし前記測光特徴は、ＳＩＦＴ、ハリスコーナー、カラー、ラインに関する情報を含むことを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第６発明では、第３発明を基本とし前記障害情報は、メッシュ又はセルで表現し格納されることを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第７発明では、第４発明を基本とし前記２次元又は３次元表現データは、少なくとも２以上のカメラ角度を通じて算出される２Ｄイメージ（ＲａｗＩｍａｇｅ）、レーザスキャナ、ステレオカメラ、構造光カメラのいずれか１つから得た深さデータ、前記深さデータから生成されたメッシュデータのうちの１つ以上を含むことを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第８発明では、第１発明を基本とし前記空間情報管理部又は物体情報管理部は、前記空間情報又は物体情報をオントロジで構成して格納し、前記空間物体推論部はオントロジによる推論を行うことを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第９発明では、第３発明又は第４発明を基本とし、前記インターフェース部は対応する移動サービスロボットからマップに対する要請があれば、空間の実測情報階層の基本マップ情報と、位相的情報階層の物体／障害位置情報とを合せて統合マップを作成し、前記移動サービスロボットに提供することを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第１０発明では、第１発明を基本とし、移動サービスロボットに与えられたミッションから移動サービスロボットが実行する単位行動を決定する確率に基づく行動構造を作成して格納し、前記ブローカ手段の要請により行動構造を返信したり、移動サービスロボットに与えられたミッションを解析して移動サービスロボットが実行する単位行動と前記行動に必要な情報を抽出して返信したりするミッション解析管理部を更に備えることを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第１１発明では、第１０発明を基本とし前記ミッション解析管理部は、知覚データ、証拠構造、行動を確率的な優先順位関係を有するベイジアンネットワークで前記行動構造を構成し、前記優先順位関係の確率によって最適の経路を決定して経路上の行動を実行する単位行動として抽出することを特徴とする移動サービスロボットの中央情報処理システムを提供する。

第１２発明では、室内で少なくとも１つ以上の移動サービスロボットと通信する中央情報処理システムを利用する移動サービスロボットの情報処理方法に関するものであって、（ａ）前記室内に関する空間及び物体情報を認識／推論の水準に応じて階層別に構成して格納する段階と、（ｂ）前記移動サービスロボットのそれぞれに対して、前記移動サービスロボットの情報要請を解析し、要請した情報を前記移動サービスロボットが解析可能な形態に変換して伝送するインターフェースを構成する段階と、（ｃ）前記移動サービスロボットの空間又は物体に関する情報検索の要請を受ける段階と、（ｅ）情報を検索するために推論が必要であるかを判断して必要であれば、実際の環境または物体から得られた下位階層の情報を用いて物体又は空間に関する上位階層の情報を検索して推論したり、上位階層の情報を用いて物体又は空間の理解のために用いられるべき下位階層の情報を検索して推論する段階と、（ｆ）要請された空間又は物体に関する情報を検索する段階と、（ｇ）検索された空間又は物体情報を前記要請された移動サービスロボットに送る段階とを含むことを特徴とする移動サービスロボットの情報処理方法を提供する。

第１３発明では、第１２発明を基本とし前記空間情報又は物体情報は、実測した情報を格納する実測情報階層と、測光特徴を格納する測光情報階層と、空間又は物体を幾何学的構造に分節して格納する幾何学的情報階層と、空間又は物体の構成要素を区分して記号化し、階層化して格納する構造的情報階層と、空間上で物体の位置又は障害を表現する情報を格納する位相的情報階層と、空間又は物体、又は前記空間又は物体の構成要素の普遍的モデルを定義し格納する普遍的情報階層と、物体又は空間の時空間による変化と関係を格納する時空間情報階層と、物体又は空間に関する下位階層情報から空間又は物体、又は前記空間又は物体の状態を推論するための推論情報を格納する推論情報階層とで構成することを特徴とする移動サービスロボットの情報処理方法を提供する。

第１４発明では、第１３発明を基本とし前記空間の実測情報階層は室内空間の地理的情報を格納する基本マップ情報を含み、前記空間の測光情報階層は室内空間の測光特徴マップを含み、前記空間の幾何学的情報階層は室内空間を幾何学的に分節した情報を含み、前記空間の位相的情報階層は物体の全域的座標と姿勢、又は障害と認識される物体に関する情報を含み、前記空間の普遍的情報階層は空間又は空間の構成部分に関する意味論的情報を含み、前記空間の時空間情報階層は室内の時間的空間的状況によって変化する光の明るさ、照明の方向、温度、湿度を含むことを特徴とする移動サービスロボットの情報処理方法を提供する。

第１５発明では、第１３発明を基本とし前記物体の実測情報階層は物体に対して実際に測定して得た２次元又は３次元表現データを格納する２Ｄ／３Ｄ原映像情報を含み、前記物体の位相的情報階層は多数の３次元コンタクトポイントと３次元方向ベクトルで表現される接近方向の情報を含み、前記物体の時空間情報階層は物体−空間の時間従属関係、物体の存在と時空間従属関係、物体−物体間の時空間従属関係、物体−機能間の時空間従属関係、物体−物理特性の時空間従属関係を含み、前記物体の推論情報階層は下位情報階層の情報間の関係を確率で作成するグラフを格納する証拠構造を含むことを特徴とする移動サービスロボットの情報処理方法を提供する。

第１６発明では、第１３発明を基本とし前記測光特徴は、ＳＩＦＴ、ハリスコーナー、カラー、ラインに関する情報を含むことを特徴とする移動サービスロボットの情報処理方法を提供する。

第１７発明では、第１３発明を基本とし前記障害情報は、メッシュ又はセルで表現し格納されることを特徴とする移動サービスロボットの情報処理方法を提供する。

第１８発明では、第１５発明を基本とし前記２次元又は３次元表現データは、少なくとも２以上のカメラ角度を通じて算出される２Ｄイメージ、レーザスキャナ、ステレオカメラ、構造光カメラのいずれか１つから得た深さデータ、前記深さデータから生成されたメッシュデータのうちの１つ以上を含むことを特徴とする移動サービスロボットの情報処理方法を提供する。

第１９発明では、第１２発明を基本とし前記（ａ）段階は前記空間情報又は物体情報をオントロジで構成して格納し、前記（ｅ）段階はオントロジによる推論を行うことを特徴とする移動サービスロボットの情報処理方法を提供する。

第２０発明では、第１３発明を基本とし前記（ｇ）段階は、要請された情報が空間の実測情報階層の基本マップ情報と位相的情報階層の物体／障害位置情報を含んでいれば、前記情報を合せて統合マップを作成して送ることを特徴とする移動サービスロボットの情報処理方法を提供する。

第２１発明では、第１２発明を基本とし（ａ０）前記（ａ）段階の前に前記移動サービスロボットに与えられたミッションから移動サービスロボットが実行する単位行動を決定する確率に基づく行動構造を作成して格納する段階と、（ｄ）前記（ｃ）段階の後に前記移動サービスロボットの検索要請により行動構造を返信したり、移動サービスロボットに与えられたミッションを解析して移動サービスロボットが実行する単位行動と前記行動に必要な情報を抽出して返信したりする段階とを更に含むことを特徴とする移動サービスロボットの情報処理方法を提供する。

第２２発明では、第２１発明を基本とし前記（ａ０）段階は知覚データ、証拠構造、行動を確率的な優先順位関係を有するベイジアンネットワークで前記行動構造を構成し、前記（ｄ）段階は前記優先順位関係の確率によって最適の経路を決定して経路上の行動を実行する単位行動として抽出することを特徴とする移動サービスロボットの情報処理方法を提供する。

第２３発明では、第１２発明または第２２発明の前記移動サービスロボットの情報処理方法を記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明に係る移動サービスロボットの中央情報処理システム及び方法によれば、移動サービスロボットに必要な情報を統合管理して総合的に共有し提供することで、データ管理の効率性を向上させ、多数の移動サービスロボットがある室内状況で知識格納のための空間的コスト及び空間／物体の学習のための時間的コストを低減できるという効果を奏する。

また、本発明に係る移動サービスロボットの中央情報処理システム及び方法によれば、移動サービスロボットの認識／推論の水準に合う情報を提供することで、異質な認識／推論水準の移動サービスロボットが常に存在する環境でも情報を共有し統合管理できるという効果が得られる。
更に、本発明に係る移動サービスロボットの中央情報処理システム及び方法によれば、低い認識／推論水準の移動サービスロボットにも高い水準で推論された情報を提供することで、低コストの移動サービスロボットによってもより高コストの移動サービスロボットの水準に該当するサービスを受けられるという効果が得られる。

なお、本発明は室内における移動サービスロボットに必要な情報を共有し提供する分野に適用が可能であり、特に、室内で複数の移動サービスロボットが用いられる場合にも適用が可能である。

以下、添付する図面を参照しつつ、本発明の好ましい実施の形態を説明する。なお、本発明を説明するにあたり、同一部分には同一符号を付し、その繰り返しは省略する。
図１は、本発明に係る移動サービスロボットの中央情報処理システム及び方法を実施するための全体システムの構成を示す図である。

図１に示すように、本発明に係る移動サービスロボットの中央情報処理システム３０はデータベース２０を備え、多数の移動サービスロボット１０と通信して情報を送受信する。
前記中央情報処理システム３０と移動サービスロボット１０の通信は無線通信により互いに情報をやり取りする。無線通信としては、無線ＬＡＮ、ＲＦ（ＲａｄｉｏＦｒｅｑｕｅｎｃｙ）、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）（登録商標）などどの無線通信も可能である。しかしながら、最小限に室内の空間範囲をカバーできる無線通信規格でなければならない。例えば、ＩｒＤＡなどは、そのカバーの範囲が小さいため、適していないこともあり得る。但し、建物が大きかったり、無線通信のカバー範囲が小さかったりすると、中継器などを介して室内のどこでも無線通信が可能なようにすることができる。また、ワイブロ（Ｗｉｂｒｏ）（登録商標）、ＨＳＤＰＡ、ワイファイ（ＷｉＦｉ）（登録商標）、ワイマックス（ＷｉＭａｘ）（登録商標）など広帯域無線通信の場合もその応用が可能になる。前述した無線通信技術は本分野において公知となっている技術であるので、具体的な説示は省略する。

前記データベース２０は、一般的な関係型データベースであることもあり得るが、本発明によって物体／空間情報をオントロジで構成すれば、オントロジ格納所を意味することもあり得る。即ち、前記データベース２０は、本発明のデータの構成形態によって適切な公知のデータベースである。また、前記データベース２０を管理し、検索するための公知となった検索エンジンを搭載したものである。例えば、オントロジで構成されると、オントロジ推論を行えるエンジンなどミドルウェアが搭載されたオントロジ格納所であることを意味する。

前記移動サービスロボット１０とは、室内で移動可能であり、命令を行う知能型移動サービスロボットをいう。前記移動サービスロボットは、物体又は空間を認識するための超音波センサ、赤外線センサ、レーザセンサ、一般のカメラ、レーザスキャナ、ステレオカメラ、マイクなどのセンサを備えている。また、前記移動サービスロボット１０は、このようなセンサから読み出した測定値や映像などを分析して物体を認識したり、自己位置を認識するなどの認識や推論作業を行える機能を備えることができる。更に、前記移動サービスロボット１０は、認識（Ｒｅｃｏｇｎｉｔｉｏｎ）、走行（Ｎａｖｉｇａｔｉｏｎ）、操作（Ｍａｎｉｐｕｌａｔｉｏｎ）、そして自己モデル生成（ＡｕｔｏｎｏｍｏｕｓＯｂｊｅｃｔ／ＥｎｖｉｒｏｎｍｅｎｔＭｏｄｅｌｉｎｇ）などを行う。また、空間又は物体やそれらの間の意味的情報（ｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎ）を有しているため、意味論的推論（ｓｅｍａｎｔｉｃｒｅａｓｏｎｉｎｇ）を行える機能も備えることができる。即ち、前記移動サービスロボット１０は、それぞれ異なる認識又は推論の水準を有していることもあり得る。

前記移動サービスロボット１０は、通信を通じて前記中央情報処理システム３０に必要な情報を要請し、要請した情報を受信して利用する。このとき、単に前記中央情報処理システム３０に格納されたデータを要請してもよく、前記中央情報処理システム３０が内部的に処理したデータを受信してもよい。また、移動サービスロボット１０は移動サービスロボット１０自身が所望のデータを中央情報処理システム３０に要求し、中央情報処理システム３０はこれを分析及び検索してそれに合うデータを提供する。中央情報処理システムの管理者又は移動サービスロボット１０により更新された情報は再び中央情報処理システム３０を介して他の移動サービスロボットに提供される。

図２は、本発明の一実施形態に係る移動サービスロボットの中央情報処理システムの構成を示すブロック図である。図２に示すように、前記移動サービスロボットの中央情報処理システム３０は、データベース２０を備え、ブローカ手段３１、空間情報管理部３３、物体情報管理部３４、空間物体推論部３５で構成される。また、ミッション解析管理部３６を更に設けてもよい。

前記ブローカ手段３１は、移動サービスロボット１０に対応する少なくとも１つ以上のインターフェース部３２を含み、前記インターフェース部３２は対応する移動サービスロボットの情報要請を解析し、要請した情報を前記移動サービスロボットが解析可能な形態に変換して伝送する。
即ち、前記ブローカ手段３１は、通信で連結された移動サービスロボット１０に対してそれぞれ一対一対応するインターフェース部３２で構成される。もし同じ種類の移動サービスロボットに対しては、１つのインターフェース部３２で連結して処理するように実施形態を構成することもできる。但し、このような場合には、１つのインターフェース部３２が同時に多数の作業を遂行できるマルチプロセッシングを行える機能を有するように実施形態を構成しなければならない。

前記インターフェース部３２は、各対応する移動サービスロボット１０の情報要請を解析して中央情報処理システム３０で処理できる要請に変換する作業を行い、逆に中央情報処理システム３０は情報要請に応じて生成された要請結果を前記移動サービスロボットが解析可能な形態に変換する作業を行う。即ち、前記インターフェース部３２は、前記移動サービスロボット１０が中央情報処理システム３０と異なる情報処理体系を有しても互いに互換するように、情報を変換する役割を果たす。今後、移動サービスロボットが人間の日常生活に普遍的な手段として登場することになれば、それぞれ複数の企業でそれぞれ異なる仕様の知能型移動サービスロボットが製作され得、ユーザはそれぞれ異なる移動サービスロボットを購入して同じ室内で同時に用いることになる。従って、このようなそれぞれ異なる仕様の移動サービスロボット１０に対して簡単にインターフェース部３２のみ設置させることで、中央情報処理システム３０に連動して情報の交換が可能なようにすることができる。

前記空間情報管理部３３と前記物体情報管理部３４は、前記室内の空間又は物体に関する情報を認識／推論の水準に応じて階層別に構成して格納する。図３によって認識／推論の水準に応じた情報階層の構成を説明する。図３は、本発明の一実施形態に係る中央情報処理システムの情報階層を示す構成図である。

図３に示すように、中央情報処理システムの情報階層４０は、下位階層から上位階層まで実測情報階層４１、測光情報階層４２、幾何学的情報階層４３、構造的情報階層４４、位相的情報階層４５、普遍的情報階層４６、時空間情報階層４７、推論情報階層４８で構成される。前記情報階層４０は、移動サービスロボットの認識／推論の水準に応じて情報を階層化したものである。即ち、下位情報階層はセンサなどを介して空間又は物体を原始的に認識したり、推論した情報であり、上位情報階層は空間又は物体の意味論的情報（ｓｅｍａｎｔｉｃｉｎｆｏｒｍａｔｉｏｎ）であって、高次元の推論が可能な情報である。

前記実測情報階層４１は、実測した情報を格納する情報階層である。即ち、測定された対象の大きさや形状などに関する情報である。空間に関する実測情報は建築設計図のような基本マップとしての役割を果たし、空間に対する３次元の立体形状と実測された大きさに対する測定値を含む。物体に関する実測情報は、物体に対する２次元／３次元映像及び内部（ｉｎｔｒｉｎｓｉｃ）／外部（ｅｘｔｒｉｎｓｉｃ）カメラパラメータなどがこれに該当する。前記カメラパラメータは、カメラの位置、レンズのサイズなどのデータであって、映像のエラー補正などに用いられる。

前記測光情報階層４２は、測光特徴（Ｐｈｏｔｏｍｅｔｒｉｃｆｅａｔｕｒｅ）を格納する情報階層である。測光情報は、映像内の２次元／３次元ポイントの明るさ（ｌｕｍｉｎａｎｃｅ）、色彩（ｈｕｅ & ｓａｔｕｒａｔｉｏｎ）、柄（ｔｅｘｔｕｒｅ）などの測光データを数学的に分析して特定値の集合又はジオメトリ（ｇｅｏｍｅｔｒｙ）で表現したものである。移動サービスロボットの物体認識は照明により現れる物体に対して主にカメラを介して行われるので、このような測光特徴は物体を認識するのに重要な役割をする。測光情報の例としては、カラー（Ｃｏｌｏｒ）、ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、ハリスコーナー（ＨａｒｒｉｓＣｏｒｎｅｒ）、ライン（Ｌｉｎｅ）などの情報が挙げられる。

前記幾何学的情報階層４３は、空間又は物体を幾何学的構造（ｇｅｏｍｅｔｒｉｃｓｔｒｕｃｔｕｒｅ）に分節して格納する情報階層である。即ち、この情報は狭い意味で対象に対する形状を幾何学的に表現する情報を意味することもあるが、より広い意味で構造的な形態に区分して格納する情報も含まれる。例えば、取手が付いているカップをカメラで認識すれば、取手もカップ全体に対する形状の一部であるが、構造的な形態に分節できる部分である。冷蔵庫の場合、分節できる部分は上部ドア、下部ドア、冷凍室、冷蔵室、引出し、取手などである。空間では窓やドア、天井、柱、コーナー、隅などがこのような構造的分節が可能な対象になる。

前記構造的情報階層４４は、空間又は物体の構成要素を区分し、これを記号的、階層的に格納する情報階層である。構造的情報は、対象に属する要素に関する記号的、階層的情報である。１軒の建物は複数の階から構成されており、各階は廊下や部屋で構成されている。各物体は物体をなす構成要素から構成されている。逆に、１つの部屋はある階に位置し、ある階はある建物に位置する。即ち、前記構造的情報は、対象間の空間的な関係を対象の観点から記述した情報である。前記構造的情報は、下位階層の幾何学的分節とも連係して管理されなければならない。しかしながら、すぐ下位階層の幾何学的分節は外形上の特徴により分節するのに対し、対象の構成は機能的側面により区分される。しかしながら、対象を構成要素に区分するとき、幾何学的分節に基づいて区分することになるので、移動サービスロボットが物体を段階的に認識できるという長所がある。即ち、移動サービスロボットは空間の構成要素である「ドア」を空間で幾何学的に分節される「四角板（ドア）」として認識できる。その逆の認識も可能である。例えば、特定（ｓｐｅｃｉｆｉｃ）マンションの構成要素を構造的情報階層４４の下の下位階層情報と連係して居間、寝室、台所、トイレなどの機能的特性に区画して区分し、これを記号的（ｓｙｍｂｏｌｉｃ）に表示することがそれに該当する。物体においても、冷蔵庫を上部ドア、下部ドア、冷凍室、冷蔵室、引出し、取っ手などを階層的に区分し、これを記号的に表示する。

前記位相的情報階層４５は、特定空間上で物体の位置又は障害を表現する情報を格納する情報階層である。位相的情報は、特定空間上で物体の全域的位置及び姿勢又は障害の位置及び体積（ｖｏｌｕｍｅ）を表現する情報である。また、前記位相的情報は、物体の把持のための接近性（ａｃｃｅｓｓｉｂｉｌｉｔｙ）を表現する情報である。例えば、特定の台所に存在する物体としては冷蔵庫、電子レンジ、食器洗浄器、カップ、お皿、スプーンなどがあるとすれば、前記物体の位相的情報は前記台所における全域的位置、姿勢などに関する情報である。前記障害情報は、未知の物体（Ｕｎｋｎｏｗｎｏｂｊｅｃｔ）を表現するための情報であって、メッシュ（ｍｅｓｈ）又はセル（Ｃｅｌｌ）により表現される前記障害に関する情報である。

前記普遍的情報階層４６は、空間又は物体、又はその構成要素の普遍的機能を定義し、格納する情報階層である。前記普遍的モデルとは、空間又は物体が有さなければならない機能（ｆｕｎｃｔｉｏｎ）、分節（ｓｕｂ-ｐａｒｔｓ）、そしてジオメトリの意味論的定義とこれらの間の関連性を共に表現して格納するモデルである。例えば、空間の構成要素である「ドア」の機能は「空間へ出入りできる通路」や「開閉できる」などの機能に関する情報である。また、「カップ」は「お水などの飲料を飲む際に使う道具」、カップの「取手」は「カップを持つ際に用いる構成要素」や「カップを取る構成要素」などの情報である。そして、分節とは、前記幾何学的情報階層４３でのように物体において冷蔵庫を上部ドア、下部ドア、冷凍室、冷蔵室、引出し、取手などに分けることであり、空間では窓やドア、天井、柱、コーナー、隅などに分けることをいう。但し、普遍的情報階層４６でいう分節と、幾何学的情報階層４３でいう分節との差異は、幾何学的情報階層４３が実測したデータに基づいてインスタンスを分節した情報であるのに対し、普遍的情報階層４６は普遍的に物体又は空間が有さなければならない分節可能な特性を定義することにある。ジオメトリでは、点、線、面、楕円、球、ボックスなどを意味するものであって、普遍的に物体又は空間が有さなければならないジオメトリ特性を定義したものである。また、空間でマンションの普遍的構成要素を居間、寝室、台所、トイレなどに区分し、これを意味論的に区分することもこれに該当する。普遍的情報階層４６の下位情報階層は、具体的（ｓｐｅｃｉｆｉｃ）対象の外形的な構造や構成などに関する情報であるのに対し、前記普遍的情報階層４６より上位階層は主に意味論的情報に関するものである。即ち、すぐ下位階層の構成に対する区分は機能による外形的区分であるのに対し、前記普遍的情報階層４６は構成に対する意味論的情報である。

前記時空間情報階層４７は、物体又は空間の時空間による変化と関係を格納する情報階層である。時空間情報は対象間の関係に関する意味論的情報である。他の側面では係わる相手の変化による対象の変化に関する意味論的情報でもある。対象に係わるのは時間、環境、他の対象などになり得る。即ち、時間との関係（又は時間の変化による対象の変化）、環境との関係（又は環境の変化による対象の変化）、他の対象との関係（又は他の対象の変化による対象の変化）などを意味する。室内空間や物体が時間的空間的状況によって変化する光の明るさ、照明の方向、温度、湿度などに関する情報である。また、物体の時間による位置変化や、特定物体が特定の時空間に存在するとき、それによる他の物体の存在性に及ぼす影響などに関する情報である。

前記推論情報階層４８は、直接測定される状況から空間又は物体、又は前記空間又は物体の状態を推論するための推論情報を格納する情報階層である。推論情報は、下位階層の情報を用いて構成された推論構造に関する情報である。例えば、物体を認識するための確率によるグラフを作成した証拠構造（ｅｖｉｄｅｎｃｅｓｔｒｕｃｔｕｒｅ）などがこれに該当する。推論情報階層４８の下位情報階層でも推論は可能である。例えば、普遍的情報階層や時空間情報階層はそれぞれ意味論的情報であるので、意味論的推論が当然可能である。また、それ以下の下位階層の外形的構造に関する情報に対しても、特定属性（又は特徴）がマッチされる対象を検索する方法を通じて推論が可能である。前記推論情報階層４８は確率に基づいてより専門的に推論するための情報であるという点で前記下位階層の推論とは差があるといえる。

全体的に、上位情報階層は下位情報階層に基づいて構成される。また、各情報階層を別々に実現してもよいが、全体やその一部を１つのデータ構造で実現してもよい。例えば、あらゆる階層の情報をオントロジで構成することもできる。例えば、カップというクラスやインスタンスを生成して実測情報階層から位相的情報階層まであらゆる属性に定義し、普遍的情報階層に関する情報も前記クラスの属性に定義することもできる。

前記空間情報管理部３３と前記物体情報管理部３４に関する情報階層別情報に対して特徴的な部分をより詳細に説明する。

前記空間情報管理部３３は、前記室内に関する空間情報を認識／推論の水準に応じて階層別に構成して格納し、前記ブローカ手段の空間情報の要請によって要請された空間情報を検索して返信する。図４に示すように、空間情報は前述した８つの情報階層に関する情報で構成される。

空間の実測情報階層は、ＧＩＳのように室内空間の地理的情報を格納する部分であり、最も基本となる情報であって、建築設計図としての役割を果たす基本マップ（ＢａｓｅＭａｐ）である。前記基本マップは室内環境の構造的情報を概略的に表示した２次元グリッドマップ（Ｇｒｉｄｍａｐ）と、基本的な建物設計図の作成規則及び国際建物設計の相互文書交換の標準であるＩＦＣ２ｘｘの規約に従ってＣＡＤ形態（ｉｆｃＸＭＬとｄｘｆを含む類似フォーマット）で作成した３次元マップを含む。図５Ａの実際マップに対して作成された基本マップを図５Ｂに示している。図５Ａと図５Ｂに示すように、基本的な環境情報を含んでいる基本マップの基準座標は水平面に対する左側最下段を原点にＸ−Ｙの直交座標を用い、垂直成分はＺ軸で表現する。また、形態情報の共有のためのＣＡＤのＤＦＸ形式を用いた実現方法を示す。

空間の測光情報階層は、室内空間の測光特徴マップが格納される。測光特徴マップ（ＰｈｏｔｏｍｅｔｒｉｃＦｅａｔｕｒｅＭａｐ）は、ＳＩＦＴ、ＨａｒｒｉｓＣｏｒｎｅｒ、Ｃｏｌｏｒ値など全映像領域から明るさ値とカラー値だけを用いて得られる映像処理結果を表現する。図６Ａは、本発明の一実施形態に係る室内環境で抽出された測光特徴（ＳＩＦＴ）を示す図であり、図６Ｂは、本発明の一実施形態に係る室内環境で抽出された測光特徴（ＳＩＦＴ）を３次元統合マップ上に表現した図である。

空間の幾何学的情報階層に格納される情報は幾何学的環境構造（ＧｅｏｍｅｔｒｉｃＥｎｖｉｒｏｎｍｅｎｔＳｔｒｕｃｔｕｒｅ）であって、室内環境を幾何学的に分節して格納する。例えば、ドア、窓、壁、柱などの環境的物体と全域的幾何学特徴（ＧｌｏｂａｌＧｅｏｍｅｔｒｉｃＦｅａｔｕｒｅ）であるコーナー、辺、面などがこれに該当する。そして、これらの構造的関連性も共に表現する。これらの情報は移動サービスロボット１０が走行時に自己位置を認識したり、ドアを開閉するなどの環境的物体を操作したりするのに利用可能である。

空間の構造的情報階層は、前述したように、空間の構成要素を区分し、これを記号的、階層的に格納する情報である。１軒の建物に関する構造的情報は多様な階で構成され、各階は廊下や部屋で構成され、各構成要素を記号的に表示する。そして、前記情報は幾何学的／測光特徴／実測情報を含んでいる下位階層と連係して格納される。例えば、特定（ｓｐｅｃｉｆｉｃ）マンションの構造的情報は、前記マンションの下位階層の幾何学的／測光特徴／実測空間構成要素を居間、寝室、台所、トイレなどの機能的特性に区画して区分し、これを記号的に表示した情報である。

空間の位相的情報階層は、物体及び障害の位置情報に関する情報階層である。操作のために用いられる移動可能な物体のマップ上の位置及び姿勢を表現する。この情報階層では実際に物体モデルを格納せずに、専ら物体の全域的（Ｇｌｏｂａｌ）座標と姿勢だけを表現する。物体ＤＢに該当物体に関するいかなる情報も有していない未知の物体（ＵｎｋｎｏｗｎＯｂｊｅｃｔ）は障害とみなし、前記障害をメッシュ又はセル（Ｃｅｌｌ）（例えば、Ｏｃｔｒｅｅ）で表現して格納する。図７Ａは、本発明の一実施形態に係る障害をセル（Ｃｅｌｌ）｛さいぼう｝に基づいた表現方式であるＯｃｔｒｅｅで表現した例示図であり、図７Ｂは、本発明の一実施形態に係る室内空間と物体を示す図である。物体モデリング基準座標（ＯｂｊｅｃｔＭｏｄｅｌｉｎｇＲｅｆｅｒｅｎｃｅＦｒａｍｅ）は、サービスの対象となる物体の真ん中を原点として水平成分はＸ軸、垂直成分はＹ軸、話し手までの深さ成分はＺ軸とする物体基準座標軸（ＯｂｊｅｃｔＦｒａｍｅ）を用いる。前記空間管理部３３で格納／管理する物体の座標（ＣｏｏｒｄｉｎａｔｅｓｏｆＯｂｊｅｃｔ）は、物体モデリングのための基準座標を高さ方向へ最下地点に移動させる。これは前記物体に対するより直観的な配置と座標移動を提供する。前記空間管理部３３で格納／管理する物体に関する方向定位（Ｏｒｉｅｎｔａｔｉｏｎ）情報は、物体の基準軸であるＵ、Ｖ、Ｗのそれぞれに対する世界座標（ＷｏｒｌｄＣｏｏｒｄｉｎａｔｅｓ）のＸ、Ｙ、Ｚに対するユニットベクトル（ＵｎｉｔＶｅｃｔｏｒ）或いは回転角度で表す。

一方、前記インターフェース部３２は、対応する移動サービスロボットからマップに対する要請があれば、空間情報の基本マップ情報階層と物体／障害位置情報階層の情報とを合せて統合マップ（ｕｎｉｔｅｄｍａｐ）を作成して前記移動サービスロボット１０に提供する。図９は、本発明の一実施形態に係る統合マップのＥＲテーブルを示す図である。

空間の普遍的情報階層には普遍的空間モデルが格納される。普遍的空間モデルは、居間、寝室、浴室、多用途室、トイレなどの意味論的空間を表現する。また、空間の構成要素であるドア、窓などに関する意味論的情報も表現される。これは移動サービスロボット１０が移動サービスロボット１０の位置を把握し、意味論的に（ｓｅｍａｎｔｉｃａｌｌｙ）領域を区分するのに用いられる。

空間の時空間情報階層は環境的情報を格納する。環境的情報とは、室内空間における時間的又は空間的状況に応じて変化する光の明るさ、照明の方向（自然光を含む）、温度、湿度などをいう。この情報は移動サービスロボット１０が認識／モデリングなどのサービスを行うのに付加的な影響を及ぼす因子として作用する。

空間の推論情報階層は、前述した推論情報階層４８における証拠構造に関する情報である。図８は、本発明の一実施形態に係る空間の推論情報階層において証拠構造を例示する図である。図８に示すように、一般に台所は料理と対話又はワインバーなどとして機能する。そして、台所には一般にガスレンジと流し台、そして冷蔵庫、食卓などが存在する。これらの条件を全て満たす場合、確率的にある任意の空間が台所である可能性は１に近くなり、一定以上満した場合、ある任意の空間を台所と仮定する。このような情報が空間証拠構造に格納される。

前記物体情報管理部３４は、前記室内に存在する物体を認識／推論の水準に応じて階層別に構成して格納し、前記ブローカ手段の物体情報の要請によって要請された物体情報を検索して返信する。図４に示すように、物体情報は計８つの情報階層で構成して格納する。物体の実測情報階層は原映像（ＲａｗＩｍａｇｅ）に関する情報であって、２次元／３次元カメラから獲得した物体に対する実際測定の２次元／３次元源泉データ（ＲａｗＤａｔａ）を格納する。即ち、多様なカメラの角度を通じて算出される２Ｄデータとして、イメージ（ＲａｗＩｍａｇｅ）、レーザスキャナ、ステレオカメラ又は構造光カメラ（ＳｔｒｕｃｔｕｒｅｄＬｉｇｈｔＣａｍｅｒａ）から得た深さデータ（ＤｅｐｔｈＤａｔａ）などを含む。

物体の測光情報階層は物体の測光特徴に関する情報であって、各原映像から再び得たカラー、ＳＩＦＴ、ハリスコーナー、ラインなどの情報を格納する。これは認識過程で証拠（Ｅｖｉｄｅｎｃｅ）として作用する。

物体の幾何学的情報階層は幾何学的特徴（ＧｅｏｍｅｔｒｉｃＦｅａｔｕｒｅ）に関する情報であって、物体の幾何学的な情報を構造的形態で格納する。これらの情報は原映像から得る。これは既存の剛体（ＲｉｇｉｄＢｏｄｙ）中心の認識のためのモデル（Ｍｏｄｅｌ）を生成する方法によるものではなく、下位部分を有したり、分節がある物体に対するモデリング方法及び上位情報の理解及び連結のための物体特徴の表現方法を含む。例えば、物体において冷蔵庫を上部ドア、下部ドア、冷凍室、冷蔵室、引出し、取手などに分けることであり、空間では窓やドア、天井、柱、コーナー、隅などに分けることである。図１１は、本発明の冷蔵庫の一実施形態を示す図である。

物体の幾何学的情報階層で用いられるデータ構造は、容易にｘ３ｄ、ｄｆｘ、３ｄｓ、ｗｒｌ、ｏｂｊなどのＣＡＤ形式を借用するか、別途の格納方式で構成することができる。しかしながら、このような構造的な情報をＣＡＤフォーマットで全て表現することはできないので、別途のフォーマットの開発が必要である。本発明の実験では便宜上、ＣＡＤモデルのデータ形式を用いる。図１０Ａは、本発明の一実施形態に係る３次元物体である鉛筆をＣＡＤ形態の１つであるｘ３ｄファイルでモデリングした結果を例示する図であり、図１０Ｂは、本発明の一実施形態に係る図１０Ａのｘ３ｄファイルでモデリングしたコードを示す図である。

物体の構造的情報階層は、物体の構成に関する情報である。即ち、物体を構成する要素を記述する情報である。そして、これらの情報は幾何学的／測光特徴情報を含んでいる下位階層と連係して管理される。例えば、カップは本体と取手の構成要素を有する。前記構成要素はカップの分節に該当する。従って、幾何学的／測光特徴情報を含んでいる下位階層の分節情報とも連係される必要がある。図１１は、本発明の一実施形態に係る構造的情報階層で物体構成情報を例示する図である。図１１に示すように、冷蔵庫は、本体、上／下部ドア、冷凍庫、冷蔵庫、棚などで構成することができる。左上段は冷蔵庫の本体であり、左下段は冷蔵庫のドアである。そして、これらが結合された図面が図１１における右側の図である。

物体の位相的情報階層は、物体の把持のための接近性（ａｃｃｅｓｓｉｂｉｌｉｔｙ）を表現する情報を含む。前記物体の接近性は一種の物体属性であって、物体をどの方向から接近してどの部分を把持しなければならないかと関連した情報である。図１２Ａは、本発明の一実施形態に係る物体の位相的情報階層における物体の接近方向を例示する図であり、図１２Ｂは、本発明の一実施形態に係る物体の位相的情報階層における物体のコンタクトポイント（ｃｏｎｔａｃｔｐｏｉｎｔ）を例示する図である。図１２Ａ、Ｂに示すように、この情報は物体を取ることができる多数の３次元のコンタクトポイントと３次元の方向ベクトルで表現される接近方向（ａｃｃｅｓｓｉｂｌｅｄｉｒｅｃｔｉｏｎ）値で構成される。

物体の普遍的情報階層は、普遍的（ｇｅｎｅｒｉｃ）物体モデルを格納する情報階層であって、特定の物体クラス（Ｃｌａｓｓ）で具体的モデル（ＳｐｅｃｉｆｉｃＭｏｄｅｌ又はＩｎｓｔａｎｃｅ）に対して、常識水準の共通的な幾何学的特徴のみを集めて１つの抽象的構造で表現した情報である。例えば、カップの普遍的特性をまとめると、一般に飲料水の保存、飲料水を飲んだり、取って持つなどの機能と、水を入れられる適当な体積の凹んだ空間、カップを取り易くする取手、カップの形状を表現するシリンダ状の本体、カップの本体の上段部を表現する楕円（Ｅｌｌｉｐｓｅ）、カップの内部と外部の特性を表現する凸面（Ｃｏｎｖｅｘ）と凹面（Ｃｏｎｃａｖｅ）などで構造化され得ることが分かる。これらの情報は物体の具体的モデル（ＳｐｅｃｉｆｉｃＭｏｄｅｌ）、即ち物体の固有なインスタンスモデルを有していない場合、即ち範ちゅうは知っているが、正確なモデルを保有していない場合に物体をモデリングし認知するとき、又は物体を認識するとき、最適のセグメンテーション方法を提示したり、物体の分節を認識したりすることで、各分節の機能を推論しようとするとき、また物体によって他の効果的な認識プロセスを探そうとするときに有用に用いられる。図１３は、本発明の一実施形態に係るカップの普遍的モデルを例示する図である。図１３に示すように、カップの普遍的モデルはレベル１でカップの機能を表現し、レベル２ではカップを分節して表現し、レベル３では各分節を推定できる最も類似のジオメトリで表現可能である。

物体の時空間情報階層は、コンテキスト時空間情報に関するものである。前記コンテキストには、物体が時間に応じて空間上の位置がいかに変化するかを表現する物体−空間の時間従属性、物体が時空間に応じて存否にいかなる影響を受けるかを表現する物体−物体間の時空間従属性、特定の物体が特定の時空間に存在するとき、それによる他の物体の存在性に及ぼす影響を表現する物体存在の時空間従属性、物体の機能が時空間に応じていかに変化し得るかを表現する物体−機能の時空間従属性、物体が時空間に応じて又は上述した環境情報（ＥｎｖｉｒｏｎｍｅｎｔａｌＩｎｆｏｒｍａｔｉｏｎ）に応じていかなる物理的変化（形状、カラー、テクスチャ（ｔｅｘｔｕｒｅ）、透明度など）を異にするかを表現する物体−物理特性の時空間従属性などがある。

物体の推論情報階層は証拠構造であって、下位情報階層間の関係及び物体の認識のための基本的な常識（ＣｏｍｍｏｎＳｅｎｓｅ）と各証拠（Ｅｖｉｄｅｎｃｅ）の確率をグラフ形式で表現する。これは図１４に示す通りである。

前記空間物体推論部３５は、与えられた下位階層の情報を用いて上位階層の物体又は空間に関するｓｅｍａｎｔｉｃ／ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ／ｃｏｍｍｏｎ−ｓｅｎｓｅ／ｅｖｉｄｅｎｔｉａｌ／ｃｏｎｔｅｘｔなどの情報をｂｏｔｔｏｍ−ｕｐにより検索／推論する。また、空間物体推論部は、物体又は空間の理解のために、下位階層のいかなる情報が用いられなければならないかを上位階層の情報からｔｏｐ−ｄｏｗｎにより検索／推論する。前記空間物体推論部３５は、推論情報階層の推論情報を用いて推論するか、普遍的情報階層や時空間情報階層の意味論的情報を通じて意味論的推論を行うか、それ以下の情報階層の情報に対して特定属性（又は特徴）がマッチされる対象を検索する方法を通じて推論を行う。例えば、台所には主に冷蔵庫があり、その冷蔵庫はライン（ｌｉｎｅ）と六面体（ｈｅｘａｈｅｄｒｏｎ）を基本的なｇｅｏｍｅｔｒｙｐｒｉｍｉｔｉｖｅとして有する物体であるという情報を含んでいる上位階層の推論構造が存在すれば、ミッションが「冷蔵庫を探せ」であるとき、冷蔵庫の現在の位置を推論する過程と、多数のラインが検出されたとき、それが何かを確認する判別（ｄｉｓｃｒｉｍｉｎａｔｉｏｎ）過程が同時に行われなければならない。これは、ｂｏｔｔｏｍ−ｕｐｐｒｏｃｅｓｓとｔｏｐ−ｄｏｗｎｐｒｏｃｅｓｓが同時に処理されることを意味する。ミッションが「冷蔵庫を探せ」であり、冷蔵庫のＩＤが与えられた場合、冷蔵庫を探すためには、まず台所を探さなければならないという推論過程（時空間情報階層）が必要であり、次に冷蔵庫はまたいかなる特徴と部分の組み合わせからなるかが推論されなければならない（推論情報階層、普遍的情報階層）。そして、これらの推論結果を用いて下位階層の物体／環境のｉｎｓｔａｎｃｅ（構造的情報階層、幾何学的情報階層）を用いて実際に物体／環境を認識及び理解する。これをｔｏｐ−ｄｏｗｎｐｒｏｃｅｓｓといえる。これと同時に、シーン（ｓｃｅｎｅ）内で多数のラインが検出（ｄｅｔｅｃｔｉｏｎ）された場合、これらのラインが冷蔵庫のラインなのか、エアコンのラインなのかを判別（ｄｉｓｃｒｉｍｉｎａｔｉｏｎ）する段階（構造的情報階層、幾何学的情報階層）、即ち、逆に下位情報を用いて物体のアイデンティフィケーション（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を推論（普遍的情報階層、推論情報階層）する段階が必要である。これをｂｏｔｔｏｍ−ｕｐｐｒｏｃｅｓｓという。特に、各空間又は物体の情報がオントロジで構成される場合には、前記空間物体推論部３５はオントロジ推論エンジンを用いた推論を行う。

前記ミッション解析管理部３６は、移動サービスロボットに与えられたミッションから移動サービスロボットが実行する単位行動を決定する確率に基づく行動構造を作成して格納し、前記ブローカ手段の要請により行動構造を返信するか、移動サービスロボットに与えられたミッションを解析して移動サービスロボットが実行する単位行動と前記行動に必要な情報を抽出して返信する。

前記ミッション解析管理部３６は、知覚データ、証拠構造、行動（ｂｅｈａｖｉｏｒ）を確率的な優先順位関係（ｐｒｅｃｅｄｅｎｃｅｒｅｌａｔｉｏｎ）を有するベイジアンネットワーク（Ｂａｙｅｓｉａｎｎｅｔｗｏｒｋ）で前記行動構造を構成し、前記優先順位関係（ｐｒｅｃｅｄｅｎｃｅｒｅｌａｔｉｏｎ）の確率によって最適の経路（ｐａｔｈ）を決定して経路上の行動を実行する単位行動として抽出する。

図１５は、本発明の一実施形態に係る行動構造を例示する図である。図１５に示すように、移動サービスロボットはカップを「持って来い」、部屋の中からカップを「探せ」、カップを「探して持って来い」というミッションを受けることができる。移動サービスロボットがこのようなミッションを受けると、持って来るということは「その物体の位置を確認」、「その物体まで移動する」、「その物体を取る」、「そして、再び元の位置に戻る」などのミッションに再び細分化され得る。また、「探せ」という命令は「カップという物体の形状と測光特徴を得る」、「周囲を見回す」、「映像内で前記物体の形状とマッチされるものを探す」、「周囲が暗いと、照明をつける」、「照明は天井などのスイッチを探す」、「スイッチまで移動する」、「スイッチをつける情報を得る」、「情報通りにスイッチをつける」など細部的なミッション、即ち、ミッションを行うための単位行動に分けられる。この場合、ミッションを単位命令で解析し、規則による解析も可能であるが、周囲が暗ければ、照明をつける方法、カーテンを解放する方法など多様な細部ミッションに分けることができる。従って、このような状況を確率的な基盤のベイジアンネットワークで構成する。

前記のようにミッションを段階的にベイジアンネットワークを構成して確率により最適の経路を探し、その経路上の単位行動を行う。もし、最適の単位行動が履行に失敗すれば、その次の最適な単位行動を探して行う。

一方、前記単位行動を行うための情報が必要である。例えば、「カップ」、「スイッチ」、「取る方法」、「つける方法」、「カップの測光特徴」など、行動に必要な情報も共に抽出して返信する。

次に、中央情報処理システムのインターフェース部３２が室内移動サービスロボット１０の情報要請を処理することについてより詳細に説明する。

前記インターフェース部３２は、移動サービスロボット１０からの単純な情報要請に対して処理する。即ち、移動サービスロボット１０が空間情報の物体／障害位置情報を要請すれば、前記インターフェース部３２は格納された情報をそのまま持ってきて送る。

また、前記インターフェース部３２は対応する移動サービスロボットからマップに対する要請があれば、前述したように、空間情報の基本マップ情報階層と物体／障害位置情報階層の情報を合せて統合マップ（ＵｎｉｔｅｄＭａｐ）を作成して前記移動サービスロボットに提供する。前記統合マップは、主に移動サービスロボットが走行する場合に用いられる。

更に、前記インターフェース部３２は推論した結果を送ることもできる。例えば、移動サービスロボット１０がカップを持って来るためのミッションを行うために、「カップまでの空間情報」を要請すれば、前記インターフェース部３２は「カップ」に対して具体的ないかなる「カップ」なのかを推論するために、空間物体推論部３５にそれに対する推論を要請する。従って、前記インターフェース部３２は前記空間物体推論部３５で推論されたカップの位置を把握して、現在の移動サービスロボット１０の位置から前記カップまでの空間情報を伝送する。この際にも前記カップまでの空間情報はあらゆる物体に関する情報を伝送する代わりに、その物体を障害と認識した結果を伝送することもできる。なぜなら、カップを持って来るミッションを行う場合、空間上の他の物体は意味を有さないので、障害と処理しても構わないからである。即ち、前記インターフェース部３２は前記移動サービスロボット１０の認識／推論の水準に符合する情報のみを提供できる。もう１つの例として、室内の掃除だけを全的に担当する知能型移動サービスロボットに床掃除を命令すれば、物体を全て障害と認識して部屋に対する統合マップ又は障害マップを伝送できる。これはいずれも移動サービスロボット１０の認識／推論の水準により決定され、その水準に適切なインターフェースを実現する。

一方、前記インターフェース部３２は移動サービスロボット１０により認識された情報の伝送を受けて内部の情報を更新することもできる。即ち、中央情報処理システム３０は根本的に情報の一方向の提供だけでなく、アップデートを通じた共有も仮定している。従って、これは結局、中央情報処理システム３０が単純データベースではないメモリ（Ｍｅｍｏｒｙ）としての役割を果たすことを意味する。一例として、朝、居間のティーテーブル上に置いた薬を人が昼食時に飲んだとしたら、もうその薬はこれ以上居間のティーテーブルの上に存在しなくなる。もし、他の移動サービスロボット１０がその薬を見つけると、このような情報が共に共有されなければならない。即ち、物体がなくなったり、移されたり、新たな物体が室内に入ってきた場合、移動サービスロボット１０は中央情報処理システム３０から受けた空間情報と異なる状況を認識してこれを中央情報処理システム３０に伝送する。

現段階では移動サービスロボット１０により更新される情報は位相的情報階層以下の情報に限定することが好ましい。その理由は、位相的情報階層以下の情報は物体の外形的特徴であるので、移動サービスロボット１０のセンシングにより測定されるデータであるからである。しかしながら、その上位情報階層の情報は意味論的情報であるので、移動サービスロボット１０の知能が学習などの人工知能に近い推論能力を有する場合にのみ更新される情報が信頼され得るからである。即ち、まだ移動サービスロボットの能力や限界ではサービスの対象となる物体に関する情報や上位情報階層の意味論的情報を移動サービスロボットの判断により変更させるのは無理である。今後、移動サービスロボットに信頼できるほどの空間知覚能力や物体モデリング能力が生じることになれば、上位情報階層の情報も移動サービスロボットにより更新され得る。

前記説明でのように、各移動サービスロボット１０は中央情報処理システム３０に接続して情報を取得／修正する。中央情報処理システム３０は、新たなデータを推論したり、移動サービスロボット１０を制御（Ｃｏｎｔｒｏｌ）するための決定を下す役割をしないので、性能の向上は移動サービスロボット１０のユーザ（Ｕｓｅｒ）の役割が実際の性能向上に更に重要であり得る。しかしながら、フレームワーク（Ｆｒａｍｅｗｏｒｋ）を通じた効果的な情報管理と情報階層政策により入出力が明確になり、他のモジュールとの連動が可能になるという長所がある。

次に、本発明の一実施形態に係る移動サービスロボットの中央情報処理システム３０のフレームワークを用いて、性能が向上したり、新しく可能になった実験を図１６〜図２５によって説明する。

図１６は、本発明の一実施形態に係る実験に用いられた移動サービスロボットを示す図であり、図１７は、本発明の一実施形態に係る実験において空間情報管理部のマップＤＢの入出力関係を示す図であり、図１８は、本発明の一実施形態に係る実験に用いられた時間ダイヤグラムを示す図であり、図１９は、本発明の一実施形態に係る実験において本発明の一実施形態に係るマニュアルを通じて提供される３Ｄマップ（左）及び統合されたＳＬＡＭマップ（右）を示す図であり、図２０は、本発明の一実施形態に係る実験において移動サービスロボットのパスプランナー（ＰａｔｈＰｌａｎｎｅｒ）を用いた走行シミュレーションを示す図である。また、図２１は、本発明の一実施形態に係る実験において物体情報の幾何学的情報階層に格納された類似物体モデルを示す図であり、図２２は、本発明の一実施形態に係る実験においてオントロジを用いた初期パーティクルを生成することを示す図であり、図２３は、本発明の一実施形態に係る実験において空間又は物体を認識する段階を示す図である。

<実験１>ビジョン基盤の走行及びＳＬＡＭマップのアップデート

この実験は移動サービスロボット１０の情報システムの要求条件のうちデータの過剰（Ｒｅｄｕｎｄａｎｃｙ）を低減し、データの併行性（Ｃｏｎｃｕｒｒｅｎｃｙ）と有効性（Ｖａｌｉｄａｔｉｏｎ）を保障することに焦点を当てている。図１６に示すように、実験環境として仮定された移動サービスロボット１０は２つのマップアップデートモジュール（ＭａｐＵｐ−ｄａｔｅＭｏｄｕｌｅ）を有している。また、図１７と図１８に示すように、実験において中央情報処理システム３０はＳＬＡＭから入ってくる情報と、マニュアルで登録される情報とを整合性の取れたデータ体系に従って整理してＤＢ化させる。前記マニュアルによる情報はシステム管理者により入力される情報であり、ＳＬＡＭによる情報は室内の多様な移動サービスロボット１０によりセンシングされて認識される情報を受信して集合した情報である。移動サービスロボットのパスプランナーは、中央情報処理システム３０に連結して最新の情報を受け取って用いる。即ち、中央情報処理システム３０は移動サービスロボットからＳＬＡＭによる空間情報の入力を受け、マニュアルに基づいて全体マップを管理し、マップを要請する移動サービスロボットにこのマップを伝送する。

これを移動サービスロボット１０に適用した実験結果は、以下の通りである。図１９の左側のマップはマニュアルを通じて移動サービスロボット１０に予め提供されている３次元の地図であり、図２０は、ビジョン（Ｖｉｓｉｏｎ）を介して入ってくるデータをオクツリー（Ｏｃｔｒｅｅ）で表現した後、占有グリッド（ＯｃｃｕｐａｎｃｙＧｒｉｄ）形態にするＳＬＡＭの過程と、これを用いたパスプランナーにより生成された経路を移動サービスロボット１０が走行することをシミュレーションする過程を示す。

<実験２>３Ｄ物体認識

この実験は多様な情報階層のデータを用いて仕事の効率を向上させることができるということを示すために試みた実験である。この実験のミッションは冷蔵庫にある目標物体を取るために、まず、冷蔵庫に近づいて冷蔵庫の中の物体のうち所望の物体であるジュース（Ｊｕｉｃｅ）を見つけた後、物体の位置を正確に把握する。

まず、冷蔵庫の概略的な位置は移動サービスロボットの中央情報処理システム３０の地図に示されているので、<実験１>の場合のように、冷蔵庫を探して走行して接近する。冷蔵庫に近づく過程で図２１のように、類似の物体に遭遇した場合、物体情報の幾何学的情報階層と測光情報階層の情報だけでなく、推論情報階層の証拠構造で整理されているマッチング（Ｍａｔｃｈｉｎｇ）のために登録されている情報を利用して移動サービスロボット１０と冷蔵庫間の正確な相対空間的位置を把握する。例えば、冷蔵庫とエアコン（ＡｉｒＣｏｎｄｉｔｉｏｎｅｒ）を区分できる主要な情報は、検出される横線（ＨｏｒｉｚｏｎｔａｌＬｉｎｅ）の位置と数である。また、類似の物体である本箱（ＢｏｏｋＳｈｅｌｆ）と区分するためには、横線と縦線（ＶｅｒｔｉｃａｌＬｉｎｅ）の割合を確認しなければならない。このような単純な線などの関係を利用して区分し難いのなら、より抽象的な領域で推論した結果をマッチングに使用しなければならない。冷蔵庫の機能的性格には取手が必要であり、エアコンには取手が不要であるというオントロジ的推論（ＯｎｔｏｌｏｇｉｃａｌＩｎｆｅｒｅｎｃｅ）を用いる。即ち、取手の存否に関する推論に基づいて、取手のＳＩＦＴを物体の測光情報階層から見つけて取手のＳＩＦＴがマッチされるか否かを通じて冷蔵庫であるか否かを判別するのに利用する。図２２は、オントロジ的推論情報と物体の幾何学的特徴の情報から作り出したラインモデル（ＬｉｎｅＭｏｄｅｌ）の関係を示す。

このように、冷蔵庫に着いた移動サービスロボット１０は冷蔵庫の中を覗いて目標物体を探し始める。探索領域が十分に小さいとき、ＳＩＦＴマッチングでより正確な物体の位置を推定できるという知識と、一般に目標物体は冷蔵庫にあるという時空間情報階層の情報で移動サービスロボット１０は目標物体に関する感知計画を立てる。このような感知計画に従って移動サービスロボット１０は物体の正確な位置を判別する。図２３は冷蔵庫に着いた移動サービスロボット１０が測光情報階層又は実測情報階層を用いて該当物体であるジュースを見つける過程を示す。

本発明に係る中央情報処理システム３０を通じたこのような階層的情報の使用は、移動サービスロボット１０がミッションを行うにあたり、不要な探索領域を低減させ、探索中に発見した目標に対する確実性（Ｃｅｒｔａｉｎｔｙ）を高める方法で作業時間を短縮させる。これは本発明に係る統合的情報処理の支援だけで、移動サービスロボットの性能を向上させることができることを意味する。

<実験３>Ａ建物のＮ階に行ってカップを持って来い

本発明の一実施形態に係るもう１つの実験を図２４及び図２５を参照して説明する。図２４及び図２５は、移動サービスロボットの中央情報処理システム３０を用いて、「Ａ建物のＮ階に行ってカップを持って来い」というユーザの命令を移動サービスロボットが行う過程を順に示すものである。

まず、移動サービスロボットが作業を行うために建物の室内マップと物体モデルを用いるためには、システム管理者によって事前に中央情報処理システム３０にこれらの情報が入力されていなければならない。そのために、前記管理者は図４で定義されたように、空間及び物体に関する各情報階層の情報をモデリングする。このとき、空間の実測情報である室内マップは、２次元グリッドマップ（Ｇｒｉｄｍａｐ）と基本的な建物設計図の作成規則及び国際建物設計の相互文書交換の標準であるＩＦＣ２ｘｘ規約に従ってＣＡＤＭｏｄｅｌ形態（マップはｉｆｃＸＭＬ又はｄｆｘ、物体はｘ３ｄ、ｄｆｘ、３ｄｓ、ｗｒｌ、ｏｂｊなど）で格納する。そして、これらの情報をデータベース２０に登録し格納する。また、物体／マップモデルの編集が必要な場合は、ＤＢからこれらの情報を修正する。そして、またこれらをＤＢサーバに更新する。前記のような修正と編集を行うために、前記中央情報処理システム３０はモデリング手段（図示せず）を備えなければならない。前記モデリング手段は一般的な３ＤＡｒｃｈｉｔｅｃｔ、ＡｕｔｏＣＡＤ、３ＤＳｔｕｄｉｏＭａｘ、Ｍａｙａなどの商用グラフィックモデリング手段に該当するので、具体的な説示は省略する。そして、移動サービスロボットにより以前に知らなかった新しい物体が発見されてＤＢに格納された場合、まだその物体の名前、種類（カテゴリー）などが分からないため、管理者がこれらの情報をＤＢに直接記録する必要がある。

図２４は、「Ａ建物のＮ階に行ってカップを持って来い」という命令を行うために、Ａ建物のＮ階、Ｃ号の部屋まで移動するとき、この過程で発生する移動サービスロボットのための室内中央情報処理システムとの通信過程を示す図である。

この過程の最初の段階は、まず、移動サービスロボット１０はカップが何か知らないため、カップという用語を移動サービスロボットが理解できるように認識に必要な具体的モデルとして教えなければならない。従って、そのために、まず、カップという物体の位置をブローカ手段３１（又は対応するインターフェース部３２）に要請し、前記ブローカ手段３１はカップという単語の意味を空間物体推論部３５を介して推論し、推論を通じてカップを検索し、飲める液体を入れることができる物体であり、全体物体を表現する言葉で別の意味を有しているということを確認する。その後、このカップという言葉の意味に属する物体が主にどこにあるかを位相的情報階層で検索し、主にＮ階のＣ号の台所又はＣ号のテーブルの上にあったという事実を確認する。前記ブローカ３１は、この情報を用いてＮ階Ｃ号マップを空間情報管理部３３に要請し、空間情報ＤＢ２２に格納された構造的情報階層の物体／障害位置を確認してカップという物体の位置が記録されているかを確認し、この情報を移動サービスロボットに伝達する。このとき、移動サービスロボット１０は検索されたカップの位置をローカルに格納し、またその物体がある場所（Ｎ階Ｃ号）に移動するために、現在移動サービスロボットが位置する階のマップと目的地であるＮ階の統合マップをブローカ手段３１に要請し、結果をダウンロードしてローカルマップＤＢに格納する。ここで、既に移動サービスロボットが位置している階の統合マップが移動サービスロボットのローカルマップＤＢに格納されていれば、別途のダウンロードは行わない。

次の段階として、移動サービスロボットはＮ階Ｃ号に移動するために、エレベータを探さなければならない。現在の階のマップを用いて概略的なエレベータの位置を確認し、移動中に移動サービスロボットはエレベータを認識するためにブローカ手段３１を介して物体情報管理部３４に要請してエレベータモデルをダウンロードする。エレベータモデルは、物体情報の推論情報階層の物体認識の判断基準を確率的グラフで表現した証拠構造と、普遍的特徴を表現した普遍的情報階層の普遍的モデル、そして幾何学的情報階層の幾何学的特徴を表現したＣＡＤモデルで構成されている。残りの情報階層は、エレベータモデルがテクスチャがなく、反射が深刻であるため、ヌル（ＮＵＬＬ）値で満たされている。移動サービスロボットがエレベータを認識した後は、エレベータボタンを押し、エレベータに乗ってエレベータの内部ボタンも操作できなければならない。従って、エレベータの内部モデルも要求される。エレベータの内部モデルは、エレベータ外部とは異なり、空間情報に該当するため、空間情報管理部３３に要請され、統合マップを作成して持ってくる。

図２５は、本発明で提示する移動サービスロボットの中央情報処理システム３０で提供する情報を用いて「Ａ建物のＮ階に行ってカップを持って来い」という命令を行うために、Ａ建物、Ｎ階、Ｃ号の部屋に進入する前の状況から進入後に物体を検索するまでの過程を示している。この過程で未知の物体を発見する場合、この物体を物体情報に新たに追加する過程が含まれ、更に、もし発見された物体に関する情報がなく、普遍的モデルに関する情報すら全く存在しない場合は、これを障害と判断して空間情報を更新する過程を含む。

この段階では移動サービスロボットがＮ階に到達した場合、以前にダウンロードされていた統合マップを用いてＣ号の部屋まで移動し、Ｃ号の部屋の前に着いた時はＣ号の部屋の内部の空間情報（又はマップ情報）とその内部に存在する固定物体（冷蔵庫、洗濯機、机など）及び移動物体（カップ、時計、椅子など）の情報を必要とする。従って、前記過程と同様に、移動サービスロボット１０はブローカ手段３１にこれらの情報に対して要請するようになり、ブローカ手段３１はこれらの情報をそれぞれの空間又は物体管理部に要請し、その結果を受信して移動サービスロボットに再送する。移動サービスロボット１０は、これらの情報を受け取ってローカル統合マップＤＢに格納する。このとき、移動サービスロボット内部の格納所は格納容量が限られているため、ローカル格納所が足りない場合には、事前に定められた許される限度まで固定物体から移動物体の順にダウンロードして格納する。

移動サービスロボットが中に入った後、移動サービスロボットが未知の物体を発見したら、物体の概略的な特徴を確認し、その特徴を有する物体が中央情報処理システム３０に記録されているかを確認しなければならない。従って、移動サービスロボット１０はブローカ手段３０に普遍的モデル情報を要請し、ブローカ手段３１は物体情報管理部により要請され検索された結果を移動サービスロボット１０に伝送する。移動サービスロボットは獲得された普遍的モデル情報を用いて確認された特徴と比較し、発見された物体に属するデータがあるかを推論する。そして、類似のデータが存在することが確認されると、この発見された物体に属するデータに属するモデルデータをブローカ手段３１に要請する。そして、ブローカ手段３１から受け取ったモデルを用いて未知の物体の認識を試みる。もし、認識に成功したら、該当物体の位置及び姿勢をブローカ手段３１にアップデートするよう要請し、ブローカ手段３１は空間情報管理部３３に要請して位相的情報階層の物体／障害位置を更新し、統合マップ上にこの物体の位置及び姿勢を登録する。

もし、この過程で発見された物体の属するデータが存在しなかったり、物体の属するデータは存在するものの具体的なモデルデータが存在しなかったりする場合は、図２５の３番目と４番目の段階に該当する過程を経る。即ち、データベースに存在しない未知の物体は障害とみなされてこの情報を反映させなければならない。今後、移動サービスロボットはこの情報を用いて障害を避けて安全に操作／走行作業を行える。最後に、移動サービスロボットはこの物体を今後管理者が確認して情報を入力するまで移動サービスロボット自らがモデリングして持っていなければならない。従って、移動サービスロボットは移動サービスロボット自体に保有されているモデリング手段を通じて物体の形状（Ｓｈａｐｅ）と特徴（Ｆｅａｔｕｒｅ）をモデリングして格納する。ブローカ手段３１に要請して空間情報管理部３３により、これと関連した各情報階層（主に位相的情報階層以下）を更新するようにする。

次に、本発明の一実施形態に係る移動サービスロボットの情報処理方法について図２６を参照して説明する。図２６は、本発明の一実施形態に係る移動サービスロボットの情報処理方法を説明するフローチャートである。

図２６に示すように、前記移動サービスロボットの情報処理方法は、（ａ）前記室内に関する空間及び物体情報を認識／推論の水準に応じて階層別に構成して格納する段階と、（ｂ）前記移動サービスロボットのそれぞれに対して、前記移動サービスロボットの情報要請を解析し、要請した情報を前記移動サービスロボットが解析可能な形態に変換して伝送するインターフェースを構成する段階と、（ｃ）前記移動サービスロボットの空間又は物体に関する情報検索の要請を受ける段階と、（ｅ）情報を検索するために推論が必要であるかを判断して必要であれば、実際の環境または物体から得られた下位階層の情報を用いて物体又は空間に関する上位階層の情報を検索して推論したり、上位階層の情報を用いて物体又は空間の理解のために用いられるべき下位階層の情報を検索して推論する段階と、（ｆ）要請された空間又は物体に関する情報を検索する段階と、（ｇ）検索された空間又は物体情報を前記要請された移動サービスロボットに送る段階とで構成される。

前記空間情報又は物体情報は、実測した情報を格納する実測情報階層、測光特徴を格納する測光情報階層、空間又は物体を幾何学的構造に分節して格納する幾何学的情報階層、空間又は物体の構成要素を区分して記号化し、階層化して格納する構造的情報階層、空間上で物体の位置又は障害を表現する情報を格納する位相的情報階層と、空間又は物体、又は前記空間又は物体の構成要素の普遍的モデルを定義し格納する普遍的情報階層、物体又は空間の時空間による変化と関係を格納する時空間情報階層、物体又は空間に関する下位階層情報から空間又は物体、又は前記空間又は物体の状態を推論するための推論情報を格納する推論情報階層とで構成する。

前記空間の実測情報階層は室内空間の地理的情報を格納する基本マップ情報を含み、前記空間の測光情報階層は室内空間の測光特徴としてマップを含み、前記空間の幾何学的情報階層は室内空間を幾何学的に構成を分節した情報を含み、前記空間の位相的情報階層は物体の全域的座標と姿勢、又は障害と認識される物体に関する情報を含み、前記空間の普遍的情報階層は空間又は空間の構成部分に関する意味論的情報を含み、前記空間の時空間情報階層は室内の時間的空間的状況によって変化する光の明るさ、照明の方向、温度、湿度を含む。

前記物体の実測情報階層は物体に対して実際に測定して得た２次元又は３次元表現データを格納する２Ｄ／３Ｄ原映像情報を含み、前記物体の時空間情報階層は物体−空間の時間従属関係、物体の存在と時空間従属関係、物体−物体間の時空間従属関係、物体−機能間の時空間従属関係、物体−物理特性の時空間従属関係を含み、前記物体の推論情報階層は下位情報階層の情報間の関係を確率で作成するグラフを格納する証拠構造を含む。前記測光特徴は、ＳＩＦＴ、ハリスコーナー、カラー、ラインに関する情報を含む。前記障害情報は、メッシュ又はセルで表現して格納される。

前記２次元又は３次元表現データは、少なくとも２以上のカメラ角度を通じて算出される２Ｄイメージ、レーザスキャナ、ステレオカメラ、構造光カメラのいずれか１つから得た深さデータ、前記深さデータから生成されたメッシュデータのうちの１つ以上を含む。

前記（ａ）段階は前記空間情報又は物体情報をオントロジで構成して格納し、前記（ｅ）段階はオントロジによる推論を行う。

前記（ｇ）段階において、インターフェース部は要請された情報が空間の実測情報階層の基本マップ情報と位相的情報階層の物体／障害位置情報を含んでいれば、前記基本マップ情報と物体／障害位置情報を合せて統合マップを作成して前記移動サービスロボットに提供する。

前記移動サービスロボットの情報処理方法は、（ａ０）前記（ａ）段階の前に前記移動サービスロボットに与えられたミッションから移動サービスロボットが実行する単位行動を決定する確率に基づく行動構造を作成して格納する段階と、（ｄ）前記（ｃ）段階の後に前記移動サービスロボットの検索要請により行動構造を返信したり、移動サービスロボットに与えられたミッションを解析して移動サービスロボットが実行する単位行動と前記行動に必要な情報を抽出して返信する段階とを更に含む。

前記（ａ０）段階は知覚データ、証拠構造、行動を確率的な優先順位関係を有するベイジアンネットワークで前記行動構造を構成し、前記（ｄ）段階は前記優先順位関係の確率によって最適の経路を決定して経路上の行動を実行する単位行動として抽出する。

また、本発明は前記移動サービスロボットの情報処理方法を記録したコンピュータで読み取り可能な記録媒体に関する。

前記移動サービスロボットの中央情報処理方法に関する説明が不十分な部分は、上述した移動サービスロボットの中央情報処理システムに関する説明を参考にする。

以上、本発明者によってなされた発明を前記実施形態によって具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を離脱しない範囲で多様に変更可能であることはもちろんである。

本発明に係る移動サービスロボットの中央情報処理システム及び方法を実施するための全体システムの構成を示す図本発明の一実施形態に係る移動サービスロボットの中央情報処理システムの構成を示すブロック図本発明の一実施形態に係る中央情報処理システムの情報階層を示す構成図本発明の一実施形態に係る空間又は物体の情報階層に対する構成を例示する図本発明の一実施形態に係る実際マップを示す図本発明の一実施形態に係る基本マップを示す図本発明の一実施形態に係る空間で抽出された測光特徴（ＳＩＦＴ）を示す図本発明の一実施形態に係る空間情報の測光特徴（ＳＩＦＴ）を３次元マップ上に示す図本発明の一実施形態に係る障害をセル（Ｃｅｌｌ）｛さいぼう｝に基づいた表現方式であるＯｃｔｒｅｅで表現した例示図本発明の一実施形態に係る室内空間と物体を示す図本発明の一実施形態に係る空間の推論情報階層で証拠構造を例示する図本発明の一実施形態に係る統合マップのＥＲテーブルを示す図本発明の一実施形態に係る３次元物体である鉛筆をＣＡＤ形態の１つであるｘ３ｄファイルでモデリングした結果を例示する図本発明の一実施形態に係る図１０Ａのｘ３ｄファイルでモデリングしたコードを示す図本発明の一実施形態に係る構造的情報階層で物体構成情報を例示する図本発明の一実施形態に係る物体の位相的情報階層における物体の接近方向を例示する図本発明の一実施形態に係る物体の位相的情報階層における物体のコンタクトポイントを例示する図本発明の一実施形態に係るカップの普遍的モデルを例示する図本発明の一実施形態に係る物体の証拠構造を例示する図本発明の一実施形態に係るベイジアンネットワークで表現された行動構造を例示する図本発明の一実施形態に係る実験に用いられた移動サービスロボットを示す図本発明の一実施形態に係る実験において空間情報管理部のマップＤＢの入出力関係を示す図本発明の一実施形態に係る実験に用いられた時間ダイヤグラムを示す図本発明の一実施形態に係る実験において本発明の一実施形態に係るマニュアルを通じて提供される３Ｄマップ（左）及び統合されたＳＬＡＭマップ（右）を示す図本発明の一実施形態に係る実験において移動サービスロボットのパスプランナーを用いた走行シミュレーションを示す図本発明の一実施形態に係る他の実験において物体情報の構造的情報階層に格納された類似物体モデルを示す図本発明の一実施形態に係る他の実験においてオントロジを用いた初期パーティクルを生成することを示す図本発明の一実施形態に係る他の実験において空間又は物体を認識する段階を示す図本発明の一実施形態に係るもう１つの実験において命令を行うために移動する過程で発生する通信過程を説明するフローチャート本発明の一実施形態に係るもう１つの実験において命令を行うために部屋に進入する段階で物体を探す過程を説明するフローチャート本発明の一実施形態に係るサービス移動サービスロボットの情報処理方法を説明するフローチャート

符号の説明

１０移動サービスロボット
２０データベース
２２空間情報ＤＢ
２３物体情報ＤＢ
２４行為構造ＤＢ
３０移動サービスロボットの中央情報処理装置
３１ブローカ手段
３２インターフェース部
３３空間情報管理部
３４物体情報管理部
３５空間物体推論部
３６ミッション解析管理部

Claims

室内で少なくとも１つ以上の移動サービスロボットと通信する中央情報処理システムにおいて、
前記移動サービスロボットに対応する少なくとも１つ以上のインターフェース部を含み、前記インターフェース部は対応する移動サービスロボットの情報要請を解析し、要請した情報を前記移動サービスロボットが解析可能な形態に変換して伝送するブローカ手段と、
前記室内に関する空間情報を認識／推論の水準に応じて階層別に構成して格納し、前記ブローカ手段の空間情報の要請によって要請された空間情報を検索して返信する空間情報管理部と、
前記室内に存在する物体を認識／推論の水準に応じて階層別に構成して格納し、前記ブローカ手段の物体情報の要請によって要請された物体情報を検索して返信する物体情報管理部と、
実際の環境または物体から得られた下位階層の情報を用いて物体又は空間に関する上位階層の情報を検索して推論したり、上位階層の情報を用いて物体又は空間の理解のために用いられるべき下位階層の情報を検索して推論する空間物体推論部と
を備え、
前記空間情報又は物体情報は、下位階層から順番に、
測定された対象の大きさや形状、地理的情報などの実測した情報を含む実測情報階層と、
測光特徴（ｐｈｏｔｏｍｅｔｒｉｃｆｅａｔｕｒｅ）を含む測光情報階層と、
前記実測情報階層に保持される測定された対象や環境的物体やなどを外形的特性によって幾何学的に分節した情報を含む幾何学的情報階層と、
機能的特性によって階層的に区分された空間又は物体の構成要素を記号（ｓｙｍｂｏｌ）形態で表現した情報を含む構造的情報階層と、
特定空間上での物体の位置を表現する情報を含む位相的情報階層と、
空間又は物体、又はその構成要素が有さなければならない機能を普遍的なモデルの情報として含む普遍的情報階層と、
物体が時間に応じて空間上の位置がいかに変化するかを表現する物体−空間の時間従属性を示す情報、
物体が時空間に応じて存否にいかなる影響を受けるかを表現する物体−物体間の時空間従属性情報、
特定の物体が特定の時空間に存在するとき、それによる他の物体の存在性に及ぼす影響を表現する物体存在の時空間従属性情報、
物体の機能が時空間に応じていかに変化し得るかを表現する物体−機能の時空間従属性情報、
物体が時空間に応じて又は環境情報に応じていかなる物理的変化を異にするかを表現する物体−物理特性の時空間従属性情報、
のいずれかの情報を含む時空間情報階層と、
物体又は空間に関する下位階層情報から空間又は物体、又は前記空間又は物体の状態を推論するための推論情報を含む推論情報階層と
で構成することを特徴とする移動サービスロボットの中央情報処理システム。
前記空間の実測情報階層は室内空間の地理的情報を有する基本マップ情報を含み、
前記空間の測光情報階層は室内空間の測光特徴マップを含み、
前記空間の幾何学的情報階層は室内空間を幾何学的に分節した情報を含み、
前記空間の位相的情報階層は物体の全域的座標と姿勢、又は障害と認識される物体に関する情報を含み、
前記空間の普遍的情報階層は空間又は空間の構成部分に関する意味論的情報を含み、
前記空間の時空間情報階層は室内の時間的空間的状況によって変化する光の明るさ、照明の方向、温度、湿度を含むこと
を特徴とする請求項１に記載の移動サービスロボットの中央情報処理システム。
前記物体の実測情報階層は物体に対して実際に測定して得た２次元又は３次元表現データを格納する２Ｄ／３Ｄ原映像情報を含み、
前記物体の位相的情報階層は多数の３次元コンタクトポイント（ｃｏｎｔａｃｔｐｏｉｎｔ）と３次元方向ベクトルで表現される接近方向（ａｃｃｅｓｓｉｂｌｅｄｉｒｅｃｔｉｏｎ）の情報を含み、
前記物体の時空間情報階層は物体−空間の時間従属関係、物体の存在と時空間従属関係、物体−物体間の時空間従属関係、物体−機能間の時空間従属関係、物体−物理特性の時空間従属関係に関する情報を含み、
前記物体の推論情報階層は下位情報階層の情報間の関係を確率で作成するグラフで構成された証拠構造に関する情報を含むこと
を特徴とする請求項１に記載の移動サービスロボットの中央情報処理システム。
前記測光特徴は、
ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、ハリスコーナー（ＨａｒｒｉｓＣｏｒｎｅｒ）、カラー（Ｃｏｌｏｒ）、ライン（Ｌｉｎｅ）に関する情報を含むこと
を特徴とする請求項２又は３に記載の移動サービスロボットの中央情報処理システム。
前記障害情報は、
メッシュ又はセルで表現する情報を含むこと
を特徴とする請求項２に記載の移動サービスロボットの中央情報処理システム。
前記２次元又は３次元表現データは、
少なくとも２以上のカメラ角度を通じて算出される２Ｄイメージ（ＲａｗＩｍａｇｅ）、レーザスキャナ、ステレオカメラ、構造光カメラ（ＳｔｒｕｃｔｕｒｅｄＬｉｇｈｔＣａｍｅｒａ）のいずれか１つから得た深さデータ、前記深さデータ（ＤｅｐｔｈＤａｔａ）から生成されたメッシュデータ（ＭｅｓｈＤａｔａ）のうちの１つ以上を含むこと
を特徴とする請求項３に記載の移動サービスロボットの中央情報処理システム。
前記空間情報管理部又は物体情報管理部は、前記空間情報又は物体情報をオントロジ（Ｏｎｔｏｌｏｇｙ）で構成して格納し、
前記空間物体推論部はオントロジによる推論を行うこと
を特徴とする請求項１に記載の移動サービスロボットの中央情報処理システム。
前記インターフェース部は、
対応する移動サービスロボットからマップに対する要請があれば、空間の実測情報階層の基本マップ情報と、位相的情報階層の物体／障害位置情報とを合せて統合マップを作成し、前記移動サービスロボットに提供すること
を特徴とする請求項２又は３に記載の移動サービスロボットの中央情報処理システム。
移動サービスロボットに与えられたミッションから移動サービスロボットが実行する単位行動を決定する確率に基づく行動構造を作成して格納し、前記ブローカ手段の要請により行動構造を返信したり、移動サービスロボットに与えられたミッションを解析して移動サービスロボットが実行する単位行動と前記行動に必要な情報を抽出して返信したりするミッション解析管理部を
更に備えることを特徴とする請求項１に記載の移動サービスロボットの中央情報処理システム。
前記ミッション解析管理部は、
知覚（ｐｅｒｃｅｐｔｉｏｎ）データ、証拠構造（ｅｖｉｄｅｎｃｅｓｔｒｕｃｔｕｒｅ）、行動（ｂｅｈａｖｉｏｒ）を確率的な優先順位関係（ｐｒｅｃｅｄｅｎｃｅｒｅｌａｔｉｏｎ）を有するベイジアンネットワーク（Ｂａｙｅｓｉａｎｎｅｔｗｏｒｋ）で前記行動構造を構成し、
前記優先順位関係の確率によって最適の経路を決定して経路上の行動を実行する単位行動として抽出すること
を特徴とする請求項９に記載の移動サービスロボットの中央情報処理システム。
室内で少なくとも１つ以上の移動サービスロボットと通信する中央情報処理システムを利用する移動サービスロボットの情報処理方法において、
（ａ）前記室内に関する空間及び物体情報を認識／推論の水準に応じて階層別に構成して格納する段階と、
（ｂ）前記移動サービスロボットのそれぞれに対して、前記移動サービスロボットの情報要請を解析し、要請した情報を前記移動サービスロボットが解析可能な形態に変換して伝送するインターフェースを構成する段階と、
（ｃ）前記移動サービスロボットの空間又は物体に関する情報検索の要請を受ける段階と、
（ｅ）情報を検索するために推論が必要であるかを判断して必要であれば、実際の環境または物体から得られた下位階層の情報を用いて物体又は空間に関する上位階層の情報を検索して推論したり、上位階層の情報を用いて物体又は空間の理解のために用いられるべき下位階層の情報を検索して推論する段階と、
（ｆ）要請された空間又は物体に関する情報を検索する段階と、
（ｇ）検索された空間又は物体情報を前記要請された移動サービスロボットに送る段階とを含み、
前記空間情報又は物体情報は、下位階層から順番に、
測定された対象の大きさや形状、地理的情報などの実測した情報を含む実測情報階層と、
測光特徴（ｐｈｏｔｏｍｅｔｒｉｃｆｅａｔｕｒｅ）を含む測光情報階層と、
前記実測情報階層に保持される測定された対象や環境的物体やなどを外形的特性によって幾何学的に分節した情報を含む幾何学的情報階層と、
機能的特性によって階層的に区分された空間又は物体の構成要素を記号（ｓｙｍｂｏｌ）形態で表現した情報を含む構造的情報階層と、
特定空間上での物体の位置を表現する情報を含む位相的情報階層と、
空間又は物体、又はその構成要素が有さなければならない機能を普遍的なモデルの情報として含む普遍的情報階層と、
物体が時間に応じて空間上の位置がいかに変化するかを表現する物体−空間の時間従属性を示す情報、
物体が時空間に応じて存否にいかなる影響を受けるかを表現する物体−物体間の時空間従属性情報、
特定の物体が特定の時空間に存在するとき、それによる他の物体の存在性に及ぼす影響を表現する物体存在の時空間従属性情報、
物体の機能が時空間に応じていかに変化し得るかを表現する物体−機能の時空間従属性情報、
物体が時空間に応じて又は環境情報に応じていかなる物理的変化を異にするかを表現する物体−物理特性の時空間従属性情報、
のいずれかの情報を含む時空間情報階層と、
物体又は空間に関する下位階層情報から空間又は物体、又は前記空間又は物体の状態を推論するための推論情報を含む推論情報階層と
を特徴とする移動サービスロボットの情報処理方法。
前記空間の実測情報階層は室内空間の地理的情報を有する基本マップ情報を含み、
前記空間の測光情報階層は室内空間の測光特徴マップを含み、
前記空間の幾何学的情報階層は室内空間を幾何学的に分節した情報を含み、
前記空間の位相的情報階層は物体の全域的座標と姿勢、又は障害と認識される物体に関する情報を含み、
前記空間の普遍的情報階層は空間又は空間の構成部分に関する意味論的情報を含み、
前記空間の時空間情報階層は室内の時間的空間的状況によって変化する光の明るさ、照明の方向、温度、湿度を含むこと
を特徴とする請求項１１に記載の移動サービスロボットの情報処理方法。
前記物体の実測情報階層は物体に対して実際に測定して得た２次元又は３次元表現データを格納する２Ｄ／３Ｄ原映像情報を含み、
前記物体の位相的情報階層は多数の３次元コンタクトポイントと３次元方向ベクトルで表現される接近方向の情報を含み、
前記物体の時空間情報階層は物体−空間の時間従属関係、物体の存在と時空間従属関係、物体−物体間の時空間従属関係、物体−機能間の時空間従属関係、物体−物理特性の時空間従属関係に関する情報を含み、
前記物体の推論情報階層は下位情報階層の情報間の関係を確率で作成するグラフで構成された証拠構造に関する情報を含むこと
を特徴とする請求項１１に記載の移動サービスロボットの情報処理方法。
前記測光特徴は、
ＳＩＦＴ、ハリスコーナー、カラー、ラインに関する情報を含むこと
を特徴とする請求項１１に記載の移動サービスロボットの情報処理方法。
前記障害情報は、
メッシュ又はセルで表現する情報を含むこと
を特徴とする請求項１１に記載の移動サービスロボットの情報処理方法。
前記２次元又は３次元表現データは、
少なくとも２以上のカメラ角度を通じて算出される２Ｄイメージ、レーザスキャナ、ステレオカメラ、構造光カメラのいずれか１つから得た深さデータ、前記深さデータから生成されたメッシュデータのうちの１つ以上を含むこと
を特徴とする請求項１３に記載の移動サービスロボットの情報処理方法。
前記（ａ）段階は前記空間情報又は物体情報をオントロジで構成して格納し、
前記（ｅ）段階はオントロジによる推論を行うこと
を特徴とする請求項１１に記載の移動サービスロボットの情報処理方法。
前記（ｇ）段階は、
要請された情報が空間の実測情報階層の基本マップ情報と位相的情報階層の物体／障害位置情報を含んでいれば、前記情報を合せて統合マップを作成して送ること
を特徴とする請求項１１に記載の移動サービスロボットの情報処理方法。
（ａ０）前記（ａ）段階の前に前記移動サービスロボットに与えられたミッションから移動サービスロボットが実行する単位行動を決定する確率に基づく行動構造を作成して格納する段階と、
（ｄ）前記（ｃ）段階の後に前記移動サービスロボットの検索要請により行動構造を返信したり、移動サービスロボットに与えられたミッションを解析して移動サービスロボットが実行する単位行動と前記行動に必要な情報を抽出して返信したりする段階と
を更に含むことを特徴とする請求項１１に記載の移動サービスロボットの情報処理方法。
前記（ａ０）段階は知覚データ、証拠構造、行動を確率的な優先順位関係を有するベイジアンネットワークで前記行動構造を構成し、
前記（ｄ）段階は前記優先順位関係の確率によって最適の経路（ｐａｔｈ）を決定して経路上の行動を実行する単位行動として抽出すること
を特徴とする請求項１９に記載の移動サービスロボットの情報処理方法。
請求項１１又は２０に記載の移動サービスロボットの情報処理方法を記録したコンピュータで読み取り可能な記録媒体。