JP5380789B2 - 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム - Google Patents

情報処理装置、および情報処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP5380789B2
JP5380789B2 JP2007150765A JP2007150765A JP5380789B2 JP 5380789 B2 JP5380789 B2 JP 5380789B2 JP 2007150765 A JP2007150765 A JP 2007150765A JP 2007150765 A JP2007150765 A JP 2007150765A JP 5380789 B2 JP5380789 B2 JP 5380789B2
Authority
JP
Japan
Prior art keywords
unit
information
environment map
feature point
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007150765A
Other languages
English (en)
Other versions
JP2008304268A (ja
JP2008304268A5 (ja
Inventor
堅一郎 多井
ステフェン グットマン
隆之 芦ヶ原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2007150765A priority Critical patent/JP5380789B2/ja
Publication of JP2008304268A publication Critical patent/JP2008304268A/ja
Publication of JP2008304268A5 publication Critical patent/JP2008304268A5/ja
Application granted granted Critical
Publication of JP5380789B2 publication Critical patent/JP5380789B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00664Recognising scenes such as could be captured by a camera operated by a pedestrian or robot, including objects at substantially different ranges from the camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/72Methods or arrangements for recognition using electronic means using context analysis based on the provisionally recognised identity of a number of successive patterns, e.g. a word
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Description

本発明は、情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、カメラによって撮影された画像に基づいてカメラ周囲の地図(環境地図)の作成(mapping)、すなわち環境マップ作成処理を実行する情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。

本発明は、例えばカメラを備えたロボットなどのエージェント(移動体)において移動環境を観測し、観測状況に応じてエージェント周囲の地図(環境地図)の作成(mapping)、すなわち環境マップ作成処理を実行し、さらに環境マップ作成処理に併せてエージェントの位置や姿勢の推定、すなわち自己位置もしくは自己姿勢の同定処理(ローカリゼーション)を実行する情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。

例えばカメラを備えたロボットなどのエージェント(移動体)において移動環境を観測し、観測状況に応じてエージェント周囲の地図(環境地図)を作成する環境マップ構築処理は、車やロボットといった移動体の経路探索のために行われているものが多い。特許文献1(特開2003−269937)には、複数のカメラによって撮影された画像から生成される距離画像(ステレオ画像)から平面を検出し、検出した平面群と撮像デバイスの位置・姿勢から床面を求め、最後に床面から障害物を認識する技術が開示されている。しかし、この特許文献1において実行する周囲環境の解析では、環境は「床」か「障害物」としか区別できない。

また上記手法では、複数のカメラの撮影画像を用いて距離画像を生成することが必要となる。このような距離画像を生成することなく1つのカメラ撮影画像の画像解析処理に基づいて環境マップを作成する技術についても盛んに開発されている。多くは単眼で取得した1枚の画像のみから様々な情報を認識するシステムである。しかし、これらの処理の多くは、例えばカメラの位置を原点とした座標系を世界座標系として周囲の物体の位置を計算する構成となっている。すなわちカメラを備えたロボットが周囲の物体に衝突しないように走行可能とするなどを主目的とするものであり、カメラによって撮影された画像に含まれる様々な認識対象、例えば「壁」、「テーブル」、「ソファー」などの認識結果物についての詳細な解析、具体的には各認識対象物の三次元形状の解析などを行なうものではなく、自立走行のための環境マップに過ぎないものであった。
特開2003−269937号公報

本発明は、上述の問題点に鑑みてなされたものであり、カメラによって撮影された画像に基づく環境マップの作成を行なうものであり、撮影画像に含まれる様々なオブジェクトの解析を実行して、より詳細な情報を含む環境マップの作成を行なう情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第1の側面は、
環境マップの生成処理を実行する情報処理装置であり、
画像を撮影するカメラと、
前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出する自己位置検出部と、
前記カメラの取得した画像からオブジェクトを検出する画像認識処理部と、
前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行するデータ構築部と、
オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを格納した辞書データ記憶部を有し、
前記画像認識処理部は、
前記辞書データを参照して前記カメラの取得した画像からオブジェクトを検出する処理を実行し、
前記データ構築部は、
前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行する構成であることを特徴とする情報処理装置にある。

さらに、本発明の情報処理装置の一実施態様において、前記画像認識処理部は、前記カメラの取得した画像に含まれるオブジェクトの特徴点の位置を識別し、前記データ構築部に出力する処理を実行する構成であり、前記データ構築部は、前記画像認識処理部から入力する特徴点情報と、前記自己位置検出部から入力するカメラの位置姿勢情報とに基づいて、オブジェクトの世界座標系における位置および姿勢を算出して環境マップに登録する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記自己位置検出部は、前記カメラから入力する画像内の特徴点を利用して世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラ位置(Cw)、カメラの回転行列(Rw)を算出して前記データ構築部に出力する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記自己位置検出部は、前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するSLAM(simultaneous localization and mapping)を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記画像認識処理部におけるオブジェクト検出対象フレームより以前の画像フレーム中のオブジェクト中の特徴点位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換する座標変換部を有し、前記画像認識処理部は、前記座標変換部の提供する特徴点情報を前記データ構築部に出力する処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記画像認識処理部において検出した特徴点と、前記自己位置検出部において検出した特徴点との位置が予め定めた閾値以内の距離にある場合に、この特徴点を特徴点データベースに記録する特徴点照合部を有し、前記座標変換部は、前記特徴点データベースに記録された特徴点の位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換して画像認識処理部において利用可能とする処理を行なう構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記データ構築部は、生成済みの環境マップを格納した環境マップデータベースと、前記環境マップデータベースから環境マップを取得する環境情報取得部と、前記環境情報取得部の取得した環境マップと、前記画像認識処理部から入力するオブジェクト検出情報とを比較し、比較結果を環境マップ更新部に出力する認識結果比較部と、前記認識結果比較部から入力する比較結果に基づいて、前記環境マップデータベースに格納された環境マップの更新処理を実行する環境マップ更新部を有する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記環境情報取得部は、前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれる特徴点の位置を含む特徴点情報を生成する特徴点情報生成部を有し、前記認識結果比較部は、前記画像認識処理部から入力するオブジェクト対応の特徴点情報と、前記特徴点情報生成部の生成した特徴点情報を比較して、比較情報を前記環境マップ更新部内の画像内変更領域抽出部に出力する特徴点情報比較部を有し、前記環境マップ更新部は、前記特徴点情報比較部から前記比較情報を入力し、マッチした特徴点の距離が予め設定した閾値より近い領域以外を環境マップの更新領域として抽出する画像内変更領域抽出部と、前記環境マップデータベースに格納された環境マップに対して、前記画像内変更領域抽出部の抽出した更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する環境マップ更新部と、を有する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記環境情報取得部は、前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれるオブジェクトの重心・姿勢の存在確率分布を抽出する存在確率分布抽出部を有し、前記認識結果比較部は、前記画像認識処理部から入力するオブジェクト認識結果を入力して、認識オブジェクトの存在確率分布を生成する存在確率分布生成部と、前記存在確率分布抽出部が環境マップに基づいて生成した認識オブジェクトの存在確率分布と、前記存在確率分布生成部が前記画像認識処理部の認識結果に基づいて生成したオブジェクトの存在確率分布との比較を行い、比較情報を前記環境マップ更新部に出力する確率分布比較部を有し、前記環境マップ更新部は、前記存在確率分布比較部から入力する比較情報に基づいて環境マップの更新領域を決定し、前記環境マップデータベースに格納された環境マップに対して、前記更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する構成であることを特徴とする。

さらに、本発明の情報処理装置の一実施態様において、前記確率分布比較部は、前記存在確率分布抽出部が環境マップに基づいて生成した認識オブジェクトの存在確率分布と、前記存在確率分布生成部が前記画像認識処理部の認識結果に基づいて生成したオブジェクトの存在確率分布との差分を示すマハラノビス距離(s)を算出して前記環境マップ更新部に出力する構成であり、前記環境マップ更新部は、前記マハラノビス距離(s)が、予め設定した閾値より大きい場合に、前記環境マップデータベースに登録された環境マップを更新する処理を実行する構成であることを特徴とする。

さらに、本発明の第2の側面は、
環境マップに基づいてオブジェクト検索範囲を特定する処理を実行する情報処理装置であり、
オブジェクトの隣接領域に特定オブジェクトが存在する可能性を示すオントロジーデータ(意味情報)を格納した記憶部と、
前記オントロジーデータ(意味情報)に基づいて、特定オブジェクトの探索領域を決定する画像認識処理部と、
を有することを特徴とする情報処理装置にある。

さらに、本発明の第3の側面は、
情報処理装置において、環境マップの生成処理を実行する情報処理方法であり、
カメラが画像を撮影する画像撮影ステップと、
自己位置検出部が、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出する自己位置検出ステップと、
画像認識処理部が、前記カメラの取得した画像からオブジェクトを検出する画像認識処理ステップと、
データ構築部が、前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行するデータ構築ステップとを有し、
前記画像認識処理ステップは、
オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを参照して前記カメラの取得した画像からオブジェクトを検出する処理を実行し、
前記データ構築ステップは、
前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行することを特徴とする情報処理方法にある。

さらに、本発明の情報処理方法の一実施態様において、前記画像認識処理ステップは、前記カメラの取得した画像に含まれるオブジェクトの特徴点の位置を識別し、前記データ構築部に出力する処理を実行するステップであり、前記データ構築ステップは、前記画像認識処理部から入力する特徴点情報と、前記自己位置検出部から入力するカメラの位置姿勢情報とに基づいて、オブジェクトの世界座標系における位置および姿勢を算出して環境マップに登録する処理を実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記自己位置検出ステップは、前記カメラから入力する画像内の特徴点を利用して世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラ位置(Cw)、カメラの回転行列(Rw)を算出して前記データ構築部に出力する処理を実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記自己位置検出ステップは、前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するSLAM(simultaneous localization and mapping)を実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、座標変換部が、前記画像認識処理部におけるオブジェクト検出対象フレームより以前の画像フレーム中のオブジェクト中の特徴点位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換する座標変換ステップを有し、前記画像認識処理ステップは、前記座標変換部の提供する特徴点情報を前記データ構築部に出力する処理を実行するステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、特徴点照合部が、前記画像認識処理部において検出した特徴点と、前記自己位置検出部において検出した特徴点との位置が予め定めた閾値以内の距離にある場合に、この特徴点を特徴点データベースに記録する特徴点照合ステップを有し、
前記座標変換ステップは、前記特徴点データベースに記録された特徴点の位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換して画像認識処理部において利用可能とする処理を行なうステップであることを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記データ構築ステップは、環境情報取得部が、生成済みの環境マップを環境マップデータベースから取得する環境情報取得ステップと、認識結果比較部が、環境マップデータベースから取得した環境マップと、前記画像認識処理部から入力するオブジェクト検出情報とを比較し、比較結果を環境マップ更新部に出力する認識結果比較ステップと、環境マップ更新部が、前記認識結果比較部から入力する比較結果に基づいて、前記環境マップデータベースに格納された環境マップの更新処理を実行する環境マップ更新ステップを有することを特徴とする。

さらに、本発明の情報処理方法の一実施態様において、前記環境情報取得ステップは、特徴点情報生成部が、前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれる特徴点の位置を含む特徴点情報を生成する特徴点情報生成ステップを有し、前記認識結果比較ステップは、特徴点情報比較部が、前記画像認識処理部から入力するオブジェクト対応の特徴点情報と、前記特徴点情報生成部の生成した特徴点情報を比較して、比較情報を前記環境マップ更新部内の画像内変更領域抽出部に出力する特徴点情報比較ステップを有し、前記環境マップ更新ステップは、画像内変更領域抽出部が、前記特徴点情報比較部から前記比較情報を入力し、マッチした特徴点の距離が予め設定した閾値より近い領域以外を環境マップの更新領域として抽出する画像内変更領域抽出ステップと、環境マップ更新部が、前記環境マップデータベースに格納された環境マップに対して、前記画像内変更領域抽出部の抽出した更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する環境マップ更新ステップとを有することを特徴とする。

さらに、本発明の第4の側面は、
情報処理装置において、環境マップの生成処理を実行させるコンピュータ・プログラムであり、
カメラに画像を撮影させる画像撮影ステップと、
自己位置検出部に、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出させる自己位置検出ステップと、
画像認識処理部に、前記カメラの取得した画像からオブジェクトを検出させる画像認識処理ステップと、
データ構築部に、前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行させるデータ構築ステップとを有し、
前記画像認識処理ステップは、
オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを参照して前記カメラの取得した画像からオブジェクトを検出するステップであり、
前記データ構築ステップは、
前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行するステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、カメラの取得した画像に基づいてカメラの位置および姿勢を検出する自己位置検出処理と、カメラの取得画像からオブジェクトを検出する画像認識処理と、カメラの位置姿勢情報とオブジェクト情報と、オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを適用して環境マップの生成または更新処理を実行する構成としたので、様々なオブジェクトの三次元データを反映した環境マップを、1つのカメラによって取得した画像に基づいて効率的に生成することが可能となる。

以下、図面を参照しながら本発明の実施形態に係る情報処理装置、および情報処理方法、並びにコンピュータ・プログラムの詳細について説明する。

[実施例1]
本発明の一実施形態にかかる情報処理装置の構成について図1を参照して説明する。本発明の情報処理装置は、カメラによって撮影された画像データに基づいて環境マップを構築する情報処理装置であり、図1に示すように、周囲環境を撮影するカメラ101と、カメラ101の撮影画像を入力して画像認識を行う画像認識処理部102と、カメラ101の撮影画像を入力してカメラの位置姿勢を推定する自己位置検出部103と、画像認識処理部102において生成された画像認識結果データと、自己位置検出部103において検出されたカメラ101の位置および姿勢情報を入力して、ある世界座標系で表現された環境マップの作成処理を実行するデータ構築部110、さらに、画像認識処理部102における画像認識処理や、データ構築部110における環境マップ作成処理に利用する辞書データを格納した辞書データ記憶部104を有する。

画像認識処理部102と自己位置検出部103には少なくとも入力としてカメラ映像を用いる。画像認識処理部102はカメラ101によって撮影される様々なオブジェクト(検出対象)の画像内の位置姿勢情報を含む認識結果をデータ構築部110に出力する。ただし、認識結果はカメラ座標系で表現されている。自己位置検出部103はカメラ101の位置・姿勢情報をデータ構築部110に出力する。データ構築部110では、画像認識処理部102から入力する認識結果と、自己位置検出部103から入力するカメラ位置姿勢情報に基づいて、世界座標系(環境マップの座標系)における様々なオブジェクトの位置姿勢を求め、環境マップを更新し、最新の環境マップを出力する。

データ構築部110は、画像認識処理部102からの認識結果と、自己位置検出部103からのカメラ位置姿勢情報を入力して世界座標系(環境マップの座標系)における様々なオブジェクトの位置姿勢を求め環境マップを更新する環境マップ更新111と、更新された環境マップを格納する環境マップデータベース112を有する。データ構築部110の生成する環境マップは、カメラ101によって撮影された画像に含まれる様々なオブジェクト、例えば「テーブル」、「椅子」などの様々なオブジェクトに関する詳細な情報、具体的には三次元形状や位置、姿勢情報などの詳細情報を含むデータとして構成される。

上記構成において、画像認識処理部102は、カメラ101の撮影画像を入力して画像認識を実行して、カメラ101によって撮影される様々なオブジェクト(検出対象)の画像内の位置姿勢情報を含む認識結果を生成して、認識結果をデータ構築部110に出力する。この画像認識処理部102において実行する画像認識処理は、例えば、特開2006−190191号公報や、特開2006−190192号公報に記載された画像認識処理をベースとした画像認識処理を実行する。具体的な処理例については後述する。

また、自己位置検出部103は、文献[Andrew J.Davison,"Real−time simultaneous localisation and mapping with a single camera",Proceedings of the 9th International Conference on Computer Vision,Ninth,(2003)]に記載された構成をベースに開発したものであり、カメラ101によって撮影される画像内の局所領域(以下、特徴点)の位置のフレーム間の変化を元に、三次元空間の特徴点の位置とカメラ位置を同時に毎フレーム推定する処理を行なう。なお、本実施例の自己位置検出部103の入力はカメラ101の映像だけの設定としているが、他のセンサを利用して自己位置推定のロバスト性を上げる構成としてもよい。

画像認識処理部102における画像認識処理や、データ構築部110における環境マップ作成処理に利用する辞書データを格納した辞書データ記憶部104の格納データについて図2を参照して説明する。

辞書データには、カメラ101によって撮影されると推定されるオブジェクト(認識対象)に関する情報が、オブジェクトごとにまとめて保存されている。1つのオブジェクト(認識対象)に対して、
(1)オブジェクト名称
(2)特徴点情報(主要な視点からの二次元情報。詳しくは図2を参照)
(3)物体形状情報(特徴点の位置情報を含む)
(4)オントロジー情報(オブジェクトの属するカテゴリ、接する可能性が高い対象、動体・静体などの情報を含む)

図2は、カップに関する辞書データの登録情報例を示している。
(1)オブジェクト名称:「バラ柄マグカップ」
(2)特徴点情報:上下前後左右の6方向からの視点からオブジェクトを観察した場合の特徴点情報が記録される。なお、各視点からの画像情報としてもよい。
(3)物体形状情報:オブジェクトの三次元形状情報が記録される。特徴点の位置についても記録される。
(4)オントロジー情報
(4−1)オブジェクトの属性:[食器]、
(4−2)オブジェクトに接する可能性の高いオブジェクト情報:[机][食器洗い機]
(4−3)オブジェクトに接する可能性の低いオブジェクト情報:[本棚]
これらの各情報が記録される。
辞書データ記憶部104には、様々なオブジェクトに対応する上記情報が記録されている。

以下、図1を参照して説明した本発明の情報処理装置において実行する環境マップの生成処理の具体例について説明する。

図1に示す情報処理装置のカメラ101の撮影した画像を用いて環境マップを構築する処理例について説明する。カメラ101はピンホールカメラモデルにあうものを利用した。ピンホールカメラモデルは、三次元空間の点の位置とカメラ像平面の画素位置との射影変換を表しており、以下の式で表される。

上記式の意味について、図3、図4を参照して説明する。上記式は、カメラの撮影画像210に含まれるオブジェクト211の点(m)のカメラ像平面の画素位置212、すなわち、カメラ座標系によって表現されている位置と、世界座標系におけるオブジェクト200の三次元位置(M)201との対応関係を示す式である。

カメラ像平面の画素位置212はカメラ座標系によって表現されている。カメラ座費用系は、カメラの焦点を原点Cとして、像平面がXc,Ycの二次元平面、奥行きをZcとした座標系であり、カメラの動きによって原点Cは移動する。

一方、オブジェクト200の三次元位置(M)201は、カメラの動きによって移動しない原点Oを有するXYZ三軸からなる世界座標系によって示される。この異なる座標系でのオブジェクトの位置の対応関係を示す式が上述のピンホールカメラモデルとして定義される。

この式に含まれるλ,A,Cw,Rwは、図4に示すように、
λ:正規化パラメータ
A:カメラ内部パラメータ、
Cw:カメラ位置、
Rw:カメラ回転行列、
を意味している。

カメラ内部パラメータAには、以下の値が含まれる。
f:焦点距離
θ:画像軸の直交性(理想値は90°)
ku:縦軸のスケール(三次元位置のスケールから二次元画像のスケールへの変換)
kv:横軸のスケール(三次元位置のスケールから二次元画像のスケールへの変換)
(u0,v0):画像中心位置

このピンホールカメラモデル、すなわち、三次元空間の点の位置とカメラ像平面の画素位置との射影変換を表す式を用いて、図1に示すデータ構築部110では、カメラ101の撮影画像から得られるカメラ座標系の情報を世界座標系の情報に変換した環境マップを生成する。例えば、カメラ101をユーザ(物理エージェント)が持ち、自由に移動させて動画像を撮影して画像認識処理部102と、自己位置検出部103に撮影画像を入力する場合の処理例について説明する。

自己位置検出部103は、カメラ101から入力する映像内の特徴点を利用して、特徴点の位置とカメラ位置を毎フレーム修正し、自己位置検出部103で決めた世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラの位置(Cw)およびカメラの回転行列(Rw)をデータ構築部110に出力する。なお、この処理は、前述の論文[Andrew J.Davison,"Real−time simultaneous localisation and mapping with a single camera",Proceedings of the 9th International Conference on Computer Vision,Ninth,(2003)]に記載された方法を用いることができる。

また、カメラ101の撮影画像は画像認識処理部102にも送られる。画像認識処理部102では、特徴点の特徴を記述しているパラメータ(以下、特徴量)を利用して画像認識を行う。画像認識処理部102で得られる認識結果は、オブジェクトの属性(コップAや椅子Bなど)と画像内の認識対象の位置・姿勢である。画像認識で得られた結果は、世界座標系で表現されていないため、過去の認識結果との直接的な統合は出来ない。

そのため、データ構築部110は、前述したピンホールカメラモデル、すなわち、三次元空間の点の位置とカメラ像平面の画素位置との射影変換を表す式と事前情報として取得済みのオブジェクトの形状データを含む辞書データを辞書データ記憶部104から取得して三次元空間へ射影変換する。

まず、前述の数式1から、以下の(数式2)、すなわち、カメラ101の撮影画像に含まれるオブジェクトのある点、すなわち特徴点(m)の世界座標系での三次元位置(M)を示す式が導出される。

上述の式において、
dは、カメラとオブジェクトの特徴点との実世界における距離を表す。距離(d)が求まれば、カメラ座標系内の物体の位置を求めることが出来る。なお、前述したように、(数式1)の(λ)は正規化パラメータであるが、この(λ)は、カメラとオブジェクトの距離(奥行)に全く関係の無いある正規化用変数であり、距離(d)の変化に関係なく入力データにより変化する。

カメラ101からオブジェクトの特徴点との距離の算出処理について、図5を参照して説明する。図5は、オブジェクト300をカメラ101によって撮影した画像310を示している。撮影画像310にはオブジェクト300の画像であるオブジェクト画像311が含まれる。

画像認識処理部102は、撮影画像310内のオブジェクト画像311から図に示すようにα、β、γ、δの4つの特徴点を得る。画像認識処理部102は、辞書データ記憶部104から辞書データを抽出して、オブジェクト画像311と、辞書データとの照合を実行して、撮影されたオブジェクト画像311を特定し、その特定されたオブジェクトに対応して辞書データとして登録された特徴点情報に対応するオブジェクト画像311中の特徴点位置を決定する。この特徴点位置が図に示すように直方体の4つの頂点α、β、γ、δであるとする。

データ構築部110は、画像認識処理部102からこれらの特徴点α、β、γ、δ情報を取得し、前述したピンホールカメラモデル、すなわち、三次元空間の点の位置とカメラ像平面の画素位置との射影変換を表す式と事前情報として取得済みのオブジェクトの形状データを含む辞書データを辞書データ記憶部104から取得して三次元空間へ射影変換する。具体的には、カメラからの各特徴点α、β、γ、δまでの距離(奥行)を算出する。

辞書データには、前述したように各オブジェクトの三次元形状情報が登録されている。画像認識処理部102は、この三次元形状情報に基づいて以下に示す(数式3)を適用して、カメラからの各特徴点α、β、γ、δまでの距離(奥行)を算出する。

上記式(数式3)において、
dα:カメラからオブジェクト300の特徴点αまでの距離
dβ:カメラからオブジェクト300の特徴点βまでの距離
dγ:カメラからオブジェクト300の特徴点γまでの距離
dδ:カメラからオブジェクト300の特徴点δまでの距離
dobj1:オブジェクト300の特徴点αβ間の距離(辞書データの登録情報)
dobj2:オブジェクト300の特徴点βγ間の距離(辞書データの登録情報)
dobj3:オブジェクト300の特徴点γδ間の距離(辞書データの登録情報)
dobj4:オブジェクト300の特徴点δα間の距離(辞書データの登録情報)
である。

また、
Xα:カメラから特徴点αへのベクトル
であり以下の式(数式4)によって算出される。

同様に、
Xβ:カメラから特徴点βへのベクトル
Xγ:カメラから特徴点γへのベクトル
Xδ:カメラから特徴点δへのベクトル
これらは、いずれも画像内の各特徴点の画素位置情報(m)とカメラパラメータ(A)およびカメラ回転行列(R)とに基づいて算出可能な値である。

また、式(数式3)に含まれるε1〜ε4は計測誤差である。これらの計測誤差を表すεが最小になるように、式3に含まれる4つの未知数、すなわち、カメラからオブジェクト300の特徴点までの距離:dα,dβ,dγ,dδを算出する。例えば最小二乗法を用いて計測誤差εが最小になるようにカメラからオブジェクト300の特徴点までの各距離:dα,dβ,dγ,dδを算出する。

この処理によってカメラからオブジェクト300の各特徴点までの距離(奥行)を計算することができ、世界座標系にオブジェクト認識結果を正確にマッピングすることが可能となる。但し、上記式(数式3)を用いた方法では、マッピングを行うには最低4点は必要となる。もし5点以上特徴点が得られた場合は、式を増やして誤差εの総和が最小になるように計算する。

図5を参照して説明した方法では、オブジェクト300の全体が撮影画像310内に記録されている。すなわちオブジェクト画像311はオブジェクト300の全体を含む設定である。オブジェクトの全体が撮影画像に含まれず一部だけが撮影されている場合、本発明の情報処理装置の構成では、カメラ位置と辞書データを利用して認識対象全体をマッピングすることが可能である。

すなわち、図6に示すようにオブジェクト300の全体は撮影画像321に含まれず、オブジェクト画像321が、オブジェクト300の一部として撮像されている場合でも、本発明の情報処理装置の構成では、カメラ位置と辞書データを利用してオブジェクト(認識対象)全体をマッピングすることが可能である。図6の例では、特徴点(P)がオブジェクト画像321に含まれず、オブジェクト画像321の上面の4頂点に対応する特徴点α,β,γ,δのみがオブジェクト画像321に含まれている。

この場合も、図5を参照して説明したように前述の式(数式3)から、カメラからオブジェクト300の特徴点までの各距離:dα,dβ,dγ,dδを算出することが可能となり、さらに、辞書データ中のオブジェクト300の三次元形状データに基づいて撮影されていない特徴点Pまでのカメラからの距離を算出することができ、世界座標系におけるオブジェクト300のマッピングを行なうことが可能となる。

さらに、上述の手法は、1フレームのカメラ撮影画像のみを利用した処理として説明したが、複数のフレーム画像を適用した処理としてもよい。すなわち、過去に抽出した特徴点も利用する処理である。但し、特徴点の三次元空間の位置が必要なので、同じ特徴点を用いている自己位置検出部の特徴点の位置を利用する。

[実施例2]
図7を参照して、複数のフレーム画像を適用した環境マップの生成処理構成を持つ情報処理装置について説明する。本実施例の構成においても、実施例1と同様、カメラによって撮影された画像データに基づいて環境マップを構築する情報処理装置であり、図7に示すように、周囲環境を撮影するカメラ101と、カメラ101の撮影画像を入力して画像認識を行う画像認識処理部102と、カメラ101の撮影画像を入力してカメラの位置姿勢を推定する自己位置検出部103と、画像認識処理部102において生成された画像認識結果データと、自己位置検出部103において検出されたカメラ101の位置および姿勢情報を入力して、ある世界座標系で表現された環境マップの作成処理を実行するデータ構築部110、さらに、画像認識処理部102における画像認識処理や、データ構築部110における環境マップ作成処理に利用する辞書データを格納した辞書データ記憶部104を有する。データ構築部110は環境マップ更新部111、環境マップデータベース112を有する。これらの構成は、図1を参照して説明した実施例1の構成と同様の構成である。

本実施例2においては、さらに、特徴点照合部401、特徴点データベース402、座標変換部403を有する。自己位置検出部103ではカメラ101によって撮影された画像から得られる特徴点の三次元位置とカメラ位置を同時に求める処理を行なう。

エージェント(agent)の位置や方向などのポーズ(位置姿勢)の確認として実行される自己ポーズ(位置姿勢)同定(ローカリゼーション)に併せて、エージェント(agent)周囲の地図(環境地図)の作成(mapping)、すなわち環境マップの作成を行なう処理はSLAM(simultaneous localization and mapping)と呼ばれる。本実施例2では、このSLAM技法をベースにしている。

自己位置検出部103は、カメラ101から入力する映像内の特徴点を利用して、特徴点の位置とカメラ位置を解析フレーム毎に算出し、自己位置検出部103で決めた世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラ位置(Cw)、カメラの回転行列(Rw)をデータ構築部110に出力する。さらに、自己位置検出部103は、解析対象とするフレームに対応する特徴点の三次元位置情報を特徴点照合部401に出力する。なお、解析対象フレームは、カメラ101の撮影する画像フレームの連続する全てのフレームとしてよいし、予め設定した間隔のフレームとしてもよい。

特徴点照合部401は、画像認識処理部102で求めた特徴点と、自己位置検出部103から入力する特徴点とを撮影された画像空間の距離、例えば画素数で比較する。但し自己位置検出部103が、世界座標系で特徴点位置情報を算出している場合は、前述の数式(数式1)を用いて画像内の特徴点位置を求める。

特徴点照合部401では、自己位置検出部103があるフレーム画像から検出したある1つの特徴点位置と、画像認識処理部102が同じフレーム画像から検出したある1つの特徴点位置との距離が予め定めた閾値以下であるか否かを検証し、閾値以下ならば、その特徴点同士は同一のものであるとし、特徴点の特徴量と対応する自己位置検出部103が検出した特徴点のカメラ座標系における位置情報と識別子を特徴点データベース402に登録する。

座標変換部403は、特徴点データベース402に登録された特徴点の各々について現在のカメラ画像座標系に位置情報を変換して、画像認識処理部102に出力する。位置情報の変換処理には、前述の式(数式1)と、自己位置検出部103から入力する世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラ位置Cw、カメラの回転行列(Rw)を用いる。

画像認識処理部102では、特徴点解析対象としている現フレームの特徴点位置情報に併せて、座標変換部403から入力する先行する過去フレームから求められた特徴点位置情報を追加して、データ構築部110に出力することができる。このようにして複数フレームから抽出されたより多くの特徴点情報からなる認識結果を生成してデータ構築部110に出力することが可能となり、データ構築部110ではより多くの特徴点情報に基づく正確な環境マップを生成することが可能となる。

図8は、過去フレームから取得した特徴点情報の利用例について示す図である。撮影画像420は、画像認識処理部102において解析中のフレームである撮影画像を示している。撮影画像420には、オブジェクト400の一部のみが記録されている。特徴点Pは、過去のフレームにおいて検出された特徴点位置である。座標変換部403は、過去フレームから抽出された特徴点Pの位置を現在のフレームである撮影画像420のどの位置に対応するかを算出し、画像認識処理部102に提供する。画像認識処理部102では、撮影画像420に含まれるα、β、γ、δの4つの特徴点の他、過去フレームにおいて抽出された特徴点Pを追加して、これらの特徴点情報をデータ構築部110に出力することができる。このようにして複数フレームから抽出されたより多くの特徴点情報からなる認識結果を生成してデータ構築部110に出力することが可能となり、データ構築部110ではより多くの特徴点情報に基づく正確な環境マップを生成することが可能となる。

[実施例3]
次に、本発明の実施例3としてカメラ位置とカメラ画像の認識結果を用いて、環境マップを更新する処理例について説明する。図1に示すデータ構築部110では、画像認識処理部102から入力する特徴点情報と、事前情報として取得済みのオブジェクトの形状データを含む辞書データを辞書データ記憶部104から取得して、各オブジェクトを世界座標系で表される環境マップ上に配置する処理を行って環境マップを生成する。

環境マップを構築した後、環境の一部が変更された場合を想定する。変更された場合、過去に構築した環境マップを破棄して、新たに入力する特徴点情報に基づいて新たな環境マップを構築するという手法もあるが、この処理は非常に手間がかかる。そこで、本実施例では、過去に構築された環境マップを利用して、変更された部分を識別して識別した変更部分を更新することで新たな環境マップを生成する構成としたものである。

本実施例の情報処理装置の構成および処理について、図9を参照して説明する。本実施例の構成においても、実施例1と同様、カメラによって撮影された画像データに基づいて環境マップを構築する情報処理装置であり、図9に示すように、周囲環境を撮影するカメラ101と、カメラ101の撮影画像を入力して画像認識を行う画像認識処理部102と、カメラ101の撮影画像を入力してカメラの位置姿勢を推定する自己位置検出部103と、画像認識処理部102において生成された画像認識結果データと、自己位置検出部103において検出されたカメラ101の位置および姿勢情報を入力して、ある世界座標系で表現された環境マップの作成処理を実行するデータ構築部510、さらに、画像認識処理部102における画像認識処理や、データ構築部510における環境マップ作成処理に利用する辞書データを格納した辞書データ記憶部104を有する。データ構築部510は環境マップ更新部511、環境マップデータベース512を有する。これらの構成は、図1を参照して説明した実施例1の構成と同様の構成である。

さらに、本実施例の構成ではデータ構築部510が、環境情報取得部513、認識結果比較部514を有する。環境情報取得部513は、自己位置検出部103で得られたカメラの自己位置情報を用いて、環境マップデータベース512に格納済みの環境マップ(例えば過去の画像に基づいて生成された環境マップ)を利用してカメラ101に写ると推定される様々なオブジェクトからなる環境情報を検出する。

認識結果比較部514は、環境情報取得部513が、生成済みの環境マップに基づいて推定した現在のカメラ位置に応じた撮影画像から取得されると判断した環境情報(特徴点情報など)と画像認識処理部102において、実際の撮影画像から得られた認識結果(特徴点情報)とを比較する。

環境マップ更新部511は、この認識結果比較部514の比較情報を入力し、比較情報を利用して、環境マップデータベース512に格納済みの過去に作成された環境マップを修正してマップ更新処理を実行する。

本実施例で利用する各モジュールについて詳しく説明する。
環境情報取得部513では自己位置検出部103において取得されるカメラ位置姿勢情報を入力して、環境マップデータベース512に記録済みの環境マップのどの部分が撮影画像として取得され、その推定した撮影画像に含まれる特徴点の位置などを判断する。

なお、環境マップデータベース512に記録済みの環境マップは、各オブジェクトが世界座標系で登録されているので、前述の式(数式1)を利用して各特徴点位置をカメラ座標系に変換して撮影画像のどの位置に特徴点が現れるかを決定する。前述の(数式1)において、カメラの推定位置および姿勢情報としてのカメラ位置(Cw)、カメラの回転行列(Rw)は自己位置検出部103からの入力情報を適用する。(数式1)の左辺のmが、新たに撮影され画像認識処理部において解析対象としている画像内に入っているか否かを判断する。

認識結果比較部514では、環境情報取得部513が生成済みの環境マップに基づいて推定した現在のカメラ位置に応じた撮影画像から取得されると判断した環境情報(特徴点情報など)と画像認識処理部102において、実際の撮影画像から得られた認識結果(特徴点情報)とを比較する。なお、比較情報としては、様々なパラメータがあるが本例では、
(1)特徴点同士の比較
(2)ある確率分布モデルで表現された認識対象の重心と姿勢同士の比較
これらの2通りの比較例について説明する。

(1)特徴点同士の比較
まず、認識結果比較部514において特徴点比較を行なう構成例について図10を参照して説明する。本実施例では図10に示すように、環境情報取得部513には、特徴点情報生成部521が設定され、認識結果比較部514には、特徴点情報比較部522が設けられ、環境マップ更新部511には画像内変更領域抽出部523、環境マップ更新部524が設けられている。

環境情報取得部513の特徴点情報生成部521は、自己位置検出部103において取得されるカメラ位置姿勢情報を入力して、環境マップデータベース512に記録済みの環境マップのどの部分が撮影画像として取得され、その推定した撮影画像に含まれる特徴点の位置などの特徴点情報を取得する。因みに特徴点情報とは、特徴点の位置と特徴量で構成される情報をさす。特徴点情報生成部521は、環境マップとカメラ位置姿勢と辞書データをもとに、カメラに写ると推定される特徴点全ての特徴点情報を生成する。

認識結果比較部514の特徴点比較部522は、特徴点情報生成部521が過去に蓄積された環境マップから求めた特徴点情報を入力し、さらに画像認識処理部102において、実際の撮影画像から得られた認識結果(特徴点情報)を入力してこれらを比較する。特徴点比較部522は、マッチした特徴点の位置と特徴点同士の距離を求める。これらの情報は、環境マップ更新部511の画像内変更領域抽出部523に出力される。

画像内変更領域抽出部523は、マッチした特徴点の距離が予め設定した閾値より近い領域以外を環境マップの更新領域として抽出する。この抽出領域情報は、環境マップ更新部524に出力される。

環境マップ更新部524は、過去に蓄積された環境マップを取得して、画像内変更領域抽出部523において更新領域として選択された抽出領域についてのみ、新たに画像認識処理部102から入力する特徴点情報を用いたマップ更新を実行し、その他の領域は、作成済みの環境マップの情報を変更せずに利用する。この処理により、効率的な環境マップ更新が可能となる。

(2)ある確率分布モデルで表現された認識対象の重心と姿勢同士の比較
次に認識結果比較部514において、ある確率分布モデルで表現された認識対象の重心と姿勢同士の比較を行なう構成例について図11を参照して説明する。本実施例では図11に示すように、環境情報取得部513には、存在確率分布抽出部541が設定され、認識結果比較部514には、存在確率分布生成部542、確率分布比較部543が設けられている。

認識結果比較部514の存在確率分布生成部542は、画像認識処理部102からの認識結果を入力して、画像認識結果にある認識オブジェクトの存在確率分布を生成する。ちなみに、存在確率分布は、平均(三次元位置とクオータニオン)共分散行列で表現された多次元正規分布に従うとする。画像認識では、存在確率分布は求まらないためユーザーが定数で与える。

環境情報取得部513の存在確率分布抽出部541は、環境マップデータベース512から取得した環境マップを利用して、カメラ101の撮影した画像に含まれる認識オブジェクトの重心・姿勢の存在確率分布を抽出する(平均共分散行列)。

認識結果比較部514の存在確率分布比較部543は、環境情報取得部513の存在確率分布抽出部541が環境マップに基づいて生成した認識オブジェクトの存在確率分布と、認識結果比較部514の存在確率分布生成部542が画像認識処理部102からの認識結果に基づいて生成したオブジェクトの存在確率分布との比較を行う比較には、例えば以下の式(数式5)を用いる。

上記式(数式5)のsはマハラノビス距離を表しており、環境マップに基づいて生成した認識オブジェクトの存在確率分布と、画像認識処理部102からの認識結果に基づいて生成したオブジェクトの存在確率分布との差分に応じた値となる。認識結果比較部514の存在確率分布比較部543は、上記式(数式5)のsの値を環境マップ更新部511に出力する。

環境マップ更新部511は、認識結果比較部514の存在確率分布比較部543から入力する上記式(数式5)のsの値が予め設定した閾値より小さい場合、環境マップデータベース112に記録済みのオブジェクトと、新たな撮影画像に基づく画像認識結果として得られた認識オブジェクトは同一のものであると判断し、環境マップデータベースの修正は行わない。しかし、sが閾値より大きい場合は異なるオブジェクトが出現したものと判断して、環境マップデータベース512に登録された環境マップを更新する。

[実施例4]
上述の実施例においては、環境マップに登録される各オブジェクトは移動しない静オブジェクトであることを前提とした処理であった。移動するオブジェクトが撮影画像に含まれ、これらの移動オブジェクトを環境マップに登録する場合には、移動オブジェクト(動物体)と、静止オブジェクト(静物体)を区別した処理が必要となる。実施例4は、このような移動オブジェクト(動物体)と、静止オブジェクト(静物体)を区別した処理を行って環境マップの生成、更新を実行する処理例である。

本実施例について、図12を参照して説明する。図12に示す例は、先に図11を参照して説明したある確率分布モデルで表現された認識対象の重心と姿勢同士の比較を行なう構成例をベースとして、動物体判定部561を追加した構成である。

図10を参照して説明した構成との差異は、動物体判定部561が、画像認識処理部102からの認識結果を入力して、画像認識結果としてのオブジェクトが動物体かどうか判断する処理が含まれる点である。動物体判定部561は、辞書データ記憶部104の格納データに基づいて、画像認識結果としてのオブジェクトが動物体か静物体かを判断する。この処理例では、辞書データ記憶部104の格納データである辞書データには、各オブジェクトが動物体であるか静物体であるかを示すオブジェクト属性データが登録されているものとする。

画像認識処理部102からの認識結果に含まれるオブジェクトに動物体として認識されるオブジェクトが含まれる場合、このオブジェクト情報は、直接、環境マップ更新部511に出力され、環境マップ更新部511は、オブジェクト情報に基づいて動物体を環境マップ上に登録する。

画像認識処理部102からの認識結果に含まれるオブジェクトに静物体として認識されるオブジェクトが含まれる場合、このオブジェクト情報は、認識結果比較部514に出力される。この後の処理は、図11を参照して説明したとど羽陽の処理が実行される。なお、環境マップ更新部511は、動物体の情報は毎フレーム自動的に消去する。

[実施例5]
次に、実施例5として、環境マップを用いて画像認識処理部の認識対象・探索範囲を限定する構成例について説明する。

環境マップは、例えば上述した実施例1〜4のいずれかの処理によって生成、更新することが可能である。このようにして生成した環境マップを利用して、画像認識処理部において認識するオブジェクトの種類や探索範囲を限定することを可能とした構成を実施例5として説明する。

事前に物体間のオントロジーデータ(意味情報)をまとめたオントロジーマップを用意し、記憶部に格納する。オントロジーデータ(意味情報)は、環境に存在する対象を体系的に分類し、その関係を記述するものである。例えば、
「椅子やテーブルは床に接している可能性が高い」、
「電源が入っているテレビのモニタの前には顔がある可能性が高い」
「トイレにテレビがある可能性は低い」
というような情報がオントロジーデータである。対象物体毎にオントロジーデータをまとめたものがオントロジーマップである。

本実施例5では、このようなオントロジーマップを用いて、画像認識処理部において認識するオブジェクトの種類や探索範囲を限定する。本実施例5の情報処理装置は、環境マップに基づいてオブジェクト検索範囲を特定する処理を実行する情報処理装置であり、オブジェクトの隣接領域に特定オブジェクトが存在する可能性を示すオントロジーデータ(意味情報)を格納した記憶部と、オントロジーデータ(意味情報)に基づいて、特定オブジェクトの探索領域を決定する画像認識処理部とを有する情報処理装置である。

例えば、図13に示す環境で顔の位置を検出する場合について説明する。但し、既に環境マップは構築されているものとする。最初に、床面を検出し天井方向を推定する。地面に接している可能性が非常に高いものは(自動販売機やテーブル、車など)。図13中では、
・テーブル
・ソファー
があげられる。環境マップより、テーブルとソファーの位置・姿勢がわかっているので、それから床の平面方程式を算出する。これで、床面が識別され、天井方向が識別される。

次に、顔の位置がありそうな場所を、オントロジーマップをもとに探索する。図13の環境では、
・[顔がある可能性が非常に高い場所]ソファーの上、テレビの前、
・[顔がある可能性が非常に低い場所]テレビの真上、本棚の中、カレンダーより向こうの壁
このように区分することが出来る。この区分を三次元空間に対応させて範囲を指定し、その範囲を前述の式(数式1)で画像に反映させる。例えば図14に示すような区分情報711,712が設定できる。この反映結果を画像認識モジュールに渡す。この処理により、画像認識率を向上させ、画像認識の高速化を図ることが可能となる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、カメラの取得した画像に基づいてカメラの位置および姿勢を検出する自己位置検出処理と、カメラの取得画像からオブジェクトを検出する画像認識処理と、カメラの位置姿勢情報とオブジェクト情報と、オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを適用して環境マップの生成または更新処理を実行する構成としたので、様々なオブジェクトの三次元データを反映した環境マップを、1つのカメラによって取得した画像に基づいて効率的に生成することが可能となる。

本発明の一実施例に係る情報処理装置の構成および処理について説明する図である。 辞書データ記憶部の格納データである辞書データについて説明する図である。 ピンホールカメラモデル、すなわちカメラ座標系によって表現されている位置と、世界座標系におけるオブジェクトの三次元位置との対応関係を示す式の意味について説明する図である。 ピンホールカメラモデル、すなわちカメラ座標系によって表現されている位置と、世界座標系におけるオブジェクトの三次元位置との対応関係を示す式の意味について説明する図である。 カメラからオブジェクトの特徴点との距離の算出処理について説明する図である。 オブジェクトが一部撮像されている場合におけるカメラ位置と辞書データを利用したオブジェクト(認識対象)全体のマッピング処理について説明する図である。 本発明の一実施例に係る情報処理装置の構成および処理について説明する図である。 過去フレームから取得した特徴点情報の利用例について示す図である。 本発明の一実施例に係る情報処理装置の構成および処理について説明する図である。 本発明の一実施例に係る情報処理装置の構成および処理について説明する図である。 本発明の一実施例に係る情報処理装置の構成および処理について説明する図である。 本発明の一実施例に係る情報処理装置の構成および処理について説明する図である。 顔の位置を検出する画像認識処理例について説明する図である。 顔の位置を検出する画像認識処理例について説明する図である。

符号の説明

101 カメラ
102 画像認識処理部
103 自己位置検出部
104 辞書データ記憶部
110 データ構築部
111 環境マップ更新部
112 環境マップデータベース
401 特徴点照合部
402 特徴点データベース
403 座標変換部
510 データ更新部
511 環境マップ更新部
512 環境マップデータベース
513 環境情報取得部
514 認識結果比較部
521 特徴点情報生成部
522 特徴点情報比較部
523 画像内変更領域抽出部
524 環境マップ更新部
541 存在確率分布抽出部
542 存在確率分布生成部
543 確率分布比較部
561 動物体判定部

Claims (19)

  1. 環境マップの生成処理を実行する情報処理装置であり、
    画像を撮影するカメラと、
    前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出する自己位置検出部と、
    前記カメラの取得した画像からオブジェクトを検出する画像認識処理部と、
    前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行するデータ構築部と、
    オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを格納した辞書データ記憶部を有し、
    前記画像認識処理部は、
    前記辞書データを参照して前記カメラの取得した画像からオブジェクトを検出する処理を実行し、
    前記データ構築部は、
    前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行する構成であることを特徴とする情報処理装置。
  2. 前記画像認識処理部は、
    前記カメラの取得した画像に含まれるオブジェクトの特徴点の位置を識別し、前記データ構築部に出力する処理を実行する構成であり、
    前記データ構築部は、
    前記画像認識処理部から入力する特徴点情報と、前記自己位置検出部から入力するカメラの位置姿勢情報とに基づいて、オブジェクトの世界座標系における位置および姿勢を算出して環境マップに登録する処理を実行する構成であることを特徴とする請求項1に記載の情報処理装置。
  3. 前記自己位置検出部は、
    前記カメラから入力する画像内の特徴点を利用して世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラ位置(Cw)、カメラの回転行列(Rw)を算出して前記データ構築部に出力する処理を実行する構成であることを特徴とする請求項1に記載の情報処理装置。
  4. 前記自己位置検出部は、
    前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するSLAM(simultaneous localization and mapping)を実行する構成であることを特徴とする請求項1に記載の情報処理装置。
  5. 前記情報処理装置は、さらに、
    前記画像認識処理部におけるオブジェクト検出対象フレームより以前の画像フレーム中のオブジェクト中の特徴点位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換する座標変換部を有し、
    前記画像認識処理部は、
    前記座標変換部の提供する特徴点情報を前記データ構築部に出力する処理を実行する構成であることを特徴とする請求項1に記載の情報処理装置。
  6. 前記自己位置検出部は、
    前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するSLAM(simultaneous localization and mapping)を実行する構成であり、
    前記情報処理装置は、さらに、
    前記画像認識処理部において検出した第1の特徴点と、前記自己位置検出部が前記SLAMの実行により検出した第2の特徴点の位置を比較し、各特徴点の位置が予め定めた閾値以内の距離にある場合に、前記第2の特徴点を特徴点データベースに記録する特徴点照合部を有し、
    前記座標変換部は、前記特徴点データベースに記録された特徴点の位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換して画像認識処理部において利用可能とする処理を行なう構成であることを特徴とする請求項5に記載の情報処理装置。
  7. 前記データ構築部は、
    生成済みの環境マップを格納した環境マップデータベースと、
    前記環境マップデータベースから環境マップを取得する環境情報取得部と、
    前記環境情報取得部の取得した環境マップと、前記画像認識処理部から入力するオブジェクト検出情報とを比較し、比較結果を環境マップ更新部に出力する認識結果比較部と、
    前記認識結果比較部から入力する比較結果に基づいて、前記環境マップデータベースに格納された環境マップの更新処理を実行する環境マップ更新部を有する構成であることを特徴とする請求項1に記載の情報処理装置。
  8. 前記環境情報取得部は、
    前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれる特徴点の位置を含む特徴点情報を生成する特徴点情報生成部を有し、
    前記認識結果比較部は、
    前記画像認識処理部から入力するオブジェクト対応の特徴点情報と、前記特徴点情報生成部の生成した特徴点情報を比較して、比較情報を前記環境マップ更新部内の画像内変更領域抽出部に出力する特徴点情報比較部を有し、
    前記環境マップ更新部は、
    前記特徴点情報比較部から前記比較情報を入力し、マッチした特徴点の距離が予め設定した閾値より近い領域以外を環境マップの更新領域として抽出する画像内変更領域抽出部と、
    前記環境マップデータベースに格納された環境マップに対して、前記画像内変更領域抽出部の抽出した更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する環境マップ更新部と、
    を有する構成であることを特徴とする請求項7に記載の情報処理装置。
  9. 前記環境情報取得部は、
    前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれるオブジェクトの重心・姿勢の存在確率分布を抽出する存在確率分布抽出部を有し、
    前記認識結果比較部は、
    前記画像認識処理部から入力するオブジェクト認識結果を入力して、認識オブジェクトの存在確率分布を生成する存在確率分布生成部と、
    前記存在確率分布抽出部が環境マップに基づいて生成した認識オブジェクトの存在確率分布と、前記存在確率分布生成部が前記画像認識処理部の認識結果に基づいて生成したオブジェクトの存在確率分布との比較を行い、比較情報を前記環境マップ更新部に出力する確率分布比較部を有し、
    前記環境マップ更新部は、
    前記存在確率分布比較部から入力する比較情報に基づいて環境マップの更新領域を決定し、前記環境マップデータベースに格納された環境マップに対して、前記更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する構成であることを特徴とする請求項7に記載の情報処理装置。
  10. 前記確率分布比較部は、
    前記存在確率分布抽出部が環境マップに基づいて生成した認識オブジェクトの存在確率分布と、前記存在確率分布生成部が前記画像認識処理部の認識結果に基づいて生成したオブジェクトの存在確率分布との差分を示すマハラノビス距離(s)を算出して前記環境マップ更新部に出力する構成であり、
    前記環境マップ更新部は、
    前記マハラノビス距離(s)が、予め設定した閾値より大きい場合に、前記環境マップデータベースに登録された環境マップを更新する処理を実行する構成であることを特徴とする請求項9に記載の情報処理装置。
  11. 情報処理装置において、環境マップの生成処理を実行する情報処理方法であり、
    カメラが画像を撮影する画像撮影ステップと、
    自己位置検出部が、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出する自己位置検出ステップと、
    画像認識処理部が、前記カメラの取得した画像からオブジェクトを検出する画像認識処理ステップと、
    データ構築部が、前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行するデータ構築ステップとを有し、
    前記画像認識処理ステップは、
    オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを参照して前記カメラの取得した画像からオブジェクトを検出する処理を実行し、
    前記データ構築ステップは、
    前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行することを特徴とする情報処理方法。
  12. 前記画像認識処理ステップは、
    前記カメラの取得した画像に含まれるオブジェクトの特徴点の位置を識別し、前記データ構築部に出力する処理を実行するステップであり、
    前記データ構築ステップは、
    前記画像認識処理部から入力する特徴点情報と、前記自己位置検出部から入力するカメラの位置姿勢情報とに基づいて、オブジェクトの世界座標系における位置および姿勢を算出して環境マップに登録する処理を実行するステップであることを特徴とする請求項11に記載の情報処理方法。
  13. 前記自己位置検出ステップは、
    前記カメラから入力する画像内の特徴点を利用して世界座標系で表されたカメラの推定位置および姿勢情報としてのカメラ位置(Cw)、カメラの回転行列(Rw)を算出して前記データ構築部に出力する処理を実行するステップであることを特徴とする請求項11に記載の情報処理方法。
  14. 前記自己位置検出ステップは、
    前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するSLAM(simultaneous localization and mapping)を実行するステップであることを特徴とする請求項11に記載の情報処理方法。
  15. 前記情報処理方法は、さらに、
    座標変換部が、前記画像認識処理部におけるオブジェクト検出対象フレームより以前の画像フレーム中のオブジェクト中の特徴点位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換する座標変換ステップを有し、
    前記画像認識処理ステップは、
    前記座標変換部の提供する特徴点情報を前記データ構築部に出力する処理を実行するステップであることを特徴とする請求項11に記載の情報処理方法。
  16. 前記自己位置検出ステップは、
    前記カメラから入力する画像内の特徴点の位置と、カメラの位置姿勢を併せて検出するSLAM(simultaneous localization and mapping)を実行するステップであり、
    前記情報処理方法は、さらに、
    特徴点照合部が、前記画像認識処理部において検出した第1の特徴点と、前記自己位置検出部が前記SLAMの実行により検出した第2の特徴点の位置を比較し、各特徴点の位置が予め定めた閾値以内の距離にある場合に、前記第2の特徴点を特徴点データベースに記録する特徴点照合ステップを有し、
    前記座標変換ステップは、前記特徴点データベースに記録された特徴点の位置を、前記画像認識処理部におけるオブジェクト検出対象フレームの画像対応の座標上に変換して画像認識処理部において利用可能とする処理を行なうステップであることを特徴とする請求項15に記載の情報処理方法。
  17. 前記データ構築ステップは、
    環境情報取得部が、生成済みの環境マップを環境マップデータベースから取得する環境情報取得ステップと、
    認識結果比較部が、環境マップデータベースから取得した環境マップと、前記画像認識処理部から入力するオブジェクト検出情報とを比較し、比較結果を環境マップ更新部に出力する認識結果比較ステップと、
    環境マップ更新部が、前記認識結果比較部から入力する比較結果に基づいて、前記環境マップデータベースに格納された環境マップの更新処理を実行する環境マップ更新ステップを有することを特徴とする請求項11に記載の情報処理方法。
  18. 前記環境情報取得ステップは、
    特徴点情報生成部が、前記環境マップデータベースから環境マップを取得し、取得した環境マップに含まれる特徴点の位置を含む特徴点情報を生成する特徴点情報生成ステップを有し、
    前記認識結果比較ステップは、
    特徴点情報比較部が、前記画像認識処理部から入力するオブジェクト対応の特徴点情報と、前記特徴点情報生成部の生成した特徴点情報を比較して、比較情報を前記環境マップ更新部内の画像内変更領域抽出部に出力する特徴点情報比較ステップを有し、
    前記環境マップ更新ステップは、
    画像内変更領域抽出部が、前記特徴点情報比較部から前記比較情報を入力し、マッチした特徴点の距離が予め設定した閾値より近い領域以外を環境マップの更新領域として抽出する画像内変更領域抽出ステップと、
    環境マップ更新部が、前記環境マップデータベースに格納された環境マップに対して、前記画像内変更領域抽出部の抽出した更新領域のみを更新対象として、前記画像認識処理部から入力する特徴点情報を用いた更新処理を実行する環境マップ更新ステップと、
    を有することを特徴とする請求項17に記載の情報処理方法。
  19. 情報処理装置において、環境マップの生成処理を実行させるコンピュータ・プログラムであり、
    カメラに画像を撮影させる画像撮影ステップと、
    自己位置検出部に、前記カメラの取得した画像に基づいてカメラの位置および姿勢を検出させる自己位置検出ステップと、
    画像認識処理部に、前記カメラの取得した画像からオブジェクトを検出させる画像認識処理ステップと、
    データ構築部に、前記自己位置検出部の検出したカメラの位置姿勢情報と、前記画像認識処理部の検出したオブジェクト情報を入力して、環境マップの生成または更新処理を実行させるデータ構築ステップとを有し、
    前記画像認識処理ステップは、
    オブジェクトに対応する少なくとも三次元形状データを含むオブジェクト情報を登録した辞書データを参照して前記カメラの取得した画像からオブジェクトを検出するステップであり、
    前記データ構築ステップは、
    前記辞書データに登録された三次元形状データを適用して環境マップへのオブジェクト配置を実行するステップであることを特徴とするコンピュータ・プログラム。
JP2007150765A 2007-06-06 2007-06-06 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム Active JP5380789B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007150765A JP5380789B2 (ja) 2007-06-06 2007-06-06 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2007150765A JP5380789B2 (ja) 2007-06-06 2007-06-06 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
EP08251674A EP2000953B1 (en) 2007-06-06 2008-05-13 Information processing apparatus, information processing method, and computer program
DE602008005063T DE602008005063D1 (de) 2007-06-06 2008-05-13 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Computerprogramm
EP10003391A EP2202672B1 (en) 2007-06-06 2008-05-13 Information processing apparatus, information processing method, and computer program
US12/134,354 US8073200B2 (en) 2007-06-06 2008-06-06 Information processing apparatus, information processing method, and computer program
US13/281,518 US8325985B2 (en) 2007-06-06 2011-10-26 Information processing apparatus, information processing method, and computer program
US13/664,834 US8818039B2 (en) 2007-06-06 2012-10-31 Information processing apparatus, information processing method, and computer program
US14/340,378 US9183444B2 (en) 2007-06-06 2014-07-24 Information processing apparatus, information processing method, and computer program

Publications (3)

Publication Number Publication Date
JP2008304268A JP2008304268A (ja) 2008-12-18
JP2008304268A5 JP2008304268A5 (ja) 2010-04-15
JP5380789B2 true JP5380789B2 (ja) 2014-01-08

Family

ID=39761103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007150765A Active JP5380789B2 (ja) 2007-06-06 2007-06-06 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Country Status (4)

Country Link
US (4) US8073200B2 (ja)
EP (2) EP2000953B1 (ja)
JP (1) JP5380789B2 (ja)
DE (1) DE602008005063D1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10835263B2 (en) 2016-11-17 2020-11-17 Peter L. Bono Rotary oscillating surgical tool

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8855819B2 (en) * 2008-10-09 2014-10-07 Samsung Electronics Co., Ltd. Method and apparatus for simultaneous localization and mapping of robot
KR101581197B1 (ko) * 2009-01-06 2015-12-30 삼성전자주식회사 로봇 및 그 제어방법
KR101524020B1 (ko) * 2009-03-06 2015-05-29 엘지전자 주식회사 로봇 청소기의 점진적 지도 작성 및 위치 보정 방법
JP5158006B2 (ja) 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP5158007B2 (ja) * 2009-04-28 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2011095797A (ja) 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5617246B2 (ja) 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
JP5728159B2 (ja) 2010-02-02 2015-06-03 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP2011159163A (ja) 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5488011B2 (ja) 2010-02-04 2014-05-14 ソニー株式会社 通信制御装置、通信制御方法及びプログラム
JP5573238B2 (ja) 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
JP5471626B2 (ja) 2010-03-09 2014-04-16 ソニー株式会社 情報処理装置、マップ更新方法、プログラム及び情報処理システム
JP2011197777A (ja) 2010-03-17 2011-10-06 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9098744B2 (en) 2010-05-19 2015-08-04 Tokyo Institute Of Technology Position estimation device, position estimation method, and program
US9053562B1 (en) * 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
CN103119611B (zh) * 2010-06-25 2016-05-11 天宝导航有限公司 基于图像的定位的方法和设备
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
US9183580B2 (en) * 2010-11-04 2015-11-10 Digimarc Corporation Methods and systems for resource management on portable devices
KR101739784B1 (ko) * 2010-11-17 2017-05-25 삼성전자주식회사 무선기기에서 이미지 촬영을 통해 상대기기를 인식 및 연결하기 위한 장치 및 방법
JP5822463B2 (ja) * 2010-12-28 2015-11-24 キヤノン株式会社 三次元計測装置、三次元計測方法、およびプログラム
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8401225B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Moving object segmentation using depth images
US9247238B2 (en) 2011-01-31 2016-01-26 Microsoft Technology Licensing, Llc Reducing interference between multiple infra-red depth cameras
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
JP5799521B2 (ja) 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US20140093142A1 (en) * 2011-05-24 2014-04-03 Nec Corporation Information processing apparatus, information processing method, and information processing program
JP2013022705A (ja) 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
JP5892360B2 (ja) 2011-08-02 2016-03-23 ソニー株式会社 ロボット指示装置、ロボット指示方法、プログラム、及び通信システム
JP2013105346A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報提示装置、情報提示方法、情報提示システム、情報登録装置、情報登録方法、情報登録システムおよびプログラム
JP5939395B2 (ja) * 2012-09-18 2016-06-22 株式会社Ihi 移動体の相対姿勢計測方法と装置
CN104620212B (zh) 2012-09-21 2018-09-18 索尼公司 控制装置和记录介质
US20140098991A1 (en) * 2012-10-10 2014-04-10 PixArt Imaging Incorporation, R.O.C. Game doll recognition system, recognition method and game system using the same
JP5510529B2 (ja) * 2012-11-16 2014-06-04 ソニー株式会社 情報処理装置、記憶媒体、情報処理システム、および情報処理方法、並びにプログラム
JP6172432B2 (ja) * 2013-01-08 2017-08-02 日本電気株式会社 被写体識別装置、被写体識別方法および被写体識別プログラム
US9870726B2 (en) 2013-02-22 2018-01-16 Sony Corporation Image display apparatus, image display method, storage medium, and monitoring system
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
WO2014171200A1 (ja) 2013-04-16 2014-10-23 ソニー株式会社 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム
US9674507B2 (en) * 2013-04-30 2017-06-06 Qualcomm Incorporated Monocular visual SLAM with general and panorama camera movements
JP6049882B2 (ja) * 2013-07-18 2016-12-21 三菱電機株式会社 目標類識別装置
JP6171671B2 (ja) 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
CN104462143B (zh) * 2013-09-24 2018-01-30 高德软件有限公司 连锁品牌词词库、类别词词库建立方法和装置
US9811731B2 (en) * 2013-10-04 2017-11-07 Qualcomm Incorporated Dynamic extension of map data for object detection and tracking
JP2015090547A (ja) 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
JP6429466B2 (ja) * 2013-11-19 2018-11-28 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP6079614B2 (ja) 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
CA2928248A1 (en) 2014-01-20 2015-07-23 Sony Corporation Image display device and image display method, image output device and image output method, and image display system
CN109828671A (zh) 2014-01-23 2019-05-31 索尼公司 图像显示装置和图像显示方法
JP6193195B2 (ja) * 2014-09-17 2017-09-06 株式会社東芝 移動支援装置、方法及びプログラム
WO2016065375A1 (en) * 2014-10-27 2016-05-06 Fts Computertechnik Gmbh Computer vision monitoring for a computer vision system
JP6514889B2 (ja) * 2014-12-19 2019-05-15 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
EP3038011B1 (de) * 2014-12-22 2019-06-05 Aptiv Technologies Limited Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
US10049273B2 (en) * 2015-02-24 2018-08-14 Kabushiki Kaisha Toshiba Image recognition apparatus, image recognition system, and image recognition method
US9940521B2 (en) 2015-02-27 2018-04-10 Sony Corporation Visibility enhancement devices, systems, and methods
WO2016199605A1 (ja) * 2015-06-12 2016-12-15 ソニー株式会社 画像処理装置および方法、並びにプログラム
DE102015010264A1 (de) 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
JP6586834B2 (ja) 2015-09-14 2019-10-09 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
JPWO2017057054A1 (ja) 2015-09-30 2018-08-02 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2016117713A1 (ja) * 2016-02-29 2016-07-28 株式会社小松製作所 作業機械の制御システム、作業機械、及び作業機械の管理システム
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
JP2017191501A (ja) * 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20190206074A1 (en) * 2016-10-24 2019-07-04 Sony Corporation Information processing apparatus, information processing method, and program
US20180217603A1 (en) * 2017-01-31 2018-08-02 GM Global Technology Operations LLC Efficient situational awareness from perception streams in autonomous driving systems
KR20180137948A (ko) * 2017-06-20 2018-12-28 삼성전자주식회사 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
JP2019011971A (ja) * 2017-06-29 2019-01-24 株式会社東芝 推定システムおよび自動車
CN107767417A (zh) * 2017-09-11 2018-03-06 广州慧玥文化传播有限公司 基于特征点确定mr头显设备输出的虚拟景象的方法及系统
US20190289396A1 (en) * 2018-03-15 2019-09-19 Microsoft Technology Licensing, Llc Electronic device for spatial output
US10674305B2 (en) 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
KR102095120B1 (ko) * 2018-09-10 2020-03-30 한국과학기술원 지능형 실내 공간 서비스를 위한 공간의 기능 및 의미를 포함한 실내 공간 모델링 방법 및 장치
US10824923B1 (en) * 2019-01-23 2020-11-03 Facebook Technologies, Llc System and method for improving localization and object tracking
JP2020191003A (ja) * 2019-05-23 2020-11-26 株式会社岩根研究所 認識位置決め装置及び情報変換装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5819016A (en) * 1993-10-05 1998-10-06 Kabushiki Kaisha Toshiba Apparatus for modeling three dimensional information
US7809659B1 (en) * 2000-02-24 2010-10-05 Paiz Richard S Method for presenting optimal internet keyword based search result sets using an environmental bitmap and environmental bitmap pyramid structure
JP3945279B2 (ja) 2002-03-15 2007-07-18 ソニー株式会社 障害物認識装置、障害物認識方法、及び障害物認識プログラム並びに移動型ロボット装置
JP2004030445A (ja) * 2002-06-27 2004-01-29 National Institute Of Advanced Industrial & Technology 移動ロボットの自己位置推定方法及びシステム、並びにプログラム
US20060064202A1 (en) * 2002-08-26 2006-03-23 Sony Corporation Environment identification device, environment identification method, and robot device
JP2004110802A (ja) * 2002-08-26 2004-04-08 Sony Corp 環境同定装置、環境同定方法、プログラム及び記録媒体、並びにロボット装置
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
JP4556121B2 (ja) 2005-01-07 2010-10-06 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4556120B2 (ja) * 2005-01-07 2010-10-06 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8005841B1 (en) * 2006-04-28 2011-08-23 Qurio Holdings, Inc. Methods, systems, and products for classifying content segments
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10835263B2 (en) 2016-11-17 2020-11-17 Peter L. Bono Rotary oscillating surgical tool

Also Published As

Publication number Publication date
US20130108108A1 (en) 2013-05-02
US8818039B2 (en) 2014-08-26
EP2202672A1 (en) 2010-06-30
US8325985B2 (en) 2012-12-04
US9183444B2 (en) 2015-11-10
US8073200B2 (en) 2011-12-06
EP2000953A3 (en) 2009-01-07
DE602008005063D1 (de) 2011-04-07
EP2000953A2 (en) 2008-12-10
EP2202672B1 (en) 2012-05-09
US20080304707A1 (en) 2008-12-11
JP2008304268A (ja) 2008-12-18
EP2000953B1 (en) 2011-02-23
US20140334679A1 (en) 2014-11-13
US20120039511A1 (en) 2012-02-16

Similar Documents

Publication Publication Date Title
US10096129B2 (en) Three-dimensional mapping of an environment
EP3008694B1 (en) Interactive and automatic 3-d object scanning method for the purpose of database creation
US9196045B2 (en) Analysis of three-dimensional scenes
KR101643079B1 (ko) 데이터를 위치 맞춤하는 방법
US9317741B2 (en) Three-dimensional object modeling fitting and tracking
Henry et al. RGB-D mapping: Using depth cameras for dense 3D modeling of indoor environments
Taguchi et al. Point-plane SLAM for hand-held 3D sensors
US10033979B2 (en) Video surveillance systems, devices and methods with improved 3D human pose and shape modeling
Han et al. Enhanced computer vision with microsoft kinect sensor: A review
US20170045950A1 (en) Gesture Recognition Systems
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
Borrmann et al. A mobile robot based system for fully automated thermal 3D mapping
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
Lu et al. Visual navigation using heterogeneous landmarks and unsupervised geometric constraints
EP3078935A1 (en) Method and device for real-time mapping and localization
US10515259B2 (en) Method and system for determining 3D object poses and landmark points using surface patches
JP6011102B2 (ja) 物体姿勢推定方法
Simo-Serra et al. Single image 3D human pose estimation from noisy observations
EP2915138B1 (en) Systems and methods of merging multiple maps for computer vision based tracking
Krainin et al. Manipulator and object tracking for in-hand 3d object modeling
Suveg et al. Reconstruction of 3D building models from aerial images and maps
US10109055B2 (en) Multiple hypotheses segmentation-guided 3D object detection and pose estimation
Gordon et al. What and where: 3D object recognition with accurate pose
Nüchter et al. Towards semantic maps for mobile robots

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130916

R151 Written notification of patent or utility model registration

Ref document number: 5380789

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250