JP4264380B2 - 自己位置同定方法及び該装置 - Google Patents

Description

本発明は、屋内を自律走行する移動体の絶対座標系を基準とした現在位置を同定する方法及び該装置に関し、特に前記移動体に搭載された広角カメラにより取得した撮像画像に基づき、移動体位置を同定する自己位置同定方法及び該装置に関する。

従来より、自律的に行動する移動体に関する技術は種々提案されており、またこのような移動体は各種工業にて広く利用されている。さらに近年においては、一般家庭や各種施設等においても移動体の導入が要望されており、あらゆる動作環境に対応できる移動体が必要とされている。
移動体を円滑に自律走行させるには、移動体の自己位置を認識させ、さらには移動体周囲に存在する人物等の移動対象物の位置を正確に把握する必要がある。
そこで、移動体の主要な技術の一つとして、移動体の自己位置同定、及び移動対象物位置検出方法に関する技術が種々提案されている。

移動体の自己位置を検出する一般的な方法として、移動体が駆動車輪で駆動される場合、車輪に取り付けられたエンコーダの回転量から走行距離を、また２輪の相対的な回転量の差から移動体の方位を検出し、この走行距離と方位に基づき自己位置を推定するデッドレコニング法が広く採用されている。
しかし、上記した方法では、車輪のスリップが生じたり、移動体が段差に乗り上げたりした場合に誤差が発生し、自己位置同定の正確性に問題が残る。
そこで、移動体に搭載した撮像手段からの取得画像に基づき移動体の自己位置を検出する方法が、特許文献１（特開２００４−１２４２９号公報）等に開示されている。これは、前記移動体に搭載されたカメラにより撮像された撮像画像と、予め撮像された複数の事前撮像画像とに基づいて、これらの画像のエッジ特徴量を比較して自己位置を同定する方法である。

また、特許文献２（特開２００２−２１３９２０号公報）には、絶対空間において、床面から略同一の高さに設けた発光色の異なる３つのＬＥＤを、移動体に搭載したＣＣＤカメラによって撮像し、この撮像画像をもとに絶対空間の所定位置を原点とした絶対座標系における移動体の絶対座標を求める方法を開示している。
しかし前記特許文献２の方法では、前記ランドマークの個々の識別が必要であり、また、前記ランドマークの全てが前記ＣＣＤカメラの視野範囲に入っている必要がある。従って、前記ランドマークが明瞭に撮像できない場合や、前記ＣＣＤカメラにより全ランドマークを撮像できない場合には対応できない。
また、特許文献１及び２に記載されるように、ランドマークや撮像画像の特徴量を利用した位置同定方法において最も問題とされるのが、前記ランドマークや前記特徴量を安定して抽出することが困難である点であり、特に乱雑な環境下において照明変化等の環境外乱に対して安定してこれらを抽出することは困難であった。

一方、前記移動体の周囲に存在する人物等の移動対象を検出する方法は、赤外線や超音波を利用した検知センサによる検知方法、広視野範囲を有する全方位カメラ、或いは前方カメラによる検知方法、全方位カメラと固定の複数カメラによる検知方法、複数の前方カメラによるステレオ視による検知方法等が用いられていた。
特許文献３（特開平１１−２５０３６４号公報）には、移動体周囲を広範囲に撮像する広角カメラと、該移動体周囲を複数の方向から夫々撮像する複数のカメラとを有し、前記広角カメラの動画像信号から人物の動きを検出し、前記複数のカメラのうち、人物の正面方向に近いカメラを選択して該カメラの画像出力を取得する方法が提案されている。

しかしながら、赤外線や超音波を利用した検知センサは、物体までの距離を比較的精度良く検出することができるが、計測した対象物が何なのかを正確に識別することは困難である。また、全方位カメラは広い視野範囲をカバーすることはできるが、画像の歪みが大きいため移動対象物の細かい動作を捉えるには適さない。逆に、前方カメラは、狭い視野範囲に映っている対象物にしか対応できず、さらに１台のカメラのみでは対象物までの距離を計算することが困難である。また、前記特許文献３のように全方位カメラと固定の複数のカメラを利用する方法では、これらのカメラにより広い範囲を見る必要があるので、カメラ台数が増え、装置が大型化し、装置コストが増大する。さらにまた、前記ステレオ視は、複数のカメラにより撮影された画像において同一物体の対応点を見つける必要があり、計算負荷が高くなる。また対応点を精度良く探索すること自体が難しい。
このように、画像認識上の課題により、移動対象物、特に人物を正確に認識することが出来なかった。

特開２００４−１２４２９号公報 特開２００２−２１３９２０号公報 特開平１１−２５０３６４号公報

従って、本発明は上記従来技術の問題点に鑑み、照明変化のような環境外乱に対してもロバストで、かつ視野範囲が限られている場合においても精度良く自己位置を検出可能であり、さらには安定してランドマークを抽出可能な自己位置同定方法及び該装置を提供することを目的とする。

そこで、本発明はかかる課題を解決するために、
複数のランドマークが屋内上方に配置された環境下で自律走行する移動体の自己位置同定方法において、
予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録するステップと、
自律走行する移動体の概略の自己位置を予測し、探索範囲を設定するステップと、
前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出するステップと、
前記ステップで設定した探索範囲内において、絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出するステップと、
前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定するステップと、を有することを特徴とする。

本発明において、前記自己位置推定ステップでは、前記２次元座標の近似解を導出する際に、前記２次元座標値に最も近い前記ランドマーク候補点座標との距離を計算し、事前登録された全てのランドマークについての距離を評価し、最も評価値が小さくなる位置を近似解とすることが好ましい。
本発明によれば、前記仮想点を複数設定して、該仮想点における前記ランドマークの２次元座標と、前記広角カメラの撮像画像より抽出したランドマークの候補点座標とから自己位置を推定するようにしているため、個々のランドマークの識別を必要とせず、さらに、視野範囲が不明瞭で、前記広角カメラの撮像画像から前記ランドマークのうち一部しか抽出出来ない場合においても、安定的にかつ精度良く移動体の自己位置を推定することが可能となる。このように本発明では、照明変化等の環境外乱に対してロバストな自己位置同定を達成することができる。
また、本発明によれば、天井等の上方の画像を利用するため、遮蔽物等の外乱に強い自己位置同定が行なえる。さらに、魚眼レンズや全方位カメラ等の広角カメラを利用しているため、視野が広範囲となり、多数のランドマークを必要とせず自己位置同定を行なうことができる。

また、前記移動体が発光手段を備えており、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、光反射シートで形成された前記ランドマークに対して前記発光手段を点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする。
これにより、前記ランドマークを確実に抽出でき、かつ該抽出する画像処理が容易となる。尚、前記発光手段は赤外光を照射する手段としても良く、このとき前記光反射シートは赤外光のみを選択的に反射する材料を用いる。赤外光は人間の目には見えないため、一般家庭の部屋等に設置しても邪魔にならない利点がある。

さらに、前記ランドマークを発光手段で形成し、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記ランドマークを点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする。
これにより、前記ランドマークの画像処理が容易となり、安定的にランドマークを抽出することができる。

さらにまた、前記ランドマークとして事前登録した画像中の特徴部位を設定し、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記事前登録画像とのマッチングにより前記ランドマーク候補点を抽出することを特徴とする。
これは、例えば走行環境の壁面や天井に存在する、画像として特徴のある箇所を選択し、ランドマークとして設定することにより、特別なランドマークを設置する必要がなく、かつランドマークのミスマッチによる同定失敗を避けることができる。

また、前記ランドマークを、前記移動体の充電ステーションと一体化することが好適である。これにより、充電ステーションへの侵入において、精度良い自己位置同定が可能となり、さらに、前記充電ステーションが移動しても、ランドマークが一体化しているため、充電ステーションとの相対位置関係の自己位置同定が簡単に行なえる。
さらに、前記移動体の車輪に付設したエンコーダからオドメトリデータを検出し、該オドメトリデータに基づき前記移動体の概略位置を検出することを特徴とする。このように、上記した発明を他の自己位置同定方法の補正機能として利用することにより、演算処理の負荷が軽減し、短時間でかつ正確な自己位置同定が行なえる。

また、本発明を好適に実施する装置の発明として、
複数のランドマークが屋内上方に配置された環境下で自律走行する移動体の自己位置同定装置において、
予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録する手段と、
自律走行する移動体の概略の自己位置を予測し、探索範囲を設定する手段と、
前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出する手段と、
前記設定した探索範囲内において、絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出する手段と、
前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定する手段と、を備えたことを特徴とする。

また、前記移動体が発光手段を備えるとともに、前記ランドマークを光反射シートで形成し、
前記候補点座標を算出する手段が、前記広角カメラにて前記ランドマーク候補点を抽出する際に、光反射シートで形成された前記ランドマークに対して前記発光手段を点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする。
さらに、前記ランドマークを発光手段で形成し、前記候補点座標を算出する手段が、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記ランドマークを点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする。

さらにまた、前記ランドマークとして事前登録した画像中の特徴部位を設定し、前記候補点座標を算出する手段にて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記事前登録画像とのマッチングにより前記ランドマーク候補点を抽出することを特徴とする。
また、前記ランドマークを、前記移動体の充電ステーションと一体化して構成することが好ましい。

以上記載のごとく本発明によれば、前記仮想点を複数設定して、該仮想点における前記ランドマークの２次元座標と、前記広角カメラの撮像画像より抽出したランドマークの候補点座標とから自己位置を推定するようにしているため、個々のランドマークの識別を必要とせず、さらに、視野範囲が不明瞭で、前記広角カメラの撮像画像から前記ランドマークのうち一部しか抽出出来ない場合においても、安定的にかつ精度良く移動体の自己位置を推定することが可能となる。
本発明では、照明変化等の環境外乱に対してロバストな自己位置同定を達成することができる。
また、本発明によれば、天井等の上方の画像を利用するため、遮蔽物等の外乱に強い自己位置同定が行なえる。さらに、魚眼レンズや全方位カメラ等の広角カメラを利用しているため、視野が広範囲となり、多数のランドマークを必要とせず自己位置同定を行なうことができる。

また、本発明では、前記移動体に発光手段と設けるとともに前期ランドマークを光反射シートで形成することにより、前記ランドマークを確実に抽出でき、かつ該抽出する画像処理が容易となる。
さらに、前記ランドマークを発光手段で形成することもでき、これにより、前記ランドマークの画像処理が容易となり、安定的に該ランドマークを抽出することができる。
さらにまた、前記ランドマークとして事前登録した画像中の特徴部位を設定することにより、特別なランドマークを設置する必要がなく、かつランドマークのミスマッチによる同定失敗を避けることができる。
また、前記ランドマークを、前記移動体の充電ステーションと一体化して設けることにより、充電ステーションへの侵入において、精度良い自己位置同定が可能となり、さらに、前記充電ステーションが移動しても、ランドマークが一体化しているため、充電ステーションとの相対位置関係の自己位置同定が簡単に行なえる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
本実施例に示す移動体の走行空間としては、一般家庭、各種施設、工場内等が挙げられるが、特に前記移動体は一般家庭内にてユーザの生活を補助、支援、介護するロボットであることが好適である。

図１は本実施例１に係る自己位置同定アルゴリズムを示すフロー、図２は本実施例１に係る移動体の概略構成図である。
図２に示すように、本実施例１に係る移動体１０は、頭部１１と胴部１２と台車部１３を有し、好適には腕部（不図示）等の人間の部位を備え、人間を模した形状とする。前記台車部１３に装備された車輪１４は、駆動制御装置１５の指令に基づき制御される車輪モータ１６により操舵、走行可能であり、該車輪１４の回転量を検出する回転計測装置１７により移動体１０の移動距離、姿勢方位変化量からなるオドメトリデータを検出可能としている。

前記頭部１１には、前記移動体１０の上方空間を広視野範囲で撮像する全方位カメラ１８と、該移動体１０の前方空間を狭視野範囲で撮像する前方カメラ１９と、これらのカメラからの撮像画像を基に各種画像処理を行なう画像処理装置２０と、天井方向に光を放射するＬＥＤ照明２１と、該ＬＥＤ照明２１を点滅等を制御する照明制御装置２２が設けられている。
前記全方位カメラ１８は公知のカメラであって、例えば双曲面ミラーとカメラから構成され、周囲360°から双曲面に届く光をミラーで反射して丸画像を生成し、該丸画像を画像処理することにより、移動体の周囲360°に亘る全方位の動画像が取得できる。尚、前記全方位カメラ１８は、このような構成のカメラに限定されるものではなく、例えば魚眼レンズのような広角カメラであれば何れでも良い。

前記前方カメラ１９は、狭視野範囲内にて歪みの少ない画像を撮像可能で、移動体１０の周囲に存在する移動対象物、特に人物を認識可能であることが好ましい。尚、本実施例の自己位置同定に際しては、前記前方カメラ１９を具備しない構成とすることもできる。
前記画像処理装置２０は、前記全方位カメラ１８等で取得した撮像画像に対して、二値化処理、差分処理等の画像の基本的な処理を行なうプログラムが格納されている。
前記ＬＥＤ照明２１は、可視光領域若しくは赤外領域の波長の光を発するＬＥＤが好適であり、前記照明制御装置２２により発光間隔等が制御される。尚、前記ＬＥＤ照明２１及び照明制御装置２２は具備しない構成とすることもできる。

また、前記胴部１２には、前記頭部１１と該胴部１２を回動自在に連結する頭部傾倒モータ２３と、該頭部傾倒モータ２３の動作を制御するとともに、該頭部傾動モータ２３の動作を検出することにより頭部１１の姿勢角、姿勢方位を検出する頭部傾倒制御装置２４と、該頭部傾倒制御装置２４、前記駆動制御装置１５、前記回転計測装置１７、及び前記画像処理装置２０に接続された制御装置２５が設けられている。
前記制御部２５は、自己位置同定部と、移動対象物検出部と、データベース等を具備している。

図３に前記移動体１０の走行環境を示す。該走行環境は天井を有する部屋３０であり、ｘｙｚ直交座標系（絶対座標系）が定められている。ｘｙ面は、部屋３０の床と同一平面を有し、ｚ軸は該床面に垂直な高さ方向と規定される。前記部屋３０内における移動体１０の位置は、座標（ｘ，ｙ）によって表現される。
前記屋内３０には、天井面若しくは壁面上方に添付された、またはポール等で空間上方に設置された、複数のランドマーク３１が設けられている。該ランドマーク３１は、少なくとも３個以上設けるものとする。前記移動体１０は該屋内３０の床部を自律走行し、前記全方位カメラ１５により前記ランドマーク３１を撮像可能としている。本実施例における移動体位置同定処理では、前記全方位カメラ１５は床面に垂直上方に向けて撮像するようにし、前記頭部傾倒制御装置２４により前記頭部傾倒モータ２３を制御し、前記全方位カメラ１５の向きを調整する。

次に、図１及び図４を参照して本実施例１に係る自己位置同定アルゴリズムにつき説明する。まず、予め、前記ランドマーク３１の各位置を計測し、絶対座標系を基準とした３次元の登録位置座標を前記画像処理装置２０の記憶部（不図示）に事前登録しておく（Ｓ１）。
そして、前記移動体１０の概略の自己位置を予測し、探索範囲を設定する。この自己位置の予測には、例えば車輪１４の回転量と操舵角からなるオドメトリデータを前記回転計測装置１７により検出し、これを積分して自己位置と方位を検出する方法等を用いると良い。
このようにして自己位置を予測したら、前記移動体１０に搭載された前記全方位カメラ１８により天井画像（天井近傍の壁、空間を含む）を撮像する（Ｓ２）。該天井画像の一例を、図４（Ａ）に示す。

前記撮像した天井画像に対して、前記画像処理装置２０にて二値化処理等により前記ランドマーク候補点を抽出し（図４（Ｂ）参照）、該抽出したランドマーク候補点の２次元の候補点座標を算出する（Ｓ３）。このとき、例えば２次元座標系を天井画像の座標系（左上原点）とした場合、複数のランドマーク３１に対して、図４（Ｃ）に示されるようなラベル座標が得られる。
さらに、前記予測した探索範囲内において、絶対座標系上の移動体走行領域内に複数の仮想点をランダムに設定し、該仮想点に移動体１０の自己位置が存在すると仮定し、夫々の仮想点にて得られる画像上の前記ランドマーク３１の２次元座標を、前記３次元の登録位置座標から計算する（Ｓ４）。これにより、図４（Ｄ）に示されるような各ランドマーク３１の２次元座標が得られる。

図５に、前記仮想点におけるランドマーク位置Ｌ_１、Ｌ_２、Ｌ_３、Ｌ_４、Ｌ_５と、前記天井画像から抽出したランドマーク候補点位置Ｍ_１、Ｍ_２、Ｍ_３を示す。
前記ランドマーク位置Ｌ_１、Ｌ_２、Ｌ_３、Ｌ_４、Ｌ_５の２次元座標値と、これに最も近いランドマーク候補点Ｍ_１、Ｍ_２、Ｍ_３の候補点座標値との距離を計算して距離評価値を計算し（Ｓ６）、全ての仮定した自己位置に対して、前記距離評価値を計算し、最も距離が小さくなる位置を移動体１０の同定位置と推定する（Ｓ７）。そして、前記制御装置２５に結果を出力する（Ｓ８）。
このように、本実施例では自己位置を仮定した仮想点を複数設定し、各仮想点におけるランドマークの２次元座標と、前記全方位カメラの撮像画像より抽出したランドマーク候補点座標とを比較し、近似解を求めるようにしているため、前記ランドマークの個々の識別を必要とせず、また前記全方位カメラ１８により全てのランドマークが撮像できない場合においても、安定して自己位置を同定することができる。
勿論、本実施例においても前記ランドマーク３１を個々に異なる形状とし、画像処理上で個々のランドマーク３１を識別可能としても良く、これにより、より一層精度良く自己位置を同定することができる。

また、前記ランドマーク３１の別の実施例として、以下の構成の何れか、若しくはこれらを組み合わせた構成を採用することができる。
まず第１の構成として、前記ランドマーク３１を光反射シートとするとともに、前記移動体１０に搭載された全方位カメラ１８の近傍に前記ＬＥＤ照明２１を設ける構成が挙げられる。これは、前記照射制御装置２２により該ＬＥＤ照明２１を点滅させて、前記全方位カメラ１８により、前記ＬＥＤ照明２１を照射した時と照射しない時の画像を撮像し、差分画像の変化率により前記ランドマーク３１を抽出する。これにより、ランドマークを正確に抽出でき、かつ該抽出する画像処理が容易となる。尚、前記ＬＥＤ照明２１は、赤外光を照射する照明としても良く、このとき前記光反射シートは赤外光のみを選択的に反射する材料を用いる。赤外光は人間の目には見えないため、一般家庭の部屋等に設置しても邪魔にならない利点がある。
さらに、この第１の構成において、前記反射シートを個々に異なる形状とすることが好適である。画像処理において、個々の反射シートを識別し、個々のランドマーク３１の計算された座標と、画像上で得られた座標との距離を評価する。これにより、ランドマーク３１のミスマッチによる同定失敗を避けることができる。

また、第２の構成として、前記ランドマーク３１を点滅するＬＥＤで形成する構成が挙げられる。そして、ＬＥＤが点灯している時と消灯している時の画像を撮像し、差分画像の変化率により前記ランドマーク３１を抽出する。これにより、ランドマーク抽出の画像処理が容易となる。
さらにまた、この第２の構成において、前記ＬＥＤの色や点滅パターンを個々に異なるものにすることが好適である。このように、異なるＬＥＤ種類とすることにより、画像処理で個々を識別し、画像上で得られた座標との距離を評価する。これにより、ランドマーク３１のミスマッチによる同定失敗を避けることができる。

さらに、第３の構成として、前記ランドマーク３１を事前登録画像ブロックとしても良い。これは壁面や天井に存在する、画像として特徴のある場所を選択しておき、前記事前登録画像とのマッチングによりランドマークとして抽出する。これにより、特別なランドマークを設置する必要がなく、かつランドマークのミスマッチによる同定の失敗を回避することができる。
また、第４の構成として、前記ランドマーク３１を、移動体の充電ステーションと一体化して設置する構成が挙げられる。これにより、充電ステーションへの侵入において、精度良い自己位置同定が可能となり、さらに、前記充電ステーションが移動しても、ランドマークが一体化しているため、充電ステーションとの相対位置関係の自己位置同定が簡単に行なえる。

次に、図２に示した移動体の構成により、前記移動体１０の周囲に存在する移動対象物を検出する処理につき、図６及び図７を参照して説明する。
図６は本実施例に係る人検知アルゴリズムを示すフロー、図７は本実施例に係る全方位カメラの撮像画像からの移動対象物抽出処理を示すフローである。本実施例では、検出する移動対象を人としているが、これに限定されるものではない。
図６を参照して、まず初期化３次元空間上に、仮想的な計測点（particle）をランダムな配置で多数設定する（Ｓ２０）。前記全方位カメラ１８及び前方カメラ１９にて撮像した画像を夫々前記画像処理装置２０に読み込み（Ｓ２１）、前記設定した各particle位置を、全方位カメラ画像及び前方カメラ画像の点に座標変換する（Ｓ２２）。このとき、前記各カメラの位置、向きを移動体１０の位置姿勢、及び前記頭部傾倒モータ２３の角度に基づき前記頭部傾倒制御装置２４により計算しておく。

次に、前記全方位カメラ画像により移動対象の検知処理を行う（Ｓ２３）。これは、該全方位カメラ画像のフレーム間差分処理を行なって移動領域を抽出し、該移動領域を２値化して移動対象物を検知する。
ここで、前記移動対象物の検知処理の詳細なアルゴリズムを図７に示す。
まず、前記全方位カメラ画像よりブロック単位で画像特徴量を抽出する（Ｓ４０）。さらに、時系列的に連続する２画像を取り出し、該２画像間で変化有りのブロックを抽出する（Ｓ４１）。そして、変化有りのブロック数が予め設定した閾値より小さい場合には、ブロック座標リストを出力する（Ｓ４３）。
前記移動対象検知処理を行なった後、前記設定した各particleの全方位カメラ画像内に投影された座標位置に対して、その点が移動領域であるかどうかを、前記抽出したブロック座標リストを用いて評価し、スコア化する（Ｓ２４）。

一方、前記全方位カメラ画像による移動体検知処理と同時に、前記前方カメラ画像による移動体検知を行なう。まず、前記設定された各particleの前方カメラ画像内に投影された各座標位置に対して、顔候補領域サイズを設定しておく（Ｓ２５）。
さらに、前記設定した夫々の顔候補領域に対して、フレーム間差分処理を行なって移動領域を抽出し、該移動領域を２値化して移動対象物の有無を検知する（Ｓ２６）。そして、前記投影された各particleに対して、その点が移動領域であるかどうかを評価し、スコア化する（Ｓ２７）。
同様に前記設定した顔候補領域に対して、肌色抽出処理を行ない（Ｓ２８）、投影された各particleに対して肌色抽出処理の評価値に基づき肌色らしさを評価し、スコア化する（Ｓ２９）。
また同様に前記設定した顔候補領域に対して、形状識別による顔検知処理を行ない（Ｓ３０）、投影された各particleに対して顔類似度に基づき顔らしさを評価し、スコア化する（Ｓ３１）。

次に、前記全方位カメラ画像による移動体検知から導出された出力スコアと、前記前方カメラ画像による移動対象物検知、肌色らしさ、顔らしさの出力スコアに基づき、各particleに対して、全方位カメラによる人物らしさ評価値：val(f)、及び前方カメラによる人物らしさ評価値：val(e)が求められるため、両者の積（val(f)＊val(e)）によりそのparticleの評価値pとする（評価値が高い程、人物らしい）。
さらに、上記のようにして求めた全particleの評価値を正規化して重みとし、各particleの３次元座標値を重み付け平均化することにより、３次元位置を算出する（Ｓ３２）。これは、前記particleの３次元座標を[Xi，Yi，Zi]とし、その評価値をpi、正規化された評価値（重み）をwiとすると、時刻ｔにおける３次元位置[Xt，Yt，Zt]は、下記式となる。
particleのスコア：pi
particleの重み：wi = pi／Σpi
Xt = Σwi＊Xi， Yt = Σwi＊Yi， Zt = Σwi＊Zi

時刻t+1の位置は、[Xi，Yi，Zi]を中心として、その近傍にランダムに新たにparticleを設定して（Ｓ３３）、前記全方位カメラ画像及び前方カメラ画像の読み込み（Ｓ２１）〜時刻ｔ+1における３次元位置の算出（Ｓ３２）までの処理を行なう。
本実施例によれば、人の動きの時系列データの過去の履歴情報を基に、次の時刻における人の動き方向を状態推定しながら、人のシンボリックな動きを認識することにより、人の検知精度が向上する。尚、前記状態推定には、Kalman FilterやParticle Filter等の状態推定手法が利用可能である。
また、本実施例によれば、全方位カメラ１８、前方カメラ１９による撮像画像を用いて、移動対象（人）の位置情報を統合して検出することにより、精度良い移動対象（人）の検知ができる。
さらに、本実施例にて移動対象を人とした場合、人を検知する手段として、肌色らしさ情報、または顔形状類似度情報を適宜組み合わせて用いることにより、人検知の制度の向上が図れ、また移動量が少ない人であっても検知可能となる。
このように、全方位カメラ１８と前方カメラ１９を併用することにより、前方カメラ１９の視野に入っていなくても、全方位カメラ画像にて人を検知、追跡し、その方向に移動するなどして前方カメラ１８を向けることにより、顔を含む人等の移動対象物を検知することができ、より親和性の高いコミュニケーションをとることができる。

本実施例に係る自己位置同定アルゴリズムを示すフローである。 本実施例に係る移動体の概略構成図を示す。 本実施例の移動体の走行環境である部屋を示す模式図である。 全方位カメラの撮像画像からランドマークの２次元座標を抽出する処理を説明する図である。 ランドマーク位置とランドマーク候補点の位置を夫々示す図である。 本実施例に係る人検知アルゴリズムを示すフローである。 本実施例に係る全方位カメラの撮像画像からの移動対象物抽出処理を示すフローである。

符号の説明

１０ 移動体
１１ 頭部
１４ 車輪
１５ 駆動制御装置
１６ 車輪モータ
１７ 回転計測装置
１８ 全方位カメラ
１９ 前方カメラ
２０ 画像処理装置
２１ ＬＥＤ照明
２２ 照明制御装置
２３ 頭部傾倒モータ
２４ 頭部傾倒制御装置
２５ 制御装置
３１ ランドマーク

Claims (11)

1. 複数のランドマークが屋内上方に配置された環境下で自律走行する移動体の自己位置同定方法において、
   予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録するステップと、
   自律走行する移動体の概略の自己位置を予測し、探索範囲を設定するステップと、
   前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出するステップと、
   前記ステップで設定した探索範囲内において、絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出するステップと、
   前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定するステップと、を有することを特徴とする自己位置同定方法。
2. 前記移動体が発光手段を備えており、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、光反射シートで形成された前記ランドマークに対して前記発光手段を点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする請求項１記載の自己位置同定方法。
3. 前記ランドマークを発光手段で形成し、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記ランドマークを点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする請求項１記載の自己位置同定方法。
4. 前記ランドマークとして事前登録した画像中の特徴部位を設定し、前記候補点座標を算出するステップにて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記事前登録画像とのマッチングにより前記ランドマーク候補点を抽出することを特徴とする請求項１記載の自己位置同定方法。
5. 前記ランドマークを、前記移動体の充電ステーションと一体化したことを特徴とする請求項１記載の自己位置同定方法。
6. 前記移動体の車輪に付設したエンコーダからオドメトリデータを検出し、該オドメトリデータに基づき前記移動体の概略位置を検出することを特徴とする請求項１記載の自己位置同定方法。
7. 複数のランドマークが屋内上方に配置された環境下で自律走行する移動体の自己位置同定装置において、
   予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録する手段と、
   自律走行する移動体の概略の自己位置を予測し、探索範囲を設定する手段と、
   前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出する手段と、
   前記設定した探索範囲内において、絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出する手段と、
   前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定する手段と、を備えたことを特徴とする自己位置同定装置。
8. 前記移動体が発光手段を備えるとともに、前記ランドマークを光反射シートで形成し、
   前記候補点座標を算出する手段が、前記広角カメラにて前記ランドマーク候補点を抽出する際に、光反射シートで形成された前記ランドマークに対して前記発光手段を点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする請求項７記載の自己位置同定装置。
9. 前記ランドマークを発光手段で形成し、前記候補点座標を算出する手段が、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記ランドマークを点滅させ、前記広角カメラによる撮像画像の画像差分を利用して前記ランドマーク候補点を抽出することを特徴とする請求項７記載の自己位置同定装置。
10. 前記ランドマークとして事前登録した画像中の特徴部位を設定し、前記候補点座標を算出する手段にて、前記広角カメラにて前記ランドマーク候補点を抽出する際に、前記事前登録画像とのマッチングにより前記ランドマーク候補点を抽出することを特徴とする請求項７記載の自己位置同定装置。
11. 前記ランドマークを、前記移動体の充電ステーションと一体化して構成することを特徴とする請求項７記載の自己位置同定装置。