JP4042517B2 - 移動体およびその位置検出装置 - Google Patents

移動体およびその位置検出装置 Download PDF

Info

Publication number
JP4042517B2
JP4042517B2 JP2002295576A JP2002295576A JP4042517B2 JP 4042517 B2 JP4042517 B2 JP 4042517B2 JP 2002295576 A JP2002295576 A JP 2002295576A JP 2002295576 A JP2002295576 A JP 2002295576A JP 4042517 B2 JP4042517 B2 JP 4042517B2
Authority
JP
Japan
Prior art keywords
image
ceiling
moving body
mask
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002295576A
Other languages
English (en)
Other versions
JP2004133567A (ja
Inventor
索 柄川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002295576A priority Critical patent/JP4042517B2/ja
Publication of JP2004133567A publication Critical patent/JP2004133567A/ja
Application granted granted Critical
Publication of JP4042517B2 publication Critical patent/JP4042517B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、移動体およびその位置検出装置に係り、特に屋内で使用される移動体及びその位置検出装置に関する。
【0002】
【従来の技術】
無人走行車の位置を検出するのにカメラを使用する例が、特許文献1に記載されている。この公報に記載の無人走行車では、天井面に絶対位置表示装置を設け、撮像装置でこの絶対位置表示装置を撮影している。そして、画像データから自車の現走行位置を演算し、画像データを解析して絶対位置表示装置が示す絶対位置を導き出し、これら2つの位置を減算して、無人走行車の絶対位置を取得している。
【0003】
また、特許文献2では、移動体の走行経路の上方を蛍光灯を含むようにTVカメラで撮影し、画像中の蛍光灯の位置を画像処理装置で求めている。そして、画像中での蛍光灯の位置と予め知られている蛍光灯の絶対位置に基いて、移動体の位置を計算している。
【0004】
さらに非特許文献1には、天井画像列を記録させ、自律走行時に現在の画像と記録された画像との単純な比較を行うことで自己位置同定を行う技術が掲載されている。
【特許文献1】
特開平6−67726号公報(特に第2頁、図1)
【特許文献2】
特開平6−4127号公報(特に第2頁、図1)
【非特許文献1】
紙弘和,松本吉央,今井正和,小笠原司 「天井画像列を用いた屋内ナビゲーション」 第18回日本ロボット学会学術講演会予稿集,第331頁〜332頁,2000年9月12日発行
【非特許文献2】
安居院猛、奈倉理一著 「3次元画像解析」 昭晃堂発行 2001年 第4.2.2節
【0005】
【発明が解決しようとする課題】
上記特許文献1に記載の無人走行車の絶対位置取得においては、絶対位置を表示するための特殊なマークを天井に設置する必要があり、設置工事の費用と時間がかかる。また、室内で無人走行車を走行させるので、家庭やオフィスビルに適用すると室内の美観を損ねるおそれがある。
【0006】
また上記特許文献2に記載の屋内移動体の場合には、特殊なマークが不要であるという利点を有する。しかし、照明装置をマークとして用いるので照明装置のない部屋や昼間は照明装置を消灯する部屋には目標物が無くなり、使用できない。したがって、家庭などに適用する場合に不都合を生じる。
【0007】
さらに、上記非特許文献1に記載の屋内ナビゲーションシステムでは、マークや照明装置など、特定の撮影対象物に依存せずに、ナビゲーションできる利点がある。しかしながら、記憶された画像と取得した画像を直接にマッチングしているため、記憶された画像の後で変化が生じたり、画像取得する際にカメラの視野に人や机などの障害物が割り込んだときや天井の照明が点灯から消灯にまたはその逆状態に変化すると、位置の誤認識を発生するおそれがある。
【0008】
移動ロボットを、住宅やマンション、オフィスビルなど、工場以外の環境で使用する場合には、マーカー等を事前に工事することは工事日程を長くしたり余分な工程を必要とし現実的には不可能であった。したがって、絶対位置を把握可能な上記各文献に記載の手法を、これらの環境に適用することが困難であった。
【0009】
本発明は上記従来技術の不具合に鑑みなされたものであり、特別なマーカー等を用いずに、移動体の絶対位置を把握できるようにすることを目的とする。本発明の他の目的は、記憶手段に記憶した屋内のレイアウトが変化しても、移動体の絶対位置を容易に把握できるようにすることにある。
【0010】
【課題を解決するための手段】
上記目的を達成するための本発明の特徴は、上部に天井面を撮像可能な撮影装置と、この撮影装置で撮影した画像を用いて位置を検出する位置検出手段と、を有する自律移動可能な移動体において、前記位置検出手段は、位置が分かっている教示位置で、前記撮影装置が撮影した天井画像情報に基づいて移動体から天井までの高さ方向に予め求めた天井距離に近い距離の画素部分を抽出した距離マスクと、前記撮影装置が撮影した画像における輝度が高い画素部分を除いた画素部分からなる輝度マスクとを作成し、前記距離マスクと輝度マスクとで選択された画素部分からなる天井画像マスクを作成し、移動体が移動したときには、前記教示位置における天井画像マスクと、移動体が教示位置から移動したときに前記撮影装置が撮影した天井画像から作成した天井画像マスクとのずれから移動量を求めて移動体の位置を検出するものである。
【0011】
そしてこの特徴において、位置検出手段は、撮影装置が教示位置で撮影した天井画像情報を記憶可能な記憶手段を有する;撮影装置は、離間して配置された少なくとも2台の電子カメラである;撮影装置を用いて撮像するときの補助光源となる投光手段を有する;位置検出手段は、位置が分かっている複数の教示位置における前記天井画像マスクと前記天井画像情報とから、当該天井画像情報の特徴を表す値からなる画像特徴量ベクトルを抽出して記憶し、移動体が移動したときに前記撮影装置が撮影した天井画像情報から求めた画像特徴量ベクトルと前記記憶された画像特徴量ベクトルとを比較して類似する画像特徴量ベクトルを選択し、選択した画像特徴量ベクトルが抽出された天井画像情報より作成された天井画像マスクと、前記移動体が教示位置から移動したときに前記撮影装置が撮影した天井画像より作成された天井画像マスクとのずれから移動量を求めて移動体の位置を検出することが望ましい。
【0012】
上記目的を達成するための本発明の他の特徴は、移動体の上方の画像を撮影する撮影装置を用いて撮影した画像を入力する画像入力部と、この画像入力部に入力された画像に基づいて移動体から天井までの高さ方向に予め求めた天井距離に近い距離の画素部分を抽出した距離マスクと、前記撮影装置が撮影した画像における輝度が高い画素部分を除いた画素部分からなる輝度マスクとを作成し、前記距離マスクと輝度マスクとで選択された部分からなる天井画像マスクを作成する画像抽出部と、複数の異なる教示位置における前記天井画像マスクと前記天井画像情報とを比較して抽出した当該天井画像情報の特徴を表す値からなる画像特徴量ベクトルを記憶する画像記憶部と、移動体が移動したときに前記撮影装置が撮影した天井画像情報から抽出した画像特徴量ベクトルと前記記憶された画像特徴量ベクトルとを比較して類似する画像特徴量ベクトルを選択し、選択した画像特徴量ベクトルが抽出された天井画像情報より作成された天井画像マスクと、前記移動体が移動したときに前記撮影装置が撮影した天井画像情報より作成された天井画像マスクとのずれから移動体の位置を検出する画像処理部とを備えるものである。
【0013】
そして好ましくは、画像抽出部は、移動体と天井までの高さ方向の距離を検出する距離検出手段と、この距離検出手段が検出した高さ方向の距離と予め求めた移動体から天井までの高さ方向の距離とを比較して天井の近傍の画像領域を抽出する距離比較手段とを備えるものである。また好ましくは、画像抽出部は、画像入力部に入力された画像の輝度情報と、予め定めた輝度基準レベルとを比較して画像入力部に入力された画像から照明装置が撮影されていない領域を抽出する輝度比較手段を備えるものである。
【0014】
【発明の実施の形態】
無人で動作する移動ロボット等の移動体は、位置検出手段が検出した位置情報に基づいて制御される。この位置検出手段として移動体に搭載したカメラを用い、このカメラが撮像した画像を処理して位置を検出する方式が用いられている。カメラが撮像した画像を用いて位置検出するときは、上方の天井の画像の方が水平方向の画像に含まれる扉や窓や家具などの情報を用いるよりも安定して位置を検出できる。つまり、記憶手段にカメラの撮像画像を記憶させるときと、実際に移動体を動作させたときにカメラで撮像するときとで、画像内に含まれる物の配置の変化が少ないためである。さらに、水平方向の撮像では人や物により視野が遮られるおそれがあるが、上方の撮像ではこれらの外乱が少ない。そこで、本発明においては、移動体天井等の上方の情報を得て、位置を検出している。以下その具体例を、図面を用いて説明する。
【0015】
図1は、本発明に係る移動体の一実施例が置かれた部屋の様子を示す正面図である。図2は、図1に示した移動体に搭載された移動体位置検出装置のブロック図である。移動体21は、例えばホームロボットであり、巡回移動しながら室内の安全を確認する。移動体21は、移動体位置検出装置1を搭載している。移動体21を移動可能にするため、移動体21の底部に車輪23aを有する。車輪23aは、移動体21の本体21aに内蔵された駆動手段23により駆動される。移動体21の上面には、移動体21の上方の天井22を撮像可能なように、天井22に向けてカメラ2a,2bが設けられている。それとともに、天井撮影の補助光源としてライト4も備えられている。
【0016】
図2に示すように、移動体位置検出装置1は、カメラ2a,2bが撮影した画像のデータ11a,11bを取得する画像入力部3と、画像データ11a,11bから天井の画像を抽出し、天井画像データ15と天井画像マスク16を生成する画像抽出部5と、教示位置における天井画像と位置情報を含む教示画像情報12を記憶する画像記憶部7と、天井画像データ15と天井画像マスク16と画像記憶部7から読み出した教示画像情報12に基づいて、移動体21の位置を検出し、位置情報として移動体の座標13および移動体の方向14を出力する画像処理部6を有する。そして、制御部9が、これら各部の動作を制御する。
【0017】
このように構成した移動体位置検出装置1を有する移動体21の動作について、以下に説明する。移動体21の制御部9は、移動体位置検出装置1が検出した移動体21の座標13と移動体21の移動方向14に基づいて駆動部23を駆動制御し、目的地へ移動する。その際、CCDカメラやCMOSカメラなどの画像データの所得が可能な電子式カメラカメラ2a,2bは、視差により立体情報を得るため、所定の間隔を開けて設置されている。
【0018】
カメラ2a,2bの間隔は、十分な視差を得るために天井までの距離の1/10程度に設定する。カメラのレンズは、広く天井を撮影して多くの情報を取得できるよう広角レンズを用いる。そして、移動体21が移動中の部屋の天井の全体を見渡せる視野を有している。補助光源であるライト4には、可視光のライトを使用してもよいが、ライトの点灯や消灯により周囲の人に不快感を与えるのを防止するために、赤外線LEDなどを用いた赤外線ライトあるいは赤外線ストロボを使用している。
【0019】
上記実施例では、画像入力部3および画像抽出部5、画像記憶部7、画像処理部6、制御部9を異なるブロックで示したが、全体を1つのLSIで構成したり、一部をコンピュータとプログラムによって構成してもよい。カメラ2a,2bとライト4のみを移動体21に搭載し他の部分を外部に設置し、両者を無線で接続するようにしてもよい。この場合、移動体21を軽量化することができる。
【0020】
移動体位置検出装置1の動作について、以下に説明する。図3に、移動体位置検出装置1を用いて教示するときの動作を流れ図で示す。図4に、移動体位置検出装置1を用いて位置検出するときの動作を流れ図で示す。移動体位置検出装置1を用いて、移動体21の位置を検出するときは、初めに移動体位置検出装置1に初期情報としての位置を教示する。これを教示段階100と呼ぶ。次いで、この教示された情報に基づいて、実際に移動体位置検出装置1を用いて移動体の位置を計測する。これを検出段階200と呼ぶ。
【0021】
教示段階100では、移動体21を部屋の中の位置の分かっている教示位置に移動させ、決められた方向を向かせる。その後、カメラ2a,2bを用いて、教示場所から見える天井画像を撮影する。この撮影した天井画像を画像処理し、位置情報と共に教示画像情報12として、画像記憶部7に記憶させる。位置検出段階200では、移動体21が移動中にカメラ2a,2bを用いて天井画像を撮影する。そして、画像記憶部7に記憶された情報を参照して、移動体の座標13と移動体の移動方向14を求める。
【0022】
教示段階100では、移動体21をリモコン操作で移動させる。その際、移動体21が移動する各部屋毎に1ヶ所以上の場所で天井画像を撮影し、画像記憶部7に記憶させる。位置検出精度を高めるためには、1部屋の中の複数の場所における撮像を記憶させる。その詳細を以下に示す。
【0023】
教示段階100に入ると(ステップ101)、移動体21上のライト4を点灯する。そして、画像入力部3が、2台のカメラ2a,2bが撮像した天井方向の画像データ11a,11bを取得する。画像抽出部5は、ステップ102〜105を実行する。つまり、ステップ102において、画像抽出部5は画像データ11a,11bを比較する。そして、移動体21上のカメラ2a,2bが撮影した天井方向画像を複数の部分(画素)に分割し、各画素ごとに移動体21からの高さ方向の距離を求めて距離画像34を生成する。なお、2個のカメラが撮像したステレオ画像から距離を求めるときは、例えば上記非特許文献2に記載されている方法を用いる。
【0024】
ステップ103において、距離画像34の各画素に書き込まれた高さ方向の距離と、移動体21から天井までの予め求められている高さ方向の天井距離32とを比較する。天井方向の途中にカメラの視界を妨げるものがあれば、その画素に書き込まれた距離は、当然天井距離32よりは短い。そこで、ほぼ天井距離32と同じ値となる画素を抽出し天井近傍とみなす。この天井近傍において、天井距離32からの差は距離画像の許容誤差である。この天井近傍部分を区別したデータを用いて、距離マスク35を生成する。距離マスク35では、抽出された天井近傍部分を白、その他の部分を黒としている。
【0025】
ステップ104以降の処理では、2台のカメラ2a,2bの撮像画像のうちの一方の画像を天井画像データ15として使用する。ステップ104では、天井画像データ15に含まれる輝度情報から、画像内から点灯している照明を除去する。そして、照明が除去された残りの部分から、輝度マスク36を生成する。輝度マスク36では、除去された照明の部分を黒、その他の部分を白としている。照明24が点灯していると、天井画像データ15では、照明24部分は特に高輝度の画素で表される。したがって、天井画像データ15の輝度により照明24を識別できる。
【0026】
そこで、天井画像データ15の画素の輝度値を輝度基準レベル31と比較する。輝度値が輝度基準レベル31よりも小さい部分を抽出し、照明除去マスクを生成する。その際、点灯している照明24の部分と、照明以外の部分の輝度を予め求めておき、輝度基準レベル31をその間の輝度に定める。撮影される画像の輝度は、周囲の明るさの影響を受ける。そこで、周囲の明るさを画像あるいは他の光センサを用いて検出し、輝度基準レベル31を補正するのが望ましい。
【0027】
ステップ105において、距離マスク35と輝度マスク36を掛け合わせて、天井の部分を抽出する天井画像マスク16を生成する。天井画像マスク16は、抽出された天井部分が白、その他の部分が黒で表される画像である。これ以降の処理においては、天井画像マスク16を用いて抽出した部分のみを処理する。カメラの視野に入った障害物などは除去されており、天井のみの画像が位置認識に用いられる。輝度が大きく変化するおそれのある照明部分を除いたので、安定して位置を検出できる。
【0028】
ステップ106において、天井画像データ15から天井画像マスク16を用いて抽出した抽出部分について、画像処理部6が画像特徴量ベクトル17を求める。ここで、画像特徴量ベクトルは、画像データから計算される画像の特徴を表す値(画像特徴量)を複数集めたものである。この画像特徴量ベクトルは、後のステップにおいて画像を高速に検索するのに用いる。画像特徴量としては、画像中の色のヒストグラムや、画像の重心位置、モーメントなどを使用する。
【0029】
ステップ107では、これまでの処理で得られた教示位置の位置情報と画像情報12を画像記憶部7に記憶する。ここで画像情報は、天井画像データ15や天井画像マスク16、画像特徴量ベクトル17であり、位置情報は教示位置の座標38と教示位置の方向39である。ステップ108では、全ての教示位置の画像が記憶されて教示が終了した状態になったかどうかを判定する。教示残りがある場合は、ステップ101から繰り返す。教示が終了した場合は、図4に示す位置検出段階200に進む。
【0030】
位置検出段階200のステップ201〜206は、教示段階100のステップ101〜106と同様のステップである。つまり、現在位置における天井画像データ15と天井画像マスク16と画像特徴量ベクトル17を取得するステップである。具体的には、ステップ201でカメラ2a、2bを用いて画像データ11a,11bを取得する。ステップ202で画像データ11a,11bから距離画像を生成し、ステップ203で距離画像34の画素値(距離)と天井距離32とを比較して距離マスク35を作成する。ステップ204では、天井画像データ15の輝度値と輝度基準レベル31とを比較し、輝度マスク35を作成する。そしてステップ205において距離マスク35と輝度マスク36とを掛け合わせて天井画像マスク16を作成し、ステップ206において、天井画像データ15と天井画像マスク16とから画像特徴量ベクトル17を生成する。
【0031】
ステップ207では、画像記憶装置7に記憶された教示画像情報12の中の画像特徴量ベクトルを参照して、現在位置における画像特徴量ベクトル17に最も類似した画像を選択する。このとき、教示画像情報12の画像特徴量ベクトルと現在の位置における画像特徴量ベクトル17のユークリッド距離が最小となる画像を、類似画像とする。ここで、ユークリッド距離とは、ベクトルの各要素の差の2乗和の平方根である。この手順により、現在位置に近い教示位置を効率良く検索でき、大まかな位置を高速に検出できる。
【0032】
ステップ208では、画像記憶装置7に記憶された前のステップで選択した教示画像情報12の中から天井画像データ15と天井画像マスク16を読み出す。そして、相関演算による画像マッチングにより、教示画像情報12の中の天井画像データと現在の画像における天井画像データ15との画像のずれから、並進移動量41と回転移動量42を求める。その際、教示画像データ12中の天井画像マスク16と現在の画像の天井画像マスク16との両方が選択した部分だけを、相関演算する。これにより、天井部以外の障害物の影響を受けずに位置を検出できる。また、教示段階100と位置検出段階200において照明24が点灯されているか否かにかかわらず、安定して位置を検出できる。
【0033】
教示段階100でも位置検出段階200でも照明24が点灯されているときは、教示画像データ12の天井画像マスクと、現在の画像の天井画像マスク16の両方において、照明24の部分が選択されない。したがって、照明の部分が相関演算から除かれる。
【0034】
教示段階100と位置検出段階200のどちらか一方において、照明24が点灯されていた場合には、教示画像データ12の天井画像マスクと、現在の画像の天井画像マスク16のいずれかにおいて、照明24の部分が選択されない。そして、現在の画像または教示画像データのいずれかの天井画像マスクは、照明24の部分が選択されている。この状態で、画像マッチングにおいて相関演算すると、両方の天井画像マスクが選択した共通部分だけを相関演算するので、照明24の部分が除外されて正しい相関値が得られる。
【0035】
教示段階100と位置検出段階200の両方において、照明24が消灯されていた場合には、照明24が選択された状態になる。この場合、照明24部も相関演算に含まれるが、消灯された照明同士は天井の地模様と同様に扱えばよいことになる。
【0036】
ステップ209において、画像記憶装置7に記憶された教示画像データ12の中から、選択した教示画像データが含まれる教示位置の座標38と教示位置の方向39を読み出す。この教示位置の座標38と方向39に並進移動量41と回転移動量42を加え、移動体21の現在位置における座標13と方向14を求め、制御装置9に出力する。
【0037】
図5に、移動体検出装置1が検出した画像の例を示す。この図5では、位置検出段階200において図1に示す環境で取得した天井画像データ15と、天井画像マスク16とを重ね合わせて示している。図中の斜線を施した部分が、天井画像マスク16が黒の部分、すなわち天井の領域以外として除外された部分であり、その他の部分が、天井の領域として抽出された部分である。
【0038】
図5に示した天井画像データ15には、天井22以外に、入口25や窓26、机27、キャビネット28が写っている。一方、2台のカメラ2a,2bが取得した距離情報に基づいて、天井近傍の部分のみを抽出するように天井画像マスク16を生成する。したがって、天井画像マスク16によりマスキングされた画像では、天井近傍の部分のみが選択され、他の物体が除外される。なお、天井までの距離は厳密に天井までの距離ではなく、その距離の前後に幅を持たせている。したがって、天井の画像の中でも特徴的で位置認識に役立つ天井と壁や柱の境界線の部分も抽出範囲に含まれる。また、画像の輝度情報に基づいて照明部分を除去して天井画像マスク16を生成している。その結果、天井近傍部分のみが確実に抽出されるので、安定した位置検出ができる。
【0039】
本実施例によれば、天井に位置検出用のマークを設置する必要がなく低コストになり、事前の工事が困難な家庭やマンションやオフィスビルなど、工場以外の場所でも使用しやすくなる。また、照明装置などの特定の対象物に依存しないので、事前に環境を特定できない家庭でも利用しやすい。さらに天井画像を抽出して照明の変化や障害物の影響を回避しているので、安定に位置検出ができる。
【0040】
なお、上記実施例では、ステップ101とステップ201において、カメラ2a,2bから取得した画像をそのまま画像データ11a,11bとして使用している。しかしながら、カメラのレンズによる画像の歪みを補正する画像変形演算を行い、変形後の画像を画像データ11a,11bとして使用すればより高精度に画像情報を得ることができる。
【0041】
上記実施例では、ステップ101とステップ201においては、ライト4を点灯して画像を取得している。ライト4を消灯した状態でも画像を取得し、点灯した時の画像から消灯した時の画像を引いた差の画像を、画像データ11a,11bとして使用してもよい。この場合、ライト4以外の照明の影響が除去されるので、昼間と夜間で照明状態が変化しても、安定して位置を検出できる。
【0042】
上記実施例では、2台のカメラ2a,2bを用いて2つの離れた場所から画像を取得して、撮影対象の距離を検出している。この代わりに、カメラを1台のみ用いて、移動体21を移動させて2つの場所から画像を取得するようにしてもよい。この場合、画像の取得に要する時間が増えるが、位置検出装置を簡素化できる。なお、距離検出には、スリット光を照射して画像を撮影して距離情報を取得する光切断法などの他の距離検出方法を用いてもよい。
【0043】
上記実施例では、移動体から天井までの高さ方向の距離である天井距離32を既知としたが、天井の高さを測定する手段を設けて、天井距離32を自動的に設定するようにすれば、部屋によって天井の高さが変化しても対応できる。天井の高さを測定する方法には、距離画像34からハフ変換などにより、平面領域を検出する方法を用いればよい。この場合、十分な高さ(例えば1.8m以上)があり、かつ視野中で最も高い平面領域を選択するようにすれば、机などを天井と誤認することを防止できる。また、超音波センサなどの手段を用いて天井の高さを測定してもよい。
【0044】
天井の形状や模様に特徴がなく位置検出が困難な場合には、天井に適当なマークを設ける。その場合、マークの形状やパターン等には制約がないので、安価な素材を使用できる。また、美観を損ねないように、部屋の環境に適したマークを使用することができる。
【0045】
上記実施例では、1ヶ所の教示位置について、1個の教示画像情報12を画像記憶部7に記憶している。この代わりに、取得した天井画像データ15を移動体を並進移動させた場所の天井画像データと仮に設定する。そして、異なる教示位置での画像を仮想的に生成し、複数の教示画像情報12を画像記憶部7に記憶する。このようにすれば、教示の手間を増やさずに、教示画像情報12を増やすことができる。また位置検出段階において、特徴量ベクトルにより画像を検索する(ステップ207)から、より詳細に位置を検出することができる。その結果、画像マッチング(ステップ208)時の探索範囲を狭めることができ、高速に位置を検出できる。
【0046】
上記実施例では、ステップ208において、画像記憶部7に記憶されている教示画像情報12の中から、現在の画像データ15と最も画像が類似しているものを1個だけ選択し、その選択した画像について、ステップ209において現在の画像データ15と画像マッチングを実行している。類似度の高い複数の教示画像情報12を選択し、それらの全てを用いて現在の画像データ15と画像マッチングを実行し、最も高い相関が得られたものに基づいて位置情報を求めてもよい。本方法によれば、より確実に位置を検出することができる。
【0047】
【発明の効果】
本発明によれば、移動体位置検出装置が住宅やビルディングに固有の天井情報を利用するので、移動体の位置を容易にかつ速やかに検出できる。
【図面の簡単な説明】
【図1】本発明に係る移動体位置検出装置の一実施例の側面図。
【図2】本発明に係る移動体位置検出装置の一実施例のブロック図。
【図3】移動体位置検出装置を用いた教示動作を説明する流れ図。
【図4】移動体の位置検出動作を説明する流れ図。
【図5】移動体位置検出装置の動作を説明する図。
【符号の説明】
1…移動体位置検出装置、2a,2b…カメラ、3…画像入口部、5…画像抽出部、6…画像処理部、7…画像記憶部、11a,11b…画像データ、12…教示画像情報、13…移動体の座標、14…移動体の方向、15…天井画像データ、16…天井画像マスク、21…移動体、22…天井、24…照明。

Claims (8)

  1. 上部に天井面を撮像可能な撮影装置と、この撮影装置で撮影した画像を用いて位置を検出する位置検出手段と、を有する自律移動可能な移動体において、
    前記位置検出手段は、位置が分かっている教示位置で、前記撮影装置が撮影した天井画像情報に基づいて移動体から天井までの高さ方向に予め求めた天井距離に近い距離の画素部分を抽出した距離マスクと、前記撮影装置が撮影した画像における輝度が高い画素部分を除いた画素部分からなる輝度マスクとを作成し、前記距離マスクと輝度マスクとで選択された画素部分からなる天井画像マスクを作成し、移動体が移動したときには、前記教示位置における天井画像マスクと、移動体が教示位置から移動したときに前記撮影装置が撮影した天井画像から作成した天井画像マスクとのずれから移動量を求めて移動体の位置を検出することを特徴とする移動体。
  2. 前記位置検出手段は、前記撮影装置が教示位置で撮影した天井画像情報を記憶可能な記憶手段を有することを特徴とする請求項1に記載の移動体。
  3. 前記撮影装置は、離間して配置された少なくとも2台の電子カメラであることを特徴とする請求項1または2に記載の移動体。
  4. 前記撮影装置を用いて撮像するときの補助光源となる投光手段を有することを特徴とする請求項1ないし3のいずれか1項に記載の移動体。
  5. 前記位置検出手段は、位置が分かっている複数の教示位置における前記天井画像マスクと前記天井画像情報とから、当該天井画像情報の特徴を表す値からなる画像特徴量ベクトルを抽出して記憶し、移動体が移動したときに前記撮影装置が撮影した天井画像情報から求めた画像特徴量ベクトルと前記記憶された画像特徴量ベクトルとを比較して類似する画像特徴量ベクトルを選択し、選択した画像特徴量ベクトルが抽出された天井画像情報より作成された天井画像マスクと、前記移動体が教示位置から移動したときに前記撮影装置が撮影した天井画像より作成された天井画像マスクとのずれから移動量を求めて移動体の位置を検出することを特徴とする請求項1ないしのいずれか1項に記載の移動体。
  6. 移動体の上方の画像を撮影する撮影装置を用いて撮影した画像を入力する画像入力部と、この画像入力部に入力された画像に基づいて移動体から天井までの高さ方向に予め求めた天井距離に近い距離の画素部分を抽出した距離マスクと、前記撮影装置が撮影した画像における輝度が高い画素部分を除いた画素部分からなる輝度マスクとを作成し、前記距離マスクと輝度マスクとで選択された部分からなる天井画像マスクを作成する画像抽出部と、複数の異なる教示位置における前記天井画像マスクと前記天井画像情報とを比較して抽出した当該天井画像情報の特徴を表す値からなる画像特徴量ベクトルを記憶する画像記憶部と、移動体が移動したときに前記撮影装置が撮影した天井画像情報から抽出した画像特徴量ベクトルと前記記憶された画像特徴量ベクトルとを比較して類似する画像特徴量ベクトルを選択し、選択した画像特徴量ベクトルが抽出された天井画像情報より作成された天井画像マスクと、前記移動体が移動したときに前記撮影装置が撮影した天井画像情報より作成された天井画像マスクとのずれから移動体の位置を検出する画像処理部とを備えることを特徴とする移動体位置検出装置。
  7. 前記画像抽出部は、移動体と天井までの高さ方向の距離を検出する距離検出手段と、この距離検出手段が検出した高さ方向の距離と予め求めた移動体から天井までの高さ方向の距離とを比較して天井の近傍の画像領域を抽出する距離比較手段とを備えることを特徴とする請求項6に記載の移動体位置検出装置。
  8. 前記画像抽出部は、前記画像入力部に入力された画像の輝度情報と、予め定めた輝度基準レベルとを比較して前記画像入力部に入力された画像から照明装置が撮影されていない領域を抽出する輝度比較手段を備えることを特徴とする請求項6または7に記載の移動体位置検出装置。
JP2002295576A 2002-10-09 2002-10-09 移動体およびその位置検出装置 Expired - Fee Related JP4042517B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002295576A JP4042517B2 (ja) 2002-10-09 2002-10-09 移動体およびその位置検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002295576A JP4042517B2 (ja) 2002-10-09 2002-10-09 移動体およびその位置検出装置

Publications (2)

Publication Number Publication Date
JP2004133567A JP2004133567A (ja) 2004-04-30
JP4042517B2 true JP4042517B2 (ja) 2008-02-06

Family

ID=32285776

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002295576A Expired - Fee Related JP4042517B2 (ja) 2002-10-09 2002-10-09 移動体およびその位置検出装置

Country Status (1)

Country Link
JP (1) JP4042517B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11762394B2 (en) 2018-11-01 2023-09-19 Nec Corporation Position detection apparatus, position detection system, remote control apparatus, remote control system, position detection method, and program

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776215B1 (ko) * 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR100941418B1 (ko) 2007-03-20 2010-02-11 삼성전자주식회사 이동 로봇의 위치 인식 방법
JP5412890B2 (ja) * 2009-03-10 2014-02-12 株式会社安川電機 移動体及び移動体の制御方法並びに移動体システム
JP5427662B2 (ja) * 2010-03-23 2014-02-26 株式会社日立産機システム ロボットシステム
JP5418387B2 (ja) * 2010-04-20 2014-02-19 富士通株式会社 位置検出システム、方法、記憶媒体、及びプログラム
JP5614118B2 (ja) * 2010-06-15 2014-10-29 富士通株式会社 ランドマーク検知方法、ロボット及びプログラム
JP5354690B2 (ja) * 2010-12-02 2013-11-27 Necアクセステクニカ株式会社 無線通信装置、無線通信装置制御方法およびその制御用プログラム。
JP5626444B2 (ja) * 2011-02-23 2014-11-19 富士通株式会社 撮像装置、プログラム及び撮像支援方法
US9170581B2 (en) 2013-09-30 2015-10-27 Crown Equipment Limited Industrial vehicles with overhead light based localization
JP6455813B2 (ja) * 2014-07-30 2019-01-23 パナソニックIpマネジメント株式会社 位置推定システム及び受信端末
US9174830B1 (en) 2014-09-29 2015-11-03 Crown Equipment Limited Industrial vehicles with point fix based localization
WO2016163492A1 (ja) 2015-04-10 2016-10-13 日本電気株式会社 位置特定装置、位置特定方法及びプログラム
JP2018185182A (ja) * 2017-04-25 2018-11-22 東京電力ホールディングス株式会社 位置特定装置
JP6761786B2 (ja) 2017-08-10 2020-09-30 本田技研工業株式会社 天井地図作成方法、天井地図作成装置及び天井地図作成プログラム
US11537131B2 (en) 2017-11-20 2022-12-27 Sony Corporation Control device, control method, and mobile body
JP6971900B2 (ja) * 2018-03-26 2021-11-24 三菱電機株式会社 車両位置推定装置および車両位置推定方法
FR3083607A1 (fr) * 2018-07-06 2020-01-10 Balyo Procede et dispositif de positionnement pour vehicule, et vehicule comportant un tel dispositif
WO2021210492A1 (ja) * 2020-04-15 2021-10-21 株式会社Preferred Networks 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63186308A (ja) * 1987-01-28 1988-08-01 Hitachi Ltd 移動体の誘導方法、および装置
JP2512471B2 (ja) * 1987-04-21 1996-07-03 株式会社ダイフク 撮像式の位置検出装置
JPH07120195B2 (ja) * 1988-05-17 1995-12-20 株式会社ダイフク 移動車誘導用の撮像式ずれ検出装置
JPH0390309U (ja) * 1989-12-28 1991-09-13
JP3965894B2 (ja) * 2000-10-05 2007-08-29 富士ゼロックス株式会社 画像処理装置および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11762394B2 (en) 2018-11-01 2023-09-19 Nec Corporation Position detection apparatus, position detection system, remote control apparatus, remote control system, position detection method, and program

Also Published As

Publication number Publication date
JP2004133567A (ja) 2004-04-30

Similar Documents

Publication Publication Date Title
JP4042517B2 (ja) 移動体およびその位置検出装置
US7321386B2 (en) Robust stereo-driven video-based surveillance
KR101083394B1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US20160027207A1 (en) Method for cleaning or processing a room by means of an autonomously mobile device
US20140225990A1 (en) Depth sensing method and system for autonomous vehicles
KR20110011424A (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
JP2007293722A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
CN112036210A (zh) 一种检测障碍物的方法、装置、存储介质和移动机器人
KR20090061355A (ko) 이동로봇의 주행 제어 방법 및 이를 이용한 이동 로봇
KR20120033414A (ko) 자기 위치 인식을 수행하는 로봇 및 그의 운용 방법
KR100906991B1 (ko) 로봇의 비시인성 장애물 탐지방법
KR20200068045A (ko) 어라운드 뷰 모니터링 시스템 및 딥러닝을 이용한 주차선 검출 방법
KR20120091970A (ko) 객체 이미지 정합 시스템, 정합 장치 및 정합 방법과 상기 방법을 기록한 기록 매체
CN107538485B (zh) 一种机器人导引方法及系统
US11801604B2 (en) Robot of estimating direction based on vanishing point of low luminance image and method estimating thereof
Naser et al. Infrastructure-free NLoS obstacle detection for autonomous cars
Wei et al. An approach to navigation for the humanoid robot nao in domestic environments
CN104604219A (zh) 图像处理装置、图像处理方法以及图像处理程序
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
KR100586648B1 (ko) 천장 영상을 이용한 청소용 로봇의 자기위치 추정방법
KR20190103524A (ko) 자율 주행 장치 및 방법
KR100844640B1 (ko) 물체 인식 및 거리 계측 방법
CN114089364A (zh) 一种集成化的感知系统装置及实现方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050413

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees