JP5071945B2 - 移動装置及び方法 - Google Patents

移動装置及び方法 Download PDF

Info

Publication number
JP5071945B2
JP5071945B2 JP2010006807A JP2010006807A JP5071945B2 JP 5071945 B2 JP5071945 B2 JP 5071945B2 JP 2010006807 A JP2010006807 A JP 2010006807A JP 2010006807 A JP2010006807 A JP 2010006807A JP 5071945 B2 JP5071945 B2 JP 5071945B2
Authority
JP
Japan
Prior art keywords
camera
area
distance
floor
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010006807A
Other languages
English (en)
Other versions
JP2011145924A (ja
Inventor
宏一 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC AccessTechnica Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC AccessTechnica Ltd filed Critical NEC AccessTechnica Ltd
Priority to JP2010006807A priority Critical patent/JP5071945B2/ja
Publication of JP2011145924A publication Critical patent/JP2011145924A/ja
Application granted granted Critical
Publication of JP5071945B2 publication Critical patent/JP5071945B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、自走式の移動装置(ロボット、自走式掃除機等)及び移動方法、特に、カメラ画像から周囲の段差や障害物等を認識する技術に関するものである。
自走式の移動装置(ロボット、自走式掃除機等)では、段差がある場所での使用は落下の危険があるため、段差を検出する機能が重要である。従来は装置周囲に下向きに距離センサ等を配置し、段差を検出している。距離センサにはパッシブ型の様な赤外線光、レーザレーダ、超音波等の方式がある。
赤外線光を用いた距離センサは、赤外線LED等の出力から床面からの反射光を受信し、その強弱で床との距離、床の有無を判断するが、床が黒色等になると反射光が少なくなり、床が無い状態に見えてしまう。また、木目の様な床では黒の部分があると、その度に床が無いと判断して動作を停止してしまう。
レーザレーダを用いた距離センサは、レーザ光を使用している為使用者の目に入る等の危険がある。超音波を用いた距離センサは、出力から反射波の戻りの時間を測定し、距離を算出するが、音波がノイズを受けやすい。
また、パッシブ型センサは全般的に、反射光、反射波を受光して距離を計測する仕組みであるため、床との取り付け角度を浅くすると、反射光を捕らえられない、その為、取り付け角度は床面と直角に近い状態が望ましいが、装置から遠距離の検出が難しく、自走式装置においては床の端面から装置がはみ出した状態で、ようやく段差を検出することができる。よって、移動速度が速いと、段差検出から移動停止が間に合わずに落下の危険が高い。また、床面の色が黒や模様を含んでいると、ハフ変換等の画像処理でも物体と誤認識する可能性がある。
このような段差を検出する従来装置としては、例えば、特許文献1乃至7に記載されたものがある。
特許文献1(特開2005−309487号公報)のものは、パッシブ式AFを用いて距離を測定しているが、これも赤外線を放出して反射を受け取る為、床との角度が浅いと反射波が無いため受光できず、側距できない。その為、やはり、近距離のみの検出となる。また、黒色の床面でも反射光が得にくく検出しづらい。
特許文献2(特開2009−042147号公報)のものは、カメラと距離センサを使用し、カメラ画像からハフ変換により線分を検出して物体の面等を認識し、物体を認識している。しかし、画像のハフ変換では床に模様がある場合には誤認識の恐れがある。また、側距センサとして詳細な記載はないが、上述のパッシブ型と考えられ、床面上体、取り付け位置等に制約がある。
特許文献3(特開2004−139264号公報)や特許文献4(特開2006−260105号公報)のものは、レーザレーダを使用しているため、上述のように人が近くにいる場所では危険性がある。
特許文献5(特開平09−062354号公報)のものは、超音波センサを用いているため、取り付け位置は床面に対して制限を受け、段差が近くでないと、センサが判別できない。
特許文献6(特開平09−106457号公報)のものは、カメラから取り込んだ画像を複数の領域に分割し、各領域が床領域であるか障害物領域であるかを識別する。特許文献6は、カメラ画像の色の濃淡を判別するものであり、コントラストAF機能を用いたものではなく、濃淡を判別する際に床に模様が描かれている場合は誤認識する可能性が高く、特許文献2と同様に誤認識する可能性がある。
特許文献7(特開平04−083478号公報)のものは、入力画像を5つの領域に分割し、各々の部分画像のコントラストをレンズの合焦点位置を移動させながら測定し、各部分画像のコントラストカーブの最大ピークを検出することにより測距を行う。特許文献7は、コントラストAFで画面を幾つかに分割して測距しているが、2次元として画像を扱い写真の合成に用いている。
特開2005−309487号公報 特開2009−042147号公報 特開2004−139264号公報 特開2006−260105号公報 特開平09−062354号公報 特開平09−106457号公報 特開平04−083478号公報
特許文献1乃至特許文献6のものは、上述のように近距離しか検出できない、誤認識の恐れがある、センサの取り付け位置に制限がある、レーザに危険がある、段差近くでないとセンサが判別できない等の欠点がある。
特許文献7には、上述のようにコントラストAFで画面を幾つかに分割して測距を行い、2次元として画像を扱い写真の合成に用いることが記載されているが、画像を3次元化して測距を行うものではない。
本発明の目的は、カメラ画像から段差や障害物を認識することにより、遠距離でも認識できる共に、床色や模様等に拘わらず正確に認識することが可能な移動装置及び方法を提供することにある。
本発明に係る移動装置は、レンズ、前記レンズをAF駆動するAF駆動部及び画像を撮像する撮像素子を有するカメラと、前記AF駆動部により前記レンズを移動させて焦点距離を変化させながら前記撮像素子で撮像を行う手段と、前記カメラの撮像画面を複数のエリアに分割し、前記焦点距離を変化させながら前記撮像素子で得られた画像データ及び焦点距離に基づいて前記エリア毎にコントラストピークを計測することにより、前記エリア毎のカメラと各エリアの対象物との距離を検出する手段と、前記カメラの基準となる床面からの取り付け高さ、前記カメラの撮影角度、及び前記カメラの画角に基づいて前記エリア毎に前記カメラから前記床面までの基準距離を算出する手段と、前記エリア毎に得られた対象物との距離と、前記エリア毎の前記カメラから床面までの基準距離とを対応するエリア間で比較し、その比較結果に基づき前記床面からの段差又は床面上の障害物を検出する手段と、前記エリア毎に得られた対象物との距離と、前記カメラの撮影角度と、前記カメラの画角と、前記カメラの取り付け高さに基づいて前記検出された段差の床面からの高さと前記カメラからの水平方向の距離、又は前記検出された障害物の床面からの高さと前記カメラからの水平方向の距離を検出し、その検出結果を3次元データ化し、地図データを作成する手段と、を備えたことを特徴とする
また、本発明に係る移動装置は、レンズ、前記レンズをAF駆動するAF駆動部及び画像を撮像する撮像素子を有するカメラと、前記AF駆動部により前記レンズを移動させて焦点距離を変化させながら前記撮像素子で撮像を行う手段と、前記カメラの撮像画面を複数のエリアに分割し、前記焦点距離を変化させながら前記撮像素子で得られた画像データ及び焦点距離に基づいて前記エリア毎にコントラストピークを計測することにより、前記エリア毎のカメラと各エリアの対象物との距離を検出する手段と、前記カメラの基準となる床面からの取り付け高さ、前記カメラの撮影角度、及び前記カメラの画角に基づいて前記エリア毎に前記カメラから前記床面までの基準距離を算出する手段と、前記エリア毎に得られた対象物との距離と、前記エリア毎の前記カメラから床面までの基準距離とを対応するエリア間で比較し、その比較結果に基づき前記床面からの段差又は床面上の障害物を検出する手段と、前記エリア毎に得られた対象物との距離と、前記カメラの撮影角度と、前記カメラの画角と、前記カメラの取り付け高さに基づいて前記検出された段差の床面からの高さと前記カメラからの水平方向の距離、又は前記検出された障害物の床面からの高さと前記カメラからの水平方向の距離を検出し、その検出結果を3次元データ化し、地図データを作成する手段と、前記3次元データに基づいて進行方向に床があるか、段差又は障害物があるかを判定し、前記段差又は障害物がある場合には、前記段差又は障害物をよけて移動するように制御する手段と、を備えたことを特徴とする

本発明によれば、カメラ撮影画像を幾つかのエリアに分割し、エリア毎にコントラストピーク(焦点)位置を検出することにより、カメラと画面上の各エリアとの距離が得られ、画面の2次元的な測距データから3次元的に立体を認識でき、段差や障害物を正確に認識することが可能となる。
また、カメラ画像から段差や障害物を認識するため、赤外線センサや超音波等センサを用いて段差等を検出する場合の欠点を解消することが可能となる。即ち、遠距離の段差や障害物でも認識できると共に、床色や模様等に関係なく正確に段差や障害物を認識することが可能となる。
更に、床面が一色で色に変化がなく、コントラストピークを検出できない場合には、エリア毎に色判別を行い、他の色との境界線を判別することより、境界線の位置から移動可能な距離を測定することが可能となる。
本発明に係る移動装置の一実施形態の外観を示す図である。 本発明に係る移動装置の一実施形態を示すブロック図である。 カメラモジュール及び制御部を詳細に示すブロック図である。 カメラ撮影角度θと画角による床面との基準距離hを算出する方法を説明する図である。 カメラの画角と各エリアの床面基準距離を算出する方法を説明する図である。 床面(基準値)、段差、障害物の検出方法を説明する図である。 段差検出時の3次元表示を説明する図である。 障害物検出時の3次元表示を説明する図である。 色判別による段差検出を説明する図である。 図1の実施形態の動作を説明するフローチャートである。 段差検出時における各エリアの高さ及び水平距離の算出方法を説明する図である。
次に、発明を実施するための形態について図面を参照して詳細に説明する。図1は本発明に係る移動装置の一実施形態の外観を示す図、図2は本発明に係る移動装置の一実施形態を示すブロック図である。本実施形態では図1に示すように移動装置として車輪で移動するロボットを例に挙げて説明する。
本発明に係る移動装置は、車輪部11によって床面等を移動するロボットであり、頭部20の前面(顔部)にはカメラモジュール1が取り付けられている。頭部20は上下、左右方向に可動でき、カメラモジュール1の撮影角度を変更することが可能である。その際、図2に示すように頭部20は頭部上下モータ16、頭部左右モータ17によって上下、左右に駆動でき、これら頭部上下モータ16、頭部左右モータ17は制御部18によって制御される。カメラモジュール1は、コントラスト式オートフォーカス機能を有するカメラである。
また、装置本体15には前方超音波センサ13が取り付けられ、前方の障害物やその距離を測定可能である。装置下部には段差を検出する為の赤外線段差センサ12、段差超音波センサ14が取り付けられている。図2に示すように前方超音波センサ13、赤外線段差センサ12、段差超音波センサ14の出力は制御部18に入力される。車輪左右モータ19は車輪部11を駆動したり、車輪部11を左右に駆動するモータであり、制御部18によって制御される。
図3はカメラモジュール1及び制御部18を詳細に示すブロック図である。カメラモジュール1は、レンズ2、レンズ2を駆動するAF駆動部3、AF用モータ4、撮像素子としてのCCDセンサ(又はCMOSセンサ等)5、制御I/F回路6を備えている。カメラモジュール1ではAF用モータ4及びAF駆動部3によりレンズ2を駆動し、焦点距離を変化させてCCDセンサ5で撮像する。
制御部18はコントラストピーク計測回路7、色判別回路8、制御回路9、メモリ10を備えている。カメラモジュール1はAF制御を行い、INF(無限遠)からマクロ(近接)まで焦点距離を変化させる。カメラモジュール1は焦点距離を変化させてCCDセンサ5で撮像を行い、制御部18にはCCDセンサ5から画像データが入力され、AF駆動部3から焦点距離データが入力される。コントラストピーク計測回路7はその画像データと焦点距離データからカメラ画面内のエリア毎にコントラストピークを計測し、カメラと各エリアの対象物との距離を測定する。
即ち、図3に示すようにカメラ画像は幾つかのエリアに分割され、コントラストピーク計測回路7によりエリア毎にコントラストピークを計測してエリア毎にカメラと対象物との距離を計測する。得られた距離データはメモリ10に格納される。コントラストピーク値が計測しずらい床面状態の場合には、色判別回路8で各エリアの色判別を行い、メモリ10に格納する。
その際、床面に木目模様等の模様がある場合には、赤外線センサは黒色にセンサが反応して床が無いと判断してしまう。また、ハフ変換等の画像処理でも模様を物体と認識してしまう恐れがあるが、カメラ画像から対象物との距離を求める為、色や模様に影響されることなく距離の測定が可能となる。また、赤外線センサ等を用いるのではなくカメラ画像から距離を得る為、遠距離でも測距が可能である。
図4はカメラ撮影角度θと画角による床面との基準距離hを算出する方法を説明する図である。また、図5はカメラの画角と各エリアの床面基準距離を算出する方法を説明する図である。まず、図4に示すように撮影角度θとカメラの取り付け高さbからカメラと床面との基準距離hは、
h=b√(1+tanθ) …(1)
で算出できる。
その為、図5に示すようにカメラ撮影画像を幾つかのエリアに分割した場合には、カメラの画角(左右)λ°、カメラの画角(上下)γ°から基準となる床面を撮影した画面の、各エリアのカメラと床面との距離hは、b、θ°、γ°、λ°から算出できる。エリア毎のカメラと床面との距離hは図5に示す通りとなる。
即ち、基準となる床面を撮影した画面の距離データは、床面からカメラ高さbと角度θで斜め下方向を写すため、装置から見てカメラで写した画面の中心と、画面上「装置から遠い側」、画面下「装置に近い側」、及び左右では距離が異なる。エリア毎の基準距離hはメモリ10に格納しておく。
図6は床面(基準値)、段差、障害物の検出方法を説明する図である。即ち、カメラ画像の各エリア毎の距離を、エリア毎の基準となる距離と比較することにより、基準値と同じ場合には床面であり、距離が遠い場合には床面から下に段差があり、距離が近い場合には床面から上に障害物があることが分かる。
つまり、装置が平らな床面にあると仮定すると、画面に映った各エリアの距離データは違うため、段差や物体を検出する為には各エリア毎の床面の基準距離と比較する必要がある。比較するのは、カメラ画面の各エリア毎の距離と、それに各々対応するエリア毎の基準距離である。
具体的には、図6(a)に示すようにカメラ撮影画像の各エリアにおける対象物との距離が、それぞれ対応するエリアの基準値と同じ場合には床面であると判断する。また、図6(b)に示すように各エリアにおける対象物との距離が、それぞれ対応するエリアの基準値より遠い場合には床面から下に段差があると判断し、図6(c)に示すように各エリアにおける対象物との距離が、それぞれ対応するエリアの基準値より近い場合には床面上に障害物があると判断する。
図7は段差検出時の3次元表示を説明する図、図8は障害物検出時の3次元表示を説明する図である。各エリア毎の距離データhから図7及び図8に示すように段差検出時における段差の高さy、及び障害物検出時における物体の高さyは、それぞれ床面(基準値)を0にすると、
y=b−(h/√(1+tanθ)) …(2)
で求まる。また、水平方向の距離aは、
a=h√(1−cosθ) …(3)
で求まる。(これは参考として画面中心点における高さと水平距離を求める計算式であり、各エリア毎の計算式は図11を参照)。
その為、段差、物体の高さを3次元的に算出することが可能となる。制御部18は、このようにして3次元データ化し、装置周辺の地図データを作成する。bはカメラの取り付け高さ、θはカメラ撮影角度である。また、(2)式、(3)式は参考として画面中心点の計算式を示す。なお、画面周囲では、図5に示す画角γ°、λ°を考慮した計算式が必要である。
即ち、床面からカメラ高さbと角度θで斜め下方向に写すため、装置から見て画面の各エリアは、画面の中心と、画面上「装置から遠い側」、画面下「装置に近い側」、中心に対して左右端では距離が異なる。各エリアはカメラ画角γ°、λ°を用いて図5に示す通りに算出できる為、これと同様に図7、図8においても画面の各エリア毎の距離は、正確にはカメラ画角γ°、λ°を用いて算出する。図11は一例として段差検出時の各エリアの高さ及び水平距離の算出方法を示す。
図9は色判別により段差検出を行う方法を説明する図である。カメラモジュール1のコントラスト方式オートフォーカス機能は、床が全面1色で色に変化のない場合にはコントラストの変化が出にくいため距離測定が苦手である。本実施形態では、色判別回路8によりカメラ画像から色判別が可能である為、装置周囲の床面に対してカメラ画像内の各エリアで色判別を行う。制御部18は色判別回路8で得られたエリア毎の色判別結果に基づいて他の色との境界線を画像から判別し、画像内の境界線の位置から、色の境界線までの距離を推定する。
また、図1に示すように装置下部に近距離の段差検出手段として取り付けた赤外線段差センサ12及び段差超音波センサ14を併用することにより、これらセンサが検出可能な色の境界線近くまで装置は緊急停止できる程度の低速度で移動し、段差か床かを判別することが可能となる。この動作を繰り返し行うことにより、装置周囲の移動可能な地図データを装置内に構築し、その地図データを用いて装置が移動することで移動速度を上げることが可能となる。
次に、本実施形態の動作を図10に示すフローチャートを用いて説明する。まず、制御部18の制御によりカメラモジュール1内でレンズ2を移動させてAF焦点距離を変化させながらCCDセンサ5で画像を取得する(S1)。コントラストピーク計測回路7は画像データと焦点距離データから画像内の各エリアのコントラストピークを検出する(S2)。
その際、予めカメラモジュール1のレンズ2をINF(無限遠)からマクロ(近接)まで移動させた場合の焦点距離の変化をデータとして持っておくのが良い。即ち、レンズ2の移動位置と焦点距離(物体との距離)との関係をデータとして予め持っておくことにより、実際に対象物との距離を得る場合には対象物と焦点が合ったレンズ2の位置から物体との距離を得ることが可能となる。
次いで、コントラストピークを検出できたかを判定し(S3)、コントラストピーク検出が出来た場合にはエリア毎の焦点距離データをメモリ10に保存する(S4)。制御部18は上述のようにエリア毎に得られた計測距離データから床面からの垂直高さy、装置本体(カメラ)からの水平方向の距離aを、
y=b−(h/√(1+tanθ))
a=h√(1−cosθ)
で算出する(S5)。制御部18はこの値から3次元データを作成し、地図データとしてメモリ10に保存する(S6)。
次に、制御部18は3次元データに基づいて床であるのか、段差があるのか、障害物があるのかを検出する(S7)。つまり、3次元データ化する時には図6で説明したように床、段差、障害物が分かり、それをもとに地図データを作成している。よって、その地図データから床、段差、障害物を検出する。床である場合には床の移動可能な範囲を移動してS1から同様の処理を行う(S8)。段差又は障害物がある場合には段差や障害物がない方向に装置を回転させて(S9)、S1から同様の処理を行う。こうして段差や障害物をよけながら床面を走行可能な方向に移動する。
一方、S3でコントラストピークを検出できなかった場合には、床の色がベタ一色の可能性が高いため、色判別回路8により画像データからエリア毎に色判別を行い(S10)、装置近辺(カメラ画像では画面下側)がベタ一色となっているかを判別する(S11)。S11で装置近辺の床の色がベタ一色となっていない場合には(S11がNo)、元々コントラストピークを検出できていないので、床高さも判別できずに検出不能として地図データに登録する(S12)。例えば、カメラの測定可能距離以上の距離にある段差で、その段差に模様がある場合等が該当する。
その後、進行可能な方向を検出するため装置を回転させて(S13)、S1から同様の処理を行う。なお、上述のように床面からカメラ高さbと角度θで斜め下方向を写すため、装置から見てカメラ画面の各エリアは、画面上側が「装置から遠い側」、画面下側が「装置に近い側」となる。
一方、S11で装置近辺の床の色がベタ一色となっている場合には(S11がYes)、カメラ画面内はベタ一色であるか、境界線があるかを判断し、メモリ10に一時記憶させる(S14)。この段階では、コントラストピークが検出できていないため、装置近辺から続くベタ一色のエリアが、段差であるのか、大きなベタ一色の障害物であるのか、床面高さ等は判別できてはいない。
次いで、図9で説明したように赤外線段差センサ12及び段差超音波センサ14を用いて床であるのか(即ち、段差の有無)を検出する(S15)。S15で床であると判定した場合には(S15がYes)、図1に示す前方超音波センサ13を用いて障害物があるかどうかを検出する(S16)。
S16で前方超音波センサ13により障害物がないと判定した場合には(S16がNo)、S14にてメモリ10に一時記憶させているカメラ画面内はベタ一色であるか、境界線があるかのデータを用いて、境界線があると判定された場合には装置近辺から続くベタ色の境界線までは床があると判別できるので、その境界線までを移動可能エリアとして3次元地図データに登録する(S18)。
次いで、画面内の移動可能箇所(色の境界線)まで移動して(S19)、S1から同様の処理を行う。一方、S14で境界線がないと判定された場合には、画面内のベタ色の最終位置まで移動して、再度、S1からS10に進み、更にS11〜S19の処理を行うことになる。
また、S15で段差があると判定された場合(S15がNo)、S16で障害物があると判定された場合には(S16がYes)、走行不可エリアとして一時記憶している境界線までを3次元地図データに登録し(S17)、進行可能な方向を検出するため装置を回転させて(S13)、S1から同様の処理を行う。
本実施形態では、移動方向、移動距離を正確に認識できる自走式の移動装置の為、ある画面で3次元地図データを作成すると、装置本体を移動させて、隣接する箇所で同様に3次元地図データを作成する。このような動作を繰り返し行うことにより、装置周辺の地図データを広範囲に作成することが可能となる。
なお、本発明は、カメラは単眼ではなく、複眼とすることにより距離測定の誤差を軽減することができる。また、本発明は、カメラモジュールとして赤外線カメラを使用することにより、夜間でも地図データが得られる。更に、本発明は、カメラの上下、左右の動きの他にカメラ取り付け高さb(装置高さ)を可変とすることにより、より遠くの距離測定を可能となる。
また、本発明は、車輪による移動装置だけでなく、高度な足を持つようなロボットの場合にも使用でき、その場合には、3次元地図データにより段差の昇降が可能となる。更に、本発明は、GPS等の位置情報と組み合わせることにより更に詳細な3次元地図データを作成することが可能となる。
本実施形態では、カメラ撮影画像を幾つかのエリアに分割し、エリア毎にコントラストピークを検出することにより、カメラと画面上の各エリアとの距離が得られ、画面の2次元的な測距データから3次元的に立体を認識できるため、段差や障害物を正確に認識することが可能となる。
また、カメラ画像から距離を判別する為、パッシブ型のセンサの様に近距離だけではなく、遠距離でも側距が可能となる。段差センサは取り付け方向に制限があり、近くでなければ判別できない。その際、カメラの角度によってより遠距離の撮影も可能となり、判別可能な装置周囲の距離が広がる為、周囲の段差、障害物の状況を正確に判別でき、移動速度を上げることが可能となる。
更に、コントラスト方式オートフォーカスの苦手なベタ1色の床面でも、色判別機能と段差センサ(超音波センサ等)を組み合わせることで、様々な床面の色でも判別が可能となる。赤外線センサでは黒は判別できない。
また、床に模様がある場合でも判別が可能となる。上述のようにハフ変換等の画像処理では模様を物体と判断する可能性がある。更に、装置周囲から遠距離までの危険エリアを判別できる為、より高速での移動が可能となり、危険エリア周辺ではスピードを落とす等の制御を行うことが可能となる。
また、コントラスト方式オートフォーカスカメラを使用することにより、低コストで実現可能であり、段差だけでは無く、障害物の検出も可能であり、更にズーム機能を用いて拡大すれば詳細な物体の形状も把握できる。更に、3次元的に段差や障害物の地図データを作成する為、従来の2次元的な地図データから、高度な足を持つようなロボットの場合には、段差の昇降が可能となる。
本発明は、床面等の平面上を移動するロボット、例えば、掃除用ロボット等に好適に用いることが可能である。
1 カメラモジュール
2 レンズ
3 AF駆動部
4 AF用モータ
5 CCDセンサ(CMOSセンサ等)
6 制御I/F回路
7 コントラストピーク計測回路
8 色判別回路
9 制御回路
10 メモリ
11 車輪部
12 赤外線段差センサ
13 前方超音波センサ
14 段差超音波センサ
15 本体
16 頭部上下モータ
17 頭部左右モータ
18 制御部
19 車輪左右モータ
20 頭部

Claims (8)

  1. レンズ、前記レンズをAF駆動するAF駆動部及び画像を撮像する撮像素子を有するカメラと、
    前記AF駆動部により前記レンズを移動させて焦点距離を変化させながら前記撮像素子で撮像を行う手段と、
    前記カメラの撮像画面を複数のエリアに分割し、前記焦点距離を変化させながら前記撮像素子で得られた画像データ及び焦点距離に基づいて前記エリア毎にコントラストピークを計測することにより、前記エリア毎のカメラと各エリアの対象物との距離を検出する手段と、
    前記カメラの基準となる床面からの取り付け高さ、前記カメラの撮影角度、及び前記カメラの画角に基づいて前記エリア毎に前記カメラから前記床面までの基準距離を算出する手段と、
    前記エリア毎に得られた対象物との距離と、前記エリア毎の前記カメラから床面までの基準距離とを対応するエリア間で比較し、その比較結果に基づき前記床面からの段差又は床面上の障害物を検出する手段と、
    前記エリア毎に得られた対象物との距離と、前記カメラの撮影角度と、前記カメラの画角と、前記カメラの取り付け高さに基づいて前記検出された段差の床面からの高さと前記カメラからの水平方向の距離、又は前記検出された障害物の床面からの高さと前記カメラからの水平方向の距離を検出し、その検出結果を3次元データ化、地図データを作成する手段と、
    を備えたことを特徴とする移動装置。
  2. レンズ、前記レンズをAF駆動するAF駆動部及び画像を撮像する撮像素子を有するカメラと、
    前記AF駆動部により前記レンズを移動させて焦点距離を変化させながら前記撮像素子で撮像を行う手段と、
    前記カメラの撮像画面を複数のエリアに分割し、前記焦点距離を変化させながら前記撮像素子で得られた画像データ及び焦点距離に基づいて前記エリア毎にコントラストピークを計測することにより、前記エリア毎のカメラと各エリアの対象物との距離を検出する手段と、
    前記カメラの基準となる床面からの取り付け高さ、前記カメラの撮影角度、及び前記カメラの画角に基づいて前記エリア毎に前記カメラから前記床面までの基準距離を算出する手段と、
    前記エリア毎に得られた対象物との距離と、前記エリア毎の前記カメラから床面までの基準距離とを対応するエリア間で比較し、その比較結果に基づき前記床面からの段差又は床面上の障害物を検出する手段と、
    前記エリア毎に得られた対象物との距離と、前記カメラの撮影角度と、前記カメラの画角と、前記カメラの取り付け高さに基づいて前記検出された段差の床面からの高さと前記カメラからの水平方向の距離、又は前記検出された障害物の床面からの高さと前記カメラからの水平方向の距離を検出し、その検出結果を3次元データ化、地図データを作成する手段と、
    前記3次元データに基づいて進行方向に床があるか、段差又は障害物があるかを判定し、前記段差又は障害物がある場合には、前記段差又は障害物をよけて移動するように制御する手段と、
    を備えたことを特徴とする移動装置。
  3. 前記コントラストピークを計測できなかった場合には、色判別手段により前記エリア毎に色判別を行い、他の色との境界線を検出することで移動可能な範囲を検出することを特徴とする請求項1又は2に記載の移動装置。
  4. 前記コントラストピークが計測できず、且つ、当該移動装置から所定の範囲の床の色がベタ一色であり、且つ、段差センサによって段差が検出されず、且つ、障害物センサによって障害物が検出されず、且つ、前記カメラの撮像画面全体がベタ一色である場合には、前記ベタ一色の領域全体を移動可能エリアとして登録し、
    前記コントラストピークが計測できず、且つ、当該移動装置から所定の範囲の床の色がベタ一色であり、且つ、段差センサによって段差が検出されず、且つ、障害物センサによって障害物が検出されず、且つ、前記カメラの撮像画面に境界線がある場合には、前記境界線までの領域を移動可能エリアとして登録することを特徴とする請求項1又は2に記載の移動装置。
  5. 前記段差センサは、赤外線センサ又は超音波センサであることを特徴とする請求項4に記載の移動装置。
  6. 前記カメラは、高さ、上下の角度及び左右の角度が可変であることを特徴とする請求項1乃至5のいずれか1項に記載の移動装置。
  7. レンズ、前記レンズをAF駆動するAF駆動部及び画像を撮像する撮像素子を有するカメラを用い、前記AF駆動部により前記レンズを移動させて焦点距離を変化させながら前記撮像素子により撮像を行う工程と、
    コントラストピーク検出手段により、前記カメラの撮像画面を複数のエリアに分割し、前記焦点距離を変化させながら前記撮像素子で得られた画像データ及び焦点距離に基づいて前記エリア毎にコントラストピークを計測することにより、前記エリア毎のカメラと各エリアの対象物との距離を検出する工程と、
    基準距離算出手段により、前記カメラの基準となる床面からの取り付け高さ、前記カメラの撮影角度、及び前記カメラの画角に基づいて前記エリア毎に前記カメラから前記床面までの基準距離を算出する工程と、
    段差又は障害物検出手段により、前記エリア毎に得られた対象物との距離と、前記エリア毎の前記カメラから床面までの基準距離とを対応するエリア間で比較し、その比較結果に基づき前記床面からの段差又は床面上の障害物を検出する工程と、
    地図作成手段により、前記エリア毎に得られた対象物との距離と、前記カメラの撮影角度と、前記カメラの画角と、前記カメラの取り付け高さに基づいて前記検出された段差の床面からの高さと前記カメラからの水平方向の距離、又は前記検出された障害物の床面からの高さと前記カメラからの水平方向の距離を検出し、その検出結果を3次元データ化、地図データを作成する工程と、
    を含むことを特徴とする移動方法。
  8. レンズ、前記レンズをAF駆動するAF駆動部及び画像を撮像する撮像素子を有するカメラを用い、前記AF駆動部により前記レンズを移動させて焦点距離を変化させながら前記撮像素子で撮像を行う手段と、
    コントラストピーク検出手段により、前記カメラの撮像画面を複数のエリアに分割し、前記焦点距離を変化させながら前記撮像素子で得られた画像データ及び焦点距離に基づいて前記エリア毎にコントラストピークを計測することにより、前記エリア毎のカメラと各エリアの対象物との距離を検出する工程と、
    基準距離算出手段により、前記カメラの基準となる床面からの取り付け高さ、前記カメラの撮影角度、及び前記カメラの画角に基づいて前記エリア毎に前記カメラから前記床面までの基準距離を算出する工程と、
    段差又は障害物検出手段により、前記エリア毎に得られた対象物との距離と、前記エリア毎の前記カメラから前記床面までの基準距離とを対応するエリア間で比較し、その比較結果に基づき前記床面からの段差又は床面上の障害物を検出する工程と、
    地図作成手段により、前記エリア毎に得られた対象物との距離と、前記カメラの撮影角度と、前記カメラの画角と、前記カメラの取り付け高さに基づいて前記検出された段差の床面からの高さと前記カメラからの水平方向の距離、又は前記検出された障害物の床面からの高さと前記カメラからの水平方向の距離を検出し、その検出結果を3次元データ化、地図データを作成する工程と、
    制御手段により、前記3次元データに基づいて進行方向に床があるか、段差又は障害物があるかを判定し、前記段差又は障害物がある場合には、前記段差又は障害物をよけて移動するように制御する工程と、
    を含むことを特徴とする移動方法。
JP2010006807A 2010-01-15 2010-01-15 移動装置及び方法 Expired - Fee Related JP5071945B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010006807A JP5071945B2 (ja) 2010-01-15 2010-01-15 移動装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010006807A JP5071945B2 (ja) 2010-01-15 2010-01-15 移動装置及び方法

Publications (2)

Publication Number Publication Date
JP2011145924A JP2011145924A (ja) 2011-07-28
JP5071945B2 true JP5071945B2 (ja) 2012-11-14

Family

ID=44460714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010006807A Expired - Fee Related JP5071945B2 (ja) 2010-01-15 2010-01-15 移動装置及び方法

Country Status (1)

Country Link
JP (1) JP5071945B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103194991A (zh) * 2013-04-03 2013-07-10 西安电子科技大学 智能机器人道路清理系统及清理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103048049B (zh) * 2012-12-19 2014-12-24 安徽国防科技职业学院 智能装配机器人的避障检测装置
JP2014165616A (ja) * 2013-02-23 2014-09-08 Hyogo Prefecture ロービジョン者用ウェアラブルディスプレイ
CN106569489A (zh) * 2015-10-13 2017-04-19 录可系统公司 具有视觉导航功能的扫地机器人及其导航方法
JP6658124B2 (ja) * 2016-03-10 2020-03-04 富士通株式会社 撮像装置、方法、及びプログラム、表示制御装置及びプログラム
CN106003043A (zh) * 2016-06-20 2016-10-12 先驱智能机械(深圳)有限公司 机械臂的避障方法及避障系统
JP6624139B2 (ja) * 2017-03-24 2019-12-25 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP7000870B2 (ja) * 2018-01-16 2022-01-19 株式会社豊田自動織機 無人搬送車およびその制御方法
JP2021170147A (ja) * 2018-06-22 2021-10-28 シャープ株式会社 走行装置、走行装置の制御方法、走行プログラムおよび記録媒体
CN110952489A (zh) * 2019-12-02 2020-04-03 长沙中联重科环境产业有限公司 基于机器视觉进行自跟随控制的环卫机器人
CN114489078B (zh) * 2022-01-27 2024-07-12 珠海一微半导体股份有限公司 基于相位检测的移动机器人避障方法、芯片和机器人

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298786A (ja) * 1998-04-10 1999-10-29 Olympus Optical Co Ltd 電子的撮像装置
JP4375320B2 (ja) * 2005-10-27 2009-12-02 株式会社日立製作所 移動ロボット
KR100735565B1 (ko) * 2006-05-17 2007-07-04 삼성전자주식회사 구조광을 이용한 물체 검출 방법 및 이를 이용한 로봇
JP4844459B2 (ja) * 2007-04-20 2011-12-28 トヨタ自動車株式会社 平面検出方法、及び移動ロボット
JP2009241247A (ja) * 2008-03-10 2009-10-22 Kyokko Denki Kk ステレオ画像型検出移動装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103194991A (zh) * 2013-04-03 2013-07-10 西安电子科技大学 智能机器人道路清理系统及清理方法
CN103194991B (zh) * 2013-04-03 2016-01-13 西安电子科技大学 智能机器人道路清理系统及清理方法

Also Published As

Publication number Publication date
JP2011145924A (ja) 2011-07-28

Similar Documents

Publication Publication Date Title
JP5071945B2 (ja) 移動装置及び方法
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
NL1024426C2 (nl) Werkwijze voor het detecteren van een merkteken voor plaatsbepaling voor een robotreiniger en een robotreiniger die de werkwijze gebruikt.
US8929608B2 (en) Device and method for recognizing three-dimensional position and orientation of article
JP6623044B2 (ja) ステレオカメラ装置
KR101395089B1 (ko) 장애물 감지 시스템 및 방법
US8209074B2 (en) Robot and method for controlling the same
US7646917B2 (en) Method and apparatus for detecting corner
US20210096250A1 (en) Imaging device and monitoring device
US20070058838A1 (en) Object position detecting apparatus, map creating apparatus, autonomous mobile apparatus, object position detecting method, and computer program product for object position detection
JP6450294B2 (ja) 物体検出装置、物体検出方法、及びプログラム
JP2007255977A (ja) 物体検出方法および物体検出装置
JP6699897B2 (ja) 撮像装置、自動制御システム及びシステム
JP2002250607A (ja) 物体検知センサ
US20190220025A1 (en) Method, system for obstacle detection and a sensor subsystem
JP6516012B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
CN111310554A (zh) 数字成像系统和图像数据处理方法
KR20160108153A (ko) 장해물 검출 장치 및 그것을 구비한 이동체
JP3882083B2 (ja) 測距装置
JP4067340B2 (ja) 対象物認識装置および対象物認識方法
JP6204782B2 (ja) オフロードダンプトラック
JP5248388B2 (ja) 障害物危険度算出装置、方法及びプログラム
CN113099120B (zh) 深度信息获取方法、装置、可读存储介质及深度相机
JP6701905B2 (ja) 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム
KR20210130478A (ko) 로봇 청소기 및 그 제어 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120730

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120815

R150 Certificate of patent or registration of utility model

Ref document number: 5071945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees