JPH1019581A - 走行制御データ認識装置 - Google Patents

走行制御データ認識装置

Info

Publication number
JPH1019581A
JPH1019581A JP8185301A JP18530196A JPH1019581A JP H1019581 A JPH1019581 A JP H1019581A JP 8185301 A JP8185301 A JP 8185301A JP 18530196 A JP18530196 A JP 18530196A JP H1019581 A JPH1019581 A JP H1019581A
Authority
JP
Japan
Prior art keywords
image
infinity
control data
camera
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8185301A
Other languages
English (en)
Other versions
JP3575921B2 (ja
Inventor
Satoko Ichijima
聡子 市島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP18530196A priority Critical patent/JP3575921B2/ja
Publication of JPH1019581A publication Critical patent/JPH1019581A/ja
Application granted granted Critical
Publication of JP3575921B2 publication Critical patent/JP3575921B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

(57)【要約】 【課題】 撮像した画像から無限遠点を高精度に検出
し、走行方向や通路上の位置を高精度に認識・制御でき
る走行制御データ認識装置を提供する。 【解決手段】 移動体に載置されたカメラの映像を画像
処理して、移動体の走行制御データを求める走行制御デ
ータ認識装置において、カメラ1の映像信号をデジタル
の画像データに変換するA/D変換手段3と、デジタル
信号に変換された画像データを格納する画像メモリ4
と、画像メモリに格納された画像データの処理及び計算
を行なって走行制御データを得る画像処理手段5とを設
け、画像処理手段が、画像データの無限遠線上の各画素
を始点とする放射線上の画素の明度値を加算し、その加
算値を基に無限遠点を検出して、カメラの向きを認識す
るように構成している。無限遠点を誤差を含まずに検出
することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ロボットや自動車
等に設置したカメラより得られる画像データを処理し
て、走行制御に必要なデータを認識する走行制御データ
認識装置に関し、特に、走行データを高精度に認識でき
るようにしたものである。
【0002】
【従来の技術】従来、ロボットの視覚に基づく走行制御
として、農業機会学会誌第54巻2号(1992)にお
いて述べられているように、沿目標移動、向目標移動、
走行者追尾等がある。沿目標移動は、床面の白線等のガ
イドラインをサインパターン(目印)とし、サインパタ
ーンが画面の一定位置に来るように走行を制御する。向
目標移動は、画面に存在する建物の入り口などをサイン
パターンとし、それに向かうように走行を制御する。走
行者追尾は、ロボットの進行方向に進む歩行者をサイン
パターンにして移動する定型行動である。
【0003】また、画像処理による自動車等の移動ロボ
ットの走行制御において、ロボットの走行方向と平行な
直線の交点より求められる画像の無限遠点(=消失点)
を検出し、この無限遠点に基づいて走行方向を認識・制
御する手法が数多く提案されている(特開平3−276
211、特開平5−173637、特開平5−1513
41など)。
【0004】そうした方法の一つでは、画像を走査する
ことにより、白線など、ロボットの走行方向に平行する
直線を検出し、その直線の交点により無限遠点を検出し
ている。また、他の方法では、Hough変換によりロ
ボットの走行方向と平行する直線を検出し、その直線の
交点により無限遠点を検出している。
【0005】
【発明が解決しようとする課題】しかし、このような直
線の交点より無限遠点を求める方法は、画像データに存
在するノイズにより直線の検出が困難であったり、検出
した直線に誤差が含まれたりするため、無限遠点を算出
することが難しく、また、無限遠点が得られた場合でも
正確さに欠けることが多かった。そのため、こうした方
法を用いる従来の走行制御データ認識装置では、カメラ
の向き、即ちロボットの走行方向や、ロボットの走路上
の位置などを正確に認識・制御することが困難であっ
た。
【0006】本発明は、こうした従来の問題点を解決す
るものであり、撮像した画像から無限遠点を正確に検出
し、それを基に走行方向や走路上の位置を正確に認識・
制御することができる走行制御データ認識装置を提供す
ることを目的としている。
【0007】
【課題を解決するための手段】そこで、本発明の走行制
御データ認識装置では、画像データの無限遠線上の各画
素を始点とする放射線上の画素の明度値を加算し、その
加算値のピークをもたらす放射線の始点を無限遠点とし
て認識している。
【0008】そのため、検出した直線の交点から無限遠
点を検出する場合と違って、誤差を減らすことができる
ので、ロボットの走行方向及びロボットの走路上の位置
など、走行制御に必要なデータを高精度に認識すること
ができる。
【0009】
【発明の実施の形態】本発明の請求項1に記載の発明
は、移動体に載置されたカメラの映像を画像処理して、
移動体の走行制御データを求める走行制御データ認識装
置において、カメラの映像信号をデジタルの画像データ
に変換するA/D変換手段と、デジタル信号に変換され
た画像データを格納する画像メモリと、画像メモリに格
納された画像データの処理及び計算を行なって走行制御
データを得る画像処理手段とを設け、画像処理手段が、
画像データの無限遠線上の各画素を始点とする放射線上
の画素の明度値を加算し、その加算値を基に無限遠点を
検出して、移動体の向きを認識するように構成したもの
であり、無限遠点を誤差を含まずに検出することがで
き、移動体の向きを正確に認識することができる。
【0010】請求項2に記載の発明は、画像処理手段
が、この加算値のピークをもたらす放射線の無限遠線上
の始点を無限遠点として認識し、無限遠点からその放射
線の傾きを持って延びる線を走路上の白線として認識す
るように構成したものであり、無限遠点を誤差を含まず
に検出し、それを基に走路上の白線を誤差を含まずに認
識することができる。
【0011】請求項3に記載の発明は、画像処理手段
が、画像データ上で認識した白線の位置を、イメージ座
標系から相対座標系に変換することによって、カメラの
走路上の位置を求めるように構成したものであり、走路
上の白線とカメラとの位置関係を正確に把握することが
できる。
【0012】請求項4に記載の発明は、画像処理手段
が、極座標変換を行なって、無限遠線上の各画素を始点
とする放射線上の画素の明度値を加算するように構成し
たものであり、放射線上の画素の明度値の加算を簡単に
行なうことができる。
【0013】以下、本発明の実施の形態について、図面
を用いて説明する。
【0014】(実施の形態)実施形態の走行制御データ
認識装置は、図1に示すように、ロボット前面に進行方
向に向くように取り付けられるカメラ部1と、カメラ部
1からの映像信号をデジタルの画像データに変換するA
/D変換部3と、画像データを格納する画像メモリ部4
と、画像メモリ部4に格納された画像データからロボッ
トの走行方向及びロボットの走路上の位置を認識する画
像処理部5と、画像処理部5の認識結果である走行デー
タを伝送する結果伝送部6と、伝送された走行データを
基にロボットの走行を制御する走行制御部7と、装置全
体の動作を制御する全体制御部2とを備えている。
【0015】図2(a)は、ロボットに、この走行制御
データ認識装置を取り付けた状態を示しており、また、
図2(b)は、自動車にこの装置を取り付けた状態を示
している。この図において、8はカメラ部1であり、9
は、A/D変換部3、画像メモリ部4、画像処理部5、
結果伝送部6、走行制御部7及び全体制御部2を収めた
走行制御装置である。
【0016】次に、この実施形態の走行制御データ認識
装置の動作について説明する。カメラ部1は、走行方向
前方の映像を撮影し、この映像信号は、A/D変換部3
でデジタル信号に変換されて、画像メモリ部4に格納さ
れる。画像処理部5は、画像メモリ部4に格納された画
像データを用いて、後述する方法でロボットの走行して
いる向きや走路上の位置を認識する。この認識結果(走
行データ)は、結果伝送部6を通じて走行制御部7に送
られ、走行制御部7は、走行データを基に、ロボットの
走行を制御する。
【0017】次に、画像処理部5の動作について説明す
る。いま、ロボットに装着されたカメラ1が、図3に示
すように、左右両側に平行する白線13、14が描かれた走
路上に位置しているものとする。
【0018】カメラ1のレンズ中心を原点とし、原点を
通り、道路面に平行で白線13、14と垂直な軸をX軸、原
点を通り、道路面に垂直な軸をY軸、原点を通り、道路
面に平行で白線13、14と平行な軸をZ軸とする相対座標
系を想定する。
【0019】カメラ1の向き11、即ち、ロボットの進行
方向は、Z軸に対してθの角度を有している。Z軸に対
して右回りを+、左回りを−として、θは−90°≦θ
≦90°の範囲にある。相対座標系における左側白線13
のX座標をXL 、右側白線14のX座標をXR とする。画
像処理部4は、画像データを処理することによって、こ
のθ、XL 及びXR を認識することになる。
【0020】図4に示すように、カメラ1の俯角12がφ
であり、カメラ1の道路面からの高さがHであるとす
る。また、カメラ1の焦点距離をfとする。
【0021】画像処理に用いる座標系として、図5
(a)に示すように、画像の中心を原点とし、横軸をx
軸、縦軸をy軸とするイメージ座標系を設定する。xの
値はxmax からxmin まで取ることができ、yの値はy
max からymin まで取ることができる。
【0022】画像の無限遠線は、イメージ座標系におい
て、カメラの俯角をφとすると、 yf =fv・tanφ となる。ここで、fv は垂直画素に換算した焦点距離で
ある。図5(b)には、この無限遠線16を図示してい
る。また、図6には、無限遠線16とカメラの画像とを合
わせて表示している。
【0023】図6に示すように、無限遠点15は、この無
限遠線16上にある。無限遠線16上の一点を始点とする放
射線(但し、無限遠線16より下側の放射線に限る)上の
画素の明るさ(明度値)を各放射線ごとに加算し、この
操作を、無限遠線16上の点を順次ずらしながら行なう
と、この放射線の明度値の加算値は、放射線が無限遠点
15を始点とし、道路上の白線13、14に重なるときに最大
となる。この明度値の加算を求めるため、無限遠線上の
各画素を始点とする極座標変換を行なう。この変換式
は、C言語の表現を用いて、次式によって表すことがで
きる。
【0024】 ここで、for文は繰り返し処理を表しており、for(xi=
min;xi<xmax;xi++)は、xi をxmin からxmax
1まで、xi を1ずつインクリメント(xi++)しなが
ら繰り返し処理することを表している。また、for(yk=
f-1;yk>ymin;yk--)は、ykをyf−1からymin
1まで、ykを1ずつデクリメント(yk--)しながら繰
り返し処理することを表しており、ここでは、yについ
ての処理をy<fv・tanφの範囲に限定している。
(1)式は、無限遠線上の座標(xi,yf)及び画素
(xj,yk)を結ぶ直線とx軸とのなす角aを求める式で
ある。(2)式は、無限遠線上の画素(xi,yf)を始点
とし、x軸とのなす角がaである放射線上の画素の明度
値img[xj][yk]を加算する式である。
【0025】図6より、無限遠点15を始点として、白線
13、14と重なる放射線上に存在する画素の明度値を合計
した値が、明度値の加算値におけるピークを与えること
が分かる。従って、B[x][a]のピークを与えるxf
無限遠点のx座標であり、また、そのときのxf,aに
より、白線13、14を検出することができる。
【0026】xf が検出できると、カメラ1の向き、即
ち、ロボットの進行方向θは次式で算出できる。
【0027】 θ=tan-1(xf/fh) (3) xf:無限遠点のx座標 fh:水平画素に換算した焦点距離 また、白線13、14間を走行しているロボットに設置した
カメラからの画像における白線は、左側白線13が上り勾
配、右側白線14が下り勾配という特徴がある(図6参
照)。また、時系列画像の場合、前フレームにおける処
理結果により現フレームのx及びaの範囲が限定でき
る。このような特徴を利用することによってより確実に
白線及び無限遠点を検出することができる。
【0028】次に、以上の方法で検出した白線及び無限
遠点の座標より、ロボットの通路上の位置を認識する方
法について説明する。ロボットの通路上の位置は、相対
座標系における白線のX座標から求める。
【0029】まず、上述した手法で求めたxf 、aL
R から、左右両白線13、14のy座標最小値ymin にお
けるイメージ座標xL’、xR’を次式によって求める。
ここで、aL 、aR は、上述した手法で求めた左側白線
13及び右側白線14とx軸とのなす角度である。
【0030】 ymin=tan(a)×(x−xi)+yfL' =xf+(ymin −yf)/tan(aL) xR' =xf+(ymin −yf)/tan(aR) (4)
【0031】ここで、相対座標系とイメージ座標系との
関係を説明する。相対座標系の座標とイメージ座標系の
座標との間では、次の関係が成り立つ。
【0032】 X/x=Y/y=Z/f (5) この関係から、 −H/ymin=Z/fv X’/x’=Z/fh (6) が得られる。ここで、fh 、fv は水平及び垂直画素に
換算した焦点距離[pixel]であり、Hはカメラ高さであ
り、x’は白線13、14のy座標最小値ymin におけるイ
メージ座標であり、X’は、x’に対応する相対座標系
の座標(図3のXL'、XR')である。式(6)を変形し
て、xL'、xR'に対応する相対座標系の座標XL'、XR'
を次式(7)のように表すことができる。
【0033】 XL’=−fv・xL’・H/fh・yminR’=−fv・xR’・H/fh・ymin (7) 式(4)から求めたxL'、xR'を式(7)に代入するこ
とにより、左右白線の相対座標XR'、XL'が得られる。
【0034】相対座標系において白線13、14のX座標を
表すXR 、XL の値は、このXR'、XL'を次の射影変換
の式(8)に代入することによって求めることができ
る。
【0035】 XL=XL'cosθ+Zsinθ XR=XR'cosθ+Zsinθ (8) 但し、Z=−fv・H/ymin 従って、ロボットの位置Xp は、基準点を設けることに
より、XL またはXRから求めることができる。
【0036】このように、実施形態の走行制御データ認
識装置の画像処理部5では、簡単なプロセスで無限遠点
や白線を検出することができる。この方法は、画面走査
やHough変換で求めた直線の交点から無限遠点を検
出する方法に比べて、検出誤差を低減させることができ
る。
【0037】
【発明の効果】以上の説明から明らかなように、本発明
の走行制御データ認識装置は、無限遠点の検出誤差を減
らすことができ、その結果、ロボットの向き、走路上の
位置など走行に必要なデータをより高精度に出力するこ
とができる。従って、細かい動作を必要とするロボット
の走行制御に大いに役立てることができる。
【図面の簡単な説明】
【図1】本発明の実施形態の走行制御データ認識装置の
構成を示すブロック図、
【図2】実施形態の走行制御データ認識装置の取付例、
【図3】実施形態の走行制御データ認識装置の画像処理
説明用の相対座標系、
【図4】実施形態の走行制御データ認識装置のカメラの
俯角を示す図、
【図5】実施形態の走行制御データ認識装置の画像処理
説明用のイメージ座標系、
【図6】実施形態の走行制御データ認識装置で得られる
画像の一例である。
【符号の説明】
1 カメラ部 2 全体制御部 3 A/D変換部 4 画像メモリ部 5 画像処理部 6 結果伝送部 7 走行制御部 11 カメラの向き 12 カメラの俯角 13、14 白線 15 無限遠点 16 無限遠線
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 1/00 G06F 15/62 380

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 移動体に載置されたカメラの映像を画像
    処理して、前記移動体の走行制御データを求める走行制
    御データ認識装置において、 カメラの映像信号をデジタルの画像データに変換するA
    /D変換手段と、 デジタル信号に変換された前記画像データを格納する画
    像メモリと、 前記画像メモリに格納された画像データの処理及び計算
    を行なって走行制御データを得る画像処理手段とを備
    え、前記画像処理手段が、画像データの無限遠線上の各
    画素を始点とする放射線上の画素の明度値を加算し、そ
    の加算値を基に無限遠点を検出して、前記移動体の向き
    を認識することを特徴とする走行制御データ認識装置。
  2. 【請求項2】 前記画像処理手段が、前記加算値のピー
    クをもたらす放射線の無限遠線上の始点を無限遠点とし
    て認識し、前記無限遠点から前記放射線の傾きを持って
    延びる線を走路上の白線として認識することを特徴とす
    る請求項1に記載の走行制御データ認識装置。
  3. 【請求項3】 前記画像処理手段が、画像データ上で認
    識した白線の位置を、イメージ座標系から相対座標系に
    変換することによって、前記カメラの走路上の位置を求
    めることを特徴とする請求項1または2に記載の走行制
    御データ認識装置。
  4. 【請求項4】 前記画像処理手段が、極座標変換を行な
    って、前記無限遠線上の各画素を始点とする放射線上の
    画素の明度値を加算することを特徴とする請求項1に記
    載の走行制御データ認識装置。
JP18530196A 1996-06-27 1996-06-27 走行制御データ認識装置 Expired - Fee Related JP3575921B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP18530196A JP3575921B2 (ja) 1996-06-27 1996-06-27 走行制御データ認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18530196A JP3575921B2 (ja) 1996-06-27 1996-06-27 走行制御データ認識装置

Publications (2)

Publication Number Publication Date
JPH1019581A true JPH1019581A (ja) 1998-01-23
JP3575921B2 JP3575921B2 (ja) 2004-10-13

Family

ID=16168469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18530196A Expired - Fee Related JP3575921B2 (ja) 1996-06-27 1996-06-27 走行制御データ認識装置

Country Status (1)

Country Link
JP (1) JP3575921B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217447A (ja) * 2005-02-07 2006-08-17 Yazaki Corp 車両用表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006217447A (ja) * 2005-02-07 2006-08-17 Yazaki Corp 車両用表示装置

Also Published As

Publication number Publication date
JP3575921B2 (ja) 2004-10-13

Similar Documents

Publication Publication Date Title
US8380382B2 (en) Unmanned transport apparatus and operating method thereof
JP3759429B2 (ja) 障害物検出装置及びその方法
US8508527B2 (en) Apparatus and method of building map for mobile robot
US6546118B1 (en) Image processing apparatus for vehicle
JPH10208047A (ja) 車載用走行環境認識装置
US10679388B2 (en) Image processing apparatus, device control system, imaging apparatus, and recording medium
WO2008044592A1 (en) Mobile object recognizing device, mobile object recognizing method, and computer program
JP2013008070A (ja) 標識認識装置及び標識認識方法
JP3849505B2 (ja) 障害物監視装置及びプログラム
JP3709879B2 (ja) ステレオ画像処理装置
WO2012011715A2 (ko) 차량 충돌 경보 시스템 및 방법
JP2000293693A (ja) 障害物検出方法および装置
JP4256992B2 (ja) 障害物検出装置
US11054245B2 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
JPH0973545A (ja) 白線認識装置
JP2007233440A (ja) 車載用画像処理装置
JP3575921B2 (ja) 走行制御データ認識装置
JP2004185425A (ja) レーンマーク識別方法及び装置
JP3366135B2 (ja) 走行方向制御装置
JP2001074444A (ja) 撮像装置の設置姿勢パラメータ自動抽出方法及び撮像装置を用いた監視システム
JP4106163B2 (ja) 障害物検出装置及びその方法
JP3220578B2 (ja) 道路画像の白線認識装置
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム
JPH09178855A (ja) 障害物検出方法
JP4055785B2 (ja) 移動物体の高さ検出方法及び装置並びに物体形状判定方法及び装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees