JPH10177414A - 天井画像による走行状態認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 構内を走行する移動体に設置したカメラで天
井を撮影した画像を処理して、移動体の走行状態を認識
し、移動体の自律走行を行なう。 【解決手段】 天井を向けて移動体に取付けられたカメ
ラ部１からの映像信号を、Ａ／Ｄ変換部３でデジタルの
画像データに変換して、画像メモリ部４に格納する。画
像処理部５で画像データを処理して、走路と平行な直線
成分を検出することにより、移動体の進行方向、走路上
の位置を認識する。また、天井に設置したマークを検出
することにより、移動体の絶対位置を認識する。画像処
理部５の認識結果を結果伝送部６で移動体全体制御部７
に伝送し、進行方向、位置などの走行状態データをもと
に移動体の走行制御を行なう。画像センサ全体は、画像
センサ全体制御部２で制御する。通路の天井の配管や目
地から、移動体が進行すべき方向の直線成分を検出し、
直線成分から移動体の進行方向と通路横幅方向の位置を
認識し、天井のマークを検出して現在地を認識すること
により、移動体の自律走行ができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、移動ロボットなど
構内を走行する移動体に設置したカメラより得られる画
像データを処理して走行制御に必要な情報を得て、方向
や位置を認識する走行状態認識装置に関し、特に、天井
の配管などの方向を極座標変換を用いて検出して、走行
状態を高速、高精度に認識できる走行状態認識装置に関
する。

【０００２】

【従来の技術】従来、移動体の視覚に基づく走行制御と
して、農業機械学会誌第54巻２号(1992)において述べら
れているように、沿目標移動、向目標移動、走行者追尾
等がある。沿目標移動は、床面の白線等のガイドライン
をサインパターン（目印）とし、サインパターンが画面
の一定位置にくるように走行を制御する。向目標移動
は、画面に存在する建物の入り口などをサインパターン
とし、それに向かうように走行を制御する。走行者追尾
は、ロボットの進行方向に進む歩行者をサインパターン
にして移動する定型行動である。

【０００３】また、画像処理による移動体の走行制御に
おいて、移動体の走行方向と平行な直線の交点より求め
られる画像の無限遠点（＝消失点）を検出し、この無限
遠点に基づいて走行方向を認識・制御する手法が数多く
提案されている。

【０００４】そうした方法のひとつでは、画像を走査す
ることにより、白線など、移動体の走行方向に平行する
直線を検出し、その直線の交点により無限遠点を検出し
ている。また、他の方法では、Hough変換により、移動
体の進行方向と平行な直線を検出し、その直線の交点に
より無限遠点を検出している。

【０００５】以上の手法は、移動体の進行方向に向けて
カメラを設置した場合である。このような場合、カメラ
の前面に人などの障害物が存在する場合、検出すべき対
象が隠されてしまい認識不可能になる場合が多い。

【０００６】また、本発明と同様にカメラを天井に向け
て設置した場合の走行制御法も報告されている。特開平
6-4127号において、天井蛍光燈を利用した移動体走行制
御がそれである。天井面を撮影した像について、各画素
のグレイレベルによって重み付けをしながら、撮影した
画像の形状を最小二乗法により直線で近似する。その直
線の傾きから移動体の進行方向が得られ、像の重心から
蛍光燈の位置を認識するというものである。

【０００７】天井に向けてカメラを設置する場合、障害
物のため認識不可能になる場合は極めて少なく、天井の
既存の対象物を検出することによって走行状態を認識す
ることができるという利点がある。また、マークを設置
し、それを検出することによって、移動体の走行地点も
認識することができる。

【０００８】

【発明が解決しようとする課題】カメラを移動体の進行
方向に向けて設置する場合、カメラ前方に存在する、人
などの障害物の影響を避けることは、移動体が障害物の
無い環境を走行する以外は困難であった。また、カメラ
を天井に向けて設置し、蛍光燈を利用することにより、
移動体の走行状態を認識する方法では、蛍光燈の連続性
や形状によって、常に高精度な走行状態を認識すること
は困難である。また、直線検出の手法としてHough変換
や最小二乗法が用いられることが多いが、Hough変換は
精度は高いが、計算数が多いため処理時間がかかり、最
小二乗法は、計算量は少ないがノイズに影響されるとい
う問題点があった。また、移動体の走行距離は車輪に設
置したエンコーダによって認識していたが、走行距離が
長い場合や、車輪の磨耗、車輪に付着したゴミなどによ
って、誤差を生じることがあった。

【０００９】

【課題を解決するための手段】そこで、本発明の走行状
態認識装置では、カメラを天井に向けて設置し、天井の
配管や目地など移動体が進行すべき方向と平行な直線成
分上の数点を、前記直線成分の特徴量（幅、微分値）を
もとにプロジェクション処理ならびに微分処理によって
検出し、さらにこれらの点を極座標変換し、それらの中
間値を求めることにより直線成分を検出する。本発明に
よるとノイズの影響を除去することができ、Hough変換
に匹敵する高精度な直線成分が高速に検出でき、高精度
な走行状態を認識することができる。

【００１０】また、車輪エンコーダの出力をもとに、マ
ーク設置地点付近でマーク検出処理を施し、マークを検
出することによって、移動体が走行している地点を正確
に認識することができる。

【００１１】

【発明の実施の形態】本発明の請求項１に記載の発明
は、移動体に上向きに設置されたカメラの映像を画像処
理して、前記移動体の進行方向および走路上の位置を求
める走行状態認識装置において、カメラの映像信号をデ
ジタルの画像データに変換するＡ／Ｄ変換手段と、デジ
タル信号に変換された前記画像データを格納する画像メ
モリと、前記画像メモリに格納された画像データの処理
および計算を行なって走行状態データを得る画像処理手
段を備え、前記画像処理手段が、移動体の進行すべき方
向に平行な直線成分を画像データより極座標変換を用い
て検出する手段と、前記直線成分を用いて移動体の進行
方向を認識する手段とを具備するものであり、画像デー
タのプロジェクション処理、微分処理、ノイズ除去処理
によって、移動体の進行すべき方向と平行な直線成分を
検出することにより、移動体の進行方向を高精度に認識
することができるという作用を有する。

【００１２】請求項２に記載の発明は、前記画像処理手
段が、前記直線成分を用いて移動体の走路上の横方向の
位置を認識する手段を具備するものであり、通路中央の
配管などから移動体までの距離と方向を求めて、移動体
の通路横幅方向の位置を高精度で認識できるという作用
を有するものである。

【００１３】請求項３に記載の発明は、前記画像処理手
段が、天井に設置したマークを検出する手段と、前記マ
ークを用いて移動体の現在地を認識する手段とを具備す
るものであり、天井に設置したマークを検出することに
よって、移動体が走行している地点を正確に認識するこ
とができるという作用を有するものである。

【００１４】以下、本発明の実施の形態について、図面
を用いて説明する。

【００１５】（第１の実施の形態）本発明の第１の実施
の形態は、天井の配管の方向を検出して移動体の進行方
向を認識する走行状態認識装置である。

【００１６】第１の実施形態の走行状態認識装置は、図
１に示すように、上向きに天井を向くように移動体に取
付けられたカメラ部１と、カメラ部１からの映像信号を
デジタルの画像データに変換するＡ／Ｄ変換部３と、画
像データを格納する画像メモリ部４と、画像メモリ部４
に格納された画像データから移動体の進行方向、走路上
の位置、およびマークを検出し移動体の現在地を認識す
る画像処理部５と、画像処理部５の認識結果である走行
状態データを伝送する結果伝送部６と、伝送された走行
状態データをもとに移動体の走行制御を行なったり、移
動体全体の動作を制御する移動体全体制御部７と、画像
センサ全体の動作を制御する画像センサ全体制御部２と
を備えている。

【００１７】図２は、移動体に、この走行状態認識装置
を取付けた状態を示している。８はカメラ部１であり、
９は、Ａ／Ｄ変換部３と、画像メモリ部４と、画像処理
部５と、結果伝送部６と、走行制御部７および全体制御
部２を収めた走行制御装置である。

【００１８】次に、画像処理部５の動作について説明す
る。天井に配管が取付けられている通路を移動体が走行
する時、移動体に設置されたカメラより得られる画像の
一例は、図３のようになる。この画像より配管を検出
し、移動体の位置と方向を算出する。配管が複数ある場
合に、どの配管を選択して検出対象とするかは、配管の
配列状態（例えば３本の配管のうち中央の配管を選択す
る）や配管の太さ（例えば最も太い配管を選択する）に
よって決定すればよい。

【００１９】図３のように、天井の中央に太さの異なる
配管10がある場合、この配管10を検出することによっ
て、容易に走行状態を認識できる。ここでは、図３のよ
うな画像データより配管を検出し、走行状態を認識する
方法について述べる。

【００２０】図４は、本発明で用いる座標系である。12
（ｘ，ｙ）は、カメラの中心を原点とするカメラ座標
系、13（Ｘ，Ｙ）は、通路の中央を原点とし、通路と垂
直に交わる軸をＸ軸、通路と平行な軸をＹ軸とする相対
座標系である。14は、移動体の進行方向θで、相対座標
系のＹ軸とのずれ角で表され、右回りを＋、左回りを−
とする。

【００２１】まず、配管の検出を行なう。図５は、プロ
ジェクション処理を行なうために破線で示すような小領
域に分割した画像データである。図５の15に示すように
処理座標系（ｘ_i，ｙ_i）を設定する。処理座標系
（ｘ_i，ｙ_i）は、前回検出した配管の方向に合わせて設
定すれば、ほぼ配管の方向と一致した座標系が設定でき
る。前回の配管の方向が不明であれば、移動体の進行方
向に合わせて座標系を設定すればよい。この小領域ごと
にｙ_i方向に画像データを足し込むと図６のようにな
る。図６のデータに、１次元sobelオペレータなどの微
分オペレータをかけると、図７のようになる。ここで、
目的のエッジペアの幅、微分値（暗→明、明→暗、大き
さ）などからエッジが検出でき、エッジの中点を配管の
中点とする。この操作を各小領域で行なって検出した配
管の中点を第８図に示す。

【００２２】次に、配管の傾きを算出する。検出した配
管の全ての中点の任意の２点ｐ_i(ｘ_i,ｙ_i)、ｐ_j(ｘ_j,ｙ
_j)を結ぶ線分がｘ軸となす角度α_ijを以下の計算式 α_ij＝tan^-1((ｙ_i−ｙ_j)／(ｘ_i−ｘ_j)) （ｘ_i≠ｘ_jのとき）、または α_ij＝90° （ｘ_i＝ｘ_jのとき） により計算し、0°〜179°の度数を配列に格納する。配
管の中点がｎ個の場合、２点間の線分の傾斜角度の計算
回数は、n(n−1)／2回となる。これらの計算値｛α_ij｝
のうち、中間値（β＝α_med）を選択することにより、
図９のｐ₃、ｐ₈のようなノイズデータの影響を避けるこ
とができる。

【００２３】次に、配管の式を求める。図10に示すよう
に、極座標変換により、配管の各中点ｐ_i(ｘ_i,ｙ_i)を通
る傾きβの直線と原点との距離 ρ_i＝ｘ_i・cosθ＋ｙ_i・sinθ （ただし、θ＝90°−
β） を求め、｛ρ_i｝の中間値ρ_medをρとすると、配管の式
は、 ρ＝ｘ・cosθ＋ｙ・sinθ となる。

【００２４】このようにして、移動体の進行方向とのず
れ角は、右回りを正とすると、図11より、θで与えられ
る。

【００２５】（第２の実施の形態）本発明の第２の実施
の形態は、天井の配管から移動体の通路の横幅方向の位
置を検出する走行状態認識装置である。

【００２６】図12、図13に従って、移動体の通路横幅方
向の位置を認識する方法について述べる。前述した配管
検出において、通路中央の配管の式が、 ρ＝ｘ・cosθ＋ｙ・sinθ であるとき、図12より、画像の中心（ｘ₀,ｙ₀）を通
り、配管すなわち通路に平行な直線 ρ₀＝ｘ・cosθ＋ｙ・sinθ を想定することによって移動体の横方向位置を計算す
る。ここで移動体の横方向位置は、図４で示した相対座
標系（Ｘ，Ｙ）における、移動体に設置したカメラの中
心のＸ座標である。

【００２７】まず、図12のｄを次式 ｄ＝ρ−ρ₀ で求める。ｄを移動体の（ｘ，ｙ）座標の成分（ｄ・cos
θ，ｄ・sinθ）に分解し、図13に示す実空間の成分 （Ｄ_x，Ｄ_y）＝（Ａ_x・ｄ・cosθ，Ａ_y・ｄ・sinθ） （ここで、Ａ_x，Ａ_yは、天井の高さやレンズの焦点距離
などにより決まる、画面上の距離と実際の距離との比を
表わす係数である。）に変換する。これを次式 Ｄ＝√(Ｄ_x ²＋Ｄ_y ²） （ｄ＜０） Ｄ＝−√(Ｄ_x ²＋Ｄ_y ²) （ｄ≧０） に代入することにより、移動体の実空間の座標Ｘ＝Ｄ、
すなわち通路の中心からの距離を求めることができる。
配管が通路の中央にない場合は、配管の位置を予め記憶
させておいて補正すればよい。

【００２８】（第３の実施の形態）本発明の第３の実施
の形態は、天井に設置されたマークから移動体の位置を
検出する走行状態認識装置である。

【００２９】図14、図15に従って、天井に設置したマー
クより、移動体の現在地を認識する方法について述べ
る。移動体の車輪に設置したエンコーダより、移動体の
走行距離が分かる。走行距離に基づいて、目的地点の天
井に付けたマークの検出地点を認識することができる。
移動体は、エンコーダの出力をもとに、マーク検出地点
で停止し、移動体全体制御部７より、画像センサ全体制
御部２に、マーク検出処理要求を送信する。それを受信
した画像センサ全体制御部２は、マーク検出処理を開始
する。図14の16に、マークの一例を示す。マークは、移
動体が回転した時にも検出が容易なように上下左右対象
なものとする。

【００３０】マークは、あらかじめモデルとしてメモリ
に登録されていて、画像データから抜き出したマーク
を、検出すべきモデルと照合して合致した場合、マーク
の位置を算出する。マークの照合方法は、テンプレート
マッチングおよび正規化相関など既存の処理を用いれば
よい。

【００３１】図15に示すように、画像データから抜き出
したマークの座標を（ｘ_m,ｙ_m）とし、カメラレンズ中
央とマークとの水平距離をＸ_m、垂直距離をＹ_mとする
と、移動体とマークの位置関係は、次式 Ｘ_m＝Ａ_x・ｘ_m、Ｙ_m＝Ａ_y・ｙ_m （ただし、Ａ_x,Ａ_y：水
平、垂直方向の係数） のようになる。Ｘ_m、Ｙ_mおよび、ずれ角θを用いること
によって、移動体の現在地点を認識することができる。
マークの（Ｘ，Ｙ）座標を（Ｘ₀，Ｙ₀）とすると、移動
体の（Ｘ，Ｙ）座標は、 Ｘ＝−Ｘ_m・cosθ−Ｙ_m・sinθ＋Ｘ₀、 Ｙ＝Ｘ_m・sinθ−Ｙ_m・cosθ＋Ｙ₀ となる。この情報は、右折、左折、回転、待機、荷役な
ど、移動体の動作開始地点であることの指示として応用
することができる。複数種類のマークを使用すれば、マ
ークに応じた動作をさせることができる。所定距離ごと
にマークを設けておけば、車輪エンコーダの誤差を修正
することができ、移動体の走行位置を正確に把握するこ
とができる。

【００３２】

【発明の効果】以上の説明から明らかなように、本発明
の天井画像による走行状態認識装置は、天井の配管など
から、移動体が進行すべき方向と平行な直線成分を検出
することにより、移動体の進行方向のずれ角、通路上の
横方向位置を認識することができ、さらに、天井に設置
されたマークを検出することによって、移動体の正確な
位置や、右左折や待機などの動作を開始する地点を容易
に認識することができる。

【００３３】また、プロジェクション処理、微分処理、
極座標変換処理、中間値選択処理により、天井画像から
直線成分を検出するので、認識処理の計算量が少なく高
速であり、ノイズが除去されるので高精度の認識ができ
る。

【００３４】従来の、走行路上に磁気テープなどを貼っ
て移動体を誘導する手法と比較すると、天井の配管など
既存物を利用することができるので、誘導のための磁気
テープなどを設置する必要がなく、設備が少なくてすむ
という利点がある。また、移動体以外の設備のメンテナ
ンスがほとんど必要ないという利点がある。

【図面の簡単な説明】

【図１】本発明の第１、２、３の実施形態の天井画像に
よる走行状態認識装置の構成を示すブロック図、

【図２】第１、２、３の実施形態の天井画像による走行
状態認識装置の取付例の図、

【図３】第１、２の実施形態の移動体に設置されたカメ
ラより得られる画像の一例を示す図、

【図４】第１、２、３の実施形態の天井画像による走行
状態認識装置で用いる座標系を示す図、

【図５】第１の実施形態のプロジェクション処理説明用
の画像データの図、

【図６】第１の実施形態のプロジェクション処理説明
図、

【図７】第１の実施形態の微分処理説明図、

【図８】第１の実施形態の配管検出説明図、

【図９】第１の実施形態の配管検出説明図、

【図１０】第１の実施形態の配管検出説明図、

【図１１】第１の実施形態のずれ角算出説明図、

【図１２】第２の実施形態の位置算出説明用の画像面の
図、

【図１３】第２の実施形態の位置算出説明用の鳥瞰図、

【図１４】第３の実施形態のマークの一例の図、

【図１５】第３の実施形態のマークの位置算出説明図で
ある。

【符号の説明】

１ カメラ部 ２ 画像センサ全体制御部 ３ Ａ／Ｄ変換部 ４ 画像メモリ部 ５ 画像処理部 ６ 結果伝送部 ７ 移動体全体制御部 ８ カメラ部 ９ 走行制御装置 10 配管 11 配管 12 カメラ座標系 13 相対座標系 14 移動体の進行方向θ 15 処理座標系

Claims (3)

【特許請求の範囲】
1. 【請求項１】 移動体に上向きに設置されたカメラの映
   像を画像処理して、前記移動体の進行方向および走路上
   の位置を求める走行状態認識装置において、カメラの映
   像信号をデジタルの画像データに変換するＡ／Ｄ変換手
   段と、デジタル信号に変換された前記画像データを格納
   する画像メモリと、前記画像メモリに格納された画像デ
   ータの処理および計算を行なって走行状態データを得る
   画像処理手段を備え、前記画像処理手段が、移動体の進
   行すべき方向に平行な直線成分を前記画像データから極
   座標変換を用いて検出する手段と、前記直線成分を用い
   て移動体の進行方向を認識する手段とを具備することを
   特徴とする天井画像による走行状態認識装置。
2. 【請求項２】 前記画像処理手段が、前記直線成分を用
   いて移動体の走路上の横幅方向の位置を認識する手段を
   具備することを特徴とする請求項１記載の天井画像によ
   る走行状態認識装置。
3. 【請求項３】 前記画像処理手段が、天井に設置したマ
   ークを検出する手段と、前記マークを用いて移動体の現
   在地を認識する手段とを具備することを特徴とする請求
   項１記載の天井画像による走行状態認識装置。