JPH0566830A

JPH0566830A - 移動車の環境認識装置

Info

Publication number: JPH0566830A
Application number: JP3254620A
Authority: JP
Inventors: Shoichi Maruya; 祥一丸屋
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 1991-09-05
Filing date: 1991-09-05
Publication date: 1993-03-19

Abstract

(57)【要約】【目的】障害物の認識をより迅速に行うことのできる
移動車の環境認識装置を提供する。【構成】走行路面１００を走行中の移動車には、撮像
手段１０が搭載される。撮像手段１０は、走行路面１０
０上の所定領域１１０の画像を光学系２０を介して撮像
する。所定領域１１０内のすべての点が、撮像手段１０
の撮像面１１に鮮明に結像するように、この撮像系の焦
点調節がなされる。所定領域１１０内に障害物がなけれ
ば、撮像面１１には焦点が合った鮮明な像が得られる。
障害物２００が存在すると、焦点が合わなくなるため、
撮像面１１上にピンボケ像が得られる。撮像面１１に得
られた像について、エッジ抽出を行い、抽出したエッジ
について焦点合致度の低い部分を抽出することにより、
障害物２００の認識ができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は移動車の環境認識装置、
特に、ＣＣＤカメラなどの画像入力手段を用いた移動車
の環境認識装置に関する。

【０００２】

【従来の技術】自律走行車などでは、路上前方の障害物
を迅速に認識することが必要になる。このような障害物
を認識するための環境認識装置は、通常、ＣＣＤカメラ
などの撮像装置と、この撮像装置で入力した画像から障
害物を認識する処理を行う演算処理装置と、によって構
成されている。たとえば、特開昭６４−２６９１３号公
報には、障害物を走行路の縁に沿った領域帯として認識
し、障害物への衝突を回避する技術が開示されている。

【０００３】

【発明が解決しようとする課題】一般に、撮像装置によ
って入力した二次元画像に基づいて、立体障害物の存在
を認識する手法は、複雑なアルゴリズムに基づく演算が
必要となる。このため、演算処理量は膨大なものとな
り、演算処理時間も長くかかることになる。ところが、
移動車は常に走行を続けており、障害物の認識に時間が
かかると、障害物への衝突を回避することが困難にな
る。

【０００４】そこで本発明は、障害物の認識をより迅速
に行うことのできる移動車の環境認識装置を提供するこ
とを目的とする。

【０００５】

【課題を解決するための手段】本発明は、移動車の環境
認識装置において、移動車の走行路面の所定領域の画像
を入力するための撮像手段を、この所定領域内の各部に
対して焦点が合うように設置し、撮像手段で入力した画
像のエッジを抽出するエッジ抽出手段と、検出したエッ
ジのうち焦点合致度の低い部分を抽出する部分抽出手段
と、を設け、部分抽出手段によって抽出された部分によ
り、立体障害物の存在を認識できるようにしたものであ
る。

【０００６】

【作用】本発明による移動車の環境認識装置では、撮
像手段は走行路面の所定領域内の各部に対して焦点が合
うように設置される。したがって、走行路面上の所定領
域内に、何ら立体障害物が存在しない場合には、撮像手
段で入力した画像は各部において焦点が合った画像とな
る。ところが、所定領域内に立体障害物が存在すると、
撮像手段の焦点は走行路面に合わせてあるため、この立
体障害物の画像については焦点が合わなくなり、エッジ
部分がピンボケになる。そこで、撮像手段が入力した画
像について、エッジを検出し、このエッジについての焦
点合致度を調べれば、立体障害物の認識を行うことがで
きる。すなわち、焦点合致度の低いエッジで囲まれた部
分が立体障害物であると認識することができる。上述の
エッジ抽出処理や焦点合致判定処理は、比較的単純な演
算によって行うことができるため、障害物の認識処理を
迅速に行うことができる。

【０００７】

【実施例】以下、本発明を図示する実施例に基づいて説
明する。図１は、本発明に係る移動車の環境認識装置の
基本原理を示す図である。いま、走行路面１００上を走
行中の移動車に、撮像手段１０（たとえば、ＣＣＤカメ
ラ）を搭載し、走行路前方の所定領域１１０（太線で示
した部分）の画像を入力する場合を考える。すなわち、
光学系２０によって所定領域１１０の画像を撮像手段１
０の撮像面１１に投影する。このとき、所定領域１１０
の全領域にわたって存在するすべての微小部分につい
て、撮像面１１上に焦点が合うような理想的な光学系２
０を用意したとする。すなわち、走行路面１００の平面
内の所定領域１１０内に存在するすべての点は、撮像面
１１上に鮮明に像を結ぶことになる。より具体的に説明
すると、走行路面１００上の点Ｒ１は、撮像面１１上の
点Ｑ１に鮮明な像を結び、走行路面１００上の点Ｒ２
は、撮像面１１上の点Ｑ２に鮮明な像を結ぶことにな
り、走行路面１００上の点Ｒ１〜Ｒ２の間の各点は、撮
像面１１上の点Ｑ１〜Ｑ２の間に鮮明な像を結ぶことに
なる。

【０００８】ここで、走行路面１００上に立体的な障害
物２００（図に破線で示す）が存在する場合を考えてみ
よう。前述のように、光学系２０の焦点は、走行路面１
００の平面内の対象物を撮像面１１上に結像させるよう
に調節されている。したがって、走行路面１００より近
くにある障害物２００の像は、焦点が合わないため撮像
面１１上ではピンボケの画像となる。そこで、撮像面１
１に得られた画像について、ピンボケの部分を検出すれ
ば、この部分に立体障害物が存在することが認識でき
る。ピンボケの部分の検出は、撮像面１１上に得られた
画像について、エッジを抽出する処理を行い、このエッ
ジ部分における画素値の変化率を求めることによって行
うことができる。画素値の変化が急峻であれば鮮明な画
像が得られているが、緩慢であればピンボケの画像が得
られていることが認識できる。

【０００９】以上が本発明の基本原理である。このよう
な原理に基づく障害物認識を行うためには、所定領域１
１０内の各点について、撮像面１１上に鮮明な像が得ら
れるように、光学系２０の焦点調節を行うことが重要で
ある。なお、本明細書において、「所定領域１１０内の
各点について鮮明な像が得られる」という意味は、「所
定領域１１０内のすべての点について鮮明な像が得られ
る」という意味だけでなく、「所定領域１１０内のすべ
ての点について、鮮明な像もしくは近似的に鮮明な像が
得られる」という意味も含むものである。理論的には、
「所定領域１１０内のすべての点について鮮明な像が得
られる」という条件を満たすような焦点調節を行うのが
理想であるが、後述するように、このような焦点調節を
行うことは現実的には困難であり、近似的に鮮明な像が
得られるような焦点調節を行った場合でも大きな支障は
生じない。以下、このような焦点調節の条件を、「本発
明による焦点条件」と呼ぶことにする。

【００１０】現実的には、このような「本発明による焦
点条件」を満たす光学系２０は、やや特殊な光学要素に
よって実現する必要がある。たとえば、光学系２０から
点Ｒ１までの距離Ｌ１と、光学系２０から点Ｒ２までの
距離Ｌ２とは、図示のように異なる。すなわち、移動車
に搭載された撮像手段１０が、斜め前方の視野をとらえ
るため、Ｌ２＞Ｌ１なる関係が得られることになる。そ
こで、焦点距離が一律である通常の凸レンズを１枚用い
ただけでは、上述のような焦点条件を実現することはで
きない。このような焦点条件を実現するための光学系２
０の実施例を図２に示す。図２(a) は、光学系２０を複
数の凸レンズ２０ａ，２０ｂ，２０ｃ，…で構成した例
である。ここで、各凸レンズの焦点距離を少しずつ変え
るようにしておけば、上述の焦点条件に近い光学系２０
が実現できる。具体的には、レンズ２０ａを最も厚いレ
ンズとし、以下、レンズ２０ｂ，２０ｃ，…の厚みを徐
々に薄くしてゆけばよい。図２(b) は、くさび型のレン
ズにより光学系２０を実現した実施例である。このクサ
ビ型レンズは、上部ほど厚く、下部ほど薄くなってお
り、焦点距離を連続的に変化させることができる。

【００１１】光学系２０を工夫して「本発明による焦点
条件」を実現する代わりに、撮像手段１０内の撮像面１
１を傾斜させても、同様の効果を得ることができる。特
殊な光学系を用意するよりも、この方法を用いた方が簡
便で低コストになる。図３は、この方法の原理を示す図
である。この方法では、光学系２０（図では単に点で示
してある）としてごく普通の凸レンズ２１を用いればよ
い。いま、この凸レンズ２１の光軸２２と走行路面１０
０との交点をＲ、光軸２２と撮像面１１との交点をＱと
し、点Ｑを通り光軸２２に垂直な平面を基準面Ｓと定義
する。そして、撮像面１１をこの基準面Ｓに対して図の
ように傾斜させて設置する。ここで、走行路面１００上
の点Ｒ，Ｒ１，Ｒ２と凸レンズ２１との距離をそれぞれ
Ｌ，Ｌ１，Ｌ２とし、撮像面１１上の結像点Ｑ，Ｑ１，
Ｑ２と凸レンズ２１との距離をそれぞれＭ，Ｍ１，Ｍ２
とし、凸レンズ２１の焦点距離をｆとし、１／Ｌ１＋１／Ｍ１＝１／ｆ (1) １／Ｌ２＋１／Ｍ２＝１／ｆ (2) の両式を満足させるようなＭ１，Ｍ２が得られるよう
に、撮像面１１を傾斜させれば、点Ｒ１は点Ｑ１に鮮明
に結像し、点Ｒ２は点Ｑ２に鮮明に結像する。また、点
Ｒ１〜Ｒ２の間の点については、撮像面１１が平面であ
るため厳密には鮮明な結像ということはできないが、近
似的に点Ｑ１〜Ｑ２の間の点に鮮明な結像が得られると
考えてよい（点Ｒ１〜Ｒ２へ向かう程、凸レンズ２１か
らの距離はＬ１〜Ｌ２と長くなるが、これに対応して、
結像点も点Ｑ１〜Ｑ２へ向かう程、凸レンズ２１からの
距離がＭ１〜Ｍ２と短くなるため、全体的にほぼ焦点が
合致した状態となる）。したがって、撮像面１１を基準
面Ｓに対して所定角度だけ傾斜させるだけで、「本発明
による焦点条件」が近似的に満たされることになる。

【００１２】上述の説明では、走行路面１００上の点Ｒ
１とＲ２との二点について、焦点を完全に合致させ、こ
れらの間の点については近似的に焦点を合致させた場合
を例にとったが、現実的には、走行路面１００上の点Ｒ
とＲ１との二点について、焦点を完全に合致させ、その
他の点については近似的に焦点を合致させる方が好まし
い。その理由は次のとおりである。いま、走行路面１０
０上の点Ｒ１〜Ｒまでを領域Ａ１、点Ｒ〜Ｒ２までを領
域Ａ２とすると、領域Ａ２よりも領域Ａ１についての焦
点調節の方がはるかに重要である。なぜなら、領域Ａ２
は移動車からみて遠方にあるため、焦点が多少ずれてい
ても鮮明な結像が得られる。これに対して領域Ａ１は移
動車からみて近傍の領域であるため、より厳密な焦点調
節が要求されるためである。そこで、この実施例では、
走行路面１００上の点ＲとＲ１との二点について焦点が
完全に合致するように、撮像面１１の傾斜角度を設定し
ている。

【００１３】いま、点ＲとＲ１との二点について焦点が
完全に合致した場合を考えると、１／Ｌ１＋１／Ｍ１＝１／ｆ (1) （前述
の式）１／Ｌ＋１／Ｍ＝１／ｆ (3) の２つの式が成り立つことになる。ここで、図４に示す
ように、走行路面１００上を走行中の移動車の位置をＲ
０、凸レンズ２１の走行路面１００からの高さをｈ、２
点Ｒ０，Ｒ１間の距離をｘ１、２点Ｒ１，Ｒ間の距離を
ｘ２、とする。高さｈは撮像手段１０の取り付け位置に
基づいて決まる量であり、距離ｘ１，ｘ２は光軸２２の
走行路面１００に対する角度θおよび撮像手段１０の視
野角αに基づいて決まる量であり、いずれも既知の量と
なる。そこで、Ｌ，Ｌ１は、この既知の量ｈ，ｘ１，ｘ
２を用い、Ｌ１²＝ｈ² ＋ｘ１² (4) Ｌ² ＝ｈ² ＋（ｘ１＋ｘ２）² (5) なる式から求まる。また、凸レンズ２１の焦点距離ｆも
既知の量であるから、求まったＬ，Ｌ１に式(1) および
(3) を適用すれば、ＭおよびＭ１を求めることができ
る。一方、図５に示すように、撮像面１１の上下方向の
幅を２ａとし、撮像面１１の基準面Ｓに対する傾斜角φ
を幾何学的に求めると、ａ・sin φ ＝Ｍ１・cos α − Ｍ (6) であるから、 φ＝ sin^-1（（Ｍ１・cos α − Ｍ）／ａ) (7) なる式(7) によって求めることができる。かくして、移
動車の走行中に、撮像手段１０の光軸２２を上下に動か
したとしても、その時点における角度θおよびαを測定
することができれば、上述の式に基づいて、「本発明に
よる焦点条件」を満足させるための撮像面１１の傾斜角
φを演算による求めることができる。

【００１４】図６は、本発明に係る移動車の環境認識装
置の基本構成を示すブロック図である。撮像手段１０と
してのＣＣＤカメラ３０は、移動車に搭載される。ＣＣ
Ｄカメラ３０の撮像面１１（図示されていない）に形成
された画像のデータは、フレームメモリ４１に保存され
る。エッジ抽出装置４２は、このフレームメモリ４１内
の画像データについてエッジ抽出処理を行う。演算制御
装置４３は、この装置を統括制御する機能を有し、抽出
されたエッジについての焦点合致度を求める。前述した
ように、エッジについての焦点合致度が低い部分、別言
すれば、ピンボケを生じたエッジ部分が存在すれば、こ
のピンボケを生じたエッジに囲まれた領域に、立体障害
物が存在するものと認識することができる。

【００１５】なお、ＣＣＤカメラ３０には、傾斜角セン
サ５０が取り付けられており、この傾斜角センサ５０の
出力信号は、傾斜角検出部５１に与えられる。この傾斜
角検出部５１は、傾斜角センサ５０の出力信号に基づい
て、ＣＣＤカメラ３０の傾斜角を認識することができ、
ＣＣＤカメラ３０の光軸２２の走行路面１００に対する
角度θを求めることができ、また、ＣＣＤカメラ３０の
視野角αを求めることができる。演算制御装置４３は、
こうして求められた角度θおよびαに基づいて、前述の
式(7) により、撮像面１１の傾斜角φを演算し、演算結
果をＣＣＤコントローラ４４に与える。ＣＣＤコントロ
ーラ４４は、ＣＣＤカメラ３０に対して、撮像面１１が
基準面Ｓに対して傾斜角φだけ傾くような制御を行う。
こうして、移動車の走行中に、撮像面１１を動かして傾
斜角φを補正するようにしたため、「本発明による焦点
条件」が常に満足されるようになる。

【００１６】上述のエッジ抽出装置４２および演算制御
装置４３は、実際には、エッジ抽出処理および焦点合致
度演算処理を行うソフトウエアを含むコンピュータによ
って実現される。この実施例では、まず、図７に示すよ
うに、撮像面１１に得られた画像を複数の部分画像に分
割し、各部分画像（たとえば、図にハッチングを施した
部分画像１１ａ）ごとに、以下の処理を行う。はじめ
に、各部分画像内でのエッジ抽出を行う。これは、画素
の濃度値に急峻な変化が生じている箇所をエッジとして
認識し抽出すればよい。このようなエッジ抽出処理とし
ては、種々の方法が公知であるため、ここでは詳しい説
明は省略する。こうして、エッジが抽出されたら、この
エッジ部分における各画素の濃度値の変化率を求める。
このような変化率を求める方法としては、ソルベのフィ
ルタを用いる方法などが公知である。たとえば、図８
(a) に示すような濃度値の変化率が得られた場合、エッ
ジはシャープであり、鮮明な像が得られているものと判
断できる。これに対して、図８(b) に示すような濃度値
の変化率が得られた場合、エッジはなだらかであり、ぼ
やけた像が得られているものと判断できる。像が鮮明か
ぼやけているかを示すパラメータ、すなわち、焦点合致
度は、図に示すように、変化率のピーク値Ｈと分布幅Ｗ
とによって、Ｈ／Ｗとして数量的に表現することができ
る。したがって、所定の設定値を予め決めておき、得ら
れたＨ／Ｗの値が設定値より大きければ鮮明な像が得ら
れており、設定値より小さければピンボケの像が得られ
ているという客観的な判断を行うことができる。図７に
示すように分割した各部分画像について、このような判
断を行えば、ピンボケの像が得られていると判断された
部分画像の位置に障害物が存在するという大まかな認識
をすることができる。もちろん、ピンボケのエッジによ
って囲まれた部分として、障害物の輪郭を把握すること
も可能である。

【００１７】最後に、移動車の振動による影響を回避す
るための付加的な処理について述べる。通常、移動車の
走行中は、振動が発生する。このような振動は、ＣＣＤ
カメラ３０にも及び、撮像面１１に形成される画像に影
響を与える。このような振動の影響により、環境認識の
結果に誤りが生じると好ましくない。図９は、このよう
な振動の影響を回避する機能を備えた実施例の基本構成
を示すブロック図である。ここで、図６に示す実施例の
装置と同一の構成要素については同一符号を付し、説明
を省略する。図９に示す実施例において付加された新た
な構成要素は、振動補正部４５、雲台６０、雲台コント
ローラ６１、振動センサ７０、振動検出部７１である。
振動センサ７０は、ジャイロスコープや加速度計などを
利用したセンサであり、ＣＣＤカメラ３０に生じる振動
を電気信号として出力する。振動検出部７１は、この電
気信号に基づいて振動を検出する機能を有し、振動のデ
ータを演算制御装置４３および振動補正部４５に与え
る。

【００１８】この実施例では、振動の影響を回避するた
めに２とおりの方法が用意されている。第１の方法は、
振動補正部４５による振動補正である。この原理を図１
０に示す。いま、撮像面１１上に、この撮像面１１より
ひとまわり小さいフレームＦを定義する。そして、撮像
面１１に得られた全画像を環境認識に利用する代わり
に、このフレームＦ内の画像を環境認識に利用するよう
にする。この場合、環境認識に利用できる画像情報は若
干減るというデメリットはあるが、次のような処理を行
うことにより振動補正を行うことができる。たとえば、
振動により、ＣＣＤカメラ３０の視野が横方向にｄｘ、
縦方向にｄｙだけ動いたものとする。この場合、図のよ
うに、横方向にｄｘ、縦方向にｄｙだけフレームＦを動
かし、破線で示すフレームＦ１内の画像を環境認識に利
用するようにすれば、振動の影響を相殺することができ
る。振動補正部４５は、振動検出部７１から与えられる
振幅ｄｘ，ｄｙとその周期に基づいて、フレームＦの位
置を振動周期に同期させて決定し、フレームメモリ４１
内の全画像の中からフレームＦ内の画像だけを抽出して
エッジ抽出装置４２に与える機能を果たす。こうして、
振幅ｄｘ，ｄｙが、図１０に示す限度幅Δ以下であれ
ば、振動の影響を相殺した環境認識処理を行うことがで
きる。

【００１９】第２の方法は、雲台６０による振動補正で
ある。上述した第１の方法では、限度幅Δを越えた振幅
ｄＸ，ｄＹに対する補正は行うことができない。そこ
で、このような大きな振幅が振動検出部７１から与えら
れた場合、演算制御装置４３は雲台コントローラ６１に
対して、この振幅ｄＸ，ｄＹを相殺する補正を行うよう
な指示を与える。雲台コントローラ６１は、この指示を
受け、雲台６０を振動周期に同期させて−ｄＸ，−ｄＹ
の方向に移動するような制御を行う。

【００２０】この実施例の特徴は、上述の第１の方法に
よる振動補正と、第２の方法による振動補正との双方を
行うようにした点にある。すなわち、図１１(a) に示す
ような波形で表されるような振動が生じた場合、この波
形を、フィルタを用いて図１１(b) に示すような振幅の
大きな低周波成分の波形と、図１１(c) に示すような振
幅の小さな高周波成分の波形とに分離する。そして、図
１１(b) に示す低周波成分の振動については、雲台コン
トローラ６１によって雲台６０を動かして振動補正を行
い、図１１(c) に示す高周波成分の振動については、振
動補正部４５によってフレームＦを動かして振動補正を
行う。このように、２とおりの方法による振動補正を行
うことにより、振動の影響を有効に除去することができ
る。

【００２１】以上、本発明を図示する実施例に基づいて
説明したが、本発明はこれらの実施例に限定されるもの
ではなく、この他にも種々の態様で実施可能である。た
とえば、ＣＣＤカメラ３０の撮像面１１として、平面で
はなく曲面のものを用いれば、「本発明による焦点条
件」をより完全に満足させることができる。また、前述
した振動補正方法は、本発明による環境認識装置だけで
なく、移動車に搭載された撮像手段についての振動を補
正する技術として広く適用しうるものである。

【００２２】

【発明の効果】以上のとおり、本発明による移動車の環
境認識装置では、走行路面の所定領域内の各部に対して
焦点が合うような撮像手段を用意し、この撮像手段によ
って得た画像についてのピンボケの部分を立体障害物と
して認識するようにしたため、障害物の認識処理を迅速
に行うことができるようになる。

【図面の簡単な説明】

【図１】本発明に係る移動車の環境認識装置の基本原理
を示す図である。

【図２】図１に示す装置に用いる光学系２０の一例を示
す図である。

【図３】図１に示す装置における撮像面１１を傾斜させ
る意味を説明する図である。

【図４】図３に示す図の部分抽出図である。

【図５】図３に示す図の部分抽出図である。

【図６】本発明の一実施例に係る移動車の環境認識装置
の基本構成を示すブロック図である。

【図７】図６に示す装置におけるフレームメモリ４１内
の画像を部分画像に分割して処理する方法を示す図であ
る。

【図８】図６に示す装置における焦点合致度の判定方法
を示す図である。

【図９】図６に示す装置に、更に振動補正機能を付加し
た実施例の基本構成を示すブロック図である。

【図１０】図９に示す装置における第１の振動補正機能
の原理図である。

【図１１】図９に示す装置における２つの振動補正機能
の役割分担を示す図である。

【符号の説明】

１０…撮像手段１１…撮像面１１ａ…部分画像２０…光学系２０ａ，２０ｂ，２０ｃ…凸レンズ２１…凸レンズ２２…光軸３０…ＣＣＤカメラ４１…フレームメモリ４２…エッジ抽出装置４３…演算制御装置４４…ＣＣＤコントローラ４５…振動補正部５０…傾斜角センサ５１…傾斜角検出部６０…雲台６１…雲台コントローラ７０…振動センサ７１…振動検出部１００…走行路面１１０…所定領域２００…障害物Ｆ…フレームＳ…基準面

Claims

【特許請求の範囲】

【請求項１】移動車の走行路面の所定領域の画像を入
力するための撮像手段を、前記所定領域内の各部に対し
て焦点が合うように設置し、前記撮像手段で入力した画像のエッジを抽出するエッジ
抽出手段と、検出したエッジのうち焦点合致度の低い部分を抽出する
部分抽出手段と、を設け、前記部分抽出手段によって抽出された部分によ
り、立体障害物の存在を認識できるようにしたことを特
徴とする移動車の環境認識装置。
【請求項２】請求項１に記載の装置において、画像入力手段の光軸に対して垂直な平面として基準面を
定義し、撮像手段の撮像面をこの基準面に対して傾斜さ
せることにより、走行路面の所定領域内の各部に対して
焦点を合わせるようにしたことを特徴とする移動車の環
境認識装置。