JPH01273746A - 移動車の画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、外界を認識するための画像入力手段を備えた
自動車やロボット等の移動車の画像処理装置に関する。

（従来の技術） 例えば特開昭６１−２４０３０７号公報には、所定地点
に設置された画像入力手段たるカメラによって移動車を
撮像し、該カメラに入力された画像を処理して移動車の
位置や方向を算出し、この算出結果によって移動車の走
行を制御するようにした技術が開示されている。

また、上記の場合と異なり、画像入力手段を移動車に設
置し、この画像入力手段によって移動車の外界（実走行
環境）を撮像し、該画像入力手段に入力された画像を移
動車の走行に利用する、例えばその画像を処理して外界
の状態を認識し、その認識結果に基づいて移動車の走行
を制御する技術も従来から考えられている。

ところで、移動車の走行中においては該移動車が走行路
に対１２て゛傾斜する場合がかなりの頻度α発生ずる。

例えば走行路、にの石の−［−に乗り１−・げた時ある
いは急加速時や急制動時等に移動車は走行路に対し、て
前後に傾斜り”る、つまりピッチングが生じる。

（発明が解決し、ようとする課題） １゜かるに、前記後者の画像入力手段が移動車Ｘ。

設置されている場合、移動車が走行路に対Ｉ、て傾斜す
ると該移動車と共に画像入力手段も走行路に、対して傾
斜１７、該画像入力手段には本来入力されるべき画像と
は撮像角度４ニーｉよび撮像領域を＠　ｉｌｌ：　Ｌ。

た画像が人力され、かかる画像に基づいて外界認識を行
なうと例λば外界に対する移動車の位置関係を誤って認
識［、ｒｌ、まう等外界の誤認識が生１贅、その結果例
えば認識された外界に入（づいて移動車の走行制御が行
なわれる場合その走行制御が適ｉ「に行なイ“、）れな
くなるという問題等が発生する。

本発明の［」的は、４に記事情に鑑み、画像入力手段が
移動車に設置されている場合において”、移動車が走行
路に対１．て傾斜した場合においても上記画１象入力丁
段１５パ入力された画像に基づいて適正に外界を認識さ
せることができる移動車の画像処理装置を提供すること
にある。

（課題を解決するための手段） 本発明に係る移動車の画像処理装置は、上記目的を達成
するため、 外Ｗ認識のための画像入力手段を備えた移動車の画像処
理装置であって、 」二５己移動車の走行路に対する傾斜状態を検出する傾
斜検出手段と、」二足傾斜検出手段から出力される移動
車の傾斜情報ＩＪ基づいＣ士、配回像入力手段から出力
へれる画（ｆ！の傾斜補正を行なう補正手段とを備えて
成ることを特徴と丈ろ。

上記移動車の走行路に対する傾斜は、ピッチングにおけ
る傾斜（車体横方向に延びる軸を中心とする回動傾斜）
がその代表的なものであるが、それ以４の傾斜、例λ７
ばローリングにおける傾斜（車体前後方向に延びる軸を
中心とする回動傾斜）であっＣも良い。また、傾斜の検
出はそれらの傾斜のうちの１つのみを検出するものであ
っても良いし複数の傾斜を検出するものであ１−でも良
く、複数の傾斜を検出した場合にはその複数の傾斜と対
応して傾斜補正を行なうことが可能になる。

上記画像入力手段から出力される画像を傾斜補正する手
段とは、移動車が走行路に対して傾斜した場合に画像入
力手段から出力される画像を実質的にその傾斜が生じな
かった状態の画像に補正する手段、換言すれば実質的１
：その様な傾斜が生１′：。

なかった状態の画像を外界認識用画像処理手段等に入力
させることのできる手段を意味する。

かかる補正手段とし、では種々のものが考えられるが、
具体例としては例えば傾斜している時には画像の出力を
禁止し、傾斜［７でいない時のみ画（ｔを出力させる手
段や、傾斜に応じて画像入力手段を逆位相で傾斜させる
手段や、傾斜に応じて画像を適当な補正処理アルゴリズ
ムで処理する手段等を挙げることができる。

なお、ここで実質的に傾斜が生１′、なか−ノか状態の
画像とは、真ＩＸ”傾斜が生じなか・−ンた状態の画像
のみでなく真に傾斜が生ｌ′：なかりた状態の画像とは
多少光なるがその画像から外界を認識してもその外界認
識を移動車の走行にと４〕７．”実質的に傾斜による支
障が生じない程度に適正に行ない得る画像をいう。

（作　　用） 上記構成の移動車の画像処理装置においては、たとえ移
動車が走行中に走行路に対して傾斜した場合におい°Ｃ
も、」上記傾斜検出手段と補正手段とにより実質的に移
動車が傾斜しでいない状態の画像を得ることができ、そ
の画像に基づいて適正に外界を認識させることができる
。

（実　施　例） 以下、図面を参照１１．ながら本発明の実施例について
詳細に説明する。

第１Ａ図は２つのタイプの実施例の概略を示すブロック
図である。１つは、画像入力手段２に入力された画像の
うち傾斜検出手段４からの傾斜情報に基づいて実質的に
傾斜１．ていない状態の画像のみを補■Ｆ手段６によっ
て出力させるものである。

他の１つは、画像入力手段４に入力された画像を傾斜手
段４からの傾斜情報に基づいて適当な補正処理アルゴリ
ズムで処理して実質的に傾斜していない状態の画像に補
正するものである。

まず、前者のタイプの画像処理装置のさらに詳しい実施
例を、第２図〜第６図を参照しながら説明する。

この実施例は本発明に係る装置を自動操縦が行なわれる
自動車の画像処理装置に適用したものであり、画像入力
手段としてＣＯＤを用いたイメージセンサを使用して成
るものである。

第２図に示す様に、イメージセンサ２は自動車８のフロ
ントガラスの前側に設置され、該自動車８の走行刃部前
方の外界情報を画像として入力可能になされている。こ
のイメージセンサ２は、勿論車室内あるいはその他の適
当な位置に設置しても良い。

上記自動車８が例えば第２図に示す様に走行路ｌＯ上の
石１２上に乗り上げた場合、該自動車８は前後方向に傾
斜するピッチングを生じ、その場合のピッチングは例え
ば第３図に示す様な形になる。

なお第３図の横軸は時間ｔ　（秒）であり、縦軸はピッ
チ角θ（第２図参照）である。

上記イメージセンサ２に入力された画像は、本実施例の
ブロック図である第４図に示す様に、電子シャッタ１４
および画像メモリ１Ｂを介して外界認識用画像処理手段
１８に入力される。該処理手段１８においては、イメー
ジセンサ２から入力された画像信号が各種画像処理アル
ゴリズムによって処理され、走行路を示すエツジ・領域
等の抽出が行なわれる。

上記抽出されたエツジ・領域等の情報はローカルマツプ
生成手段２０に入力され、そこで上記エツジ・領域等の
情報に基づいてローカルマツプ、即ち自動車のごく近傍
の外界の状態がどうなっているかを示すマツプが作成さ
れる。このローカルマツプ情報は最適経路生成手段２２
に入力され、そこで上記ローカルマツプ情報および予め
入力されている目的地等の情報を基に目的地に向かう最
適経路が決定され、さらにこの最適経路を走行するため
の走行方向および走行速度が決定される。これらの走行
方向および走行速度に関する情報はコントローラ２４に
人力され、該コントローラ２４によって自動車のステア
リングおよび速度が上記走行方向および走行速度情報に
基づいて制御される。

上記電子シャッタ１４は、タイミング発生手段２Ｂと共
に補正手段６を構成し１．傾斜検出手段４からの傾斜情
報に基づいて作動せしめられる。

傾斜検出手段４は、４つの加速度センサ２８．３０゜３
２．３４とそれらのセンサによって検出された加速度に
基づいて傾斜角（ピッチ角）θを算出する角度算出手段
３Ｂとで構成されている。

上記加速度センサ２８．３０．３２．３４は、車体の４
個所、つまり前後輪のサスペンションマウント上に１つ
づつ配設され、それぞれ独立に走行路面に対して垂直方
向の加速度を検出するものである。

上記角度算出手段３Ｂは、上記右前輪側加速度センサ２
８の出力をＦＲ，左前輪側加速度センサ３０の出力ＦＬ
、右後輪側加速度センサ３２の出力をＲＲ。

左後輪側加速度センサ３４の出力をＲＬ、前輪側加速度
センサ２８．３０と後輪側加速度センサ３２．３４との
距離をＬとすると、下式により車体の傾斜角（ピッチ角
）θを近似的に算出する。

なお、上式において各加速度ＦＲ，ＦＬ、　ＲＲ。

ＲＬはそれぞれ上方向の加速度の場合（＋）、下方向加
速度の場合（−）として取扱われる。

上記傾斜検出手段４によって検出された傾斜角θは補正
手段６人力され、該補正手段６においては入力された傾
斜角θに基づいてタイミング発生手段２Ｂから電子シャ
ッタ１４に対して所定のタイミングで作動信号が発せら
れ、電子シャッタ１４はその作動信号を受けて作動する
、つまりシャッタが切れて画像の取り込みが行なわれる
。

第５図は上ｉ己角度算出手段３Ｂおよびタイミング発生
手段２Ｂの作動手順を示すフローチャートであり、前述
の如く各加速度センサ２８．３Ｇ、３２．３４の出力が
角度算出手段３６に入力され（第５図Ｓｌ）、角度算出
下、段３６はに記（１）式に基づく２重積分４・行な・
って傾斜角θに対応する積分値をを算出！７（第５図８
２）、この積分値がタイミング発４１：ｆ段シ：６に入
力され、該タイミング発生手段２Ｇにおいては積分値の
絶対値が所定値以上か否かを判１１ｉ′Ｌ（第５図８３
）、所定値より小の場合には傾斜が未だそれ稈大ききく
ないということで傾斜が生じていない通常時と同様の基
準タイミングで電イシド・・。

り１４に作動信号・を発しく第ｒ）図Ｓ・１）、所定値
Ｊ′ｉ上の場合には１．＝配積分値が零になる」；で待
−）で零になった時点で電子シャッタ１４に作動仏号・
（−ｊｆｒ′：４る（第５図８５）。

即ぢ、」−記補正十段６においては、傾斜角が所定の範
囲内の小さい値である間は未だ外界認識に対して傾斜に
よる実質的な支障は牛（；ていないということで傾斜ｊ
、ていない場合と同様の基準夕・１′ミングで電イシャ
ッタを切って画１象の取り込みが行なわわ、傾斜角が所
定の範囲以上になったとさはそのまま画像を取り込むと
外界認識に支障が生じる画像を取り込むこととなるので
、積分値が零になるまで待っ仁、即ち傾斜角θが零にな
るまで待ってその零にな、）た時点で電子シャッタを切
って傾斜！７°Ｃいない状態（、″おりる画像の取り込
みが行ｆ（われる（第３図参照）、。

なお、］−記実施例で“は傾斜角が所定の範囲以上とｔ
＜っノー場合に傾斜角が零１．゛なりた時点の画像を取
り込むようになされでいるが、その画像の取り込みは必
ずしも傾斜角が零の時である必要はなく、Ｊｌ、記外界
認識に支障が生じない所定範囲内の任意の角度で行なう
ように１２でも良い１．また、」二足所定の範囲は零で
あ−・でも良い。、′″の場合、結局幾らかでも傾斜１
７た場合には画像の取り込みを禁止１７、傾斜角界のと
きのみ画像を取り込むということになる。

第６図は土、２電ｒ・シャッタの実施例を示す図である
。通常のイメージセンサにおける画像入力は、受光素ｒ
を直接走査するごとによって行なわれるので、１画面を
取り込むの１ご約１／３０秒かかることとなり、・この
間１．″物体などが移＠１．た場合には像のゾ１ノどな
って画像上に現われる。本実施例に用いられている電子
シャックはかかる点１”鑑み高速度で画像入力を行なう
ことができるように構成されたものであり、図示の如＜
ＣＣＤ受光累Ｆ４０の各画素は各々バッファ４２を備え
、バッファ・４２と受光素子４０との間には電気的なス
イッチ４４が設置」られており、該スイッチ４４は高速
度”Ｃ′；）ン・オ°ノすることてができるものである
。そして、このスイッチ４４は通常オフ状態にされてお
り、画像を人力する場合は外部から該スイッチ４４をオ
ンに４゛ることにより画像データがバッファ４２に蓄え
られろ。

受光素子４０が光を検出するのに必要な時間はμ秒置Ｆ
であり、このスイッチ４４を瞬間的にオン・オフするこ
とで１／２０００秒以１．．の高速な電子シｔ・・ツタ
が実現される。

次（、二、画像入力手段に入力された画像を適当４１、
補正処理アルゴリズムによって傾斜補正する実施例に一
つい′ζ説明する。

この実施例の場合は、補正１段６は傾斜浦ｉＥＪ！！画
像処理手段により構成され、該画像処ｆ！１！−手段（
。

より１．ヒ記実施例の場合と同様１ｍ、　！！成されへ
傾斜検出手段４からの傾斜情報に基づいＣ画像が実質的
に傾斜１．でいない状態の画像に補正される。かかる補
正の方法は種々考犬られるが、その−例として、移動車
が上方に傾斜１．た場合画像はその」１方部分に傾斜【
、ていなかった時には含まれなかった空を多く含み、下
方部分に傾斜していなかった時には画像上方部分に含ま
れていた外界領域を含むものとなるので、その場合には
画像の上方部分を削除１２かつ下方部５〕を７に方にジ
ットさせる補正処理方法を挙げることができる。もちろ
んこの場合どの程度の」、−力部分を削除するかは傾斜
角θの大きさに応じて決定される。この様に補正された
画像は、外界情報量は削除１−２た分だけ減少するが傾
斜による外界と自動車との位置関係の誤認は回避するこ
とができ、実質的に傾斜；７．ていなかった状態の画像
と同一視するこ−・が可能なものである。

次に第１Ｂ図に示すタイプの実施例について説明する。

第１Ｂ図は補正手段６　、！：１．．て画像人力手段２
２イ′−枦斜さぜろアクチｊ、エータを備えたタイプの
実施例の概略を示すブロック図であり、傾斜検出手段４
からの傾斜情報に基づいて補正手段６により画像人力手
段２を移動車の傾斜と逆位相で傾斜させ、そうすること
によって移動車が傾斜しても傾斜していない状態の画像
を取り込むことができるように構成したものである。

このタイプのさらに詳しい実施例を第７図〜第９図を参
照しながら説明する。

画像入力手段であるイメージセンサ２は第７図に示す如
く雲台５０を介して自動車のフロントガラス前方部分に
設置されている。このイメージセンサ２と雲台５０とは
、正面図である第８Ａ図および右側面図である第８Ｂ図
に示す様に構成されている。即ち、雲台５０は自動車８
に固着される基台５２と、該基台５２に固着された支持
枠５４と、該支持枠５４に車体横方向に延びるピッチ軸
５Ｂを中心に回動可能に支持された歯車５８および該歯
車５Ｂに固着されたイメージセンサ取付台６０と、上記
歯車５８を回転駆動するモータ６２ａおよびピニオンＧ
２ｂとで構成され、イメージセンサ２は上記イメージセ
ンサ取付台６０上に取り付けられている。

第９図はこの実施例のブロック図であり、第４゛図に示
す実施例の場合と同様に構成されん傾斜検出手段４によ
って傾斜角θが傾出され、その傾斜情報は雲台５０（こ
こでいう雲台５０はモータ６２ａの制御回路も備えてい
る）に入力され、雲台５０においてはモータ６２ａによ
って移動車の傾斜とは逆位相に、即ち一〇だけイメージ
センサ取付台６０が回動せしめられ、もってイメージセ
ンサ２は通常走行路に対して傾斜していない状態を維持
することができ、イメージセンサ２には常時傾斜してい
ない状態の画像が入力される。このイメージセンサ２に
入力された画像は例えば前述の電子シャッタにより基準
タイミングで取り込まれ、以下は第４図の実施例の場合
と同様に画像メモリ１６、外界認識用画像処理手段１８
、ローカルマツプ生成手段２０、最適経路生成手段２２
を介してコントローラ２４によりステアリングおよび車
速制御が行なわれる。

この第９図に示す実施例年は例えば急発進や急制動時等
の傾斜変動が比較的緩やかな場合に好ましく適用される
ものであり、これに対し、前記第４図に示す実施例は例
えば石に乗り上げた場合の様に極めて短い周期で振動す
る場合に好ましく適用されるものであり、勿論補正手段
として第４図に示すものと第９図に示すものの双方を備
え、傾斜の種類によって補正手段を使い分けるようにし
ても良いものである。

本発明における上記画像入力手段から出力された画像は
外界認識のために利用されるものであれば良く、その利
用態様は特に限定されるものではない。゛つまり、上記
実施例で画像から外界を認識して自動操縦を行なうもの
であったが、例えば相方に障害物を検出した場合にのみ
強制的に操舵や制動を行なう部分的自動操縦を行なうも
のであったりあるいはその場合にワーニング（警報）を
行なうものであっても良く、さらには画像を必要に応じ
て適宜処理して移動車に搭載したＣＲＴ等に表示して運
転者等に外界を認識させるものであっても良い。

（発明の効果） 本発明に係る移動車の画像処理装置は、上記の如く移動
車の走行路に対する傾斜を検出する傾斜検出手段と該検
出手段から出力される傾斜情報に基づいて画像を傾斜補
正して実質的に移動車が傾斜していない状態の画像を出
力させる補正手段とを備えて成る。よって、移動車が傾
斜した場合においても傾斜していない状態の画像を補正
手段によって出力させ、その画像を外界認識のために供
することができるので、外界を適正に認識させることが
でき、例えば認識された外界に基づいて自動車の走行制
御を行なわせる場合その走行制御を適正に行なわせるこ
とができる。

また、補正が真に必要な傾斜時のみ補正が実行されるの
で、補正に伴なうＣＰＵの負担が軽減される。

【図面の簡単な説明】

第１Ａ図および第１Ｂ図はそれぞれ本発明の実施例の概
要を示すブロック図、 第２図は移動車が傾斜した状態の一例を示す側面図、 第３図は第２図に示す傾斜の変動状態の一例を示す゛、 第４図は第１Ａ図に示すタイプの実施例の１−ｒ細なブ
ロック図、 第５図は第４図におけるタイミング発４手段の作動手順
を示すフローチャー　ト、 第６図は第４図における電子シャッタイー示Ａ図、第７
図は第１Ｂ図に示づタイプの実施例（７１おｉＪる画像
入力手段の取トｊ状態イ′・示４゛側面図、第８Ａ図お
よび第８Ｂ図は第７図（こおける画像人力手段の取付状
態を詳Ｉ２．＜示ず図であり、第８Ａ図は正面図、第８
Ｂ図は右側面図、 第０図は第１Ｂ図のタイプの実施例の詳細ｔｌニブロッ
ク図である。 ２・・・画像人力手段　　４・・・傾斜検出手段６・・
・補正−手段 第２図 第３１１ 第４図 第５図 第６トｌ　　　第７図 第　８八　図　　　　　　　　　　第８Ｂ　図第９図

Claims (1)

1. 【特許請求の範囲】 外界認識のための画像入力手段を備えた移動車の画像処
   理装置であって、 上記移動車の走行路に対する傾斜状態を検出する傾斜検
   出手段と、 上記傾斜検出手段から出力される移動車の傾斜情報に基
   づいて上記画像入力手段から出力される画像の傾斜補正
   を行なう補正手段とを備えて成ることを特徴とする移動
   車の画像処理装置。