JPH05143897A - 自動車用の動体認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像入力手段が移動している場合に於いても
背景を確実に取り込み、動いている物を認識して、入力
された画像と動体の情報を表示するとともに異常状態を
回避する。 【構成】 自動車１に設けた画像入力手段２より得られ
た複数の画像から画像間の背景を修正する背景修正手段
４と、この背景修正手段４で修正された画像から動体を
抽出する動体抽出手段８と、この動体抽出手段８で抽出
された動体の状態を判別する状態判別手段９が設けられ
ている。さらに、画像入力手段２からの画像と状態判別
手段９により判別された情報を表示する表示手段１０
と、状態判別手段９の出力に基づいて自動車１の制動手
段１２を制御する制御手段１１とを備えている。これに
よって人や動いている物体があれば自動車を停止させ安
全を確保する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像入力手段で得られた
画像中から動いている物体を検出し、画像の特徴から動
体の状態を認識して自動車の移動方向の安全を確保する
自動車用の動体認識装置に関するものである。

【０００２】

【従来の技術】従来のこの種の動体認識装置は、自動車
のバンパーの部分から後方に向けて取り付けられた超音
波センサとその受信部とにより近づいてくる物体があれ
ば音や色表示により知らせ、後方の物体を確認するもの
であった。一方画像により動体を検出する手段として、
図６のように、背景画面Ａと現画面Ｂの差分画面Ｃを取
り、動いた部分のみ抽出する手段や、図７に示すよう
に、前画面Ｄと現画面Ｅのフレーム間差分画面Ｆをとる
いわゆる画像の微分値を求める手段があった。

【０００３】

【発明が解決しようとする課題】しかしながら上記従来
の構成において、超音波センサを用いる方法は後方バン
パーに取り付けられた超音波センサから出た信号により
障害物との距離を測定して設定以上に近づいた時に警報
音、色表示等により運転手に報知するものであるが、障
害物に近づくと超音波センサの向けられた小さな領域に
しか反応しない。即ち、後方移動しようとするとき通常
最初は後方確認を行い、人がいないことを確認してから
発進させ、その後、人がきた場合等には障害物として検
知するのであるが、比較的離れている場合はセンサは広
域を検知するが近づいてきたときのいちばん危険が迫っ
ているときに検出領域が狭くなり、例えば、人がいる場
合で検出位置が両足の間であったり、横方向にずれてい
たりすると検出できないというような課題があった。ま
た、雨が降ると超音波が散乱して強度が乱れ正確な測定
できないという課題があった。更に、運転者にとって後
方が見えないために、超音波センサの信号による警報に
頼って運転しても必ずしも安全ではなかった。

【０００４】一方、後方確認のためカメラを取り付ける
方法には運転しながら画像を注意深く見ていなければな
らないという課題があった。さらに、カメラから入力さ
れた画像から背景画像と現在の画像との差分画面を取
り、動いた部分のみを抽出する手段は、背景を取り除く
ため、動体の形状を取り出すことができ、正確な動体形
状から各部の位置を検出できるという長所がある反面、
自動車が移動して背景が次々と変化している場合には単
純に背景を取り除いても動いている物体の抽出はできな
いという課題があった。また、背景画像を画像の微分値
を求める手段は、前画面との差分を取る画像の微分値で
あるために、（１）動体のエッジの部分が抽出される
が、動体全体でないため、位置検出等の時にはエッジの
線が切れていたりするので検出が難しく、誤った位置を
検出してしまう。（２）動体の動きが少なくなるとエッ
ジの線が細くなりついに消えてしまう。そのため動体が
消えたり現れたりして誤動作の原因になるという課題が
あった。

【０００５】本発明は上記課題を解決し、画像入力手段
により得られた画像を表示して目で確認し、更に自動車
が移動している場合に於いても背景を修正しながら人体
等の動いている物を認識して異常状態を回避するために
自動車を制御できるようにすることを目的としている。

【０００６】また、画像入力手段により入力される画像
が自動車の助手席側の横方向等の領域までの広い領域を
撮像する事を第２の目的としている。

【０００７】

【課題を解決するための手段】そして、上記目的を達成
するために、本発明は自動車に設けた画像入力手段と、
前記画像入力手段より得られた複数の画像から画像間の
背景を修正する背景修正手段と、前記背景修正手段で修
正された画像から動体を抽出する動体抽出手段と、前記
動体抽出手段で抽出された動体の状態を判別する状態判
別手段と、前記画像入力手段からの画像と前記状態判別
手段により判別された情報を表示する表示手段と、前記
状態判別手段の出力に基づいて前記自動車を制御する制
御手段とを設けたものである。

【０００８】また、第２の目的を達成するためにさらに
画像入力手段の撮像方向を指示する指示部と、前記指示
部の指示に従って画像入力手段の撮像方向を変更する可
動手段を設けたものである。

【０００９】

【作用】本発明の自動車用の動体認識装置は上記構成に
よって、自動車の移動領域近傍を撮像する画像入力手段
により得られた複数の画像から、移動することによって
変わる背景を背景修正手段により同じ位置になるように
画像修正を行い、修正された画像から動体抽出手段によ
り動体を抽出し、抽出した動体が自動車の移動する方向
の危険域にあるかどうかの状態を状態判別手段で判別
し、入力された画像と状態判別された情報を表示手段に
より表示するとともに、危険であれば制御手段により自
動車のブレーキを自動的にかけ安全を確保する。

【００１０】また、指示部の指示に従って可動手段を可
動させることにより運転席と反対側の横方向等の領域を
撮像する事により最初は目で安全を確かめその後動体認
識を行い異常時にはブレーキを自動的にかけ安全を確保
する。

【００１１】

【実施例】以下、本発明の一実施例を添付図面を参照し
て説明する。

【００１２】図１において、１は自動車、２は自動車１
の移動領域近傍を撮像するためバンパー３に取り付けら
れた画像入力手段、４は画像入力手段２より得られた複
数の画像から画像間の動きベクトルを検出する動きベク
トル検出手段５と、動きベクトル検出手段５により検出
された動きベクトルの中から画面全体の動きを検出する
代表動きベクトル検出手段６と、代表動きベクトル検出
手段６の出力により画面の拡大縮小及び移動を行なう画
面修正手段７により構成してある背景修正手段、８は背
景修正手段４により修正された背景画像を現画像から差
分演算を行い動体を抽出する動体抽出手段、９は動体抽
出手段８で抽出された動体が自動車の移動方向に存在す
るかどうかの異常状態を認識する状態判別手段、１０は
前記画像入力手段２からの画像と前記状態判別手段９に
より認識された情報を表示する表示手段、１１は状態判
別手段の出力に基づいて自動車１の制動手段１２を制御
する制御手段である。

【００１３】尚、制動手段１２はブレーキ１３とブレー
キ可動手段１４とで構成してあり、制御手段の信号によ
りブレーキ可動手段１４の可動変位を制御しブレーキ１
３を動かすようにしている。

【００１４】次に、この一実施例の構成に於ける動作を
説明する。図２はこの動作を示すフローチャートであ
る。今、自動車１を後方に動かしている時に進行方向に
人が入ってくるかどうかの確認を行ないながら本発明の
自動車用の動体認識装置を動作させる場合について説明
する。はじめに、自動車１を後方に移動させようとする
直前には後方に人がいないことを確認してステップ１０
１において自動車１の移動領域近傍を撮像する画像入力
手段２により画像入力を行い背景修正手段４の中で背景
画像を記憶させる。次にステップ１０２にて次の現画像
を入力して、ステップ１０３で表示手段１０により入力
された画像を表示する。ステップ１０４において背景修
正手段４にて現画像と背景画像の比較を行うために前処
理としての形状検出を行なう。即ち現画像と背景画像の
各々の空間微分等によりエッジ検出を行ない、その後、
検出されたエッジ線を平滑化等によりエッジ線をつなぎ
合わせて入力した画像の修正を行ない形状検出をする。
更に、ステップ１０５で前に求めた背景画像のエッジ線
と現画像のエッジ線の対応点を求め、ステップ１０６で
動きベクトル検出手段５により各対応点を結ぶベクトル
の検出を行い、図３に示すように複数のベクトルのなか
でステップ１０７にて多数の放射状方向に検出される
（例えば、後方の画像について調べる場合に自動車が後
方移動する時は通常画像の中の各動体が移動に応じて拡
大されてくる。この拡大の方向を検出する。また、自動
車１の振動とともに画像入力手段に上下の振動があった
場合には上下方向のベクトルが検出される）一連のベク
トル（以下代表動きベクトルとする）の方向を代表動き
ベクトル検出手段６により検出する。ここで、図３にお
いて画面Ａは修正前の背景画像、画面Ｂは現画像、画面
Ｃは修正後の背景画像である。ステップ１０８では画面
修正手段７により現画像の拡大縮小、あるいは移動を行
ない、前に処理された背景画像を現時点での背景として
検出する（図３における画面Ｃ）。尚、最初の場合には
自動車１が発車直前の静止している状態であり、代表動
きベクトル検出手段６で検出されたベクトルは検出され
ず背景修正前と同じ背景画像となる。しかし、自動車１
が動き出すと動きベクトル検出手段５で動きベクトルが
検出され代表動きベクトル検出手段６と画面修正手段７
により背景修正される。ステップ１０９では現画像から
背景修正手段４で求めた背景画像を差分演算して動体抽
出手段８にて動体の抽出を行なう。ステップ１１０では
この動体抽出手段８で抽出した動体が自動車１の進行方
向の危険域に存在するかどうかの異常状態の判別を状態
判別手段９で行ない、動体が危険域に存在が確認されれ
ばステップ１１１にて表示手段１０にこの情報を重ね合
わせて表示して、更に、人が存在するためステップ１１
２で制御手段１１に信号を送り、制御手段１１から自動
車１の制動手段７のブレーキ１３をブレーキ可動手段１
４を動かしてブレーキをかけ安全の確保をはかる。この
とき、進行方向の近傍で危険領域近くの場合には状態判
別手段９での判別で準危険状態と判別して制御手段１１
に信号を送り、制御信号１１はブレーキ可動手段１４へ
の変位を小さくするような信号を送ることによりブレー
キ可動手段１４の変位を小さくしてブレーキを軽くかけ
て停止準備にはいる。しかし、進行方向に直面した領域
に人が現われた場合にはブレーキ可動手段１４の変位を
大きく取り急ブレーキをかけるようにする。その後、ス
テップ１０２へ行く。一方ステップ１１０で動体が検出
されなければステップ１１３で自動車１を発車させる。
既に発車している場合にはそのまま継続して動かす。そ
の後ステップ１０２へ行く。そして現画像を画像入力手
段２にて入力してステップ１０２からステップ１１３ま
での操作を行なう。その後も、同様の操作を自動車の後
方移動が終わるまで行なう。

【００１５】次に、本発明の第２の構成による一実施例
を画面を参照して説明する。図４において、第１の構成
に画像入力手段２の撮像方向を指示する指示部１５と、
指示部１５の指示に従って画像入力手段２の撮像方向を
変更する可動手段１６を付加している。

【００１６】次に、この一実施例の構成に於ける作用を
説明する。図５はこの動作を示すフローチャートであ
る。今、自動車１を後方に曲がりながら動かしている時
に進行方向や曲がろうとする側に人が入ってくるかどう
かの確認を行ないながら本発明の自動車用の動体認識装
置を動作させる場合について説明する。はじめに、自動
車１を後方に曲がりながら移動させようとする直前には
助手席後方側に人がいないことを確認してステップ１０
１にて画像入力手段１の画像入力方向を助手席側後方に
指示部１５に基づいて指示する。ステップ１０２ではス
テップ１０１で指示された方向に可動手段１０により画
像入力手段２の撮像方向を設定する。その後、前記第１
の構成に示した動作と同じステップで行なう。即ち自動
車１の発車直前にステップ１０３において自動車１の移
動領域近傍を撮像する画像入力手段２により画像入力を
行う。これは図２においてステップ１０１に対応する。
以後順次ステップ１１５までの動作を行なう。ステップ
１１５からは再びステップ１０４へ行き、同様の操作を
自動車が停止するまで行なう。

【００１７】ここで、動体抽出手段として、動きベクト
ル検出手段５の中から代表動きベクトル検出手段６によ
り検出された動きベクトル以外のベクトルの中から違っ
た動きをするベクトル、即ち、特定動きベクトル検出を
行なうことにより動体の抽出を行なうようにしても良
い。

【００１８】尚、自動車１が徐々に曲がって行く場合に
はそれに応じて可動手段１６を作動させて画像入力手段
１の入力方向を変更することも可能である。この場合、
動体抽出手段は特定動きベクトル検出により動きを抽出
する。

【００１９】更に、バンパー下のような後方、前方とも
に見える場所である所に設けた可動手段１６に取り付け
られた画像入力手段は可動手段１６を３６０度回転する
ようにすれば前方の動体認識も行なうことができる。

【００２０】また、表示手段１０には現在の画像が常時
表示されているとともに、動体の確認がされればその動
体の形状を表示し、更に、異常であることを示すため
に、赤色等の目立つ色にて点滅表示させるようにして瞬
時に異常を運転者に知らせるようにしている。

【００２１】そして、異常の報知手段としては上記に掲
げた表示手段１０により行なう方法のほかに、ブザー等
の音による方法がある。上記表示手段１０により色の点
滅により知らせる方法に加え、音により報知することに
より、より確実に異常を知らせることができる。

【００２２】

【発明の効果】以上説明したように本発明の自動車用の
動体認識装置によれば、次の効果が得られる。

【００２３】（１）後方移動の時、後方が表示されてい
るため安心して運転できる。更に、表示には異常時の動
体表示を行ない、点滅による報知を行なっているため運
転者にとって危ないときには自らブレーキ操作により安
全を確保することができる。特に、人に近づいた場合、
即ち、一番危険状態の時に正確な危険判別ができる。

【００２４】（２）画像の中から代表動きベクトルを検
出することにより背景を修正して特定の動きと区別する
ので自動車が移動していても動体認識をすることがで
き、自動車の制動手段を制御するため誤って、人をひい
てしまうというようなことはなく、２重の安全機構とす
ることができる。

【００２５】（３）自動車自体の振動により入力された
画像が上下動しても背景が修正されて動いている物体の
認識ができる。

【００２６】また、指示部により画像入力手段の入力方
向を指示できるのでバンパー下のような後方、前方とも
に見える場所である所に駆動手段を設ければ駆動手段に
取り付けられた画像入力手段は駆動手段を３６０度回転
するようにすれば前方や、運転席の反対側の横方向の動
体認識を行なうことができる。

【図面の簡単な説明】

【図１】本発明の一実施例における自動車用の動体認識
装置の構成を示したブロック図

【図２】同装置のフローチャート

【図３】同装置の背景修正の方法を説明する画面

【図４】本発明の他の実施例における自動車用の動体認
識装置の構成を示すブロック図

【図５】同装置のフローチャート

【図６】従来の動体認識装置の差分画面を説明する動作
模式図

【図７】同装置のフレーム間差分画面を説明する動作模
式図

【符号の説明】

１ 自動車 ２ 画像入力手段 ４ 背景修正手段 ８ 動体抽出手段 ９ 状態判別手段 １０ 表示手段 １１ 制御手段 １２ 制動手段 １５ 指示部 １６ 可動手段

Claims (2)

【特許請求の範囲】
1. 【請求項１】自動車に設けた画像入力手段と、前記画像
   入力手段より得られた複数の画像から画像間の背景を修
   正する背景修正手段と、前記背景修正手段で修正された
   画像から動体を抽出する動体抽出手段と、前記動体抽出
   手段で抽出された動体の状態を判別する状態判別手段
   と、前記画像入力手段からの画像と前記状態判別手段に
   より判別された情報を表示する表示手段と、前記状態判
   別手段の出力に基づいて前記自動車を制御する制御手段
   とを具備した自動車用の動体認識装置。
2. 【請求項２】画像入力手段の撮像方向を指示する指示部
   と、前記指示部の指示に従って画像入力手段の撮像方向
   を変更する可動手段を有する請求項１記載の自動車用の
   動体認識装置。