JP4162910B2 - 接近検出装置、接近検出方法、及び接近検出プログラム - Google Patents

接近検出装置、接近検出方法、及び接近検出プログラム Download PDF

Info

Publication number
JP4162910B2
JP4162910B2 JP2002100567A JP2002100567A JP4162910B2 JP 4162910 B2 JP4162910 B2 JP 4162910B2 JP 2002100567 A JP2002100567 A JP 2002100567A JP 2002100567 A JP2002100567 A JP 2002100567A JP 4162910 B2 JP4162910 B2 JP 4162910B2
Authority
JP
Japan
Prior art keywords
addition value
approach
optical flow
approach detection
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2002100567A
Other languages
English (en)
Other versions
JP2003051016A (ja
Inventor
二郎 大熊
雄二 長谷川
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2001-141976 priority Critical
Priority to JP2001141976 priority
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2002100567A priority patent/JP4162910B2/ja
Publication of JP2003051016A publication Critical patent/JP2003051016A/ja
Application granted granted Critical
Publication of JP4162910B2 publication Critical patent/JP4162910B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理によって得られるオプティカルフローの情報に基づいて物体の接近を検出することができる接近検出装置、接近検出方法、及び接近検出プログラムに関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
移動体において、画像処理によって得られたオプティカルフローの情報に基づいて、衝突を回避する方法として、Leeが定式化した到達時間検出のアルゴリズムを用いたものが知られている(David N Lee(1976):A theory of visual control of braking based on information about time-to-collision. Perception,5,437-459)。これは、オプティカルフローの情報に基づいて現時点から物体との衝突までの時間を求めるアルゴリズムである。移動体にカメラを備え、得られた画像に基づきこのアルゴリズムを用いて画像処理を行えば、移動中の移動体における物体までの到達時間を求めることが可能となるため、移動体に対する物体の接近検出等に応用可能である。
【0003】
しかしながら、この方法では、移動体が接近していく過程における移動体自身の移動に伴う揺れが考慮されていないため正確な接近度合いを求めることが困難な場合がある。移動体には自己の移動に伴う揺れや振動がともなうため移動体に備えられたカメラにより得られた実環境の画像から算出したオプティカルフローには、接近方向の成分にヨー方向(水平方向)の振動成分やピッチ方向(垂直方向)の振動成分等が含まれている。オプティカルフローの情報に基づいて障害物との接近を検出する際においては、これらの成分はノイズ成分となり誤検出の原因になるという問題がある。本願出願人は、先に特開平11−134504号公報にて障害物との接近を検出する方法を提案しているが、より精度の高い衝突の検出、認識手法が要求されている。
【0004】
本発明は、このような事情に鑑みてなされたもので、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を高精度に検出することができる接近検出装置、接近検出方法、及び接近検出プログラムを提供することを目的とする。
【0005】
【課題を解決するための手段】
発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出装置であって、時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出手段と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第2の選択領域よりも外側に設けられた第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算手段と、前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算手段と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断手段とを備えたことを特徴とする。
この発明によれば、時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出手段と、前記画像上の第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算手段と、前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算手段と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断手段とを備えたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【0006】
また、この発明によれば、前記第2の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第1の選択領域は、前記第2の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【0007】
発明は、前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【0008】
発明は、前記状況判断手段は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去手段と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け手段と、前記重み付け手段によって重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算手段と前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定手段とからなることを特徴とする。
この発明によれば、2つの加算値から高周波成分のノイズ除去を行う手段と、2つの加算値に対して重み付けを行う手段を備えたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【0009】
発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出方法であって、時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出過程と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第2の選択領域よりも外側に設けられた第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算過程と、前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断過程とを有することを特徴とする。
この発明によれば、時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出過程と、前記画像上の第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算過程と、前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断過程とを有したため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【0010】
また、この発明によれば、前記第2の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第1の選択領域は、前記第2の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【0011】
発明は、前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【0012】
発明は、前記状況判断過程は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去過程と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け過程と、前記重み付け過程において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算過程と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定過程とからなることを特徴とする。
この発明によれば、2つの加算値から高周波成分のノイズ除去を行う過程と、2つの加算値に対して重み付けを行う過程を備えたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【0013】
発明は、周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出プログラムであって、時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出処理と、前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第2の選択領域よりも外側に設けられた第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算処理と、前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断処理とをコンピュータに行わせることを特徴とする。
この発明によれば、時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出処理と、前記画像上の第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算処理と、前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断処理とをコンピュータに行わせるようにしたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができる。
【0014】
また、この発明によれば、前記第2の選択領域は、該領域内に前記オプティカルフローの湧き出し点が含まれない位置に設けられ、前記第1の選択領域は、前記第2の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができる。
【0015】
発明は、前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする。
この発明によれば、前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができる。
【0016】
発明は、前記状況判断処理は、所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去処理と、前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け処理と、前記重み付け処理において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算処理と、前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定処理とからなることを特徴とする。
この発明によれば、2つの加算値から高周波成分のノイズ除去を行う処理と、2つの加算値に対して重み付けを行う処理をコンピュータに行わせるようにしたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能となる。
【0017】
【発明の実施の形態】
以下、本発明の一実施形態による接近検出装置を図面を参照して説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、接近検出装置である。符号11は、得られた画像を記憶する画像メモリであり、少なくとも2枚の画像を記憶可能である。符号12は、画像メモリ11に記憶された2枚の画像からオプティカルフローを算出するオプティカルフロー算出部である。符号13は、オプティカルフロー算出部12において算出されたオプティカルフローに基づいて、自己と物体との接近状況を判定する状況判断部である。符号31は、無線通信によって情報通信を行う通信部である。符号Vは、移動体であり、ここでは自動車を例にして説明することとして、以下の説明では自動車Vと称する。符号Wは、接近検出対象の壁であり、以下の説明では物体Wと称する。符号10は、周囲の環境を撮像して時系列の画像を得るビデオカメラ(以下、単にカメラと称する)である。このカメラ10は、自動車Vの前方を見渡せる位置に備えられ、水平な地面に自動車Vを置いたときにカメラ10の光軸が水平になるように配置される。符号2は、状況判断部13の出力に基づいて自動車Vの移動制御を行う移動体制御部である。符号32は、通信部31との間で情報通信を行う通信部である。
なお、接近検出装置1は、通信部31、32が通信可能な位置に配置される必要があるので、原則的に通信可能距離と移動体の行動範囲内に基づいて、接近検出装置1の配置位置を決定すればよい。また、通信部31、32の間を携帯電話網等の公衆回線を介して、移動体の行動範囲を拡張するようにしてもよい。また、接近検出装置1は、自動車V(移動体)内に備えられていてもよい。
【0018】
次に、図1、2を参照して、図1に示す接近検出装置の動作を説明する。図2は、図1に示す接近検出装置の動作を示すフローチャートである。
まず、接近検出装置1を起動すると、通信部31は情報通信を行うことが可能になるとともに、画像メモリ11、オプティカルフロー算出部12、状況判断部13が起動する。一方、自動車VのイグニッションスイッチをONにすると、通信部32は情報通信を行うことが可能となるともに、カメラ10は撮像を開始し、移動体制御部2も起動する。そして、カメラ10によって得られた画像信号は、通信部32及び通信部31を介して、画像メモリ11に格納される。このとき、カメラ10によって得られた画像に対して、標本化と量子化の処理が施され、m×n(m、nは自然数)画素のディジタル画像となり画像メモリ11に格納される(ステップS1)。
【0019】
次に、オプティカルフローを算出するには少なくとも2枚の画像が必要であるため、起動時においてのみ続けて得られた画像を、画像メモリ11へ格納する(ステップS2)。この時点で、画像メモリ11には、時間的に連続する画像が2枚分格納されたこととなる。以下の説明において、最新の画像を時刻tにおいて撮像された画像(または、時刻tの画像)と称し、時刻tの画像の直前の画像を時刻t−1において撮像された画像(または、時刻t−1の画像)と称する。
【0020】
次に、カメラ10は、1枚の画像を画像メモリ11へ格納が終了する毎に、通信部32,31を介して、オプティカルフロー算出部12に対して、画像の格納が終了したことを通知する。この通知を受けて、オプティカルフロー算出部12は、画像メモリ11に格納されている最新の2枚の画像からオプティカルフローVx,yを算出する(ステップS3)。ここでいうオプティカルフローとは、画素毎に定義される速度場のことであり、画像上のある位置にあったパターンが時間的に連続する次の画面でどこに移動したかを画素毎に表現したものである。すなわち、時系列の画像間で、画像中の各点が、時間と共にどのように変化したかを、ベクトルで表したものであり、このオプティカルフローから、画像中の対象がどのような動きをしていたかを推定することができるものである。ここでオプティカルフローを算出する方法として、2枚の画像間で対応点を探索する方法や画像中の各点の明度勾配と明度の時間勾配により推定する方法などの周知の方法を用いることができる。この処理によって、少なくとも2枚の画像間の画素のうち対応が取れた対応点についてオプティカルフローが求められたことになる。続いて、オプティカルフロー算出部12は、算出したオプティカルフローVx,yを状況判断部13へ渡す。
【0021】
状況判断部13は、得られたオプティカルフローVx,yのうち予め決められた画像上の領域(以下、選択領域と称する)内のオプティカルフローを空間的に加算した値εn tを、(1)式によって求める(ステップS4)。
εn t=ΣΣhnx,yVx,y・・・・・・・(1)
ここで、hnx,yはオプティカルフローを空間的に加算する際の選択領域特性(例えば、選択領域の広さ及び選択領域の中心位置)を示す関数であり、例えば、ガウス関数やガボール関数等のように空間的に局在したフィルター関数を用いることが可能である。(1)式によって、関数hnx,yで定義される画像上の選択領域内のオプティカルフロー(ベクトル)が加算されることとなる。この選択領域特性hnx,yは、図1に示すカメラ10が搭載される自動車Vの速度や、カメラ10の視野角・解像度、サンプリング周波数等によって決定されるものである。また、物体Wに衝突する何秒前にトリガを出力する必要があるかによって選択領域特性hnx,yを決定するようにしてもよい。ただし、以下に述べる条件は必ず満たす必要がある。この条件とは、接近成分を検出する1対の選択領域が、自動車Vの前方移動時における画像のフロー湧き出しの中心点を境に左右対称になるように配置することである。本実施例では、自動車Vが直進する場合であって、一対の対応する選択領域が、それぞれ画像フレームに対して、左右上下対称に設定された例を説明する。ヨー方向の成分を検出する選択領域は画像上の水平線上に左右1対配置する。また、ピッチ方向の成分を検出するための選択領域は、画像上の鉛直線上に上下1対になるように配置する。また、添え字nは、各選択領域に順に付与された順番号である。図3及び図4に示すように本実施例では「n」=8の例を示した。「n」の数は自動車Vのゆれの状況や要求する接近検出精度等に応じて適宜決定される。
【0022】
ここで、図3、4を参照して、選択領域の配置関係について説明する。図3は、オプティカルフローVx,yのヨー方向成分を用いて、ヨー方向のノイズ成分を除去することにより、接近を検出する場合の選択領域の配置例を示す説明図である。図3において、符号h1、h2は、オプティカルフローVx,yの接近成分を検出する1対の選択領域である。符号h3、h4は、オプティカルフローVx,yのヨー方向成分を検出する1対の選択領域であり、選択領域h1,h2の内側に配置される。このように、本実施例では、左右を2分する中心線を境に1対の選択領域が、接近成分検出用とヨー方向成分検出用に分けてそれぞれ配置される。
なお、選択領域h1〜h4は、選択領域h1〜h4のそれぞれをピッチ方向(画像における垂直方向)のみ拡大した選択領域h1’〜h4’としてもよい。
【0023】
一方、図4は、オプティカルフローVx,yのピッチ方向成分を用いて、ピッチ方向のノイズ成分を除去することにより、接近を検出する場合の選択領域の配置例を示す説明図である。図4において、符号h5、h6は、オプティカルフローVx,yの接近成分を検出する1対の選択領域である。符号h7、h8は、オプティカルフローVx,yのピッチ方向の成分を検出する1対の選択領域であり、選択領域h5,h6の内側に配置される。このように、本実施例では、上下を2分する中心線を境に1対の選択領域が、接近成分検出用とピッチ方向成分検出用に分けてそれぞれ配置される。
なお、選択領域h5〜h8は、選択領域h5〜h8のそれぞれをヨー方向(画像における水平方向)のみ拡大した選択領域h5’〜h8’としてもよい。
【0024】
一般的に図1に示すような場面において、自動車Vが前進して物体Wへ接近したとき、得られた画像からオプティカルフローを算出すると、無限遠の点M(フローの湧き出し点)から放射状のベクトルが得られる。このとき、図3に示す各選択領域におけるフローベクトルの大きさは、h1>h3,h2>h4の関係となるのが一般的である。一方、自動車Vの移動に伴うヨー方向の振動がカメラ10に対して加えられた場合、この振動によるヨー成分のベクトルの大きさは、各選択領域において差はあまり無い。したがって、接近をした場合に振動に伴って生じるベクトルに比して、相対的に接近ベクトルが大きいベクトルを得ることができる選択領域h1、h2によって接近成分検出を行い、接近の影響が相対的に小さくなる選択領域h3、h4によって振動によるヨー成分検出を行うようにすれば、ノイズ成分の除去を効率良く行うことが可能となる。これは、図4に示すピッチ方向を検出する選択領域h5〜h8についても同様である。
【0025】
次に、状況判断部13は、ステップS4において求めたオプティカルフローの空間的加算値εn tに対して、時間的なフィルタを用いて高周波成分のノイズを除去した値ρn tを、(2)式よって求める(ステップS5)。
ρn t=ρn t 1−τ(ρn t 1−εn t)・・・・・・・(2)
ここで、τはτ<1を満たす時定数である。この時定数τは自動車Vの速度等によって決定されるものである。
【0026】
次に、状況判断部13は、ノイズ除去フィルタの出力であるρn tに対して重み付け係数wnを乗算して加算した値θtを、接近成分検出用及びヨー成分検出用のそれぞれについて(3)、(4)式によって求める(ステップS6)。
すなわち、接近成分検出用θt
θt=w1ρ1 t+(−1・w2)ρ2 t・・・・・・(3)
によって求め、
ヨー成分検出用θt
θt=w3ρ3 t+(−1・w4)ρ4 t・・・・・・(4)
によって求める。
【0027】
ここで、重み付け係数wnに−1を乗算して極性を逆にしている理由は、画像上の無限遠の点Mを中心として対称の位置に配置される選択領域h1、h2(またはh3、h4)内において得られるρn tの極性が原則的に逆になるため、加算するときに一方のρn tの極性を逆にする必要があるからである。
【0028】
次に、状況判断部13は、接近成分検出用θtとヨー方向成分検出用θtとの差Stを求め(ステップS7)、この値Stと予め決められたしきい値とを比較する(ステップS8)。この結果、値Stがしきい値より大きい場合、状況判断部13は、物体Wに接近したと判断し(ステップS9)、しきい値より小さい場合は、接近はなしと判断する(ステップS10)。この判定結果は、移動体制御部2へ通知され、自動車Vの減速や停止の制御を行う場合のトリガに用いられる。このしきい値は、自動車Vの速度や、カメラ10の視野角・解像度等、さらには各選択領域特性hnx,yに基づいて最適値を選択して設定する。また、自動車Vが物体Wに衝突する何秒前にトリガを出力する必要があるかによってしきい値の大小を決定するようにしてもよい。なお、上記のWnも、しきい値を設定した後、自動車Vに最適なタイミングでトリガがかかるように自動車Vの速度、カメラ10の視野角等を考慮して設定される。
【0029】
そして、ステップS8の判定結果が得られた時点で、再びステップS2に戻り前述した動作を繰り返す。このとき、取得する画像は、1枚のみ(ステップS1は2回目以降の処理においては実行されない)であり、前回の実行時にステップS2で得られた画像が、時刻t−1の画像となり、今回新たに得られた画像が時刻tの画像として処理を繰り返す。
【0030】
このように、接近成分検出用とヨーまたはピッチ方向成分検出用の画像領域を、左右または上下を2分する中心線を境に1対の選択領域として配置し、この選択領域におけるオプティカルフローの情報に基づいて、簡単な演算処理を施し、これによって得られた値がしきい値より大きいか否かで、物体の接近を検出するようにしたため、振動成分が混在する画像においても精度良くかつ高速に接近検出が可能となる。すなわち、接近をした場合にオプティカルフローVx,yの総和が増大する選択領域h1、h2によって接近成分検出を行い、接近の影響が比較的小さい選択領域h3、h4によって振動によるヨー成分検出を行うようにしたため、ノイズ成分の除去を効率良く行うことが可能となる。これはピッチ方向についても同様である。
なお、状況判断部13は、図3及び図4に示す選択領域h1〜h4、h5〜h8について同時に処理を行い、どちらか一方の値Stがしきい値を超えた場合に停止トリガを出力するようにしてもよいし、2つの値Stがそれぞれしきい値を超えた場合に停止トリガを出力するようにしてもよい。
【0031】
次に図5を参照して、実画像を用いた実施例を説明する。図5は、自動車Vにカメラ10を搭載し、ある障害物に接近するまでの動画像をビデオレートでサンプリングして前述した動作の処理を施した結果を示すグラフである。図5において、X軸は、自動車Vが発進してからの経過時間を示し、Y軸は、前述した(3)、(4)式で求めた2つの値θt(左軸)と、この2つの値θtの差に基づいて算出される値であるトリガ出力(右軸)を示している。なお、(3)、(4)式で求めた2つの値θtの差は非常に小さい値であるため、関数tanh(θ)によって非線形に増幅して明示している。ここでは増幅する関数としてtanh()を用いたが、2つの値の差がある程度大きくなったことを検出できるものであれば何でもよい。この実施例では、自動車Vが発進してから約6.2秒後に物体Wに接触した。
図5から分かるように、接近成分の値θt及びヨー成分の値θtは、接触前においてはほぼ同じ変動を示すが、物体へ接近するにつれて差Stが大きくなり、5.8秒後に差が非常に大きくなって、トリガが出力されることとなる。前述した接近検出装置においては、この差Stが所定のしきい値より大きくなったときにトリガを出力するようにして、移動体と物体の接近を検出する。これに応じて、自動車Vの減速、停止を行うことで物体Wへの衝突を防止できる。
【0032】
なお、図3、4に示す例では、選択領域を左右または上下に2つずつ設定するようにしたが、高精度な検出精度を必要としない接近検出は、片側の2つのみでも可能である。すなわち、図3の例では、選択領域h1、h3(またはh2、h4)のみで処理しても検出可能である。このとき、(3)、(4)式は、以下のようになる。
θt=w1ρ1 t・・・・・・(3)’
θt=w3ρ3 t・・・・・・(4)’
また、図4の例では、選択h5、h7(または、h6、h8)のみで検出処理を行っても可能である。
また、逆に選択領域は、左右または上下に、接近成分検出用とヨーまたはピッチ成分検出用をそれぞれ3つ以上設定してもよい。
【0033】
また、前述した説明では、ヨー成分を用いて接近する動作を説明したが、ピッチ線分を用いた場合であっても同様の処理で接近を検出することが可能である。また、移動体は、自動車のみならず、二足歩行の人間型ロボットを含む自律移動ロボットや無人搬送車であってもよい。
また、カメラ10の光軸に直交する光軸を有するカメラを新たに備えるようにして、このカメラから得られた画像のオプティカルフローに基づいて、自動車Vのロール成分を求め、この求めたロール成分を状況判断部13へ通知するようにして、ロール成分の影響を除去するようにしてもよい。また、ロール成分検出にジャイロを用い、ジャイロの出力を状況判断部13へ通知するようにして、ロール成分の影響を除去するようにしてもよい。
【0034】
また、図2に示す処理の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより接近検出を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0035】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0036】
【発明の効果】
以上説明したように、請求項1、5、9に記載の発明によれば、時間的に連続する少なくとも2枚の画像からオプティカルフローを算出し、画像上の第1の選択領域において所定のフィルター関数を用い、オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出するとともに、画像上の第2の選択領域においてフィルター関数を用い、オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出し、この接近検出用加算値と振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断を行うようにしたため、所定の選択領域におけるオプティカルフローの接近検出用加算値と振動検出用加算値との差を求めるだけで、垂直または水平の振動成分を含む画像においても簡単な処理によって物体の接近を精度良く検出することができるという効果が得られる。
また、請求項2、6、10に記載の発明によれば、第2の選択領域は、該領域内にオプティカルフローの湧き出し点が含まれない位置に設けられ、第1の選択領域は、第2の選択領域よりも外側に設けるようにしたため、物体に接近した場合の接近検出用成分とノイズ成分であるヨー方向またはピッチ方向成分の加算値の差を大きくすることができ、結果的に検出精度の向上を図ることができるとともに接近、衝突の判断及び認識を容易に行うことができるという効果が得られる。
また、請求項3、7、11に記載の発明によれば、第1及び第2の選択領域は、それぞれオプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から接近検出用加算値及び振動検出用加算値を算出するように設けたため、画像に含まれる振動成分の大部分を占めるヨー方向成分とピッチ方向成分のノイズを効率良く除去することができるという効果が得られる。
また、請求項4、8、12に記載の発明によれば、2つの加算値から高周波成分のノイズ除去を行い、2つの加算値に対して重み付けを行うようにしたため、移動体の移動速度、画像の画角・解像度、サンプリング周波数に応じた補正を加算値に対して施すことが可能となり、結果的に検出精度の向上を図ることが可能になるという効果が得られる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の構成を示すブロック図である。
【図2】 図1に示す接近検出装置1の動作を示すフローチャートである。
【図3】 ヨー方向成分により、接近を検出する場合の選択領域の配置例を示す説明図である。
【図4】 ピッチ方向成分により、接近を検出する場合の選択領域の配置例を示す説明図である。
【図5】 図2に示す動作の処理を施した結果を示すグラフである。
【符号の説明】
1・・・接近検出装置
10・・・カメラ
11・・・画像メモリ
12・・・オプティカルフロー算出部
13・・・状況判断部
2・・・移動体制御部

Claims (9)

  1. 周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出装置であって、
    時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出手段と、
    前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第2の選択領域よりも外側に設けられた第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算手段と、
    前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算手段と、
    前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断手段と
    を備えたことを特徴とする接近検出装置。
  2. 請求項1に記載の接近検出装置であって、
    前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする接近検出装置。
  3. 請求項1または請求項2に記載の接近検出装置であって、
    前記状況判断手段は、
    所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去手段と、
    前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け手段と、
    前記重み付け手段によって重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算手段と、
    前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定手段と
    からなることを特徴とする接近検出装置。
  4. 周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出方法であって、
    時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出過程と、
    前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第2の選択領域よりも外側に設けられた第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算過程と、
    前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算過程と、
    前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断過程と
    を有することを特徴とする接近検出方法。
  5. 請求項4に記載の接近検出方法であって、
    前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする接近検出方法。
  6. 請求項4または請求項5に記載の接近検出方法であって、
    前記状況判断過程は、
    所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去過程と、
    前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け過程と、
    前記重み付け過程において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算過程と、
    前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定過程と
    からなることを特徴とする接近検出方法。
  7. 周囲の環境を時系列で撮像した画像に基づいて物体への接近を検出する接近検出プログラムであって、
    時間的に連続する少なくとも2枚の画像からオプティカルフローを算出するオプティカルフロー算出処理と、
    前記画像上の前記オプティカルフローの湧き出し点が含まれない位置に設けられた第2の選択領域よりも外側に設けられた第1の選択領域において所定のフィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して接近検出用加算値を算出する第1の加算処理と、
    前記画像上の第2の選択領域において前記フィルター関数を用い、前記オプティカルフローの大きさに応じた値を加算して振動検出用加算値を算出する第2の加算処理と、
    前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えた場合に、物体への接近を検出する状況判断処理と
    をコンピュータに行わせることを特徴とする接近検出プログラム。
  8. 請求項7に記載の接近検出プログラムであって、
    前記第1及び第2の選択領域は、それぞれ前記オプティカルフローのヨー方向成分とピッチ方向成分の少なくとも一方の方向成分から前記接近検出用加算値及び前記振動検出用加算値を算出するように設けられていることを特徴とする接近検出プログラム。
  9. 請求項7または請求項8に記載の接近検出プログラムであって、
    前記状況判断処理は、
    所定の時定数に基づく時間的なフィルタにより前記接近検出用加算値及び前記振動検出用加算値から高周波成分のノイズを除去するノイズ除去処理と、
    前記高周波成分のノイズが除去された前記接近検出用加算値及び前記振動検出用加算値に対してそれぞれ予め決められた重み付け係数を乗算する重み付け処理と、
    前記重み付け処理において重み付けされた前記接近検出用加算値と前記振動検出用加算値との差を求める減算処理と、
    前記接近検出用加算値と前記振動検出用加算値との差が所定のしきい値を超えたか否かを判定する判定処理と
    からなることを特徴とする接近検出プログラム。
JP2002100567A 2001-05-11 2002-04-02 接近検出装置、接近検出方法、及び接近検出プログラム Active JP4162910B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001-141976 2001-05-11
JP2001141976 2001-05-11
JP2002100567A JP4162910B2 (ja) 2001-05-11 2002-04-02 接近検出装置、接近検出方法、及び接近検出プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002100567A JP4162910B2 (ja) 2001-05-11 2002-04-02 接近検出装置、接近検出方法、及び接近検出プログラム
EP02010335A EP1256487B1 (en) 2001-05-11 2002-05-07 System, method, and program for detecting approach to object
DE60214073T DE60214073T2 (de) 2001-05-11 2002-05-07 System, Methode und Programm zur Erkennung einer Objektannäherung
US10/140,951 US6581007B2 (en) 2001-05-11 2002-05-09 System, method, and program for detecting approach to object

Publications (2)

Publication Number Publication Date
JP2003051016A JP2003051016A (ja) 2003-02-21
JP4162910B2 true JP4162910B2 (ja) 2008-10-08

Family

ID=26614995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002100567A Active JP4162910B2 (ja) 2001-05-11 2002-04-02 接近検出装置、接近検出方法、及び接近検出プログラム

Country Status (4)

Country Link
US (1) US6581007B2 (ja)
EP (1) EP1256487B1 (ja)
JP (1) JP4162910B2 (ja)
DE (1) DE60214073T2 (ja)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5910854A (en) 1993-02-26 1999-06-08 Donnelly Corporation Electrochromic polymeric solid films, manufacturing electrochromic devices using such solid films, and processes for making such solid films and devices
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US5668663A (en) 1994-05-05 1997-09-16 Donnelly Corporation Electrochromic mirrors and devices
US8294975B2 (en) 1997-08-25 2012-10-23 Donnelly Corporation Automotive rearview mirror assembly
US6124886A (en) 1997-08-25 2000-09-26 Donnelly Corporation Modular rearview mirror assembly
US8288711B2 (en) 1998-01-07 2012-10-16 Donnelly Corporation Interior rearview mirror system with forwardly-viewing camera and a control
US6326613B1 (en) 1998-01-07 2001-12-04 Donnelly Corporation Vehicle interior mirror assembly adapted for containing a rain sensor
US7370983B2 (en) 2000-03-02 2008-05-13 Donnelly Corporation Interior mirror assembly with display
US6172613B1 (en) 1998-02-18 2001-01-09 Donnelly Corporation Rearview mirror assembly incorporating vehicle information display
US6445287B1 (en) 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US6329925B1 (en) 1999-11-24 2001-12-11 Donnelly Corporation Rearview mirror assembly with added feature modular display
AT363413T (de) 2001-01-23 2007-06-15 Donnelly Corp Verbessertes fahrzeugbeleuchtungssystem
WO2001064481A2 (en) 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
US6477464B2 (en) 2000-03-09 2002-11-05 Donnelly Corporation Complete mirror-based global-positioning system (GPS) navigation solution
US6693517B2 (en) 2000-04-21 2004-02-17 Donnelly Corporation Vehicle mirror assembly communicating wirelessly with vehicle accessories and occupants
US6918674B2 (en) 2002-05-03 2005-07-19 Donnelly Corporation Vehicle rearview mirror system
WO2003105099A1 (en) 2002-06-06 2003-12-18 Donnelly Corporation Interior rearview mirror system with compass
US7329013B2 (en) 2002-06-06 2008-02-12 Donnelly Corporation Interior rearview mirror system with compass
AU2003278863A1 (en) 2002-09-20 2004-04-08 Donnelly Corporation Mirror reflective element assembly
US7310177B2 (en) 2002-09-20 2007-12-18 Donnelly Corporation Electro-optic reflective element assembly
US7255451B2 (en) 2002-09-20 2007-08-14 Donnelly Corporation Electro-optic mirror cell
WO2004103772A2 (en) 2003-05-19 2004-12-02 Donnelly Corporation Mirror assembly for vehicle
US7446924B2 (en) 2003-10-02 2008-11-04 Donnelly Corporation Mirror reflective element assembly including electronic component
US7308341B2 (en) 2003-10-14 2007-12-11 Donnelly Corporation Vehicle communication system
DE102004046101B4 (de) * 2004-09-23 2007-01-18 Daimlerchrysler Ag Verfahren, Sicherheitsvorrichtung und Verwendung der Sicherheitsvorrichtung zur Früherkennung von Kraftfahrzeugkollisionen
DE102004048400A1 (de) * 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren für die Erfassung einer optischen Struktur
TWI243276B (en) * 2004-11-12 2005-11-11 Young Optics Inc Imaging displacement module and optical projection device
US7130745B2 (en) * 2005-02-10 2006-10-31 Toyota Technical Center Usa, Inc. Vehicle collision warning system
AT517368T (de) 2005-05-16 2011-08-15 Donnelly Corp Fahrzeugspiegelanordnung mit zeichen am reflektierenden teil
JP2006338272A (ja) * 2005-06-01 2006-12-14 Nissan Motor Co Ltd 車両挙動検出装置、および車両挙動検出方法
US7581859B2 (en) 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
CN101535087B (zh) 2005-11-01 2013-05-15 唐纳利公司 具有显示装置的内部后视镜
EP2378350B1 (en) 2006-03-09 2013-12-11 Gentex Corporation Vehicle rearview assembly including a high intensity display
JP4579191B2 (ja) 2006-06-05 2010-11-10 本田技研工業株式会社 移動体の衝突回避システム、プログラムおよび方法
US8154418B2 (en) 2008-03-31 2012-04-10 Magna Mirrors Of America, Inc. Interior rearview mirror system
US9487144B2 (en) 2008-10-16 2016-11-08 Magna Mirrors Of America, Inc. Interior mirror assembly with display
FR2938228B1 (fr) * 2008-11-10 2010-11-05 Peugeot Citroen Automobiles Sa Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
JP5155110B2 (ja) * 2008-11-17 2013-02-27 株式会社日立国際電気 監視装置
JP5251460B2 (ja) * 2008-11-28 2013-07-31 富士通株式会社 接近物体検出装置、接近物体検出プログラム、接近物体検出方法
US20110102583A1 (en) * 2009-10-30 2011-05-05 Kim Kinzalow Rear view camera system and calibration method
KR101657524B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 영상 조정기와 조정 방법 및 이를 구비하는 영상 안정화 장치
US8879139B2 (en) 2012-04-24 2014-11-04 Gentex Corporation Display mirror assembly
KR101881346B1 (ko) 2013-03-15 2018-07-24 젠텍스 코포레이션 디스플레이 미러 어셈블리
JP5905846B2 (ja) * 2013-03-29 2016-04-20 株式会社日本自動車部品総合研究所 横断判定装置およびプログラム
CN105555612B (zh) 2013-09-24 2018-06-01 金泰克斯公司 显示镜组件
US9511715B2 (en) 2014-01-31 2016-12-06 Gentex Corporation Backlighting assembly for display for reducing cross-hatching
EP3126195B1 (en) 2014-04-01 2019-06-05 Gentex Corporation Automatic display mirror assembly
US9694751B2 (en) 2014-09-19 2017-07-04 Gentex Corporation Rearview assembly
KR101977686B1 (ko) 2014-11-07 2019-05-13 젠텍스 코포레이션 풀 디스플레이 미러 액추에이터
WO2016077583A1 (en) 2014-11-13 2016-05-19 Gentex Corporation Rearview mirror system with a display
EP3227143B1 (en) 2014-12-03 2019-03-13 Gentex Corporation Display mirror assembly
USD746744S1 (en) 2014-12-05 2016-01-05 Gentex Corporation Rearview device
US9744907B2 (en) 2014-12-29 2017-08-29 Gentex Corporation Vehicle vision system having adjustable displayed field of view
US9720278B2 (en) 2015-01-22 2017-08-01 Gentex Corporation Low cost optical film stack
WO2016172096A1 (en) 2015-04-20 2016-10-27 Gentex Corporation Rearview assembly with applique
WO2016187215A1 (en) 2015-05-18 2016-11-24 Gentex Corporation Full display rearview device
WO2017075473A1 (en) 2015-10-30 2017-05-04 Gentex Corporation Rearview device
USD798207S1 (en) 2015-10-30 2017-09-26 Gentex Corporation Rearview mirror assembly
USD797627S1 (en) 2015-10-30 2017-09-19 Gentex Corporation Rearview mirror device
USD800618S1 (en) 2015-11-02 2017-10-24 Gentex Corporation Toggle paddle for a rear view device
USD845851S1 (en) 2016-03-31 2019-04-16 Gentex Corporation Rearview device
USD817238S1 (en) 2016-04-29 2018-05-08 Gentex Corporation Rearview device
US10025138B2 (en) 2016-06-06 2018-07-17 Gentex Corporation Illuminating display with light gathering structure
USD809984S1 (en) 2016-12-07 2018-02-13 Gentex Corporation Rearview assembly
USD854473S1 (en) 2016-12-16 2019-07-23 Gentex Corporation Rearview assembly

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5198896A (en) * 1989-10-26 1993-03-30 Canon Kabushiki Kaisha Movement detection apparatus for detecting movement vectors from an image signal
US5128874A (en) * 1990-01-02 1992-07-07 Honeywell Inc. Inertial navigation sensor integrated obstacle detection system
DE69322423D1 (de) * 1992-03-13 1999-01-21 Canon Kk Vorrichtung zur Detektion von Bewegungsvektoren
DE4332612C2 (de) * 1992-09-25 1996-02-22 Yazaki Corp Außenansichts-Überwachungsverfahren für Kraftfahrzeuge
JP3011566B2 (ja) 1993-02-26 2000-02-21 三菱電機株式会社 接近車監視装置
JP3321386B2 (ja) 1997-06-27 2002-09-03 株式会社ハゴロモ Cdケース等の収納容器
JP3886618B2 (ja) 1997-10-28 2007-02-28 本田技研工業株式会社 動画像処理方法
US6175652B1 (en) * 1997-12-31 2001-01-16 Cognex Corporation Machine vision system for analyzing features based on multiple object images
JPH11353565A (ja) 1998-06-09 1999-12-24 Yazaki Corp 車両用衝突警報方法及び装置

Also Published As

Publication number Publication date
US20020169555A1 (en) 2002-11-14
EP1256487B1 (en) 2006-08-23
DE60214073T2 (de) 2007-04-12
DE60214073D1 (de) 2006-10-05
JP2003051016A (ja) 2003-02-21
EP1256487A2 (en) 2002-11-13
EP1256487A3 (en) 2005-01-19
US6581007B2 (en) 2003-06-17

Similar Documents

Publication Publication Date Title
KR100909741B1 (ko) 감시장치, 감시방법
KR100792283B1 (ko) 이동물체 자동 추적장치 및 방법
US5473364A (en) Video technique for indicating moving objects from a movable platform
US7697778B2 (en) Method of notifying users regarding motion artifacts based on image analysis
US7062071B2 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image using optical flow
US7711201B2 (en) Method of and apparatus for generating a depth map utilized in autofocusing
US7881497B2 (en) Vision based navigation and guidance system
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
DE10033599B4 (de) Positionserfassungsvorrichtung
JP2004145852A (ja) レーンマーカー位置検出方法及びレーンマーカー位置検出装置並びに車線逸脱警報装置
DE10301469B4 (de) Infrarotbildverarbeitungsvorrichtung
JP4355341B2 (ja) 深度データを用いたビジュアルトラッキング
JP3868876B2 (ja) 障害物検出装置及び方法
JP4203512B2 (ja) 車両周辺監視装置
KR100519782B1 (ko) 스테레오 카메라를 이용한 사람 검출 방법 및 장치
EP2795580B1 (fr) Procédé d'estimation de flot optique à partir d'un capteur asynchrone de lumière
CN101106647B (zh) 图像拾取装置及其控制方法
KR100377067B1 (ko) 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치
US20060244866A1 (en) Moving object detection apparatus, method and program
JP4788798B2 (ja) 物体検出装置
EP1167120B1 (en) Rendering device for parking aid
JP2007020167A (ja) 露光時間中に画像をキャプチャするイメージセンサアレーと少なくとも一つの運動センサを備える撮像装置により撮られたキャプチャ画像をボケ補正する方法、撮像装置、画像をボケ補正する方法およびコンピュータ読取り可能な媒体
JP4672175B2 (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
US20050015201A1 (en) Method and apparatus for detecting obstacles
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080715

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130801

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140801

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250