JP4104867B2 - ナイトビジョンシステム - Google Patents
ナイトビジョンシステム Download PDFInfo
- Publication number
- JP4104867B2 JP4104867B2 JP2002010577A JP2002010577A JP4104867B2 JP 4104867 B2 JP4104867 B2 JP 4104867B2 JP 2002010577 A JP2002010577 A JP 2002010577A JP 2002010577 A JP2002010577 A JP 2002010577A JP 4104867 B2 JP4104867 B2 JP 4104867B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- mask
- height
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
この発明は、赤外線カメラにより撮影された画像の2値化処理により、対象物抽出を行うナイトビジョンシステムに関する。
【0002】
【従来の技術】
従来、赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出し、その情報を車両の運転者に提供するナイトビジョンシステムが提案されている。このシステムでは、歩行者等の対象物における車両との衝突の可能性は、車両と対象物との相対距離や相対速度に基づいて判定される。
【0003】
また、例えばこのように赤外線カメラにより捉えられた車両周辺の画像から、車両との衝突の可能性がある歩行者等の対象物を抽出するナイトビジョンシステムには、特開平11−328364号公報に記載のものがある。同公報によると、この装置は赤外線画像を2値化処理して明部が集中している領域を探し、この領域の縦横比や充足率、更には実面積と画面上の重心位置を用いて距離を算出することで、この領域が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部の領域を決定することができたら、決定した頭部領域のカメラからの距離と成人の平均身長とから、画像上の歩行者の身長を計算して歩行者の身体を包含する領域を設定し、これらの領域を他の領域と区分して表示する。これにより、赤外線画像上の歩行者の身体全体の位置を特定し、この情報を車両の運転者に対して表示することで、より効果的な視覚補助を行うことができる。
【0004】
【発明が解決しようとする課題】
しかし、赤外線画像上での歩行者は、着帽、着衣の影響や、歩行者自身の存在環境によって、2値化処理により頭部のみ、頭部の一部のみ、上半身のみ、下半身のみ、更には身体全体が抽出されるなど、その2値化形状は不定形である。また、一般的に車両走行時には、前方路面の形状の変化や、車両のピッチングの影響があり、歩行者も子供から大人(成人)まで本来とは異なる身長で検出される。
従って、対象物の画面での重心座標が距離に対して固定化できないため、上述の従来の装置のように、形状判定のみで歩行者の抽出を行った場合、歩行者として適当でない対象物高さ(対象物の大きさ)や対象物高さ位置(対象物の重心座標)に基づいた物体を歩行者として抽出してしまう可能性があった。
【0005】
本発明は、上記課題に鑑みてなされたもので、カメラにより撮影された画像から抽出される不定形な2値化対象物の大きさや位置を的確に判定し、安定した歩行者の抽出を行うナイトビジョンシステムを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記課題を解決するために、請求項1の発明に係わるナイトビジョンシステムは、移動体に備えられた2つの赤外線カメラにより捉えられた画像を利用して、歩行者を認識するナイトビジョンシステムであって、前記画像のグレースケール画像を2値化処理することにより、前記グレースケール画像から2値化対象物を抽出する2値化対象物抽出手段(例えば実施の形態のステップS1〜ステップS13)と、前記グレースケール画像上の前記2値化対象物の上下方向に、人間の幅を基準とした探索領域を前記2値化対象物に連続して複数個設定すると共に、前記探索領域と前記2値化対象物との前記移動体の進行方向に対する距離をそれぞれ比較して、前記探索領域内に存在する物体と前記2値化対象物が同一距離の前記探索領域である同一距離領域を抽出する同一距離領域抽出手段(例えば第1の実施の形態のステップS41〜ステップS53、第2の実施の形態のステップS61〜ステップS67)と、前記2値化対象物の画像の高さに、前記2値化対象物と同一距離の前記同一距離領域の画像の高さを加えて、目的の対象物の高さを求めると共に、前記対象物の高さに基づいて前記グレースケール画像中の歩行者を認識する歩行者判別手段(例えば第1の実施の形態のステップS54〜ステップS59、第2の実施の形態のステップS68〜ステップS73)とを備えたことを特徴とする。
【0007】
以上の構成を備えたナイトビジョンシステムは、まず2値化対象物抽出手段により2値化対象物の位置をグレースケール画像上に認識する。次に、同一距離領域抽出手段により、2値化対象物の上下方向に人間の幅を基準とした探索領域を2値化対象物に連続して複数個設定し、該探索領域の中から2値化対象物と同一距離の物体を含む探索領域を抽出する。そして、歩行者判別手段により、2値化対象物に2値化対象物と同一距離の物体を含む探索領域を加えた範囲の画像の高さを基に目的の対象物の高さを求めることで、この対象物の高さから目的の対象物が歩行者か否かを判断することができる。
【0008】
請求項2の発明に係わるナイトビジョンシステムは、請求項1に記載のナイトビジョンシステムにおいて、前記歩行者判別手段が、前記対象物の高さと人間の高さを基準に設定された閾値との比較により、前記対象物から人間以外の物体を除去することを特徴とする。
以上の構成を備えたナイトビジョンシステムは、人間の高さとして適当ではない物体を予め対象物の中から除去することで、歩行者の検出を行いやすくすることができる。
請求項3の発明に係わるナイトビジョンシステムは、請求項1又は2に記載のナイトビジョンシステムにおいて、前記探索領域が、前記グレースケール画像上の前記2値化対象物の上下方向に、人間の肩幅を基準とした幅と、抽出された前記2値化対象物の高さより小さい高さとしたことを特徴とする。
請求項4の発明に係わるナイトビジョンシステムは、請求項1乃至3の何れか一項に記載のナイトビジョンシステムにおいて、前記探索領域内に存在する物体が前記2値化対象物と同一距離でないと判断された前記探索領域である不同一距離領域が前記2値化対象物と前記同一距離領域との間にある場合は、前記不同一距離領域を前記対象物の高さとして含ませることを特徴とする。
【0009】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
(第1の実施の形態)
図1は、本発明の第1の実施の形態のナイトビジョンシステムの構成を示すブロック図である。
図1において、符号1は、本実施の形態のナイトビジョンシステムを制御するCPU(中央演算装置)を備えた画像処理ユニットであって、遠赤外線を検出可能な2つの赤外線カメラ2R、2Lと当該車両のヨーレートを検出するヨーレートセンサ3、更に、当該車両の走行速度(車速)を検出する車速センサ4とブレーキの操作を検出するためのブレーキセンサ5が接続される。これにより、画像処理ユニット1は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。
【0010】
また、画像処理ユニット1には、音声で警報を発するためのスピーカ6と、赤外線カメラ2R、2Lにより撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Displayや自車両のコンソールに設置されるNAVIDisplay、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD(Head Up Display )7a等を含む画像表示装置7が接続されている。
【0011】
また、画像処理ユニット1は、入力アナログ信号をディジタル信号に変換するA/D変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うCPU(中央演算装置)、CPUが演算途中のデータを記憶するために使用するRAM(Random Access Memory)、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)、スピーカ6の駆動信号、HUD7a等の表示信号などを出力する出力回路を備えており、赤外線カメラ2R、2L及びヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。
【0012】
また、図2に示すように、赤外線カメラ2R、2Lは、自車両10の前部に、自車両10の車幅方向中心部に対してほぼ対象な位置に配置されており、2つの赤外線カメラ2R、2Lの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ2R、2Lは、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
また、HUD7aは、自車両10のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【0013】
次に、本実施の形態の動作について図面を参照して説明する。
図3は、本実施の形態のナイトビジョンシステムの画像処理ユニット1における歩行者等の対象物検出・警報動作を示すフローチャートである。
まず、画像処理ユニット1は、赤外線カメラ2R、2Lの出力信号である赤外線画像を取得して(ステップS1)、A/D変換し(ステップS2)、グレースケール画像を画像メモリに格納する(ステップS3)。なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。
【0014】
ステップS3においてグレースケール画像が得られたら、次に、赤外線カメラ2Rにより得られた右画像を基準画像とし、その画像信号の2値化処理、すなわち、輝度閾値ITHより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行う(ステップS4)。
図4(a)は、赤外線カメラ2Rにより得られたグレースケール画像を示し、これに2値化処理を行うことにより、図4(b)に示すような画像を得る。なお、図4(b)において、例えばP1からP4の枠で囲った物体を、表示画面上に白色として表示される対象物(以下「高輝度領域」という)とする。
赤外線画像から2値化された画像データを取得したら、2値化した画像データをランレングスデータに変換する処理を行う(ステップS5)。ランレングスデータにより表されるラインは、2値化により白となった領域を画素レベルで示したもので、いずれもy方向には1画素の幅を有しており、またx方向にはそれぞれランレングスデータを構成する画素の長さを有している。
【0015】
次に、ランレングスデータに変換された画像データから、対象物のラベリングをする(ステップS6)ことにより、対象物を抽出する処理を行う(ステップS7)。すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを1つの対象物とみなすことにより、例えば図4(b)に示す高輝度領域が、それぞれ対象物(2値化対象物)1から4として把握されることになる。
対象物の抽出が完了したら、次に、抽出した対象物の重心G、面積S及び外接四角形の縦横比ASPECTを算出する(ステップS8)。
【0016】
ここで、面積Sは、ラベルAの対象物のランレングスデータを(x[i]、y[i]、run[i]、A)(i=0,1,2,・・・N−1)とすると、ランレングスデータの長さ(run[i]−1)を同一対象物(N個のランレングスデータ)について積算することにより算出する。また、対象物Aの重心Gの座標(xc、yc)は、各ランレングスデータの長さ(run[i]−1)と各ランレングスデータの座標x[i]、またはy[i]とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Sで割ることにより算出する。更に、縦横比ASPECTは、対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。
なお、ランレングスデータは画素数(座標数)(=run[i])で示されているので、実際の長さは「−1」する必要がある(=run[i]−1)。また、重心Gの位置は、外接四角形の重心位置で代用してもよい。
【0017】
対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う(ステップS9)。時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A、Bを抽出したら、時刻(k+1)で抽出した対象物C、Dと対象物A、Bとの同一性判定を行う。そして、対象物A、Bと対象物C、Dとが同一であると判定されたら、対象物C、Dをそれぞれ対象物A、Bというラベルに変更することにより、時刻間追跡が行われる。
また、このようにして認識された各対象物の(重心の)位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
【0018】
なお、以上説明したステップS4〜S9の処理は、2値化した基準画像(本実施の形態では、右画像)について実行する。
次に、車速センサ4により検出される車速VCAR及びヨーレートセンサ3より検出されるヨーレートYRを読み込み、ヨーレートYRを時間積分することより、自車両10の回頭角θrを算出する(ステップS10)。
【0019】
一方、ステップS9とステップS10の処理に平行して、ステップS11〜S13では、対象物と自車両10との距離zを算出する処理を行う。この演算はステップS9、及びステップS10より長い時間を要するため、ステップS9、S11より長い周期(例えばステップS1〜S10の実行周期の3倍程度の周期)で実行される。
まず、基準画像(右画像)の2値化画像によって追跡される対象物の中の1つを選択することにより、右画像から探索画像R1(ここでは、外接四角形で囲まれる領域全体を探索画像とする)を抽出する(ステップS11)。
【0020】
次に、左画像中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(ステップS12)。具体的には、探索画像R1の各頂点座標に応じて、左画像中に探索領域R2を設定し、探索領域R2内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を算出し、この総和値C(a,b)が最小となる領域を対応画像として抽出する。なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。
また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域R2より狭い領域R2aを探索領域として設定する。
【0021】
ステップS12の処理により、基準画像(右画像)中に探索画像R1と、左画像中にこの対象物に対応する対応画像R4とが抽出されるので、次に、探索画像R1の重心位置と対応画像R4の重心位置と視差Δd(画素数)を求め、これから自車両10と対象物との距離zを算出する(ステップS13)。距離zを求める式は後述する。
次に、ステップS10における回頭角θrの算出と、ステップS13における対象物との距離算出が完了したら、画像内の座標(x,y)及び距離zを実空間座標(X,Y,Z)に変換する(ステップS14)。
ここで、実空間座標(X,Y,Z)は、図2に示すように、赤外線カメラ2R、2Lの取り付け位置の中点の位置(自車両10に固定された位置)を原点Oとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をx、垂直方向をyと定めている。
【0022】
また、実空間座標が求められたら、自車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う(ステップS15)。回頭角補正は、時刻kから(k+1)までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔxだけx方向にずれるので、これを補正する処理である。
なお、以下の説明では、回頭角補正後の座標を(X,Y,Z)と表示する。
【0023】
実空間座標に対する回頭角補正が完了したら、次に、同一対象物について、ΔTのモニタ期間内に得られた、回頭角補正後のN個(例えばN=10程度)の実空間位置データ、すなわち時系列データから、対象物と自車両10との相対移動ベクトルに対応する近似直線LMVを求める(ステップS16)。
次いで、最新の位置座標P(0)=(X(0),Y(0),Z(0))と、(N−1)サンプル前(時間ΔT前)の位置座標P(Nー1)=(X(N−1),Y(N−1),Z(N−1))を近似直線LMV上の位置に補正し、補正後の位置座標Pv(0)=(Xv(0),Yv(0),Zv(0))及びPv(N−1)=(Xv(N−1),Yv(N−1),Zv(N−1))を求める。
【0024】
これにより、位置座標Pv(N−1)からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる。
このようにモニタ期間ΔT内の複数(N個)のデータから対象物の自車両10に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【0025】
また、ステップS16において、相対移動ベクトルが求められたら、次に、検出した対象物との衝突の可能性を判定する警報判定処理を行う(ステップS17)。なお、警報判定処理については、詳細を後述する。
ステップS17において、自車両10と検出した対象物との衝突の可能性がないと判定された場合(ステップS17のNO)、ステップS1へ戻り、上述の処理を繰り返す。
また、ステップS17において、自車両10と検出した対象物との衝突の可能性があると判定された場合(ステップS17のYES)、ステップS18の警報出力判定処理へ進む。
【0026】
ステップS18では、ブレーキセンサ5の出力BRから自車両10の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う(ステップS18)。
もし、自車両10の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Gs(減速方向を正とする)を算出し、この加速度Gsが所定閾値GTHより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し(ステップS18のNO)、ステップS1へ戻り、上述の処理を繰り返す。
これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【0027】
また、加速度Gsが所定閾値GTH以下であるとき、または自車両10の運転者がブレーキ操作を行っていなければ、直ちにステップS19の処理へ進み(ステップS18のYES)、対象物と接触する可能性が高いので、スピーカ3を介して音声による警報を発する(ステップS19)とともに、画像表示装置7に対して、例えば赤外線カメラ2Rにより得られる画像を出力し、接近してくる対象物を自車両10の運転者に対する強調映像として表示する(ステップS20)。なお、所定閾値GTHは、ブレーキ操作中の加速度Gsがそのまま維持された場合に、対象物と自車両10との距離Zv(0)以下の走行距離で自車両10が停止する条件に対応する値である。
【0028】
以上が、本実施の形態のナイトビジョンシステムの画像処理ユニット1における対象物検出・警報動作であるが、次に、図5に示すフローチャートを参照して、図3に示したフローチャートのステップS17における警報判定処理について更に詳しく説明する。
図5は、本実施の形態の警報判定処理動作を示すフローチャートである。
警報判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理、歩行者判定処理、及び人工構造物判定処理により、自車両10と検出した対象物との衝突の可能性を判定する処理である。以下、図6に示すように、自車両10の進行方向に対してほぼ90°の方向から、速度Vpで進行してくる対象物20がいる場合を例に取って説明する。
【0029】
図5において、まず、画像処理ユニット1は衝突判定処理を行う(ステップS31)。衝突判定処理は、図6において、対象物20が時間ΔTの間に距離Zv(N−1)から距離Zv(0)に接近した場合に、自車両10とのZ方向の相対速度Vsを求め、両者が高さH以内で相対速度Vsを維持して移動すると仮定して、余裕時間T以内に両者が衝突するか否かを判定する処理である。ここで、余裕時間Tは、衝突の可能性を予測衝突時刻より時間Tだけ前に判定することを意図したものである。従って、余裕時間Tは例えば2〜5秒程度に設定される。またHは、高さ方向の範囲を規定する所定高さであり、例えば自車両10の車高の2倍程度に設定される。
【0030】
次に、ステップS31において、余裕時間T以内に自車両10と対象物とが衝突する可能性がある場合(ステップS31のYES)、更に判定の信頼性を上げるために、画像処理ユニット1は対象物が接近判定領域内に存在するか否かの判定処理を行う(ステップS32)。接近判定領域内か否かの判定処理は、図7に示すように、赤外線カメラ2R、2Lで監視可能な領域を太い実線で示す外側の三角形の領域AR0とすると、領域AR0内の、Z1=Vs×Tより自車両10に近い領域であって、対象物が自車両10の車幅αの両側に余裕β(例えば50〜100cm程度とする)を加えた範囲に対応する領域AR1、すなわち対象物がそのまま存在し続ければ自車両10との衝突の可能性がきわめて高い接近判定領域AR1内に存在するか否かを判定する処理である。なお、接近判定領域AR1も所定高さHを有する。
【0031】
更に、ステップS32において、対象物が接近判定領域内に存在しない場合(ステップS32のNO)、画像処理ユニット1は対象物が接近判定領域内へ進入して自車両10と衝突する可能性があるか否かを判定する進入衝突判定処理を行う(ステップS33)。進入衝突判定処理は、上述の接近判定領域AR1よりX座標の絶対値が大きい(接近判定領域の横方向外側の)領域AR2、AR3を進入判定領域と呼び、この領域内にある対象物が、移動することにより接近判定領域AR1に進入すると共に自車両10と衝突するか否かを判定する処理である。なお、進入判定領域AR2、AR3も所定高さHを有する。
【0032】
一方、ステップS32において、対象物が接近判定領域内に存在している場合(ステップS32のYES)、画像処理ユニット1は対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う(ステップS34)。なお、歩行者判定処理については、詳細を後述する。
また、ステップS34において、対象物は歩行者の可能性があると判定された場合(ステップS34のYES)、更に判定の信頼性を上げるために、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う(ステップS35)。人工構造物判定処理は、対象物画像に、例えば以下に示すような歩行者にはあり得ない特徴が検出された場合、該対象物を人工構造物と判定し、警報の対象から除外する処理である。
(1)対象物の画像に直線エッジを示す部分が含まれる場合。
(2)対象物の画像の角が直角である場合。
(3)対象物の画像に同じ形状のものが複数含まれている場合。
(4)対象物の画像が予め登録された人口構造物の形状と一致する場合。
【0033】
従って、上述のステップS33において、対象物が接近判定領域内へ進入して自車両10と衝突する可能性がある場合(ステップS33のYES)、及びステップS35において、歩行者の可能性があると判定された対象物が人工構造物でなかった場合(ステップS35のNO)、画像処理ユニット1は、自車両10と検出した対象物との衝突の可能性がある(警報の対象である)と判定し(ステップS36)、図3に示すステップS17のYESとしてステップS18へ進み、警報出力判定処理(ステップS18)を行う。
【0034】
一方、上述のステップS31において、余裕時間T以内に自車両10と対象物とが衝突する可能性がない場合(ステップS31のNO)、あるいはステップS33において、対象物が接近判定領域内へ進入して自車両10と衝突する可能性がない場合(ステップS33のNO)、あるいはステップS34において、対象物は歩行者の可能性がないと判定された場合(ステップS34のNO)、更にはステップS35において、歩行者の可能性があると判定された対象物が人工構造物であった場合(ステップS35のYES)のいずれかであった場合は、画像処理ユニット1は、自車両10と検出した対象物との衝突の可能性がない(警報の対象ではない)と判定し(ステップS37)、図3に示すステップS17のNOとしてステップS1へ戻り、歩行者等の対象物検出・警報動作を繰り返す。
【0035】
次に、図8と図9に示すフローチャートを参照して、図5に示したフローチャートのステップS34における歩行者判定処理について更に詳しく説明する。図8と図9は、本実施の形態の歩行者判定処理動作を示すフローチャートである。図8において、まず、画像処理ユニット1は、図3に示したフローチャートのステップS7において抽出された2値化対象物を取得する(ステップS41)。更に、図3に示したフローチャートのステップS8において算出された2値化対象物(図10に示す2値化対象物100)の重心G(xc、yc)(図10に示す2値化対象物の重心G101)とステップS13において算出された自車両10と対象物との視差Δd(距離z)を取得する(ステップS42)。
【0036】
次に、グレースケール画像上で、対象物の存在領域を抽出し、対象物の高さと対象物の路面を基準とした高さ位置とを算出する。
そのために、まず図10に示すような実空間での大きさがW[m]×H[m]である長方形領域のマスク領域(それぞれをMASK[I]とする)を、対象物の領域を探索するために、2値化対象物に連続して複数個設定する(ステップS43)。但し、W[m]は歩行者を対象とする場合、歩行者の肩幅以上とし、(2)式により、2値化対象物までの距離z[m]を用いて、画面上のマスク領域サイズWp[pixel]×Hp[pixel]に変換する。
なお、図10はカメラで捉えられた歩行者を模式的に表したもので、斜線の領域が2値化処理で捉えられた対象物の部位であり、点線で囲まれた領域が2値化処理では捉えられていないが、グレースケール画像で背景に対して物体の存在が確認できる対象物の部位を表す。
【0037】
具体的には、前述の対象物距離z[m]は、カメラの基線長D[m]、カメラ焦点距離f[m]、画素ピッチp[m/pixel]と、映像から相関演算によって算出される視差Δd[pixel]によって、(1)式のように求められるので、
z=(f×D)/(Δd×p) ・・・(1)
WpとHpが、それぞれ2値化対象物までの距離z[m]を用いて
Wp=(f×W)/(z×p)
Hp=(f×H)/(z×p) ・・・(2)
とするMASK[I]を、基準となるグレースケール映像の2値化対象物の上下端に接する位置からN個配置する(但しI=0,1,・・・,N−1)。
【0038】
そして、グレースケール画像上にマスク領域が設定できたら、マスク領域を識別する変数Iに”0”を代入し、Iをリセットする(ステップS44)。
次に、マスク領域MASK[I]の輝度分散Var[I]を算出する(ステップS45)。
そして、マスク領域MASK[I]について、マスク領域内の輝度変化を確認するために、(3)式を満たしてマスク領域MASK[I]の輝度分散Var[I]が閾値TH1より大きく、マスク領域にグレースケール画像に基づき背景とは異なる熱特性を持つ物体が存在するか否かを判断する(ステップS46)。
Var[I]>TH1 ・・・(3)
【0039】
もし、ステップS46において、マスク領域MASK[I]の輝度分散Var[I]が閾値TH1より大きかった場合(ステップS46のYES)、次にマスク領域MASK[I]について、左右のカメラで同じ物体を捉えているかを確認する。具体的には、まずマスク領域MASK[I]の距離(視差dn[I])を左右の画像の相関演算(SAD:Sum of Absolute difference)によって算出する(ステップS47)。そして、SADの相関度はErrorとして算出され、SADでは相関度が高いほど小さな値を示すため、(4)式を満たしてマスク領域MASK[I]の左右画像の相関度Errorが閾値TH2より小さいか否かを判定する(ステップS48)。
Error<TH2 ・・・(4)
【0040】
もし、ステップS48において、マスク領域MASK[I]の相関度Errorが閾値TH2より小さかった場合(ステップS48のYES)、次にマスク領域MASK[I]について、2値化対象物と同じ物体を捉えているか確認するために、(5)式を満たして2値化対象物の視差Δdとマスク領域MASK[I]の視差dn[I]との差分の絶対値が閾値TH3より小さいか否かを判定する(ステップS49)。
|Δd−dn[I]|<TH3 ・・・(5)
そして、ステップS49において、2値化対象物の視差Δdとマスク領域MASK[I]の視差dn[I]との差分の絶対値が閾値TH3より小さかった場合(ステップS49のYES)、マスク領域MASK[I]に含まれている対象物は、2値化対象物と同一の物体と判定し、マスク領域MASK[I]に”TRUE”を設定する(ステップS50)。
【0041】
一方、ステップS46において、マスク領域MASK[I]の輝度分散Var[I]が閾値TH1以下であった場合(ステップS46のNO)、あるいはステップS48において、マスク領域MASK[I]の相関度Errorが閾値TH2以上であった場合(ステップS48のNO)、あるいはステップS49において、2値化対象物の視差Δdとマスク領域MASK[I]の視差dn[I]との差分の絶対値が閾値TH3以上であった場合(ステップS49のNO)のいずれかであった場合には、マスク領域MASK[I]に含まれている対象物は、2値化対象物と別の物体と判定し、マスク領域MASK[I]に”FALSE”を設定する(ステップS51)。
【0042】
ステップS50、あるいはステップS51において、マスク領域MASK[I]に含まれる物体の判定を行ったら、マスク領域を識別する変数Iを1つカウントアップし(ステップS52)、更に変数Iがマスク領域の個数Nより大きいか否かを判定する(ステップS53)。
ステップS53において、変数Iがマスク領域の個数N以下であった場合(ステップS53のNO)、ステップS45へ戻り、上述の動作を繰り返し、1つカウントアップされた変数Iで指定されるマスク領域MASK[I]に含まれる物体の判定を行う。
【0043】
また、ステップS53において、変数Iがマスク領域の個数Nより大きかった場合(ステップS53のYES)、図9のステップS54へ進む。そして図11に示すように、ステップS50において”TRUE”と判定されたマスク領域MASK[I]の全てと2値化対象物100とを含む領域を、対象物領域102として抽出し、この対象物領域の画面上の高さHeight[pixel]と対象物領域左下端位置103の座標(xr、yr)[pixel]を算出する(ステップS54)。
【0044】
次に、画面上の対象物領域の高さHeight[pixel]が求められたら、(6)式により対象物の実空間での高さΔH[m]を算出する(ステップS55)。
ΔH=z×Height×p/f ・・・(6)
また、対象物領域の左下端位置を路面交点とすることで、路面を基準とした2値化対象物の高さ重心位置Yc[m]を(7)式により算出する(ステップS56)。
Yc=z×(yc−yr)×p/f ・・・(7)
なお図11では、マスク領域MASK[4]において、背景との輝度分散の差が局所的にない場合を例にしているが、”TRUE”と判定されたマスク領域MASK[I]の全てと2値化対象物100とを含む領域を、対象物領域102として抽出することで、対象物領域の抽出は局所的な領域の欠落によって影響を受けることがない。
【0045】
そして、求められた対象物の実空間での高さΔH[m]と、路面を基準とした2値化対象物の高さ重心位置Yc[m]とが、歩行者として適当な数値であるか否かを判定する(ステップS57)。
もし、ステップS57において、対象物の実空間での高さΔH[m]と、路面を基準とした2値化対象物の高さ重心位置Yc[m]とが、歩行者として適当な数値であった場合(ステップS57のYES)、対象物領域102に捉えられた対象物は歩行者であると判定して(ステップS58)歩行者判定処理を終了し、図5に示すステップS34のYESとして図5のステップS35へ進み、人工構造物判定を行う。
【0046】
また、ステップS57において、対象物の実空間での高さΔH[m]と、路面を基準とした2値化対象物の高さ重心位置Yc[m]とが、歩行者として適当な数値でなかった場合(ステップS57のNO)、対象物領域102に捉えられた対象物は歩行者ではないと判定して(ステップS59)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0047】
なお、本実施の形態では、画像処理ユニット1が、2値化対象物抽出手段と、同一距離領域抽出手段と、歩行者判別手段とを含んでいる。より具体的には、図3のS1〜S13が2値化対象物抽出手段に相当し、図8のS41〜S53が同一距離領域抽出手段に相当する。また、図9のS54〜S59が歩行者判別手段に相当する。
【0048】
以上説明したように、本実施の形態のナイトビジョンシステムは、赤外線カメラにより撮影された画像のグレースケール画像から歩行者等の対象物を2値化処理によって抽出した後、グレースケール画像上の2値化対象物の上下に、マスク領域を2値化対象物に連続して複数個設定し、このマスク領域の輝度分散、左右画像の相関度、更には2値化対象物の視差とマスク領域の視差との差分を、マスク領域それぞれについて判定し、2値化対象物と同一距離の対象物を含むマスク領域を抽出する。そして、このマスク領域と2値化対象物を含む領域を対象物領域とし、この対象物領域に対応する実空間における対象物の高さや路面からの高さ位置が歩行者として適当か否かを判定する。
【0049】
これにより、着帽、着衣の影響や、歩行者自身の存在環境によって、赤外線画像上で2値化処理により頭部のみ、頭部の一部のみ、上半身のみ、下半身のみ、更には身体全体が抽出されるなど、不定形な2値化形状で抽出される歩行者を、その形状の高さや路面からの高さ位置により的確に判断することができるという効果が得られる。
従って、例えば図12に示すカーブミラーのような道路構造物は、ミラー部位104が2値化対象物100として歩行者の頭部のように抽出されても、マスク領域に対して面積比率が小さい支柱部位105に相当するマスク領域MASK[3]からMASK[6]では、背景の影響が大きく輝度分散が小さくなるために、歩行者の部位として認められずにマスク領域は”FALSE”となって、対象物領域がミラー部位(頭部のみ)と判定されるため、最終的に対象物領域の高さが歩行者として不適当である、すなわち歩行者ではないと判断される。
【0050】
(第2の実施の形態)
次に、図面を参照して本発明の第2の実施の形態について説明する。
本発明の第2の実施の形態のナイトビジョンシステムが、第1の実施の形態のナイトビジョンシステムと比較して異なる部分は、第1の実施の形態で図8と図9のフローチャートを用いて説明したナイトビジョンシステムの画像処理ユニット1における歩行者判定処理動作が、図13にフローチャートを示す歩行者判定処理動作に変更されることである。
なお、第2の実施の形態のナイトビジョンシステムの構成や、歩行者判定処理動作以外の動作については、第1の実施の形態のナイトビジョンシステムと同一であるので、ここでは説明を省略する。
【0051】
次に、図13のフローチャートを用いて、第2の実施の形態のナイトビジョンシステムの画像処理ユニット1における歩行者判定処理動作を具体的に説明する。
第2の実施の形態の歩行者判定処理動作では、第1の実施の形態の歩行者判定処理動作と同様に、ステップS61からステップS63に示す処理を行う。
すなわち、まず画像処理ユニット1は、図3に示したフローチャートのステップS7において抽出された2値化対象物を取得する(ステップS61)。
更に、図3に示したフローチャートのステップS8において算出した2値化対象物の重心G(xc、yc)とステップS13において算出した自車両10と対象物との視差Δd(距離z)を取得する(ステップS62)。
【0052】
次に、グレースケール画像上で、対象物の存在領域を抽出し、対象物の路面を基準とした高さ位置と高さを算出するために、まず図14に示すような実空間での大きさがW[m]×H[m]である長方形領域のマスク領域(それぞれをMASK_AからMASK_Mとする)を、対象物の領域を探索するために、2値化対象物に連続して複数個設定する(ステップS63)。なお、画面上のマスク領域サイズは、第1の実施の形態と同様に求める。
【0053】
マスク領域の設定が終了したら、次に下端MAX_H判定処理を行う(ステップS64)。
具体的には、まず本実施の形態のナイトビジョンシステムが検出すべき最大対象物高さをMAX_Hとして設定する。
次に、2値化対象物100の下端位置方向で、2値化対象物100の上端位置からMAX_H以上で最初のマスク領域(例えば図14ではMASK_H)を選択する。そして、第1の実施の形態と同様に、
(a)マスク領域の輝度分散Var[I]が閾値TH1より大きいか否か。
(b)マスク領域の左右画像の相関度Errorが閾値TH2より小さいか否か。
(c)2値化対象物の視差Δdとマスク領域の視差との差分の絶対値が閾値TH3より小さいか否か。
の3点についてマスク領域を判定し、判定結果が”TRUE”か”FALSE”かを決定する。
【0054】
ステップS64において、マスク領域MASK_Hの判定結果が”TRUE”の場合(ステップS64のYES)、この対象物は、本実施の形態のナイトビジョンシステムが検出すべき最大対象物高さMAX_Hを越えた大きさの対象物であるので、捉えられた対象物は歩行者ではないと判定して(ステップS65)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0055】
また、ステップS64において、マスク領域MASK_Hの判定結果が”FALSE”の場合(ステップS64のNO)、対象物の最下端マスク領域の特定処理を行う(ステップS66)。
具体的には、マスク領域MASK_AからMASK_Gの探索範囲内で、上述の判定結果が”TRUE”となるマスク領域を選択するために、まず、例えば探索範囲内の中間のマスク領域MASK_Dを選択し、上述の(a)から(c)の3つの条件を満たすか否かを判定する。
このとき、例えば図14に示した例では、マスク領域MASK_Dの判定結果は”FALSE”となるため、マスク領域MASK_Dの上方向の領域(図14の例ではマスク領域MASK_A〜MASK_C)を探索領域とし、探索領域の中間のマスク領域MASK_Bについて、上述の(a)から(c)の3つの条件を満たすか否かを判定する。
【0056】
また、仮にマスク領域MASK_Dの判定結果が”TRUE”の場合は、マスク領域MASK_Dの下方向の領域(図14の例ではマスク領域MASK_E〜MASK_G)を探索領域として判定結果が”TRUE”になるマスク領域を探索する。
そして、同様の処理を探索領域内のマスク数が1つになるまで繰り返し、対象物最下端のマスク領域を抽出する。なお、図14に示す例では、マスク領域MASK_Cが対象物の最下端マスク領域であって、これを対象物の最下端とする。
【0057】
一方、対象物の最下端マスク領域が求められたら、対象物の上端方向について判定するために、上端MAX_H判定処理を行う(ステップS67)。
具体的には、2値化対象物100の上部において、マスク領域MASK_Cの下端から、上方向にMAX_H以上で最初のマスク領域(例えば図14ではMASK_M)を選択する。
そして、下端MAX_H判定処理と同様に、上述の(a)から(c)の3つの条件を満たすか否かを判定する。
ステップS67において、マスク領域MASK_Mの判定結果が”TRUE”の場合(ステップS67のYES)、この対象物は、本実施の形態のナイトビジョンシステムが検出すべき最大対象物高さMAX_Hを越えた大きさの対象物であるので、捉えられた対象物は歩行者ではないと判定して(ステップS65)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0058】
また、ステップS67において、マスク領域MASK_Mの判定結果が”FALSE”の場合(ステップS67のNO)、対象物の最上端マスク領域の特定処理を行う(ステップS68)。
具体的には、マスク領域MASK_IからMASK_Lの探索範囲内で、上述の判定結果が”TRUE”となるマスク領域を選択するために、まず、例えば探索範囲内の中間のマスク領域MASK_Kを選択し、上述の(a)から(c)の3つの条件を満たすか否かを判定する。
このとき、例えば図14に示した例では、マスク領域MASK_Kの判定結果は”FALSE”となるため、マスク領域MASK_Kの下方向の領域(図14の例ではマスク領域MASK_I〜MASK_J)を探索領域とし、上述の(a)から(c)の3つの条件を満たすか否かを判定する。
【0059】
また、仮にマスク領域MASK_Kの判定結果が”TRUE”の場合は、マスク領域MASK_Kの上方向の領域(図14の例ではマスク領域MASK_L)を探索領域として判定結果が”TRUE”になるマスク領域を探索する。
そして、同様の処理を探索領域内のマスク数が1つになるまで繰り返し、対象物最上端のマスク領域を抽出する。なお、図14に示す例では、全てのマスク領域が条件を満たさないため、2値化対象物の上端位置が対象物の最上端とする。
【0060】
上述のように、対象物の最下端、最上端位置が求められたら、最下端、最上端位置を含む領域を対象物領域102として抽出し、第1の実施の形態と同様に、この対象物領域の画面上の高さHeight[pixel]と対象物領域左下端位置の座標(xr、yr)[pixel]を算出する(ステップS69)。
次に、画面上の対象物領域の高さHeight[pixel]が求められたら、対象物の実空間での高さΔH[m]を算出する(ステップS70)。
更に、対象物領域の左下端位置を路面交点とすることで、路面を基準とした2値化対象物の高さ重心位置Yc[m]を算出する(ステップS71)。
【0061】
そして、求められた対象物の実空間での高さΔH[m]と、路面を基準とした2値化対象物の高さ重心位置Yc[m]とが、歩行者として適当な数値であるか否かを判定する(ステップS72)。
もし、ステップS72において、対象物の実空間での高さΔH[m]と、路面を基準とした2値化対象物の高さ重心位置Yc[m]とが、歩行者として適当な数値であった場合(ステップS72のYES)、対象物領域102に捉えられた対象物は歩行者であると判定して(ステップS73)歩行者判定処理を終了し、図5に示すステップS34のYESとして図5のステップS35へ進み、人工構造物判定を行う。
【0062】
また、ステップS72において、対象物の実空間での高さΔH[m]と、路面を基準とした2値化対象物の高さ重心位置Yc[m]とが、歩行者として適当な数値でなかった場合(ステップS72のNO)、対象物領域102に捉えられた対象物は歩行者ではないと判定して(ステップS65)歩行者判定処理を終了し、図5に示すステップS34のNOとして図5のステップS37へ進み、対象物は警報対象ではないと判定する。
【0063】
なお、本実施の形態では、第1の実施の形態と同様に、画像処理ユニット1が、2値化対象物抽出手段と、同一距離領域抽出手段と、歩行者判別手段とを含んでいる。より具体的には、図3のS1〜S13が2値化対象物抽出手段に相当し、図13のS61〜S67が同一距離領域抽出手段に相当する。また、図13のS68〜S73が歩行者判別手段に相当する。
【0064】
以上説明したように、本実施の形態のナイトビジョンシステムは、第1の実施の形態と同様に、赤外線カメラにより撮影された画像のグレースケール画像から歩行者等の対象物を2値化処理によって抽出した後、グレースケール画像上の2値化対象物の上下に設定されたマスク領域を判定することで、2値化処理により抽出された対象物が歩行者か否かを、歩行者の着帽、着衣の影響や、歩行者自身の存在環境の影響を排除して的確に判定することができると共に、更にマスク領域の判定時に、マスク領域を間引いて探索(判定)することで、演算量を大幅に削減することができる。
【0065】
【発明の効果】
以上の如く、請求項1に記載のナイトビジョンシステムによれば、まず2値化対象物抽出手段により2値化対象物の位置をグレースケール画像上に認識した後、同一距離領域抽出手段により、2値化対象物の上下方向に人間の幅を基準とした探索領域を2値化対象物に連続して複数個設定し、該探索領域の中から2値化対象物と同一距離の物体を含む探索領域を抽出する。そして、歩行者判別手段により、2値化対象物に2値化対象物と同一距離の物体を含む探索領域を加えた範囲の画像の高さを基に目的の対象物の高さを求め、この対象物の高さから目的の対象物が歩行者か否かを判断する。
従って、赤外線カメラにより捉えられた画像中の対象物の大きさや位置を的確に判定し、安定した歩行者の検出を行うことができるという効果が得られる。
【0066】
請求項2に記載のナイトビジョンシステムによれば、人間の高さとして適当ではない物体を予め対象物の中から除去することで、歩行者の検出を行いやすくすることができる。
従って、赤外線カメラにより捉えられた画像中の歩行者の検出精度を向上させることができるという効果が得られる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態のナイトビジョンシステムの構成を示すブロック図である。
【図2】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。
【図3】 同実施の形態のナイトビジョンシステムの対象物検出・警報動作を示すフローチャートである。
【図4】 赤外線カメラにより得られるグレースケール画像とその2値化画像を示す図である。
【図5】 同実施の形態の警報判定処理動作を示すフローチャートである。
【図6】 衝突が発生しやすい場合を示す図である。
【図7】 車両前方の領域区分を示す図である。
【図8】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図9】 同実施の形態の歩行者判定処理動作を示すフローチャートである。
【図10】 同実施の形態のグレースケール画像上のマスク領域設定について示す図である。
【図11】 同実施の形態の歩行者判定処理により抽出された対象物領域について示す図である。
【図12】 同実施の形態の歩行者判定処理により対象物から除去された歩行者以外の物体について示す図である。
【図13】 本発明の第2の実施の形態の歩行者判定処理動作を示すフローチャートである。
【図14】 同実施の形態のマスク領域探索手順について示す図である。
【符号の説明】
1 画像処理ユニット
2R、2L 赤外線カメラ
3 ヨーレートセンサ
4 車速センサ
5 ブレーキセンサ
6 スピーカ
7 画像表示装置
10 自車両
S1〜S13 2値化対象物抽出手段
S41〜S53 同一距離領域抽出手段(第1の実施の形態)
S54〜S59 歩行者判別手段(第1の実施の形態)
S61〜S67 同一距離領域抽出手段(第2の実施の形態)
S68〜S73 歩行者判別手段(第2の実施の形態)
Claims (4)
- 移動体に備えられた2つの赤外線カメラにより捉えられた画像を利用して、歩行者を認識するナイトビジョンシステムであって、
前記画像のグレースケール画像を2値化処理することにより、前記グレースケール画像から2値化対象物を抽出する2値化対象物抽出手段と、
前記グレースケール画像上の前記2値化対象物の上下方向に、人間の幅を基準とした探索領域を前記2値化対象物に連続して複数個設定すると共に、前記探索領域と前記2値化対象物との前記移動体の進行方向に対する距離をそれぞれ比較して、前記探索領域内に存在する物体と前記2値化対象物が同一距離の前記探索領域である同一距離領域を抽出する同一距離領域抽出手段と、
前記2値化対象物の画像の高さに、前記同一距離領域の画像の高さを加えて、目的の対象物の高さを求めると共に、前記対象物の高さに基づいて前記グレースケール画像中の歩行者を認識する歩行者判別手段とを備えたことを特徴とするナイトビジョンシステム。 - 前記歩行者判別手段が、前記対象物の高さと人間の高さを基準に設定された閾値との比較により、前記対象物から人間以外の物体を除去することを特徴とする請求項1に記載のナイトビジョンシステム。
- 前記探索領域は、前記グレースケール画像上の前記2値化対象物の上下方向に、人間の肩幅を基準とした幅と、抽出された前記2値化対象物の高さより小さい高さとしたことを特徴とする請求項1又は2に記載のナイトビジョンシステム。
- 前記探索領域内に存在する物体が前記2値化対象物と同一距離でないと判断された前記探索領域である不同一距離領域が前記2値化対象物と前記同一距離領域との間にある場合は、前記不同一距離領域を前記対象物の高さとして含ませることを特徴とする請求項1乃至3の何れか一項に記載のナイトビジョンシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002010577A JP4104867B2 (ja) | 2002-01-18 | 2002-01-18 | ナイトビジョンシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002010577A JP4104867B2 (ja) | 2002-01-18 | 2002-01-18 | ナイトビジョンシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003216937A JP2003216937A (ja) | 2003-07-31 |
JP4104867B2 true JP4104867B2 (ja) | 2008-06-18 |
Family
ID=27648277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002010577A Expired - Fee Related JP4104867B2 (ja) | 2002-01-18 | 2002-01-18 | ナイトビジョンシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4104867B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522837A (zh) * | 2018-11-14 | 2019-03-26 | 海信集团有限公司 | 一种路面检测方法及装置 |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3987057B2 (ja) * | 2004-06-14 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
US7403639B2 (en) | 2004-11-30 | 2008-07-22 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
JP4242334B2 (ja) | 2004-11-30 | 2009-03-25 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4094604B2 (ja) | 2004-11-30 | 2008-06-04 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4130434B2 (ja) | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
DE102005056647B4 (de) | 2004-11-30 | 2011-02-03 | Honda Motor Co., Ltd. | Fahrzeugumgebungsüberwachungsvorrichtung |
US7590263B2 (en) | 2004-11-30 | 2009-09-15 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
JP3970876B2 (ja) | 2004-11-30 | 2007-09-05 | 本田技研工業株式会社 | 車両周辺監視装置 |
US7483549B2 (en) | 2004-11-30 | 2009-01-27 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
JP4461091B2 (ja) | 2004-11-30 | 2010-05-12 | 本田技研工業株式会社 | 位置検出装置及びその補正方法 |
US7515737B2 (en) | 2004-11-30 | 2009-04-07 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
US7545955B2 (en) | 2004-11-30 | 2009-06-09 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
JP4224449B2 (ja) * | 2004-11-30 | 2009-02-12 | 本田技研工業株式会社 | 画像抽出装置 |
US7599521B2 (en) | 2004-11-30 | 2009-10-06 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
US7489805B2 (en) | 2004-11-30 | 2009-02-10 | Honda Motor Co., Ltd. | Vehicle surroundings monitoring apparatus |
JP4130435B2 (ja) | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
JP4234092B2 (ja) | 2004-11-30 | 2009-03-04 | 本田技研工業株式会社 | 画像処理装置 |
JP4032052B2 (ja) | 2004-11-30 | 2008-01-16 | 本田技研工業株式会社 | 位置検出装置及びその補正方法 |
JP4128562B2 (ja) | 2004-11-30 | 2008-07-30 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP4811201B2 (ja) * | 2005-12-06 | 2011-11-09 | 日産自動車株式会社 | 走路境界線検出装置、および走路境界線検出方法 |
JP4267657B2 (ja) | 2006-10-31 | 2009-05-27 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP2008183933A (ja) * | 2007-01-26 | 2008-08-14 | Toyota Motor Corp | 赤外線暗視装置 |
JP4315991B2 (ja) | 2007-04-20 | 2009-08-19 | 本田技研工業株式会社 | 車両周辺監視装置、車両周辺監視方法、車両周辺監視プログラム |
JP4887537B2 (ja) * | 2007-08-02 | 2012-02-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP5150527B2 (ja) | 2009-02-03 | 2013-02-20 | 株式会社日立製作所 | 車両用衝突回避支援装置 |
JP5642785B2 (ja) * | 2010-06-07 | 2014-12-17 | 本田技研工業株式会社 | 車両の周辺監視装置 |
JP5430633B2 (ja) * | 2011-10-25 | 2014-03-05 | 本田技研工業株式会社 | 車両周辺監視装置 |
-
2002
- 2002-01-18 JP JP2002010577A patent/JP4104867B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109522837A (zh) * | 2018-11-14 | 2019-03-26 | 海信集团有限公司 | 一种路面检测方法及装置 |
CN109522837B (zh) * | 2018-11-14 | 2021-10-29 | 海信集团有限公司 | 一种路面检测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2003216937A (ja) | 2003-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4104867B2 (ja) | ナイトビジョンシステム | |
JP4060159B2 (ja) | 車両周辺監視装置 | |
JP3987048B2 (ja) | 車両周辺監視装置 | |
JP3987057B2 (ja) | 車両周辺監視装置 | |
JP3934119B2 (ja) | 車両周辺監視装置 | |
JP3764086B2 (ja) | 車両用情報提供装置 | |
JP3987013B2 (ja) | 車両周辺監視装置 | |
JP3756452B2 (ja) | 赤外線画像処理装置 | |
JP4203512B2 (ja) | 車両周辺監視装置 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
US20060115115A1 (en) | Vehicle surroundings monitoring apparatus | |
JP4094604B2 (ja) | 車両周辺監視装置 | |
JP4128562B2 (ja) | 車両周辺監視装置 | |
JP3839329B2 (ja) | ナイトビジョンシステム | |
JP4425852B2 (ja) | 車両周辺監視装置 | |
JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
JP3898157B2 (ja) | 赤外線画像認識装置 | |
JP3970876B2 (ja) | 車両周辺監視装置 | |
JP4647648B2 (ja) | 車両周辺監視装置 | |
JP4567072B2 (ja) | 車両周辺監視装置 | |
JP3939626B2 (ja) | 車両周辺監視装置 | |
JP4298699B2 (ja) | 車両周辺監視装置 | |
JP4372746B2 (ja) | 車両周辺監視装置 | |
JP4358183B2 (ja) | 車両周辺監視装置 | |
JP4283266B2 (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080326 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |