JP3272701B2 - 車外監視装置 - Google Patents
車外監視装置Info
- Publication number
- JP3272701B2 JP3272701B2 JP26791399A JP26791399A JP3272701B2 JP 3272701 B2 JP3272701 B2 JP 3272701B2 JP 26791399 A JP26791399 A JP 26791399A JP 26791399 A JP26791399 A JP 26791399A JP 3272701 B2 JP3272701 B2 JP 3272701B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- vehicle
- edge
- monitoring
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
- B60G2400/80—Exterior conditions
- B60G2400/82—Ground surface
- B60G2400/821—Uneven, rough road sensing affecting vehicle body vibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60G2401/14—Photo or light sensitive means, e.g. Infrared
- B60G2401/142—Visual Display Camera, e.g. LCD
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、撮像画像から路面
の状況を検出する車外監視装置に関する。
の状況を検出する車外監視装置に関する。
【０００２】
【従来の技術】近年、ＣＣＤ等の固体撮像素子を内蔵し
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、走行路、あるいは車外の対象物
と自車輌との間の距離等）を認識し、必要に応じてドラ
イバーに注意を喚起したり、シフトダウンによる減速等
の車輌制御を行うものである。例えば、ステレオカメラ
方式による距離計測技術を用いて走行環境の認識を行う
場合、撮像された画像対における同一物の位置的な差
（視差）を求め、三角測量の原理を用いて、対象物まで
の距離（距離情報）を得ることができる。
た車載カメラを用いた車外監視装置が注目されている。
この装置は、車載カメラにより撮像された画像に基づい
て、走行環境（例えば、走行路、あるいは車外の対象物
と自車輌との間の距離等）を認識し、必要に応じてドラ
イバーに注意を喚起したり、シフトダウンによる減速等
の車輌制御を行うものである。例えば、ステレオカメラ
方式による距離計測技術を用いて走行環境の認識を行う
場合、撮像された画像対における同一物の位置的な差
（視差）を求め、三角測量の原理を用いて、対象物まで
の距離（距離情報）を得ることができる。
【０００３】このような車外監視装置を実用化するにあ
たっては、装置の安全動作を保証するために、フェール
セーフ機能を設ける必要がある。この類の装置で検出す
べきフェールの一つとして、道路や走行路の両脇すなわ
ち路肩部分に雪（路肩雪）が存在するような路面状況が
挙げられる。図３は、路面に雪が存在しない通常の状況
を撮像した画像の一例であり、図４は、路肩雪が存在す
る状況を撮像した画像の一例である。図４に示したよう
な路肩雪が存在すると、路面に記された中央線、走行車
線、あるいは路肩線等が雪で覆われてしまう。そのた
め、車外の状況を把握（特に道路認識）するのに十分な
画像情報を得ることができず、的確な監視制御を行うこ
とが困難になる場合がある。
たっては、装置の安全動作を保証するために、フェール
セーフ機能を設ける必要がある。この類の装置で検出す
べきフェールの一つとして、道路や走行路の両脇すなわ
ち路肩部分に雪（路肩雪）が存在するような路面状況が
挙げられる。図３は、路面に雪が存在しない通常の状況
を撮像した画像の一例であり、図４は、路肩雪が存在す
る状況を撮像した画像の一例である。図４に示したよう
な路肩雪が存在すると、路面に記された中央線、走行車
線、あるいは路肩線等が雪で覆われてしまう。そのた
め、車外の状況を把握（特に道路認識）するのに十分な
画像情報を得ることができず、的確な監視制御を行うこ
とが困難になる場合がある。
【０００４】また、路面に雪が存在するような状況で
は、ドライな路面と比べて、路面の摩擦係数が著しく低
下している。特に路肩雪が存在するような状況では、タ
イヤと接触する路面部分には雪が存在しないケースもあ
るが、そのようなケースであっても、路面が濡れていた
り、あるいは凍結していることが多い。したがって、路
肩雪が存在する状況で減速等の車輌制御を行う場合、車
輌がスリップしてしまわないように、通常制御よりも緩
やかな制動力で車輌を制御することが求められる。
は、ドライな路面と比べて、路面の摩擦係数が著しく低
下している。特に路肩雪が存在するような状況では、タ
イヤと接触する路面部分には雪が存在しないケースもあ
るが、そのようなケースであっても、路面が濡れていた
り、あるいは凍結していることが多い。したがって、路
肩雪が存在する状況で減速等の車輌制御を行う場合、車
輌がスリップしてしまわないように、通常制御よりも緩
やかな制動力で車輌を制御することが求められる。
【０００５】車外監視装置の安全性を高い次元で確保す
るという観点でいえば、路肩雪が存在するような路面状
況では、フェールセーフ機能を働かせる必要がある。な
お、本明細書でいう「フェールセーフ」とは、通常制御
と異なる監視制御を行うという広い概念である。したが
って、通常の監視制御を一時的に中断することはもとよ
り、通常制御よりも緩やかな制動力で車輌制御を行うよ
うな制御も、ここでいう「フェールセーフ」の概念に含
まれる。
るという観点でいえば、路肩雪が存在するような路面状
況では、フェールセーフ機能を働かせる必要がある。な
お、本明細書でいう「フェールセーフ」とは、通常制御
と異なる監視制御を行うという広い概念である。したが
って、通常の監視制御を一時的に中断することはもとよ
り、通常制御よりも緩やかな制動力で車輌制御を行うよ
うな制御も、ここでいう「フェールセーフ」の概念に含
まれる。
【０００６】
【発明が解決しようとする課題】従来、車外監視装置の
実用化において不可欠なフェールセーフ機能が確立され
ておらず、装置の安全性を高い次元で確保するための課
題が残されていた。
実用化において不可欠なフェールセーフ機能が確立され
ておらず、装置の安全性を高い次元で確保するための課
題が残されていた。
【０００７】そこで、本発明の目的は、走行環境の認識
が困難な路面状況を、撮像画像から精度よく検出するこ
とである。
が困難な路面状況を、撮像画像から精度よく検出するこ
とである。
【０００８】また、本発明の別の目的は、路面状況に応
じた適切な監視制御を行うことで、車外監視装置の安全
性を高い次元で確保することである。
じた適切な監視制御を行うことで、車外監視装置の安全
性を高い次元で確保することである。
【０００９】
【課題を解決するための手段】請求項１記載の発明は、
車外の景色を撮像手段により撮像した画像がフェールと
判定された場合にフェールセーフを行う車外監視装置に
おいて、前記撮像手段により得られた撮像画像中に該撮
像画像に映し出された路面の一部を含み、且つ、撮像画
像に映し出された走行時の両端の外側を含むように水平
方向に延在して監視領域を設定し、該監視領域の水平方
向に関する輝度エッジ輝度エッジの状態を検出する検出
手段と、前記検出された輝度エッジの状態が、前記走行
時の路肩部分に雪が存在する状況であって前記輝度エッ
ジが前記監視領域の端側の所定の範囲内に位置する特性
を有する場合に、フェールと判定する判定手段とを有す
ることを特徴とする。
車外の景色を撮像手段により撮像した画像がフェールと
判定された場合にフェールセーフを行う車外監視装置に
おいて、前記撮像手段により得られた撮像画像中に該撮
像画像に映し出された路面の一部を含み、且つ、撮像画
像に映し出された走行時の両端の外側を含むように水平
方向に延在して監視領域を設定し、該監視領域の水平方
向に関する輝度エッジ輝度エッジの状態を検出する検出
手段と、前記検出された輝度エッジの状態が、前記走行
時の路肩部分に雪が存在する状況であって前記輝度エッ
ジが前記監視領域の端側の所定の範囲内に位置する特性
を有する場合に、フェールと判定する判定手段とを有す
ることを特徴とする。
【００１０】請求項２記載の発明は、請求項１記載の発
明において、前記判定手段は、前記監視領域に関して、
前記輝度エッジの外側の全体的な輝度の大きさが、前記
輝度エッジの内側の全体的な輝度の大きさに所定値を加
えた値よりも大きくなる特性を有する場合に、フェール
と判定することを特徴とする。
明において、前記判定手段は、前記監視領域に関して、
前記輝度エッジの外側の全体的な輝度の大きさが、前記
輝度エッジの内側の全体的な輝度の大きさに所定値を加
えた値よりも大きくなる特性を有する場合に、フェール
と判定することを特徴とする。
【００１１】ここで、請求項３記載の発明のように、前
記監視領域は、水平方向に並んだ複数の領域で構成し、
前記検出手段は、前記領域のそれぞれに関して、当該領
域内において水平方向に近接した画素または画素ブロッ
ク対のうち、輝度変化量が所定値よりも大きいものの数
をカウントすると共に、所定の判定数よりも多いカウン
ト数を有する前記領域を、前記輝度エッジが存在する領
域と見なすことが望ましい。
記監視領域は、水平方向に並んだ複数の領域で構成し、
前記検出手段は、前記領域のそれぞれに関して、当該領
域内において水平方向に近接した画素または画素ブロッ
ク対のうち、輝度変化量が所定値よりも大きいものの数
をカウントすると共に、所定の判定数よりも多いカウン
ト数を有する前記領域を、前記輝度エッジが存在する領
域と見なすことが望ましい。
【００１２】
【００１３】
【００１４】
【発明の実施の形態】図１は、本実施例にかかる車外監
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で取り付けられており、車輌
前方の風景を撮像する。メインカメラ１は、ステレオ処
理を行う際に必要な基準画像（右画像）を撮像し、サブ
カメラ２は、この処理における比較画像（左画像）を撮
像する。互いの同期している状態において、カメラ１，
２から出力された各アナログ画像は、Ａ／Ｄコンバータ
３，４により、所定の輝度階調（例えば、２５６階調の
グレースケール）のデジタル画像に変換される。デジタ
ル化された画像は、画像補正部５において、輝度の補正
や画像の幾何学的な変換等が行われる。通常、一対のカ
メラ１，２の取り付け位置は程度の差こそあれ誤差があ
るため、それに起因したずれが左右の画像に存在してい
る。このずれを補正するために、アフィン変換等を用い
て、画像の回転や平行移動等の幾何学的な変換が行われ
る。このようにして補正された基準画像および比較画像
は、元画像メモリ８に格納される。
視装置のブロック図である。ＣＣＤ等のイメージセンサ
を内蔵した一対のカメラ１，２は、自動車等の車輌の車
幅方向において所定の間隔で取り付けられており、車輌
前方の風景を撮像する。メインカメラ１は、ステレオ処
理を行う際に必要な基準画像（右画像）を撮像し、サブ
カメラ２は、この処理における比較画像（左画像）を撮
像する。互いの同期している状態において、カメラ１，
２から出力された各アナログ画像は、Ａ／Ｄコンバータ
３，４により、所定の輝度階調（例えば、２５６階調の
グレースケール）のデジタル画像に変換される。デジタ
ル化された画像は、画像補正部５において、輝度の補正
や画像の幾何学的な変換等が行われる。通常、一対のカ
メラ１，２の取り付け位置は程度の差こそあれ誤差があ
るため、それに起因したずれが左右の画像に存在してい
る。このずれを補正するために、アフィン変換等を用い
て、画像の回転や平行移動等の幾何学的な変換が行われ
る。このようにして補正された基準画像および比較画像
は、元画像メモリ８に格納される。
【００１５】一方、ステレオ画像処理部６は、画像補正
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、左右画像にお
ける同一対象物の位置に関する相対的なずれから、三角
測量の原理に基づき算出することができる。このように
して算出された画像の距離情報は、距離データメモリ７
に格納される。
部５により補正された基準画像および比較画像から、画
像中の同一対象物の三次元位置（自車輌から対象物まで
の距離を含む）を算出する。この距離は、左右画像にお
ける同一対象物の位置に関する相対的なずれから、三角
測量の原理に基づき算出することができる。このように
して算出された画像の距離情報は、距離データメモリ７
に格納される。
【００１６】マイクロ・コンピュータ９は、元画像メモ
リ８および距離データメモリ７に格納された各情報に基
づき、車輌前方の道路状態等を認識したり（道路認識部
１０）、車輌前方の立体物（走行車）等を認識する（立
体物認識部１１）。そして、処理部１３は、これらの認
識部１０，１１からの情報から警報が必要と判定された
場合、モニタやスピーカー等の警報装置１９によりドラ
イバーに対して注意を促したり、あるいは、必要に応じ
て、各種制御部１４〜１８を制御する。例えば、ＡＴ
（自動変速機）制御部１４に対して、シフトダウンを実
行すべき旨を指示する。また、エンジン制御部１８に対
してエンジン出力を低下すべき旨を指示してもよい。そ
の他にも、アンチロックブレーキシステム（ＡＢＳ）制
御部１５、トラクションコントロールシステム（ＴＣ
Ｓ）制御部１６、あるいは、各車輪のトルク配分や回転
数を制御する車輌挙動制御部１７に対して、適切な車輌
制御を指示することも可能である。
リ８および距離データメモリ７に格納された各情報に基
づき、車輌前方の道路状態等を認識したり（道路認識部
１０）、車輌前方の立体物（走行車）等を認識する（立
体物認識部１１）。そして、処理部１３は、これらの認
識部１０，１１からの情報から警報が必要と判定された
場合、モニタやスピーカー等の警報装置１９によりドラ
イバーに対して注意を促したり、あるいは、必要に応じ
て、各種制御部１４〜１８を制御する。例えば、ＡＴ
（自動変速機）制御部１４に対して、シフトダウンを実
行すべき旨を指示する。また、エンジン制御部１８に対
してエンジン出力を低下すべき旨を指示してもよい。そ
の他にも、アンチロックブレーキシステム（ＡＢＳ）制
御部１５、トラクションコントロールシステム（ＴＣ
Ｓ）制御部１６、あるいは、各車輪のトルク配分や回転
数を制御する車輌挙動制御部１７に対して、適切な車輌
制御を指示することも可能である。
【００１７】さらに、フェール判定部１２は、元画像メ
モリ８に記憶された元画像情報に基づいて、後述するル
ーチンにしたがってフェール判定を行う。フェールと判
定されている期間、すなわち、後述するフェール判定ル
ーチンによりフェールフラグＮＧが１にセットされてい
る期間は、処理部１３からの指示によりフェールセーフ
が実行される。例えば、道路の認識が困難な状況下にお
ける装置の誤動作を防ぐために、上述した車輌制御等が
一時的に中断される。また、通常制御時よりも緩やかな
車輌制動力が生じるように、上記の制御部１４〜１８の
各種制動パラメータを変更する。
モリ８に記憶された元画像情報に基づいて、後述するル
ーチンにしたがってフェール判定を行う。フェールと判
定されている期間、すなわち、後述するフェール判定ル
ーチンによりフェールフラグＮＧが１にセットされてい
る期間は、処理部１３からの指示によりフェールセーフ
が実行される。例えば、道路の認識が困難な状況下にお
ける装置の誤動作を防ぐために、上述した車輌制御等が
一時的に中断される。また、通常制御時よりも緩やかな
車輌制動力が生じるように、上記の制御部１４〜１８の
各種制動パラメータを変更する。
【００１８】図２は、路肩雪によるフェールの判定ルー
チンを示したフローチャートである。このフローチャー
トは、所定の制御周期（例えば１００ｍｓ）ごとに繰り
返し実行される。このルーチンにより、フェールフラグ
ＮＧが１にセットされた場合、フェール判定部１２は、
処理部１３に対してその旨を指示し、処理部１３は本車
外監視装置のフェールセーフを実行する。
チンを示したフローチャートである。このフローチャー
トは、所定の制御周期（例えば１００ｍｓ）ごとに繰り
返し実行される。このルーチンにより、フェールフラグ
ＮＧが１にセットされた場合、フェール判定部１２は、
処理部１３に対してその旨を指示し、処理部１３は本車
外監視装置のフェールセーフを実行する。
【００１９】まず、ステップ１において、フェール判定
部１２は、予め設定された監視領域Ｒを構成する各領域
Ｒ１〜Ｒ６内の画像データ、すなわちその領域内の各画
素の輝度値を、元画像メモリ８から読み込む。図５は、
画像領域中に設定された監視領域Ｒを説明するための図
である。２００×５１２画素のサイズを有する撮像画像
のうち、図示したように画像下側において水平方向に延
在する矩形領域を監視領域Ｒとする。路肩雪の有無とい
った路面状態の判定は、この監視領域Ｒに基づいて行わ
れる。そのため、監視領域Ｒは、撮像された画像のうち
道路が映し出される領域を含むように設定する必要があ
る。その際、撮像画像のなるべく下側に監視領域Ｒを設
定することが好ましい。通常、自車輌は、先行車とある
程度の車間距離をおいて走行しているため、先行車は二
次元平面である撮像画像の比較的上側に映し出される傾
向がある。したがって、撮像画像のなるべく下側に監視
領域Ｒを設定すれば、先行車によって路面がマスクされ
てしまう状況を避けることができ、路面状態を正確にモ
ニタリングすることができる。
部１２は、予め設定された監視領域Ｒを構成する各領域
Ｒ１〜Ｒ６内の画像データ、すなわちその領域内の各画
素の輝度値を、元画像メモリ８から読み込む。図５は、
画像領域中に設定された監視領域Ｒを説明するための図
である。２００×５１２画素のサイズを有する撮像画像
のうち、図示したように画像下側において水平方向に延
在する矩形領域を監視領域Ｒとする。路肩雪の有無とい
った路面状態の判定は、この監視領域Ｒに基づいて行わ
れる。そのため、監視領域Ｒは、撮像された画像のうち
道路が映し出される領域を含むように設定する必要があ
る。その際、撮像画像のなるべく下側に監視領域Ｒを設
定することが好ましい。通常、自車輌は、先行車とある
程度の車間距離をおいて走行しているため、先行車は二
次元平面である撮像画像の比較的上側に映し出される傾
向がある。したがって、撮像画像のなるべく下側に監視
領域Ｒを設定すれば、先行車によって路面がマスクされ
てしまう状況を避けることができ、路面状態を正確にモ
ニタリングすることができる。
【００２０】また、監視領域Ｒは、図３に示したよう
に、走行車線の中央線や走行車線、あるいは路肩線とい
った走行路の両端部（すなわちエッジ）よりも外側の状
況を含む程度に水平方向に延在させておく必要がある。
なお、上記エッジが撮像画像の左右に振れるような走行
状況（例えばカーブ走行時等）を見越して、その分だけ
監視領域Ｒの水平長を長めに設定しておく。
に、走行車線の中央線や走行車線、あるいは路肩線とい
った走行路の両端部（すなわちエッジ）よりも外側の状
況を含む程度に水平方向に延在させておく必要がある。
なお、上記エッジが撮像画像の左右に振れるような走行
状況（例えばカーブ走行時等）を見越して、その分だけ
監視領域Ｒの水平長を長めに設定しておく。
【００２１】このようにして設定された監視領域Ｒをさ
らに６つに分割して、画像の水平方向に並んだ矩形領域
Ｒ１〜Ｒ６が得られる。そして、ステップ２において、
領域Ｒ１〜Ｒ６ごとに、その領域内に輝度エッジが存在
しているか否かが探索される。図３からわかるように、
輝度エッジを有する領域Ｒ１〜Ｒ６の特徴として、水平
方向に隣接した画素対（または画素ブロック対）の輝度
変化が大きく、かつ、そのような輝度変化が垂直方向
（実際には斜め方向）に連続している点が挙げられる。
したがって、そのような輝度エッジをパターンマッチン
グ等の手法を用いて、検出することも可能である。しか
しながら、本実施例では、演算量の増大を抑えることを
優先して、各領域内における所定値以上の輝度差（絶対
値）を有する画素対の個数のみに基づいて、走行路のエ
ッジの有無を調べている。
らに６つに分割して、画像の水平方向に並んだ矩形領域
Ｒ１〜Ｒ６が得られる。そして、ステップ２において、
領域Ｒ１〜Ｒ６ごとに、その領域内に輝度エッジが存在
しているか否かが探索される。図３からわかるように、
輝度エッジを有する領域Ｒ１〜Ｒ６の特徴として、水平
方向に隣接した画素対（または画素ブロック対）の輝度
変化が大きく、かつ、そのような輝度変化が垂直方向
（実際には斜め方向）に連続している点が挙げられる。
したがって、そのような輝度エッジをパターンマッチン
グ等の手法を用いて、検出することも可能である。しか
しながら、本実施例では、演算量の増大を抑えることを
優先して、各領域内における所定値以上の輝度差（絶対
値）を有する画素対の個数のみに基づいて、走行路のエ
ッジの有無を調べている。
【００２２】図６は、一例として領域Ｒ１のエッジ算出
方法を説明するための図である。まず、領域Ｒ１内に存
在するある対象画素Ｔに関して、輝度変化量Δχを算出
する。輝度変化量Δχは、対象画素Ｔの左側で近接した
２画素（画素ブロック）の輝度和と右側で近接した２画
素（画素ブロック）の輝度和との差（絶対値）である。
この算出手法では、左右の画素ブロックを比較単位とし
て輝度変化を見ているため、対象画素Ｔに関する水平方
向のエッジ状態を的確に反映した値を求めることができ
る。このような輝度変化量Δχを、領域Ｒ１内に存在す
るすべての画素について算出する。これにより、領域Ｒ
１全体における水平方向の輝度変化の状態を把握するこ
とができる。
方法を説明するための図である。まず、領域Ｒ１内に存
在するある対象画素Ｔに関して、輝度変化量Δχを算出
する。輝度変化量Δχは、対象画素Ｔの左側で近接した
２画素（画素ブロック）の輝度和と右側で近接した２画
素（画素ブロック）の輝度和との差（絶対値）である。
この算出手法では、左右の画素ブロックを比較単位とし
て輝度変化を見ているため、対象画素Ｔに関する水平方
向のエッジ状態を的確に反映した値を求めることができ
る。このような輝度変化量Δχを、領域Ｒ１内に存在す
るすべての画素について算出する。これにより、領域Ｒ
１全体における水平方向の輝度変化の状態を把握するこ
とができる。
【００２３】つぎに、領域Ｒ１内の画素数分算出された
輝度変化量Δχのうち、所定のしきい値Δχth（例えば
日中では３０）よりも大きな値を有するものの個数を求
める。このしきい値Δχthに関して、輝度変化が生じに
くくなる夜間等においては、エッジの判定基準を緩和す
るために日中よりも小さな値（例えば２０）を用いる。
そして、そのしきい値Δχthよりも大きい輝度変化量Δ
χを有する対象画素の個数Ｎが所定のエッジ判定個数Ｎ
thよりも多い場合は、領域Ｒ１内にエッジが存在するも
のと判断する。これに対して、個数Ｎがそれ以下の場合
はエッジが存在しないものと判断する。他の領域Ｒ２〜
Ｒ６についても、同様の手法によりエッジの有無を探索
する。
輝度変化量Δχのうち、所定のしきい値Δχth（例えば
日中では３０）よりも大きな値を有するものの個数を求
める。このしきい値Δχthに関して、輝度変化が生じに
くくなる夜間等においては、エッジの判定基準を緩和す
るために日中よりも小さな値（例えば２０）を用いる。
そして、そのしきい値Δχthよりも大きい輝度変化量Δ
χを有する対象画素の個数Ｎが所定のエッジ判定個数Ｎ
thよりも多い場合は、領域Ｒ１内にエッジが存在するも
のと判断する。これに対して、個数Ｎがそれ以下の場合
はエッジが存在しないものと判断する。他の領域Ｒ２〜
Ｒ６についても、同様の手法によりエッジの有無を探索
する。
【００２４】なお、上記のエッジ判定手法は、演算量の
低減という観点から、輝度変化が大きな領域が連続して
存在するか否かまでは考慮しておらず、大きな輝度変化
を有する画素の個数のみを考慮している。しかしなが
ら、このような簡易な手法であってもエッジの有無を比
較的精度よく検出できることが、走行テスト等の実験を
通じて確認されている。
低減という観点から、輝度変化が大きな領域が連続して
存在するか否かまでは考慮しておらず、大きな輝度変化
を有する画素の個数のみを考慮している。しかしなが
ら、このような簡易な手法であってもエッジの有無を比
較的精度よく検出できることが、走行テスト等の実験を
通じて確認されている。
【００２５】ステップ２に続くステップ３において、監
視領域Ｒの輝度エッジの状態が、図７に示したエッジパ
ターンのいずれかに該当するか否かが判断される。この
ステップは、換言すると、走行路の両脇に路肩雪が存在
している可能性をエッジの発生位置から判断するもので
ある。なお、同図に示した領域Ｒ１〜Ｒ６のうち全面的
にハッチングされた領域は、輝度エッジが存在しないと
判断された領域を示しており、部分的にハッチングされ
た領域は、輝度エッジが存在すると判断された領域を示
している。これらのエッジパターンのいずれかに該当す
るということは、すなわち、中央の４領域Ｒ２〜Ｒ４の
中で２領域以上連続してエッジが存在していないという
ことである。
視領域Ｒの輝度エッジの状態が、図７に示したエッジパ
ターンのいずれかに該当するか否かが判断される。この
ステップは、換言すると、走行路の両脇に路肩雪が存在
している可能性をエッジの発生位置から判断するもので
ある。なお、同図に示した領域Ｒ１〜Ｒ６のうち全面的
にハッチングされた領域は、輝度エッジが存在しないと
判断された領域を示しており、部分的にハッチングされ
た領域は、輝度エッジが存在すると判断された領域を示
している。これらのエッジパターンのいずれかに該当す
るということは、すなわち、中央の４領域Ｒ２〜Ｒ４の
中で２領域以上連続してエッジが存在していないという
ことである。
【００２６】走行路の両脇に路肩雪が存在すると、監視
領域Ｒの左右に輝度エッジが発生し、図４のような状況
では図７のパターン４に合致する。どのパターンに合致
するかは、路肩雪が存在する位置や走行の仕方等によっ
て異なる。例えば、図４の状況よりも路肩側に退行して
いればパターン１のようになる。また、左右で路肩雪の
退行の程度が異なる場合や、自車輌が走行路の中心線か
ら左右のどちらかにずれて走行しているような場合は、
パターン２，３，５，６のように左右のどちらかにオフ
セットしたパターンになることもある。ただし、路肩雪
が存在するような状況において、走行車のタイヤと頻繁
に接触する路面中心部付近には雪が余り存在しない傾向
がある。そのため、左右の路肩雪の退行の相違や自車輌
のオフセット走行等を考慮したとしても、領域Ｒ２〜Ｒ
４のうち連続した少なくとも２つは、エッジが存在しな
い傾向が強い。なお、エッジを有する領域が３つ以上検
出された場合は、監視領域Ｒの中心に近い方の領域が優
先される。例えば、領域Ｒ１，Ｒ２，Ｒ６がエッジを有
する場合は、Ｒ１よりも中心に近いＲ２が優先され、パ
ターン６に合致するものと判断する。
領域Ｒの左右に輝度エッジが発生し、図４のような状況
では図７のパターン４に合致する。どのパターンに合致
するかは、路肩雪が存在する位置や走行の仕方等によっ
て異なる。例えば、図４の状況よりも路肩側に退行して
いればパターン１のようになる。また、左右で路肩雪の
退行の程度が異なる場合や、自車輌が走行路の中心線か
ら左右のどちらかにずれて走行しているような場合は、
パターン２，３，５，６のように左右のどちらかにオフ
セットしたパターンになることもある。ただし、路肩雪
が存在するような状況において、走行車のタイヤと頻繁
に接触する路面中心部付近には雪が余り存在しない傾向
がある。そのため、左右の路肩雪の退行の相違や自車輌
のオフセット走行等を考慮したとしても、領域Ｒ２〜Ｒ
４のうち連続した少なくとも２つは、エッジが存在しな
い傾向が強い。なお、エッジを有する領域が３つ以上検
出された場合は、監視領域Ｒの中心に近い方の領域が優
先される。例えば、領域Ｒ１，Ｒ２，Ｒ６がエッジを有
する場合は、Ｒ１よりも中心に近いＲ２が優先され、パ
ターン６に合致するものと判断する。
【００２７】このように、走行路の両脇に路肩雪が存在
し、かつ、走行路の中心部付近に雪が殆ど存在しないよ
うな走行状況は、エッジパターン１〜６のいずれかに該
当する。そこで、ステップ３で否定判定された場合は、
路肩雪は存在しないと判断して、フェールフラグＮＧを
０にセットし（ステップ１０）、リターンへ進む。
し、かつ、走行路の中心部付近に雪が殆ど存在しないよ
うな走行状況は、エッジパターン１〜６のいずれかに該
当する。そこで、ステップ３で否定判定された場合は、
路肩雪は存在しないと判断して、フェールフラグＮＧを
０にセットし（ステップ１０）、リターンへ進む。
【００２８】これに対して、ステップ３で肯定判定され
た場合は、路肩雪が存在している可能性がある。しかし
ながら、このステップの肯定判断をもって、路肩雪が存
在していると断定することはできない。例えば、図３の
ように通常な走行状況であっても、走行路の左右の白線
（路肩線や走行車線等）に起因した輝度変化でエッジが
検出される。そのため、そのような路面状況でも、図７
のパターン１に合致し得るからである。
た場合は、路肩雪が存在している可能性がある。しかし
ながら、このステップの肯定判断をもって、路肩雪が存
在していると断定することはできない。例えば、図３の
ように通常な走行状況であっても、走行路の左右の白線
（路肩線や走行車線等）に起因した輝度変化でエッジが
検出される。そのため、そのような路面状況でも、図７
のパターン１に合致し得るからである。
【００２９】そこで、白線と路肩雪とを区別するため
に、輝度エッジの内外の輝度差を検証する。概略的にい
うと、路肩雪に起因して生じたエッジに関しては、通常
の白線等に起因して生じたエッジと比べて、エッジの内
外の輝度差が大きくなる傾向にある。この理由は、白線
の水平方向の幅よりも路肩雪のそれのほうが大きいから
である。つまり、エッジの外側に占める路肩雪の部分
（高輝度領域）が増えるため、エッジの外側の全体的な
輝度（平均輝度）が大きくなる。そこで、ステップ４以
降の手順のように、エッジの内外の輝度差を求めて、そ
れが適切に設定されたしきい値よりも大きいならば、路
肩雪と判断することができる。
に、輝度エッジの内外の輝度差を検証する。概略的にい
うと、路肩雪に起因して生じたエッジに関しては、通常
の白線等に起因して生じたエッジと比べて、エッジの内
外の輝度差が大きくなる傾向にある。この理由は、白線
の水平方向の幅よりも路肩雪のそれのほうが大きいから
である。つまり、エッジの外側に占める路肩雪の部分
（高輝度領域）が増えるため、エッジの外側の全体的な
輝度（平均輝度）が大きくなる。そこで、ステップ４以
降の手順のように、エッジの内外の輝度差を求めて、そ
れが適切に設定されたしきい値よりも大きいならば、路
肩雪と判断することができる。
【００３０】まず、ステップ４において、均一領域Ｑ内
における各画素の輝度の平均値ＰＱが算出される。均一
領域Ｑは、図７に示したように輝度エッジを有する領域
（左右）で挟まれた内側領域である。例えば、パターン
１では領域Ｒ２から領域Ｒ５間での領域が均一領域Ｑで
ある。ステップ４において算出された平均輝度ＰＱに所
定の定数ＯＦＦＳＥＴ（例えば７０）を加算することに
より、輝度判定しきい値Ｐthが算出される（ステップ
５）。
における各画素の輝度の平均値ＰＱが算出される。均一
領域Ｑは、図７に示したように輝度エッジを有する領域
（左右）で挟まれた内側領域である。例えば、パターン
１では領域Ｒ２から領域Ｒ５間での領域が均一領域Ｑで
ある。ステップ４において算出された平均輝度ＰＱに所
定の定数ＯＦＦＳＥＴ（例えば７０）を加算することに
より、輝度判定しきい値Ｐthが算出される（ステップ
５）。
【００３１】そして、ステップ６において、左サイド領
域ＬＳ内に含まれるそれぞれの領域の平均輝度と、右サ
イド領域ＲＳ内に含まれるそれぞれの領域の平均輝度と
が算出される。各サイド領域ＬＳ，ＲＳは、均一領域Ｑ
よりも外側の領域（エッジを有する領域を含む）である
（図７参照）。したがって、例えばパターン３では、左
サイド領域ＬＳについては領域Ｒ１の平均輝度が算出さ
れる。また、右サイド領域ＲＳについては、領域Ｒ４，
Ｒ５，Ｒ６の平均輝度がそれぞれ別個に算出される。
域ＬＳ内に含まれるそれぞれの領域の平均輝度と、右サ
イド領域ＲＳ内に含まれるそれぞれの領域の平均輝度と
が算出される。各サイド領域ＬＳ，ＲＳは、均一領域Ｑ
よりも外側の領域（エッジを有する領域を含む）である
（図７参照）。したがって、例えばパターン３では、左
サイド領域ＬＳについては領域Ｒ１の平均輝度が算出さ
れる。また、右サイド領域ＲＳについては、領域Ｒ４，
Ｒ５，Ｒ６の平均輝度がそれぞれ別個に算出される。
【００３２】続くステップ７において、左サイド領域Ｌ
Ｓに関して算出されたそれぞれの平均輝度の中に、ステ
ップ５で算出された輝度判定しきい値Ｐthより大きな平
均輝度を有する領域があるか否かが判断される。同様
に、右サイド領域ＲＳに関して算出されたそれぞれの平
均輝度の中に、ステップ５で算出された輝度判定しきい
値Ｐthより大きな平均輝度を有する領域があるか否かが
判断される（ステップ８）。そして、どちらのステップ
においても肯定判定された場合のみ、フェールフラグＮ
Ｇは１にセットされ（ステップ９）、それ以外の場合は
０にセットされる（ステップ１０）。
Ｓに関して算出されたそれぞれの平均輝度の中に、ステ
ップ５で算出された輝度判定しきい値Ｐthより大きな平
均輝度を有する領域があるか否かが判断される。同様
に、右サイド領域ＲＳに関して算出されたそれぞれの平
均輝度の中に、ステップ５で算出された輝度判定しきい
値Ｐthより大きな平均輝度を有する領域があるか否かが
判断される（ステップ８）。そして、どちらのステップ
においても肯定判定された場合のみ、フェールフラグＮ
Ｇは１にセットされ（ステップ９）、それ以外の場合は
０にセットされる（ステップ１０）。
【００３３】このように、本実施例にかかるフェール判
定手法では、路肩雪が存在するような状況をモニタリン
グするために、二次元的な平面である撮像画像におい
て、路面が映し出される特定領域を監視領域として設定
している。そして、この監視領域内の輝度エッジと、そ
のエッジ内外の輝度の変化量とに基づいて、路肩雪を検
出している。発明者が実際に走行テストを繰り返した結
果、以上の判定手順で良好な判定結果を得られることが
確認できた。そして、判定結果に応じた制御（フェール
セーフを含む）を行えば、車外監視装置の安全性を一層
高い次元で確保することが可能となる。また、本実施例
は、少ない演算量でフェール判定を行うことができると
いう効果もある。
定手法では、路肩雪が存在するような状況をモニタリン
グするために、二次元的な平面である撮像画像におい
て、路面が映し出される特定領域を監視領域として設定
している。そして、この監視領域内の輝度エッジと、そ
のエッジ内外の輝度の変化量とに基づいて、路肩雪を検
出している。発明者が実際に走行テストを繰り返した結
果、以上の判定手順で良好な判定結果を得られることが
確認できた。そして、判定結果に応じた制御（フェール
セーフを含む）を行えば、車外監視装置の安全性を一層
高い次元で確保することが可能となる。また、本実施例
は、少ない演算量でフェール判定を行うことができると
いう効果もある。
【００３４】なお、車外監視の信頼性および制御の安定
性の双方を確保するという観点でいえば、ＮＧフラグの
切り換えは、上述した異常／正常の判断がそれぞれ所定
のサイクル分だけ継続した場合に行うようにすることが
好ましい。例えば、フェールフラグＮＧを０から１にセ
ットする場合、異常（フェール）判断が５サイクル（0.
5秒）継続した場合に変更する。同様の観点から、フェ
ールフラグＮＧを１から０にセットする場合、正常判断
が２０サイクル（2.0秒）継続した場合に変更する。
性の双方を確保するという観点でいえば、ＮＧフラグの
切り換えは、上述した異常／正常の判断がそれぞれ所定
のサイクル分だけ継続した場合に行うようにすることが
好ましい。例えば、フェールフラグＮＧを０から１にセ
ットする場合、異常（フェール）判断が５サイクル（0.
5秒）継続した場合に変更する。同様の観点から、フェ
ールフラグＮＧを１から０にセットする場合、正常判断
が２０サイクル（2.0秒）継続した場合に変更する。
【００３５】また、フェール状況の検出精度を向上させ
るために、上記のフェール判定ルーチンは走行状況に応
じて実行するようにしてもよい。例えば、自車輌と先行
車との車間距離が１３ｍ以上、車速が２０km/h以上、か
つ、舵角±２３°以下の場合のみフェール判定を実行す
る。先行車との車間距離が短い場合、ドライデータの大
半が先行車によってマスクされてしまうため、路面状況
を精度よく検出することが困難となる。また、特に、各
フレーム毎にウェットデータ率ＲＴを算出し、所定のフ
レーム間隔でその評価を行う手法を用いた場合におい
て、車速が低いとフェール判定精度が低下してしまう可
能性がある。車速が低い場合は自車輌の移動量の少ない
ので、局所的な路面しか監視対象にならない。この局所
的な路面が、偶然、フェール状況に合致してしまうよう
な未想定の状態である場合、適切でないフェール判定が
なされてしまうおそれがある。車速が高いことをフェー
ル判定の実行条件とすれば、このような路面が局所的に
存在したとしても、誤ってフェールと判定してしまうこ
とを回避できる。さらに、舵角を考慮した理由は、カメ
ラの視野に入る景色のパターンをある程度限定すること
で、判定精度を向上させるためである。
るために、上記のフェール判定ルーチンは走行状況に応
じて実行するようにしてもよい。例えば、自車輌と先行
車との車間距離が１３ｍ以上、車速が２０km/h以上、か
つ、舵角±２３°以下の場合のみフェール判定を実行す
る。先行車との車間距離が短い場合、ドライデータの大
半が先行車によってマスクされてしまうため、路面状況
を精度よく検出することが困難となる。また、特に、各
フレーム毎にウェットデータ率ＲＴを算出し、所定のフ
レーム間隔でその評価を行う手法を用いた場合におい
て、車速が低いとフェール判定精度が低下してしまう可
能性がある。車速が低い場合は自車輌の移動量の少ない
ので、局所的な路面しか監視対象にならない。この局所
的な路面が、偶然、フェール状況に合致してしまうよう
な未想定の状態である場合、適切でないフェール判定が
なされてしまうおそれがある。車速が高いことをフェー
ル判定の実行条件とすれば、このような路面が局所的に
存在したとしても、誤ってフェールと判定してしまうこ
とを回避できる。さらに、舵角を考慮した理由は、カメ
ラの視野に入る景色のパターンをある程度限定すること
で、判定精度を向上させるためである。
【００３６】さらに、撮像画像に基づく路面状況の判定
結果にくわえて、外気温センサから得られる外気温度を
考慮すれば、雪の有無を一層正確に推定することが可能
となる。
結果にくわえて、外気温センサから得られる外気温度を
考慮すれば、雪の有無を一層正確に推定することが可能
となる。
【００３７】なお、上記の実施例では、ステレオカメラ
のフェール判定を説明しているが、本発明はこれに限定
されず、単眼カメラを用いた場合にも適用することがで
きるのは当然である。
のフェール判定を説明しているが、本発明はこれに限定
されず、単眼カメラを用いた場合にも適用することがで
きるのは当然である。
【００３８】
【００３９】
【００４０】
【００４１】
【発明の効果】このように本発明では、走行環境の認識
が困難な路面状況を撮像画像から精度よく検出すること
ができる。そして、路面状況に応じてフェールセーフを
行うことで、車外監視装置の安全性を高い次元で確保す
ることができる。
が困難な路面状況を撮像画像から精度よく検出すること
ができる。そして、路面状況に応じてフェールセーフを
行うことで、車外監視装置の安全性を高い次元で確保す
ることができる。
【図１】実施例にかかる車外監視装置のブロック図
【図２】路肩雪によるフェール判定ルーチンを示したフ
ローチャート
ローチャート
【図３】道路に雪が存在しない状況における撮像画像の
一例を示した図
一例を示した図
【図４】路肩雪が存在する状況における撮像画像を示し
た図
た図
【図５】画像領域中に設定された監視領域を説明するた
めの図
めの図
【図６】領域Ｒ１のエッジ算出方法を説明するための図
【図７】監視領域のエッジ出現パターンを説明するため
の図
の図
１ メインカメラ、 ２ サブカメラ、３，
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイクロ・コンピュー
タ、１０ 道路認識部、 １１ 立体物認識
部、１２ フェール判定部、 １３ 処理部、１
４ ＡＴ制御部、 １５ ＡＢＳ制御部、１
６ ＴＣＳ制御部、 １７ 車輌挙動制御部、
１８ エンジン制御部、 １９ 警報装置
４ Ａ／Ｄコンバータ、 ５ 画像補正部、６ ステ
レオ画像処理部、 ７ 距離データメモリ、８ 元
画像メモリ、 ９ マイクロ・コンピュー
タ、１０ 道路認識部、 １１ 立体物認識
部、１２ フェール判定部、 １３ 処理部、１
４ ＡＴ制御部、 １５ ＡＢＳ制御部、１
６ ＴＣＳ制御部、 １７ 車輌挙動制御部、
１８ エンジン制御部、 １９ 警報装置
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平９−39601（ＪＰ，Ａ) 特開 平９−210676（ＪＰ，Ａ) 特開 平10−111939（ＪＰ，Ａ) 特開 平７−84067（ＪＰ，Ａ) 特開 昭63−11427（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G08G 1/00 - 9/02 B60R 1/00 - 1/12 B60R 21/00 - 21/34 B60K 25/00 - 28/16 G05D 1/00 - 1/12 H04N 7/18
Claims (3)
- 【請求項１】車外の景色を撮像手段により撮像した画像
がフェールと判定された場合にフェールセーフを行う車
外監視装置において、前記撮像手段により得られた撮像画像中に該撮像画像に
映し出された路面の一部を含み、且つ、撮像画像に映し
出された走行時の両端の外側を含むように水平方向に延
在して監視領域を設定し、該監視領域の水平方向に関す
る輝度エッジ輝度エッジの状態を検出する検出手段と、 前記検出された輝度エッジの状態が、前記走行時の路肩
部分に雪が存在する状況であって前記輝度エッジが前記
監視領域の端側の所定の範囲内に位置する特性を有する
場合に、フェールと判定する判定手段とを有する ことを
特徴とする車外監視装置。 - 【請求項２】前記判定手段は、前記監視領域に関して、
前記輝度エッジの外側の全体的な輝度の大きさが、前記
輝度エッジの内側の全体的な輝度の大きさに所定値を加
えた値よりも大きくなる特性を有する場合に、フェール
と判定することを特徴とする請求項１記載の車外監視装
置。 - 【請求項３】前記監視領域は、水平方向に並んだ複数の
領域で構成されており、 前記検出手段は、前記領域のそれぞれに関して、当該領
域内において水平方向に近接した画素または画素ブロッ
ク対のうち、輝度変化量が所定値よりも大きいものの数
をカウントすると共に、 所定の判定数よりも多いカウント数を有する前記領域
を、前記輝度エッジが存在する領域と見なすこと を特徴
とする請求項２記載の車外監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26791399A JP3272701B2 (ja) | 1999-09-22 | 1999-09-22 | 車外監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26791399A JP3272701B2 (ja) | 1999-09-22 | 1999-09-22 | 車外監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001088636A JP2001088636A (ja) | 2001-04-03 |
| JP3272701B2 true JP3272701B2 (ja) | 2002-04-08 |
Family
ID=17451371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26791399A Expired - Fee Related JP3272701B2 (ja) | 1999-09-22 | 1999-09-22 | 車外監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3272701B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462467B2 (ja) | 2000-11-14 | 2003-11-05 | 富士重工業株式会社 | 車外監視装置 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4311107B2 (ja) * | 2003-08-08 | 2009-08-12 | オムロン株式会社 | 三次元物体認識装置およびその設定方法 |
| WO2005093657A1 (ja) | 2004-03-29 | 2005-10-06 | Pioneer Corporation | 道路景観解析装置及び方法 |
| JP4185077B2 (ja) | 2005-07-15 | 2008-11-19 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法、及び画像処理プログラム |
| JP4930046B2 (ja) * | 2006-12-26 | 2012-05-09 | 日産自動車株式会社 | 路面判別方法および路面判別装置 |
-
1999
- 1999-09-22 JP JP26791399A patent/JP3272701B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3462467B2 (ja) | 2000-11-14 | 2003-11-05 | 富士重工業株式会社 | 車外監視装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001088636A (ja) | 2001-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9704404B2 (en) | Lane detection apparatus and operating method for the same | |
| JP3312729B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| US6310546B1 (en) | Stereo type vehicle monitoring apparatus with a fail-safe function | |
| JP4714104B2 (ja) | 物体傾き検出装置 | |
| JP3301995B2 (ja) | ステレオ式車外監視装置 | |
| JP2002230530A (ja) | 車線離脱防止方法 | |
| JP3092105B1 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP2002022439A (ja) | フェールセーフ機能を有する車外監視装置 | |
| JPH1139597A (ja) | 車両の衝突防止装置 | |
| JP3235831B2 (ja) | ステレオ式車外監視装置 | |
| JP3272701B2 (ja) | 車外監視装置 | |
| JP2011174794A (ja) | 路面状態検出装置及び方法 | |
| US20070005213A1 (en) | Backward control for automobiles using telematics and method thereof | |
| JP2002160598A (ja) | 車外監視装置 | |
| JP3272694B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| WO2017208586A1 (ja) | 画像表示システム | |
| JP3272696B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP3649327B2 (ja) | フェールセーフ機能を有するステレオ式車外監視装置 | |
| JP2001043352A (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP4532089B2 (ja) | 車外監視装置 | |
| JP4794764B2 (ja) | 車外監視装置 | |
| JP3875889B2 (ja) | 画像式速度検知システム及び画像式速度検知方法 | |
| JP4601376B2 (ja) | 画像異常判定装置 | |
| JP2007083922A (ja) | 衝突回避支援システム、衝突回避支援方法及びコンピュータプログラム | |
| WO2022254795A1 (ja) | 画像処理装置、および、画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3272701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |