JP3759280B2 - 道路監視用事象検知装置 - Google Patents
道路監視用事象検知装置 Download PDFInfo
- Publication number
- JP3759280B2 JP3759280B2 JP09694097A JP9694097A JP3759280B2 JP 3759280 B2 JP3759280 B2 JP 3759280B2 JP 09694097 A JP09694097 A JP 09694097A JP 9694097 A JP9694097 A JP 9694097A JP 3759280 B2 JP3759280 B2 JP 3759280B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- road
- difference
- color
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K31/00—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator
- B60K31/0008—Vehicle fittings, acting on a single sub-unit only, for automatically controlling vehicle speed, i.e. preventing speed from exceeding an arbitrarily established velocity or maintaining speed at a particular velocity, as selected by the vehicle operator including means for detecting potential obstacles in vehicle path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Geophysics And Detection Of Objects (AREA)
- Emergency Alarm Devices (AREA)
- Image Analysis (AREA)
- Spectrometry And Color Measurement (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、道路監視用事象検知装置に関し、特に、道路付近に設置したテレビカメラから得た画像情報を基に、道路上の車両の走行状態（渋滞、停車等）を検知したり、落下物の検知を行う道路監視用事象検知装置に関する。
【０００２】
道路の車両渋滞状況や事故等による車両停車状態、また車両からの落下物の存在等を、道路管理者が素早く把握して、後続の車両等に注意を促したり、しかるべき処置をとったりすることは、安全上、重要なことである。特に、高速道路上では非常に重要なことである。上記の各状態の把握は、広範囲にわたって常時行われねばならないので、これを人手に頼らず自動的にできることが望ましい。
【０００３】
【従来の技術】
図１０は、従来の道路監視用事象検知装置の構成の一例を示す図である。すなわち、道路付近に道路上を撮影する白黒テレビカメラが設置され、そのテレビカメラが撮影した映像がビデオボードを介してマスク／背景／差分処理部１０１に入力される。テレビカメラは、道路の片側を走行する車両を後方から見る位置に設置される。マスク／背景／差分処理部１０１は、入力した画像情報（輝度情報）に対して、まず処理対象画像範囲だけを切り出すためのマスク処理を行う。通常、道路の車線毎に処理を行うので、ある１車線分の画像を切り出す。その切り出された画像を構成する各画素の輝度を、第１の所定時間（例えば数秒から１０数秒）にわたって平均化して、被検出物体のいない状態に相当する背景画像を作成する。すなわち、入力した画像情報（輝度情報）は、画素毎の２５６階調からなる輝度情報で構成され、それまでに作成された背景画像におけるある画素の輝度と、入力画像における同一画素の輝度とを比べ、後者が前者よりも大きいときには階調を１だけ大きくし、後者が前者よりも小さいときには階調を１だけ小さくする。こうした処理を第１の所定時間行って得られた画像は、被検出物体画像成分を殆ど含まない道路面だけのいわゆる背景画像となる。
【０００４】
マスク／背景／差分処理部１０１は、新たに入力された画像と背景画像との画素毎の輝度の差分を求め、この差分（２５６階調）の絶対値を所定の閾値と比較し、閾値を越えていれば、その画素に値１を与え、閾値以下であれば、その画素に値０を与える。値１の画素からなる画像が、背景画像にはなかった被検出物体の画像である。所定の閾値は固定値である。
【０００５】
渋滞抽出部１０２は、マスク／背景／差分処理部１０１から２値化された画像情報をもらい、車両の特徴を抽出しやすくするために、エッジ部分を検出し、Ｙ方向（ほぼ車両の移動方向）への投影値を求める。そして、これを判定処理部１０４へ送る。
【０００６】
一方、静止物体抽出部１０３は、マスク／背景／差分処理部１０１から背景画像を受け取り、第２の背景画像を作成する。すなわち、第１の所定時間にわたって平均化して得られた背景画像を、第１の所定時間よりも長い第２の所定時間（例えば数分）にわたって更に平均化して第２の背景画像を作成する。そして、先の背景画像と第２の背景画像との画素毎の輝度の差分を算出し、この差分（２５６階調）の絶対値を所定の閾値と比較して２値化を行う。こうして得られた２値化画像は、道路上の停車車両の画像か、または車両からの落下物の画像であると推定される。つまり、短い第１の所定時間で平均化されて得られた背景画像には停車車両や車両落下物が含まれていても、長い第２の所定時間にわたって平均化されて得られた第２の背景画像には停車車両や車両落下物の画像が含まれていない。したがって、第１の所定時間で平均化されて得られた背景画像と、第２の背景画像との差分をとれば、そこには停車車両や車両落下物の画像が現れる。
【０００７】
判定処理部１０４は、渋滞抽出部１０２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を把握する。また、判定処理部１０４は、静止物体抽出部１０３から送られた２値化画像を基に、停車車両や車両落下物の存在を把握する。
【０００８】
こうした判定処理部１０４の判定結果に基づき、モニタ表示部１０５は車両の渋滞・停車状況や落下物の存在等について表示を行う。
【０００９】
【発明が解決しようとする課題】
しかし、通常の昼間で、路面の輝度が一定している場合には、従来の道路監視用事象検知装置でも、検知漏れや誤検知が比較的少ないが、夜間や、昼間でも路面の輝度が雲の動きで変化する場合などに、検知漏れや誤検知が多くなるという問題点があった。こうした検知漏れや誤検知が多くなるケースを、３つに分けて以下に説明する。
【００１０】
（ａ）夜間に車両を検出する場合
従来の道路監視用事象検知装置は、移動する車両のヘッドライトで照らされた路面を、車両として誤って検出してしまう。これにより、車両の前方や、車両が入ってくる前の監視車線領域や、隣の監視車線領域において、車両が存在しないにも拘わらず、車両が存在すると誤検出する。
【００１１】
（ｂ）夜間に、照明施設がない路面に存在する落下物やテールライトを消した停止車両を検出する場合
背景画像と検出対象画像との輝度差分が殆どないので、検知漏れを発生する。閾値を下げれば検出できる可能性はあるが、閾値を下げることにより、今度は昼間の誤検知の可能性を高めてしまう虞がある。
【００１２】
（ｃ）昼間に車両や静止物体を検出する場合
雲のはっきりした陰が路面にできて、それが移動するときには、その陰を車両として誤検出してしまう。また、昼間でも曇り空の時や朝夕には、背景画像と検出対象物との輝度差が減少するから、検出漏れが発生する可能性が高まる。例えば、路面とほぼ同じ輝度の車両などは検出漏れになる可能性がある。
【００１３】
本発明はこのような点に鑑みてなされたものであり、検知漏れや誤検知を減少させた道路監視用事象検知装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明では上記目的を達成するために、図１に示すように、道路上を撮影するカラー撮像カメラ１と、カラー撮像カメラ１から送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段２と、カラー撮像カメラ１から送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段３と、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する重複抽出判定手段４と、を有することを特徴とする道路監視用事象検知装置が提供される。
【００１５】
また道路監視用事象検知装置は、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する包括抽出判定手段５を有する。
【００１６】
更に、道路監視用事象検知装置は、カラー撮像カメラ１から送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段６と、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する色強度変化検出手段７と、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する判定手段８とを有する。
【００１７】
昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段２だけで検出した場合には被検出物体として誤検出されてしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、以上のような構成において、重複抽出判定手段４が、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。
【００１８】
また、昼間で所定照度以下のときには、輝度差だけで被検出物体を検出することは難しくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、包括抽出判定手段５が、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。
【００１９】
更に、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段６が、カラー撮像カメラ１から送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段７が、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段８は、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。なお、カラー撮像カメラ１から送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段６で検出された画像部分から当該画素を取り除くようにする。つまり、車両のヘッドライトの当たっている路面部分の画像を構成する各画素には、全色のスペクトラムが含まれている。そこで、全色のスペクトラムが含まれている画素については、指定色画像検出手段６で検出された画像部分から取り除くようにする。こうすることにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
まず、図１を参照して本発明の実施の形態の原理構成を説明する。本発明の実施の形態における原理構成は、道路上を撮影するカラー撮像カメラ１と、カラー撮像カメラ１から送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段２と、カラー撮像カメラ１から送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段３と、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する重複抽出判定手段４とからなる。
【００２１】
また、本発明の実施の形態は、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する包括抽出判定手段５を有する。
【００２２】
更に、本発明の実施の形態は、カラー撮像カメラ１から送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段６と、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する色強度変化検出手段７と、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する判定手段８とを有する。
【００２３】
昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段２だけで検出した場合には被検出物体として誤検出されてしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、以上のような構成において、重複抽出判定手段４が、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。
【００２４】
また、昼間で所定照度以下のときには、輝度差だけで被検出物体を検出することは難しくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、包括抽出判定手段５が、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。
【００２５】
更に、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段６が、カラー撮像カメラ１から送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段７が、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段８は、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。なお、カラー撮像カメラ１から送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段６で検出された画像部分から当該画素を取り除くようにする。つまり、車両のヘッドライトの当たっている路面部分の画像を構成する各画素には、全色のスペクトラムが含まれている。そこで、全色のスペクトラムが含まれている画素については、指定色画像検出手段６で検出された画像部分から取り除くようにする。こうすることにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００２６】
図２は、本発明に係る道路監視用事象検知装置の一実施の形態についての詳しい全体構成を示すブロック図である。
図中、道路付近に道路上を撮影するカラーテレビカメラ（図示せず）が設置され、そのテレビカメラが撮影したカラー映像（３原色データ）がビデオボード（図示せず）を介してマトリックス演算部１１に入力される。テレビカメラは、道路の片側を走行する車両を後方から見る位置に設置される。マトリックス演算部１１は、画素毎の赤、緑、青の各強度データ（２５６階調）を基に、輝度情報（Ｙ）、色情報（θc ）、指定色情報（Ｉc ）を演算する。
【００２７】
図３はマトリックス演算部１１の内部構成を示す図である。図中、乗算器３１〜３３及び加算器３４を使用し、下記式（１）に基づき、画素毎に輝度情報（Ｙ）を算出する。
【００２８】
【数１】
Ｙ＝0.299 ×Ｒ＋0.578 ×Ｇ＋0.114 ×Ｂ ・・・（１）
すなわち、乗算器３１で、ある１つの画素の赤の強度Ｒに係数0.299 を乗算し、乗算器３２で、同一の画素の緑の強度Ｇに係数0.578 を乗算し、乗算器３３で、同一の画素の青の強度Ｂに係数0.114 を乗算し、それらの３つの乗算結果を加算器３４で合算して、ある１つの画素の輝度情報Ｙを出力する。
【００２９】
色情報（θc ）については、ある１つの画素の赤の強度Ｒ、同一の画素の青の強度Ｂ、及び同一の画素の輝度情報Ｙを用いて、演算部３５において下記式（２）に基づき、ある１つの画素の色情報θc を算出する。この算出を各画素に対して行う。
【００３０】
【数２】
θc ＝tan -1｛1.78×（Ｒ−Ｙ）／（Ｂ−Ｙ）｝×256 ／360 ・・・（２）
ここで、値（256 ／360 ）は３６０度の色相情報を２５６階調の強度情報に変換するための係数である。
【００３１】
指定色情報（Ｉc ）については、画素毎に、乗算器３１〜３３で得られた各値に対して乗算器３６〜３８によって係数Ａ，Ｂ，Ｃをそれぞれ乗算し、得られた各値をスイッチ４０〜４２を介して加算器４３で合算する。加算器４３で合算された値はスイッチ４４を介して指定色情報Ｉc として出力される。乗算器３１〜３３で得られた各値は、コンパレータ３９において所定値と比較され、３つの値ともが所定値を越えているときに、コンパレータ３９はスイッチ４４をオフする。乗算器３６〜３８に対してそれぞれ設定される係数Ａ，Ｂ，Ｃの各値及びスイッチ４０〜４２の動作は、外部ＭＰＵ（Micro Processing Unit)からの色指定に従い、色指定部１８（図２）によって制御される。
【００３２】
図４は、色指定部１８によるスイッチ４０〜４２の動作制御を説明する図である。例えば、色指定部１８が「赤」の色指定を受けると、図４を参照してスイッチ４０をオンし、スイッチ４１及びスイッチ４２をオフする。また、例えば、色指定部１８が「黄」の色指定を受けると、図４を参照してスイッチ４０及びスイッチ４１をオンし、スイッチ４２をオフする。なおその際に、係数Ａ，Ｂ，Ｃの各値は値１に設定しておく。そして、図４に示された色以外の中間の色を指定された場合には、係数Ａ，Ｂ，Ｃの各値を調整する。
【００３３】
図３に戻って、指定色として車両のテールライトの色が指定されると、それに応じて、スイッチ４０〜４２の動作が決定され、また乗算器３６〜３８によって乗算される係数Ａ，Ｂ，Ｃの各値が決定される。これにより、加算器４３から出力される値は、ある画素が持つ指定色の強度となる。ただし、この画素が白色に近い色を持っている場合には、つまり、ヘッドライトで照らされた路面等の画像を構成する画素である場合には、コンパレータ３９によりスイッチ４４がオフされるので、その画素に関する指定色情報Ｉc は零となる。これによって、指定色情報Ｉc としては、車両のテールライトの色を有する画像部分だけが出力され、ヘッドライトで照らされた路面等の画像部分は出力されないことになる。
【００３４】
図２に戻って、自動しきい値部１２及びマスク／背景／差分部１３は、入力した輝度情報Ｙを基に、輝度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの動作を、図５を参照して説明する。
【００３５】
図５は、自動しきい値部１２及びマスク／背景／差分部１３の動作を示すフローチャートである。このフローチャートの処理は、１フレーム分の画像が入力される度に実行される。以下、ステップ番号に沿って説明する。
【００３６】
〔Ｓ１〕まずマスク／背景／差分部１３が、処理対象画像範囲だけを切り出すためのマスク処理を行う。
図６は処理対象画像範囲の一例を示す図である。すなわち、マスク／背景／差分部１３には、図６に示す画像５１に関する輝度情報Ｙが入力される。この画像５１は片側３車線の道路の路面を示しており、この画像において、１車線目を領域Ａ１，Ｂ１，Ｃ１，Ｄ１に分割し、同様に、２車線目を領域Ａ２，Ｂ２，Ｃ２，Ｄ２に、３車線目を領域Ａ３，Ｂ３，Ｃ３，Ｄ３に分割する。各分割領域はいずれも、例えば車両４台位の面積に相当する領域にする。したがって、図６に示す分割領域は遠方ほど小さくなる。
【００３７】
ステップＳ１では、これらの分割領域のうちの１つを選択して、その選択された領域の輝度情報Ｙを切り出す。
〔Ｓ２〕後述のステップＳ４〜Ｓ６を第１の所定時間（例えば数秒から１０数秒）にわたって繰り返し実行することによって既に得られた分割領域毎の背景画像において、自動しきい値部１２は、背景画像を構成する各画素が持つ輝度値の平均輝度値を算出し、この平均輝度値に応じて、次のステップＳ３で必要となる閾値を決定する。平均輝度値が大きければ閾値も大きく設定する。閾値は、第１の所定時間毎に更新されるとともに、分割領域毎に個別に設定される。
【００３８】
〔Ｓ３〕マスク／背景／差分部１３は、選択分割領域の画像を構成する各画素の輝度と、選択分割領域の背景画像を構成する対応画素の輝度との差分を算出する。そして、算出された画素毎の差分（２５６階調）の絶対値を、ステップＳ２で決定された選択分割領域の閾値と比較し、その絶対値が閾値を越えていれば、その画素に値１を与え、閾値以下であれば、その画素に値０を与える。値１の画素からなる画像が、背景画像にはなかった被検出物体の画像である。
【００３９】
〔Ｓ４〕マスク／背景／差分部１３は、選択分割領域の背景画像を構成するある１つの画素の輝度から、選択分割領域の入力画像を構成する同一の画素の輝度を差し引いて得られた輝度差分が、負の値であればステップＳ５へ進み、正の値であればステップＳ６へ進み、零であればステップＳ７へ進む。
【００４０】
〔Ｓ５〕マスク／背景／差分部１３は、選択分割領域の背景画像の対応画素の輝度を１階調分だけ下げる。
〔Ｓ６〕マスク／背景／差分部１３は、選択分割領域の背景画像の対応画素の輝度を１階調分だけ上げる。
【００４１】
ステップＳ４〜Ｓ６を、選択分割領域の全画素に対して実行する。
〔Ｓ７〕別の分割領域に対してステップＳ１〜Ｓ６を実行すべく、未実行の分割領域を選択する。
【００４２】
〔Ｓ８〕画像５１の中の領域Ａ１，Ｂ１，Ｃ１，Ｄ１、Ａ２，Ｂ２，Ｃ２，Ｄ２、Ａ３，Ｂ３，Ｃ３，Ｄ３の全てに対して、ステップＳ１〜Ｓ６の実行が完了していれば図５の処理を終了する。完了していなければステップＳ１へ戻る。
【００４３】
以上のように、新たなフレームの画像が入力される度に図５の処理が実行され、第１の所定時間が経過することにより、背景画像から被検出物体の画像が殆ど消え、道路面だけの画像となる。そうした第１の所定時間後に得られた背景画像を用いて、マスク／背景／差分部１３が、ステップＳ３に示すようにして、背景画像と輝度が異なる画像部分（被検出物体の画像）を検出し、２値化データとして出力する。
【００４４】
図２に戻って、自動しきい値部１４及びマスク／背景／差分部１５は、入力した色情報θc を基に、色相に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの自動しきい値部１４及びマスク／背景／差分部１５の動作は、図５に示す自動しきい値部１２及びマスク／背景／差分部１３の動作と基本的に同じである。そのため、説明を省略する。ただし、輝度情報Ｙを色情報θc に、輝度を色相に、３６０度の色相差分を２５６階調の輝度差分に読み替える必要がある。
【００４５】
また、自動しきい値部１６及びマスク／背景／差分部１７は、入力した指定色情報Ｉc を基に、色強度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの自動しきい値部１６及びマスク／背景／差分部１７の動作は、図５に示す自動しきい値部１２及びマスク／背景／差分部１３の動作と基本的に同じである。ただし、輝度情報Ｙを指定色情報Ｉc に、輝度を色強度に読み替える必要がある。
【００４６】
マトリックス処理部１９は、マスク／背景／差分部１３，１５，１７からそれぞれ、２値化された輝度差分、色相差分、指定色強度差分を受け取る。また、照度検知部２６から昼夜の区別情報及び昼間の照度情報を受け、ＭＰＵから車両検出モードか、静止物体検出モードかの指定を受ける。照度検知部２６には、道路近辺で自然界の照度だけを測定できる場所に設置された照度センサ２５が接続されており、照度検知部２６は、照度センサ２５から送られる電気信号に基づき、昼夜の区別情報及び昼間の照度の強弱を示す情報を出力する。なお、照度検知部２６の制御には、切替時にハンチングを繰り返さないように、ヒステリシスを設ける。車両検出モードは渋滞状態の車両を検出するためのモードであり、静止物体検出モードは、停止車両や落下物を検出するためのモードである。
【００４７】
マトリックス処理部１９は、２値化された輝度差分、色相差分、指定色強度差分に対して、検出モード、昼夜、照度の強弱に応じて、図７で示すような論理処理を行う。
【００４８】
図７は、マトリックス処理部１９で行われる論理処理を示す図である。すなわち、昼間において照度が所定値よりも大きい場合、マトリックス処理部１９は、輝度差分と色相差分との論理積（ＡＮＤ）をとり、車両検出モードならば膨張収縮部２０へ、静止物体検出モードならば静止物体抽出部２１へ出力する。つまり、昼間において照度が所定値よりも大きいときに路上にできる雲の陰は、輝度差分だけで検出した場合には被検出物体として誤検出してしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、輝度差分が検出された画像部分と、色相差分が検出された画像部分との重なっている部分を抽出する。この抽出された画像部分は、雲の陰の画像を含まないことになる。なおこの場合、指定色強度差分については破棄する。
【００４９】
昼間において照度が所定値よりも小さい場合、マトリックス処理部１９は、輝度差分と色相差分との論理和（ＯＲ）をとり、車両検出モードならば膨張収縮部２０へ、静止物体検出モードならば静止物体抽出部２１へ出力する。つまり、昼間において照度が所定値よりも小さいときには、輝度差だけで路面上の被検出物体を検出すると検出漏れを発生しやすくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、輝度差分が検出された画像部分と、色相差分が検出された画像部分との包括的部分を抽出する。なおこの場合、指定色強度差分については破棄する。
【００５０】
夜間において車両検出モードである場合、マトリックス処理部１９は、指定色強度差分だけを選択して膨張収縮部２０へ出力する。すなわち、夜間において車両検出モードである場合には、色指定部１８からの制御により、車両のテールライトの色だけを有し、移動している画像部分だけが指定色強度差分として出力される。輝度差分及び色相差分については破棄する。
【００５１】
夜間において静止物体検出モードである場合、マトリックス処理部１９は、輝度差分と色相差分との論理和（ＯＲ）をとって静止物体抽出部２１へ出力する。つまり、夜間において路面を照らす照明施設が無く、落下物やテールライトを消した停止車両等を検出するときには、輝度差だけに頼って路面上の被検出物体を検出すると検出漏れを発生しやすくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、輝度差分が検出された画像部分と、色相差分が検出された画像部分との包括的部分を抽出する。なおこの場合、指定色強度差分については破棄する。
【００５２】
夜間において路面を照らす照明施設が無く、落下物やテールライトを消した停止車両等を検出するときには、輝度差分が２値化されるときに使用された閾値が、背景画像の輝度平均値（この場合かなり小さい値）に応じて小さい値に設定されているはずであるので、輝度差分の検出精度が向上する。また、検出領域の分割により、他の分割領域に譬え明るいところがあっても閾値はその影響を受けないので、検出精度が低下することがない。なお、背景画像の輝度平均値に応じて閾値を設定することによって検出精度が向上することや、検出領域を分割することによって閾値が他の分割領域の影響を受けないようになることは、どの検出状態（昼夜、各検出モード）においても得られる効果である。
【００５３】
さらに、背景画像の輝度平均値に応じて閾値を設定することや、閾値が他の分割領域の影響を受けないように図って検出領域を分割することは、マトリックス処理部１９を備えない道路監視用事象検知装置にも適用できる技術である。
【００５４】
図２に戻って、膨張収縮部２０は、マトリックス処理部１９から、昼間の場合に輝度差分と色相差分との論理積及び輝度差分と色相差分との論理和、夜間の場合に指定色強度差分を受け取るとともに、照度検知部２６から昼夜の区別情報を受け取る。膨張収縮部２０は、夜間の場合に指定色強度差分に対して膨張収縮処理を施して渋滞抽出部２２へ出力し、昼間の場合には上記論理積及び論理和に対して何らの処理もせずそのまま、渋滞抽出部２２へ転送する。膨張収縮処理とは、指定色強度差分ではテールライトが通常２つ、Ｘ方向（車線の横断方向）に並んで検出されるので、この２つの画像を１つにする画像処理であり、Ｘ方向に膨張と収縮を数回繰り返す。
【００５５】
渋滞抽出部２２は、膨張収縮部２０から膨張収縮処理された指定色輝度差分、輝度差分と色相差分との論理積、または輝度差分と色相差分との論理和を受け取り、車線毎に車両の特徴を抽出しやすくするために、エッジ部分を検出し、Ｙ方向（ほぼ車両の移動方向）への投影値を求める。そして、これを判定処理部２３へ送る。
【００５６】
図８（Ａ）は１車線目のエッジ画像の例を示し、図８（Ｂ）はＹ方向への投影値の例を示す。
静止物体抽出部２１は、マトリックス処理部１９から輝度差分と色相差分との論理積または輝度差分と色相差分との論理和を受け取り、また更に、マスク／背景／差分部１３，１５からマトリックス処理部１９を介して各背景画像を受け取る。静止物体抽出部２１は、マスク／背景／差分部１３，１５で第１の所定時間にわたって平均化して得られた各背景画像を、第１の所定時間よりも長い第２の所定時間（例えば数分）にわたって更にそれぞれ平均化して各第２の背景画像を作成する。そして、これらを用いて画素毎の差分を算出し、この差分（２５６階調）の絶対値を所定の閾値と比較して２値化を行う。こうして得られた２値化画像は、道路上の停車車両の画像か、または車両からの落下物の画像であると推定される。つまり、短い第１の所定時間で平均化されて得られた背景画像には停車車両や車両落下物が含まれていても、長い第２の所定時間にわたって平均化されて得られた第２の背景画像には停車車両や車両落下物の画像が含まれていない。したがって、第１の所定時間で平均化されて得られた背景画像と、第２の背景画像との差分をとれば、そこには停車車両や車両落下物の画像が現れる。
【００５７】
判定処理部２３は、渋滞抽出部２２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。投影値はＹ方向の値１の画素の数であり、この画素数が所定値を越えていれば、この画素が被検出物体を示していると判定する。そして、Ｙ方向の長さから個々の車両を特定し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を把握する。また、判定処理部２３は、静止物体抽出部２１から送られた２値化画像を基に、停車車両や車両落下物の存在を把握する。渋滞抽出部２２から送られた投影値を利用すれば、静止物体が画面の端から入って画面内で徐々に停止したか、または画面内で突然検知されたかの違いによって、停車車両か車両落下物かの区別がつく。
【００５８】
こうした判定処理部２３の判定結果に基づき、モニタ表示部２４は車両の渋滞・停車状況や落下物の存在等について表示を行う。すなわち、車両の渋滞・停車画発生したり落下物が発見されたときに、それらの映像を表示したり、それらを示す文字や数値の表示を行う。
【００５９】
図９は、図２に示す道路監視用事象検知装置の動作概要を示すフローチャートである。以下、ステップ番号に沿って説明する。
〔Ｓ１１〕マトリックス演算部１１が、画素毎の赤、緑、青の各強度データ（２５６階調）を基に、輝度情報（Ｙ）、色情報（θc ）、指定色情報（Ｉc ）を演算する。
【００６０】
〔Ｓ１２〕照度検知部２６が、昼夜の区別情報及び昼間の照度の強弱を示す情報を出力する。
〔Ｓ１３〕マスク／背景／差分部１３は、入力した輝度情報Ｙを基に、輝度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６１】
〔Ｓ１４〕マスク／背景／差分部１５は、入力した色情報θc を基に、色相に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６２】
〔Ｓ１５〕マスク／背景／差分部１７は、入力した指定色情報Ｉc を基に、色強度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６３】
〔Ｓ１６〕マトリックス処理部１９は、ステップＳ１３〜Ｓ１５で得られた各画像部分に対して、検出モード、昼夜、照度の強弱に応じて論理処理を行う。
〔Ｓ１７〕入力した指定色情報Ｉc を基にマスク／背景／差分部１７が検出した画像部分に対して、膨張収縮部２０が膨張収縮処理を行う。
【００６４】
〔Ｓ１８〕渋滞抽出部２２が、エッジ検出及びＹ方向への投影を行う。
〔Ｓ１９〕静止物体抽出部２１が、第２の背景画像を作成するとともに、差分を算出する。
【００６５】
〔Ｓ２０〕判定処理部２３が、渋滞抽出部２２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を判定する。また、判定処理部２３は、静止物体抽出部２１から送られた差分情報を基に、停車車両や車両落下物の存在を判定する。
【００６６】
〔Ｓ２１〕判定処理部２３の判定結果に基づき、モニタ表示部２４は車両の渋滞・停車状況や落下物の存在等について表示を行う。
【００６７】
【発明の効果】
以上説明したように本発明では、カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって背景画像を求め、当該背景画像と色相が異なる入力画像の画像部分を検出する色相変化検出手段を設ける。そして、重複抽出判定手段が、昼間で所定照度以上のときに輝度変化検出手段で検出された画像部分と、同じときに色相変化検出手段で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。これにより、昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段だけで検出した場合には被検出物体として誤検出されてしまうが、この誤検出を防止できる。
【００６８】
また、包括抽出判定手段が、昼間で所定照度以下のときに輝度変化検出手段で検出された画像部分と、同じときに色相変化検出手段で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、輝度差だけでなく、色相差も検出に利用することにより、昼間で所定照度以下のときに、検出漏れを防止できる。
【００６９】
また、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段が、カラー撮像カメラから送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段が、指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段は、夜間に色強度変化検出手段で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。これによって、夜間の車両の誤検出を防止できる。
【００７０】
なお、カラー撮像カメラから送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段で検出された画像部分から当該画素を取り除くようにする。これにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００７１】
さらに、輝度差分、色相差分、及び指定色強度差分が２値化されるときに使用される各閾値を、背景画像の空間平均値に応じて設定し、また、背景画像の空間平均値を、車線方向に複数に分割した画像領域において算出するようにする。これにより、輝度差分、色相差分、及び指定色強度差分の検出精度が向上する。
また、色強度差分、輝度差分、色相差分に対して、検出モード、昼夜、照度の強弱をマトリックス化したマトリックステーブルを有するので、監視条件に応じて適切な画像差分情報を選択して、被検出物体の判定処理を高精度に行うことが可能になる。
さらに、カラー撮像カメラから送られた画像データを、道路の車線毎に分割するとともに、カラー撮像カメラの手前の分割面積を大きく、遠方へいくにつれて分割面積を小さくするように、道路の車線に沿って複数の画像部分に分割することで、分割面積が車両より小さくて、差分検出ができないといった検知漏れをなくし、かつ適切な閾値を設定することが可能になる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明に係る道路監視用事象検知装置の一実施の形態についての詳しい全体構成を示すブロック図である。
【図３】マトリックス演算部の内部構成を示す図である。
【図４】色指定部によるスイッチの動作制御を説明する図である。
【図５】自動しきい値部及びマスク／背景／差分部の動作を示すフローチャートである。
【図６】処理対象画像範囲の一例を示す図である。
【図７】マトリックス処理部で行われる論理処理を示す図である。
【図８】（Ａ）は１車線目のエッジ画像の例を示す図であり、（Ｂ）はＹ方向への投影値の例を示す図である。
【図９】本発明の道路監視用事象検知装置の動作概要を示すフローチャートである。
【図１０】従来の道路監視用事象検知装置の構成の一例を示す図である。
【符号の説明】
１ カラー撮像カメラ
２ 輝度変化検出手段
３ 色相変化検出手段
４ 重複抽出判定手段
５ 包括抽出判定手段
６ 指定色画像検出手段
７ 色強度変化検出手段
８ 判定手段
【発明の属する技術分野】
本発明は、道路監視用事象検知装置に関し、特に、道路付近に設置したテレビカメラから得た画像情報を基に、道路上の車両の走行状態（渋滞、停車等）を検知したり、落下物の検知を行う道路監視用事象検知装置に関する。
【０００２】
道路の車両渋滞状況や事故等による車両停車状態、また車両からの落下物の存在等を、道路管理者が素早く把握して、後続の車両等に注意を促したり、しかるべき処置をとったりすることは、安全上、重要なことである。特に、高速道路上では非常に重要なことである。上記の各状態の把握は、広範囲にわたって常時行われねばならないので、これを人手に頼らず自動的にできることが望ましい。
【０００３】
【従来の技術】
図１０は、従来の道路監視用事象検知装置の構成の一例を示す図である。すなわち、道路付近に道路上を撮影する白黒テレビカメラが設置され、そのテレビカメラが撮影した映像がビデオボードを介してマスク／背景／差分処理部１０１に入力される。テレビカメラは、道路の片側を走行する車両を後方から見る位置に設置される。マスク／背景／差分処理部１０１は、入力した画像情報（輝度情報）に対して、まず処理対象画像範囲だけを切り出すためのマスク処理を行う。通常、道路の車線毎に処理を行うので、ある１車線分の画像を切り出す。その切り出された画像を構成する各画素の輝度を、第１の所定時間（例えば数秒から１０数秒）にわたって平均化して、被検出物体のいない状態に相当する背景画像を作成する。すなわち、入力した画像情報（輝度情報）は、画素毎の２５６階調からなる輝度情報で構成され、それまでに作成された背景画像におけるある画素の輝度と、入力画像における同一画素の輝度とを比べ、後者が前者よりも大きいときには階調を１だけ大きくし、後者が前者よりも小さいときには階調を１だけ小さくする。こうした処理を第１の所定時間行って得られた画像は、被検出物体画像成分を殆ど含まない道路面だけのいわゆる背景画像となる。
【０００４】
マスク／背景／差分処理部１０１は、新たに入力された画像と背景画像との画素毎の輝度の差分を求め、この差分（２５６階調）の絶対値を所定の閾値と比較し、閾値を越えていれば、その画素に値１を与え、閾値以下であれば、その画素に値０を与える。値１の画素からなる画像が、背景画像にはなかった被検出物体の画像である。所定の閾値は固定値である。
【０００５】
渋滞抽出部１０２は、マスク／背景／差分処理部１０１から２値化された画像情報をもらい、車両の特徴を抽出しやすくするために、エッジ部分を検出し、Ｙ方向（ほぼ車両の移動方向）への投影値を求める。そして、これを判定処理部１０４へ送る。
【０００６】
一方、静止物体抽出部１０３は、マスク／背景／差分処理部１０１から背景画像を受け取り、第２の背景画像を作成する。すなわち、第１の所定時間にわたって平均化して得られた背景画像を、第１の所定時間よりも長い第２の所定時間（例えば数分）にわたって更に平均化して第２の背景画像を作成する。そして、先の背景画像と第２の背景画像との画素毎の輝度の差分を算出し、この差分（２５６階調）の絶対値を所定の閾値と比較して２値化を行う。こうして得られた２値化画像は、道路上の停車車両の画像か、または車両からの落下物の画像であると推定される。つまり、短い第１の所定時間で平均化されて得られた背景画像には停車車両や車両落下物が含まれていても、長い第２の所定時間にわたって平均化されて得られた第２の背景画像には停車車両や車両落下物の画像が含まれていない。したがって、第１の所定時間で平均化されて得られた背景画像と、第２の背景画像との差分をとれば、そこには停車車両や車両落下物の画像が現れる。
【０００７】
判定処理部１０４は、渋滞抽出部１０２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を把握する。また、判定処理部１０４は、静止物体抽出部１０３から送られた２値化画像を基に、停車車両や車両落下物の存在を把握する。
【０００８】
こうした判定処理部１０４の判定結果に基づき、モニタ表示部１０５は車両の渋滞・停車状況や落下物の存在等について表示を行う。
【０００９】
【発明が解決しようとする課題】
しかし、通常の昼間で、路面の輝度が一定している場合には、従来の道路監視用事象検知装置でも、検知漏れや誤検知が比較的少ないが、夜間や、昼間でも路面の輝度が雲の動きで変化する場合などに、検知漏れや誤検知が多くなるという問題点があった。こうした検知漏れや誤検知が多くなるケースを、３つに分けて以下に説明する。
【００１０】
（ａ）夜間に車両を検出する場合
従来の道路監視用事象検知装置は、移動する車両のヘッドライトで照らされた路面を、車両として誤って検出してしまう。これにより、車両の前方や、車両が入ってくる前の監視車線領域や、隣の監視車線領域において、車両が存在しないにも拘わらず、車両が存在すると誤検出する。
【００１１】
（ｂ）夜間に、照明施設がない路面に存在する落下物やテールライトを消した停止車両を検出する場合
背景画像と検出対象画像との輝度差分が殆どないので、検知漏れを発生する。閾値を下げれば検出できる可能性はあるが、閾値を下げることにより、今度は昼間の誤検知の可能性を高めてしまう虞がある。
【００１２】
（ｃ）昼間に車両や静止物体を検出する場合
雲のはっきりした陰が路面にできて、それが移動するときには、その陰を車両として誤検出してしまう。また、昼間でも曇り空の時や朝夕には、背景画像と検出対象物との輝度差が減少するから、検出漏れが発生する可能性が高まる。例えば、路面とほぼ同じ輝度の車両などは検出漏れになる可能性がある。
【００１３】
本発明はこのような点に鑑みてなされたものであり、検知漏れや誤検知を減少させた道路監視用事象検知装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明では上記目的を達成するために、図１に示すように、道路上を撮影するカラー撮像カメラ１と、カラー撮像カメラ１から送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段２と、カラー撮像カメラ１から送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段３と、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する重複抽出判定手段４と、を有することを特徴とする道路監視用事象検知装置が提供される。
【００１５】
また道路監視用事象検知装置は、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する包括抽出判定手段５を有する。
【００１６】
更に、道路監視用事象検知装置は、カラー撮像カメラ１から送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段６と、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する色強度変化検出手段７と、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する判定手段８とを有する。
【００１７】
昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段２だけで検出した場合には被検出物体として誤検出されてしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、以上のような構成において、重複抽出判定手段４が、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。
【００１８】
また、昼間で所定照度以下のときには、輝度差だけで被検出物体を検出することは難しくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、包括抽出判定手段５が、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。
【００１９】
更に、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段６が、カラー撮像カメラ１から送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段７が、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段８は、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。なお、カラー撮像カメラ１から送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段６で検出された画像部分から当該画素を取り除くようにする。つまり、車両のヘッドライトの当たっている路面部分の画像を構成する各画素には、全色のスペクトラムが含まれている。そこで、全色のスペクトラムが含まれている画素については、指定色画像検出手段６で検出された画像部分から取り除くようにする。こうすることにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
まず、図１を参照して本発明の実施の形態の原理構成を説明する。本発明の実施の形態における原理構成は、道路上を撮影するカラー撮像カメラ１と、カラー撮像カメラ１から送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段２と、カラー撮像カメラ１から送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段３と、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する重複抽出判定手段４とからなる。
【００２１】
また、本発明の実施の形態は、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する包括抽出判定手段５を有する。
【００２２】
更に、本発明の実施の形態は、カラー撮像カメラ１から送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段６と、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する色強度変化検出手段７と、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する判定手段８とを有する。
【００２３】
昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段２だけで検出した場合には被検出物体として誤検出されてしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、以上のような構成において、重複抽出判定手段４が、昼間で所定照度以上のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。
【００２４】
また、昼間で所定照度以下のときには、輝度差だけで被検出物体を検出することは難しくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、包括抽出判定手段５が、昼間で所定照度以下のときに輝度変化検出手段２で検出された画像部分と、同じときに色相変化検出手段３で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。
【００２５】
更に、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段６が、カラー撮像カメラ１から送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段７が、指定色画像検出手段６で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段８は、夜間に色強度変化検出手段７で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。なお、カラー撮像カメラ１から送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段６で検出された画像部分から当該画素を取り除くようにする。つまり、車両のヘッドライトの当たっている路面部分の画像を構成する各画素には、全色のスペクトラムが含まれている。そこで、全色のスペクトラムが含まれている画素については、指定色画像検出手段６で検出された画像部分から取り除くようにする。こうすることにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００２６】
図２は、本発明に係る道路監視用事象検知装置の一実施の形態についての詳しい全体構成を示すブロック図である。
図中、道路付近に道路上を撮影するカラーテレビカメラ（図示せず）が設置され、そのテレビカメラが撮影したカラー映像（３原色データ）がビデオボード（図示せず）を介してマトリックス演算部１１に入力される。テレビカメラは、道路の片側を走行する車両を後方から見る位置に設置される。マトリックス演算部１１は、画素毎の赤、緑、青の各強度データ（２５６階調）を基に、輝度情報（Ｙ）、色情報（θc ）、指定色情報（Ｉc ）を演算する。
【００２７】
図３はマトリックス演算部１１の内部構成を示す図である。図中、乗算器３１〜３３及び加算器３４を使用し、下記式（１）に基づき、画素毎に輝度情報（Ｙ）を算出する。
【００２８】
【数１】
Ｙ＝0.299 ×Ｒ＋0.578 ×Ｇ＋0.114 ×Ｂ ・・・（１）
すなわち、乗算器３１で、ある１つの画素の赤の強度Ｒに係数0.299 を乗算し、乗算器３２で、同一の画素の緑の強度Ｇに係数0.578 を乗算し、乗算器３３で、同一の画素の青の強度Ｂに係数0.114 を乗算し、それらの３つの乗算結果を加算器３４で合算して、ある１つの画素の輝度情報Ｙを出力する。
【００２９】
色情報（θc ）については、ある１つの画素の赤の強度Ｒ、同一の画素の青の強度Ｂ、及び同一の画素の輝度情報Ｙを用いて、演算部３５において下記式（２）に基づき、ある１つの画素の色情報θc を算出する。この算出を各画素に対して行う。
【００３０】
【数２】
θc ＝tan -1｛1.78×（Ｒ−Ｙ）／（Ｂ−Ｙ）｝×256 ／360 ・・・（２）
ここで、値（256 ／360 ）は３６０度の色相情報を２５６階調の強度情報に変換するための係数である。
【００３１】
指定色情報（Ｉc ）については、画素毎に、乗算器３１〜３３で得られた各値に対して乗算器３６〜３８によって係数Ａ，Ｂ，Ｃをそれぞれ乗算し、得られた各値をスイッチ４０〜４２を介して加算器４３で合算する。加算器４３で合算された値はスイッチ４４を介して指定色情報Ｉc として出力される。乗算器３１〜３３で得られた各値は、コンパレータ３９において所定値と比較され、３つの値ともが所定値を越えているときに、コンパレータ３９はスイッチ４４をオフする。乗算器３６〜３８に対してそれぞれ設定される係数Ａ，Ｂ，Ｃの各値及びスイッチ４０〜４２の動作は、外部ＭＰＵ（Micro Processing Unit)からの色指定に従い、色指定部１８（図２）によって制御される。
【００３２】
図４は、色指定部１８によるスイッチ４０〜４２の動作制御を説明する図である。例えば、色指定部１８が「赤」の色指定を受けると、図４を参照してスイッチ４０をオンし、スイッチ４１及びスイッチ４２をオフする。また、例えば、色指定部１８が「黄」の色指定を受けると、図４を参照してスイッチ４０及びスイッチ４１をオンし、スイッチ４２をオフする。なおその際に、係数Ａ，Ｂ，Ｃの各値は値１に設定しておく。そして、図４に示された色以外の中間の色を指定された場合には、係数Ａ，Ｂ，Ｃの各値を調整する。
【００３３】
図３に戻って、指定色として車両のテールライトの色が指定されると、それに応じて、スイッチ４０〜４２の動作が決定され、また乗算器３６〜３８によって乗算される係数Ａ，Ｂ，Ｃの各値が決定される。これにより、加算器４３から出力される値は、ある画素が持つ指定色の強度となる。ただし、この画素が白色に近い色を持っている場合には、つまり、ヘッドライトで照らされた路面等の画像を構成する画素である場合には、コンパレータ３９によりスイッチ４４がオフされるので、その画素に関する指定色情報Ｉc は零となる。これによって、指定色情報Ｉc としては、車両のテールライトの色を有する画像部分だけが出力され、ヘッドライトで照らされた路面等の画像部分は出力されないことになる。
【００３４】
図２に戻って、自動しきい値部１２及びマスク／背景／差分部１３は、入力した輝度情報Ｙを基に、輝度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの動作を、図５を参照して説明する。
【００３５】
図５は、自動しきい値部１２及びマスク／背景／差分部１３の動作を示すフローチャートである。このフローチャートの処理は、１フレーム分の画像が入力される度に実行される。以下、ステップ番号に沿って説明する。
【００３６】
〔Ｓ１〕まずマスク／背景／差分部１３が、処理対象画像範囲だけを切り出すためのマスク処理を行う。
図６は処理対象画像範囲の一例を示す図である。すなわち、マスク／背景／差分部１３には、図６に示す画像５１に関する輝度情報Ｙが入力される。この画像５１は片側３車線の道路の路面を示しており、この画像において、１車線目を領域Ａ１，Ｂ１，Ｃ１，Ｄ１に分割し、同様に、２車線目を領域Ａ２，Ｂ２，Ｃ２，Ｄ２に、３車線目を領域Ａ３，Ｂ３，Ｃ３，Ｄ３に分割する。各分割領域はいずれも、例えば車両４台位の面積に相当する領域にする。したがって、図６に示す分割領域は遠方ほど小さくなる。
【００３７】
ステップＳ１では、これらの分割領域のうちの１つを選択して、その選択された領域の輝度情報Ｙを切り出す。
〔Ｓ２〕後述のステップＳ４〜Ｓ６を第１の所定時間（例えば数秒から１０数秒）にわたって繰り返し実行することによって既に得られた分割領域毎の背景画像において、自動しきい値部１２は、背景画像を構成する各画素が持つ輝度値の平均輝度値を算出し、この平均輝度値に応じて、次のステップＳ３で必要となる閾値を決定する。平均輝度値が大きければ閾値も大きく設定する。閾値は、第１の所定時間毎に更新されるとともに、分割領域毎に個別に設定される。
【００３８】
〔Ｓ３〕マスク／背景／差分部１３は、選択分割領域の画像を構成する各画素の輝度と、選択分割領域の背景画像を構成する対応画素の輝度との差分を算出する。そして、算出された画素毎の差分（２５６階調）の絶対値を、ステップＳ２で決定された選択分割領域の閾値と比較し、その絶対値が閾値を越えていれば、その画素に値１を与え、閾値以下であれば、その画素に値０を与える。値１の画素からなる画像が、背景画像にはなかった被検出物体の画像である。
【００３９】
〔Ｓ４〕マスク／背景／差分部１３は、選択分割領域の背景画像を構成するある１つの画素の輝度から、選択分割領域の入力画像を構成する同一の画素の輝度を差し引いて得られた輝度差分が、負の値であればステップＳ５へ進み、正の値であればステップＳ６へ進み、零であればステップＳ７へ進む。
【００４０】
〔Ｓ５〕マスク／背景／差分部１３は、選択分割領域の背景画像の対応画素の輝度を１階調分だけ下げる。
〔Ｓ６〕マスク／背景／差分部１３は、選択分割領域の背景画像の対応画素の輝度を１階調分だけ上げる。
【００４１】
ステップＳ４〜Ｓ６を、選択分割領域の全画素に対して実行する。
〔Ｓ７〕別の分割領域に対してステップＳ１〜Ｓ６を実行すべく、未実行の分割領域を選択する。
【００４２】
〔Ｓ８〕画像５１の中の領域Ａ１，Ｂ１，Ｃ１，Ｄ１、Ａ２，Ｂ２，Ｃ２，Ｄ２、Ａ３，Ｂ３，Ｃ３，Ｄ３の全てに対して、ステップＳ１〜Ｓ６の実行が完了していれば図５の処理を終了する。完了していなければステップＳ１へ戻る。
【００４３】
以上のように、新たなフレームの画像が入力される度に図５の処理が実行され、第１の所定時間が経過することにより、背景画像から被検出物体の画像が殆ど消え、道路面だけの画像となる。そうした第１の所定時間後に得られた背景画像を用いて、マスク／背景／差分部１３が、ステップＳ３に示すようにして、背景画像と輝度が異なる画像部分（被検出物体の画像）を検出し、２値化データとして出力する。
【００４４】
図２に戻って、自動しきい値部１４及びマスク／背景／差分部１５は、入力した色情報θc を基に、色相に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの自動しきい値部１４及びマスク／背景／差分部１５の動作は、図５に示す自動しきい値部１２及びマスク／背景／差分部１３の動作と基本的に同じである。そのため、説明を省略する。ただし、輝度情報Ｙを色情報θc に、輝度を色相に、３６０度の色相差分を２５６階調の輝度差分に読み替える必要がある。
【００４５】
また、自動しきい値部１６及びマスク／背景／差分部１７は、入力した指定色情報Ｉc を基に、色強度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。これらの自動しきい値部１６及びマスク／背景／差分部１７の動作は、図５に示す自動しきい値部１２及びマスク／背景／差分部１３の動作と基本的に同じである。ただし、輝度情報Ｙを指定色情報Ｉc に、輝度を色強度に読み替える必要がある。
【００４６】
マトリックス処理部１９は、マスク／背景／差分部１３，１５，１７からそれぞれ、２値化された輝度差分、色相差分、指定色強度差分を受け取る。また、照度検知部２６から昼夜の区別情報及び昼間の照度情報を受け、ＭＰＵから車両検出モードか、静止物体検出モードかの指定を受ける。照度検知部２６には、道路近辺で自然界の照度だけを測定できる場所に設置された照度センサ２５が接続されており、照度検知部２６は、照度センサ２５から送られる電気信号に基づき、昼夜の区別情報及び昼間の照度の強弱を示す情報を出力する。なお、照度検知部２６の制御には、切替時にハンチングを繰り返さないように、ヒステリシスを設ける。車両検出モードは渋滞状態の車両を検出するためのモードであり、静止物体検出モードは、停止車両や落下物を検出するためのモードである。
【００４７】
マトリックス処理部１９は、２値化された輝度差分、色相差分、指定色強度差分に対して、検出モード、昼夜、照度の強弱に応じて、図７で示すような論理処理を行う。
【００４８】
図７は、マトリックス処理部１９で行われる論理処理を示す図である。すなわち、昼間において照度が所定値よりも大きい場合、マトリックス処理部１９は、輝度差分と色相差分との論理積（ＡＮＤ）をとり、車両検出モードならば膨張収縮部２０へ、静止物体検出モードならば静止物体抽出部２１へ出力する。つまり、昼間において照度が所定値よりも大きいときに路上にできる雲の陰は、輝度差分だけで検出した場合には被検出物体として誤検出してしまう。しかし、この雲の陰とその背景画像との間には、大きな輝度差があるが、色相差は殆どない。そこに着目して、輝度差分が検出された画像部分と、色相差分が検出された画像部分との重なっている部分を抽出する。この抽出された画像部分は、雲の陰の画像を含まないことになる。なおこの場合、指定色強度差分については破棄する。
【００４９】
昼間において照度が所定値よりも小さい場合、マトリックス処理部１９は、輝度差分と色相差分との論理和（ＯＲ）をとり、車両検出モードならば膨張収縮部２０へ、静止物体検出モードならば静止物体抽出部２１へ出力する。つまり、昼間において照度が所定値よりも小さいときには、輝度差だけで路面上の被検出物体を検出すると検出漏れを発生しやすくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、輝度差分が検出された画像部分と、色相差分が検出された画像部分との包括的部分を抽出する。なおこの場合、指定色強度差分については破棄する。
【００５０】
夜間において車両検出モードである場合、マトリックス処理部１９は、指定色強度差分だけを選択して膨張収縮部２０へ出力する。すなわち、夜間において車両検出モードである場合には、色指定部１８からの制御により、車両のテールライトの色だけを有し、移動している画像部分だけが指定色強度差分として出力される。輝度差分及び色相差分については破棄する。
【００５１】
夜間において静止物体検出モードである場合、マトリックス処理部１９は、輝度差分と色相差分との論理和（ＯＲ）をとって静止物体抽出部２１へ出力する。つまり、夜間において路面を照らす照明施設が無く、落下物やテールライトを消した停止車両等を検出するときには、輝度差だけに頼って路面上の被検出物体を検出すると検出漏れを発生しやすくなる。そこで、輝度差だけでなく、色相差も検出に利用する。すなわち、輝度差分が検出された画像部分と、色相差分が検出された画像部分との包括的部分を抽出する。なおこの場合、指定色強度差分については破棄する。
【００５２】
夜間において路面を照らす照明施設が無く、落下物やテールライトを消した停止車両等を検出するときには、輝度差分が２値化されるときに使用された閾値が、背景画像の輝度平均値（この場合かなり小さい値）に応じて小さい値に設定されているはずであるので、輝度差分の検出精度が向上する。また、検出領域の分割により、他の分割領域に譬え明るいところがあっても閾値はその影響を受けないので、検出精度が低下することがない。なお、背景画像の輝度平均値に応じて閾値を設定することによって検出精度が向上することや、検出領域を分割することによって閾値が他の分割領域の影響を受けないようになることは、どの検出状態（昼夜、各検出モード）においても得られる効果である。
【００５３】
さらに、背景画像の輝度平均値に応じて閾値を設定することや、閾値が他の分割領域の影響を受けないように図って検出領域を分割することは、マトリックス処理部１９を備えない道路監視用事象検知装置にも適用できる技術である。
【００５４】
図２に戻って、膨張収縮部２０は、マトリックス処理部１９から、昼間の場合に輝度差分と色相差分との論理積及び輝度差分と色相差分との論理和、夜間の場合に指定色強度差分を受け取るとともに、照度検知部２６から昼夜の区別情報を受け取る。膨張収縮部２０は、夜間の場合に指定色強度差分に対して膨張収縮処理を施して渋滞抽出部２２へ出力し、昼間の場合には上記論理積及び論理和に対して何らの処理もせずそのまま、渋滞抽出部２２へ転送する。膨張収縮処理とは、指定色強度差分ではテールライトが通常２つ、Ｘ方向（車線の横断方向）に並んで検出されるので、この２つの画像を１つにする画像処理であり、Ｘ方向に膨張と収縮を数回繰り返す。
【００５５】
渋滞抽出部２２は、膨張収縮部２０から膨張収縮処理された指定色輝度差分、輝度差分と色相差分との論理積、または輝度差分と色相差分との論理和を受け取り、車線毎に車両の特徴を抽出しやすくするために、エッジ部分を検出し、Ｙ方向（ほぼ車両の移動方向）への投影値を求める。そして、これを判定処理部２３へ送る。
【００５６】
図８（Ａ）は１車線目のエッジ画像の例を示し、図８（Ｂ）はＹ方向への投影値の例を示す。
静止物体抽出部２１は、マトリックス処理部１９から輝度差分と色相差分との論理積または輝度差分と色相差分との論理和を受け取り、また更に、マスク／背景／差分部１３，１５からマトリックス処理部１９を介して各背景画像を受け取る。静止物体抽出部２１は、マスク／背景／差分部１３，１５で第１の所定時間にわたって平均化して得られた各背景画像を、第１の所定時間よりも長い第２の所定時間（例えば数分）にわたって更にそれぞれ平均化して各第２の背景画像を作成する。そして、これらを用いて画素毎の差分を算出し、この差分（２５６階調）の絶対値を所定の閾値と比較して２値化を行う。こうして得られた２値化画像は、道路上の停車車両の画像か、または車両からの落下物の画像であると推定される。つまり、短い第１の所定時間で平均化されて得られた背景画像には停車車両や車両落下物が含まれていても、長い第２の所定時間にわたって平均化されて得られた第２の背景画像には停車車両や車両落下物の画像が含まれていない。したがって、第１の所定時間で平均化されて得られた背景画像と、第２の背景画像との差分をとれば、そこには停車車両や車両落下物の画像が現れる。
【００５７】
判定処理部２３は、渋滞抽出部２２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。投影値はＹ方向の値１の画素の数であり、この画素数が所定値を越えていれば、この画素が被検出物体を示していると判定する。そして、Ｙ方向の長さから個々の車両を特定し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を把握する。また、判定処理部２３は、静止物体抽出部２１から送られた２値化画像を基に、停車車両や車両落下物の存在を把握する。渋滞抽出部２２から送られた投影値を利用すれば、静止物体が画面の端から入って画面内で徐々に停止したか、または画面内で突然検知されたかの違いによって、停車車両か車両落下物かの区別がつく。
【００５８】
こうした判定処理部２３の判定結果に基づき、モニタ表示部２４は車両の渋滞・停車状況や落下物の存在等について表示を行う。すなわち、車両の渋滞・停車画発生したり落下物が発見されたときに、それらの映像を表示したり、それらを示す文字や数値の表示を行う。
【００５９】
図９は、図２に示す道路監視用事象検知装置の動作概要を示すフローチャートである。以下、ステップ番号に沿って説明する。
〔Ｓ１１〕マトリックス演算部１１が、画素毎の赤、緑、青の各強度データ（２５６階調）を基に、輝度情報（Ｙ）、色情報（θc ）、指定色情報（Ｉc ）を演算する。
【００６０】
〔Ｓ１２〕照度検知部２６が、昼夜の区別情報及び昼間の照度の強弱を示す情報を出力する。
〔Ｓ１３〕マスク／背景／差分部１３は、入力した輝度情報Ｙを基に、輝度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６１】
〔Ｓ１４〕マスク／背景／差分部１５は、入力した色情報θc を基に、色相に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６２】
〔Ｓ１５〕マスク／背景／差分部１７は、入力した指定色情報Ｉc を基に、色強度に関する背景画像を作成し、入力画像が背景画像と相違する画像部分を検出し、２値化する。
【００６３】
〔Ｓ１６〕マトリックス処理部１９は、ステップＳ１３〜Ｓ１５で得られた各画像部分に対して、検出モード、昼夜、照度の強弱に応じて論理処理を行う。
〔Ｓ１７〕入力した指定色情報Ｉc を基にマスク／背景／差分部１７が検出した画像部分に対して、膨張収縮部２０が膨張収縮処理を行う。
【００６４】
〔Ｓ１８〕渋滞抽出部２２が、エッジ検出及びＹ方向への投影を行う。
〔Ｓ１９〕静止物体抽出部２１が、第２の背景画像を作成するとともに、差分を算出する。
【００６５】
〔Ｓ２０〕判定処理部２３が、渋滞抽出部２２から送られた投影値を基に、個々の車両を検出し、その台数と最後尾の車両の速度を算出する。そして、台数と速度とから渋滞状況を判定する。また、判定処理部２３は、静止物体抽出部２１から送られた差分情報を基に、停車車両や車両落下物の存在を判定する。
【００６６】
〔Ｓ２１〕判定処理部２３の判定結果に基づき、モニタ表示部２４は車両の渋滞・停車状況や落下物の存在等について表示を行う。
【００６７】
【発明の効果】
以上説明したように本発明では、カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって背景画像を求め、当該背景画像と色相が異なる入力画像の画像部分を検出する色相変化検出手段を設ける。そして、重複抽出判定手段が、昼間で所定照度以上のときに輝度変化検出手段で検出された画像部分と、同じときに色相変化検出手段で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、昼間で所定照度以上の、雲の陰に起因した誤検出を招きそうなときには、輝度差があっても色相差がなければ被検出物体とは判定しないようにする。これにより、昼間で所定照度以上のときに路上にできる雲の陰は、輝度変化検出手段だけで検出した場合には被検出物体として誤検出されてしまうが、この誤検出を防止できる。
【００６８】
また、包括抽出判定手段が、昼間で所定照度以下のときに輝度変化検出手段で検出された画像部分と、同じときに色相変化検出手段で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する。すなわち、輝度差だけでなく、色相差も検出に利用することにより、昼間で所定照度以下のときに、検出漏れを防止できる。
【００６９】
また、夜間には、車両のテールライトの色を頼りに車両を検知するようにする。すなわち、指定色画像検出手段が、カラー撮像カメラから送られた画像データから、指定の色（車両のテールライトの色）を有する画像部分を検出する。そして、色強度変化検出手段が、指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分を検出する。判定手段は、夜間に色強度変化検出手段で検出された画像部分を、道路上に存在する被検出物体の画像であると判定する。これによって、夜間の車両の誤検出を防止できる。
【００７０】
なお、カラー撮像カメラから送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、指定色画像検出手段で検出された画像部分から当該画素を取り除くようにする。これにより、ヘッドライトで照らされた路面を被検出物体と誤認することがなくなる。
【００７１】
さらに、輝度差分、色相差分、及び指定色強度差分が２値化されるときに使用される各閾値を、背景画像の空間平均値に応じて設定し、また、背景画像の空間平均値を、車線方向に複数に分割した画像領域において算出するようにする。これにより、輝度差分、色相差分、及び指定色強度差分の検出精度が向上する。
また、色強度差分、輝度差分、色相差分に対して、検出モード、昼夜、照度の強弱をマトリックス化したマトリックステーブルを有するので、監視条件に応じて適切な画像差分情報を選択して、被検出物体の判定処理を高精度に行うことが可能になる。
さらに、カラー撮像カメラから送られた画像データを、道路の車線毎に分割するとともに、カラー撮像カメラの手前の分割面積を大きく、遠方へいくにつれて分割面積を小さくするように、道路の車線に沿って複数の画像部分に分割することで、分割面積が車両より小さくて、差分検出ができないといった検知漏れをなくし、かつ適切な閾値を設定することが可能になる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明に係る道路監視用事象検知装置の一実施の形態についての詳しい全体構成を示すブロック図である。
【図３】マトリックス演算部の内部構成を示す図である。
【図４】色指定部によるスイッチの動作制御を説明する図である。
【図５】自動しきい値部及びマスク／背景／差分部の動作を示すフローチャートである。
【図６】処理対象画像範囲の一例を示す図である。
【図７】マトリックス処理部で行われる論理処理を示す図である。
【図８】（Ａ）は１車線目のエッジ画像の例を示す図であり、（Ｂ）はＹ方向への投影値の例を示す図である。
【図９】本発明の道路監視用事象検知装置の動作概要を示すフローチャートである。
【図１０】従来の道路監視用事象検知装置の構成の一例を示す図である。
【符号の説明】
１ カラー撮像カメラ
２ 輝度変化検出手段
３ 色相変化検出手段
４ 重複抽出判定手段
５ 包括抽出判定手段
６ 指定色画像検出手段
７ 色強度変化検出手段
８ 判定手段
Claims (10)
- 道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段と、
昼間で所定照度以上のときに前記輝度変化検出手段で検出された画像部分と、同じときに前記色相変化検出手段で検出された画像部分との重なっている部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する重複抽出判定手段と、
を有することを特徴とする道路監視用事象検知装置。 - 道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分を検出する色相変化検出手段と、
昼間で所定照度以下のときに前記輝度変化検出手段で検出された画像部分と、同じときに前記色相変化検出手段で検出された画像部分との包括的部分を抽出し、当該抽出部分を、道路上に存在する被検出物体の画像であると判定する包括抽出判定手段と、
を有することを特徴とする道路監視用事象検知装置。 - 道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段と、
前記指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分である色強度差分を検出する色強度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分である輝度差分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分である色相差分を検出する色相変化検出手段と、
照度センサから昼夜及び照度の強弱を検知する照度検知手段と、
前記色強度差分、前記輝度差分、前記色相差分に対して、検出モード、昼夜、照度の強弱を対応付けてマトリックス化したマトリックステーブルを有し、夜間で車両検出モードの場合には、前記マトリックステーブルから前記色強度差分を選択し、夜間で静止物体検出モードの場合には、前記輝度差分と前記色相差分との論理和を選択するマトリックス処理手段と、
選択された前記色強度差分による検出画像または前記論理和による検出画像を、道路上に存在する被検出物体の画像であると判定する判定手段と、
を有することを特徴とする道路監視用事象検知装置。 - 前記カラー撮像カメラから送られた画像データの中より、全色のスペクトラムを含んでいる画素を検出し、前記指定色画像検出手段で検出された画像部分から当該画素を取り除く取除手段
を更に有することを特徴とする請求項３記載の道路監視用事象検知装置。 - 前記指定色画像検出手段は、前記カラー撮像カメラから送られた画像データより、車両のテールライトの色を有する画像部分を検出することを特徴とする請求項３記載の道路監視用事象検知装置。
- 前記色強度変化検出手段で検出された画像部分を、道路の横断方向に膨張収縮させて車両の左右のテールライト相当の画像を１つにする画像処理手段
を更に有することを特徴とする請求項５記載の道路監視用事象検知装置。 - 道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データを、道路の車線毎に分割するとともに、前記カラー撮像カメラの手前の分割面積を大きく、遠方へいくにつれて分割面積を小さくするように、道路の車線に沿って複数の画像部分に分割する分割手段と、
前記分割手段によって分割された各分割画像部分における輝度の空間的平均値をそれぞれ算出する輝度平均手段と、
前記輝度平均手段によりそれぞれ算出された各平均値に基づき各分割画像部分における閾値を自動的に設定する閾値設定手段と、
前記分割手段によって分割された各分割画像部分における画素毎の輝度の時間的平均値を求め、各分割画像部分の背景画像を作成する背景画像作成手段と、
前記分割手段によって分割された各分割画像部分と、前記背景画像作成手段によって作成された各背景画像との画素毎の輝度の差分をそれぞれ算出する差分算出手段と、
前記差分算出手段で算出された各差分を、前記閾値設定手段で設定された対応分割画像部分における閾値を用いてそれぞれ２値化する２値化手段と、
前記２値化手段で得られた情報に基づき、道路上に存在する被検出物体を検出する物体検出手段と、
を有することを特徴とする道路監視用事象検知装置。 - 道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データを、道路の車線毎に分割するとともに、道路の車線に沿って複数の画像部分に分割する分割手段と、
前記分割手段によって分割された各分割画像部分における色相の空間的平均値をそれぞれ算出する色相平均手段と、
前記色相平均手段によりそれぞれ算出された各平均値に基づき各分割画像部分における閾値を設定する閾値設定手段と、
前記分割手段によって分割された各分割画像部分における画素毎の色相の時間的平均値を求め、各分割画像部分の背景画像を作成する背景画像作成手段と、
前記分割手段によって分割された各分割画像部分と、前記背景画像作成手段によって作成された各背景画像との画素毎の色相の差分をそれぞれ算出する差分算出手段と、
前記差分算出手段で算出された各差分を、前記閾値設定手段で設定された対応分割画像部分における閾値を用いてそれぞれ２値化する２値化手段と、
前記２値化手段で得られた情報に基づき、道路上に存在する被検出物体を検出する物体検出手段と、
を有することを特徴とする道路監視用事象検知装置。 - 道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段と、
前記指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分である色強度差分を検出する色強度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分である輝度差分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分である色相差分を検出する色相変化検出手段と、
照度センサから昼夜及び照度の強弱を検知する照度検知手段と、
前記色強度差分、前記輝度差分、前記色相差分に対して、検出モード、昼夜、照度の強弱を対応付けてマトリックス化したマトリックステーブルを有し、昼間で照度が所定値よりも大きい場合には、前記マトリックステーブルから、前記輝度差分と前記色相差分との論理積を選択するマトリックス処理手段と、
選択された前記論理積による検出画像を、道路上に存在する被検出物体の画像であると判定する判定手段と、
を有することを特徴とする道路監視用事象検知装置。 - 道路上の車両の走行状態を検知したり、落下物の検知を行う道路監視用事象検知装置において、
道路上を撮影するカラー撮像カメラと、
前記カラー撮像カメラから送られた画像データから、指定の色を有する画像部分を検出する指定色画像検出手段と、
前記指定色画像検出手段で検出された画像部分において、各画素の色強度を時間平均することによって得られた背景画像と色強度が異なる画像部分である色強度差分を検出する色強度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の輝度を時間平均することによって得られた背景画像と輝度が異なる画像部分である輝度差分を検出する輝度変化検出手段と、
前記カラー撮像カメラから送られた画像データを基にして、各画素の色相を時間平均することによって得られた背景画像と色相が異なる画像部分である色相差分を検出する色相変化検出手段と、
照度センサから昼夜及び照度の強弱を検知する照度検知手段と、
前記色強度差分、前記輝度差分、前記色相差分に対して、検出モード、昼夜、照度の強弱を対応付けてマトリックス化したマトリックステーブルを有し、昼間で照度が所定値よりも小さい場合には、前記マトリックステーブルから、前記輝度差分と前記色相差分との論理和を選択するマトリックス処理手段と、
選択された前記論理和による検出画像を、道路上に存在する被検出物体の画像であると判定する判定手段と、
を有することを特徴とする道路監視用事象検知装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09694097A JP3759280B2 (ja) | 1997-04-15 | 1997-04-15 | 道路監視用事象検知装置 |
| US08/925,938 US6137531A (en) | 1997-04-15 | 1997-09-08 | Detecting device for road monitoring |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09694097A JP3759280B2 (ja) | 1997-04-15 | 1997-04-15 | 道路監視用事象検知装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10289393A JPH10289393A (ja) | 1998-10-27 |
| JP3759280B2 true JP3759280B2 (ja) | 2006-03-22 |
Family
ID=14178334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09694097A Expired - Fee Related JP3759280B2 (ja) | 1997-04-15 | 1997-04-15 | 道路監視用事象検知装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6137531A (ja) |
| JP (1) | JP3759280B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103575323A (zh) * | 2012-07-30 | 2014-02-12 | 日电（中国）有限公司 | 占用检测方法及装置 |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3307335B2 (ja) * | 1998-07-22 | 2002-07-24 | 日本電気株式会社 | 車両領域検出装置及び車両領域検定方法 |
| US6940998B2 (en) | 2000-02-04 | 2005-09-06 | Cernium, Inc. | System for automated screening of security cameras |
| JP2001357484A (ja) | 2000-06-14 | 2001-12-26 | Kddi Corp | 道路異常検出装置 |
| EP1311932A2 (en) * | 2000-07-19 | 2003-05-21 | KIM, Young Wan | System and method for cardless secure credit transaction processing |
| JP4697761B2 (ja) * | 2001-05-18 | 2011-06-08 | 株式会社エイブイプランニングセンター | 待ち行列検出方法及び待ち行列検出装置 |
| US6580997B2 (en) | 2001-09-27 | 2003-06-17 | International Business Machines Corporation | Hierarchical traffic control system which includes vehicle roles and permissions |
| US6646568B2 (en) | 2001-09-27 | 2003-11-11 | International Business Machines Corporation | System and method for automated parking |
| US6574547B2 (en) | 2001-09-27 | 2003-06-03 | International Business Machines Corporation | Use of vehicle permissions to control individual operator parameters in a hierarchical traffic control system |
| US6609061B2 (en) | 2001-09-27 | 2003-08-19 | International Business Machines Corporation | Method and system for allowing vehicles to negotiate roles and permission sets in a hierarchical traffic control system |
| US6611750B2 (en) | 2001-09-27 | 2003-08-26 | International Business Machines Corporation | Hierarchical traffic control system |
| JP3764086B2 (ja) * | 2001-10-29 | 2006-04-05 | 本田技研工業株式会社 | 車両用情報提供装置 |
| FR2842637B1 (fr) * | 2002-07-22 | 2004-10-01 | Citilog | Procede pour detecter un incident ou analogue sur une portion de voie |
| JP2004318609A (ja) * | 2003-04-17 | 2004-11-11 | Sanyo Electric Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| US7174153B2 (en) * | 2003-12-23 | 2007-02-06 | Gregory A Ehlers | System and method for providing information to an operator of an emergency response vehicle |
| US20070138347A1 (en) * | 2004-12-16 | 2007-06-21 | Ehlers Gregory A | System and method for providing information to an operator of a vehicle |
| JP4521858B2 (ja) * | 2004-02-12 | 2010-08-11 | 株式会社キーエンス | 画像処理装置 |
| KR20070008601A (ko) * | 2004-03-24 | 2007-01-17 | 세르늄 코포레이션 | 영역에 의한 세그먼트화 이득을 이용한 비디오 분석의 개선 |
| JP4628712B2 (ja) * | 2004-07-09 | 2011-02-09 | 財団法人生産技術研究奨励会 | 画像上移動物体認識方法及び装置 |
| EP1868370A4 (en) * | 2005-03-15 | 2009-04-22 | Omron Tateisi Electronics Co | IMAGE PROCESSING APPARATUS AND METHOD, PROGRAM AND RECORDING MEDIUM |
| JP4412236B2 (ja) * | 2005-05-30 | 2010-02-10 | ソニー株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP4365352B2 (ja) * | 2005-07-06 | 2009-11-18 | 本田技研工業株式会社 | 車両及びレーンマーク認識装置 |
| JP2007018340A (ja) * | 2005-07-08 | 2007-01-25 | Victor Co Of Japan Ltd | 障害物検出装置 |
| US8045761B2 (en) * | 2006-05-30 | 2011-10-25 | Intelliview Technologies Inc. | Detection of environmental conditions in a sequence of images |
| KR100744158B1 (ko) | 2006-07-25 | 2007-08-01 | 연세대학교 산학협력단 | 확률적인 접근방법을 적용한 영상 감시 시스템 및 방법 |
| JP4664878B2 (ja) * | 2006-08-11 | 2011-04-06 | 株式会社日立国際電気 | 画像処理装置 |
| US8103436B1 (en) | 2007-11-26 | 2012-01-24 | Rhythm Engineering, LLC | External adaptive control systems and methods |
| JP4694589B2 (ja) * | 2008-03-17 | 2011-06-08 | 株式会社日立国際電気 | 自動監視システム |
| JP4972596B2 (ja) * | 2008-03-31 | 2012-07-11 | 株式会社日立製作所 | 交通流計測装置 |
| JP5518359B2 (ja) * | 2009-03-31 | 2014-06-11 | 能美防災株式会社 | 煙検出装置 |
| US8571261B2 (en) | 2009-04-22 | 2013-10-29 | Checkvideo Llc | System and method for motion detection in a surveillance video |
| JP5020299B2 (ja) * | 2009-10-22 | 2012-09-05 | 中国電力株式会社 | 落下物検知システム、落下物検知方法 |
| JP5439156B2 (ja) * | 2009-12-17 | 2014-03-12 | 三菱重工業株式会社 | 架線レス車両の運行支援装置 |
| JP5333489B2 (ja) * | 2011-03-14 | 2013-11-06 | オムロン株式会社 | オブジェクト検知装置、およびオブジェクト検知プログラム |
| JP5518007B2 (ja) * | 2011-07-11 | 2014-06-11 | クラリオン株式会社 | 車両用外界認識装置及びそれを用いた車両制御システム |
| JP6024229B2 (ja) * | 2012-06-14 | 2016-11-09 | 富士通株式会社 | 監視装置、監視方法、及びプログラム |
| MX343203B (es) * | 2012-07-27 | 2016-10-28 | Nissan Motor | Dispositivo de deteccion de objeto tridimensional y metodo de deteccion de objeto tridimensional. |
| US11190738B2 (en) * | 2012-12-28 | 2021-11-30 | Robert Bosch Gmbh | Vehicle standstill recognition |
| US9975482B2 (en) * | 2013-02-01 | 2018-05-22 | Eric Sinclair | Systems and methods for traffic event detection for vehicles using rolling averages |
| CN107846533A (zh) * | 2016-09-19 | 2018-03-27 | 加尔发半导体股份有限公司 | 智能传感器设备 |
| US10740901B2 (en) * | 2018-12-17 | 2020-08-11 | Nvidia Corporation | Encoder regularization of a segmentation model |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2644844B2 (ja) * | 1988-09-20 | 1997-08-25 | 株式会社日立製作所 | 分散型画像認識システム |
| FR2674354A1 (fr) * | 1991-03-22 | 1992-09-25 | Thomson Csf | Procede d'analyse de sequences d'images routieres, dispositif pour sa mise en óoeuvre et son application a la detection d'obstacles. |
| JP2655953B2 (ja) * | 1991-07-19 | 1997-09-24 | 株式会社日立製作所 | 交通制御システム |
| US5535314A (en) * | 1991-11-04 | 1996-07-09 | Hughes Aircraft Company | Video image processor and method for detecting vehicles |
| US5638116A (en) * | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
| JPH0795598A (ja) * | 1993-09-25 | 1995-04-07 | Sony Corp | 目標追尾装置 |
| JP3435623B2 (ja) * | 1996-05-15 | 2003-08-11 | 株式会社日立製作所 | 交通流監視装置 |
-
1997
- 1997-04-15 JP JP09694097A patent/JP3759280B2/ja not_active Expired - Fee Related
- 1997-09-08 US US08/925,938 patent/US6137531A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103575323A (zh) * | 2012-07-30 | 2014-02-12 | 日电（中国）有限公司 | 占用检测方法及装置 |
| CN103575323B (zh) * | 2012-07-30 | 2016-03-30 | 日电（中国）有限公司 | 占用检测方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10289393A (ja) | 1998-10-27 |
| US6137531A (en) | 2000-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3759280B2 (ja) | 道路監視用事象検知装置 | |
| EP2009611B1 (en) | Road division line detector | |
| CN107730481B (zh) | 一种交通信号灯图像处理方法及交通信号灯图像处理装置 | |
| KR101822924B1 (ko) | 영상기반 화재 감지 시스템, 방법 및 프로그램 | |
| CN111931726B (zh) | 交通灯检测的方法、装置、计算机存储介质和路侧设备 | |
| KR20210006276A (ko) | 플리커를 약화시키기 위한 이미지 처리 방법 | |
| US10037473B2 (en) | Vehicle exterior environment recognition apparatus | |
| Rojas et al. | Vehicle detection in color images | |
| KR102637216B1 (ko) | 차량용 신호등 단계를 감지하기 위한 장치 및 방법 | |
| US11282235B2 (en) | Vehicle surroundings recognition apparatus | |
| JPH1049771A (ja) | 火災検出装置 | |
| JPH09282452A (ja) | 監視装置 | |
| KR101522757B1 (ko) | 영상의 노이즈 제거 방법 | |
| JP5286113B2 (ja) | 煙検出装置 | |
| KR101154552B1 (ko) | 전방 카메라를 이용한 차량의 기후 상황 감지 방법 | |
| JP2002304677A (ja) | 侵入者検出方法および装置 | |
| JP3294468B2 (ja) | 映像監視装置における物体検出方法 | |
| CN110388985B (zh) | 确定街道标记的颜色的方法和图像处理系统 | |
| JP2000020722A (ja) | 動画像中の物体抽出装置及び方法 | |
| JP5988716B2 (ja) | 画像処理装置 | |
| TWI630818B (zh) | Dynamic image feature enhancement method and system | |
| JP2012118929A (ja) | 外部環境判定装置及び外部環境判定プログラム | |
| JP3682631B2 (ja) | 火災検出装置 | |
| JPH10269471A (ja) | 火災検出装置 | |
| JP4869323B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051228 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140113 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |