JP3914447B2 - 画像式車両感知システム及び画像式車両感知方法 - Google Patents
画像式車両感知システム及び画像式車両感知方法 Download PDFInfo
- Publication number
- JP3914447B2 JP3914447B2 JP2002048568A JP2002048568A JP3914447B2 JP 3914447 B2 JP3914447 B2 JP 3914447B2 JP 2002048568 A JP2002048568 A JP 2002048568A JP 2002048568 A JP2002048568 A JP 2002048568A JP 3914447 B2 JP3914447 B2 JP 3914447B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- time difference
- vehicle
- differential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像式車両感知システムに関し、さらに詳しくは、撮像手段により撮影された移動体の画像情報を画像処理することにより、前記移動体から車両のみを検出する画像式車両感知システムに関するものである。
【０００２】
【従来の技術】
交差点に設置されている信号機による指示内容は、車両を運転する運転者にとっては道路交通法規上、絶対遵守が求められる存在である。そして、信号機の表示内容は、横断若しくは停止するための行動指針となる。従って、もし、信号機が故障した場合、それによる交通渋滞、事故発生等の混乱には、計り知れないものがあり、信号機自体の信頼性確保は常に高いレベルで要求されている。そして、信頼性確保と併せて要求されることが、信号機と車両交通量とのマッチングがとれたシステムの開発である。特に、信号機自体が単に所定時間間隔で信号を切替えているだけでは道路の交通量、あるいは通行時間帯により刻々変化する状況をさばくことはできない。つまり、道路状況は生き物であり、信号灯を所定のパターンで順次点灯させる信号機の制御方法では、このように変化する道路状況に対応することが困難になってきている。そこで最近では信号機周辺の所定エリア内の交通量をリアルタイムに把握して、変化する交通状況に合わせて最適な信号制御を行う信号機が多くなってきている。このシステムを有効に、しかも正確に稼動させるための最重要課題は、路面上を移動する種々の移動体中から車両だけを正確に感知することである。この路面上を移動する移動体を感知するには、撮像手段が必要であり、一般的にはビデオカメラが使われる。そして、交差点の手前から所定のエリアを撮影するように設定されている。撮影するエリアは路面であるため、時間、周辺状況、季節により変化する被写体である。例えば、昼間と夜では周辺の明るさ、あるいは交通量が異なり、また、周辺が住宅街か否かによっても周りからの照明量が異なる。さらに、季節が異なれば当然路面状況は大きく変化する。例えば、冬に雪が降れば全く異なる状況を呈することになる。
【０００３】
このような背景から、従来より車両検出に伴う課題を解決するために多くの提案がなされており、例えば、特開平１１−３２８３７８号公報には、路面上の輝度の変化を明るい方向と暗い方向に分離して考え、明るい色の車両の検出と暗い色の車両の検出とを個別に行うことで、影の誤検出を抑える技術が開示されている。これは、明方向データから明色物体を検出し、双方向（明暗両方向）データと明方向データとから明色物体として検出されなかった物体を検出するものである。また、特開２００１−２７３４９９公報には、背景画像と次にサンプリングされた撮影画像との輝度差分値を求め、それに応じたフィードバック量を背景画像に加算することにより背景画像を更新する技術について開示されており、これは、サンプリングされた撮影画像と１つ前にサンプリングされた撮影画像との輝度差画像と、前記フィードバック量を元に移動体のみを抽出するものである。また、特開平１１−３２８５７８号公報には、時間的に緩やかに変化する輝度分布を非常駐車帯の背景画像に取り込み、背景画像との差分により車両を検出する技術について開示されている。しかし、これら何れの公報記載の技術にあっても、背景画像の設定が必要であり、その背景画像を設定することは必ずしも容易ではない。
【０００４】
また、特開２０００−１１３３７４公報には、車両前面の微分値が疎か密かにより、車両判定を行う技術について開示されている。また、特開２００１−１７５８４５公報には、水平方向微分画像、垂直方向微分画像を生成し、エッジにより車両の上端下端を検出する技術について開示されている。さらに、特開平０５−２８９００９号公報には、エッジ画像の差分画像により、車頭位置を検出する技術について開示されている。しかしながら、これら何れの公報記載の技術も特徴の無い車両の検出が困難であるといった問題がある。
その他、特開２０００−１１３１６９公報には、車両の下影領域を用いて車両を検出する技術が開示されているが、車両進行方向の後方から撮影しているため、下影が出ることが前提条件でありトンネル内に限られる。また、特開２０００−１６８６９１公報には、車両の進行方向に対して一定の間隔で設定された２つの車両感知領域間における車両感知信号の立ち上がり時刻の差と立下り時刻の差により、物体が高さを持つ物体か、高さを持たない影かを判定する技術が開示されている。しかし、これには車両検出エリアが２つ必要である。さらに、特許第２８４１６５２号公報、及び第２９２４０６３号公報には、車両の影の検出方法について開示されているが、車の頭部を正しく検出する必要があったり、影の除去方法が本発明とは異なる発明である。
【０００５】
【発明が解決しようとする課題】
以上のように、従来の方法では、背景画像の設定が必要であり、その背景画像を設定することは必ずしも容易ではないといった問題や、車両に特徴がないと検出が困難であったり、車両の特定部分を検出しないと正しく検出できないといった問題があった。
本発明は、かかる課題に鑑み、撮像手段により得られた画像から影のみを確実に除去して移動体から車両のみを検出する画像式車両感知システムを提供することを目的とする。また、他の目的は、対向車線に移動体が逆走してきた場合でも、その影を除去することができる画像式車両感知システムを提供することにある。
【０００６】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１は、撮像手段により撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知システムにおいて、前記撮像手段により撮影された感知エリア内の移動体及び周辺の画像を格納する画像格納手段と、現在フレームの画像情報と該現在フレームの一つ前のフレーム画像情報から時間差分画像を生成する差分画像生成手段と、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成手段と、前記差分画像生成手段からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成手段と、複数の投影像生成手段からの投影値を論理積処理する論理積演算手段と、を備え、前記差分画像生成手段により得られた時間差分画像から前記投影像生成手段により第１の投影像を生成すると共に、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により時間差分画像を生成後、該時間差分画像を前記投影像生成手段により第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算手段により演算することにより前記画像情報から車両のみを検出することを特徴とする。
撮像手段は一般的にはビデオカメラであり、交差点の手前から所定の感知エリアを撮影するように設定されている。撮影する感知エリアは路面であるため、時間、周辺状況、季節により変化する被写体である。例えば、昼間と夜では周辺の明るさ、あるいは交通量が異なり、また、周辺が住宅街か否かによっても周りからの照明量が異なる。さらに、季節が異なれば当然路面状況は大きく変化する。例えば、冬に雪が降れば全く異なる状況を呈することになる。従って、この状態での画像情報を一旦メモリに格納し、その格納された画像情報から車両についての画像情報のみを画像処理により抽出することが必要となる。本発明では画像処理のために、１フレーム前の画像との時間差分画像を生成する差分画像生成手段により移動体の影を除去し、画像のエッジを検出する微分画像生成手段により画像のエッジ部分を強調して画像の輪郭を求め、前記差分画像生成手段からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成手段により画像を論理演算可能なレベルに変換し、複数の投影像生成手段からの投影値を論理積処理する論理積演算手段により最終的な投影値を算出する。
また、移動体からその影を除去するためには、現在フレームの画像から１フレーム前の画像を引き算し、画像の輝度値が負の場合はゼロとすることにより可能である。つまり、並走する移動体がない場合、感知エリアに進入した移動体とその影の画像から、感知エリアに進入する前の画像を引き算すると移動体の輝度値は正となり、影のみが負となる性質を利用する。ここで、影は路面より必ず暗いため輝度値が負となるので消去することができる。しかし、このとき並走する移動体がある場合、並走する移動体の影が感知エリアに存在するので、その影も同時に時間差分画像として現れる。このような時間差分画像を論理演算可能なレベルに変換するために、次に、その画像のライン毎の輝度値を加算していき輝度値の投影像を作成する。一方、同時に画像のエッジ部分を検出するために感知エリア内の画像を微分する（具体的な方法は後述する）。そして、その微分画像から固定部物の影を除去するために前記と同様に、微分画像の時間差分画像を生成する。この方法は、前記と同様にして現在のフレーム画像（固定物と移動体とその影のエッジ画像）から１フレーム前の微分画像（固定物のみのエッジ画像）を引き算して固定物のエッジ画像を除去する。その後エッジ画像を論理演算可能なレベルに変換するために、その画像のライン毎の輝度値を加算していき輝度値の投影像を作成する。ここで、２種類の投影像が生成されたことになり、この２種類の投影画像を論理積することにより、車両部分の投影像が時間的に一致して論理積処理がなされて出力される。
かかる発明によれば、画像処理のために差分画像生成手段、微分画像生成手段、及び論理積演算手段を備えることにより、移動体から車両のみを確実に検出することができる。
【０００８】
また、前記差分画像生成手段により得られた時間差分画像を前記投影像生成手段により第１の投影像を生成すると共に、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により時間差分画像を生成後、該時間差分画像を前記投影像生成手段により第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算手段により演算することにより、並走する移動体の影と固定物の影を除去して車両のみを検出することができる。
請求項２では、前記微分画像生成手段は、前記画像情報の基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値をＰ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）とし、Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値を０とすることも本発明の有効な手段である。
【０００９】
移動する画像を微分することは、その対象物の変化率を算出することである。そこで、画像を画素単位に分解して、ある基準画素に対してその画素の前後の変化を見ることによりエッジを検出することができる。例えば、基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、座標Ｔ（ｘ、ｙ）と隣接する座標Ｔ（ｘ、ｙ−１）の輝度値Ｐ（ｘ、ｙ−１）がＰ（ｘ、ｙ）より暗い場合（つまり、暗いところから明るいところに変化した場合）、その座標点の輝度値を基準座標の輝度値と隣接画素の輝度値の差分とする。また、この逆の場合、座標Ｔ（ｘ、ｙ）と隣接する座標Ｔ（ｘ、ｙ−１）の輝度値Ｐ（ｘ、ｙ−１）がＰ（ｘ、ｙ）と等しいか、あるいは明るい場合（つまり、明るいところから暗いところに変化した場合）ゼロにする。これにより、並走する移動体の陰影エッジ画像を除去することができる。
かかる技術手段によれば、前記微分画像生成手段は、前記画像情報の基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値をＰ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）とし、Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値を０とすることにより、感知エリア内の画像の明暗方向により微分画像を生成することができる。
【００１０】
請求項３では、前記差分画像生成手段は、前記感知エリア内の前記移動体の現在フレームの画像の輝度値から該現在フレームの一つ前のフレーム画像の輝度値を減算し、該減算結果の画像輝度値から負の輝度値をゼロにすることにより、前記移動体に含まれる陰影部分を除去することも本発明の有効な手段である。
時間差分画像は、感知エリア内の現在のフレーム画像から１フレーム前の画像を引き算して得られる。つまり、対象が移動体の場合、その対象は常に移動しており、その変化を捉えるには１フレーム前の画像と比較する必要がある。そして、その画像を引き算することにより、移動体の輝度値が正の部分と負の部分の差分が残り、その差分の輝度値が負の部分をゼロにすることにより輝度値の正の差分のみが残る。これにより、移動体の影を除去することができる。
かかる技術手段によれば、前記差分画像生成手段は、前記感知エリア内の前記移動体の現在フレームの画像の輝度値から該現在フレームの一つ前のフレーム画像の輝度値を減算し、該減算結果の画像輝度値から負の輝度値をゼロにすることにより、前記移動体に含まれる陰影部分を除去することにより、移動体の影を除去することができる。
【００１１】
請求項４では、前記微分画像生成手段により固定物の陰影及び前記移動体の陰影を微分処理した微分画像の一フレーム前の微分画像から前記差分画像生成手段により時間差分画像を生成することにより前記固定物の陰影と前記移動体の陰影を同時に除去することも本発明の有効な手段である。
固定物が感知エリア内に常に存在する場合、移動体の陰影と同時に、この固定物の影を除去する必要がある。その一つの方法として感知エリア内の固定物の影が撮影される部分を強制的に画像処理を行わないようにする方法である。しかし、この方法は、固定物の大きさや位置が変化した場合、対応が困難となる。そこで、画像処理により除去できれば好ましい。その方法として感知エリア内の画像を移動体の進行方向に対して垂直に微分処理する方法が考えられる。そして、画像の輝度値が暗から明に変化した場合のみ、その輝度値の差分を輝度値とし、逆に明から暗に変化した場合は、輝度値をゼロにすれば移動体の陰影エッジは除去され、固定物は常に微分されることになる。そして、その画像を前記の時間差分処理を行うことにより、全てのフレームに撮影される固定物の微分画像は引き算により除去される。
かかる技術手段によれば、前記微分画像生成手段により固定物の陰影及び前記移動体の陰影を微分処理した微分画像の一フレーム前の微分画像から前記差分画像生成手段により時間差分画像を生成することにより、固定物と並走する移動体の陰影の画像を除去することができる。
【００１２】
請求項５は、撮像手段により撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知システムにおいて、前記撮像手段により撮影された進入判定エリア内の移動体及び周辺の画像を格納する進入画像格納手段と、前記移動体の進行方向に前記進入判定エリアに連続して設けられた感知エリア内の移動体及び周辺の画像を格納する感知画像格納手段と、現在フレームのＮ（Ｎは１以上の整数）フレーム前の画像情報と前記現在フレームの（Ｎ−１）フレーム前の画像情報から時間差分画像を生成する差分画像生成手段と、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成手段と、前記差分画像生成手段からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成手段と、複数の投影像生成手段からの投影値を論理積処理する論理積演算手段と、を備え、前記進入画像格納手段に格納された前記進入判定エリア内の画像から前記差分画像生成手段により第１の時間差分画像を生成し、該第１の時間差分画像から前記投影像生成手段により第１の投影像を生成すると共に、前記感知画像格納手段に格納された前記感知エリア内の画像から前記差分画像生成手段により第２の時間差分画像を生成し、該第２の時間差分画像から前記投影像生成手段により第２の投影像を生成し、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により第３の時間差分画像を生成後、該第３の時間差分画像を前記投影像生成手段により第３の投影像を生成し、前記第１の投影像、第２の投影像及び第３の投影像を前記論理積演算手段により演算することにより前記画像情報から逆走移動体の陰影部分を除去して車両のみを検出することを特徴とする。
前記請求項１から請求項４までは、複数車線を並走する移動体の画像処理である。しかし、対向車線がある場合は、対向車線の移動体が逆走してくるため、感知エリア内にその影が含まれてしまう可能性がある。従って、この余分な逆走移動体の影を予め除去しておく必要がある。その方法として、感知エリアの手前に進入判定エリアを設け、その中で逆走移動体の影を除去しようとするものである。具体的には、進入判定エリア内の現在フレームのＮフレーム前の画像から現在フレームの（Ｎ−１）フレーム前の画像を引き算して時間差分画像を生成し、その投影値を求めておく。次に、感知エリア内の画像から前記請求項１の方法により時間差分画像と微分画像から投影値を求め、前記投影値同志を論理積処理することにより、逆走移動体の影を除去した車両を感知することができる。
また、前記で述べたように、移動体からその影を除去するためには、現在フレームの画像から１フレーム前の画像を引き算し、画像の輝度値が負の場合はゼロとすることにより可能である。つまり、進入判定エリアに進入した移動体とその影の画像（現在フレームのＮフレーム前の画像）から、（Ｎ−１）フレーム前の画像を引き算すると移動体の輝度値は正となり、影のみが負となるので消去することができる。しかし、このとき逆走する移動体がある場合、逆走する移動体の影が感知エリアには存在してしまい、その影も同時に時間差分画像として現れる。また、固定物の影を除去するために感知エリア内の画像を微分して、その微分画像の時間差分画像を生成して除去しておく。このような時間差分画像を論理演算可能なレベルに変換するために、次に、進入判定エリアのＮフレーム前の時間差分画像と感知エリアの時間差分画像を、画像のライン毎の輝度値を加算していき輝度値の投影像を夫々作成する。これにより進入判定エリアの投影像には車両のみが現れ、感知エリアの投影像には逆走する移動体の影と車両の投影像が現れ、微分画像には逆走する移動体の影と車両と車両の影の投影像が現れる。これらを論理積することにより車両部分の投影像が時間的に一致して論理積処理がなされて出力される。
かかる技術手段によれば、更に、進入判定エリア内に時間差分画像を生成するエリアを設けることにより、予め逆走移動体の影を除去することができる。また、第１の投影像、第２の投影像及び第３の投影像を論理積演算手段により演算することにより画像情報から逆走移動体の陰影部分を除去して車両のみを検出することができる。
【００１４】
請求項６では、前記感知エリアは車両感知領域内に１個所設定することにより前記移動体から車両の特定を可能としたことも本発明の有効な手段である。
本発明の車両感知方法は、所定のエリア内の画像から移動体の影を除去して車両を特定する方法である。従って、車両感知領域内に所定のエリアが１箇所あれば画像処理が可能である。かかる技術手段によれば、前記感知エリアは車両感知領域内に１個所設定することにより前記移動体から車両の特定を可能としたので、システムのコストを安くすることができる。
請求項７では、前記差分画像生成手段及び前記微分画像生成手段は、所定の時間間隔で１フレーム単位に前記格納手段に格納された画像情報を画像処理することも本発明の有効な手段である。
撮像手段で撮影された画像は、一旦メモリに格納され、そのメモリから所定の時間間隔で読み出される。その時間間隔は一般的には１画面単位、つまりフレーム単位である。これにより、メモリ容量は少なくとも１フレーム分以上あればよく、メモリ容量を節約することができる。
かかる技術手段によれば、前記差分画像生成手段及び前記微分画像生成手段は、所定の時間間隔で１フレーム単位に前記格納手段に格納された画像情報を画像処理するので、少ないメモリ容量でシステムを構築することができる。
請求項８では、撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知方法において、撮影された感知エリア内の移動体及び周辺の画像を格納するステップと、この格納された画像情報に基づいて現在フレームと該現在フレームの一つ前のフレーム画像から時間差分画像を生成するステップと、前記移動体の通行方向に垂直な方向に微分処理するステップと、前記差分画像生成ステップからの出力画像のライン毎の輝度値の合計を演算して投影像を生成するステップと、複数の投影像生成ステップからの投影値を論理積処理するステップと、を備え、前記差分画像生成ステップにより得られた時間差分画像を前記投影像生成ステップにより第１の投影像を生成すると共に、前記微分画像生成ステップにより得られた微分画像から前記差分画像生成ステップにより時間差分画像を生成後、該時間差分画像を前記投影像生成ステップにより第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算ステップにより演算することにより前記画像情報から車両のみを検出するたことを特徴とする。
かかる発明によれば、請求項１と同様の作用効果を奏する。
【００１５】
請求項９は、撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知方法において、進入判定エリア内の移動体及び周辺の画像を格納するステップと、前記移動体の進行方向に前記進入判定エリアに連続して設けられた感知エリア内の移動体及び周辺の画像を格納するステップと、現在フレームのＮ（Ｎは１以上の整数）フレーム前の画像情報と前記現在フレームの（Ｎ−１）フレーム前の画像情報から時間差分画像を生成するステップと、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成ステップと、前記差分画像生成ステップからの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成ステップと、複数の投影像生成ステップからの投影値を論理積処理する論理積演算ステップと、を備え、前記進入判定エリア内の画像を前記差分画像生成ステップにより第１の時間差分画像を生成し、該第１の時間差分画像を前記投影像生成ステップにより第１の投影像を生成すると共に、前記感知エリア内の画像を前記差分画像生成ステップにより第２の時間差分画像を生成し、該第２の時間差分画像を前記投影像生成ステップにより第２の投影像を生成し、前記微分画像生成ステップにより得られた微分画像から前記差分画像生成ステップにより第３の時間差分画像を生成後、該第３の時間差分画像を前記投影像生成ステップにより第３の投影像を生成し、前記第１の投影像、第２の投影像、及び第３の投影像を前記論理積演算ステップにより演算することにより前記画像情報から逆走移動体の陰影部分を除去して車両のみを検出することを特徴とする。
かかる発明によれば、請求項５と同様の作用効果を奏する。
【００１６】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明の一実施形態に係る画像式車両感知システムの構成ブロック図である。この構成は、大きく３つの部分から構成されている。つまり、共通部分である撮像記憶部１４０、感知エリア内の画像認識部１２０、進入エリア内の画像認識部１３０である。撮像記憶部１４０には、ＣＣＤカメラで構成され、進入及び感知エリアの画像を撮影する撮像部１００と、撮像部１００で撮影されたアナログ画像データをデジタル信号に変換するＡ／Ｄ変換部１０１と、デジタル信号に変換された信号を多値階調データとして格納する多値メモリ部１０２がある。また、感知エリア内の画像認識部１２０には、多値メモリ部１０２のデータを所定のフレーム単位に取り出し、現在フレームと一つ前のフレーム画像から時間差分画像を生成する差分画像生成部１０３と、この差分画像生成部１０３からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影値演算部１０５と、移動体の通行方向に垂直な方向に微分処理する微分画像生成部１０４と、この微分画像生成部１０４の画像の現在フレームと一つ前のフレーム画像から時間差分画像を生成する差分画像生成部１０６と、この差分画像生成部１０６からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影値演算部１０８と、前記投影値演算部１０５と投影値演算部１０８からの投影値を論理積処理するＡＮＤ処理部１０７から構成されている。また、進入エリア内の画像認識部１３０には、多値メモリ部１０２のデータを所定のフレーム単位に取り出し、Ｎフレーム前と（Ｎ−１）フレーム前の画像から時間差分画像を生成する差分画像生成部１１０と、この差分画像生成部１１０からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影値演算部１１１から構成されている。そして、ＡＮＤ処理部１０７の出力１１２と投影値演算部１１１の出力１１３をＡＮＤ処理部１０９に入力している。
【００１７】
次に、本構成による画像式車両感知システムの概略動作について図７のフローチャートと併せて参照しながら説明する。本構成によるシステムは、３つのステップに分けることができる。つまり、時間差分画像を生成するステップと、微分画像を生成するステップと、逆走車両の影を除去するステップであり、これらのステップは並行して実行される。まず、時間差分画像を生成するステップについて説明する。撮像部１００で撮影された路面上の車両はモノクロのアナログ信号としてＡ／Ｄ変換部１０１に入力される。Ａ／Ｄ変換部１０１では、そのアナログ信号を処理しやすいデジタル信号に変換する。そして、デジタル信号は画像の濃淡に応じて、例えば２５６階調に分解されて、３２０×３２画素の画像として多値メモリ部１０２の所定のアドレスに今回感知エリア画像として格納される（Ｓ１）。次に、時間差分画像を生成するために、差分画像生成部１０３により、多値メモリ部１０２に格納された今回感知エリア画像から１フレーム前の前回感知エリア画像を減算する（Ｓ２）。次に、投影値演算部１０５により、この減算結果の画像をライン毎の輝度値の合計を演算してＸ軸投影像Ａを生成する（Ｓ３）。次に、多値メモリ部１０２に格納した今回感知エリア画像を次の処理のために、前回感知エリア画像のアドレスに格納する（Ｓ４）。ここまでが、時間差分画像を生成するステップであり、次に微分画像を生成するステップについて説明する。ステップＳ１は共通であるので説明を省略する。今回画像の微分画像を生成するために、微分画像生成部１０４により多値メモリ部１０２に格納された今回感知エリア画像を微分して、今回画像の微分画像を生成する（Ｓ５）。次に、差分画像生成部１０６により今回画像の微分画像から１フレーム前の前回画像の微分画像を減算する（Ｓ６）。次に、投影値演算部１０８により、この減算結果の画像をライン毎の輝度値の合計を演算してＸ軸投影像Ｂを生成する（Ｓ７）。次に、多値メモリ部１０２に格納した今回画像の微分画像を次の処理のために、前回画像の微分画像のアドレスに格納する（Ｓ８）。ここまでが、微分画像を生成するステップであり、次に逆走車両の影を除去するステップについて説明する。まず撮像部１００で撮影された路面上の車両はモノクロのアナログ信号としてＡ／Ｄ変換部１０１に入力される。Ａ／Ｄ変換部１０１では、そのアナログ信号を処理しやすいデジタル信号に変換する。そして、デジタル信号は画像の濃淡に応じて、例えば２５６階調に分解されて、３２０×３２画素の画像として多値メモリ部１０２の所定のアドレスに、今回進入判定エリア画像として格納される（Ｓ９）。次に、時間差分画像を生成するために、差分画像生成部１１０により多値メモリ部１０２に格納されたＮフレーム前の進入判定エリア画像から（Ｎ−１）フレーム前の前回進入判定エリア画像を減算する（Ｓ１０）。次に、投影値演算部１１１により、この減算結果の画像をライン毎の輝度値の合計を演算してＸ軸投影像Ｃを生成する（Ｓ１１）。次に、多値メモリ部１０２に格納した今回進入判定エリア画像を次の処理のために、前回進入判定エリア画像のアドレスに格納する（Ｓ１２）。
以上のステップは各フレーム単位に並行して実行され、それらの結果に基づいて更に、前記Ｘ軸投影像Ａ、Ｂ、ＣをＡＮＤ処理部１０７、１０９により論理積処理し、抽出領域として出力する（Ｓ１３）。次に、感知エリアに車両が通過中かを検出し（Ｓ１４）、ＮＯであれば先頭のステップに戻り、ＹＥＳであれば、その画像の幅が車両の幅であるか否かを検証し（Ｓ１５）、車両の幅より小さければ（ＮＯのルート）先頭のステップに戻り、車両の幅に近ければステップＳ１３で抽出した抽出領域を車両と判定する（Ｓ１６）。
【００１８】
以上のように、撮像部１００は一般的にはビデオカメラであり、交差点の手前から所定の感知エリアを撮影するように設定されている。撮影する感知エリアは路面であるため、時間、周辺状況、季節により変化する被写体である。例えば、昼間と夜では周辺の明るさ、あるいは交通量が異なり、また、周辺が住宅街か否かによっても周りからの照明量が異なる。さらに、季節が異なれば当然路面状況は大きく変化する。例えば、冬に雪が降れば全く異なる状況を呈することになる。従って、この状態での画像情報を一旦多値メモリ部１０２に格納し、その格納された画像情報から車両についての画像情報のみを画像処理により抽出することが必要となる。本発明では画像処理のために、１フレーム前の画像との時間差分画像を生成する差分画像生成部１０３、１０６により移動体の影を除去し、画像のエッジを検出する微分画像生成部１０４により画像のエッジ部分を強調して画像の輪郭を求め、前記差分画像生成部からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影値演算部１０５、１０８により画像を論理演算可能なレベルに変換し、投影値演算部１０５、１０８からの投影値を論理積処理するＡＮＤ処理部１０７により最終的な投影値を算出する。これにより、移動体から車両のみを確実に検出することができる。
【００１９】
更に詳細に説明すると、移動体からその影を除去するためには、現在フレームの画像から１フレーム前の画像を引き算し、画像の輝度値が負の場合はゼロとすることにより可能である。つまり、並走する移動体がない場合、感知エリアに進入した移動体とその影の画像から、感知エリアに進入する前の画像を引き算すると移動体の輝度値は正となり、影のみが負となる性質を利用する。ここで、影は路面より必ず暗いため輝度値が負となるので消去することができる。しかし、このとき並走する移動体がある場合、並走する移動体の影が感知エリアに存在するので、その影も同時に時間差分画像として現れる。このような時間差分画像を論理演算可能なレベルに変換するために、次に、その画像のライン毎の輝度値を加算していき輝度値の投影像を作成する。一方、同時に画像のエッジ部分を検出するために感知エリア内の画像を微分する。そして、その微分画像から固定部物の影を除去するために前記と同様に、微分画像の時間差分画像を生成する。この方法は、前記と同様にして現在のフレーム画像（固定物と移動体とその影のエッジ画像）から１フレーム前の微分画像（固定物のみのエッジ画像）を引き算して固定物のエッジ画像を除去する。その後エッジ画像を論理演算可能なレベルに変換するために、その画像のライン毎の輝度値を加算していき輝度値の投影像を作成する。ここで、２種類の投影像が生成されたことになり、この２種類の投影画像を論理積することにより、車両部分の投影像が時間的に一致して論理積処理がなされて出力される。
【００２０】
次に、図を参照しながら前記で説明した動作を更に詳細に説明をする。図２は、時間差分画像を生成する過程について説明する図である。例えば、図２（ａ）は、車両とその影が感知エリアに進入する直前の様子を模式的に描いた図であり、（ｂ）は車両とその影が一部感知エリアに進入した様子を模式的に描いた図であり、（ｃ）は時間差分処理された画像を模式的に描いた図である。時間差分画像は、あるフレームの画像毎に現在のフレーム画像と１フレーム前の画像の比較を行うことにより生成される。例えば、説明を簡単にするために、図２（ｂ）が現在フレーム画像、図２（ａ）が１フレーム前の画像とすると、図２（ｂ）の画像の輝度値から図２（ａ）の画像の輝度値を引き算する。この例では図２（ａ）の感知エリア３には画像が無いので、引き算の結果は車両の一部７とその影８が残る。ここで、影８は感知エリアの路面より必ず暗いので輝度値が負となる。このアルゴリズムでは輝度値が負の場合は、輝度値をゼロにすることにより、（ｃ）のように影８が消えて車両９のみが検出できる。
図３は、時間差分画像を生成する過程について説明する図であり、特に車両の影が感知エリアから出て行く際の時間差分画像の図である。例えば、図３（ａ）は車両の影が感知エリアから出ていく際の様子を模式的に描いた図であり、（ｂ）は車両の影が感知エリアから出た後の様子を模式的に描いた図であり、（ｃ）は時間差分処理された画像を模式的に描いた図である。例えば、説明を簡単にするために、図２と同様に図３（ｂ）が現在フレーム画像、図３（ａ）が１フレーム前の画像とすると、図３（ｂ）の画像の輝度値から図３（ａ）の画像の輝度値を引き算する。この例では図３（ａ）の感知エリア２０には影２１があり、図３（ｂ）の感知エリア２３には影が無いので、もともと負の輝度値を持つ影２１の輝度値が引き算の結果正となり、図３（ｃ）のように車両の影の一部２６が残ってしまう。つまり、感知エリアに進入する車両は時間差分処理によりその影を消去することができるが、感知エリアから出て行く場合は、影が残ってしまう。この影を消去するために、以下に説明する微分画像処理が必要となる。
【００２１】
図４は、ある画像の一部の画素座標を表す図である。移動する画像を微分することは、その対象物の変化率を算出することである。そこで、画像を画素単位に分解して、ある基準画素に対してその画素の前後の変化を見ることによりエッジを検出することができる。例えば、基準画素の座標を（ｘ、ｙ）３４とすると、隣接画素はｘ軸方向に左右に（ｘ−１、ｙ）３１、（ｘ＋１、ｙ）３７となり、ｙ軸方向に上下に（ｘ、ｙ−１）３３、（ｘ、ｙ＋１）３５となる。他の座標も同様に決定することができる。ここで、本発明のアルゴリズムとして、基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、座標Ｔ（ｘ、ｙ）と隣接する座標Ｔ（ｘ、ｙ−１）の輝度値Ｐ（ｘ、ｙ−１）がＰ（ｘ、ｙ）より暗い場合（つまり、暗いところから明るいところに変化した場合）、その座標点の輝度値を基準座標の輝度値と隣接画素の輝度値の差分とする。また、この逆の場合、座標Ｔ（ｘ、ｙ）と隣接する座標Ｔ（ｘ、ｙ−１）の輝度値Ｐ（ｘ、ｙ−１）がＰ（ｘ、ｙ）と等しいか、あるいは明るい場合（つまり、明るいところから暗いところに変化した場合）ゼロにする。これにより、影の下側のエッジは出るが、上側のエッジは出ないことになる。これを式で表すと、以下のように表せる。
Ｔ（ｘ、ｙ）＝Ｐ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）：Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）
Ｔ（ｘ、ｙ）＝０ ：Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）
【００２２】
図５は、本発明の第１の実施形態に係る車両感知方法を説明する図である。本実施形態は、複数車線を並走する車両の影及び固定物の影を除去する方法である。（ａ）は感知エリア内の車両と影の位置関係を表す図であり、（ｂ）は時間差分画像から投影像を生成する図であり、（ｃ）は微分画像から投影像を生成する図であり、（ｄ）は（ｂ）、（ｃ）の投影像から車両領域を検出する図である。図５（ａ）は感知エリア５０内に、建物や樹木等の固定物の影４０の一部５２と、車線４２上を矢印の方向に移動する車両５１とその影４３があり、影４３の一部４１が感知エリア５０内に含まれている。また、車線４５に車両４７が矢印の方向に移動し、その一部と影４９が感知エリア５０内に含まれている。このような状況の場合、車両と影を認識して車両のみを検出する方法について、以下に説明する。図５（ａ）の場合の感知エリア５０内の画像から時間差分画像を生成するには、図２、３で説明したように、図示しない１フレーム前の画像には固定物の影５２は常に存在するので、現在のフレーム画像から引き算することにより、影５２と車両４７の影４９は消去される。しかし、車両５１の影４１は消去されないので（図３の説明により）残ってしまい、その結果、図５（ｂ）（１）のように車両６２と影６１が時間差分画像として得られる。その画像のライン毎の輝度値の合計を演算して投影像を生成する。その結果、図５（ｂ）（２）のように影６１はｘ軸方向に輝度値のレベルを加算した画像が６３であり、車両６２に対する画像が６４である。
また、この処理と並行して図５（ａ）の場合の感知エリア５０内の画像から微分画像を生成する。これは、図４で説明したように、各画素を図４の式に従って微分すると、画像が暗から明に変化するエッジ部分が生成される。つまり、図５（ｃ）（３）のように、固定物のエッジ画像６５と、車両とその影のエッジ画像６６が生成される。次に、図５（ｃ）（４）のように、図示しない１フレーム前の画像には固定物の影５２は常に存在するので、現在のフレーム画像から引き算することにより、固定物のエッジ画像６５が消去され、車両とその影のエッジ画像６８が残る。次に、図５（ｃ）（５）のように、その画像のライン毎の輝度値の合計を演算して投影像を生成する。その結果、車両とその影のエッジ画像６８はｘ軸方向に輝度値のレベルを加算した画像７０として生成される。次に、図５（ｂ）（２）の画像と図５（ｃ）（５）の画像を同じ時間軸で画素の積をとると図５（ｄ）（６）、（７）の斜線部分の画像６４、７２が一致してその結果図５（ｄ）（８）のように車両領域の画像７１が得られる。
【００２３】
以上のように、固定物が感知エリア５０内に常に存在する場合、移動車両の影４１と同時に、この固定物の影を除去する必要がある。その一つの方法として感知エリア内の固定物の影が撮影される部分を強制的に画像処理を行わないようにする方法がある。しかし、この方法は、固定物の大きさや位置が変化した場合、対応が困難となる。そこで、画像処理により除去できれば好ましい。その方法として感知エリア内の画像を移動体の進行方向に対して垂直に微分処理する方法が考えられる。そして、画像の輝度値が暗から明に変化した場合のみ、その輝度値の差分を輝度値とし、逆に明から暗に変化した場合は、輝度値をゼロにすれば移動体の陰影のエッジは除去され、固定物は常に微分されることになる。そして、その画像を前記の時間差分処理を行うことにより、全てのフレームに撮影される固定物の微分画像は引き算により除去される。
【００２４】
図６は、本発明の第２の実施形態に係る車両感知方法を説明する図である。本実施形態は、複数車線を逆走する車両の影を除去する方法である。（ａ）は進入判定エリアと感知エリア内の車両と影の位置関係を表す図であり、（ｂ）は感知エリア内の時間差分画像から投影像を生成する図であり、（ｃ）は感知エリア内の微分画像から投影像を生成する図であり、（ｄ）はＮフレーム前の進入判定エリア内の時間差分画像から投影像を生成する図であり、（ｅ）は（ｂ）、（ｃ）、（ｄ）の投影像から車両領域を検出する図である。図６（ａ）は進入判定エリア９３内に、反対車線８３を矢印Ａの方向に移動する車両８０の影８１、車線８５を矢印Ｂの方向に移動する車両８７とその影８８、及び建物や樹木等の固定物の影９２があり、影９２の一部が感知エリア９４に含まれている。また車線８６上を矢印Ｃの方向に移動する車両９０とその影９１があり、影９１の一部が感知エリア９４内に含まれている。
このような状況の場合、逆走する車両の影を認識して車両のみを検出する方法について、以下に説明する。図６（ａ）の場合の感知エリア９４内の画像から時間差分画像を生成するには、図２、３で説明したように、図示しない１フレーム前の画像には固定物の影９２が常に存在するので、現在のフレーム画像から引き算することにより、影９２と車両８７の影８８は消去される。しかし、車両８０の影８２と、車両９０の影９１は消去されないので（図３の説明により）残ってしまい、その結果、図６（ｂ）（１）のように車両９６、影９５、影９７の画像が時間差分画像として得られる。その画像のライン毎の輝度値の合計を演算して投影像を生成する。その結果、図６（ｂ）（２）のように影９５はｘ軸方向に輝度値のレベルを加算した画像が９８であり、車両９６に対する画像が９９であり、影９７に対する画像が２００である。
【００２５】
また、この処理と並行して図６（ａ）の場合の感知エリア９４内の画像から微分画像を生成する。これは、図４で説明したように、各画素を図４の式に従って微分すると、画像が暗から明に変化するエッジ部分が生成される。つまり、図６（ｃ）（３）のように、影８２のエッジ画像２０１、車両８７と影８８のエッジ画像２０２、固定物の影９２のエッジ画像２０３が生成される。次に、図６（ｃ）（４）のように、図示しない１フレーム前の画像には固定物の影９２が常に存在するので、現在のフレーム画像から引き算することにより、固定物のエッジ画像２０３が消去され、影８２のエッジ画像２０４と車両８７と影８８のエッジ画像２０５が残る。次に、図６（ｃ）（５）のように、その画像のライン毎の輝度値の合計を演算して投影像を生成する。その結果、ｘ軸方向に輝度値のレベルを加算した画像として、影８２のエッジ画像２０４は投影画像２０６、車両８７と影８８のエッジ画像２０５は投影画像２０７として生成される。次に、本発明の特徴的な方法は、感知エリア９４の手前に進入判定エリア９３を設け、そのＮフレーム前で車両８０の画像が撮影されないフレームとの時間差分画像を生成することである。具体的には、図６（ｄ）（６）のように、図示しないＮフレーム前の画像には車両８０影８１と、車両８７と影８８と、固定物の影９２が存在するので、Ｎフレーム前の車両から（Ｎ−１）フレーム前の画像を引き算することにより、車両８０影８１と、車両８７の影８８と固定物の影９２が消去され、車両２０９のみが残る。次に、図６（ｄ）（７）のように、その画像のライン毎の輝度値の合計を演算して投影像２１０を生成する。以上で、夫々の投影像が得られたので、次に、図６（ｂ）（２）、（ｃ）（５）、（ｄ）（７）の画像を同じ時間軸で画素の積をとると図６（ｅ）（８）、（９）、（１０）の斜線部分の画像９９、２０７、２１０が一致して、その結果図６（ｅ）（１１）のように車両領域の画像２１１が得られる。
【００２６】
以上のように、移動体からその影を除去するためには、現在フレームの画像から１フレーム前の画像を引き算し、画像の輝度値が負の場合はゼロとすることにより可能である。つまり、進入判定エリアに進入した移動体とその影の画像（Ｎフレーム前の画像）から、（Ｎ−１）フレーム前の画像を引き算すると移動体の輝度値は正となり、影のみが負となるので消去することができる。しかし、このとき逆走する移動体がある場合、逆走する移動体の影が感知エリアには存在してしまい、その影も同時に時間差分画像として現れる。また、固定物の影を除去するために感知エリア内の画像を微分して、その微分画像の時間差分画像を生成して除去しておく。このような時間差分画像を論理演算可能なレベルに変換するために、進入判定エリアの時間差分画像と感知エリアの時間差分画像を、画像のライン毎の輝度値を加算していき輝度値の投影像を夫々生成する。これにより進入判定エリアの投影像には車両のみが現れ、感知エリアの投影像には逆走する移動体の影と車両の投影像が現れ、微分画像には逆走する移動体の影と車両と車両の影の投影像が現れる。これらを論理積することにより車両部分の投影像が時間的に一致して論理積処理がなされて出力される。
また、本発明の車両感知方法は、所定のエリア内の画像から移動体の影を除去して車両を特定する方法である。従って、車両感知領域内に所定のエリアが１箇所あれば画像処理が可能であるので、システムのコストを安くすることができる。また、撮像手段で撮影された画像は、一旦メモリに格納され、そのメモリから所定の時間間隔で読み出され、その時間間隔は一般的には１画面単位、つまりフレーム単位である。これにより、メモリ容量は少なくとも１フレーム分以上あればよく、少ないメモリ容量でシステムを構築することができる。
【００２７】
【発明の効果】
以上記載のごとく請求項１、８の発明によれば、画像処理のために差分画像生成手段、微分画像生成手段、及び論理積演算手段を備え、前記差分画像生成手段により得られた時間差分画像を前記投影像生成手段により第１の投影像を生成すると共に、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により時間差分画像を生成後、該時間差分画像を前記投影像生成手段により第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算手段により演算することにより、移動体から車両のみを確実に検出することができると共に、並走する移動体の影と固定物の影を除去して車両のみを検出することができる。
また請求項２は、前記微分画像生成手段は、前記画像情報の基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値をＰ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）とし、Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値を０とすることにより、感知エリア内の画像の明暗方向により微分画像を生成することができる。
また請求項３は、前記差分画像生成手段は、前記感知エリア内の前記移動体の現在フレームの画像の輝度値から該現在フレームの一つ前のフレーム画像の輝度値を減算し、該減算結果の画像輝度値から負の輝度値をゼロにすることにより、前記移動体に含まれる陰影部分を除去することにより、移動体の影を除去することができる。
また請求項４は、前記微分画像生成手段により固定物の陰影及び前記移動体の陰影を微分処理した微分画像の一フレーム前の微分画像から前記差分画像生成手段により時間差分画像を生成することにより、固定物と並走する移動体の陰影の画像を除去することができる。
また請求項５，９は、更に、進入判定エリア内に時間差分画像を生成するエリアを設けることにより、予め逆走移動体の影を除去することができる。また、第１の投影像、第２の投影像及び第３の投影像を論理積演算手段により演算することにより画像情報から逆走移動体の陰影部分を除去して車両のみを検出することができる。
また請求項６は、前記感知エリアは車両感知領域内に１個所設定することにより前記移動体から車両の特定を可能としたので、システムのコストを安くすることができる。
また請求項７は、前記差分画像生成手段及び前記微分画像生成手段は、所定の時間間隔で１フレーム単位に前記格納手段に格納された画像情報を画像処理するので、少ないメモリ容量でシステムを構築することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像式車両感知システムの構成ブロック図である。
【図２】（ａ）は車両とその影が感知エリアに進入する直前の様子を模式的に描いた図、（ｂ）は車両とその影が一部感知エリアに進入した様子を模式的に描いた図、（ｃ）は時間差分処理された画像を模式的に描いた図である。
【図３】（ａ）は車両の影が感知エリアから出ていく際の様子を模式的に描いた図、（ｂ）は車両の影が感知エリアから出た後の様子を模式的に描いた図、（ｃ）は時間差分処理された画像を模式的に描いた図である。
【図４】本発明のある画像の一部の画素座標を表す図である。
【図５】（ａ）乃至（ｄ）は本発明の第１の実施形態に係る車両感知方法を説明する図である。
【図６】（ａ）乃至（ｅ）は本発明の第２の実施形態に係る車両感知方法を説明する図である。
【図７】本発明の画像式車両感知システムの動作を説明するフローチャートである。
【符号の説明】
１００ 撮像部、１０１ Ａ／Ｄ変換部、１０２ 多値メモリ部、１０３、１０６、１１０ 差分画像生成部、１０４ 微分画像生成部、１０５、１０８ 投影値演算部、１０７、１０９ ＡＮＤ処理部
【発明の属する技術分野】
本発明は、画像式車両感知システムに関し、さらに詳しくは、撮像手段により撮影された移動体の画像情報を画像処理することにより、前記移動体から車両のみを検出する画像式車両感知システムに関するものである。
【０００２】
【従来の技術】
交差点に設置されている信号機による指示内容は、車両を運転する運転者にとっては道路交通法規上、絶対遵守が求められる存在である。そして、信号機の表示内容は、横断若しくは停止するための行動指針となる。従って、もし、信号機が故障した場合、それによる交通渋滞、事故発生等の混乱には、計り知れないものがあり、信号機自体の信頼性確保は常に高いレベルで要求されている。そして、信頼性確保と併せて要求されることが、信号機と車両交通量とのマッチングがとれたシステムの開発である。特に、信号機自体が単に所定時間間隔で信号を切替えているだけでは道路の交通量、あるいは通行時間帯により刻々変化する状況をさばくことはできない。つまり、道路状況は生き物であり、信号灯を所定のパターンで順次点灯させる信号機の制御方法では、このように変化する道路状況に対応することが困難になってきている。そこで最近では信号機周辺の所定エリア内の交通量をリアルタイムに把握して、変化する交通状況に合わせて最適な信号制御を行う信号機が多くなってきている。このシステムを有効に、しかも正確に稼動させるための最重要課題は、路面上を移動する種々の移動体中から車両だけを正確に感知することである。この路面上を移動する移動体を感知するには、撮像手段が必要であり、一般的にはビデオカメラが使われる。そして、交差点の手前から所定のエリアを撮影するように設定されている。撮影するエリアは路面であるため、時間、周辺状況、季節により変化する被写体である。例えば、昼間と夜では周辺の明るさ、あるいは交通量が異なり、また、周辺が住宅街か否かによっても周りからの照明量が異なる。さらに、季節が異なれば当然路面状況は大きく変化する。例えば、冬に雪が降れば全く異なる状況を呈することになる。
【０００３】
このような背景から、従来より車両検出に伴う課題を解決するために多くの提案がなされており、例えば、特開平１１−３２８３７８号公報には、路面上の輝度の変化を明るい方向と暗い方向に分離して考え、明るい色の車両の検出と暗い色の車両の検出とを個別に行うことで、影の誤検出を抑える技術が開示されている。これは、明方向データから明色物体を検出し、双方向（明暗両方向）データと明方向データとから明色物体として検出されなかった物体を検出するものである。また、特開２００１−２７３４９９公報には、背景画像と次にサンプリングされた撮影画像との輝度差分値を求め、それに応じたフィードバック量を背景画像に加算することにより背景画像を更新する技術について開示されており、これは、サンプリングされた撮影画像と１つ前にサンプリングされた撮影画像との輝度差画像と、前記フィードバック量を元に移動体のみを抽出するものである。また、特開平１１−３２８５７８号公報には、時間的に緩やかに変化する輝度分布を非常駐車帯の背景画像に取り込み、背景画像との差分により車両を検出する技術について開示されている。しかし、これら何れの公報記載の技術にあっても、背景画像の設定が必要であり、その背景画像を設定することは必ずしも容易ではない。
【０００４】
また、特開２０００−１１３３７４公報には、車両前面の微分値が疎か密かにより、車両判定を行う技術について開示されている。また、特開２００１−１７５８４５公報には、水平方向微分画像、垂直方向微分画像を生成し、エッジにより車両の上端下端を検出する技術について開示されている。さらに、特開平０５−２８９００９号公報には、エッジ画像の差分画像により、車頭位置を検出する技術について開示されている。しかしながら、これら何れの公報記載の技術も特徴の無い車両の検出が困難であるといった問題がある。
その他、特開２０００−１１３１６９公報には、車両の下影領域を用いて車両を検出する技術が開示されているが、車両進行方向の後方から撮影しているため、下影が出ることが前提条件でありトンネル内に限られる。また、特開２０００−１６８６９１公報には、車両の進行方向に対して一定の間隔で設定された２つの車両感知領域間における車両感知信号の立ち上がり時刻の差と立下り時刻の差により、物体が高さを持つ物体か、高さを持たない影かを判定する技術が開示されている。しかし、これには車両検出エリアが２つ必要である。さらに、特許第２８４１６５２号公報、及び第２９２４０６３号公報には、車両の影の検出方法について開示されているが、車の頭部を正しく検出する必要があったり、影の除去方法が本発明とは異なる発明である。
【０００５】
【発明が解決しようとする課題】
以上のように、従来の方法では、背景画像の設定が必要であり、その背景画像を設定することは必ずしも容易ではないといった問題や、車両に特徴がないと検出が困難であったり、車両の特定部分を検出しないと正しく検出できないといった問題があった。
本発明は、かかる課題に鑑み、撮像手段により得られた画像から影のみを確実に除去して移動体から車両のみを検出する画像式車両感知システムを提供することを目的とする。また、他の目的は、対向車線に移動体が逆走してきた場合でも、その影を除去することができる画像式車両感知システムを提供することにある。
【０００６】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１は、撮像手段により撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知システムにおいて、前記撮像手段により撮影された感知エリア内の移動体及び周辺の画像を格納する画像格納手段と、現在フレームの画像情報と該現在フレームの一つ前のフレーム画像情報から時間差分画像を生成する差分画像生成手段と、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成手段と、前記差分画像生成手段からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成手段と、複数の投影像生成手段からの投影値を論理積処理する論理積演算手段と、を備え、前記差分画像生成手段により得られた時間差分画像から前記投影像生成手段により第１の投影像を生成すると共に、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により時間差分画像を生成後、該時間差分画像を前記投影像生成手段により第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算手段により演算することにより前記画像情報から車両のみを検出することを特徴とする。
撮像手段は一般的にはビデオカメラであり、交差点の手前から所定の感知エリアを撮影するように設定されている。撮影する感知エリアは路面であるため、時間、周辺状況、季節により変化する被写体である。例えば、昼間と夜では周辺の明るさ、あるいは交通量が異なり、また、周辺が住宅街か否かによっても周りからの照明量が異なる。さらに、季節が異なれば当然路面状況は大きく変化する。例えば、冬に雪が降れば全く異なる状況を呈することになる。従って、この状態での画像情報を一旦メモリに格納し、その格納された画像情報から車両についての画像情報のみを画像処理により抽出することが必要となる。本発明では画像処理のために、１フレーム前の画像との時間差分画像を生成する差分画像生成手段により移動体の影を除去し、画像のエッジを検出する微分画像生成手段により画像のエッジ部分を強調して画像の輪郭を求め、前記差分画像生成手段からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成手段により画像を論理演算可能なレベルに変換し、複数の投影像生成手段からの投影値を論理積処理する論理積演算手段により最終的な投影値を算出する。
また、移動体からその影を除去するためには、現在フレームの画像から１フレーム前の画像を引き算し、画像の輝度値が負の場合はゼロとすることにより可能である。つまり、並走する移動体がない場合、感知エリアに進入した移動体とその影の画像から、感知エリアに進入する前の画像を引き算すると移動体の輝度値は正となり、影のみが負となる性質を利用する。ここで、影は路面より必ず暗いため輝度値が負となるので消去することができる。しかし、このとき並走する移動体がある場合、並走する移動体の影が感知エリアに存在するので、その影も同時に時間差分画像として現れる。このような時間差分画像を論理演算可能なレベルに変換するために、次に、その画像のライン毎の輝度値を加算していき輝度値の投影像を作成する。一方、同時に画像のエッジ部分を検出するために感知エリア内の画像を微分する（具体的な方法は後述する）。そして、その微分画像から固定部物の影を除去するために前記と同様に、微分画像の時間差分画像を生成する。この方法は、前記と同様にして現在のフレーム画像（固定物と移動体とその影のエッジ画像）から１フレーム前の微分画像（固定物のみのエッジ画像）を引き算して固定物のエッジ画像を除去する。その後エッジ画像を論理演算可能なレベルに変換するために、その画像のライン毎の輝度値を加算していき輝度値の投影像を作成する。ここで、２種類の投影像が生成されたことになり、この２種類の投影画像を論理積することにより、車両部分の投影像が時間的に一致して論理積処理がなされて出力される。
かかる発明によれば、画像処理のために差分画像生成手段、微分画像生成手段、及び論理積演算手段を備えることにより、移動体から車両のみを確実に検出することができる。
【０００８】
また、前記差分画像生成手段により得られた時間差分画像を前記投影像生成手段により第１の投影像を生成すると共に、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により時間差分画像を生成後、該時間差分画像を前記投影像生成手段により第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算手段により演算することにより、並走する移動体の影と固定物の影を除去して車両のみを検出することができる。
請求項２では、前記微分画像生成手段は、前記画像情報の基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値をＰ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）とし、Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値を０とすることも本発明の有効な手段である。
【０００９】
移動する画像を微分することは、その対象物の変化率を算出することである。そこで、画像を画素単位に分解して、ある基準画素に対してその画素の前後の変化を見ることによりエッジを検出することができる。例えば、基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、座標Ｔ（ｘ、ｙ）と隣接する座標Ｔ（ｘ、ｙ−１）の輝度値Ｐ（ｘ、ｙ−１）がＰ（ｘ、ｙ）より暗い場合（つまり、暗いところから明るいところに変化した場合）、その座標点の輝度値を基準座標の輝度値と隣接画素の輝度値の差分とする。また、この逆の場合、座標Ｔ（ｘ、ｙ）と隣接する座標Ｔ（ｘ、ｙ−１）の輝度値Ｐ（ｘ、ｙ−１）がＰ（ｘ、ｙ）と等しいか、あるいは明るい場合（つまり、明るいところから暗いところに変化した場合）ゼロにする。これにより、並走する移動体の陰影エッジ画像を除去することができる。
かかる技術手段によれば、前記微分画像生成手段は、前記画像情報の基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値をＰ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）とし、Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値を０とすることにより、感知エリア内の画像の明暗方向により微分画像を生成することができる。
【００１０】
請求項３では、前記差分画像生成手段は、前記感知エリア内の前記移動体の現在フレームの画像の輝度値から該現在フレームの一つ前のフレーム画像の輝度値を減算し、該減算結果の画像輝度値から負の輝度値をゼロにすることにより、前記移動体に含まれる陰影部分を除去することも本発明の有効な手段である。
時間差分画像は、感知エリア内の現在のフレーム画像から１フレーム前の画像を引き算して得られる。つまり、対象が移動体の場合、その対象は常に移動しており、その変化を捉えるには１フレーム前の画像と比較する必要がある。そして、その画像を引き算することにより、移動体の輝度値が正の部分と負の部分の差分が残り、その差分の輝度値が負の部分をゼロにすることにより輝度値の正の差分のみが残る。これにより、移動体の影を除去することができる。
かかる技術手段によれば、前記差分画像生成手段は、前記感知エリア内の前記移動体の現在フレームの画像の輝度値から該現在フレームの一つ前のフレーム画像の輝度値を減算し、該減算結果の画像輝度値から負の輝度値をゼロにすることにより、前記移動体に含まれる陰影部分を除去することにより、移動体の影を除去することができる。
【００１１】
請求項４では、前記微分画像生成手段により固定物の陰影及び前記移動体の陰影を微分処理した微分画像の一フレーム前の微分画像から前記差分画像生成手段により時間差分画像を生成することにより前記固定物の陰影と前記移動体の陰影を同時に除去することも本発明の有効な手段である。
固定物が感知エリア内に常に存在する場合、移動体の陰影と同時に、この固定物の影を除去する必要がある。その一つの方法として感知エリア内の固定物の影が撮影される部分を強制的に画像処理を行わないようにする方法である。しかし、この方法は、固定物の大きさや位置が変化した場合、対応が困難となる。そこで、画像処理により除去できれば好ましい。その方法として感知エリア内の画像を移動体の進行方向に対して垂直に微分処理する方法が考えられる。そして、画像の輝度値が暗から明に変化した場合のみ、その輝度値の差分を輝度値とし、逆に明から暗に変化した場合は、輝度値をゼロにすれば移動体の陰影エッジは除去され、固定物は常に微分されることになる。そして、その画像を前記の時間差分処理を行うことにより、全てのフレームに撮影される固定物の微分画像は引き算により除去される。
かかる技術手段によれば、前記微分画像生成手段により固定物の陰影及び前記移動体の陰影を微分処理した微分画像の一フレーム前の微分画像から前記差分画像生成手段により時間差分画像を生成することにより、固定物と並走する移動体の陰影の画像を除去することができる。
【００１２】
請求項５は、撮像手段により撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知システムにおいて、前記撮像手段により撮影された進入判定エリア内の移動体及び周辺の画像を格納する進入画像格納手段と、前記移動体の進行方向に前記進入判定エリアに連続して設けられた感知エリア内の移動体及び周辺の画像を格納する感知画像格納手段と、現在フレームのＮ（Ｎは１以上の整数）フレーム前の画像情報と前記現在フレームの（Ｎ−１）フレーム前の画像情報から時間差分画像を生成する差分画像生成手段と、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成手段と、前記差分画像生成手段からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成手段と、複数の投影像生成手段からの投影値を論理積処理する論理積演算手段と、を備え、前記進入画像格納手段に格納された前記進入判定エリア内の画像から前記差分画像生成手段により第１の時間差分画像を生成し、該第１の時間差分画像から前記投影像生成手段により第１の投影像を生成すると共に、前記感知画像格納手段に格納された前記感知エリア内の画像から前記差分画像生成手段により第２の時間差分画像を生成し、該第２の時間差分画像から前記投影像生成手段により第２の投影像を生成し、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により第３の時間差分画像を生成後、該第３の時間差分画像を前記投影像生成手段により第３の投影像を生成し、前記第１の投影像、第２の投影像及び第３の投影像を前記論理積演算手段により演算することにより前記画像情報から逆走移動体の陰影部分を除去して車両のみを検出することを特徴とする。
前記請求項１から請求項４までは、複数車線を並走する移動体の画像処理である。しかし、対向車線がある場合は、対向車線の移動体が逆走してくるため、感知エリア内にその影が含まれてしまう可能性がある。従って、この余分な逆走移動体の影を予め除去しておく必要がある。その方法として、感知エリアの手前に進入判定エリアを設け、その中で逆走移動体の影を除去しようとするものである。具体的には、進入判定エリア内の現在フレームのＮフレーム前の画像から現在フレームの（Ｎ−１）フレーム前の画像を引き算して時間差分画像を生成し、その投影値を求めておく。次に、感知エリア内の画像から前記請求項１の方法により時間差分画像と微分画像から投影値を求め、前記投影値同志を論理積処理することにより、逆走移動体の影を除去した車両を感知することができる。
また、前記で述べたように、移動体からその影を除去するためには、現在フレームの画像から１フレーム前の画像を引き算し、画像の輝度値が負の場合はゼロとすることにより可能である。つまり、進入判定エリアに進入した移動体とその影の画像（現在フレームのＮフレーム前の画像）から、（Ｎ−１）フレーム前の画像を引き算すると移動体の輝度値は正となり、影のみが負となるので消去することができる。しかし、このとき逆走する移動体がある場合、逆走する移動体の影が感知エリアには存在してしまい、その影も同時に時間差分画像として現れる。また、固定物の影を除去するために感知エリア内の画像を微分して、その微分画像の時間差分画像を生成して除去しておく。このような時間差分画像を論理演算可能なレベルに変換するために、次に、進入判定エリアのＮフレーム前の時間差分画像と感知エリアの時間差分画像を、画像のライン毎の輝度値を加算していき輝度値の投影像を夫々作成する。これにより進入判定エリアの投影像には車両のみが現れ、感知エリアの投影像には逆走する移動体の影と車両の投影像が現れ、微分画像には逆走する移動体の影と車両と車両の影の投影像が現れる。これらを論理積することにより車両部分の投影像が時間的に一致して論理積処理がなされて出力される。
かかる技術手段によれば、更に、進入判定エリア内に時間差分画像を生成するエリアを設けることにより、予め逆走移動体の影を除去することができる。また、第１の投影像、第２の投影像及び第３の投影像を論理積演算手段により演算することにより画像情報から逆走移動体の陰影部分を除去して車両のみを検出することができる。
【００１４】
請求項６では、前記感知エリアは車両感知領域内に１個所設定することにより前記移動体から車両の特定を可能としたことも本発明の有効な手段である。
本発明の車両感知方法は、所定のエリア内の画像から移動体の影を除去して車両を特定する方法である。従って、車両感知領域内に所定のエリアが１箇所あれば画像処理が可能である。かかる技術手段によれば、前記感知エリアは車両感知領域内に１個所設定することにより前記移動体から車両の特定を可能としたので、システムのコストを安くすることができる。
請求項７では、前記差分画像生成手段及び前記微分画像生成手段は、所定の時間間隔で１フレーム単位に前記格納手段に格納された画像情報を画像処理することも本発明の有効な手段である。
撮像手段で撮影された画像は、一旦メモリに格納され、そのメモリから所定の時間間隔で読み出される。その時間間隔は一般的には１画面単位、つまりフレーム単位である。これにより、メモリ容量は少なくとも１フレーム分以上あればよく、メモリ容量を節約することができる。
かかる技術手段によれば、前記差分画像生成手段及び前記微分画像生成手段は、所定の時間間隔で１フレーム単位に前記格納手段に格納された画像情報を画像処理するので、少ないメモリ容量でシステムを構築することができる。
請求項８では、撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知方法において、撮影された感知エリア内の移動体及び周辺の画像を格納するステップと、この格納された画像情報に基づいて現在フレームと該現在フレームの一つ前のフレーム画像から時間差分画像を生成するステップと、前記移動体の通行方向に垂直な方向に微分処理するステップと、前記差分画像生成ステップからの出力画像のライン毎の輝度値の合計を演算して投影像を生成するステップと、複数の投影像生成ステップからの投影値を論理積処理するステップと、を備え、前記差分画像生成ステップにより得られた時間差分画像を前記投影像生成ステップにより第１の投影像を生成すると共に、前記微分画像生成ステップにより得られた微分画像から前記差分画像生成ステップにより時間差分画像を生成後、該時間差分画像を前記投影像生成ステップにより第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算ステップにより演算することにより前記画像情報から車両のみを検出するたことを特徴とする。
かかる発明によれば、請求項１と同様の作用効果を奏する。
【００１５】
請求項９は、撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知方法において、進入判定エリア内の移動体及び周辺の画像を格納するステップと、前記移動体の進行方向に前記進入判定エリアに連続して設けられた感知エリア内の移動体及び周辺の画像を格納するステップと、現在フレームのＮ（Ｎは１以上の整数）フレーム前の画像情報と前記現在フレームの（Ｎ−１）フレーム前の画像情報から時間差分画像を生成するステップと、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成ステップと、前記差分画像生成ステップからの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成ステップと、複数の投影像生成ステップからの投影値を論理積処理する論理積演算ステップと、を備え、前記進入判定エリア内の画像を前記差分画像生成ステップにより第１の時間差分画像を生成し、該第１の時間差分画像を前記投影像生成ステップにより第１の投影像を生成すると共に、前記感知エリア内の画像を前記差分画像生成ステップにより第２の時間差分画像を生成し、該第２の時間差分画像を前記投影像生成ステップにより第２の投影像を生成し、前記微分画像生成ステップにより得られた微分画像から前記差分画像生成ステップにより第３の時間差分画像を生成後、該第３の時間差分画像を前記投影像生成ステップにより第３の投影像を生成し、前記第１の投影像、第２の投影像、及び第３の投影像を前記論理積演算ステップにより演算することにより前記画像情報から逆走移動体の陰影部分を除去して車両のみを検出することを特徴とする。
かかる発明によれば、請求項５と同様の作用効果を奏する。
【００１６】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明の一実施形態に係る画像式車両感知システムの構成ブロック図である。この構成は、大きく３つの部分から構成されている。つまり、共通部分である撮像記憶部１４０、感知エリア内の画像認識部１２０、進入エリア内の画像認識部１３０である。撮像記憶部１４０には、ＣＣＤカメラで構成され、進入及び感知エリアの画像を撮影する撮像部１００と、撮像部１００で撮影されたアナログ画像データをデジタル信号に変換するＡ／Ｄ変換部１０１と、デジタル信号に変換された信号を多値階調データとして格納する多値メモリ部１０２がある。また、感知エリア内の画像認識部１２０には、多値メモリ部１０２のデータを所定のフレーム単位に取り出し、現在フレームと一つ前のフレーム画像から時間差分画像を生成する差分画像生成部１０３と、この差分画像生成部１０３からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影値演算部１０５と、移動体の通行方向に垂直な方向に微分処理する微分画像生成部１０４と、この微分画像生成部１０４の画像の現在フレームと一つ前のフレーム画像から時間差分画像を生成する差分画像生成部１０６と、この差分画像生成部１０６からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影値演算部１０８と、前記投影値演算部１０５と投影値演算部１０８からの投影値を論理積処理するＡＮＤ処理部１０７から構成されている。また、進入エリア内の画像認識部１３０には、多値メモリ部１０２のデータを所定のフレーム単位に取り出し、Ｎフレーム前と（Ｎ−１）フレーム前の画像から時間差分画像を生成する差分画像生成部１１０と、この差分画像生成部１１０からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影値演算部１１１から構成されている。そして、ＡＮＤ処理部１０７の出力１１２と投影値演算部１１１の出力１１３をＡＮＤ処理部１０９に入力している。
【００１７】
次に、本構成による画像式車両感知システムの概略動作について図７のフローチャートと併せて参照しながら説明する。本構成によるシステムは、３つのステップに分けることができる。つまり、時間差分画像を生成するステップと、微分画像を生成するステップと、逆走車両の影を除去するステップであり、これらのステップは並行して実行される。まず、時間差分画像を生成するステップについて説明する。撮像部１００で撮影された路面上の車両はモノクロのアナログ信号としてＡ／Ｄ変換部１０１に入力される。Ａ／Ｄ変換部１０１では、そのアナログ信号を処理しやすいデジタル信号に変換する。そして、デジタル信号は画像の濃淡に応じて、例えば２５６階調に分解されて、３２０×３２画素の画像として多値メモリ部１０２の所定のアドレスに今回感知エリア画像として格納される（Ｓ１）。次に、時間差分画像を生成するために、差分画像生成部１０３により、多値メモリ部１０２に格納された今回感知エリア画像から１フレーム前の前回感知エリア画像を減算する（Ｓ２）。次に、投影値演算部１０５により、この減算結果の画像をライン毎の輝度値の合計を演算してＸ軸投影像Ａを生成する（Ｓ３）。次に、多値メモリ部１０２に格納した今回感知エリア画像を次の処理のために、前回感知エリア画像のアドレスに格納する（Ｓ４）。ここまでが、時間差分画像を生成するステップであり、次に微分画像を生成するステップについて説明する。ステップＳ１は共通であるので説明を省略する。今回画像の微分画像を生成するために、微分画像生成部１０４により多値メモリ部１０２に格納された今回感知エリア画像を微分して、今回画像の微分画像を生成する（Ｓ５）。次に、差分画像生成部１０６により今回画像の微分画像から１フレーム前の前回画像の微分画像を減算する（Ｓ６）。次に、投影値演算部１０８により、この減算結果の画像をライン毎の輝度値の合計を演算してＸ軸投影像Ｂを生成する（Ｓ７）。次に、多値メモリ部１０２に格納した今回画像の微分画像を次の処理のために、前回画像の微分画像のアドレスに格納する（Ｓ８）。ここまでが、微分画像を生成するステップであり、次に逆走車両の影を除去するステップについて説明する。まず撮像部１００で撮影された路面上の車両はモノクロのアナログ信号としてＡ／Ｄ変換部１０１に入力される。Ａ／Ｄ変換部１０１では、そのアナログ信号を処理しやすいデジタル信号に変換する。そして、デジタル信号は画像の濃淡に応じて、例えば２５６階調に分解されて、３２０×３２画素の画像として多値メモリ部１０２の所定のアドレスに、今回進入判定エリア画像として格納される（Ｓ９）。次に、時間差分画像を生成するために、差分画像生成部１１０により多値メモリ部１０２に格納されたＮフレーム前の進入判定エリア画像から（Ｎ−１）フレーム前の前回進入判定エリア画像を減算する（Ｓ１０）。次に、投影値演算部１１１により、この減算結果の画像をライン毎の輝度値の合計を演算してＸ軸投影像Ｃを生成する（Ｓ１１）。次に、多値メモリ部１０２に格納した今回進入判定エリア画像を次の処理のために、前回進入判定エリア画像のアドレスに格納する（Ｓ１２）。
以上のステップは各フレーム単位に並行して実行され、それらの結果に基づいて更に、前記Ｘ軸投影像Ａ、Ｂ、ＣをＡＮＤ処理部１０７、１０９により論理積処理し、抽出領域として出力する（Ｓ１３）。次に、感知エリアに車両が通過中かを検出し（Ｓ１４）、ＮＯであれば先頭のステップに戻り、ＹＥＳであれば、その画像の幅が車両の幅であるか否かを検証し（Ｓ１５）、車両の幅より小さければ（ＮＯのルート）先頭のステップに戻り、車両の幅に近ければステップＳ１３で抽出した抽出領域を車両と判定する（Ｓ１６）。
【００１８】
以上のように、撮像部１００は一般的にはビデオカメラであり、交差点の手前から所定の感知エリアを撮影するように設定されている。撮影する感知エリアは路面であるため、時間、周辺状況、季節により変化する被写体である。例えば、昼間と夜では周辺の明るさ、あるいは交通量が異なり、また、周辺が住宅街か否かによっても周りからの照明量が異なる。さらに、季節が異なれば当然路面状況は大きく変化する。例えば、冬に雪が降れば全く異なる状況を呈することになる。従って、この状態での画像情報を一旦多値メモリ部１０２に格納し、その格納された画像情報から車両についての画像情報のみを画像処理により抽出することが必要となる。本発明では画像処理のために、１フレーム前の画像との時間差分画像を生成する差分画像生成部１０３、１０６により移動体の影を除去し、画像のエッジを検出する微分画像生成部１０４により画像のエッジ部分を強調して画像の輪郭を求め、前記差分画像生成部からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影値演算部１０５、１０８により画像を論理演算可能なレベルに変換し、投影値演算部１０５、１０８からの投影値を論理積処理するＡＮＤ処理部１０７により最終的な投影値を算出する。これにより、移動体から車両のみを確実に検出することができる。
【００１９】
更に詳細に説明すると、移動体からその影を除去するためには、現在フレームの画像から１フレーム前の画像を引き算し、画像の輝度値が負の場合はゼロとすることにより可能である。つまり、並走する移動体がない場合、感知エリアに進入した移動体とその影の画像から、感知エリアに進入する前の画像を引き算すると移動体の輝度値は正となり、影のみが負となる性質を利用する。ここで、影は路面より必ず暗いため輝度値が負となるので消去することができる。しかし、このとき並走する移動体がある場合、並走する移動体の影が感知エリアに存在するので、その影も同時に時間差分画像として現れる。このような時間差分画像を論理演算可能なレベルに変換するために、次に、その画像のライン毎の輝度値を加算していき輝度値の投影像を作成する。一方、同時に画像のエッジ部分を検出するために感知エリア内の画像を微分する。そして、その微分画像から固定部物の影を除去するために前記と同様に、微分画像の時間差分画像を生成する。この方法は、前記と同様にして現在のフレーム画像（固定物と移動体とその影のエッジ画像）から１フレーム前の微分画像（固定物のみのエッジ画像）を引き算して固定物のエッジ画像を除去する。その後エッジ画像を論理演算可能なレベルに変換するために、その画像のライン毎の輝度値を加算していき輝度値の投影像を作成する。ここで、２種類の投影像が生成されたことになり、この２種類の投影画像を論理積することにより、車両部分の投影像が時間的に一致して論理積処理がなされて出力される。
【００２０】
次に、図を参照しながら前記で説明した動作を更に詳細に説明をする。図２は、時間差分画像を生成する過程について説明する図である。例えば、図２（ａ）は、車両とその影が感知エリアに進入する直前の様子を模式的に描いた図であり、（ｂ）は車両とその影が一部感知エリアに進入した様子を模式的に描いた図であり、（ｃ）は時間差分処理された画像を模式的に描いた図である。時間差分画像は、あるフレームの画像毎に現在のフレーム画像と１フレーム前の画像の比較を行うことにより生成される。例えば、説明を簡単にするために、図２（ｂ）が現在フレーム画像、図２（ａ）が１フレーム前の画像とすると、図２（ｂ）の画像の輝度値から図２（ａ）の画像の輝度値を引き算する。この例では図２（ａ）の感知エリア３には画像が無いので、引き算の結果は車両の一部７とその影８が残る。ここで、影８は感知エリアの路面より必ず暗いので輝度値が負となる。このアルゴリズムでは輝度値が負の場合は、輝度値をゼロにすることにより、（ｃ）のように影８が消えて車両９のみが検出できる。
図３は、時間差分画像を生成する過程について説明する図であり、特に車両の影が感知エリアから出て行く際の時間差分画像の図である。例えば、図３（ａ）は車両の影が感知エリアから出ていく際の様子を模式的に描いた図であり、（ｂ）は車両の影が感知エリアから出た後の様子を模式的に描いた図であり、（ｃ）は時間差分処理された画像を模式的に描いた図である。例えば、説明を簡単にするために、図２と同様に図３（ｂ）が現在フレーム画像、図３（ａ）が１フレーム前の画像とすると、図３（ｂ）の画像の輝度値から図３（ａ）の画像の輝度値を引き算する。この例では図３（ａ）の感知エリア２０には影２１があり、図３（ｂ）の感知エリア２３には影が無いので、もともと負の輝度値を持つ影２１の輝度値が引き算の結果正となり、図３（ｃ）のように車両の影の一部２６が残ってしまう。つまり、感知エリアに進入する車両は時間差分処理によりその影を消去することができるが、感知エリアから出て行く場合は、影が残ってしまう。この影を消去するために、以下に説明する微分画像処理が必要となる。
【００２１】
図４は、ある画像の一部の画素座標を表す図である。移動する画像を微分することは、その対象物の変化率を算出することである。そこで、画像を画素単位に分解して、ある基準画素に対してその画素の前後の変化を見ることによりエッジを検出することができる。例えば、基準画素の座標を（ｘ、ｙ）３４とすると、隣接画素はｘ軸方向に左右に（ｘ−１、ｙ）３１、（ｘ＋１、ｙ）３７となり、ｙ軸方向に上下に（ｘ、ｙ−１）３３、（ｘ、ｙ＋１）３５となる。他の座標も同様に決定することができる。ここで、本発明のアルゴリズムとして、基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、座標Ｔ（ｘ、ｙ）と隣接する座標Ｔ（ｘ、ｙ−１）の輝度値Ｐ（ｘ、ｙ−１）がＰ（ｘ、ｙ）より暗い場合（つまり、暗いところから明るいところに変化した場合）、その座標点の輝度値を基準座標の輝度値と隣接画素の輝度値の差分とする。また、この逆の場合、座標Ｔ（ｘ、ｙ）と隣接する座標Ｔ（ｘ、ｙ−１）の輝度値Ｐ（ｘ、ｙ−１）がＰ（ｘ、ｙ）と等しいか、あるいは明るい場合（つまり、明るいところから暗いところに変化した場合）ゼロにする。これにより、影の下側のエッジは出るが、上側のエッジは出ないことになる。これを式で表すと、以下のように表せる。
Ｔ（ｘ、ｙ）＝Ｐ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）：Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）
Ｔ（ｘ、ｙ）＝０ ：Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）
【００２２】
図５は、本発明の第１の実施形態に係る車両感知方法を説明する図である。本実施形態は、複数車線を並走する車両の影及び固定物の影を除去する方法である。（ａ）は感知エリア内の車両と影の位置関係を表す図であり、（ｂ）は時間差分画像から投影像を生成する図であり、（ｃ）は微分画像から投影像を生成する図であり、（ｄ）は（ｂ）、（ｃ）の投影像から車両領域を検出する図である。図５（ａ）は感知エリア５０内に、建物や樹木等の固定物の影４０の一部５２と、車線４２上を矢印の方向に移動する車両５１とその影４３があり、影４３の一部４１が感知エリア５０内に含まれている。また、車線４５に車両４７が矢印の方向に移動し、その一部と影４９が感知エリア５０内に含まれている。このような状況の場合、車両と影を認識して車両のみを検出する方法について、以下に説明する。図５（ａ）の場合の感知エリア５０内の画像から時間差分画像を生成するには、図２、３で説明したように、図示しない１フレーム前の画像には固定物の影５２は常に存在するので、現在のフレーム画像から引き算することにより、影５２と車両４７の影４９は消去される。しかし、車両５１の影４１は消去されないので（図３の説明により）残ってしまい、その結果、図５（ｂ）（１）のように車両６２と影６１が時間差分画像として得られる。その画像のライン毎の輝度値の合計を演算して投影像を生成する。その結果、図５（ｂ）（２）のように影６１はｘ軸方向に輝度値のレベルを加算した画像が６３であり、車両６２に対する画像が６４である。
また、この処理と並行して図５（ａ）の場合の感知エリア５０内の画像から微分画像を生成する。これは、図４で説明したように、各画素を図４の式に従って微分すると、画像が暗から明に変化するエッジ部分が生成される。つまり、図５（ｃ）（３）のように、固定物のエッジ画像６５と、車両とその影のエッジ画像６６が生成される。次に、図５（ｃ）（４）のように、図示しない１フレーム前の画像には固定物の影５２は常に存在するので、現在のフレーム画像から引き算することにより、固定物のエッジ画像６５が消去され、車両とその影のエッジ画像６８が残る。次に、図５（ｃ）（５）のように、その画像のライン毎の輝度値の合計を演算して投影像を生成する。その結果、車両とその影のエッジ画像６８はｘ軸方向に輝度値のレベルを加算した画像７０として生成される。次に、図５（ｂ）（２）の画像と図５（ｃ）（５）の画像を同じ時間軸で画素の積をとると図５（ｄ）（６）、（７）の斜線部分の画像６４、７２が一致してその結果図５（ｄ）（８）のように車両領域の画像７１が得られる。
【００２３】
以上のように、固定物が感知エリア５０内に常に存在する場合、移動車両の影４１と同時に、この固定物の影を除去する必要がある。その一つの方法として感知エリア内の固定物の影が撮影される部分を強制的に画像処理を行わないようにする方法がある。しかし、この方法は、固定物の大きさや位置が変化した場合、対応が困難となる。そこで、画像処理により除去できれば好ましい。その方法として感知エリア内の画像を移動体の進行方向に対して垂直に微分処理する方法が考えられる。そして、画像の輝度値が暗から明に変化した場合のみ、その輝度値の差分を輝度値とし、逆に明から暗に変化した場合は、輝度値をゼロにすれば移動体の陰影のエッジは除去され、固定物は常に微分されることになる。そして、その画像を前記の時間差分処理を行うことにより、全てのフレームに撮影される固定物の微分画像は引き算により除去される。
【００２４】
図６は、本発明の第２の実施形態に係る車両感知方法を説明する図である。本実施形態は、複数車線を逆走する車両の影を除去する方法である。（ａ）は進入判定エリアと感知エリア内の車両と影の位置関係を表す図であり、（ｂ）は感知エリア内の時間差分画像から投影像を生成する図であり、（ｃ）は感知エリア内の微分画像から投影像を生成する図であり、（ｄ）はＮフレーム前の進入判定エリア内の時間差分画像から投影像を生成する図であり、（ｅ）は（ｂ）、（ｃ）、（ｄ）の投影像から車両領域を検出する図である。図６（ａ）は進入判定エリア９３内に、反対車線８３を矢印Ａの方向に移動する車両８０の影８１、車線８５を矢印Ｂの方向に移動する車両８７とその影８８、及び建物や樹木等の固定物の影９２があり、影９２の一部が感知エリア９４に含まれている。また車線８６上を矢印Ｃの方向に移動する車両９０とその影９１があり、影９１の一部が感知エリア９４内に含まれている。
このような状況の場合、逆走する車両の影を認識して車両のみを検出する方法について、以下に説明する。図６（ａ）の場合の感知エリア９４内の画像から時間差分画像を生成するには、図２、３で説明したように、図示しない１フレーム前の画像には固定物の影９２が常に存在するので、現在のフレーム画像から引き算することにより、影９２と車両８７の影８８は消去される。しかし、車両８０の影８２と、車両９０の影９１は消去されないので（図３の説明により）残ってしまい、その結果、図６（ｂ）（１）のように車両９６、影９５、影９７の画像が時間差分画像として得られる。その画像のライン毎の輝度値の合計を演算して投影像を生成する。その結果、図６（ｂ）（２）のように影９５はｘ軸方向に輝度値のレベルを加算した画像が９８であり、車両９６に対する画像が９９であり、影９７に対する画像が２００である。
【００２５】
また、この処理と並行して図６（ａ）の場合の感知エリア９４内の画像から微分画像を生成する。これは、図４で説明したように、各画素を図４の式に従って微分すると、画像が暗から明に変化するエッジ部分が生成される。つまり、図６（ｃ）（３）のように、影８２のエッジ画像２０１、車両８７と影８８のエッジ画像２０２、固定物の影９２のエッジ画像２０３が生成される。次に、図６（ｃ）（４）のように、図示しない１フレーム前の画像には固定物の影９２が常に存在するので、現在のフレーム画像から引き算することにより、固定物のエッジ画像２０３が消去され、影８２のエッジ画像２０４と車両８７と影８８のエッジ画像２０５が残る。次に、図６（ｃ）（５）のように、その画像のライン毎の輝度値の合計を演算して投影像を生成する。その結果、ｘ軸方向に輝度値のレベルを加算した画像として、影８２のエッジ画像２０４は投影画像２０６、車両８７と影８８のエッジ画像２０５は投影画像２０７として生成される。次に、本発明の特徴的な方法は、感知エリア９４の手前に進入判定エリア９３を設け、そのＮフレーム前で車両８０の画像が撮影されないフレームとの時間差分画像を生成することである。具体的には、図６（ｄ）（６）のように、図示しないＮフレーム前の画像には車両８０影８１と、車両８７と影８８と、固定物の影９２が存在するので、Ｎフレーム前の車両から（Ｎ−１）フレーム前の画像を引き算することにより、車両８０影８１と、車両８７の影８８と固定物の影９２が消去され、車両２０９のみが残る。次に、図６（ｄ）（７）のように、その画像のライン毎の輝度値の合計を演算して投影像２１０を生成する。以上で、夫々の投影像が得られたので、次に、図６（ｂ）（２）、（ｃ）（５）、（ｄ）（７）の画像を同じ時間軸で画素の積をとると図６（ｅ）（８）、（９）、（１０）の斜線部分の画像９９、２０７、２１０が一致して、その結果図６（ｅ）（１１）のように車両領域の画像２１１が得られる。
【００２６】
以上のように、移動体からその影を除去するためには、現在フレームの画像から１フレーム前の画像を引き算し、画像の輝度値が負の場合はゼロとすることにより可能である。つまり、進入判定エリアに進入した移動体とその影の画像（Ｎフレーム前の画像）から、（Ｎ−１）フレーム前の画像を引き算すると移動体の輝度値は正となり、影のみが負となるので消去することができる。しかし、このとき逆走する移動体がある場合、逆走する移動体の影が感知エリアには存在してしまい、その影も同時に時間差分画像として現れる。また、固定物の影を除去するために感知エリア内の画像を微分して、その微分画像の時間差分画像を生成して除去しておく。このような時間差分画像を論理演算可能なレベルに変換するために、進入判定エリアの時間差分画像と感知エリアの時間差分画像を、画像のライン毎の輝度値を加算していき輝度値の投影像を夫々生成する。これにより進入判定エリアの投影像には車両のみが現れ、感知エリアの投影像には逆走する移動体の影と車両の投影像が現れ、微分画像には逆走する移動体の影と車両と車両の影の投影像が現れる。これらを論理積することにより車両部分の投影像が時間的に一致して論理積処理がなされて出力される。
また、本発明の車両感知方法は、所定のエリア内の画像から移動体の影を除去して車両を特定する方法である。従って、車両感知領域内に所定のエリアが１箇所あれば画像処理が可能であるので、システムのコストを安くすることができる。また、撮像手段で撮影された画像は、一旦メモリに格納され、そのメモリから所定の時間間隔で読み出され、その時間間隔は一般的には１画面単位、つまりフレーム単位である。これにより、メモリ容量は少なくとも１フレーム分以上あればよく、少ないメモリ容量でシステムを構築することができる。
【００２７】
【発明の効果】
以上記載のごとく請求項１、８の発明によれば、画像処理のために差分画像生成手段、微分画像生成手段、及び論理積演算手段を備え、前記差分画像生成手段により得られた時間差分画像を前記投影像生成手段により第１の投影像を生成すると共に、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により時間差分画像を生成後、該時間差分画像を前記投影像生成手段により第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算手段により演算することにより、移動体から車両のみを確実に検出することができると共に、並走する移動体の影と固定物の影を除去して車両のみを検出することができる。
また請求項２は、前記微分画像生成手段は、前記画像情報の基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値をＰ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）とし、Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値を０とすることにより、感知エリア内の画像の明暗方向により微分画像を生成することができる。
また請求項３は、前記差分画像生成手段は、前記感知エリア内の前記移動体の現在フレームの画像の輝度値から該現在フレームの一つ前のフレーム画像の輝度値を減算し、該減算結果の画像輝度値から負の輝度値をゼロにすることにより、前記移動体に含まれる陰影部分を除去することにより、移動体の影を除去することができる。
また請求項４は、前記微分画像生成手段により固定物の陰影及び前記移動体の陰影を微分処理した微分画像の一フレーム前の微分画像から前記差分画像生成手段により時間差分画像を生成することにより、固定物と並走する移動体の陰影の画像を除去することができる。
また請求項５，９は、更に、進入判定エリア内に時間差分画像を生成するエリアを設けることにより、予め逆走移動体の影を除去することができる。また、第１の投影像、第２の投影像及び第３の投影像を論理積演算手段により演算することにより画像情報から逆走移動体の陰影部分を除去して車両のみを検出することができる。
また請求項６は、前記感知エリアは車両感知領域内に１個所設定することにより前記移動体から車両の特定を可能としたので、システムのコストを安くすることができる。
また請求項７は、前記差分画像生成手段及び前記微分画像生成手段は、所定の時間間隔で１フレーム単位に前記格納手段に格納された画像情報を画像処理するので、少ないメモリ容量でシステムを構築することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像式車両感知システムの構成ブロック図である。
【図２】（ａ）は車両とその影が感知エリアに進入する直前の様子を模式的に描いた図、（ｂ）は車両とその影が一部感知エリアに進入した様子を模式的に描いた図、（ｃ）は時間差分処理された画像を模式的に描いた図である。
【図３】（ａ）は車両の影が感知エリアから出ていく際の様子を模式的に描いた図、（ｂ）は車両の影が感知エリアから出た後の様子を模式的に描いた図、（ｃ）は時間差分処理された画像を模式的に描いた図である。
【図４】本発明のある画像の一部の画素座標を表す図である。
【図５】（ａ）乃至（ｄ）は本発明の第１の実施形態に係る車両感知方法を説明する図である。
【図６】（ａ）乃至（ｅ）は本発明の第２の実施形態に係る車両感知方法を説明する図である。
【図７】本発明の画像式車両感知システムの動作を説明するフローチャートである。
【符号の説明】
１００ 撮像部、１０１ Ａ／Ｄ変換部、１０２ 多値メモリ部、１０３、１０６、１１０ 差分画像生成部、１０４ 微分画像生成部、１０５、１０８ 投影値演算部、１０７、１０９ ＡＮＤ処理部
Claims (9)
- 撮像手段により撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知システムにおいて、
前記撮像手段により撮影された感知エリア内の移動体及び周辺の画像を格納する画像格納手段と、現在フレームの画像情報と該現在フレームの一つ前のフレーム画像情報から時間差分画像を生成する差分画像生成手段と、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成手段と、前記差分画像生成手段からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成手段と、複数の投影像生成手段からの投影値を論理積処理する論理積演算手段と、を備え、
前記差分画像生成手段により得られた時間差分画像から前記投影像生成手段により第１の投影像を生成すると共に、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により時間差分画像を生成後、該時間差分画像を前記投影像生成手段により第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算手段により演算することにより前記画像情報から車両のみを検出することを特徴とする画像式車両感知システム。 - 前記微分画像生成手段は、前記画像情報の基準画素の座標をＴ（ｘ、ｙ）、該座標での輝度値をＰ（ｘ、ｙ）としたとき、Ｐ（ｘ、ｙ）＞Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値をＰ（ｘ、ｙ）−Ｐ（ｘ、ｙ−１）とし、Ｐ（ｘ、ｙ）≦Ｐ（ｘ、ｙ−１）の場合、座標Ｔ（ｘ、ｙ）の輝度値を０とすることを特徴とする請求項１に記載の画像式車両感知システム。
- 前記差分画像生成手段は、前記感知エリア内の現在フレームの画像の輝度値から該現在フレームの一つ前のフレーム画像の輝度値を減算し、該減算結果の画像輝度値から負の輝度値をゼロにすることにより、前記移動体に含まれる陰影部分を除去することを特徴とする請求項１に記載の画像式車両感知システム。
- 前記微分画像生成手段により固定物の陰影及び前記移動体の陰影を微分処理した微分画像の一フレーム前の微分画像から前記差分画像生成手段により時間差分画像を生成することにより前記固定物の陰影と前記移動体の陰影を同時に除去することを特徴とする請求項１乃至３の何れか一項に記載の画像式車両感知システム。
- 撮像手段により撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知システムにおいて、
前記撮像手段により撮影された進入判定エリア内の移動体及び周辺の画像を格納する進入画像格納手段と、前記移動体の進行方向に前記進入判定エリアに連続して設けられた感知エリア内の移動体及び周辺の画像を格納する感知画像格納手段と、現在フレームのＮ（Ｎは１以上の整数）フレーム前の画像情報と前記現在フレームの（Ｎ−１）フレーム前の画像情報から時間差分画像を生成する差分画像生成手段と、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成手段と、前記差分画像生成手段からの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成手段と、複数の投影像生成手段からの投影値を論理積処理する論理積演算手段と、を備え、
前記進入画像格納手段に格納された前記進入判定エリア内の画像から前記差分画像生成手段により第１の時間差分画像を生成し、該第１の時間差分画像から前記投影像生成手段により第１の投影像を生成すると共に、前記感知画像格納手段に格納された前記感知エリア内の画像から前記差分画像生成手段により第２の時間差分画像を生成し、該第２の時間差分画像から前記投影像生成手段により第２の投影像を生成し、前記微分画像生成手段により得られた微分画像から前記差分画像生成手段により第３の時間差分画像を生成後、該第３の時間差分画像を前記投影像生成手段により第３の投影像を生成し、前記第１の投影像、第２の投影像及び第３の投影像を前記論理積演算手段により演算することにより前記画像情報から逆走移動体の陰影部分を除去して車両のみを検出することを特徴とする画像式車両感知システム。 - 前記感知エリアを車両感知領域内に１個所設定することにより前記移動体から車両の特定を可能としたことを特徴とする請求項１乃至５の何れか一項に記載の画像式車両感知システム。
- 前記差分画像生成手段及び前記微分画像生成手段は、所定の時間間隔で１フレーム単位に前記格納手段により格納された画像情報を画像処理することを特徴とする請求項１乃至６の何れか一項に記載の画像式車両感知システム。
- 撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知方法において、
撮影された感知エリア内の移動体及び周辺の画像を格納するステップと、この格納された画像情報に基づいて現在フレームと該現在フレームの一つ前のフレーム画像から時間差分画像を生成するステップと、前記移動体の通行方向に垂直な方向に微分処理するステップと、前記差分画像生成ステップからの出力画像のライン毎の輝度値の合計を演算して投影像を生成するステップと、複数の投影像生成ステップからの投影値を論理積処理するステップと、を備え、
前記差分画像生成ステップにより得られた時間差分画像から前記投影像生成ステップにより第１の投影像を生成すると共に、前記微分画像生成ステップにより得られた微分画像から前記差分画像生成ステップにより時間差分画像を生成後、該時間差分画像から前記投影像生成ステップにより第２の投影像を生成し、前記第１の投影像と第２の投影像を前記論理積演算ステップにより演算することにより前記画像情報から車両のみを検出することを特徴とする画像式車両感知方法。 - 撮影された感知エリア内の移動体を画像情報処理により車両として検出する画像式車両感知方法において、
進入判定エリア内の移動体及び周辺の画像を格納するステップと、前記移動体の進行方向に前記進入判定エリアに連続して設けられた感知エリア内の移動体及び周辺の画像を格納するステップと、現在フレームのＮ（Ｎは１以上の整数）フレーム前の画像情報と前記現在フレームの（Ｎ−１）フレーム前の画像情報から時間差分画像を生成するステップと、前記移動体の通行方向に対して垂直方向に微分処理する微分画像生成ステップと、前記差分画像生成ステップからの出力画像のライン毎の輝度値の合計を演算して投影像を生成する投影像生成ステップと、複数の投影像生成ステップからの投影値を論理積処理する論理積演算ステップと、を備え、
前記進入判定エリア内の画像から前記差分画像生成ステップにより第１の時間差分画像を生成し、該第１の時間差分画像から前記投影像生成ステップにより第１の投影像を生成すると共に、前記感知エリア内の画像から前記差分画像生成ステップにより第２の時間差分画像を生成し、該第２の時間差分画像から前記投影像生成ステップにより第２の投影像を生成し、前記微分画像生成ステップにより得られた微分画像から前記差分画像生成ステップにより第３の時間差分画像を生成後、該第３の時間差分画像を前記投影像生成ステップにより第３の投影像を生成し、前記第１の投影像、第２の投影像、及び第３の投影像を前記論理積演算ステップにより演算することにより前記画像情報から逆走移動体の陰影部分を除去して車両のみを検出することを特徴とする画像式車両感知方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002048568A JP3914447B2 (ja) | 2002-02-25 | 2002-02-25 | 画像式車両感知システム及び画像式車両感知方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002048568A JP3914447B2 (ja) | 2002-02-25 | 2002-02-25 | 画像式車両感知システム及び画像式車両感知方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003248895A JP2003248895A (ja) | 2003-09-05 |
| JP3914447B2 true JP3914447B2 (ja) | 2007-05-16 |
Family
ID=28661334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002048568A Expired - Fee Related JP3914447B2 (ja) | 2002-02-25 | 2002-02-25 | 画像式車両感知システム及び画像式車両感知方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3914447B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| JP2001297397A (ja) * | 2000-04-17 | 2001-10-26 | Nagoya Electric Works Co Ltd | 車両計測方法およびその装置 |
| ES2391556T3 (es) | 2002-05-03 | 2012-11-27 | Donnelly Corporation | Sistema de detección de objetos para vehículo |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| JP5984205B2 (ja) * | 2012-03-30 | 2016-09-06 | 日本電気株式会社 | 情報処理装置、描画処理システム、描画処理方法およびプログラム |
| JP2014182433A (ja) * | 2013-03-18 | 2014-09-29 | Toshiba Corp | 道路状況把握装置 |
| CN104952256B (zh) * | 2015-06-25 | 2017-11-07 | 广东工业大学 | 一种基于视频信息的交叉口处车辆的检测方法 |
| CN111314675A (zh) * | 2020-04-15 | 2020-06-19 | 绍兴穆托汽车电子有限公司 | 一种用于智能交通的ar智能投影系统 |
-
2002
- 2002-02-25 JP JP2002048568A patent/JP3914447B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003248895A (ja) | 2003-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3780922B2 (ja) | 道路白線認識装置 | |
| KR100377067B1 (ko) | 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치 | |
| JP2917661B2 (ja) | 交通流計測処理方法及び装置 | |
| CN104509102A (zh) | 三维物体检测装置和异物检测装置 | |
| JP2002074368A (ja) | 移動物体認識追跡装置 | |
| JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
| KR20070065418A (ko) | 화상에서의 이동 물체의 추적 방법 및 장치 | |
| JP2007183912A (ja) | 走路境界線検出装置、および走路境界線検出方法 | |
| JP3914447B2 (ja) | 画像式車両感知システム及び画像式車両感知方法 | |
| JP2008052517A (ja) | 交通量計測方法および交通量計測装置 | |
| JP5811637B2 (ja) | 画像処理によるトロリ線摩耗測定装置 | |
| JP2016206881A (ja) | レーン検出装置及びその方法、並びにレーン表示装置及びその方法 | |
| JP2015090679A (ja) | 車両軌跡抽出方法、車両領域抽出方法、車両速度推定方法、車両軌跡抽出プログラム、車両領域抽出プログラム、車両速度推定プログラム、車両軌跡抽出システム、車両領域抽出システム、及び、車両速度推定システム | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| JP5353531B2 (ja) | 車両灯火認識装置及びプログラム | |
| JP2020095623A (ja) | 画像処理装置および画像処理方法 | |
| JP2004086417A (ja) | 横断歩道等における歩行者検出方法及び同装置 | |
| JP2829934B2 (ja) | 移動車の環境認識装置 | |
| JP2010061375A (ja) | 物体認識装置及びプログラム | |
| CN107066929B (zh) | 一种融合多种特征的高速公路隧道停车事件分级识别方法 | |
| CN110388985B (zh) | 确定街道标记的颜色的方法和图像处理系统 | |
| JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
| JP4842301B2 (ja) | 歩行者検出装置及びプログラム | |
| JP3532896B2 (ja) | スミア検出方法及びこのスミア検出方法を用いた画像処理装置 | |
| JPH10302074A (ja) | ナンバープレートの位置検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060911 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070202 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3914447 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |