JP3788400B2

JP3788400B2 - Image processing apparatus, image processing method, and vehicle monitoring system

Info

Publication number: JP3788400B2
Application number: JP2002211244A
Authority: JP
Inventors: 健岩本; 義行井藤; 伸明三浦; 邦彦鈴木
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2002-07-19
Filing date: 2002-07-19
Publication date: 2006-06-21
Anticipated expiration: 2022-07-19
Also published as: CN1320513C; CN1489120A; HK1060582A1; SG110061A1; JP2004056497A

Description

【０００１】
【発明の属する技術分野】
本発明は、交通監視などに用いられる画像処理装置、画像処理方法及び車両監視システムに関するものである。
【０００２】
【従来の技術】
従来、例えば、高速道路や一般道などの監視対象区間を複数の撮影領域に分け、複数の撮影領域毎にカメラを設置し、撮影された映像信号に基づいて画像処理して自動的に車両を検出する画像処理装置が知られている。この画像処理装置では、複数の撮影領域毎に車両検出を行っており、特定の車両を複数の撮影領域に渡って追跡するために、ＩＤや車両画像の転送等を行っている。
【０００３】
【発明が解決しようとする課題】
しかし、従来の画像処理装置では、依然として複数の撮影領域に渡って特定の車両を追跡することが困難である。図１０を参照して説明する。先ず、時刻ｔ₁においてＰ₁の位置に存在する特定の車両１００が進行し時刻ｔ₂においてＰ₂の位置まで移動するとする。従来の画像処理装置では、例えば、時刻ｔ₁において特定の車両１００の車両画像を記憶し、その後、時刻がｔ₂に達すると車両の検出を行う。そして、検出された車両の画像と記憶された車両画像とをテンプレートマッチング等することにより特定の車両１００がＰ₂の位置に移動したと判断する。このようにして、従来の画像処理装置では車両の追跡を行っている。
【０００４】
次に特定の車両１００がＰ₃の位置に移動したとする。このとき、画像処理装置は、特定の車両１００がＰ₂の位置に移動したときと同様にテンプレートマッチング等を行う。しかし、Ｐ₃の位置では特定の車両１００は第１及び第２の撮影領域３００ａ，３００ｂに跨がっており、テンプレートマッチング等を行ったとしても特定の車両１００である否かを判断することが難くなっている。このため、画像処理装置は、ＩＤ等を第２の撮影領域３００ｂ側に転送したとしても車両１００にＩＤ等を付与することが難しく、車両を追跡することが困難となっている。
【０００５】
本発明は、上記問題点を解消する為になされたものであり、車両の追跡が容易な画像処理装置、画像処理方法および車両監視システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
このような目的を達成するために、本発明に係る画像処理装置は、道路の車両走行方向に沿って複数設置される撮影手段によって道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、Ａ／Ｄ変換手段によりＡ／Ｄ変換して得られる変換画像について道路を車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する抽出手段と、抽出手段により抽出される分割画像を道路が車両走行方向に連続するように合成する合成手段と、合成手段により合成された合成画像に基づいて車両を検出する車両検出手段とを備えて構成され、合成手段は合成画像において道路が縦方向または横方向に向くように合成を行い、車両検出手段により検出された車両が合成画像から新たに検出されたものである場合その車両の車両画像を補正して記憶し、車両の移動に応じて補正した車両画像をその移動位置に表示させることを特徴とする。
【０００７】
また本発明に係る画像処理方法は、道路の車両走行方向に沿って複数設置される撮影手段によって道路を連続的に撮影して得られる複数の映像信号を入力し、それらの映像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、Ａ／Ｄ変換工程によりＡ／Ｄ変換して得られる変換画像について道路を車両走行方向に分割してなる分割領域を設定し各分割領域における分割画像を抽出する抽出工程と、抽出工程により抽出された分割画像を道路が車両走行方向に連続するように合成する合成工程と、合成工程により合成された合成画像に基づいて車両を検出する車両検出工程とを備えて構成され、合成工程は合成画像において道路が縦方向または横方向に向くように合成を行い、車両検出工程により検出された車両が合成画像から新たに検出されたものである場合その車両の車両画像を補正して記憶し車両の移動に応じて補正した車両画像をその移動位置に表示させることを特徴とする。
【０００８】
また、本発明に係る車両監視システムは、道路の車両走行方向に沿って複数設置される撮影手段と、上記の画像処理装置とを備えて構成されている。
【０００９】
また、本発明に係る車両監視システムでは、画像処理装置からの画像データを画像として表示する表示手段を更に備えることを特徴とする。
【００１０】
これらの発明によれば、道路が車両走行方向に連続するように合成された合成画像に基づいて車両の検出が行われるので、１つの広い画像に対し車両検出を行うこととなる。このため、撮影領域のつなぎ目に車両が存在していたとしても、合成画像自体につなぎ目は存在せず、車両検出後に行われる追跡処理において画像自体のつなぎ目によって車両の追跡が困難となることがない。従って、車両の追跡を容易にすることができる。
【００１６】
また、この場合には、記憶された車両画像を車両移動位置に表示するので、車両が検出されるごとに車両画像の補正を行う必要がない。このため、処理が迅速に行えるようになる。
【００１７】
また、本発明に係る画像処理装置は、車両画像の補正に応じて、背景画像を補正することを特徴とする。
【００１９】
この場合には、車両画像の補正の際に生じた背景画像との不整合等が解消されることとなる。従って、表示の際に、車両画像の補正による違和感を除去することができる。
【００２０】
また、本発明に係る車両監視システムでは、撮影手段は、道路の各領域を撮影するために領域毎に少なくとも２以上設けられていることを特徴とする。
【００２１】
この場合には、道路の各領域を２以上の撮影手段により異なる角度から撮影することとなるため、例えば、大型車等の影に隠れてしまう普通車を検出することが可能となる。従って、車両の検出精度を向上させることができる。
【００２２】
【発明の実施の形態】
以下、添付図面に基づき、本発明の実施形態について説明する。尚、各図において同一要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００２３】
実施形態に係る画像処理装置、画像処理方法及び車両監視システムについて説明する。
【００２４】
図１に本実施形態に係る車両監視システムの構成図を示す。図１に示すように、車両監視システムは、道路の交通状態を監視するシステムであり、例えば、トンネル１における交通異常などを検出するシステムに用いられる。車両監視システムは、複数の監視カメラ２を備えている。
【００２５】
監視カメラ２は、道路１０の車両走行方向に沿って複数設置される撮影手段であり、トンネル１内の道路１０を走行する車両１１を撮影するものである。これら監視カメラ２は、トンネル１内に一定の間隔で設置され、道路１０を連続的に撮影するようになっている。監視カメラ２の設置間隔は、例えば、約１５０〜２００ｍとされている。
【００２６】
例えば、監視カメラ２は、トンネル１内の上方に設置され、道路１０を走行する車両１１を前方又は後方の斜め上方から撮影する。なお、監視カメラ２はすべてが上方に設置されていなくともよく、監視対象区域の入口に存在する監視カメラ２が上方に設置され、他の監視カメラ２が側方に設置されていても良い。
【００２７】
各監視カメラ２は、分配器３に接続されている。分配器３は、トンネル１付近に建造される施設４内に設置されており、各監視カメラ２の撮影映像を入力して画像処理装置５に出力する。
【００２８】
画像処理装置５は、監視カメラ２の映像を入力して画像処理するものであり、その画像処理した画像を管制センタ６へ伝送する。画像処理装置５は、例えば、Ａ／Ｄ（analogue-to-digital）変換器、ビデオフレームメモリ、画像処理プロセッサ及び信号出力インターフェースを備えて構成される。
【００２９】
Ａ／Ｄ変換器は、監視カメラ２の映像信号を入力し、それら映像信号をＡ／Ｄ変換するＡ／Ｄ変換手段であり、例えば、ビデオＡ−Ｄコンバータなどが用いられる。ビデオフレームメモリは、変換された複数領域の画像データを記憶するものである。画像データは、ｘ軸、ｙ軸の座標点ごとに濃淡値や色信号を持つ画素の集合であり、その画素の濃淡は例えば８ビットの２５６階調とされる。
【００３０】
画像処理プロセッサは、ビデオフレームメモリに記憶された画像データを画像処理するものである。また、信号出力インターフェースは、画像処理した画像データを外部へ出力するためのものである。
【００３１】
管制センタ６では、画像処理装置５から伝送される画像データがモニタ６１に入力され、そのモニタ６１を通じてトンネル１内の撮影画像が表示される。この画像を通じて、トンネル１内の車両の走行状態を監視員が目視にて監視することができる。モニタ６１は、画像処理装置５からの画像データを画像として表示する表示手段であり、望ましくは横長又は縦長な表示領域を有するものが用いられ、例えばプロジェクタが用いられる。
【００３２】
トンネル１内には、車高センサ７が設けられている場合がある。車高センサ７は、車両１１の車高を検出する車高検出手段であり、道路１０の上方に設置される。車高センサ７としては、例えば、超音波感知器が用いられる。超音波感知器は、車両１１に対し上方から超音波を発し車両１１で反射した反射波を検出して車両１１の上端位置を検出するものである。
【００３３】
車高センサ７は、車両監視システムにおける監視対象区間の入口に設置され、例えば、監視対象区間に合流路などがない場合には、監視対象区間の入口にのみ設置される。
【００３４】
なお、車高センサ７としては、２つの撮影カメラを用いステレオ化画像処理を行うもの、レーザ式測距計又は電波式測距計などを用いてもよく、道路１０を走行する車両１１の車高を検出できるものであれば、超音波感知器以外のものであってもよい。
【００３５】
次に、車両監視システム及び画像処理装置５の動作について説明する。
【００３６】
図１において、監視カメラ２により道路１０を走行する車両１１が撮影され、各監視カメラ２から映像信号が分配器３に入力される。分配器３では監視カメラ２の映像信号を適宜画像処理装置５に入力する。
【００３７】
一方、車高センサ７が設けられている場合には、車高センサ７により道路１０を走行する車両１１の車高が検出され、その検出信号が画像処理装置５に入力される。そして、画像処理装置５により映像信号の画像処理が行われる。
【００３８】
図２に画像処理装置５における画像処理のフローチャートを示す。
【００３９】
図２のＳ１に示すように、画像処理装置５に入力された各映像信号がＡ／Ｄ変換される。Ａ／Ｄ変換は映像信号のアナログ画像をデジタル画像に変換する処理であり、変換後の変換画像データはビデオフレームメモリに記憶される。変換画像は、例えば、図３に示すように、監視カメラ２の位置から道路１０を眺めたときの画像そのものである。この変換画像２０には、道路１０上を走行する各車両１１ａ〜１１ｃが斜め後方から撮影されている。
【００４０】
Ａ／Ｄ変換後、処理は図２のＳ２に移行し、抽出処理が行われる。抽出処理は、Ａ／Ｄ変換された各変換画像について道路１０を車両走行方向に分割してなる分割領域を設定し、各分割領域における分割画像を抽出する処理である。図４のように、分割領域３０は、道路１０を車両走行方向に沿って所定の長さで分割して設定されている。また、分割領域３０は、各監視カメラ２の変換画像毎に１つずつ設定される。そして、各分割領域３０は、図５に示すように、それぞれが重なり合うことなく設定されている。なお、各分割領域３０は、必ずしも重なり合うことなく設定されている必要は無く、重なり合っていたとしても後の処理において重なり部分をカットすればよい。以下の説明については、各分割領域３０が重なり合うことなく設定されているものとして説明する。
【００４１】
分割画像は、分割領域３０内に予め設定されたサンプリング点の画素データを抽出して形成される。図６は、分割領域３０に設定されるサンプリング点の概要説明図である。図６に示すように、サンプリング点３１は、道路１０の車両進行方向および道路横断方向のそれぞれの方向に沿って格子状に配列して設定される。このようにサンプリング点３１を設定することにより、サンプリング点３１における画素データを、車両走行方向と道路横断方向とを直交させた座標系の画素データとして配置するだけで、道路１０を平面視した画像を容易に作成できる。
【００４２】
分割画像抽出後、処理は図２のＳ３に移行し、合成処理が行われる。合成処理は、抽出処理により抽出された分割画像を道路１０が車両走行方向に連続するように合成する処理である。また、ここでは、合成画像において道路１０が縦方向または横方向に向くように、合成が行われる。
【００４３】
道路１０を横方向に向けて合成した合成画像の例を図７に示す。合成画像４０は、各分割領域３０の分割画像を車両走行方向に連結して１つの画像としたものである。例えば、合成画像４０は、各々異なる映像信号に基づいて作成された各分割画像の画素データを同一座標系の画素データとして設定し表したものである。合成画像データは、各分割画像データを１つのメモリに格納して構成することが望ましい。なお、各分割領域３０はそれぞれが重なり合うことなく設定されているので、ここでの合成処理では、重複部分を考慮することなく容易に合成が行える。
【００４４】
また、図７に示すように、合成画像４０は、道路１０を真上から眺めたようになっている。このような合成画像４０を得るためには、図４に示す分割領域３０を合成するだけでなく、演算により各分割領域３０を真上から眺めたように変形する必要がある。しかしながら、本実施形態では、サンプリング点３１を図６に示すように設定しているので、抽出と共に変形も行われていることとなり、変形処理が不要となっている。
【００４５】
合成後、図２のＳ４に移行し、合成処理により合成された合成画像に基づいて車両１１を検出する車両検出処理が行われる。車両検出処理は、例えば、予め画像処理装置５が備えている背景画像と合成画像４０と比較する背景差分方式により行われる。
【００４６】
そして、Ｓ５に移行し、車両検出処理により検出された車両１１が合成画像から新たに検出されたものであるか否かが判断される。検出された車両１１が合成画像から新たに検出されたものでないと判断された場合、処理はＳ８に移行する。一方、車両１１が合成画像から新たに検出されたものであると判断された場合、処理はＳ６に移行する。なお、監視対象区間に合流がない限り、車両１１は、合成画像のうち監視対象区間の入口付近で新たに検出される。このため、入口に設けられた監視カメラ２からのデータのみに基づいて新たに監視対象区間に進入した車両１１を検出するようにしてもよい。また、監視対象区間に合流がある場合、入口及び合流ポイントに設置された監視カメラ２からのデータのみに基づいて新たな車両１１を検出するようにしてもよい。
【００４７】
Ｓ６では、新たに検出された車両１１の車両画像を車高に応じて補正する車両補正処理が行われる。ここでの補正を行わない場合、車両１１は図８に示すようになってしまう。図８に示すように、撮影位置から遠い場所を走行する車両１１ｂ、１１ｃは、撮影位置から近い場所を走行する車両１１ａと比較すると、歪みが大きくなる傾向がある。特に、車高の高いトラックなどの車両１１ｃの歪みは大きい。
【００４８】
このため、図２のＳ６の処理において補正が行われている。車両補正処理は、例えば、車高センサ７が検出した車高データに基づいて行われ、車両１１の車高が高いほど車両１１の車高を低くするように行われる。このように車両補正処理を行うことにより、図８に示す各車両１１ａ〜１１ｃが図９に示すように補正される。
【００４９】
補正後、処理はＳ７に移行する。Ｓ７では、補正された車両画像が記憶される。すなわち、図９に示すように、歪が除去された各車両１１ａ〜１１ｃの車両画像が記憶される。
【００５０】
そして、処理は図２のＳ８に移行し、追跡処理が行われる。追跡処理は、例えば、現在監視対象区間を走行している車両１１の画像と以前に記憶した車両画像とをマッチングさせることにより、車両画像として記憶された車両１１がどの位置に存在するかを判断する処理である。なお、Ｓ７において車両画像として記憶された車両１１ａ〜１１ｃに関しては、それらが移動し次回の位置データが得られたときに追跡処理が行われる。
【００５１】
その後、Ｓ９において、車両１１の位置に記憶されていた車両画像が貼り付けられる。これにより、車両１１の位置に記憶されていた車両画像が表示されることとなる。なお、Ｓ７において車両画像として記憶された車両１１ａ〜１１ｃに関しては、それらが後に他の位置に移動した場合に、その移動位置に車両画像が貼り付けられる。
【００５２】
そして、Ｓ１０に移行し、背景補正処理が行われる。背景補正処理は、車両画像の補正に応じて背景画像を補正する処理である。例えば、図９に示す車両１１ｃの場合、補正前の車両１１ｃが占めていた領域５０内における背景部分が補正される。これは、車両画像のみを補正し背景画像を補正しないと、画像を表示した際に背景画像に違和感が生じてしまうからである。
【００５３】
その後、これらの一連の処理を経て得られた画像データが管制センタ６に伝送され、管制センタ６のモニタ６１に画像として表示される。また、図２における一連の処理は所定時間間隔で繰り返し行われる。
【００５４】
以上のように、本実施形態によれば、道路１０が車両走行方向に連続するように合成された合成画像４０に基づいて車両１１の検出が行われるので、１つの広い画像に対し車両検出を行うこととなる。このため、撮影領域のつなぎ目に車両１１が存在していたとしても、合成画像４０自体につなぎ目は存在せず、車両検出後に行われる追跡処理において画像自体のつなぎ目によって車両の追跡が困難となることがない。従って、車両１１の追跡を容易にすることができる。
【００５５】
また、合成画像４０は道路１０を真上から眺めたようなものとなるため、監視者等にとって見やすい画像を提供することが可能となる。
【００５６】
また、記憶された車両画像が車両移動位置に表示させるので、車両１１が検出されるごとに車両画像の補正を行う必要がない。このため、処理が迅速に行えるようになる。
【００５７】
また、車両画像の補正の際に生じた背景画像との不整合等が解消されることとなる。従って、表示の際に、車両画像の補正による違和感を除去することができる。
【００５８】
また、分割領域３０内のサンプリング点３１は、道路１０の車両進行方向および道路横断方向のそれぞれの方向に沿って格子状に配列して設定されるので、抽出と共に変形も行われていることとなり、変形処理が不要となっている。
【００５９】
また、本実施形態によれば、各分割領域３０はそれぞれが重なり合うことなく設定されているので、重複部分を考慮することなく容易に合成することができる。
【００６０】
以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は上記実施形態に限定されるものではない。例えば、車両検出処理において車両の検出が正確に行われなかった場合、その車両を背景画像の１つとして処理して、補正されていない車両画像を表示させるようにしてもよいし、その車両の過去の動きベクトル及び前後の車両の動きを元に検出されなかった車両の位置を予測し、その位置に補正され記憶された車両画像を表示させてもよい。さらには、監視カメラ２は、道路１０の各領域を撮影するために領域毎に少なくとも２以上設けられていてもよい。この場合、道路１０の各領域を２以上の監視カメラ２により異なる角度から撮影することとなるため、例えば、大型車等の影に隠れてしまう普通車を検出することが可能となる。従って、車両１１の検出精度を向上させることができる。
【００６１】
【発明の効果】
以上詳細に説明したように本発明によれば、車両の追跡が容易な画像処理装置、画像処理方法および車両監視システムを提供することができる。
【図面の簡単な説明】
【図１】本実施形態に係る車両監視システムの構成図である。
【図２】図１に示す画像処理装置の処理を示すフローチャートである。
【図３】変形画像の一例を示す図である。
【図４】分割領域の一例を示す図である。
【図５】分割領域に設定されるサンプリング点の概要説明図である。
【図６】図４に示す分割領域に設定されるサンプリング点の様子を示す図である。
【図７】道路を横方向に向けて合成した合成画像の例を示す図である。
【図８】車両補正処理を行わずに車両を表示した場合の例を示す図である。
【図９】車両補正処理を行って車両を表示した場合の例を示す図である。
【図１０】従来の車両追跡処理の一例を説明する図である。
【符号の説明】
２…監視カメラ、５…画像処理装置、７…車高センサ、１０…道路、１１…車両、２０…変換画像、３０…分割領域、３１…サンプリング点、３２…分割画像、４０…合成画像、６１…モニタ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, and a vehicle monitoring system used for traffic monitoring.
[0002]
[Prior art]
Conventionally, for example, a section to be monitored such as an expressway or a general road is divided into a plurality of shooting areas, a camera is installed for each of the plurality of shooting areas, and the vehicle is automatically processed by performing image processing based on the shot video signal. An image processing apparatus for detecting is known. In this image processing apparatus, vehicle detection is performed for each of a plurality of shooting areas, and ID and vehicle image transfer are performed in order to track a specific vehicle over a plurality of shooting areas.
[0003]
[Problems to be solved by the invention]
However, it is still difficult for a conventional image processing apparatus to track a specific vehicle over a plurality of imaging regions. This will be described with reference to FIG. First, the particular vehicle 100 at the position of P ₁ at time t ₁ is moved at time t ₂ proceeds to the position of P _2. In a conventional image processing apparatus, for example, a vehicle image of a specific vehicle 100 is stored at time t ₁ , and then the vehicle is detected when the time reaches t ₂ . Then, it is determined that the specific vehicle 100 has moved to the position P ₂ by template matching or the like between the detected vehicle image and the stored vehicle image. In this manner, the conventional image processing apparatus tracks the vehicle.
[0004]
Next, it is assumed that the specific vehicle 100 has moved to the position P ₃ . In this case, the image processing apparatus performs the template matching or the like as in the case where a specific vehicle 100 has moved to the position of P _2. However, at the position P ₃ , the specific vehicle 100 straddles the first and second imaging areas 300a and 300b, and it is determined whether or not the specific vehicle 100 is a template matching or the like. Has become difficult. For this reason, even if the image processing apparatus transfers the ID or the like to the second imaging region 300b side, it is difficult to give the ID or the like to the vehicle 100, and it is difficult to track the vehicle.
[0005]
The present invention has been made to solve the above-described problems, and an object thereof is to provide an image processing apparatus, an image processing method, and a vehicle monitoring system that can easily track a vehicle.
[0006]
[Means for Solving the Problems]
In order to achieve such an object, the image processing apparatus according to the present invention inputs a plurality of video signals obtained by continuously photographing the road by a plurality of photographing means installed along the vehicle traveling direction of the road. A / D conversion means for A / D converting those video signals, and a divided area obtained by dividing the road in the vehicle traveling direction for the converted image obtained by A / D conversion by the A / D conversion means is set. And extracting means for extracting divided images in each divided region, combining means for combining the divided images extracted by the extracting means so that the road continues in the vehicle traveling direction, and based on the combined image combined by the combining means It is constituted by a vehicle detection means for detecting a vehicle Te, combining means performs a combination as a road in the synthesized image is oriented vertically or horizontally, the vehicle synthetic image detected by the vehicle detection means Newly detected ones in which case to correct the vehicle image of the vehicle stored from, and wherein the vehicle image corrected to be displayed on the moving position in response to movement of the vehicle.
[0007]
The image processing method according to the present invention also inputs a plurality of video signals obtained by continuously shooting a road by a plurality of shooting means installed along the vehicle traveling direction of the road, A / D conversion step for D conversion and a converted image obtained by A / D conversion in the A / D conversion step are set as a divided region obtained by dividing the road in the vehicle traveling direction, and a divided image in each divided region is extracted. An extraction process, a synthesis process for synthesizing the divided images extracted in the extraction process so that the road continues in the vehicle traveling direction, and a vehicle detection process for detecting a vehicle based on the synthesized image synthesized by the synthesis process. The compositing step is performed by compositing the road so that the road faces in the vertical direction or the horizontal direction in the composite image, and the vehicle detected by the vehicle detection step is newly detected from the composite image. When the vehicle image corrected according to the movement of the vehicle is corrected and stored vehicle image of the vehicle, characterized in that display to the moving position.
[0008]
In addition, a vehicle monitoring system according to the present invention includes a plurality of photographing units installed along the vehicle traveling direction of a road and the above-described image processing device.
[0009]
The vehicle monitoring system according to the present invention further includes display means for displaying the image data from the image processing apparatus as an image.
[0010]
According to these inventions, since the vehicle is detected based on the composite image synthesized so that the road continues in the vehicle traveling direction, the vehicle is detected for one wide image. For this reason, even if there is a vehicle at the joint of the shooting area, there is no joint in the composite image itself, and the tracking of the vehicle in the tracking process performed after vehicle detection does not make it difficult to track the vehicle. . Therefore, tracking of the vehicle can be facilitated.
[0016]
In this case, since the stored vehicle image is displayed at the vehicle movement position, it is not necessary to correct the vehicle image every time a vehicle is detected. For this reason, processing can be performed quickly.
[0017]
The image processing apparatus according to the present invention is characterized in that the background image is corrected in accordance with the correction of the vehicle image.
[0019]
In this case, the inconsistency with the background image generated when the vehicle image is corrected is eliminated. Therefore, it is possible to remove the sense of incongruity due to the correction of the vehicle image during display.
[0020]
In the vehicle monitoring system according to the present invention, at least two imaging units are provided for each area in order to capture each area of the road.
[0021]
In this case, since each area of the road is photographed from two or more photographing means at different angles, for example, it is possible to detect a normal vehicle hidden behind a shadow such as a large car. Therefore, the detection accuracy of the vehicle can be improved.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. In addition, in each figure, the same code | symbol is attached | subjected to the same element and the overlapping description is abbreviate | omitted. Further, the dimensional ratios in the drawings do not necessarily match those described.
[0023]
An image processing apparatus, an image processing method, and a vehicle monitoring system according to embodiments will be described.
[0024]
FIG. 1 shows a configuration diagram of a vehicle monitoring system according to the present embodiment. As shown in FIG. 1, the vehicle monitoring system is a system that monitors a traffic state of a road, and is used, for example, in a system that detects a traffic abnormality in a tunnel 1. The vehicle monitoring system includes a plurality of monitoring cameras 2.
[0025]
The surveillance camera 2 is a plurality of photographing means installed along the vehicle traveling direction of the road 10 and photographs the vehicle 11 traveling on the road 10 in the tunnel 1. These surveillance cameras 2 are installed in the tunnel 1 at regular intervals so as to continuously photograph the road 10. The installation interval of the monitoring camera 2 is, for example, about 150 to 200 m.
[0026]
For example, the surveillance camera 2 is installed above the tunnel 1 and photographs the vehicle 11 traveling on the road 10 from an obliquely upward front or rear. Note that not all of the monitoring cameras 2 may be installed above, the monitoring camera 2 existing at the entrance of the monitoring target area may be installed above, and the other monitoring camera 2 may be installed on the side.
[0027]
Each surveillance camera 2 is connected to a distributor 3. The distributor 3 is installed in a facility 4 built in the vicinity of the tunnel 1, and inputs a video image of each surveillance camera 2 and outputs it to the image processing device 5.
[0028]
The image processing device 5 inputs the video of the monitoring camera 2 and performs image processing, and transmits the image processed image to the control center 6. The image processing device 5 includes, for example, an A / D (analogue-to-digital) converter, a video frame memory, an image processing processor, and a signal output interface.
[0029]
The A / D converter is A / D conversion means for inputting video signals of the surveillance camera 2 and A / D converting the video signals, and for example, a video A-D converter or the like is used. The video frame memory stores the converted image data of a plurality of areas. The image data is a set of pixels having a gray value and a color signal for each coordinate point of the x axis and the y axis, and the gray level of the pixel is, for example, 256 bits of 8 bits.
[0030]
The image processor performs image processing on the image data stored in the video frame memory. The signal output interface is for outputting image processed image data to the outside.
[0031]
In the control center 6, image data transmitted from the image processing device 5 is input to the monitor 61, and the captured image in the tunnel 1 is displayed through the monitor 61. Through this image, a monitoring person can visually monitor the running state of the vehicle in the tunnel 1. The monitor 61 is display means for displaying the image data from the image processing apparatus 5 as an image, and preferably has a horizontally or vertically long display area, for example, a projector.
[0032]
A vehicle height sensor 7 may be provided in the tunnel 1. The vehicle height sensor 7 is vehicle height detection means for detecting the vehicle height of the vehicle 11 and is installed above the road 10. For example, an ultrasonic sensor is used as the vehicle height sensor 7. The ultrasonic sensor detects an upper end position of the vehicle 11 by detecting an reflected wave reflected from the vehicle 11 by emitting an ultrasonic wave from above the vehicle 11.
[0033]
The vehicle height sensor 7 is installed at the entrance of the monitoring target section in the vehicle monitoring system. For example, when the monitoring target section does not have a junction or the like, it is installed only at the entrance of the monitoring target section.
[0034]
The vehicle height sensor 7 may be one that performs stereo image processing using two photographing cameras, a laser range finder, a radio range finder, or the like. Any device other than the ultrasonic sensor may be used as long as the height can be detected.
[0035]
Next, operations of the vehicle monitoring system and the image processing apparatus 5 will be described.
[0036]
In FIG. 1, a vehicle 11 traveling on a road 10 is photographed by a monitoring camera 2, and a video signal is input from each monitoring camera 2 to a distributor 3. The distributor 3 inputs the video signal of the monitoring camera 2 to the image processing device 5 as appropriate.
[0037]
On the other hand, when the vehicle height sensor 7 is provided, the vehicle height of the vehicle 11 traveling on the road 10 is detected by the vehicle height sensor 7, and the detection signal is input to the image processing device 5. Then, the image processing device 5 performs image processing of the video signal.
[0038]
FIG. 2 shows a flowchart of image processing in the image processing apparatus 5.
[0039]
As shown in S1 of FIG. 2, each video signal input to the image processing device 5 is A / D converted. A / D conversion is a process of converting an analog image of a video signal into a digital image, and the converted image data after conversion is stored in a video frame memory. For example, as shown in FIG. 3, the converted image is an image when the road 10 is viewed from the position of the monitoring camera 2. In the converted image 20, the vehicles 11a to 11c traveling on the road 10 are photographed obliquely from the rear.
[0040]
After A / D conversion, the process proceeds to S2 in FIG. 2, and an extraction process is performed. The extraction process is a process of setting a divided area obtained by dividing the road 10 in the vehicle traveling direction for each converted image subjected to A / D conversion, and extracting a divided image in each divided area. As shown in FIG. 4, the divided region 30 is set by dividing the road 10 by a predetermined length along the vehicle traveling direction. In addition, one divided region 30 is set for each converted image of each monitoring camera 2. Each divided region 30 is set so as not to overlap as shown in FIG. Note that the divided regions 30 do not necessarily have to be set without overlapping, and even if they are overlapped, it is only necessary to cut the overlapping portion in the subsequent processing. The following description will be made assuming that the divided regions 30 are set without overlapping.
[0041]
The divided image is formed by extracting pixel data of sampling points set in advance in the divided region 30. FIG. 6 is a schematic explanatory diagram of sampling points set in the divided area 30. As shown in FIG. 6, the sampling points 31 are set in a grid pattern along each of the vehicle traveling direction and the road crossing direction of the road 10. By setting the sampling point 31 in this way, the pixel data at the sampling point 31 is arranged as pixel data in a coordinate system in which the vehicle traveling direction and the road crossing direction are orthogonal to each other, and the road 10 is viewed in plan. Can be easily created.
[0042]
After extraction of the divided images, the process proceeds to S3 in FIG. 2, and a synthesis process is performed. The synthesizing process is a process for synthesizing the divided images extracted by the extracting process so that the road 10 continues in the vehicle traveling direction. Here, the composition is performed so that the road 10 faces in the vertical direction or the horizontal direction in the composite image.
[0043]
An example of a composite image obtained by combining the road 10 in the horizontal direction is shown in FIG. The composite image 40 is obtained by connecting the divided images of the divided regions 30 in the vehicle traveling direction to form one image. For example, the composite image 40 represents pixel data of each divided image created based on different video signals as pixel data in the same coordinate system. The composite image data is preferably configured by storing each divided image data in one memory. Since the divided areas 30 are set so as not to overlap with each other, the composition processing here can be easily performed without considering the overlapping portion.
[0044]
Further, as shown in FIG. 7, the composite image 40 is such that the road 10 is viewed from directly above. In order to obtain such a composite image 40, it is necessary not only to synthesize the divided areas 30 shown in FIG. 4 but also to deform each divided area 30 as viewed from directly above by calculation. However, in the present embodiment, since the sampling points 31 are set as shown in FIG. 6, the deformation is performed together with the extraction, so that the deformation process is unnecessary.
[0045]
After the composition, the process proceeds to S4 in FIG. 2, and a vehicle detection process for detecting the vehicle 11 based on the composite image synthesized by the composition process is performed. The vehicle detection process is performed, for example, by a background difference method that compares the background image provided in the image processing device 5 in advance with the composite image 40.
[0046]
Then, the process proceeds to S5, and it is determined whether or not the vehicle 11 detected by the vehicle detection process is newly detected from the composite image. If it is determined that the detected vehicle 11 is not newly detected from the composite image, the process proceeds to S8. On the other hand, when it is determined that the vehicle 11 is newly detected from the composite image, the process proceeds to S6. In addition, as long as there is no merge in the monitoring target section, the vehicle 11 is newly detected in the vicinity of the entrance of the monitoring target section in the composite image. For this reason, you may make it detect the vehicle 11 which newly entered into the monitoring object area based only on the data from the monitoring camera 2 provided in the entrance. When there is a merge in the monitoring target section, a new vehicle 11 may be detected based only on data from the monitoring camera 2 installed at the entrance and the merge point.
[0047]
In S6, a vehicle correction process for correcting the newly detected vehicle image of the vehicle 11 according to the vehicle height is performed. If the correction is not performed here, the vehicle 11 becomes as shown in FIG. As shown in FIG. 8, the vehicles 11b and 11c traveling in a place far from the shooting position tend to be more distorted than the vehicle 11a running in a place near the shooting position. In particular, the distortion of the vehicle 11c such as a truck with a high vehicle height is large.
[0048]
For this reason, correction is performed in the process of S6 of FIG. The vehicle correction process is performed based on vehicle height data detected by the vehicle height sensor 7, for example, and is performed such that the vehicle height of the vehicle 11 is lowered as the vehicle height of the vehicle 11 is higher. By performing the vehicle correction process in this way, the vehicles 11a to 11c shown in FIG. 8 are corrected as shown in FIG.
[0049]
After correction, the process proceeds to S7. In S7, the corrected vehicle image is stored. That is, as shown in FIG. 9, vehicle images of the vehicles 11a to 11c from which distortion has been removed are stored.
[0050]
Then, the process proceeds to S8 in FIG. 2, and a tracking process is performed. The tracking process determines, for example, at which position the vehicle 11 stored as a vehicle image exists by matching an image of the vehicle 11 currently traveling in the monitoring target section with a previously stored vehicle image. It is processing to do. In addition, about the vehicles 11a-11c memorize | stored as a vehicle image in S7, a tracking process is performed when they move and the next position data is obtained.
[0051]
Thereafter, in S9, the vehicle image stored at the position of the vehicle 11 is pasted. Thereby, the vehicle image memorize | stored in the position of the vehicle 11 will be displayed. In addition, regarding the vehicles 11a to 11c stored as vehicle images in S7, when they are later moved to other positions, the vehicle images are pasted to the movement positions.
[0052]
Then, the process proceeds to S10 and background correction processing is performed. The background correction process is a process for correcting the background image in accordance with the correction of the vehicle image. For example, in the case of the vehicle 11c shown in FIG. 9, the background part in the area | region 50 which the vehicle 11c before correction | amendment occupied was correct | amended. This is because if only the vehicle image is corrected and the background image is not corrected, the background image will feel uncomfortable when the image is displayed.
[0053]
Thereafter, the image data obtained through the series of processes is transmitted to the control center 6 and displayed as an image on the monitor 61 of the control center 6. In addition, a series of processes in FIG. 2 are repeatedly performed at predetermined time intervals.
[0054]
As described above, according to the present embodiment, since the vehicle 11 is detected based on the composite image 40 synthesized so that the road 10 is continuous in the vehicle traveling direction, vehicle detection is performed on one wide image. Will be done. For this reason, even if the vehicle 11 is present at the joint of the imaging region, there is no joint in the composite image 40 itself, and it becomes difficult to track the vehicle due to the joint of the image itself in the tracking process performed after vehicle detection. There is no. Therefore, tracking of the vehicle 11 can be facilitated.
[0055]
In addition, since the composite image 40 looks like the road 10 is viewed from directly above, it is possible to provide an image that is easy for a supervisor or the like to see.
[0056]
Moreover, since the stored vehicle image is displayed at the vehicle movement position, it is not necessary to correct the vehicle image every time the vehicle 11 is detected. For this reason, processing can be performed quickly.
[0057]
Further, inconsistency with the background image generated during the correction of the vehicle image is eliminated. Therefore, it is possible to remove the sense of incongruity due to the correction of the vehicle image during display.
[0058]
Further, since the sampling points 31 in the divided area 30 are set in a grid pattern along the vehicle traveling direction and the road crossing direction of the road 10, the sampling points 31 are also deformed along with the extraction. The deformation process is unnecessary.
[0059]
Moreover, according to this embodiment, since each division area 30 is set without overlapping, it can synthesize | combine easily, without considering an overlapping part.
[0060]
As mentioned above, although the invention made | formed by this inventor was concretely demonstrated based on embodiment, this invention is not limited to the said embodiment. For example, when vehicle detection is not accurately performed in the vehicle detection process, the vehicle may be processed as one of the background images to display an uncorrected vehicle image. It is also possible to predict the position of the vehicle that has not been detected based on the past motion vector and the movements of the preceding and following vehicles, and display a vehicle image that is corrected and stored at that position. Furthermore, at least two surveillance cameras 2 may be provided for each area in order to capture each area of the road 10. In this case, since each area of the road 10 is photographed from two or more surveillance cameras 2 at different angles, for example, it is possible to detect a normal vehicle hidden behind a shadow such as a large vehicle. Therefore, the detection accuracy of the vehicle 11 can be improved.
[0061]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to provide an image processing apparatus, an image processing method, and a vehicle monitoring system that can easily track a vehicle.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a vehicle monitoring system according to an embodiment.
FIG. 2 is a flowchart showing processing of the image processing apparatus shown in FIG.
FIG. 3 is a diagram illustrating an example of a modified image.
FIG. 4 is a diagram illustrating an example of a divided region.
FIG. 5 is a schematic explanatory diagram of sampling points set in a divided region.
6 is a diagram showing a state of sampling points set in the divided area shown in FIG. 4. FIG.
FIG. 7 is a diagram illustrating an example of a composite image obtained by combining roads in a horizontal direction.
FIG. 8 is a diagram illustrating an example when a vehicle is displayed without performing vehicle correction processing;
FIG. 9 is a diagram illustrating an example when a vehicle is displayed by performing a vehicle correction process.
FIG. 10 is a diagram illustrating an example of a conventional vehicle tracking process.
[Explanation of symbols]
2 ... surveillance camera, 5 ... image processing device, 7 ... vehicle height sensor, 10 ... road, 11 ... vehicle, 20 ... converted image, 30 ... divided region, 31 ... sampling point, 32 ... divided image, 40 ... composite image, 61. Monitor.

Claims

A / D conversion means for inputting a plurality of video signals obtained by continuously photographing the road by a plurality of imaging means installed along the vehicle traveling direction of the road, and A / D converting the video signals; ,
Extracting means for setting a divided area obtained by dividing the road in the vehicle traveling direction with respect to the converted image obtained by A / D conversion by the A / D converting means, and extracting a divided image in each divided area;
Synthesizing means for synthesizing the divided images extracted by the extracting means so that the road is continuous in the vehicle traveling direction;
Vehicle detection means for detecting the vehicle based on the composite image synthesized by the synthesis means;
Configured with
The synthesizing unit performs synthesis so that the road is directed in a vertical direction or a horizontal direction in the composite image,
If the vehicle detected by the vehicle detection means is newly detected from the composite image, the vehicle image of the vehicle is corrected and stored,
Displaying the corrected vehicle image at the movement position according to the movement of the vehicle;
An image processing apparatus.

The image processing apparatus according to claim 1, wherein a background image is corrected according to the correction of the vehicle image.

An A / D conversion step of inputting a plurality of video signals obtained by continuously shooting the road by a plurality of imaging means installed along the vehicle traveling direction of the road, and A / D converting the video signals; ,
An extraction step of setting a divided region obtained by dividing the road in the vehicle traveling direction with respect to the converted image obtained by A / D conversion in the A / D conversion step, and extracting a divided image in each divided region;
A synthesis step of synthesizing the divided images extracted in the extraction step so that the road is continuous in the vehicle traveling direction;
A vehicle detection step of detecting the vehicle based on the combined image combined by the combining step;
Configured with
The synthesizing step performs synthesis so that the road is directed in the vertical direction or the horizontal direction in the composite image,
When the vehicle detected by the vehicle detection step is newly detected from the composite image, the vehicle image of the vehicle is corrected and stored, and the vehicle image corrected according to the movement of the vehicle is stored. Displaying it at the moving position,
An image processing method characterized by the above.

A plurality of photographing means installed along the road vehicle traveling direction;
An image processing apparatus according to claim 1;
A vehicle monitoring system comprising:

5. The vehicle monitoring system according to claim 4, wherein at least two of the photographing units are provided for each region in order to photograph each region of the road.

The vehicle monitoring system according to claim 4, further comprising display means for displaying image data from the image processing apparatus as an image.