JP4088182B2

JP4088182B2 - Image information processing system

Info

Publication number: JP4088182B2
Application number: JP2003072532A
Authority: JP
Inventors: 勝彦番場; 裕之水野
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2003-03-17
Filing date: 2003-03-17
Publication date: 2008-05-21
Anticipated expiration: 2023-03-17
Also published as: JP2004280593A

Description

【０００１】
【発明の属する技術分野】
本発明は画像情報処理システムに係り、特に移動物体の撮影画像から当該移動物体に関する情報を抽出して認識する機能を有する画像情報処理システムに関する。
【０００２】
【従来の技術】
移動物体の撮影画像から当該移動物体に関する情報を抽出して認識する構成が求められる分野として、例えば道路上にカメラを設置して当該道路を通過する車両を撮影して撮影画像から当該車両の画像を抽出し、更に必要に応じて当該車両の車両ナンバー等を認識する車両ナンバー認識システムが考えられる。
【０００３】
このような車両ナンバー認識システムの一例について以下に図と共に説明する。図１は従来の一例の車両認識システムの概略構成を示す。又図２は同システムの動作フローチャートを示す。当該システムは図示の通り、１台の動画カメラ１１０と１台の認識装置１２０とよりなり、道路の１車線を動画カメラ１１０で撮影して撮影画像から撮影された車両の車両ナンバーを認識するものである。このシステムにおける主な動作は以下の通りである。
【０００４】
認識装置１２０は車両検知処理部１２１においてカメラ１１０の映像から静止画を取得し（ステップＳ１）、フレーム差分チェック処理部１２１によって前フレームとのフレーム差分をチェックし（ステップＳ２），その結果から画像内に車両があるか否かを判定する（ステップＳ３）。この動作（ステップＳ１乃至Ｓ３）を１／３０秒単位で繰り返し、図３、図４に示す如く、画像内の車両ＭがそのナンバーＮの解析できる位置(画像内中央)まで到達した時点の画像中（図４の状態）、初期探索処理部１２２による車両部分切り出し処理によって車両の位置が検知される（ステップＳ４）。尚、それ以外の図３に示す如く位置に車両Ｍがある時点では車両検知処理（ステップＳ１乃至Ｓ３）が続行される。
【０００５】
ステップＳ４にて検知された車両位置から、車番切り出し処理１２３によるエッジ検出処理（ステップＳ５）及び、プレート検索処理（ステップＳ６）により当該車両のナンバープレート部分画像を抽出し、文字認識処理（ステップＳ７）によって予め登録されている文字画像情報との照合によって車両ナンバーＮを認識する。
【０００６】
上記以外にも例えば特許文献１に開示されている如くレーダセンサを併用したシステムも考えられる。このようなシステムでは、例えば静止画記録用カメラと通過車両検知用レーダ装置とを監視対象道路に設置し、レーダ走査範囲内に車両が進入したことをトリガとして静止画を記録することにより通過車両検知を実施することが考えられる。この場合の画像取得後の処理は上述の方法と同様に実施することが考えられる。
【０００７】
【特許文献１】
特開２０００−１８２１８５号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、仮に複数車線を有する道路についてカメラ一台を設置した場合、車両ナンバー解析に必要な撮影解像度の条件を満たすことを前提にした場合、１車線に対して１台のカメラを設置した場合に比べて横方向に２倍の撮影解像度が要される。このように撮影解像度を増加させるためにはそれに比例して撮影画素数も増加させる必要があり、その結果車両ナンバー検知のための処理に関する情報量が増加し所要処理時間も増加する。
【０００９】
又、上記の如く車両ナンバー検知を画像差分解析によって行う場合、画像内の車両が車両ナンバーが解析できる位置まで到達しているか否かを判定した後に車両ナンバーを検知する。この場合、車両の前面のナンバーが映るよう車両を撮影する場合と後面のナンバーが映るよう車両を撮影する場合とでは車両ナンバーが認識できる状態における画像内での車両の位置が異なる。このため、１台のカメラで進入方向が異なる車両が同時に通過する複数車線(例えば、片側１車線、計２車線の道路の場合)を撮影する場合、前面のナンバーが映るよう車両を撮影する場合の処理と後面のナンバーが映るよう車両を撮影する場合の処理の２種類の異なる処理を複数の車両に対して同時に実行する必要がある。そのため処理量が増加し所要処理時間が増加する。
【００１０】
これらの問題点の解決策として、以下の方法が考えられる。即ち、例えば図５に示す如く、車両撮影用カメラを一車線に一台、計二台（１１０−１，１１０−２）設置する方法である。尚、上記レーダ装置を併用する場合には同様にレーダセンサとレーダ情報処理装置も２組設けるため、監視する車線数分のカメラおよび認識装置、或いは更にレーダセンサ及びレーダ情報処理装置等が必要となり、設置コストが倍増する。更にこの方法の場合、図６に示す如く２車線を跨いで車両Ｍが通過した場合、カメラ１１０−１，１１０−２による夫々の撮影画像中に車両Ｍのナンバープレート部分Ｎがナンバー解析可能な状態で取得出来ない場合が考えられる。
【００１１】
又、図７に示す如く、車両撮影用カメラとレーダとを複数車線に亘って走査させる方法が考えられる。即ち、この場合、レーダ装置１３０およびカメラ１１０を回転台に乗せて車線中央部に設置し、当該回転台を水平方向に首振り運動させることにより複数車線を1システムで監視する。しかしながらこの場合、レーダとカメラとが同一回転台に載るため、レーダにて車両進入を検知してからカメラの画像を取り込むまでの処理時間に遅延があるとカメラの撮影方向が実際の撮影対象車両の位置と一致しなくなるという事態が考えられる。
【００１２】
又、図７の構成ではそのシステム特性上、瞬間的にはカメラとレーダーが向いている車線のみしか監視できないため、道路混雑時等、２車線Ｌ１，Ｌ２に同時に連続して複数の車両が通行するような場合、回転台の回転動作速度、レーダの検知性能、カメラの撮影速度等によっては通行車両全てのナンバーの認識が不可能となる場合が考えられる。即ち、例えば車線Ｌ１に車両Ｍ１が進入にしてきた場合、カメラ１１０は車線Ｌ１を向くが、それと同時に車線Ｌ２に別の車両Ｍ２が進入してきた場合、カメラ１１０が車線Ｌ２を向く前に当該車両Ｍ２が撮影可能領域を通過してしまって撮影不可となる場合が考えられる。
【００１３】
【課題を解決するための手段】
本発明は上記問題点に鑑み、１組の画像情報処理システムよって複数の移動物体の特定の情報、例えば複数車線を走行する複数の車両のナンバーを全て認識可能であり、更に車線を跨いで通過する車両のナンバー、及び、進入方向が異なる車両が同時に通過した場合等、様々な場面においてもそこを通過する全ての車両のナンバーを認識可能な画像情報処理システムを提供することを目的とする。即ち、比較的簡易な構成にて、複数車線道路で、複数の車両が同時に通過した場合であっても、それら全ての車両を漏れなく撮影し、そのナンバーの認識が可能なシステムを提供することを目的とする。
【００１４】
【発明の実施の形態】
以下本発明の実施例について図面と共に詳細に説明する。図８は本発明の一実施例の基本構成図である。本発明の実施例になる画像情報処理装置は、所定の監視領域を通過する車両を検知するためのレーダ装置３０、レーダ装置３０からの検知信号を基に、その検知された車両が特定の範囲に進入した時点でそれを検出し、その車両の位置と走行速度とを認識装置２０に通知するレーダ処理装置４０、当該検知された車両を撮影するための静止画記録用カメラ１０、レーダ処理装置４０から当該検知された車両の位置と走行速度とを通知された時点で静止画記録用カメラ１０から撮影静止画に撮影操作を行なわせ、通知された車両の位置と走行速度、並びに撮影された静止画とを基にして画像解析を実施することによって当該車両のナンバー情報を認識する認識装置２０とよりなる。
【００１５】
又、認識装置２０は初期探索処理部２１と車番切り出し処理部２２−１，２２−２とよりなり、これら処理部２１，２２−１，２２−２は例えば異なるＭＰＵによって実現される。更に初期探索処理部２１は撮影要求部２１ａ、２次元−３次元座標変換部２１ｂ及び車両部分切り出し部２１ｃとよりなり、各車番切り出し処理部２２−１，２２−２は、夫々エッジ検出部２２−１ａ、２２−２ａ、プレート検索部２２−１ｂ、２２−２ｂ、並びに文字認識部２２−１ｃ、２２−２ｃよりなる。又、図９、図１０は当該画像情報処理システムの監視範囲を示す図であり、図９はカメラ１０に向かう方向に走行する車両Ｍ１に対する監視エリアを示し、図１０はカメラ１０から遠ざかる方向に走行する車両Ｍ２に対する監視エリアを表す。尚、監視エリアについては後述する。
【００１６】
上記レーダ装置３０及び静止画記録用カメラ１０は対象となる道路の中央（図１４乃至１７参照）、若しくは、図９，１０に示す如く、道路端の高いところに当該道路をなす複数車線（図示の場合には２車線）を同時に監視可能なよう設置される。即ち、レーダ装置３０は図９、図１０中のレーダ監視領域Ｒ１の範囲（固定）に亘って車両を検知可能な性能を有すると共に、そのような性能を発揮可能な位置及び姿勢にて設置される。又、静止画記録用カメラ１０は撮影領域Ｒ２（固定）を一枚の静止画にて収めるように撮影可能な機能を有すると共に、そのような機能を発揮可能な位置及び姿勢にて設置される。
【００１７】
又、カメラ１０の静止画取得タイミングを指示するため、カメラ１０に向かってくる方向に走行する車両Ｍ１に対しては通知領域Ｒ３（固定）、カメラから遠ざかる方向に進行する車両Ｍ２に対しては通知領域Ｒ４（固定）を設定し、その設定領域Ｒ３，Ｒ４内に進入する車両をレーダ装置３０検知した際にレーダ処理装置４０はそれを検出し、認識装置２０に車両検知信号を供給する構成とされている。
【００１８】
以下、上記構成を有する本発明の実施例による画像情報処理システムの動作について説明する。本システムにおいて、レーダ装置３０は、レーダ波を発信し当該レーダ波が対象物体によって反射されて生成される反射波を受信する周知の構成を有する。レーダ処理装置４０はそのレーダ波の発信から受信までの時間差及び波長のドップラシフト量を測定することにより、対象物体までの距離及び対象物体の移動速度（方向含む）を演算によって求める。
【００１９】
又、そしてレーダ装置３０はレーダ監視領域Ｒ１に対して水平方向に首振り運動しながら一定回転角度毎に上記測定を繰り返すことで各スキャン分の測定結果を得る。そしてこれらの測定結果を収集分析することによって、当該道路上を走行する車両の移動速度と位置を走行車両毎に検出する機能を有する。
【００２０】
レーダ監視領域Ｒ１に車両が進入した場合、レーダ処理装置３０は進入した全ての車両を検知可能である。更にレーダ処理装置３０は上記対象物体の移動速度及び位置検出機能によって検知車両の進入方向をも検出可能であり、当該検出進入方向によって該当する車両に対して通知領域Ｒ３を適用するか或いは通知領域Ｒ４を適用するかを決定する。そして検知車両がそのようにして判定された通知領域の範囲内にあるか否かを判定し、該当通知範囲内にある場合は認識装置２０に対し、該当通知範囲内にある全ての車両の速度と位置(図１３（ｃ）中のｘ_１，ｘ_２、ｙ_１)の情報を送信する。
【００２１】
尚、ここでは上記位置は図１３から以下の数式にて算出されることが分かる。
【００２２】
【数１】

上記数式中、ｌ_１、ｌ_２はレーダ装置３０から対象車両Ｍまでの３次元距離（図１３（ｂ）、（ｃ）参照）、ｈはレーダ装置３０の該当する道路上の高さ（図１３（ｂ）参照）、α_１、α_２はレーダ装置３０が対象車両Ｍを検知した時の水平面内の角度（図１３（ｃ）参照）、ｙ_ｓはレーダ装置３０からカメラ撮影エリアまでの水平距離（図１３（ａ）、（ｃ）参照）である。これらのデータのうち、ｌ_１、ｌ_２、α_１、α_２は上述のレーダ装置３０及びレーダ処理装置４０の機能によって検出可能なデータであり、ｙ_ｓは予め測定可能な固定値である。
【００２３】
尚、図９、図１０に示す如く車両の移動方向によって固定のカメラ１０の撮影領域Ｒ２に対して異なる通知範囲Ｒ３，Ｒ４を設定するのは以下の理由による。即ち、レーダ装置３０、レーダ処理装置４０による車両検知から、当該検知情報を受けた認識部２０の初期探索処理部２１にてカメラ２０を駆動して当該車両を実際に撮影するまで若干の時間遅れが存在する。そのため、図９に示す如く車両Ｍ１がカメラ１０に近付く方向に走行している場合には撮影領域Ｒ２に対してカメラ１０から遠い位置に通知領域Ｒ３を設定することにより、上記時間遅れの間当該車両Ｍ１が走行してカメラ１０に近付いても撮影領域Ｒ２を外れることがなく、該当する車両の画像を確実に所定解像度にて撮影可能となる。同様に図１０に示す如く車両Ｍ２がカメラ１０から遠ざかる方向に走行している場合には撮影領域Ｒ２に対してカメラ１０から近い位置に通知領域Ｒ４を設定しておくことにより、上記時間遅れの間当該車両Ｍ２が走行してカメラ１０から遠のいても撮影領域Ｒ２を外れることが無く、該当車両を確実に所定解像度にて撮影することが可能となる。
【００２４】
次に、上記通知信号を受けた認識装置２０は、その初期探索処理部２１の撮影要求部２１ａにてカメラ１０に撮影指示信号を送信し、その瞬間の静止画像を撮影させ、当該撮影画像情報を２次元−３次元座標変換部２１ｂにて受信する。又、上記進入した車両Ｍの位置座標（ｘ_１，ｙ_１）、及び、（ｘ_２，ｙ_１）は２次元−３次元座標変換処理部による以下に示す演算を経て上記の如く取得された静止画上の画素単位による座標（Ｘ_１，Ｙ_１）、及び、（Ｘ_２，Ｙ_１)に変換される。
【００２５】
Ｘ_１≒（ｘ_１／ｘ_ｍａｘ）・Ｘ_ｐｉｃ
Ｘ_２≒（ｘ_２／ｘ_ｍａｘ）・Ｘ_ｐｉｃ
Ｙ_１≒（ｙ_１／ｙ_ｍａｘ）・Ｙ_ｐｉｃ
上式中、ｘ_ｍａｘは撮影領域Ｒ２の幅（図１３（ｃ）参照）、ｙ_ｍａｘは撮影領域Ｒ２の長さ（図１３（ａ）参照）、Ｘ_ｐｉｃは取得された静止画の横方向の画素数（図１２（ｂ）参照）、Ｙ_ｐｉｃは取得静止画の縦方向の画素数（図１２（ｂ）参照）である。
【００２６】
通常、車両Ｍの高さはその幅より小さいため、車両部分切り出し処理部２１ｃでは、２次元−３次元座標変換部２１ｂにて得た静止画上の画素単位の座標（Ｘ_１，Ｙ_１）、（Ｘ_２，Ｙ_１）間を底辺とし、下記数式で求められる高さ
Ｙ２＝Ｘ_１− Ｘ_２
を有する矩形形状に取得静止画から対象車両画像部分（図１２（ｂ）中の破線で囲まれた領域）を切り出す。この２次元−３次元座標変換処理部２１ｂ、車両部分切り出し処理部２１ｃによる上記演算処理は、レーダ処理装置４０から通知された検出車両一台毎に実行される。
【００２７】
この場合カメラ１０が撮影している画角の条件によって上記ナンバープレート情報の大きさ(画素単位の幅/高さ)が一意に求まる。初期探索処理部１２２によって切り出された車両画像についてエッジ検出部２２−１ａ，２２−２ａによって隣り合う画素間の色/輝度が一定以上異なる画素情報、即ちエッジ部に相当する画素情報を抽出する。そして上記一意に求められたナンバープレート情報の大きさに関する情報並びにエッジ検出部にて抽出されたエッジ部相当の画素情報を基に、プレート検索部２２−１ｂ、２２−２ｂによってナンバープレートに相当する形状、大きさに合致する画像部分が上記静止画像中に存在するか否かが検索される。
【００２８】
即ち、一般に車両のナンバープレートに記載の情報には数字及び文字が含まれ、それらの数字・文字情報は撮影画像上濃度が急に変化するエッジ部を構成するため、特定のナンバープレートに相当する大きさ・形状内にエッジ部が含まれている部分が撮影画像中に存在すれば、その部分がナンバープレートに相当する画像部分であると判定できる。
【００２９】
上記判定の結果ナンバープレート相当の画像部分が存在する場合、その座標位置（Ｐｘ１，Ｐｙ１，Ｐｘ２，Ｐｙ２)を記憶する。又、文字認識部２２−１ｃ、２２−２ｃは、上記車両画像中のナンバープレート相当の画像部分の領域（Ｐｘ１，Ｐｙ１，Ｐｘ２，Ｐｙ２)につき、通常ナンバープレート中に含まれる陸支/分類/ひらがな/一連番号毎に領域を切り出し、それぞれの領域について撮影画像と予め所定のソフトウェアにて保持している文字画像情報とのパターンマッチングを行うことによって撮影画像中に含まれる文字、即ち車両ナンバー情報を認識する。
【００３０】
この車番切り出し処理部２２−１，２２−２による車番切り出し処理は並列処理が可能であり、初期探索処理部２１によって切り出された車両画像分並列的に実行され、これによって認識装置２０は通過した全ての車両のナンバ情報を短時間に認識することができる。
【００３１】
このように本発明の実施例によれば、車両検知はレーダ処理装置４０にて行なうため、上述の従来技術における如く、例えば１／３０秒毎の画像情報処理による車両検知処理を省略可能である。そのため、ＣＰＵ／ＭＰＵの負荷を軽く出来、その処理能力余剰分を車番切り出し処理部２２−１，２２−２における車番切り出し処理に使用できる。このため、比較的処理能力の低いＣＰＵ／ＭＰＵによっても車両混雑時の全ての通行車両の車両ナンバー認識を可能とする画像情報処理システムの構築が可能となる。
【００３２】
即ち本発明は従来と異なり、車両検知処理をレーダ処理装置部４０が行なうため、認識装置２０自体では静止画取り込みのタイミング判断処理を行う必要が無く、又事前に通行車両の撮影方向を設定する必要も無い。即ち認識装置２０はレーダ処理装置４０からの車両検知情報に含まれる該当する通行車両の進入方向に応じて初期探索処理部２１による初期探索処理を実行するため、進入方向が異なる車両を同時に検知した場合であっても過大な情報処理量を要求されずに初期探索処理部２１にて必要とされる情報処理を実施可能である。その結果複数車線に複数台の車両が同時に進入した場合等においても一枚の静止画にてそれらを撮影し且つ各車両のナンバー情報を認識可能な画像情報処理システムを比較的低い処理性能のＣＰＵ／ＭＰＵにて構築可能である。
【００３３】
即ち、本発明では車両位置をレーダ装置３０、レーダ処理装置４０にて実施し、その検知情報に基づいて静止画撮影タイミングが決定され、更には撮影画像中の車両位置を特定可能なため、撮影画像中から車両画像部分を検索する作業が大幅に低減可能である。即ち、撮影画像の全体から車両画像部分を検索するためには画像中の全画素を処理する必要があるが、本発明の如くレーダ装置、レーダ処理装置の機能によって予め画像中の車両部分の位置を特定できるため、その特定部分の画素のみ処理すれよく、所要画素処理量を効果的に低減可能である。
【００３４】
以下に上述の本発明の実施例による画像情報処理システムの実際の動作例について詳細に説明する。先ず第１の例として、片側２車線道路に車両が１台通過する場合を想定する。図１４はこのような場合を示す。この例において１台の車両Ｍaが通知領域Ｒ３（図９参照）に進入してきた場合、上述の如く図８に示す本画像情報処理システムのレーダ装置３０から逐次出力される物体検知情報に基づいてレーダ処理装置４０が所定の演算処理を行うことによって当該車両Ｍａの車両位置情報（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）とその移動速度情報Ｖａが得られ、当該車両位置・速度情報が認識装置２０に対して通知される。
【００３５】
当該データを受信した認識装置２０は初期探索処理部２１にて、静止画記録用カメラ１０に指示を出して図１４（ｂ）に示す如くの撮影静止画を取得させ、更に図１３と共に説明した原理にしたがって上記検知位置情報（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）を上記取得静止画上の座標データ（Ｘａ１，Ｙａ１）、（Ｘａ２，Ｙａ１）に変換し、当該静止画上座標データに基づいて当該車両Ｍａが映っている部分（図１４（ｂ）中の破線で囲った部分）を切り出す。その後、例えば車番切り出し処理部２２−１にて、上記切り取られた車両画像に対して車番切り出し処理を実行し当該車両のナンバー情報を認識し出力する。
【００３６】
次に第２の例として、図１５に示す如く、片側２車線Ｌ１，Ｌ２よりなる道路上に同一進行方向の車両が２台Ｍａ，Ｍｂ、同時に通過する場合を想定する。この場合、図示の如く片側２車線道路に同じ進行方向の車両ＭaとＭbとが２台同時に通知領域Ｒ３に進入してきた場合、レーダ処理装置４０によって当該２台分の車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］及び［（ｘｂ１，ｙｂ１）、（ｘｂ２，ｙｂ１）、Ｖｂ］取得され、これらが認識装置２０に通知される。このデータを受信した認識装置２０は初期探索処理部２１の処理により静止画記録用カメラ１０を介してこれら検知車両の撮影静止画（図１５（ｂ）参照）を取得し、通知された検知車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］、及び、［（ｘｂ１，ｙｂ１）、（ｘｂ２，ｙｂ１）、Ｖｂ]を夫々静止画用座標［（Ｘａ１，Ｙａ１）、（Ｘａ２，Ｙａ１）、Ｖａ］、及び、［（Ｘｂ１，Ｙｂ１）、（Ｘｂ２，Ｙｂ１）、Ｖｂ］に変換した上で当該車両が映っている画像部分（図１５（ｂ）中の破線で囲った部分）を夫々切り出す。このようにして切り取られた２枚の車両画像は、各々、車番切り出し処理部２２−１，２２−２に送られ、これら処理部にて並列処理にて車番切り出し処理を行い、夫々のナンバー情報を認識し出力する。
【００３７】
次に、第３の例として、図１６に示す如く、片側１車線、双方向計２車線Ｌ１，Ｌ２の道路において、車両Ｍａが通知領域Ｒ３（図９参照）に進入し、同時に車両Ｍｂが通知領域Ｒ４（図１０参照）に進入してきた場合を想定する。このような場合、レーダ処理装置４０は車両Ｍａと車両Ｍｂの夫々の車両情報、［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］と［（ｘｂ１，ｙｂ１）、（ｘｂ２，ｙｂ１）、Ｖｂ］とを取得し、これが認識装置２０に通知される。
【００３８】
当該データを受信した認識装置２０はこれに基づき初期探索処理部２１にて静止画記録用カメラ１０を制御して当該車両を撮影させてその静止画を取得する（図１６（ｂ）参照）。そして、上記通知された検知車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］、及び、［（ｘｂ１，ｙｂ１）、（ｘｂ２，ｙｂ１）、Ｖｂ］を上記静止画上の座標［（Ｘ１ａ，Ｙ１ａ）、（Ｘ１ｂ，Ｙ１ｂ）、Ｖａ］、及び、［（Ｘ２ａ，Ｙ２ａ）、（Ｘ２ｂ，Ｙ２ｂ）、Ｖｂ］に変換し、当該座標に基づき該当する車両が映っている部分（図１６（ｂ）中の破線で囲った部分）を夫々切り出す。このようにして切り出された車両画像は車番切り出し処理部２２−１，２２−２による並列処理にて夫々の画像に対する車番切り出し処理を行い、該当する車両ナンバー情報を認識し出力する。
【００３９】
第４の例は図１７に示す如く、片側２車線Ｌ１，Ｌ２の道路上に一台の車両Ｍが車線Ｌ１，Ｌ２を跨いで通知領域Ｒ３に進入してきた場合、レーダ処理装置４０は当該車両Ｍの車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］を取得し、これを認識装置２０に通知する。データを受信した認識装置２０は初期探索処理部２１にて静止画記録用カメラ１０を駆動して該当する車両の静止画を取得し、通知された車両情報［（ｘａ１，ｙａ１）、（ｘａ２，ｙａ１）、Ｖａ］を当該静止画上の座標［（Ｘ１ａ，Ｙ１ａ）、（Ｘ２ａ，Ｙ１ａ）、Ｖａ］に変換し、この座標に基づいて車両が映っている部分（図１７（ｂ）の破線で囲われた部分）を切り出す。切り出された車両画像は例えば車番切り出し処理部２２−１にて処理され、該当する車両ナンバー情報が認識され出力される。
【００４０】
本発明の実施例では図１３（ｃ）と共に説明した如く対象車両の水平方向位置をも検出可能なため、第４の例の場合のように斜線を跨いで走行している車両についても正確にその位置を検出し、図１７（ｂ）に示す如く撮影画像中の車両部分の正しい切り出しが可能となる。
【００４１】
以上説明したように、本発明によれば複数車線の車両ナンバーの自動認識が可能であり、複数車線に数台の車両が同時に進入するような場合、進行方向が逆の車両が同時に進入した場合、車両が車線を跨いで通過するような場合等、様々な場面においても、１システムで同時に全ての車両のナンバーを自動認識する機能を実現可能である。
【００４２】
尚、本発明の実施例は上述のものに限られない。例えば図７に示す如くカメラが可動式のものに対しても適用可能である。その場合、レーダ装置の検知情報とカメラの回転角度情報との組み合わせ演算によって当該カメラによる撮影画像中の該当車両の位置を特定して所望画像部分を抽出することが可能である。
【００４３】
本発明は以下の付記に記載の構成を含む。
【００４４】
（付記１）
移動物体を撮影して得られた撮影画像から当該物体が有する特定の情報を抽出する画像情報処理システムであって、
レーダを使用した物体検知装置と、
該物体検知装置による当該移動物体の検知情報に基づいて当該移動物体の位置を演算によって求める演算部と、
前記演算部によって求められた当該物体の位置に基づいて前記撮影画像中の当該移動物体に関する画像部分を抽出する画像抽出部とよりなる画像情報処理システム。
【００４５】
（付記２）
更に、前記画像抽出部によって抽出された当該移動物体に関する画像部分から当該移動物体上の所定の位置に含まれる特定の情報を認識する特定情報認識装置よりなる付記１に記載の画像情報処理システム。
【００４６】
（付記３）
前記物体検知装置は、所定の領域を同時に通過する複数の移動物体を検知し、
前記演算部は当該検知情報に基づいて当該複数の移動物体の位置を求め、
前記画像抽出部は前記演算部によって求められた当該複数の移動物体の位置に基づいて撮影画像から当該複数の移動物体に関する画像部分を抽出し、
前記特定情報認識は当該複数の移動物体に関する画像部分から当該複数の移動物体の夫々の特定情報を認識する構成の付記２に記載の画像情報処理システム
（付記４）
前記物体検知装置は所定の領域を同時に異なる方向に通過する複数の移動物体を検知し、
前記演算部は前記物体検知装置による検知結果に基づいて当該複数の移動物体の位置及びその移動速度を求め、
前記画像抽出部は演算部によって求められた複数の移動物体の位置及びに移動速度に基づいて取得された撮影画像から当該複数の移動物体に関する画像部分を抽出し、
前記特定情報認識は当該抽出された複数の移動物体に関する画像部分から当該複数の移動物体の夫々の特定情報を認識する構成の付記２に記載の画像情報処理システム
（付記５）
更に前記物体検知装置の当該移動物体の検知情報に基づいて所定のタイミングにて当該移動物体が通過し得る所定の領域を撮影して前記撮影画像を出力する撮影装置よりなる付記１乃至４のうちのいずれかに記載の画像情報処理システム。
【００４７】
（付記６）
前記移動物体は車両よりなる付記１乃至５のうちのいずれかに記載の画像情報処理システム。
【００４８】
（付記７）
前記移動物体に含まれる特定情報は車両ナンバー情報よりなる付記６に記載の画像情報処理システム。
【００４９】
（付記８）
前記演算部は前記物体検知装置の検知情報によって移動物体が所定の通知領域に達したと判定された際に前記撮影装置を駆動して画像撮影を実施させる構成とされ、
上記所定の通知領域は、当該移動物体が撮影装置へ近付く方向に移動していると判定された際には比較的撮影装置から遠い位置に設定され、当該移動物体が撮影装置から遠のく方向に移動していると判定された際には比較的撮影装置から近い位置に設定される構成の付記５に記載の画像情報処理装置。
【００５０】
【発明の効果】
上記本発明によれば、レーダを使用した移動物体検知手段による物体検知情報に基づいて画像取得及び画像情報の解析を行なう構成としたため、画像取得のタイミングや取得された画像上で解析すべき画像領域の特定等の処理は上記移動物体検知手段によって行なわれる。その結果画像情報処理対象画像部分、すなわち要処理画素数を効果的に絞り込むことが可能であり、もって画像情報処理に要される情報処理量を効果的に削減可能である。その結果高速に多数の移動物体の情報処理を実施する事を可能とする画像情報処理システムを提供可能である。
【図面の簡単な説明】
【図１】従来の一例の画像情報処理システムのブロック図である。
【図２】図１に示す画像情報処理システムの動作フローチャートである。
【図３】図１，２に示す画像情報処理システムの処理内容を説明するための図（その１）である。
【図４】図１，２に示す画像情報処理システムの処理を説明するための図（その２）である。
【図５】従来の他の例の画像情報処理システムの構成及び処理を説明するための図である。
【図６】図５に記載のシステムの問題点を説明するための図である。
【図７】従来の更に他の例の画像情報処理システムの構成を説明するための図である。
【図８】本発明の一実施例による画像情報処理システムの概略構成を説明するためのブロック図である。
【図９】図８に示す画像情報処理システムにおける監視エリアについて説明するための図（その１）である。
【図１０】図８に示す画像情報処理システムにおける監視エリアについて説明するための図（その２）である。
【図１１】図８に示す認識装置の更に詳細な構成を示すブロック図である。
【図１２】図１１に示す認識装置による車両位置検索方法について説明するための図（その１）である。
【図１３】図１０に示す認識装置による車両位置検索方法について説明するための図（その２）である。
【図１４】本発明の一実施例による画像情報処理システムにおける実際の処理例を説明するための図（その１）である。
【図１５】本発明の一実施例による画像情報処理システムにおける実際の処理例を説明するための図（その２）である。
【図１６】本発明の一実施例による画像情報処理システムにおける実際の処理例を説明するための図（その３）である。
【図１７】本発明の一実施例による画像情報処理システムにおける実際の処理例を説明するための図（その４）である。
【符号の説明】
１０静止画撮影用カメラ
２０認識装置
２１初期探索処理部
２２−１，２２−２車番切り出し処理部
３０レーダ装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image information processing system, and more particularly to an image information processing system having a function of extracting and recognizing information related to a moving object from a captured image of the moving object.
[0002]
[Prior art]
As a field where a configuration for extracting and recognizing information related to a moving object from a captured image of a moving object is required, for example, a camera is installed on a road and a vehicle passing through the road is imaged and the vehicle image is captured from the captured image. And a vehicle number recognition system that recognizes the vehicle number of the vehicle as necessary.
[0003]
An example of such a vehicle number recognition system will be described below with reference to the drawings. FIG. 1 shows a schematic configuration of a conventional vehicle recognition system. FIG. 2 shows an operation flowchart of the system. As shown in the figure, the system is composed of one moving camera 110 and one recognition device 120, which captures one road lane with the moving camera 110 and recognizes the vehicle number of the vehicle captured from the captured image. It is. The main operations in this system are as follows.
[0004]
The recognition device 120 acquires a still image from the video of the camera 110 in the vehicle detection processing unit 121 (step S1), checks the frame difference from the previous frame by the frame difference check processing unit 121 (step S2), and determines the image from the result. It is determined whether or not there is a vehicle inside (step S3). This operation (steps S1 to S3) is repeated in units of 1/30 seconds. As shown in FIGS. 3 and 4, the image at the time when the vehicle M in the image reaches the position where the number N can be analyzed (the center in the image). During (in the state of FIG. 4), the position of the vehicle is detected by the vehicle partial cut-out process by the initial search processing unit 122 (step S4). Note that the vehicle detection process (steps S1 to S3) is continued when the vehicle M is at a position as shown in FIG.
[0005]
From the vehicle position detected in step S4, a license plate partial image of the vehicle is extracted by edge detection processing (step S5) by plate number cut-out processing 123 and plate search processing (step S6), and character recognition processing (step The vehicle number N is recognized by collating with the character image information registered beforehand by S7).
[0006]
In addition to the above, for example, a system using a radar sensor as disclosed in Patent Document 1 is also conceivable. In such a system, for example, a still image recording camera and a passing vehicle detection radar device are installed on a monitoring target road, and a passing vehicle is recorded by recording a still image triggered by the vehicle entering the radar scanning range. It is conceivable to carry out detection. It is conceivable that the processing after image acquisition in this case is performed in the same manner as the above-described method.
[0007]
[Patent Document 1]
JP 2000-182185 A
[0008]
[Problems to be solved by the invention]
However, if one camera is installed on a road having multiple lanes, it is assumed that the conditions of the imaging resolution necessary for vehicle number analysis are satisfied, and one camera is installed for one lane. Compared with the horizontal direction, the image taking resolution is twice as high. In order to increase the imaging resolution in this way, it is necessary to increase the number of imaging pixels in proportion thereto, and as a result, the amount of information relating to the processing for detecting the vehicle number increases and the required processing time also increases.
[0009]
When the vehicle number detection is performed by image difference analysis as described above, the vehicle number is detected after determining whether or not the vehicle in the image has reached a position where the vehicle number can be analyzed. In this case, the position of the vehicle in the image in a state where the vehicle number can be recognized is different between the case where the vehicle is photographed so that the number on the front surface of the vehicle is photographed and the case where the vehicle is photographed so that the number on the rear surface is reflected. For this reason, when shooting multiple lanes (for example, one lane on each side, total of two lanes) where vehicles with different approach directions pass simultaneously with one camera, shooting the vehicle so that the front number is reflected It is necessary to simultaneously execute two different types of processing for a plurality of vehicles, such as the above processing and the processing for photographing a vehicle so that the rear number is reflected. Therefore, the processing amount increases and the required processing time increases.
[0010]
The following methods can be considered as a solution to these problems. That is, for example, as shown in FIG. 5, one vehicle photographing camera is installed in one lane, for a total of two (110-1, 110-2). When the above radar apparatus is used in combination, two sets of radar sensors and radar information processing apparatuses are provided in the same manner. Therefore, cameras and recognition apparatuses for the number of lanes to be monitored, or radar sensors and radar information processing apparatuses are required. , Installation costs double. Furthermore, in the case of this method, when the vehicle M passes over two lanes as shown in FIG. 6, the license plate portion N of the vehicle M can be number-analyzed in the respective captured images by the cameras 110-1 and 110-2. The case where it cannot acquire in a state is considered.
[0011]
Further, as shown in FIG. 7, a method of scanning a vehicle photographing camera and a radar over a plurality of lanes is conceivable. That is, in this case, the radar device 130 and the camera 110 are placed on the turntable and installed at the center of the lane, and the turntable is swung in the horizontal direction to monitor a plurality of lanes with one system. However, in this case, since the radar and the camera are mounted on the same turntable, if there is a delay in the processing time from the detection of the vehicle entry by the radar until the capture of the camera image, the shooting direction of the camera is the actual shooting target vehicle. The situation where it does not coincide with the position of is considered.
[0012]
In the configuration of FIG. 7, because of the system characteristics, only the lane where the camera and the radar are facing can be monitored instantaneously. Therefore, when the road is congested, a plurality of vehicles pass through the two lanes L1 and L2 simultaneously. In such a case, the number of all passing vehicles may not be recognized depending on the rotational operation speed of the turntable, the radar detection performance, the shooting speed of the camera, and the like. That is, for example, when the vehicle M1 enters the lane L1, the camera 110 faces the lane L1, but at the same time, when another vehicle M2 enters the lane L2, the vehicle 110 before the camera 110 faces the lane L2. It is conceivable that M2 passes through the imageable area and cannot be imaged.
[0013]
[Means for Solving the Problems]
In view of the above-described problems, the present invention can recognize all the specific information of a plurality of moving objects, for example, the numbers of a plurality of vehicles traveling in a plurality of lanes, and pass across the lanes by a set of image information processing systems. It is an object of the present invention to provide an image information processing system capable of recognizing the numbers of all vehicles passing there even in various scenes, such as when a vehicle having a different approach direction passes simultaneously. That is, to provide a system that can shoot all of the vehicles without omission and recognize their numbers even when a plurality of vehicles pass simultaneously on a multi-lane road with a relatively simple configuration. With the goal.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below in detail with reference to the drawings. FIG. 8 is a basic configuration diagram of an embodiment of the present invention. An image information processing apparatus according to an embodiment of the present invention includes a radar device 30 for detecting a vehicle passing through a predetermined monitoring area, and a detected vehicle within a specific range based on a detection signal from the radar device 30. Is detected when the vehicle enters the vehicle, and a radar processing device 40 for notifying the recognition device 20 of the position and traveling speed of the vehicle, a still image recording camera 10 for photographing the detected vehicle, and a radar processing device. When the detected position of the vehicle and the traveling speed are notified from 40, the still image recording camera 10 performs a shooting operation on the captured still image, and the notified position and traveling speed of the vehicle and the captured image are captured. The recognition apparatus 20 recognizes the number information of the vehicle by performing image analysis based on the still image.
[0015]
The recognition device 20 includes an initial search processing unit 21 and a car number extraction processing unit 22-1 and 22-2. These processing units 21, 22-1, and 22-2 are realized by different MPUs, for example. Further, the initial search processing unit 21 includes a photographing request unit 21a, a two-dimensional / three-dimensional coordinate conversion unit 21b, and a vehicle partial cutout unit 21c. The vehicle number cutout processing units 22-1 and 22-2 are respectively edge detection units. 22-1a and 22-2a, plate search units 22-1b and 22-2b, and character recognition units 22-1c and 22-2c. 9 and 10 are diagrams showing the monitoring range of the image information processing system. FIG. 9 shows the monitoring area for the vehicle M1 traveling in the direction toward the camera 10, and FIG. 10 shows the direction away from the camera 10. This represents a monitoring area for the traveling vehicle M2. The monitoring area will be described later.
[0016]
The radar device 30 and the still image recording camera 10 are provided in the center of the target road (see FIGS. 14 to 17), or as shown in FIGS. In this case, it is installed so that two lanes) can be monitored simultaneously. That is, the radar device 30 has a performance capable of detecting the vehicle over the range (fixed) of the radar monitoring region R1 in FIGS. 9 and 10, and is installed at a position and posture capable of exhibiting such performance. The In addition, the still image recording camera 10 has a function capable of photographing so that the photographing region R2 (fixed) is stored as a single still image, and is installed at a position and posture capable of exhibiting such a function. .
[0017]
In order to instruct the still image acquisition timing of the camera 10, the notification area R3 (fixed) for the vehicle M1 traveling in the direction toward the camera 10, and the vehicle M2 traveling in the direction away from the camera. A configuration in which a notification area R4 (fixed) is set, and when the radar device 30 detects a vehicle that enters the setting areas R3 and R4, the radar processing device 40 detects it and supplies a vehicle detection signal to the recognition device 20 It is said that.
[0018]
The operation of the image information processing system according to the embodiment of the present invention having the above configuration will be described below. In the present system, the radar device 30 has a known configuration for transmitting a radar wave and receiving a reflected wave generated by the radar wave being reflected by a target object. The radar processing apparatus 40 calculates the distance to the target object and the moving speed (including direction) of the target object by calculating the time difference from the transmission to reception of the radar wave and the Doppler shift amount of the wavelength.
[0019]
Further, the radar apparatus 30 obtains measurement results for each scan by repeating the above measurement at every fixed rotation angle while swinging in the horizontal direction with respect to the radar monitoring region R1. By collecting and analyzing these measurement results, it has a function of detecting the moving speed and position of the vehicle traveling on the road for each traveling vehicle.
[0020]
When a vehicle enters the radar monitoring region R1, the radar processing device 30 can detect all the vehicles that have entered. Further, the radar processing device 30 can also detect the approach direction of the detected vehicle by the moving speed and position detection function of the target object, and the notification area R3 is applied to the corresponding vehicle according to the detected approach direction or the notification area. Decide whether to apply R4. Then, it is determined whether or not the detected vehicle is within the range of the notification area determined as described above. If the detected vehicle is within the corresponding notification range, the speed of all the vehicles within the corresponding notification range with respect to the recognition device 20 is determined. And position (x in FIG. 13C)₁, X₂, Y₁) Information.
[0021]
In addition, it turns out that the said position is calculated with the following numerical formula here from FIG.
[0022]
[Expression 1]

In the above formula, l₁, L₂Is the three-dimensional distance from the radar device 30 to the target vehicle M (see FIGS. 13B and 13C), h is the height of the radar device 30 on the corresponding road (see FIG. 13B), α₁, Α₂Is the angle in the horizontal plane when the radar apparatus 30 detects the target vehicle M (see FIG. 13C), y_sIs a horizontal distance from the radar device 30 to the camera photographing area (see FIGS. 13A and 13C). Of these data, l₁, L₂, Α₁, Α₂Is data that can be detected by the functions of the radar device 30 and the radar processing device 40, and y_sIs a fixed value that can be measured in advance.
[0023]
9 and 10, different notification ranges R3 and R4 are set for the shooting region R2 of the fixed camera 10 depending on the moving direction of the vehicle for the following reason. That is, there is a slight time delay from the vehicle detection by the radar device 30 and the radar processing device 40 until the camera 20 is actually photographed by driving the camera 20 in the initial search processing unit 21 of the recognition unit 20 that has received the detection information. Exists. Therefore, when the vehicle M1 is traveling in a direction approaching the camera 10 as shown in FIG. 9, the notification area R3 is set at a position far from the camera 10 with respect to the imaging area R2, thereby the time delay Even if the vehicle M1 travels and approaches the camera 10, it does not deviate from the imaging region R2, and an image of the corresponding vehicle can be reliably captured at a predetermined resolution. Similarly, when the vehicle M2 is traveling away from the camera 10 as shown in FIG. 10, the notification area R4 is set at a position closer to the imaging area R2 from the camera 10, thereby reducing the time delay. Even if the vehicle M2 travels and is far from the camera 10, the shooting area R2 is not deviated and the vehicle can be reliably shot at a predetermined resolution.
[0024]
Next, the recognition device 20 that has received the notification signal transmits a shooting instruction signal to the camera 10 by the shooting request unit 21a of the initial search processing unit 21 to take a still image at that moment, and the shot image information. Is received by the 2D-3D coordinate conversion unit 21b. Further, the position coordinates (x₁, Y₁) And (x₂, Y₁) Is a coordinate (X) in pixel units on the still image obtained as described above through the following calculation by the 2D-3D coordinate conversion processing unit.₁, Y₁) And (X₂, Y₁).
[0025]
X₁≒ (x₁/ X_max) ・ X_pic
X₂≒ (x₂/ X_max) ・ X_pic
Y₁≒ (y₁/ Y_max) ・ Y_pic
Where x_maxIs the width of the imaging region R2 (see FIG. 13C), y_maxIs the length of the imaging region R2 (see FIG. 13A), X_picIs the number of pixels in the horizontal direction of the acquired still image (see FIG. 12B), Y_picIs the number of pixels in the vertical direction of the acquired still image (see FIG. 12B).
[0026]
Usually, since the height of the vehicle M is smaller than its width, the vehicle partial cutout processing unit 21c has coordinates (X in pixel units on the still image obtained by the 2D-3D coordinate conversion unit 21b.₁, Y₁), (X₂, Y₁) Height between the bottom and the following formula
Y2 = X₁-X₂
A target vehicle image portion (region surrounded by a broken line in FIG. 12B) is cut out from the acquired still image into a rectangular shape having The calculation processing by the two-dimensional to three-dimensional coordinate conversion processing unit 21b and the vehicle partial cut-out processing unit 21c is executed for each detected vehicle notified from the radar processing device 40.
[0027]
In this case, the size of the license plate information (width / height in pixel units) is uniquely determined according to the condition of the angle of view taken by the camera 10. With respect to the vehicle image cut out by the initial search processing unit 122, the pixel information corresponding to the edge portion is extracted by the edge detection units 22-1a and 22-2a, that is, the pixel information corresponding to the color / brightness between adjacent pixels is different by a certain level. Then, based on the information regarding the size of the uniquely obtained license plate information and the pixel information corresponding to the edge portion extracted by the edge detecting portion, the plate searching portions 22-1b and 22-2b correspond to the license plate. It is searched whether or not an image part matching the shape and size exists in the still image.
[0028]
That is, generally, information written on the license plate of the vehicle includes numbers and letters, and these numbers and letters information constitute an edge portion where the density on the photographed image changes suddenly, and thus corresponds to a specific license plate. If a portion including an edge portion in the size / shape is present in the captured image, it can be determined that the portion is an image portion corresponding to a license plate.
[0029]
If an image portion corresponding to the license plate exists as a result of the determination, the coordinate position (Px1, Py1, Px2, Py2) is stored. In addition, the character recognition units 22-1c and 22-2c are provided with the land support / classification / Characters included in the photographed image, that is, vehicle number information, are cut out for each hiragana / serial number and pattern matching is performed between the photographed image and character image information held in advance by predetermined software for each region. Recognize
[0030]
The vehicle number cut-out processing by the vehicle number cut-out processing units 22-1 and 22-2 can be performed in parallel, and is executed in parallel for the vehicle images cut out by the initial search processing unit 21, whereby the recognition device 20 The number information of all the vehicles that have passed can be recognized in a short time.
[0031]
As described above, according to the embodiment of the present invention, since the vehicle detection is performed by the radar processing device 40, the vehicle detection processing by image information processing every 1/30 seconds can be omitted as in the above-described conventional technology. . Therefore, the load on the CPU / MPU can be reduced, and the surplus processing capacity can be used for the car number cut-out process in the car number cut-out processing units 22-1 and 22-2. For this reason, it is possible to construct an image information processing system that enables recognition of the vehicle numbers of all passing vehicles when the vehicle is congested even by a CPU / MPU having a relatively low processing capability.
[0032]
In other words, the present invention is different from the prior art in that the radar processing unit 40 performs vehicle detection processing, so that the recognition device 20 itself does not need to perform timing determination processing for taking a still image, and sets the shooting direction of the passing vehicle in advance. There is no need. That is, since the recognition device 20 performs the initial search process by the initial search processing unit 21 in accordance with the approach direction of the corresponding passing vehicle included in the vehicle detection information from the radar processing device 40, it simultaneously detects vehicles with different approach directions. Even in this case, it is possible to perform information processing required by the initial search processing unit 21 without requiring an excessive amount of information processing. As a result, an image information processing system capable of capturing a single still image and recognizing the number information of each vehicle even when a plurality of vehicles enter the multiple lanes at the same time, has a relatively low processing performance. / MPU can be constructed.
[0033]
That is, in the present invention, the vehicle position is implemented by the radar device 30 and the radar processing device 40, the still image shooting timing is determined based on the detection information, and further, the vehicle position in the captured image can be specified. The work of searching for the vehicle image portion from the image can be greatly reduced. That is, in order to retrieve the vehicle image portion from the entire captured image, it is necessary to process all the pixels in the image. However, as in the present invention, the position of the vehicle portion in the image is previously determined by the function of the radar device and the radar processing device. Therefore, it is sufficient to process only the pixels in the specific portion, and the required pixel processing amount can be effectively reduced.
[0034]
Hereinafter, an actual operation example of the image information processing system according to the above-described embodiment of the present invention will be described in detail. First, as a first example, a case is assumed where one vehicle passes through a two-lane road on one side. FIG. 14 shows such a case. In this example, when one vehicle Ma enters the notification area R3 (see FIG. 9), as described above, based on the object detection information sequentially output from the radar apparatus 30 of the image information processing system shown in FIG. When the radar processing device 40 performs predetermined calculation processing, vehicle position information (xa1, ya1), (xa2, ya1) and the moving speed information Va of the vehicle Ma are obtained, and the vehicle position / speed information is recognized by the recognition device. 20 is notified.
[0035]
The recognizing device 20 that has received the data instructs the initial search processing unit 21 to instruct the still image recording camera 10 to acquire a photographed still image as shown in FIG. 14B, and further described with reference to FIG. According to the principle, the detected position information (xa1, ya1), (xa2, ya1) is converted into the coordinate data (Xa1, Ya1), (Xa2, Ya1) on the acquired still image, and based on the still image coordinate data. Then, a portion where the vehicle Ma is reflected (a portion surrounded by a broken line in FIG. 14B) is cut out. Thereafter, for example, the car number cut-out processing unit 22-1 executes a car number cut-out process on the cut-out vehicle image, and recognizes and outputs the number information of the vehicle.
[0036]
Next, as a second example, as shown in FIG. 15, a case is assumed in which two vehicles Ma and Mb pass in the same traveling direction on a road composed of two lanes L1 and L2 on one side. In this case, when two vehicles Ma and Mb in the same traveling direction enter the notification area R3 at the same time on the two-lane road on one side as shown in the figure, the radar processing device 40 uses the vehicle information [(xa1, ya1 ), (Xa2, ya1), Va] and [(xb1, yb1), (xb2, yb1), Vb] are acquired and notified to the recognition device 20. The recognizing device 20 that has received this data acquires the photographed still images (see FIG. 15B) of these detected vehicles via the still image recording camera 10 by the processing of the initial search processing unit 21, and is notified of the detected vehicles. The information [(xa1, ya1), (xa2, ya1), Va] and [(xb1, yb1), (xb2, yb1), Vb] are converted into still image coordinates [(Xa1, Ya1), (Xa2, Ya1), Va], and [(Xb1, Yb1), (Xb2, Yb1), Vb] after converting the image of the vehicle (portion surrounded by a broken line in FIG. 15B) Cut out each one. The two vehicle images clipped in this way are sent to the car number cut-out processing units 22-1 and 22-2, respectively, and the car number cut-out process is performed by parallel processing in these processing units. Recognize and output number information.
[0037]
Next, as a third example, as shown in FIG. 16, on the road with one lane on one side and two lanes L1 and L2, the vehicle Ma enters the notification area R3 (see FIG. 9) and at the same time the vehicle Mb Assume a case where the user enters the notification area R4 (see FIG. 10). In such a case, the radar processing device 40 has the vehicle information about the vehicles Ma and Mb, [(xa1, ya1), (xa2, ya1), Va] and [(xb1, yb1), (xb2, yb1), Vb] is acquired, and this is notified to the recognition device 20.
[0038]
The recognition device 20 that has received the data controls the still image recording camera 10 in the initial search processing unit 21 based on the data, causes the vehicle to be photographed, and acquires the still image (see FIG. 16B). Then, the notified detected vehicle information [(xa1, ya1), (xa2, ya1), Va] and [(xb1, yb1), (xb2, yb1), Vb] are converted into the coordinates [ (X1a, Y1a), (X1b, Y1b), Va], and [(X2a, Y2a), (X2b, Y2b), Vb]. A portion surrounded by a broken line in 16 (b) is cut out. The vehicle images thus cut out are subjected to vehicle number cut-out processing for each image by parallel processing by the vehicle number cut-out processing units 22-1 and 22-2, and the corresponding vehicle number information is recognized and output.
[0039]
In the fourth example, as shown in FIG. 17, when one vehicle M enters the notification area R3 across the lanes L1 and L2 on the road of the two lanes L1 and L2, the radar processing device 40 M vehicle information [(xa1, ya1), (xa2, ya1), Va] is acquired and notified to the recognition device 20. The recognizing device 20 that has received the data drives the still image recording camera 10 in the initial search processing unit 21 to obtain a still image of the corresponding vehicle, and the notified vehicle information [(xa1, ya1), (xa2, ya1), Va] are converted into coordinates [(X1a, Y1a), (X2a, Y1a), Va] on the still image, and a part in which the vehicle is shown based on these coordinates (broken line in FIG. 17B) Cut out the part surrounded by. The cut-out vehicle image is processed by, for example, the vehicle number cut-out processing unit 22-1, and the corresponding vehicle number information is recognized and output.
[0040]
In the embodiment of the present invention, since the horizontal position of the target vehicle can be detected as described with reference to FIG. 13C, the vehicle traveling across the diagonal line as in the case of the fourth example can be accurately detected. The position is detected, and the vehicle portion in the captured image can be correctly cut out as shown in FIG.
[0041]
As described above, according to the present invention, it is possible to automatically recognize the vehicle numbers of a plurality of lanes, and when several vehicles enter the plurality of lanes at the same time, or when vehicles of opposite traveling directions enter at the same time. Even in various situations such as when a vehicle passes across a lane, it is possible to realize a function of automatically recognizing the numbers of all vehicles simultaneously with one system.
[0042]
The embodiments of the present invention are not limited to those described above. For example, as shown in FIG. 7, the present invention can also be applied to a movable camera. In that case, it is possible to specify the position of the vehicle in the image captured by the camera and extract the desired image portion by combining the detection information of the radar device and the rotation angle information of the camera.
[0043]
The present invention includes configurations described in the following supplementary notes.
[0044]
(Appendix 1)
An image information processing system that extracts specific information of an object from a captured image obtained by capturing a moving object,
An object detection device using radar;
A calculation unit for calculating the position of the moving object based on detection information of the moving object by the object detection device;
An image information processing system including an image extraction unit that extracts an image portion related to the moving object in the captured image based on the position of the object obtained by the calculation unit.
[0045]
(Appendix 2)
The image information processing system according to appendix 1, further comprising: a specific information recognition device that recognizes specific information included in a predetermined position on the moving object from an image portion related to the moving object extracted by the image extraction unit.
[0046]
(Appendix 3)
The object detection device detects a plurality of moving objects that simultaneously pass through a predetermined region,
The calculation unit obtains the positions of the plurality of moving objects based on the detection information,
The image extraction unit extracts image portions related to the plurality of moving objects from the captured image based on the positions of the plurality of moving objects obtained by the calculation unit;
The image information processing system according to attachment 2, wherein the specific information recognition is configured to recognize specific information of each of the plurality of moving objects from an image portion related to the plurality of moving objects.
(Appendix 4)
The object detection device detects a plurality of moving objects that simultaneously pass through a predetermined region in different directions,
The calculation unit obtains the positions and moving speeds of the plurality of moving objects based on the detection result by the object detection device,
The image extraction unit extracts image portions related to the plurality of moving objects from the captured images acquired based on the positions and moving speeds of the plurality of moving objects obtained by the calculation unit,
The image information processing system according to Supplementary Note 2, wherein the specific information recognition is configured to recognize specific information of each of the plurality of moving objects from the extracted image portion regarding the plurality of moving objects.
(Appendix 5)
Further, among the supplementary notes 1 to 4, the image sensing device outputs a photographed image by photographing a predetermined region through which the moving object can pass at a predetermined timing based on detection information of the moving object of the object detection device. An image information processing system according to any one of the above.
[0047]
(Appendix 6)
The image information processing system according to any one of supplementary notes 1 to 5, wherein the moving object is a vehicle.
[0048]
(Appendix 7)
The image information processing system according to attachment 6, wherein the specific information included in the moving object is vehicle number information.
[0049]
(Appendix 8)
The arithmetic unit is configured to drive the imaging device to perform image shooting when it is determined by the detection information of the object detection device that the moving object has reached a predetermined notification area,
The predetermined notification area is set to a position relatively far from the imaging device when it is determined that the moving object is moving in a direction approaching the imaging device, and the moving object moves in a direction away from the imaging device. The image information processing apparatus according to appendix 5, wherein the image information processing apparatus is configured to be set at a position relatively close to the photographing apparatus when it is determined that the image is being captured.
[0050]
【The invention's effect】
According to the present invention, since the image acquisition and the image information analysis are performed based on the object detection information by the moving object detection means using the radar, the image acquisition timing and the image to be analyzed on the acquired image Processing such as region specification is performed by the moving object detection means. As a result, the image information processing target image portion, that is, the number of required pixels can be effectively narrowed down, and the amount of information processing required for image information processing can be effectively reduced. As a result, it is possible to provide an image information processing system that can perform information processing of a large number of moving objects at high speed.
[Brief description of the drawings]
FIG. 1 is a block diagram of a conventional image information processing system.
FIG. 2 is an operation flowchart of the image information processing system shown in FIG. 1;
3 is a diagram (No. 1) for explaining the processing contents of the image information processing system shown in FIGS. 1 and 2; FIG.
4 is a diagram (No. 2) for explaining the processing of the image information processing system illustrated in FIGS.
FIG. 5 is a diagram for explaining the configuration and processing of another conventional image information processing system.
6 is a diagram for explaining a problem of the system described in FIG. 5;
FIG. 7 is a diagram for explaining the configuration of another conventional image information processing system.
FIG. 8 is a block diagram for explaining a schematic configuration of an image information processing system according to an embodiment of the present invention;
9 is a diagram (No. 1) for explaining a monitoring area in the image information processing system shown in FIG. 8; FIG.
10 is a diagram (No. 2) for explaining a monitoring area in the image information processing system shown in FIG. 8; FIG.
11 is a block diagram showing a more detailed configuration of the recognition apparatus shown in FIG. 8. FIG.
12 is a diagram (No. 1) for describing the vehicle position search method by the recognition device shown in FIG. 11; FIG.
13 is a diagram (No. 2) for describing the vehicle position search method by the recognition device shown in FIG. 10; FIG.
FIG. 14 is a diagram (No. 1) for explaining an actual processing example in the image information processing system according to the embodiment of the present invention;
FIG. 15 is a diagram (No. 2) for explaining an actual processing example in the image information processing system according to the embodiment of the present invention;
FIG. 16 is a diagram (No. 3) for explaining the actual processing example in the image information processing system according to the embodiment of the present invention;
FIG. 17 is a diagram (No. 4) for describing an actual processing example in the image information processing system according to the embodiment of the present invention;
[Explanation of symbols]
10 Camera for taking still pictures
20 recognition device
21 Initial search processing section
22-1 and 22-2 Car number cut-out processing section
30 Radar equipment

Claims

An image processing system for extracting specific information each of the plurality of moving objects have the same photographic image obtained by photographing a plurality of moving objects,
An object detection device that uses a radar to detect a plurality of moving objects that simultaneously pass through a predetermined area;
Based on the detection information of the plurality of moving objects by said object detection device, a calculation unit for determining the position of each of the plurality of moving objects by the calculation,
Based on the respective positions of the plurality of moving objects obtained by the calculation unit , the coordinate information on the same captured image of each of the plurality of moving objects is obtained, and the same based on the coordinate information. an image extraction unit that the photographed image extracting an image portion of each of the plurality of moving objects,
Specific information for recognizing specific information of each of the plurality of moving objects included in a predetermined position of each of the plurality of moving objects, from each image portion of the plurality of moving objects extracted by the image extraction unit. An image information processing system comprising a recognition device .

The object detection device detects a plurality of moving objects that simultaneously pass through a predetermined region in different directions,
The calculation unit obtains the position and the moving speed of each of the plurality of moving objects based on the detection information by the object detection device,
The image extraction unit-out based on the position and the moving speed of each of the plurality of moving objects obtained by the calculation unit, out extract the image portion of each of the plurality of moving objects from the same photographic image,
The specific information recognition device image information processing system according to claim 1 which recognizes structure specific information of each of the plurality of moving objects from the image portion of each of the plurality of moving objects that are the extracted.

Further, the imaging device is configured to capture a predetermined region through which the plurality of moving objects can pass at a predetermined timing based on the detection results of the plurality of moving objects of the object detection device, and output the same captured image. The image information processing system according to claim 1 or 2 .