JP3686333B2 - Moving image processing camera and image processing system using the same - Google Patents

Moving image processing camera and image processing system using the same Download PDF

Info

Publication number
JP3686333B2
JP3686333B2 JP2000391339A JP2000391339A JP3686333B2 JP 3686333 B2 JP3686333 B2 JP 3686333B2 JP 2000391339 A JP2000391339 A JP 2000391339A JP 2000391339 A JP2000391339 A JP 2000391339A JP 3686333 B2 JP3686333 B2 JP 3686333B2
Authority
JP
Japan
Prior art keywords
image processing
moving
moving body
moving image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000391339A
Other languages
Japanese (ja)
Other versions
JP2002199382A (en
Inventor
淳 黒田
哲也 塘中
秀夫 浦田
祥史 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2000391339A priority Critical patent/JP3686333B2/en
Publication of JP2002199382A publication Critical patent/JP2002199382A/en
Application granted granted Critical
Publication of JP3686333B2 publication Critical patent/JP3686333B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像を処理する動画像処理カメラ及びこれを用いた画像処理システムに関する。
【０００２】
【従来の技術】
従来、定点に設置されたカメラを用いて移動体を監視する監視システムが知られている。この監視システムは、例えば図１１に示すように、複数の撮像サブシステムと中央処理装置（以下、「ＣＰＵ」という）５６とから構成されている。各撮像サブシステムは、カメラ５０、送信機５１、送信アンテナ５２、受信アンテナ５３、受信機５４及び画像処理装置５５から構成されている。
【０００３】
カメラ５０は、通常のビデオカメラと同様に、光学系から入力された光学像を、固体撮像デバイスで光電変換することにより映像信号を生成する。このカメラ５０で生成された映像信号は、送信機５１に送られる。
【０００４】
送信機５１は、カメラ５０からの映像信号を変調して送信アンテナ５２に送る。送信アンテナ５２は、変調された映像信号を電磁波として空中に放射する。受信アンテナ５３は、空中に放射された電磁波を受信して受信機５４に送る。受信機５４は、受信アンテナ５４からの信号を復調して映像信号を再生し、画像処理装置５５に送る。
【０００５】
画像処理装置５５は、Ａ／Ｄ変換器６０、移動体検知部６１及び識別部６２から構成されている。Ａ／Ｄ変換器６０は、受信機５４で復調されたアナログの映像信号をデジタル信号に変換し、デジタル映像データとして移動体検知部６１に送る。移動体検知部６１は、受け取ったデジタル映像データから移動体領域を求め、この求められた移動体領域のデジタル映像データ移動体候補を検知する。この移動体検知部６１での検知結果は識別部６２に送られる。
【０００６】
識別部６２は、移動体検知部６１で検知された移動体候補が車であるか、人であるか或いは誤検知であるか等を識別する。この識別部６２による識別結果は、画像処理装置５５の出力としてＣＰＵ５６に送られる。ＣＰＵ５６は、この画像処理装置５５からの識別結果に基づいて、種々の処理を行う。
【０００７】
【発明が解決しようとする課題】
ところで、上述した従来の監視システムでは、各撮像サブシステムはカメラ及び画像処理装置を含むので、カメラの台数を増やすに連れて画像処理装置の台数も増やす必要がある。その結果、カメラの台数の増加に対する、監視システムのコストの増加率が大きいという問題がある。
【０００８】
また、高速で移動する移動体（以下、「高速移動体」という）を撮像するために、フレームレートの高い高速カメラを用いると、この高速カメラから得られた動画像データを伝送するための伝送ラインを高速伝送に対応できるものにする必要があり、コストが大きくなるという問題がある。
【０００９】
本発明は上述した問題を解消するためになされたものであり、その目的は、安価な画像処理システムの構築に好適な動画像処理カメラを提供することにある。
【００１０】
【課題を解決するための手段】
本発明の第１の態様に係る動画像処理カメラは、上記目的を達成するために、撮像により得られた画像データから映像データを生成する映像生成部と、前記画像データから移動体を検知する移動体検知部と、前記映像生成部で生成された映像データ及び前記移動体検知部で検知された移動体の画像データを送出する通信インタフェース、とを備えている。
【００１１】
この動画像処理カメラによれば、撮像により得られた画像データを処理することによって移動体が検知される。そして、その検知された移動体の画像データが通信インタフェースを介して外部に送出される。従って、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体検知を行う必要がなく、移動体を識別するための移動体識別処理だけを行えばよい。この移動体識別処理は、各動画像処理カメラで共通化できる。従って、複数の動画像処理カメラに対して１つの画像処理装置を用意すればよいので、動画像処理カメラの台数の増加に対する画像処理システムのコストの増加率を抑えることができる。
【００１２】
また、この動画像処理カメラが適用された画像処理システムでは、移動体を識別するために、撮像により得られた画像データの全てを画像処理装置に送る必要はなく、移動体の画像データだけを送ればよい。従って、高速移動体を撮像するためにフレームレートの高い高速カメラを用いた場合であっても、伝送すべき画像データの量は少ないので、高速カメラから画像処理装置に画像データを伝送するための伝送ラインを高速伝送に対応できるものにする必要はない。その結果、画像処理システムのコスト上昇を回避できる。
【００１３】
また、この第１の態様に係る動画像処理カメラにおいて、前記通信インタフェースは、前記映像生成部で生成された映像データ及び前記移動体検知部で検知された移動体の画像データをデジタル信号で送出するように構成できる。この構成によれば、この動画像処理カメラが適用された画像処理システムの画像処理装置は、動画像処理カメラから受け取った映像データ及び移動体の画像データをデジタル化する必要はないので、画像処理システムを簡単且つ安価に構成できる。
【００１４】
また、この第１の態様に係る動画像処理カメラにおいて、前記通信インタフェースは、前記映像生成部で生成された映像データ及び前記移動体検知部で検知された移動体の画像データをアナログ信号で送出するように構成できる。この構成によれば、動画像処理カメラから画像処理装置への伝送ラインとしてアナログ伝送ラインを用いることができるので、伝送ラインを安価に構成できる。
【００１５】
この場合、前記移動体検知部で検知された移動体の画像データに基づいて該移動体の状態を表す移動体情報を算出する算出部と、該算出部で算出された前記移動体情報を前記映像生成部で生成された映像データに重畳する重畳部、とを更に備え、前記通信インタフェースは、該重畳部からの前記移動体情報が重畳された映像データを送出するように構成できる。この構成によれば、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体情報の算出処理を行う必要がないので、画像処理装置の構成が簡単になりコストを低減させることができる。
【００１６】
また、前記算出部は、前記移動体検知部で検知された移動体の座標を算出する座標算出部と、前記移動体検知部で検知された移動体の移動速度を検出する速度検出部、とを含み、前記重畳部は、前記移動体検知部での移動体の検知の有無、前記座標検出部で検出された移動体の座標及び前記速度検出部で検出された移動体の移動速度の少なくとも１つを前記移動体情報として前記映像生成部で生成された映像データに重畳するように構成できる。この構成によれば、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体の座標の算出処理及び移動体の移動速度の検出処理を行う必要がないので、画像処理装置の構成が簡単になりコストを低減させることができる。
【００１７】
また、前記重畳部は、前記移動体情報を、画像データ及びデジタルデータの少なくとも１つで表したラベリング情報として前記映像生成部で生成された映像データに重畳するように構成できる。この構成によれば、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体に関する情報を文字で表示させることができ、またデジタルデータとして取り込むこともできる。
【００１８】
また、この第１の態様に係る動画像処理カメラは、前記通信インタフェースから出力されるデータを無線で送信する無線送信手段、を更に備えて構成できる。この構成によれば、この動画像処理カメラが適用された画像処理システムにおいて、動画像処理カメラの配置の自由度が増すので、画像処理システムの構築が容易になる。
【００１９】
また、この第１の態様に係る動画像処理カメラにおいて、前記移動体検知部は、外部からの指示に応答して処理内容を変更するように構成できる。この構成によれば、この動画像処理カメラを多目的、例えば車両の検知、人の監視、プラントの異常監視、車両や人の追跡等の目的に使用できる。
【００２０】
また、この第１の態様に係る動画像処理カメラは、ズーム機構と、該ズーム機構にズーム撮影の指示を与える指示手段、とを更に備えて構成できる。この構成によれば、目的とする被写体を詳細に撮像することができる。
【００２１】
また、この第１の態様に係る動画像処理カメラは、パン機構と、該パン機構にパン撮影の指示を与える第１指示手段と、チルト機構と、該チルト機構にチルト撮影の指示を与える第２指示手段、とを更に備えて構成できる。この構成によれば、例えば移動体を追跡するような応用が可能になる。
【００２２】
また、本発明の第２の態様に係る画像処理システムは、上記目的を達成するために、上述した動画像処理カメラと、該動画像処理カメラの前記通信インタフェースから送出された前記移動体の画像データに基づいて移動体を識別する識別部、とを備えて構成されている。この画像処理システムによれば、上述した安価に構成できる動画像処理カメラを使用しているので、画像処理システムを安価に構成できる。
【００２３】
この画像処理システムの前記識別部は、識別結果に基づいて課金処理を実行する車両検知センタにより構成されている。この画像処理システムによれば、車両検知センタでは、動画像処理検知カメラからの移動体の画像データに基づいて課金処理を実行できるので、該車両検知センタでの負荷が軽減される。その結果、画像処理システム全体のパフォーマンスを向上させることができる。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。
【００２５】
（実施の形態１）
本発明の実施の形態１に係る動画像処理カメラは、イメージセンサから得られた動画像データを処理することにより移動体を検知し、その検知された移動体の画像データを外部に出力する。
【００２６】
図１は、この実施の形態１に係る動画像処理カメラ１が適用された監視システムの構成を示すブロック図である。この監視システムは、本発明の画像処理システムに対応する。この監視システムは、動画像処理カメラ１、Ａ／Ｄ変換器２、画像処理装置３、ＣＰＵ４及びモニタテレビジョン（モニタＴＶ）５から構成されている。動画像処理カメラ１は、アナログ伝送ライン３０及びデジタル伝送ライン３１を介して画像処理装置３に接続されている。
【００２７】
なお、画像処理装置３には、動画像処理カメラ１、Ａ／Ｄ変換器２及びモニタテレビジョン５から成る撮像サブシステムが複数接続される。各撮像サブシステムは同一であるので、以下では、１つの撮像サブシステムが画像処理装置３に接続される場合について説明する。
【００２８】
動画像処理カメラ１は、光学系１０、イメージセンサ１１、駆動回路１２、Ａ／Ｄ変換器１３、データ処理部１４、アナログ通信インタフェースとしてのＤ／Ａ変換器１５及びデジタル通信インタフェース（Ｉ／Ｆ）１６から構成されている。
【００２９】
光学系１０は、レンズ、プリズム、光学フィルタといった周知の光学素子から構成されており、光学像をイメージセンサ１１上に結像させる。
【００３０】
イメージセンサ１１は、駆動回路１２からの駆動信号に応答して、光学系１０からの光学像を光電変換してアナログ動画像信号を生成する。このイメージセンサ１１で生成されたアナログ動画像信号は、Ａ／Ｄ変換器１３に送られる。イメージセンサ１１としては、ＣＣＤ形デバイス、ＭＯＳ形デバイス、その他の固体撮像デバイスを用いることができる。
【００３１】
駆動回路１２は、データ処理部１４からの制御信号に基づいて上述した駆動信号を生成する。この駆動信号は、イメージセンサ１１から単位時間に出力されるフレーム数、即ちフレームレートを規定するための信号、例えばドットクロック信号、水平同期信号（ＨＤ）、垂直同期信号（ＶＨ）等を含む。
【００３２】
なお、本明細書では、３０枚／秒のフレームレートを標準フレームレート、３０枚／秒より大きいフレームレートを高速フレームレート、３０枚／秒より小さいフレームレートを低速フレームレートという。この動画像処理カメラでは、フレームレートは、１０〜１２０枚／秒の範囲で可変である。
【００３３】
Ａ／Ｄ変換器１３は、イメージセンサ１１からのアナログ動画像信号をデジタル動画像信号に変換する。このＡ／Ｄ変換器１３から出力されるデジタル動画像信号は、動画像データとしてデータ処理部１４に供給される。
【００３４】
データ処理部１４は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific IC）等によって構成できる。このデータ処理部１４は、映像生成部２０及び移動体検知部２１から構成されている。映像生成部２０は、Ａ／Ｄ変換器１３から送られてくる動画像データからデジタル映像データを生成し、Ｄ／Ａ変換器１５に送る。また、移動体検知部２１は、Ａ／Ｄ変換器１３から送られてくる動画像データから移動体を検出し、移動体の画像データをデジタル通信インタフェース１６に送る。この移動体の検出処理の詳細は、後述する。なお、データ処理部１４は、上記以外に、フレームレートを制御するための制御信号を生成して駆動回路１２に供給する処理も行う。
【００３５】
Ｄ／Ａ変換器１５は、データ処理部１４の映像生成部２０からのデジタル動画像信号をアナログ動画像信号に変換し、例えばＮＴＳＣ方式でアナログ伝送ライン３０に送出する。
【００３６】
デジタル通信インタフェース１６は、データ処理部１４の移動体検知部２１からのデジタル動画像信号及びその他のデジタル信号をデジタル伝送ライン３１を介して画像処理装置３に送出すると共に、デジタル伝送ライン３１からの信号をデータ処理部１４へ供給する。このデジタル通信インタフェース１６としては、ローカルエリアネットワーク（ＬＡＮ）インタフェース、ＩＥＥＥ１３９４インタフェース、シリアルインタフェース、パラレルインタフェース、ＵＳＢインタフェース等を用いることができる。
【００３７】
この動画像処理カメラ１は、このデジタル通信インタフェース１６を介して外部の画像処理装置に接続できるようになっている。従って、この動画像処理カメラ１は、例えばＬＡＮによって他の複数の装置に接続できるので画像処理システムを構築するのに好適である。
【００３８】
画像処理システムを構成するＡ／Ｄ変換器２は、動画像処理カメラ１からアナログ伝送ライン３０を介して送られてくるアナログ映像信号をデジタル映像信号に変換して画像処理装置３に供給する。
【００３９】
画像処理装置３は、例えばＦＰＧＡ、ＡＳＩＣ等によって専用カードとして構成されている。この画像処理装置３は、動画像処理カメラ１から送られてきた移動体の画像データに基づいて、その移動体が車であるか、人であるか或いは誤検知であるか等を識別する移動体識別処理を実行する。
【００４０】
ＣＰＵ４は、画像処理装置３の起動及び停止、画像処理装置３へのパラメータの設定等を行う。このＣＰＵ４と画像処理装置３とは、例えばＣＰＣＩバスによって接続される。なお、画像処理装置３で実行される移動体識別処理が軽負荷である場合は、移動体識別処理の全てをＣＰＵ４で実行するように構成できる。この構成によれば、画像処理装置３が不要になるので画像処理システムを小規模且つ安価に構成できる。
【００４１】
モニタテレビジョン５はオプションであり、アナログ伝送ライン３０に接続される。ユーザは、このモニタテレビジョン５を見ることによって、動画像処理カメラが捉えている被写体を確認できる。
【００４２】
次に、以上のように構成される画像処理システムの動作を、動画像処理カメラ１の動作を中心に説明する。
【００４３】
通常の状態では、駆動回路１２は、イメージセンサ１１を標準フレームレートで動作させるための駆動信号を生成し、イメージセンサ１１に供給する。これにより、イメージセンサ１１は、１／３０秒毎に１フレーム分のアナログ動画像信号を出力する。このアナログ動画像信号はＡ／Ｄ変換器１３でデジタル動画像信号に変換され、動画像データとしてデータ処理部１４の映像生成部２０及び移動体検知部２１に供給される。
【００４４】
映像生成部２０は、入力された動画像データを順次デジタル映像信号に変換し、Ｄ／Ａ変換器１５に供給する。Ｄ／Ａ変換器１５は、受け取ったデジタル映像信号をアナログ映像信号に変換してアナログ伝送ライン３０に送出する。Ａ／Ｄ変換器２は、このアナログ伝送ライン３０から伝送されてくるアナログ映像信号をデジタル映像信号に変換して画像処理装置３に送る。画像処理装置３は、このＡ／Ｄ変換器２からのデジタル映像信号に基づいて、後述する移動体識別処理以外の種々の処理を行う。
【００４５】
モニタテレビジョン５がアナログ伝送ライン３０に接続されている場合は、モニタテレビジョン５は、アナログ伝送ライン３０に流れているアナログ映像信号に基づいて画像を表示する。
【００４６】
移動体検知部２１は、入力された動画像データを入力画像として順次メモリ（図示省略）の入力画像エリアに格納する。
【００４７】
次いで、移動体検知部２１は、Ａ／Ｄ変換器１３から動画像データを受け取る毎に移動体検知処理及び速度マップ導出処理を実行する。
【００４８】
移動体検知の原理を図２に示す。この移動体検知処理では、背景画像と入力画像との差が計算される。この計算結果がゼロの場合は、入力画像は背景画像と同じであるので移動体が検知されなかった旨が判断される。一方、計算結果がゼロでない場合は、移動体が検知された旨が判断される。
【００４９】
速度マップ導出の原理を図３に示す。この速度マップ導出処理では、時刻ｔの入力画像と時刻ｔ＋１の入力画像とを比較することにより移動ベクトルの画面上の分布、即ちオプティカルフローが生成される。そして、このオプティカルフローを利用して移動体の実際の移動速度及び方向を表す速度マップが導出される。
【００５０】
以上の原理に基づく移動体検知部２１の動作を図４を参照しながら説明する。移動体検知部２１は、先ず、メモリに格納された入力画像のぶれ修正、つまり動画像処理カメラのぶれに起因する入力画像の乱れの補正を行う。このぶれ修正がなされた入力画像は、時刻ｔの入力画像Ｉ（ｔ）としてメモリに記憶される。
【００５１】
次いで、図２を参照して説明したように、メモリの背景画像エリアに格納されている背景画像とメモリの入力画像エリアに格納されている入力画像Ｉ（ｔ）との差を計算することにより背景差分が求められる。そして、この背景差分が所定値より大きい場合は、移動体が検知された旨が判断され、移動体領域と背景領域とが求められる。この求められた移動体領域の画像は、メモリの移動体領域画像エリアに格納される。一方、上記背景差分が上記所定値以下の場合は、移動体が検知されなかった旨が判断され、メモリの移動体領域画像エリアにはゼロが格納される。
【００５２】
また、メモリの背景画像エリアに格納されている背景画像を更新するかどうかは、上記背景差分を所定のしきい値と比較することにより判断される。例えば、今、入力画像をＩ（ｔ）、背景画像をＢ（ｔ）とすると、背景画像は、「Ｂ（ｔ＋１）＝αＩ（ｔ）＋（１−α）Ｂ（ｔ）」の条件で更新される。ここで、αは０≦α≦１であり、移動体領域及び背景領域に応じて決められる値である。なお、背景画像を更新するかどうかは、時刻ｔとｔ−１の入力画像の差分である時間差分に基づいて決定することもできる。以上の処理により移動体検知処理が完了する。
【００５３】
次に、動画像データが入力されると、その動画像データが時刻ｔの入力画像Ｉ（ｔ）になり、それまでの入力画像Ｉ（ｔ）が時刻ｔ−１の入力画像Ｉ（ｔ−１）になる。この状態で、図３を参照して説明したように、時刻ｔの入力画像Ｉ（ｔ）と時刻ｔ−１の入力画像Ｉ（ｔ−１）とが比較されてオプティカルフローが生成される。そして、このオプティカルフローを利用して移動体の実際の移動速度及び方向を表す速度マップが導出される。この導出された速度マップはメモリの速度マップ領域に格納される。以上により、速度マップ導出処理が完了する。
【００５４】
なお、移動体の移動速度は、前回の移動体検知処理で抽出された移動体の画像と今回の移動体検知処理で抽出された移動体の画像との間の動画像上における距離と、その時点におけるフレームレートとに基づいて求めることもできる。
【００５５】
この移動体検知処理により得られた移動体の動画像データは、デジタル通信インタフェース１６を介してデジタル伝送ライン３１に送出される。画像処理装置３は、このデジタル伝送ライン３１から送られてくる移動体の画像データを取り込み移動体の識別処理を行う。この識別処理では、移動体の画像データが車であるか、人であるか或いは誤検知であるか等を識別する。
【００５６】
この移動体検知部２１による速度マップ導出処理が終了すると、データ処理部１４は、フレームレートの変更処理を行う。このフレームレート変更処理では、上述した速度マップ導出処理で導出された移動速度が所定値以下であれば、データ処理部１４は、標準フレームレートに対応する制御信号を生成して駆動回路１２に供給する。これにより、動画像処理カメラは、標準フレームレートで動作する。一方、上記移動速度が所定値より大きければ、データ処理部１４は、高速フレームレートに対応する制御信号を生成して駆動回路１２に供給する。これにより、フレームレート変更処理が完了し、以後、動画像処理カメラは高速フレームレートで動作する。この構成によれば、動画像処理カメラは、通常は標準フレームレートで動作し、高速移動体が検知されると高速フレームレートで動作するので、高速移動体を精度よく検出できる。
【００５７】
また、データ処理部１４は、動画像データをＤ／Ａ変換器１５を介して外部に送出する場合、その時点で高速フレームレートに設定されていれば、フレームを間引いて送出する。即ち、データ処理部１４は、通常は標準フレームレートで撮像された動画像を１／３０秒毎に高解像度で出力するが、高速フレームレートに変更された場合は、ＮＴＳＣ方式に従ったビデオレートになるようにフレームを間引いて送出する。この構成により、Ｄ／Ａ変換器１５に既存のモニタテレビジョン５をそのまま接続できる。
【００５８】
以上説明したように、この実施の形態１に係る動画像処理カメラによれば、イメージセンサ１１から得られた動画像データを、この動画像処理カメラに内蔵されるデータ処理部１４の移動体検知部２１で処理することによって、その動画像に含まれる移動体が検知される。そして、その検知された移動体の画像データがデジタル通信インタフェース１６を介して外部に送出される。従って、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体検知を行う必要がなく、移動体を識別するための移動体識別処理だけを行えばよい。この移動体識別処理は、各動画像処理カメラで共通化できる。従って、複数の動画像処理カメラに対して１つの画像処理装置を用意すればよいので、動画像処理カメラの台数の増加に対する画像処理システムのコストの増加率を抑えることができる。
【００５９】
（実施の形態２）
本発明の実施の形態２に係る動画像処理カメラは、検知された移動体の画像データのみならず映像データをもデジタル信号で外部に送出するようにしたものである。
【００６０】
図５は、この実施の形態２に係る動画像処理カメラが適用された監視システムの構成を示すブロック図である。この監視システムで使用される動画像処理カメラは、実施の形態１に係る動画像処理カメラ（図１参照）からＤ／Ａ変換器１５及びデジタル通信インタフェース１６が除去され、代わりにデジタル通信インタフェース１７が追加されている。以下、実施の形態１に係る動画像処理カメラと異なる部分を中心に説明する。
【００６１】
デジタル通信インタフェース１７は、デジタル伝送ライン３２を介して画像処理装置３に接続されている。このデジタル通信インタフェース１７は、映像生成部２０からの動画像データ及び移動体検知部２１からの移動体の画像データを入力し、デジタル信号でデジタル伝送ライン３２に送出する。この際、上記動画像データ及び移動体の画像データの各々にはデータの種類を識別するための識別フラグが付されて送出される。
【００６２】
画像処理装置３は、デジタル伝送ライン３２からデータを受け取った際に、この識別フラグを参照することにより、受け取ったデータが動画像データであるか又は移動体の画像データであるかかを判断する。
【００６３】
以上のように構成される動画像処理カメラが適用された監視システムの動作は、動画像データがデジタル信号で画像処理装置３に送られることを除けば、上述した実施の形態１に係る監視システムの動作と同じである。
【００６４】
この実施の形態２に係る動画像処理カメラによれば、監視システムの画像処理装置は、動画像処理カメラから受け取った映像データ及び移動体の画像データをデジタル化する必要はないので、画像処理システムを安価に構成できる。
【００６５】
（実施の形態３）
本発明の実施の形態３に係る動画像処理カメラは、検知された移動体の状態を表す移動体情報を、その動画像に重畳して外部に送出する。
【００６６】
図６は、この実施の形態３に係る動画像処理カメラが適用された監視システムの構成を示すブロック図である。この監視システムで使用される動画像処理カメラは、実施の形態１に係る動画像処理カメラ（図１参照）からＤ／Ａ変換器１５及びデジタル通信インタフェース１６が除去され、代わりにＡ／Ｄ変換器１８が追加されている。以下、実施の形態１の動画像処理カメラと異なる部分を中心に説明する。
【００６７】
Ａ／Ｄ変換器１８は、アナログ伝送ライン３３を介して画像処理装置３に接続されている。このＡ／Ｄ変換器１８は、映像生成部２０からの動画像データ及び移動体検知部２１からの移動体の画像データを入力し、アナログ信号でアナログ伝送ライン３３に送出する。この際、上記動画像データ及び移動体の画像データの各々にはデータの種類を識別するための識別フラグが付されて送出される。
【００６８】
画像処理装置３は、アナログ伝送ライン３３からデータを受け取った際に、この識別フラグを参照することにより、受け取ったデータが動画像データであるか又は移動体の画像データであるかを判断する。
【００６９】
以上のように構成される実施の形態３に係る動画像処理カメラは、実施の形態１に係る動画像処理カメラの動作に加えて、以下の動作が追加されている。
【００７０】
即ち、実施の形態１で説明した移動体検知処理が完了すると、データ処理部１４は、ラベリング情報の生成処理を実行する。即ち、メモリの移動体領域画像エリアを参照することによって移動体が検知された旨が判断されると、その移動体の画像に番号が付与されると共に、その移動体の画面上での座標（Ｘ、Ｙ）、重心、面積、移動方向、移動速度等がラベリング情報として算出される。これらの算出は、メモリの移動体領域画像エリアに格納された移動体の画像及びメモリの速度マップ領域に格納された速度マップに基づいて行われる。
【００７１】
次いで、データ処理部１４の映像生成部２０は、ラベリング情報の重畳処理を実行する。即ち、データ処理部１４は、図７（Ａ）に一例を示すように、上記ラベリング情報を画像データに変換し、メモリから読み出された入力画像上に書き込む。なお、図７（Ａ）は、ラベリング情報の一例として、移動体の有無、座標（Ｘ、Ｙ）及び移動速度だけが重畳される場合の例を示している。
【００７２】
次いで、データ処理部１４は、ラベリング情報が重畳された動画像データを、Ｄ／Ａ変換器１８に供給する。Ｄ／Ａ変換器１８は、この動画像データをアナログ動画像信号に変換し、アナログ伝送ライン３３に送出する。その後、データ処理部１４は、実施の形態１で説明したと同様の速度マップ導出処理及びフレームレート変更処理を実行する。なお、このアナログ伝送ライン３３にモニタテレビジョン５が接続されていると、ユーザは、現在動画像処理カメラで撮影されている画像を見ることができると共に、検知された移動体の状態（速度及び位置）を知ることができる。
【００７３】
一方、データ処理部１４の移動体検知部２１は、実施の形態１で説明した手順で移動体を検知し、検知された移動体の画像データをＤ／Ａ変換器１８に送る。Ｄ／Ａ変換器１８は、この移動体の画像データをアナログ画像信号に変換し、アナログ伝送ライン３３に送出する。
【００７４】
画像処理装置３は、このアナログ伝送ライン３３から送られてくるラベリング情報が重畳された動画像データ及び移動体の画像データを取り込み移動体の識別処理を行う。この識別処理では、ラベリング情報を考慮して、移動体の画像データが車であるか、人であるか或いは誤検知であるか等を識別する。
【００７５】
なお、ラベリング情報は、画像データとしてではなく、デジタルデータとして動画像データと一緒に送出するように構成できる。この場合、例えば図７（Ｂ）に示すように、動画像の端部にラベリング情報表示領域を設け、この領域にデジタルデータでラベリング情報を書き込む。この構成によれば、この動画像処理カメラに接続された画像処理装置は、デジタルデータとして受け取ったラベリング情報をそのまま種々の処理に利用できる。
【００７６】
以上説明したように、この実施の形態３に係る動画像処理カメラによれば、イメージセンサ１１から得られた動画像に含まれる移動体が検知される。そして、その検知された移動体に関する情報が算出され、動画像に重畳されて外部に送出される。従って、この動画像を受け取った外部の画像処理装置３では移動体検知処理や移動体情報の算出処理を行う必要がないので、画像処理装置の構成が簡単になりコストを低減させることができる。
【００７７】
（実施の形態４）
本発明の実施の形態４に係る動画像処理カメラは、撮像により得られた映像データ及び検知された移動体の画像データを無線で画像処理装置に送信する。
【００７８】
図８は、この実施の形態４に係る動画像処理カメラが適用された監視システムの構成を示すブロック図である。この監視システムでは、動画像処理カメラ１と画像処理装置３との間の通信路が無線で構成されている。
【００７９】
この通信路は、送信機６、送信アンテナ７、受信アンテナ８及び受信機９で構成されている。送信機６は、動画像処理カメラ１のＤ／Ａ変換器１５からの映像データ及びデジタル通信インタフェース１７からの移動体の画像データを変調し、送信アンテナ７を介して電磁波として空中に放射する。受信アンテナ５３は、空中に放射された電磁波を受信して受信機９に送る。受信機９は、受信アンテナ８からの信号を復調して映像データ及び移動体の画像データを再生し、Ａ／Ｄ変換器２及び画像処理装置３にそれぞれ送る。上記以外の構成及び動作は、実施の形態１のそれらと同じである。
【００８０】
以上説明したように、この実施の形態４に係る動画像処理カメラが適用された監視システムによれば、動画像処理カメラの配置の自由度が増すので、監視システムの構築が容易になる。
【００８１】
（実施の形態５）
本発明の実施の形態５に係る動画像処理カメラは、データ処理部で実行される処理内容を変更できるようにしたものである。
【００８２】
この実施の形態５に係る動画像処理カメラでは、データ処理部１４は、図９に示すように、ＲＯＭとＦＰＧＡとによって構成されている。ＲＯＭは４つの領域に区切られており、各領域には、ＦＰＧＡの構成を決定するためのコンフィグレーションデータＤ１〜Ｄ４が記憶されている。コンフィグレーションデータＤ１、Ｄ２、Ｄ３及びＤ４は、ＦＰＧＡを車両の検知用、人の検知用、プラントの異常監視用及び追跡用にそれぞれ構築するためのデータである。
【００８３】
このＲＯＭに形成された４つの領域の何れか１つは、図示しないモード設定用スイッチから供給される選択信号によって選択される。そして、選択された領域に記憶されているコンフィグレーションデータがアクティブにされ、ＦＰＧＡはそのコンフィグレーションデータに従った回路になるように構築される。
【００８４】
今、図示しないモード設定用スイッチによってＲＯＭ内のコンフィグレーションデータＤ１が選択されたと仮定すると、ＦＰＧＡには車両（移動体）の検知を実行する回路が構築される。これにより、ＦＰＧＡは、上述した各実施の形態で説明したような、移動体検知処理、速度マップ導出処理、ラベリング情報の生成処理、ラベリング情報の重畳処理、フレームレートの変更処理等を実行できる状態に設定される。
【００８５】
以上説明したように、この実施の形態５に係る動画像処理カメラによれば、簡単な操作により、動画像処理カメラを多目的、例えば車両の検知、人の監視、プラントの異常監視、車両や人の追跡等の目的に使用できる。
【００８６】
なお、この実施の形態５では、複数のコンフィグレーションデータをＲＯＭに記憶しておき、モード設定用スイッチで選択された１つのコンフィグレーションに従ってＦＰＧＡの回路を構築するようにしたが、外部の画像処理装置からデジタル通信インタフェース１６を介してＦＰＧＡにコンフィグレーションデータを供給するように構成してもよい。この構成によれば、ＲＯＭやモード設定用スイッチが不要になるので、動画像処理カメラの構成が簡単になると共に、動画像処理カメラのリモートコントロールが可能になる。
【００８７】
（実施の形態６）
本発明の実施の形態６に係る動画像処理カメラは、ズーム機構を備えたものである。ズーム機構の構造は周知であるので図示は省略する。この実施の形態６に係る動画像処理カメラは、このズーム機構を作動させるタイミングに特徴がある。
【００８８】
このズーム機構が搭載された動画像処理カメラの電気的な構成は、データ処理部１４からズーム機構に対してズーム制御信号が供給される点を除けば、図１に示した構成と同じである。
【００８９】
ズーム機構は、データ処理部１４からのズーム制御信号に応答して作動する。即ち、データ処理部１４は、実施の形態１で説明したように、イメージセンサ１１からの動画像中に移動体を検知すると、ズーム制御信号をズーム機構に供給する。これにより、ズーム機構が作動して拡大された移動体の光学像がイメージセンサ１１上に結像される。この際、ズームアップ及びズームダウンの制御は、実施の形態１で説明した移動体検知処理によって抽出された移動体の大きさに基づいて行うことができる。
【００９０】
この実施の形態６に係る動画像処理カメラによれば、移動体が検知された場合にズーム機構を作動させることにより、直ちにその移動体の詳細を撮像することができる。従って、例えば移動体を撮像することを目的とする画像処理システムでは、その移動体が、動画像処理カメラの設置点の近傍の好適な撮像ポイントに到達するまで待つことなく（従って、移動速度の計算は不要）、移動体を検知した時点で直ちに高速フレームレートで撮像を開始すれば、高速移動体であっても移動体の全体像を正確に撮像することができる。
【００９１】
（実施の形態７）
本発明の実施の形態７に係る動画像処理カメラは、パン機構及びチルト機構を備えたものである。パン機構及びチルト機構の構造は周知であるので図示は省略する。この実施の形態７に係る動画像処理カメラは、これらのパン機構及びチルト機構を作動させるタイミングに特徴がある。
【００９２】
このパン機構及びチルト機構が搭載された動画像処理カメラの電気的な構成は、データ処理部１４からパン機構及びチルト機構に対してそれぞれパン制御信号及びチルト制御信号が供給される点を除けば、図１に示した構成と同じである。
【００９３】
パン機構及びチルト機構は、データ処理部１４からのパン制御信号及びチルト制御信号に応答してそれぞれ作動する。即ち、データ処理部１４は、実施の形態１で説明したように、移動体検知処理によりイメージセンサ１１からの動画像中に移動体を検知すると、速度マップ導出処理を実行して移動体の移動速度及び移動方向を取得する。
【００９４】
次いで、得られた移動体の移動速度及び移動方向から、動画像処理カメラを動かすべき方向を計算する。そして、この計算結果に基づいてパン制御信号及びチルト制御信号を生成し、パン機構及びチルト機構に供給する。これにより、パン機構及びチルト機構が作動し、移動体が画面の中央に位置するように動画像処理カメラが移動される。以上の処理が、イメージセンサ１１から動画像が得られる毎に繰り返し実行される。
【００９５】
この実施の形態７に係る動画像処理カメラによれば、動画像処理カメラの視野内に移動体が検知されると、その後、動画像処理カメラは、その稼働範囲内で常に移動体を捉えた状態に置かれる。従って、この実施の形態７に係る動画像処理カメラは移動体を追跡する応用に最適である。
【００９６】
（実施の形態８）
本発明の実施の形態８は、動画像処理カメラが適用された画像処理システムである。以下では、この画像処理システムの一例として、ＥＴＣ、ＥＲＰといったＩＴＳにおける料金収受システムについて説明する。
【００９７】
この料金収受システムは、図１０に示すように、車両検知カメラ、違反車撮像カメラ、課金アンテナ及び車両検知センタから構成されている。両検知カメラ及び違反車撮像カメラとしては、上述した実施の形態１〜７で説明した動画像処理カメラが使用されている。車両検知センタは、車両検知カメラ、違反車撮像カメラ及び課金アンテナを制御することにより課金処理を実行する。
【００９８】
この課金処理では、以下の処理が実行される。即ち、車両検知カメラは、検知ゾーン内に入ってきた車両を検知すると、その速度マップから該車両の移動速度を導出する。この導出された移動速度はラベリング情報として、車両検知カメラで撮像された動画像に重畳して車両検知センタに送信される。車両検知センタでは、受信したラベリング情報から該車両が所定位置に到達する時間を計算する。そして、この計算により得られた時間が経過した時、つまり該車両が上記所定位置に到達した時に、課金アンテナからＩＤの送信タイミングを該車両に知らせる。
【００９９】
車両は、課金アンテナから送信タイミングが送られてくると、これに応答してで自己のＩＤを課金アンテナに送信する。この課金アンテナで受信されたＩＤは、車両検知センタに送信される。車両検知センタでは、データベースを参照することにより、受信されたＩＤが登録されているかどうかを判断する。そして、登録されていることが判断されると、その車両を通過させる。
【０１００】
一方、登録されていないことが判断されると、車両検知センタは、該車両が不正車両であることを判断し、図示しない遮断機を作動させて該車両の進路を遮断する。この際、アラーム・警報を発するように構成してもよい。また、車両検知センタは、ラベリング情報として受信した移動速度から不正車両のナンバプレートを読み取ることのできるタイミングを計算し、計算により得られたタイミングで違反者撮像カメラを起動する。これにより、違反者撮像カメラで撮像が行われるので、不正車両の特定が容易になる。
【０１０１】
以上説明したように、この実施の形態８に係る画像処理システムによれば、車両検知センタでは、車両検知カメラからの動画像に基づいて移動速度を算出する必要がないので、該車両検知センタでの負荷が軽減される。その結果、画像処理システム全体のパフォーマンスを向上させることができる。
【０１０２】
以上説明した実施の形態８では、動画像処理カメラを料金収受システムに適用した場合を説明したが、料金収受システムに限らず、動画像処理カメラから得られる移動体の画像データから車やバイクを識別して台数を計数する交通流計測システム、動画像処理カメラから得られる移動体の画像データから車やバイクを識別し、更に、ナンバープレート部の画像データから車番号を認識する車番号認識システム等に応用できる。
【０１０３】
【発明の効果】
以上詳述したように、本発明によれば、安価な画像処理システムの構築に好適な動画像処理カメラを提供できる。また、本発明によれば、多数の動画像処理カメラを利用しやすくなるため、多地点で同時に複数の対象を検知することができる。
【０１０４】
より詳しくは、本発明の第１の態様に係る動画像処理カメラによれば、撮像により得られた画像データを処理することによって検知された移動体の画像データが通信インタフェースを介して外部に送出される。従って、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体検知を行うことなく移動体識別処理だけを行えばよい。この移動体識別処理は、各動画像処理カメラで共通化できるので、複数の動画像処理カメラに対して１つの画像処理装置を用意すればよい。従って、動画像処理カメラの台数の増加に対する画像処理システムのコストの増加率を抑えることができる。
【０１０５】
また、この動画像処理カメラが適用された画像処理システムでは、移動体を識別するために必要な移動体の画像データだけを画像処理装置に送ればよいので、高速カメラを用いた場合であっても、伝送すべき画像データの量は少なくて済む。従って、高速カメラから画像処理装置に画像データを伝送するための伝送ラインを高速伝送に対応できるものにする必要はないので、画像処理システムのコスト上昇を回避できる。
【０１０６】
また、本発明の第１の態様に係る動画像処理カメラによれば、映像データ及び移動体の画像データを通信インタフェースからデジタル信号で送出できるので、この動画像処理カメラが適用された画像処理システムの画像処理装置は、動画像処理カメラから受け取った映像データ及び移動体の画像データをデジタル化する必要はないので、画像処理システムを簡単且つ安価に構成できる。
【０１０７】
また、本発明の第１の態様に係る動画像処理カメラによれば、映像データ及び移動体の画像データを通信インタフェースからアナログ信号で送出できるので、動画像処理カメラから画像処理装置への伝送ラインとしてアナログ伝送ラインを用いることができ、伝送ラインを安価に構成できる。
【０１０８】
この場合、移動体情報を算出する算出部と、該算出された移動体情報を映像データに重畳する重畳部とを更に備え、通信インタフェースは、重畳部からの移動体情報が重畳された映像データを送出するように構成すれば、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体情報の算出処理を行う必要がないので、画像処理装置の構成が簡単になりコストを低減させることができる。
【０１０９】
また、算出部を移動体の座標を算出する座標算出部と移動体の移動速度を検出する速度検出部とから構成し、重畳部は、移動体の検知の有無、座標検出部で検出された移動体の座標及び速度検出部で検出された移動体の移動速度の少なくとも１つを移動体情報として映像データに重畳するように構成すれば、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体の座標の算出処理及び移動体の移動速度の検出処理を行う必要がないので、画像処理装置の構成が簡単になりコストを低減させることができる。
【０１１０】
また、重畳部は、移動体情報を、画像データ及びデジタルデータの少なくとも１つで表したラベリング情報として前記映像生成部で生成された映像データに重畳するように構成すれば、この動画像処理カメラが適用された画像処理システムの画像処理装置は、移動体に関する情報を文字で表示させることができ、またデジタルデータとして取り込むこともできる。
【０１１１】
また、この第１の態様に係る動画像処理カメラは、通信インタフェースから出力されるデータを無線で送信するように構成すれば、この動画像処理カメラが適用された画像処理システムにおいて、動画像処理カメラの配置の自由度が増すので、画像処理システムの構築が容易になる。
【０１１２】
また、この第１の態様に係る動画像処理カメラにおいて、移動体検知部を、外部からの指示に応答して処理内容を変更するように構成すれば、この動画像処理カメラを多目的、例えば車両の検知、人の監視、プラントの異常監視、車両や人の追跡等の目的に使用できる。
【０１１３】
また、この第１の態様に係る動画像処理カメラは、ズーム機構と、該ズーム機構にズーム撮影の指示を与える指示手段、とを更に備えて構成すれば、目的とする被写体を詳細に撮像することができる。また、パン機構と、該パン機構にパン撮影の指示を与える第１指示手段と、チルト機構と、該チルト機構にチルト撮影の指示を与える第２指示手段、とを更に備えて構成すれば、例えば移動体を追跡するような応用が可能になる。
【０１１４】
更に、本発明の第２の態様に係る画像処理システムは、上述した安価に構成できる動画像処理カメラと該動画像処理カメラの通信インタフェースから送出された移動体の画像データに基づいて移動体を識別する識別部とから構成されているので、画像処理システムを安価に構成できる。
【０１１５】
この画像処理システムの識別部を、識別結果に基づいて課金処理を実行する車両検知センタで構成すれば、車両検知センタでは、動画像処理検知カメラからの移動体の画像データに基づいて課金処理を実行できるので、該車両検知センタでの負荷が軽減される。その結果、画像処理システム全体のパフォーマンスを向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る動画像処理カメラの電気的な構成を示すブロック図である。
【図２】本発明の実施の形態１に係る動画像処理カメラで実行される移動体検知処理の原理を説明するための図である。
【図３】本発明の実施の形態１に係る動画像処理カメラで実行される速度マップ導出処理の原理を説明するための図である。
【図４】本発明の実施の形態１に係る動画像処理カメラにおける移動体検知処理及び速度マップ導出処理の動作を説明するための図である。
【図５】本発明の実施の形態２に係る動画像処理カメラの電気的な構成を示すブロック図である。
【図６】本発明の実施の形態３に係る動画像処理カメラの電気的な構成を示すブロック図である。
【図７】本発明の実施の形態３に係る動画像処理カメラのラベリング情報の重畳処理を説明するための図である。
【図８】本発明の実施の形態４に係る動画像処理カメラの電気的な構成を示すブロック図である。
【図９】本発明の実施の形態５に係る動画像処理カメラのデータ処理部の構成を示す図である。
【図１０】本発明の実施の形態８に係る画像処理システムの構成を示す図である。
【図１１】従来の画像処理システムを説明するための図である。
【符号の説明】
１ 動画像処理カメラ
２、１３ Ａ／Ｄ変換器
３ 画像処理装置
４ ＣＰＵ
５ モニタテレビジョン
６ 送信機
７ 送信アンテナ
８ 受信アンテナ
９ 受信機
１０ 光学系
１１ イメージセンサ
１２ 駆動回路
１４ データ処理部
１５、１８ Ｄ／Ａ変換器
１６、１７ デジタル通信インタフェース
２０ 映像生成部
２１ 移動体検知部
３０、３３ アナログ伝送ライン
３１、３２ デジタル伝送ライン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image processing camera for processing moving images and an image processing system using the same.
[0002]
[Prior art]
Conventionally, a monitoring system that monitors a moving body using a camera installed at a fixed point is known. For example, as shown in FIG. 11, the monitoring system includes a plurality of imaging subsystems and a central processing unit (hereinafter referred to as “CPU”) 56. Each imaging subsystem includes a camera 50, a transmitter 51, a transmission antenna 52, a reception antenna 53, a receiver 54 and an image processing device 55.
[0003]
The camera 50 generates a video signal by photoelectrically converting an optical image input from the optical system with a solid-state imaging device, as in a normal video camera. The video signal generated by the camera 50 is sent to the transmitter 51.
[0004]
The transmitter 51 modulates the video signal from the camera 50 and sends it to the transmission antenna 52. The transmission antenna 52 radiates the modulated video signal into the air as an electromagnetic wave. The receiving antenna 53 receives electromagnetic waves radiated into the air and sends them to the receiver 54. The receiver 54 demodulates the signal from the receiving antenna 54 to reproduce the video signal and sends it to the image processing device 55.
[0005]
The image processing device 55 includes an A / D converter 60, a moving body detection unit 61, and an identification unit 62. The A / D converter 60 converts the analog video signal demodulated by the receiver 54 into a digital signal, and sends the digital signal to the moving body detection unit 61 as digital video data. The moving body detection unit 61 obtains a moving body area from the received digital video data, and detects a digital video data moving body candidate in the obtained moving body area. The detection result of the moving body detection unit 61 is sent to the identification unit 62.
[0006]
The identifying unit 62 identifies whether the moving object candidate detected by the moving object detecting unit 61 is a car, a person, or a false detection. The identification result by the identification unit 62 is sent to the CPU 56 as an output of the image processing device 55. The CPU 56 performs various processes based on the identification result from the image processing device 55.
[0007]
[Problems to be solved by the invention]
By the way, in the conventional monitoring system described above, each imaging subsystem includes a camera and an image processing device. Therefore, it is necessary to increase the number of image processing devices as the number of cameras increases. As a result, there is a problem that the increase rate of the cost of the monitoring system is large with respect to the increase in the number of cameras.
[0008]
In addition, when a high-speed camera with a high frame rate is used to image a moving body that moves at high speed (hereinafter referred to as “high-speed moving body”), transmission for transmitting moving image data obtained from the high-speed camera. There is a problem that it is necessary to make the line compatible with high-speed transmission, which increases the cost.
[0009]
The present invention has been made to solve the above-described problems, and an object thereof is to provide a moving image processing camera suitable for constructing an inexpensive image processing system.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, a moving image processing camera according to a first aspect of the present invention detects a moving body from a video generation unit that generates video data from image data obtained by imaging, and the image data. A moving body detection unit; and a communication interface that transmits video data generated by the video generation unit and image data of the moving body detected by the moving body detection unit.
[0011]
According to this moving image processing camera, a moving object is detected by processing image data obtained by imaging. Then, the detected image data of the moving body is transmitted to the outside through the communication interface. Therefore, the image processing apparatus of the image processing system to which the moving image processing camera is applied does not need to detect the moving object, and only performs the moving object identification process for identifying the moving object. This moving object identification process can be shared by each moving image processing camera. Therefore, since one image processing apparatus has only to be prepared for a plurality of moving image processing cameras, the rate of increase in the cost of the image processing system with respect to an increase in the number of moving image processing cameras can be suppressed.
[0012]
Further, in the image processing system to which the moving image processing camera is applied, it is not necessary to send all of the image data obtained by imaging to the image processing apparatus in order to identify the moving body, and only the image data of the moving body is transmitted. Send it. Therefore, even when a high-speed camera with a high frame rate is used to image a high-speed moving body, the amount of image data to be transmitted is small, so that the image data is transmitted from the high-speed camera to the image processing apparatus. It is not necessary to make the transmission line compatible with high-speed transmission. As a result, an increase in the cost of the image processing system can be avoided.
[0013]
In the moving image processing camera according to the first aspect, the communication interface sends the video data generated by the video generation unit and the image data of the moving body detected by the moving body detection unit as digital signals. Can be configured to According to this configuration, the image processing apparatus of the image processing system to which the moving image processing camera is applied does not need to digitize the video data and the moving body image data received from the moving image processing camera. The system can be configured easily and inexpensively.
[0014]
In the moving image processing camera according to the first aspect, the communication interface sends the video data generated by the video generation unit and the image data of the moving body detected by the moving body detection unit as analog signals. Can be configured to According to this configuration, since an analog transmission line can be used as a transmission line from the moving image processing camera to the image processing apparatus, the transmission line can be configured at low cost.
[0015]
In this case, a calculating unit that calculates moving body information representing the state of the moving body based on image data of the moving body detected by the moving body detecting unit, and the moving body information calculated by the calculating unit A superimposing unit that superimposes the video data generated by the video generating unit, and the communication interface can be configured to send out video data on which the moving body information from the superimposing unit is superimposed. According to this configuration, since the image processing apparatus of the image processing system to which the moving image processing camera is applied does not need to perform the mobile object information calculation process, the configuration of the image processing apparatus is simplified and the cost is reduced. be able to.
[0016]
In addition, the calculation unit includes a coordinate calculation unit that calculates the coordinates of the moving body detected by the moving body detection unit, and a speed detection unit that detects the moving speed of the moving body detected by the moving body detection unit, The superimposing unit includes at least the presence / absence of detection of the moving body by the moving body detecting unit, the coordinates of the moving body detected by the coordinate detecting unit, and the moving speed of the moving body detected by the speed detecting unit. One can be configured to be superimposed on the video data generated by the video generation unit as the mobile body information. According to this configuration, the image processing apparatus of the image processing system to which the moving image processing camera is applied does not need to perform the process of calculating the coordinates of the moving object and the process of detecting the moving speed of the moving object. This simplifies the configuration and can reduce the cost.
[0017]
The superimposing unit may be configured to superimpose the moving body information on the video data generated by the video generating unit as labeling information represented by at least one of image data and digital data. According to this configuration, the image processing apparatus of the image processing system to which the moving image processing camera is applied can display information relating to the moving object in characters, and can also capture it as digital data.
[0018]
The moving image processing camera according to the first aspect can further include a wireless transmission unit that wirelessly transmits data output from the communication interface. According to this configuration, in the image processing system to which the moving image processing camera is applied, the degree of freedom of arrangement of the moving image processing camera is increased, so that the image processing system can be easily constructed.
[0019]
In the moving image processing camera according to the first aspect, the moving body detection unit can be configured to change the processing content in response to an instruction from the outside. According to this configuration, the moving image processing camera can be used for various purposes such as vehicle detection, human monitoring, plant abnormality monitoring, vehicle and human tracking, and the like.
[0020]
In addition, the moving image processing camera according to the first aspect can further include a zoom mechanism and instruction means for giving an instruction for zoom shooting to the zoom mechanism. According to this configuration, the target subject can be imaged in detail.
[0021]
The moving image processing camera according to the first aspect further includes a pan mechanism, first instruction means for giving an instruction for pan shooting to the pan mechanism, a tilt mechanism, and a first instruction for giving an instruction for tilt shooting to the tilt mechanism. And 2 instruction means. According to this configuration, for example, an application for tracking a moving object is possible.
[0022]
In order to achieve the above object, an image processing system according to a second aspect of the present invention provides the above-described moving image processing camera and the image of the moving body transmitted from the communication interface of the moving image processing camera. And an identification unit that identifies the mobile object based on the data. According to this image processing system, since the above-described moving image processing camera that can be configured at low cost is used, the image processing system can be configured at low cost.
[0023]
The identification unit of the image processing system is configured by a vehicle detection center that executes a charging process based on the identification result. According to this image processing system, the vehicle detection center can execute the charging process based on the image data of the moving body from the moving image processing detection camera, so the load on the vehicle detection center is reduced. As a result, the performance of the entire image processing system can be improved.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0025]
(Embodiment 1)
The moving image processing camera according to Embodiment 1 of the present invention detects moving objects by processing moving image data obtained from an image sensor, and outputs the detected image data of the moving objects to the outside.
[0026]
FIG. 1 is a block diagram illustrating a configuration of a monitoring system to which the moving image processing camera 1 according to the first embodiment is applied. This monitoring system corresponds to the image processing system of the present invention. This monitoring system includes a moving image processing camera 1, an A / D converter 2, an image processing device 3, a CPU 4 and a monitor television (monitor TV) 5. The moving image processing camera 1 is connected to the image processing apparatus 3 via an analog transmission line 30 and a digital transmission line 31.
[0027]
Note that a plurality of imaging subsystems including a moving image processing camera 1, an A / D converter 2, and a monitor television 5 are connected to the image processing apparatus 3. Since each imaging subsystem is the same, a case where one imaging subsystem is connected to the image processing apparatus 3 will be described below.
[0028]
The moving image processing camera 1 includes an optical system 10, an image sensor 11, a drive circuit 12, an A / D converter 13, a data processing unit 14, a D / A converter 15 as an analog communication interface, and a digital communication interface (I / F). ) 16.
[0029]
The optical system 10 includes known optical elements such as a lens, a prism, and an optical filter, and forms an optical image on the image sensor 11.
[0030]
In response to the drive signal from the drive circuit 12, the image sensor 11 photoelectrically converts the optical image from the optical system 10 to generate an analog moving image signal. The analog moving image signal generated by the image sensor 11 is sent to the A / D converter 13. As the image sensor 11, a CCD type device, a MOS type device, or other solid-state imaging device can be used.
[0031]
The drive circuit 12 generates the drive signal described above based on the control signal from the data processing unit 14. This drive signal includes a signal for defining the number of frames output from the image sensor 11 per unit time, that is, a frame rate, such as a dot clock signal, a horizontal synchronization signal (HD), a vertical synchronization signal (VH), and the like.
[0032]
In this specification, a frame rate of 30 frames / second is referred to as a standard frame rate, a frame rate greater than 30 frames / second is referred to as a high frame rate, and a frame rate less than 30 frames / second is referred to as a low frame rate. In this moving image processing camera, the frame rate is variable in the range of 10 to 120 frames / second.
[0033]
The A / D converter 13 converts the analog moving image signal from the image sensor 11 into a digital moving image signal. The digital moving image signal output from the A / D converter 13 is supplied to the data processing unit 14 as moving image data.
[0034]
The data processing unit 14 can be configured by an FPGA (Field Programmable Gate Array), an ASIC (Application Specific IC), or the like. The data processing unit 14 includes a video generation unit 20 and a moving body detection unit 21. The video generation unit 20 generates digital video data from the moving image data sent from the A / D converter 13 and sends it to the D / A converter 15. In addition, the moving body detection unit 21 detects the moving body from the moving image data sent from the A / D converter 13 and sends the image data of the moving body to the digital communication interface 16. Details of the moving object detection process will be described later. In addition to the above, the data processing unit 14 also performs processing for generating a control signal for controlling the frame rate and supplying the control signal to the drive circuit 12.
[0035]
The D / A converter 15 converts the digital moving image signal from the video generation unit 20 of the data processing unit 14 into an analog moving image signal, and sends the analog moving image signal to the analog transmission line 30 by, for example, the NTSC method.
[0036]
The digital communication interface 16 sends a digital moving image signal and other digital signals from the moving body detection unit 21 of the data processing unit 14 to the image processing apparatus 3 through the digital transmission line 31 and also from the digital transmission line 31. The signal is supplied to the data processing unit 14. As the digital communication interface 16, a local area network (LAN) interface, an IEEE 1394 interface, a serial interface, a parallel interface, a USB interface, or the like can be used.
[0037]
The moving image processing camera 1 can be connected to an external image processing apparatus via the digital communication interface 16. Therefore, the moving image processing camera 1 can be connected to a plurality of other devices by, for example, a LAN, and is suitable for constructing an image processing system.
[0038]
The A / D converter 2 constituting the image processing system converts an analog video signal sent from the moving image processing camera 1 via the analog transmission line 30 into a digital video signal and supplies the digital video signal to the image processing apparatus 3.
[0039]
The image processing apparatus 3 is configured as a dedicated card by, for example, FPGA, ASIC, or the like. The image processing apparatus 3 is a movement that identifies whether the moving body is a car, a person, or a false detection based on the image data of the moving body sent from the moving image processing camera 1. Perform body identification processing.
[0040]
The CPU 4 starts and stops the image processing apparatus 3 and sets parameters for the image processing apparatus 3. The CPU 4 and the image processing apparatus 3 are connected by, for example, a CPCI bus. In addition, when the moving body identification process performed with the image processing apparatus 3 is light load, it can comprise so that all the moving body identification processes may be performed with CPU4. According to this configuration, since the image processing apparatus 3 is not necessary, the image processing system can be configured on a small scale and at low cost.
[0041]
The monitor television 5 is optional and is connected to the analog transmission line 30. The user can confirm the subject captured by the moving image processing camera by watching the monitor television 5.
[0042]
Next, the operation of the image processing system configured as described above will be described focusing on the operation of the moving image processing camera 1.
[0043]
In a normal state, the drive circuit 12 generates a drive signal for operating the image sensor 11 at a standard frame rate and supplies the drive signal to the image sensor 11. Accordingly, the image sensor 11 outputs an analog moving image signal for one frame every 1/30 seconds. The analog moving image signal is converted into a digital moving image signal by the A / D converter 13 and supplied to the video generation unit 20 and the moving body detection unit 21 of the data processing unit 14 as moving image data.
[0044]
The video generation unit 20 sequentially converts the input moving image data into a digital video signal and supplies the digital video signal to the D / A converter 15. The D / A converter 15 converts the received digital video signal into an analog video signal and sends it to the analog transmission line 30. The A / D converter 2 converts the analog video signal transmitted from the analog transmission line 30 into a digital video signal and sends it to the image processing device 3. Based on the digital video signal from the A / D converter 2, the image processing device 3 performs various processes other than the moving body identification process described later.
[0045]
When the monitor television 5 is connected to the analog transmission line 30, the monitor television 5 displays an image based on the analog video signal flowing through the analog transmission line 30.
[0046]
The moving body detection unit 21 sequentially stores the input moving image data as an input image in an input image area of a memory (not shown).
[0047]
Next, the moving body detection unit 21 executes a moving body detection process and a speed map derivation process every time moving image data is received from the A / D converter 13.
[0048]
The principle of moving object detection is shown in FIG. In this moving body detection process, the difference between the background image and the input image is calculated. If the calculation result is zero, it is determined that no moving object has been detected since the input image is the same as the background image. On the other hand, if the calculation result is not zero, it is determined that a moving object has been detected.
[0049]
The principle of speed map derivation is shown in FIG. In this speed map derivation process, the distribution of movement vectors on the screen, that is, an optical flow, is generated by comparing the input image at time t with the input image at time t + 1. A speed map representing the actual moving speed and direction of the moving body is derived using this optical flow.
[0050]
The operation of the moving body detection unit 21 based on the above principle will be described with reference to FIG. The moving body detection unit 21 first corrects the blur of the input image stored in the memory, that is, corrects the disturbance of the input image caused by the blur of the moving image processing camera. The input image subjected to the blur correction is stored in the memory as the input image I (t) at time t.
[0051]
Then, as described with reference to FIG. 2, by calculating the difference between the background image stored in the background image area of the memory and the input image I (t) stored in the input image area of the memory A background difference is determined. If the background difference is larger than a predetermined value, it is determined that a moving body has been detected, and a moving body area and a background area are obtained. The obtained moving body region image is stored in the moving body region image area of the memory. On the other hand, if the background difference is less than or equal to the predetermined value, it is determined that no moving object has been detected, and zero is stored in the moving object region image area of the memory.
[0052]
Whether or not to update the background image stored in the background image area of the memory is determined by comparing the background difference with a predetermined threshold value. For example, assuming that the input image is I (t) and the background image is B (t), the background image is “B (t + 1) = αI (t) + (1−α) B (t)”. Updated. Here, α is 0 ≦ α ≦ 1, and is a value determined according to the moving body region and the background region. Whether to update the background image can also be determined based on a time difference that is a difference between the input images at time t and t−1. The moving object detection process is completed by the above process.
[0053]
Next, when moving image data is input, the moving image data becomes the input image I (t) at time t, and the input image I (t) so far is the input image I (t−) at time t−1. 1). In this state, as described with reference to FIG. 3, the input image I (t) at time t and the input image I (t−1) at time t−1 are compared to generate an optical flow. A speed map representing the actual moving speed and direction of the moving body is derived using this optical flow. This derived speed map is stored in the speed map area of the memory. Thus, the speed map derivation process is completed.
[0054]
Note that the moving speed of the moving object is the distance on the moving image between the moving object image extracted in the previous moving object detection process and the moving object image extracted in the current moving object detection process. It can also be determined based on the frame rate at the time.
[0055]
The moving image data of the moving object obtained by the moving object detection process is sent to the digital transmission line 31 via the digital communication interface 16. The image processing device 3 takes in the image data of the moving body sent from the digital transmission line 31 and performs the identification processing of the moving body. In this identification processing, it is identified whether the image data of the moving object is a car, a person, or a false detection.
[0056]
When the speed map deriving process by the moving object detecting unit 21 is completed, the data processing unit 14 performs a frame rate changing process. In this frame rate changing process, if the moving speed derived in the above-described speed map deriving process is equal to or less than a predetermined value, the data processing unit 14 generates a control signal corresponding to the standard frame rate and supplies it to the drive circuit 12. To do. Thereby, the moving image processing camera operates at a standard frame rate. On the other hand, if the moving speed is greater than the predetermined value, the data processing unit 14 generates a control signal corresponding to the high-speed frame rate and supplies it to the drive circuit 12. Thereby, the frame rate changing process is completed, and thereafter, the moving image processing camera operates at a high frame rate. According to this configuration, the moving image processing camera normally operates at a standard frame rate, and operates at a high frame rate when a high-speed moving object is detected. Therefore, the high-speed moving object can be accurately detected.
[0057]
In addition, when transmitting the moving image data to the outside via the D / A converter 15, the data processing unit 14 thins out and transmits the frame if the high-speed frame rate is set at that time. That is, the data processing unit 14 normally outputs a moving image captured at a standard frame rate at a high resolution every 1/30 seconds, but when the data processing unit 14 is changed to a high frame rate, the video rate according to the NTSC system is used. The frame is thinned out so that With this configuration, the existing monitor television 5 can be directly connected to the D / A converter 15.
[0058]
As described above, according to the moving image processing camera according to the first embodiment, the moving image data obtained from the image sensor 11 is detected by the data processing unit 14 built in the moving image processing camera. By performing processing in the unit 21, a moving body included in the moving image is detected. Then, the detected image data of the moving body is transmitted to the outside via the digital communication interface 16. Therefore, the image processing apparatus of the image processing system to which the moving image processing camera is applied does not need to detect the moving object, and only performs the moving object identification process for identifying the moving object. This moving object identification process can be shared by each moving image processing camera. Therefore, since one image processing apparatus has only to be prepared for a plurality of moving image processing cameras, the rate of increase in the cost of the image processing system with respect to an increase in the number of moving image processing cameras can be suppressed.
[0059]
(Embodiment 2)
The moving image processing camera according to the second embodiment of the present invention is configured to send not only image data of a detected moving object but also video data to the outside as a digital signal.
[0060]
FIG. 5 is a block diagram showing a configuration of a monitoring system to which the moving image processing camera according to the second embodiment is applied. In the moving image processing camera used in this monitoring system, the D / A converter 15 and the digital communication interface 16 are removed from the moving image processing camera according to the first embodiment (see FIG. 1), and the digital communication interface 17 is used instead. Has been added. Hereinafter, a description will be given focusing on differences from the moving image processing camera according to the first embodiment.
[0061]
The digital communication interface 17 is connected to the image processing apparatus 3 via a digital transmission line 32. The digital communication interface 17 receives the moving image data from the video generation unit 20 and the moving body image data from the moving body detection unit 21 and sends them to the digital transmission line 32 as digital signals. At this time, each of the moving image data and the moving body image data is sent with an identification flag for identifying the type of the data.
[0062]
When the image processing apparatus 3 receives data from the digital transmission line 32, the image processing apparatus 3 refers to the identification flag to determine whether the received data is moving image data or moving body image data. .
[0063]
The operation of the monitoring system to which the moving image processing camera configured as described above is applied, except that moving image data is sent to the image processing device 3 as a digital signal, according to the above-described first embodiment. Is the same as the operation.
[0064]
According to the moving image processing camera according to the second embodiment, the image processing apparatus of the monitoring system does not need to digitize the video data received from the moving image processing camera and the image data of the moving body. Can be configured at low cost.
[0065]
(Embodiment 3)
The moving image processing camera according to Embodiment 3 of the present invention superimposes moving body information representing the detected state of the moving body on the moving image and sends it out.
[0066]
FIG. 6 is a block diagram showing a configuration of a monitoring system to which the moving image processing camera according to the third embodiment is applied. In the moving image processing camera used in this monitoring system, the D / A converter 15 and the digital communication interface 16 are removed from the moving image processing camera according to the first embodiment (see FIG. 1), and A / D conversion is performed instead. A vessel 18 is added. Hereinafter, a description will be given focusing on differences from the moving image processing camera according to the first embodiment.
[0067]
The A / D converter 18 is connected to the image processing apparatus 3 via the analog transmission line 33. The A / D converter 18 inputs the moving image data from the video generation unit 20 and the moving body image data from the moving body detection unit 21, and sends them to the analog transmission line 33 as analog signals. At this time, each of the moving image data and the moving body image data is sent with an identification flag for identifying the type of the data.
[0068]
When the image processing apparatus 3 receives data from the analog transmission line 33, the image processing apparatus 3 refers to the identification flag to determine whether the received data is moving image data or moving body image data.
[0069]
In the moving image processing camera according to the third embodiment configured as described above, the following operation is added in addition to the operation of the moving image processing camera according to the first embodiment.
[0070]
That is, when the moving body detection process described in the first embodiment is completed, the data processing unit 14 executes a labeling information generation process. That is, when it is determined that a moving object is detected by referring to the moving object region image area of the memory, the image of the moving object is given a number, and the coordinates of the moving object on the screen ( X, Y), the center of gravity, the area, the moving direction, the moving speed, and the like are calculated as labeling information. These calculations are performed based on the moving body image stored in the moving body area image area of the memory and the speed map stored in the speed map area of the memory.
[0071]
Next, the video generation unit 20 of the data processing unit 14 performs a labeling information superimposing process. That is, as shown in FIG. 7A, the data processing unit 14 converts the labeling information into image data and writes it on the input image read from the memory. FIG. 7A shows an example in which only the presence / absence of a moving body, coordinates (X, Y), and moving speed are superimposed as an example of labeling information.
[0072]
Next, the data processing unit 14 supplies the moving image data on which the labeling information is superimposed to the D / A converter 18. The D / A converter 18 converts the moving image data into an analog moving image signal and sends it to the analog transmission line 33. Thereafter, the data processing unit 14 executes a speed map deriving process and a frame rate changing process similar to those described in the first embodiment. If the monitor television 5 is connected to the analog transmission line 33, the user can view an image currently captured by the moving image processing camera, and the state of the detected moving body (speed and speed). Position).
[0073]
On the other hand, the moving body detection unit 21 of the data processing unit 14 detects the moving body by the procedure described in the first embodiment, and sends image data of the detected moving body to the D / A converter 18. The D / A converter 18 converts the image data of the moving body into an analog image signal and sends it to the analog transmission line 33.
[0074]
The image processing device 3 takes in the moving image data and the moving body image data on which the labeling information sent from the analog transmission line 33 is superimposed, and performs the moving body identification processing. In this identification process, the labeling information is taken into consideration to identify whether the image data of the moving object is a car, a person, or a false detection.
[0075]
It should be noted that the labeling information can be configured to be sent together with moving image data as digital data, not as image data. In this case, for example, as shown in FIG. 7B, a labeling information display area is provided at the end of the moving image, and the labeling information is written as digital data in this area. According to this configuration, the image processing apparatus connected to the moving image processing camera can directly use the labeling information received as digital data for various processes.
[0076]
As described above, according to the moving image processing camera according to the third embodiment, the moving body included in the moving image obtained from the image sensor 11 is detected. Then, information regarding the detected moving object is calculated, superimposed on the moving image, and transmitted to the outside. Accordingly, the external image processing apparatus 3 that has received the moving image does not need to perform the moving object detection process or the moving object information calculation process, so that the configuration of the image processing apparatus is simplified and the cost can be reduced.
[0077]
(Embodiment 4)
The moving image processing camera according to Embodiment 4 of the present invention wirelessly transmits video data obtained by imaging and detected moving body image data to the image processing apparatus.
[0078]
FIG. 8 is a block diagram showing a configuration of a monitoring system to which the moving image processing camera according to the fourth embodiment is applied. In this monitoring system, the communication path between the moving image processing camera 1 and the image processing device 3 is configured wirelessly.
[0079]
This communication path includes a transmitter 6, a transmission antenna 7, a reception antenna 8, and a receiver 9. The transmitter 6 modulates the video data from the D / A converter 15 of the moving image processing camera 1 and the image data of the moving body from the digital communication interface 17 and radiates them into the air as an electromagnetic wave via the transmission antenna 7. The receiving antenna 53 receives electromagnetic waves radiated into the air and sends them to the receiver 9. The receiver 9 demodulates the signal from the receiving antenna 8 to reproduce the video data and the moving body image data, and sends them to the A / D converter 2 and the image processing device 3, respectively. Other configurations and operations are the same as those in the first embodiment.
[0080]
As described above, according to the monitoring system to which the moving image processing camera according to the fourth embodiment is applied, the degree of freedom of arrangement of the moving image processing camera is increased, so that the monitoring system can be easily constructed.
[0081]
(Embodiment 5)
The moving image processing camera according to the fifth embodiment of the present invention can change the processing content executed by the data processing unit.
[0082]
In the moving image processing camera according to the fifth embodiment, the data processing unit 14 includes a ROM and an FPGA as shown in FIG. The ROM is divided into four areas, and configuration data D1 to D4 for determining the configuration of the FPGA are stored in each area. The configuration data D1, D2, D3, and D4 are data for constructing the FPGA for vehicle detection, human detection, plant abnormality monitoring, and tracking, respectively.
[0083]
Any one of the four areas formed in the ROM is selected by a selection signal supplied from a mode setting switch (not shown). Then, the configuration data stored in the selected area is activated, and the FPGA is constructed to be a circuit according to the configuration data.
[0084]
Assuming that the configuration data D1 in the ROM is selected by a mode setting switch (not shown), a circuit for detecting a vehicle (moving body) is constructed in the FPGA. As a result, the FPGA can execute the moving object detection process, the speed map derivation process, the labeling information generation process, the labeling information superimposition process, the frame rate change process, and the like as described in each of the above-described embodiments. Set to
[0085]
As described above, according to the moving image processing camera according to the fifth embodiment, the moving image processing camera can be used for multiple purposes such as vehicle detection, person monitoring, plant abnormality monitoring, vehicle Can be used for tracking purposes.
[0086]
In the fifth embodiment, a plurality of configuration data is stored in the ROM and the FPGA circuit is constructed according to one configuration selected by the mode setting switch. Configuration data may be supplied from the device to the FPGA via the digital communication interface 16. According to this configuration, since the ROM and the mode setting switch are not required, the configuration of the moving image processing camera is simplified, and the moving image processing camera can be remotely controlled.
[0087]
(Embodiment 6)
The moving image processing camera according to Embodiment 6 of the present invention includes a zoom mechanism. Since the structure of the zoom mechanism is well known, illustration is omitted. The moving image processing camera according to the sixth embodiment is characterized in that the zoom mechanism is activated.
[0088]
The electrical configuration of the moving image processing camera equipped with this zoom mechanism is the same as that shown in FIG. 1 except that a zoom control signal is supplied from the data processing unit 14 to the zoom mechanism. .
[0089]
The zoom mechanism operates in response to a zoom control signal from the data processing unit 14. That is, as described in the first embodiment, when the data processing unit 14 detects a moving body in the moving image from the image sensor 11, the data processing unit 14 supplies a zoom control signal to the zoom mechanism. As a result, an optical image of the moving body enlarged by operating the zoom mechanism is formed on the image sensor 11. At this time, zoom-up and zoom-down control can be performed based on the size of the moving object extracted by the moving object detection process described in the first embodiment.
[0090]
According to the moving image processing camera according to the sixth embodiment, when a moving body is detected, the zoom mechanism is operated, so that details of the moving body can be immediately captured. Therefore, for example, in an image processing system for imaging a moving object, the moving object does not wait until it reaches a suitable imaging point in the vicinity of the installation point of the moving image processing camera. If calculation is started immediately at a high frame rate when a moving object is detected, the entire image of the moving object can be accurately imaged even with a high-speed moving object.
[0091]
(Embodiment 7)
A moving image processing camera according to Embodiment 7 of the present invention includes a pan mechanism and a tilt mechanism. Since the structures of the pan mechanism and the tilt mechanism are well known, illustration is omitted. The moving image processing camera according to the seventh embodiment is characterized by the timing at which these pan mechanism and tilt mechanism are operated.
[0092]
The electrical configuration of the moving image processing camera equipped with the pan mechanism and the tilt mechanism is except that a pan control signal and a tilt control signal are supplied from the data processing unit 14 to the pan mechanism and the tilt mechanism, respectively. The configuration is the same as that shown in FIG.
[0093]
The pan mechanism and the tilt mechanism operate in response to a pan control signal and a tilt control signal from the data processing unit 14, respectively. That is, as described in the first embodiment, when the data processing unit 14 detects a moving object in the moving image from the image sensor 11 by the moving object detection process, the data processing unit 14 executes the speed map derivation process to move the moving object. Get speed and direction of movement.
[0094]
Next, a direction in which the moving image processing camera should be moved is calculated from the moving speed and moving direction of the obtained moving object. Based on the calculation result, a pan control signal and a tilt control signal are generated and supplied to the pan mechanism and the tilt mechanism. Accordingly, the pan mechanism and the tilt mechanism are operated, and the moving image processing camera is moved so that the moving body is positioned at the center of the screen. The above processing is repeatedly executed every time a moving image is obtained from the image sensor 11.
[0095]
According to the moving image processing camera according to the seventh embodiment, when a moving object is detected within the field of view of the moving image processing camera, the moving image processing camera thereafter always captures the moving object within the operating range. Put in state. Therefore, the moving image processing camera according to the seventh embodiment is optimal for an application for tracking a moving object.
[0096]
(Embodiment 8)
Embodiment 8 of the present invention is an image processing system to which a moving image processing camera is applied. Hereinafter, as an example of the image processing system, a fee collection system in ITS such as ETC and ERP will be described.
[0097]
As shown in FIG. 10, the toll collection system includes a vehicle detection camera, a violation vehicle imaging camera, a charging antenna, and a vehicle detection center. As both detection cameras and the violating vehicle imaging camera, the moving image processing camera described in the first to seventh embodiments is used. The vehicle detection center executes the charging process by controlling the vehicle detection camera, the violation vehicle imaging camera, and the charging antenna.
[0098]
In this billing process, the following process is executed. That is, when the vehicle detection camera detects a vehicle that has entered the detection zone, the vehicle detection camera derives the moving speed of the vehicle from the speed map. The derived movement speed is superimposed on the moving image captured by the vehicle detection camera and transmitted to the vehicle detection center as labeling information. The vehicle detection center calculates the time required for the vehicle to reach a predetermined position from the received labeling information. Then, when the time obtained by this calculation has elapsed, that is, when the vehicle has reached the predetermined position, the charging antenna notifies the vehicle of the ID transmission timing.
[0099]
When the transmission timing is sent from the charging antenna, the vehicle transmits its ID to the charging antenna in response to the transmission timing. The ID received by this charging antenna is transmitted to the vehicle detection center. The vehicle detection center determines whether or not the received ID is registered by referring to the database. When it is determined that the vehicle is registered, the vehicle is allowed to pass.
[0100]
On the other hand, if it is determined that the vehicle is not registered, the vehicle detection center determines that the vehicle is an unauthorized vehicle, and operates a breaker (not shown) to block the course of the vehicle. At this time, an alarm / alarm may be generated. Further, the vehicle detection center calculates a timing at which the number plate of the unauthorized vehicle can be read from the moving speed received as the labeling information, and activates the violator imaging camera at the timing obtained by the calculation. Thereby, since an image is performed by the violator imaging camera, it is easy to identify an unauthorized vehicle.
[0101]
As described above, according to the image processing system of the eighth embodiment, the vehicle detection center does not need to calculate the moving speed based on the moving image from the vehicle detection camera. The load of is reduced. As a result, the performance of the entire image processing system can be improved.
[0102]
In the eighth embodiment described above, the case where the moving image processing camera is applied to the toll collection system has been described. However, the present invention is not limited to the toll collection system, and a car or a motorcycle is obtained from the image data of the moving body obtained from the moving image processing camera. A traffic flow measurement system that identifies and counts the number of vehicles, a vehicle number recognition system that identifies cars and motorcycles from image data of moving objects obtained from a moving image processing camera, and further recognizes vehicle numbers from image data on the license plate Etc.
[0103]
【The invention's effect】
As described above in detail, according to the present invention, a moving image processing camera suitable for construction of an inexpensive image processing system can be provided. Further, according to the present invention, it becomes easy to use a large number of moving image processing cameras, so that a plurality of objects can be detected simultaneously at multiple points.
[0104]
More specifically, according to the moving image processing camera according to the first aspect of the present invention, image data of a moving object detected by processing image data obtained by imaging is transmitted to the outside via a communication interface. Is done. Therefore, the image processing apparatus of the image processing system to which the moving image processing camera is applied only needs to perform the moving object identification process without performing the moving object detection. Since this moving object identification process can be shared by each moving image processing camera, one image processing device may be prepared for a plurality of moving image processing cameras. Therefore, the increase rate of the cost of the image processing system with respect to the increase in the number of moving image processing cameras can be suppressed.
[0105]
In the image processing system to which the moving image processing camera is applied, only the moving body image data necessary for identifying the moving body needs to be sent to the image processing apparatus. However, the amount of image data to be transmitted is small. Therefore, it is not necessary to make the transmission line for transmitting the image data from the high-speed camera to the image processing apparatus compatible with high-speed transmission, so that an increase in cost of the image processing system can be avoided.
[0106]
In addition, according to the moving image processing camera of the first aspect of the present invention, video data and moving body image data can be transmitted as digital signals from the communication interface, so that the image processing system to which the moving image processing camera is applied is provided. In the image processing apparatus, since it is not necessary to digitize the video data received from the moving image processing camera and the image data of the moving body, the image processing system can be configured easily and inexpensively.
[0107]
In addition, according to the moving image processing camera of the first aspect of the present invention, video data and moving body image data can be sent out from the communication interface as analog signals, so that a transmission line from the moving image processing camera to the image processing apparatus As an analog transmission line, the transmission line can be constructed at low cost.
[0108]
In this case, the communication interface further includes a calculation unit that calculates the mobile body information and a superimposition unit that superimposes the calculated mobile body information on the video data, and the communication interface includes video data on which the mobile body information from the superposition unit is superimposed. Since the image processing apparatus of the image processing system to which the moving image processing camera is applied does not need to perform the mobile object information calculation process, the configuration of the image processing apparatus is simplified and the cost is reduced. Can be reduced.
[0109]
Further, the calculation unit includes a coordinate calculation unit that calculates the coordinates of the moving object and a speed detection unit that detects the moving speed of the moving object, and the superimposing unit is detected by the coordinate detection unit. If at least one of the coordinates of the moving body and the moving speed of the moving body detected by the speed detecting unit is superimposed on the video data as moving body information, the image processing system to which the moving image processing camera is applied Since the image processing apparatus does not need to perform the process of calculating the coordinates of the moving object and the process of detecting the moving speed of the moving object, the configuration of the image processing apparatus is simplified and the cost can be reduced.
[0110]
Further, if the superimposing unit is configured to superimpose the moving body information on the video data generated by the video generating unit as labeling information represented by at least one of image data and digital data, the moving image processing camera The image processing apparatus of the image processing system to which is applied can display information relating to the moving object in characters, and can also capture it as digital data.
[0111]
Further, if the moving image processing camera according to the first aspect is configured to wirelessly transmit data output from the communication interface, in the image processing system to which the moving image processing camera is applied, the moving image processing camera Since the degree of freedom of camera arrangement increases, the construction of an image processing system becomes easy.
[0112]
Further, in the moving image processing camera according to the first aspect, if the moving body detection unit is configured to change the processing content in response to an instruction from the outside, the moving image processing camera can be used for multiple purposes such as a vehicle. Detection, human monitoring, plant abnormality monitoring, vehicle and human tracking, etc.
[0113]
In addition, if the moving image processing camera according to the first aspect further includes a zoom mechanism and an instruction unit that gives an instruction for zoom shooting to the zoom mechanism, the target subject is imaged in detail. be able to. In addition, if it further comprises a pan mechanism, a first instructing means for giving an instruction for pan photographing to the pan mechanism, a tilt mechanism, and a second instructing means for giving an instruction for tilt photographing to the tilt mechanism, For example, an application such as tracking a moving object becomes possible.
[0114]
Furthermore, an image processing system according to the second aspect of the present invention provides a moving image processing camera that can be configured at a low cost and a moving object based on image data of the moving object sent from the communication interface of the moving image processing camera. The image processing system can be constructed at a low cost because it comprises the identifying section for identifying.
[0115]
If the identification unit of the image processing system is configured by a vehicle detection center that executes charging processing based on the identification result, the vehicle detection center performs charging processing based on image data of the moving object from the moving image processing detection camera. Since it can be executed, the load at the vehicle detection center is reduced. As a result, the performance of the entire image processing system can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an electrical configuration of a moving image processing camera according to Embodiment 1 of the present invention.
FIG. 2 is a diagram for explaining the principle of a moving object detection process executed by the moving image processing camera according to the first embodiment of the present invention.
FIG. 3 is a diagram for explaining the principle of a speed map deriving process executed by the moving image processing camera according to the first embodiment of the present invention.
FIG. 4 is a diagram for explaining operations of a moving object detection process and a speed map derivation process in the moving image processing camera according to the first embodiment of the present invention.
FIG. 5 is a block diagram showing an electrical configuration of a moving image processing camera according to Embodiment 2 of the present invention.
FIG. 6 is a block diagram showing an electrical configuration of a moving image processing camera according to Embodiment 3 of the present invention.
FIG. 7 is a diagram for explaining a labeling information superimposing process of a moving image processing camera according to a third embodiment of the present invention.
FIG. 8 is a block diagram showing an electrical configuration of a moving image processing camera according to Embodiment 4 of the present invention.
FIG. 9 is a diagram illustrating a configuration of a data processing unit of a moving image processing camera according to a fifth embodiment of the present invention.
FIG. 10 is a diagram showing a configuration of an image processing system according to an eighth embodiment of the present invention.
FIG. 11 is a diagram for explaining a conventional image processing system.
[Explanation of symbols]
1 Video processing camera
2, 13 A / D converter
3 Image processing device
4 CPU
5 Monitor television
6 Transmitter
7 Transmitting antenna
8 Receiving antenna
9 Receiver
10 Optical system
11 Image sensor
12 Drive circuit
14 Data processing section
15, 18 D / A converter
16, 17 Digital communication interface
20 Video generator
21 Moving object detector
30, 33 Analog transmission line
31, 32 Digital transmission line

Claims (10)

画像処理装置と、
前記画像処理装置に接続する複数の動画像処理カメラから選択される任意の１つの動画像処理カメラとを具え、
前記任意の１つの動画像処理カメラは、
撮像により得られた画像データから映像データを生成する映像生成部と、
前記画像データから移動体を検知する移動体検知部と、
前記映像生成部で生成された映像データと前記移動体検知部で検知された移動体の画像データを前記画像処理装置に対して送出する通信インタフェースとを備え、
前記移動体検知部は前記移動体検知部が属する前記動画処理カメラの撮像により得られる画像データに対応して前記移動体の存否を検知し、前記画像処理装置は前記複数の動画像処理カメラからそれぞれに受け取る前記画像データに対応して共通に前記移動体の識別を実行する
動画像処理システム。 An image processing device;
Comprising any one moving image processing camera selected from a plurality of moving image processing cameras connected to the image processing device;
The arbitrary one video processing camera is:
A video generation unit that generates video data from image data obtained by imaging;
A moving body detector for detecting a moving body from the image data;
E Bei a communication interface for sending the image data of the moving object is detected and generated video data by said image generating unit in the moving body detection unit to the image processing apparatus,
The moving body detection unit detects the presence or absence of the moving body corresponding to image data obtained by imaging of the moving image processing camera to which the moving body detection unit belongs, and the image processing apparatus detects the moving image processing cameras from the plurality of moving image processing cameras. A moving image processing system for commonly identifying the moving object corresponding to the image data received by each . 前記通信インタフェースは、前記映像データと前記画像データをデジタル信号で送出する
請求項１に記載の動画像処理システム。The communications interface, moving image processing system according to claim 1 for sending the image data and the video data in a digital signal. 前記通信インタフェースは、前記映像データと前記画像データをアナログ信号で送出する
請求項１に記載の動画像処理システム。The communications interface, moving image processing system according to the image data and the image data to claim 1 for transmitting an analog signal. 前記移動体検知部は、
前記画像データに基づいて前記移動体情報を算出する算出部と、
前記移動体情報を前記映像データに重畳する重畳部とを備え、
前記通信インタフェースは、前記重畳部からの前記移動体情報が重畳された映像データを前記画像処理装置に対して送出する
請求項３に記載の動画像処理システム。The moving body detection unit is
A calculating unit that calculates the moving body information based on the image data;
And a superimposing unit that superimposes the mobile body information on the video data,
The moving image processing system according to claim 3, wherein the communication interface sends video data on which the moving body information from the superimposing unit is superimposed to the image processing apparatus . 前記算出部は、
前記移動体検知部で検知された移動体の座標を算出する座標算出部と、
前記移動体検知部で検知された移動体の移動速度を検出する速度検出部とを具え、
前記重畳部は、
前記移動体検知部での移動体の検知の有無、前記座標検出部で検出された移動体の座標及び前記速度検出部で検出された移動体の移動速度の少なくとも１つを前記移動体情報として前記映像生成部で生成された映像データに重畳する
請求項４に記載の動画像システム。The calculation unit includes:
A coordinate calculation unit for calculating the coordinates of the moving object detected by the moving object detection unit;
A speed detector for detecting the moving speed of the moving body detected by the moving body detector;
The superimposing unit is
At least one of the presence / absence of detection of the moving body by the moving body detection unit, the coordinates of the moving body detected by the coordinate detection unit, and the moving speed of the moving body detected by the speed detection unit is used as the moving body information. The moving image system according to claim 4, wherein the moving image system is superimposed on the video data generated by the video generation unit. 前記重畳部は、前記移動体情報を画像データ及びデジタルデータの少なくとも１つで表したラベリング情報として前記映像生成部で生成された映像データに重畳する
請求項５に記載の動画像処理システム。The moving image processing system according to claim 5, wherein the superimposing unit superimposes the moving body information on the video data generated by the video generating unit as labeling information represented by at least one of image data and digital data. 前記通信インタフェースから出力されるデータを無線で送信する無線送信手段
を更に具える請求項〜６から選択される１請求項の動画像処システム。Wireless transmission means for wirelessly transmitting data output from the communication interface
The moving image processing system according to claim 1, further comprising: 前記移動体検知部は、外部からの指示に応答して処理内容を変更する
請求項１に記載の動画像処理システム。The moving image processing system according to claim 1, wherein the moving body detection unit changes processing contents in response to an instruction from the outside. ズーム機構と、
前記ズーム機構にズーム撮影の指示を与える指示手段
とを更に具える請求項１〜８から選択される１請求項の動画像処理システム。Zoom mechanism,
Instruction means for giving an instruction of the zoom imaging in the zoom mechanism
The moving image processing system according to claim 1, further comprising: パン機構と、
前記パン機構にパン撮影の指示を与える第１指示手段と、
チルト機構と、
前記チルト機構にチルト撮影の指示を与える第２指示手段
とを更に具える請求項１〜９から選択される１請求項の動画像処理システム。A bread mechanism,
First instructing means for giving an instruction for pan photographing to the pan mechanism;
A tilt mechanism;
The moving image processing system 1 according to claim selected from claims 1 to 9, the tilt mechanism further comprises a second instructing means for giving an indication of the tilt shooting.
JP2000391339A 2000-12-22 2000-12-22 Moving image processing camera and image processing system using the same Expired - Fee Related JP3686333B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000391339A JP3686333B2 (en) 2000-12-22 2000-12-22 Moving image processing camera and image processing system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000391339A JP3686333B2 (en) 2000-12-22 2000-12-22 Moving image processing camera and image processing system using the same

Publications (2)

Publication Number Publication Date
JP2002199382A JP2002199382A (en) 2002-07-12
JP3686333B2 true JP3686333B2 (en) 2005-08-24

Family

ID=18857499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000391339A Expired - Fee Related JP3686333B2 (en) 2000-12-22 2000-12-22 Moving image processing camera and image processing system using the same

Country Status (1)

Country Link
JP (1) JP3686333B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004328622A (en) * 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd Action pattern identification device
JP2005338352A (en) * 2004-05-26 2005-12-08 Fujinon Corp Autofocus system
JP2006209428A (en) * 2005-01-27 2006-08-10 Toshiba Corp Electronic toll collection system
JP2006279568A (en) * 2005-03-29 2006-10-12 Fujitsu Ltd Image-pickup device
JP2008141642A (en) * 2006-12-05 2008-06-19 Sony Corp Image processor, imaging apparatus, image recording/reproducing device, and activation control method
JP2010233178A (en) * 2009-03-30 2010-10-14 Saxa Inc Image processing system
EP2608529B1 (en) 2011-12-22 2015-06-03 Axis AB Camera and method for optimizing the exposure of an image frame in a sequence of image frames capturing a scene based on level of motion in the scene
JP5909147B2 (en) 2012-05-08 2016-04-26 キヤノン株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP6098191B2 (en) * 2013-01-31 2017-03-22 サクサ株式会社 Imaging device
JP6572535B2 (en) * 2014-12-10 2019-09-11 株式会社リコー Image recognition system, server device, and image recognition method

Also Published As

Publication number Publication date
JP2002199382A (en) 2002-07-12

Similar Documents

Publication Publication Date Title
KR101343975B1 (en) System for detecting unexpected accident
JP5615441B2 (en) Image processing apparatus and image processing method
CN104155006B (en) A kind of hand-held thermal infrared imager and its method to the range finding of Small object quick lock in
JP4892965B2 (en) Moving object determination system, moving object determination method, and computer program
KR101937272B1 (en) Method and Apparatus for Detecting Event from Multiple Image
US8687077B2 (en) Method and system for controlling camera through wireless sensor network
US20090015674A1 (en) Optical imaging system for unmanned aerial vehicle
EP2549752A1 (en) Surveillance camera terminal
JP3686333B2 (en) Moving image processing camera and image processing system using the same
JP4643860B2 (en) VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE
RU2011137821A (en) INTELLIGENT TRACKING CAMERA AND INTELLIGENT CAMERA IMAGE TRACKING SYSTEM
US20160109617A1 (en) Information transmission apparatus, weather condition acquisition system, server apparatus, information transmission method and program
JP2001216519A (en) Traffic monitor device
KR101096157B1 (en) watching apparatus using dual camera
WO2012137367A1 (en) Image accumulation system
KR101621822B1 (en) Device for security and recognizing number of license plate based on hybrid image transmission, and method for recognizing and providing number of license plate using the same
US7184574B1 (en) Delayed video tracking
JP4048292B2 (en) Traffic information display system, captured image transmission device, in-vehicle information display device and storage medium
KR101977635B1 (en) Multi-camera based aerial-view 360-degree video stitching and object detection method and device
KR101432512B1 (en) Virtual image displaying apparatus for load control
KR102484691B1 (en) Vehicle detection system and vehicle detection method using stereo camera and radar
JPWO2020039897A1 (en) Station monitoring system and station monitoring method
JP2004212658A (en) System and method for image display and image processor
CN112640444A (en) Station monitoring device, station monitoring method, and program
JPH08191487A (en) Remote control system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090610

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees