JP4140159B2

JP4140159B2 - Surveillance camera monitoring area setting apparatus and method

Info

Publication number: JP4140159B2
Application number: JP2000009688A
Authority: JP
Inventors: 寿和恩田; 伸行藤原; 貴五十嵐
Original assignee: Meidensha Corp
Current assignee: Meidensha Corp
Priority date: 2000-01-19
Filing date: 2000-01-19
Publication date: 2008-08-27
Anticipated expiration: 2020-01-19
Also published as: JP2001204007A

Description

【０００１】
【発明の属する技術分野】
本発明は、監視カメラの監視エリア設定装置及びその方法に関する。詳しくは、監視カメラの映像をもとに遠隔地にてカメラ設置場所の状況監視を行う映像監視システムに関するもので、特にカメラの映像を画像処理することにより映像中の特定のエリアの状況を連続的に自動監視する画像処理装置において、映像中の監視エリアを自動的に設定する監視カメラの監視エリア設定装置に関するものである。
【０００２】
【背景技術】
監視対象場所に監視カメラを設置し、遠隔地の監視室において監視対象場所の状況監視を行う映像監視システムが多く運用されている。
例えば、鉄道駅構内の通路や広場での人の流れの監視、プラットホームでの乗降客と進入する電車との接触等の監視、デパートやコンビニの店内での客の挙動の監視、美術館や博物館の展示室の展示品の監視、建物や施設の出入り口の人の出入り状況の監視、あるいは生産現場における産業用ロボットの動作範囲内への作業員の立ち入り監視など、室内はもとより、浄水場や変電所における運転状況や侵入者監視、ダムサイトや農業用水路の取水口近辺へのボートや倒木などの接近の監視、工事現場における作業状況や危険区域内への侵入者の監視、高速道路を中心とした道路における車両走行状況の監視など、屋外にも監視カメラが多く設置されている。
【０００３】
これらの監視カメラの利用方法は主として２つの方法がある。
一つは、監視員による目視での監視で、監視室のモニタに映る監視カメラの映像を監視員が目視にて観察するものである。
もう一つの利用方法は、監視カメラの映像を常時又は間欠的にＶＴＲに保存しておき何らかの異常が発生したときに再生し異常の原因を調査分析するのに使用する方法である。
またこれらの２つの方法を同時に実施する例もある。
つまり、監視カメラの映像をＶＴＲに保存しながらモニタでの監視も行うものである。
【０００４】
ところで、目視による監視が行われている施設において、監視カメラが多数設置されており、監視室に設置されたモニタが多い場合に、監視員の疲労軽減と見落としの予防のために、画像処理による自動監視が行われている。
これは、監視カメラの映像を画像処理装置に入力し、背景差分法、時間差分法、領域差分法などの画像処理手法を用いて映像中の異常状況を検出し監視員に警告するものである。
【０００５】
背景差分法は、正常なときの監視場所の映像を保存しておき、監視カメラの映像がこれと異なる場合に異常と判断する方法で、ドアや門の前に障害物や侵入者がいることの検出に使用される。
時間差分法は、時間的に連続する２枚の画像の異なる部分を検出し、この部分に移動する物体があると判断する方法で、夜間のビル内の通路の侵入者や爆発などの異常検出に使用される。
領域差分法は、入力画像のエッジ検出を行い、本来検出されるべきでない場所にエッジ成分が抽出された場合にこれを異常と判断するもので、道路上の障害物の検出などに使用される。
【０００６】
これらの方法は独立に使用されることもあるが、これ以外の方法を含む複数の手法を組み合わせて使用することもある。
また、一般に上述の画像処理は入力画像の全範囲に対して行うことは少なく、図９、図１０に示すように、異常が発生する可能性のあるエリア０１，０２を設定して、そのエリア０１，０２のみに対して画像処理を行い異常状況を監視することが行われている。
【０００７】
理由は、監視カメラの映像中の監視対象は一般に限定されており、異常が発生する場所が決まっているので特定の監視エリア以外の異常状況をノイズとして排除できることと、画像処理の対象範囲を小さくすることで画像処理装置による画像処理の時間が短縮できることである。
この監視エリアの設定は、カメラが固定で監視場所が決まっている場合は手動で設定が実施される。
【０００８】
即ち、オペレータが監視カメラの映像を見て監視エリアをマウス操作やキー操作により設定する。
画像処理装置はオペレータにより設定された監視エリアのみを対象に画像処理を行い、異常検出を行うものである。
これら、従来の映像監視システムにおける監視エリアの設定には以下に示す問題点が存在する。
第一に、監視カメラを移動させる監視を行う場合、監視カメラに映る場所が時々刻々変化するので、監視エリアが設定できない。
監視カメラが固定、即ち監視カメラの設置位置が固定でカメラの向きも固定でレンズも焦点距離が固定のレンズを使用する場合は、監視カメラの映像に映る場所と範囲は同一であり、従って映像中の監視エリアも一旦設定すればこれを利用できる。
しかしながら、近年の監視カメラは設置位置こそ固定だが、電動雲台のパンチルト機構によりカメラ本体の旋回と上下振り動作が可能で、さらに電動ズームレンズを使用して望遠から広角まで映像の範囲を変化させることができるものが使用されている。
【０００９】
この場合、カメラの移動によって監視カメラの映像が大きく変化するため手動により設定した監視エリアが保持できない。
電動雲台の旋回角度や仰角の動作と電動ズームレンズの焦点距離をセンシングして画像処理装置にフィードバックすれば、監視カメラの向きの変化に対応した監視エリアの再計算は可能だが（カメラパラメータに関しては参考文献：除、辻著、「三次元ビジヨン」，共立出版，１９９８（以下「文献１」と呼ぶ）によれば、カメラ座標系と三次元空間座標系の変換行列に１１のパラメータがあり、カメラに映る４点のカメラ座標（ｕ，ｖ）と三次元空間座標（ｘ，ｙ，ｚ）、又はカメラパラメータ（カメラ設置位置、カメラ旋回角度、カメラ仰角、レンズ焦点距離など）が既知であれば計算（キャリブレーション）することが可能である。）、センサの設置もセンサ信号の伝送もコストがかかるもので一般には行われていない。
【００１０】
第二に、オペレータが監視カメラの映像中にマウス操作などで監視エリアを設定するので、現場の位置や距離との対応が不明である。
例えば、ダムサイトの取水口から１０ｍ以内を危険区域として設定したいときでも監視カメラの映像ではどこが１０ｍなのかがオペレータにはわからないため、正確に１０ｍ以内の監視エリアを設定できない。
第三に、複数の監視カメラを使用した遠隔自動監視を行う場合、個々の監視カメラ毎に監視場所と監視エリアが異なるので、個々の監視カメラに対してそれぞれ個別に監視エリアを設定する必要がある。
【００１１】
また、カメラやレンズを交換した後には、厳密には監視カメラに映る場所が変わるので、監視カメラの映像の確認と監視エリアの再設定が必要である。
大きな施設の多数の出入り口の監視を行う場合や長大トンネルの多数の監視カメラの設定を行う作業は煩雑である。
これらの問題点を解決する手段として我々は、「監視カメラの監視エリア設定装置及び方法」（特願平１１−３２７７０４号）を提案した（以下、「前回提案」と呼ぶ）。
【００１２】
この提案は、映像入力部と、画像処理部と、カメラパラメータ計算部と、監視エリア設定部とで構成し、映像入力部で監視カメラの映像を入力し、画像処理部で画像処理により監視対象水平面上の３点のマーカを検出し、カメラパラメータ計算部において３点が水平面上で等間隔に設置されていることを利用したカメラパラメータ計算を行い、計算されたカメラパラメータを使用して監視エリア設定部で３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定することを特徴とする監視カメラの監視エリア設定装置及びその方法である。
【００１３】
この提案による利点は、▲１▼従来は出来なかったパンチルトズーム動作を行う監視カメラを使用した画像処理による自動監視が可能である、▲２▼従来は監視カメラが複数設置されているときは個々の監視カメラ毎に個別に監視エリアを設定する必要があったが、複数のカメラで同一の間隔の監視エリアを設定する場合はパラメータの設定を一括して行うことが可能であり監視エリア設定の煩雑さが解消される、▲３▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、現場における監視エリアの絶対値を設定できなかったが、カメラの仰角を何らかの方法で設定する実施例によれば、平行線で構成する監視エリアの幅を現場における絶対値で設定可能である、の３点に集約される。
また、前回提案では１４の実施例を示し、様々な監視対象におけるその有用性を説明した。
【００１４】
【発明が解決しようとする課題】
しかしながら、前回提案の映像監視システムにおける監視エリアの設定には以下に示す問題点が存在する。
第一に、カメラ仰角の情報を使用しない場合は、オペレータが監視カメラの映像中にマウス操作などで監視エリアを設定するので、現場の位置や距離との対応が不明である。
例えば、ダムサイトの取水口から１０ｍ以内を危険区域として設定したいときでも監視カメラの映像ではどこが１０ｍなのかがオペレータにはわからないため、正確に１０ｍ以内の監視エリアを設定できない。
【００１５】
第二に、カメラ仰角の情報を電動雲台の仰角の動作をセンシングして画像処理装置にフィードバックする場合は、センサの設置もセンサ信号の伝送もコストがかかるので適用しにくい。
第三に、カメラ仰角の情報をオペレータが手動で設定する場合は、複数の監視カメラを使用した遠隔自動監視を行う場合、個々の監視カメラ毎に監視場所と監視エリアが異なるので、個々の監視カメラに対してそれぞれ個別にカメラ仰角を設定する必要がある。
【００１６】
また、カメラやレンズを交換した後には、厳密には監視カメラに映る場所が変わるので、監視カメラの映像の確認とカメラ仰角の再設定が必要である。
大きな施設の多数の出入り口の監視を行う場合や長大トンネルの多数の監視カメラの設定を行う作業は煩雑である。
本発明は、監視カメラの映像中に監視エリアを設定し、画像処理により監視エリアの画像の変化を検出して異常の検出を行う映像自動監視システムに関するもので、特に監視カメラの映像中の監視エリアの設定を行う装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
斯かる目的を達成する本発明の請求項１に係る監視カメラの監視エリア設定装置及びその方法は、映像入力部と、画像処理部と、カメラパラメータ計算部と、監視エリア設定部とで構成し、映像入力部で監視カメラの映像を入力し、画像処理部で画像処理により監視対象水平面上の３点のマーカを検出し、カメラパラメータ計算部において３点が水平面上で等間隔に設置されていること及びカメラ高さ情報を利用したカメラパラメータ計算を行い、計算されたカメラパラメータを使用して監視エリア設定部で３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定することを特徴とする。
【００１８】
上記目的を達成する本発明の請求項２に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、本装置が計算して設定した監視エリアを入力した監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする。
【００１９】
上記目的を達成する本発明の請求項３に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視エリア設定部では３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする。
【００２０】
上記目的を達成する本発明の請求項４に係る監視カメラの監視エリア設定装置は、請求項２又は３記載の監視カメラの監視エリア設定装置において、表示する監視エリア又は平行な直線をオペレータの操作指示に基づき保持する機能を有することを特徴とする。
【００２１】
上記目的を達成する本発明の請求項５に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視カメラの映像を表示したモニタ上でオペレータにより指定された３点を使用してカメラパラメータ計算を行い、３点を結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリア、又は３点を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を設定又はモニタ表示することを特徴とする。
【００２２】
上記目的を達成する本発明の請求項６に係る監視カメラの監視エリア設定装置は、請求項１記載の監視カメラの監視エリア設定装置において、監視エリア設定部では何らかの方法で監視カメラ高さを計測するセンサを設置し、監視エリア設定部はこれを入力し、これをもとに３点のマーカを結ぶ直線と、これに水平面上で平行で指定された間隔の一本又は複数の直線を計算し監視エリアとして設定することを特徴とする。
【００２３】
【発明の実施の形態】
１）基本的な考え方（第一の実施例）
本発明の装置が設定する監視カメラと監視エリアは以下の条件を満たすものとする。
ただし、これらの条件は特別なものではなく一般的な電動雲台ズームレンズ付監視カメラがこれにあたる。
【００２４】
▲１▼監視カメラは水平面に対して水平に設置される。
▲２▼監視カメラの雲台が旋回動作する。ただし旋回動作は水平面内で行われる。
▲３▼監視カメラの雲台が上下振り動作する。ただしの上下振り動作は鉛直面内で行われる。
▲４▼監視カメラは電動ズームレンズの動作によりレンズ焦点距離が変化する。
▲５▼ただし監視カメラの旋回角度、仰角、レンズ焦点距離は検出できない。
▲６▼監視カメラで自動監視する監視エリアは実世界では水平面上に存在する。
▲７▼監視カメラの監視対象の水平面上からの高さが既知で変わらないものとする。
【００２５】
さらに、本発明による監視エリアの自動設定のために、監視カメラの映像に映る範囲内で監視エリアと同一の水平面上に等間隔に直線的に３点以上のマーカを設定するものとし、監視エリアはこのマーカがのる直線と平行な範囲とする。
ここで使用するマーカは、本発明の目的のために特別に着色したペイントでも良いし、特別に設置した円盤やパイロンでも良いし、他の目的のために設置されている工事現場や道路脇の杭やポストマークでも良いし、道路の車線マークや建造物の柱や土台石でも良い。
【００２６】
本発明の監視エリア設定装置１０は、図１に示すように、映像入力部１１と画像処理部１２と、カメラパラメータ計算部１３と、監視エリア設定部１４とで構成し、映像入力部１１で監視カメラ２０の映像を入力し、画像処理部１２で画像処理により３点のマーカを検出し、カメラパラメータ計算部１３において３点が水平面上で等間隔に設置されていること及び、オペレータにより予め設定されたマーカ間隔とカメラ高さ情報を利用したカメラパラメータ計算を行い、監視エリア設定部１４でこのパラメータを使用して３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定する。
【００２７】
遠隔監視システムは、設定された監視エリアに対して画像処理を行い異常の検出などを行うものである。
カメラパラメータの計算手順の例を説明する。
図２に示すような監視の映像中の位置（ｕ，ｖ）と実世界の空間位置（ｘ，ｙ，ｚ）との関係を決定するカメラパラメータは、カメラの設置位置（Ｘ，Ｙ，Ｚ）とカメラ姿勢（θ，φ，ψ）に関する６つの外部パラメータとカメラ自体レンズ焦点距離ｆと画像中心（ｕ０，ｖ０）とＣＣＤ素子単位長比と軸の交差角度の５つの内部パラメータの合計１１のパラメータが存在する（文献１）。
【００２８】
これらのうち、通常の工業用監視カメラではＣＣＤ素子単位長比が１：１、軸の交差角度が９０度に調整されている。
また、監視カメラが水平に設置されているのでψ＝０とすることができ、マーカと監視エリアが同一の水平面上にあり、雲台の動作が水平面に水平又は鉛直であれば水平面上の平行線の計算に関してφは無関係であるので、φ＝０と置くことが出来る。
【００２９】
さらに、カメラ座標系の原点をカメラのレンズ中心においてｕ０＝ｖ０＝０とし、空間座標系の原点も同じくカメラのレンズ中心において、Ｘ＝Ｙ＝Ｚ＝０とすれば、図３に示すように、残るパラメータはレンズ焦点距離とＣＣＤサイズの比を表すαとカメラの仰角θの２つになる。
ある計測点をＭ（Ｘ，Ｙ，Ｚ）、ＭのＣＣＤ上の画像点をｍ（ｕ，ｖ）とするとＭとｍの関係は、
【００３０】
【数１】

【００３１】
で表される変換行列である。ここで、Ａはカメラ内部パラメータで、
【００３２】
【数２】

【００３３】
Ｒはθのみのカメラの回転行列で、
【００３４】
【数３】

【００３５】
であるから（１）式は、
【００３６】
【数４】

【００３７】
となり、これを展開すると、
【００３８】
【数５】

【００３９】
となる。Ｘは監視対象の水平面からのカメラ高さで一定であるから、ｍとＭは一対一に対応し、
【００４０】
【数６】

【００４１】
で表される。いま、カメラ映像中にある３点ｍ１（ｕ１，ｖ１）、ｍ２（ｕ２，ｖ２）、ｍ３（ｕ３，ｖ３）が水平面上のＭ１（Ｘ１，Ｙ１，Ｚ１）、Ｍ２（Ｘ２，Ｙ２，Ｚ２）、Ｍ３（Ｘ３，Ｙ３，Ｚ３）に対応し、これらが等間隔で直線上にあるとすれば、
【００４２】
【数７】

【００４３】
であるから、（９）式を利用して、
【００４４】
【数８】

【００４５】
であり、これを解くと、
【００４６】
【数９】

【００４７】
のカメラパラメータが求められる。次に、図４に示すように、等間隔に設置されたマーカの間隔をｄとすれば、
【００４８】
【数１０】

【００４９】
なので、（９）（１０）式を使い、カメラ高さをｈとして整理すると、
【００５０】
【数１１】

【００５１】
となる。ここで、
【００５２】
【数１２】

【００５３】
とした。この場合のｋは（１３）式により計算される。さらに、
【００５４】
【数１３】

【００５５】
を（１５）式に代入して整理したあとにｔについて展開すると、
【００５６】
【数１４】

【００５７】
となる。ここで、
【００５８】
【数１５】

【００５９】
とした。（１７）式をｔ²について解くと、
【００６０】
【数１６】

【００６１】
となり、カメラ仰角θを求めることができる。
同様に（１６）式からズーム倍率に相当するカメラパラメータαを求めることができる。
これにより、（９）（１０）式によりカメラ画像中の点（ｕｉ，ｖｉ）と水平面上の点（Ｙｉ，Ｚｉ）の相互の座標変換を行うことが可能で、即ち、水平面上のマーカＭ１−Ｍ２に平行な直線に対応する画像中の直線をカメラ画像中に描画することが可能である。
【００６２】
本発明は、監視対象の水平面上に等間隔で設置されたマーカを画像中に検出しこれらの画像中の座標及びカメラ高さとマーカ間隔の情報から水平面上でマーカが構成する直線と平行な直線を画像中に描画するものであり、本発明の特徴は、３点のマーカが画像中にあれば、これと水平面上で平行で一定間隔の直線を決定することが可能でこれらに囲まれた監視エリアを計算により決定できることである。
【００６３】
特に、本発明の方法によれば前回提案の方法では実施していなかった、カメラ仰角θとズーム倍率に関係するカメラパラメータαを計算するので、監視対象水平面上の仮想的な平行線に対応する直線のカメラ画像中の位置をオペレータが指定する間隔で正確に計算することが可能である。
例えば、正確に１０ｍ以内の監視エリアをカメラ画像中に設定可能である。
本発明による監視エリア設定を逐次行うことにより、監視カメラの雲台とズームレンズをを操作し時々刻々と映像が変化しても、３点のマーカが映像に映っていれば、これをもとに監視エリアの更新がなされ、連続的な自動監視が可能となる。
【００６４】
２）検知すべきマーカとその検出方法の実施例
本発明の装置は、水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定するもので、遠隔監視システムがこの監視エリアに対して画像処理を行い異常の検出などを行うものである。
本発明で使用するマーカの例とその検出方法の実施例については前回提案のマーカとその検出方法がそのまま使用できる。
【００６５】
３）監視エリア設定の第二の実施例
図５に示すように、水平面上に等間隔で直線上に設置された３点のマーカ１を画像処理により検出し、カメラパラメータ計算を行い、３点のマーカ１を結ぶ直線とこれと一定間隔で平行な直線（平行線）２に囲まれた監視エリア３を設定する監視カメラの監視エリア設定装置において、設定した監視エリア３を入力した監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、本装置が計算して設定した監視エリア３をオペレータが確認できる点である。
これにより、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる利点がある。
【００６６】
４）監視エリア設定の第三の実施例
図６に示すように、水平面上に等間隔で直線上に設置された３点のマーカ１を画像処理により検出し、カメラパラメータ計算を行い、３点のマーカ１を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線（平行線）２を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、監視エリアを領域でなく直線２で表現することである。
これにより、道路の特定車線の走行状況の監視、ダムサイトの上面の縁部分の監視、工事現場の側溝の境界部分の監視などに適用可能である。
また、この直線２をオペレータが確認できるので、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる利点がある。
【００６７】
５）監視エリア設定の第四の実施例
水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線又はこれらにより囲まれるエリアを監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示する監視カメラの監視エリア設定装置において、表示する監視エリア又は平行な直線をオペレータの操作指示に基づき保持する機能を有することを特徴とする監視カメラの監視エリア設定装置である。
【００６８】
本実施例の特徴は、監視カメラの雲台を操作して３点のマーカが映る雲台位置を決定したあとに、カメラを移動させないことを前提条件として、一度計算した監視エリアを保持するものである。
これにより、監視エリアの設定後に何らかの理由でマーカが隠れたり移動しても同一の監視エリアを使用することが可能になる。
現場の状況の変化や人の移動などによりマーカが隠れたり移動したりする可能性のある、建物の出入り口や工事現場の監視のときに効果がある。
【００６９】
６）監視エリア設定の第五の実施例
図７に示すように、監視カメラの映像を表示したモニタ上にオペレータがマウス操作で３点をマーカ４として指定し、この３点のマーカ４を使用してカメラパラメータ計算を行い、３点のマーカ４を結ぶ直線とこれと一定間隔で平行な直線（平行線）２に囲まれた監視エリア、又は３点のマーカ４を結ぶ直線とこれと一定間隔で平行な一本又は複数の直線２を設定又はモニタ表示することを特徴とする監視カメラの監視エリア設定装置である。
本実施例の特徴は、３点のマーカ４を画像処理により検出する替わりに、監視カメラの映像中の３点をオペレータがマウスで指定することである。
マウスで指定するマーカの位置はタイルの目地や橋の欄干など、一定間隔であることが保証されているものであることが条件である。
これにより、画像処理により検出すべきマーカがない場合、マーカが検出しにくい場合、専用のマーカを設置できない場合にも監視エリアを設定することが可能となる。
【００７０】
７）カメラ高さが変化する場合の実施例
ところで、本発明の実現の条件としてカメラ高さが一定で既知であることとしたが、監視カメラの使用方法によってはこの条件が確保できない場合がある。
例えば、図８に示すように、前回提案でマーカの例として説明したダムサイト５における取水口６の付近の危険区域の監視の場合は、ダムの水位の変動に対応してダム湖水面とカメラの相対的な高さが変動する。
また、監視カメラをクレーンなど高さが変化する個所に設置する場合もある。
これらの場合も、何らかの方法でカメラ高さｈをオペレータが知ることができれば、そのデータを入力することにより、本発明によるカメラパラメータの計算が可能で、監視エリアの設定が可能である。
しかしながら、時々刻々にカメラ高さが変化するようなときは、カメラ高さを計測すること自体もこれを入力することも煩雑な作業であり、場合によっては困難である。
【００７１】
そこで、この場合の本発明の実施例として、第一の実施例の構成要素に加えて、カメラ高さを何らかの方法で計測する手段を設置し、カメラ高さを逐次計測し、これを監視エリア設定装置に入力し、このデータを使用してカメラパラメータ計算を行い、監視エリア設定部でこのパラメータを使用して３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定する方法及び装置を提案する。
カメラ高さの計測方法の例を説明する。
監視対象の水平面の高さが変化する場合、図８に示すように、例えば、前述したダムサイト５における取水口６の付近の危険区域の監視などの場合は、地上におけるカメラの設置場所が変わらないとすれば、水平面の高さを計測する測定器、ダム湖の場合は水位計を設置し（一般的なダムでは設置されていることが多い）、水位計の計測値を元に水面とカメラ高さを計算してカメラパラメータを計算することができる。
【００７２】
クレーンで吊り上げる場合などカメラの高さ自体が変化する場合は、監視対象の水平面からカメラまでの高さを、レーザー距離計、超音波距離計、ディジタル巻尺、ステレオカメラ、などを使用して直接又は間接的に計測して入力することで、カメラパラメータを計算することができる。
本実施例の特徴は、監視対象水平面からのカメラ高さを何らかの手段で知ることにより監視エリアを設定することである。
【００７３】
これにより、監視対象水平面からのカメラ高さが一定でなく変化する場合にも、監視エリアの設定が行われる利点がある。
従って、例えば、複数のカメラに対して同一の間隔で監視エリアを設定する場合はパラメータの設定を一括して行うことが可能であり、カメラ毎に個別に設定する必要がないため作業が簡便である。
また、カメラやレンズを交換したあとの調整が不要である。
【００７４】
【発明の効果】
以上、詳細に説明したように、本発明は、監視カメラの映像中に監視エリアを設定し、画像処理により監視エリアの画像の変化を検出して異常の検出を行う映像自動監視システムに関するもので、特に監視カメラの映像中の監視エリアの設定を行うことができる。
更に、本発明の装置は、水平面上に等間隔で直線上に設置された３点のマーカを画像処理により検出し、カメラ高さの情報を使用してカメラパラメータ計算を行い、３点のマーカを結ぶ直線とこれと一定間隔で平行な直線に囲まれた監視エリアを設定するもので、この監視エリアに対して遠隔監視システムが画像処理を行い異常の検出などを行うことができる。
▲１▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、現場における監視エリアの絶対値を設定できなかったが、本発明によれば、マーカの間隔をもとにカメラパラメータを計算するので、平行線で構成する監視エリアの幅を現場における絶対値で設定可能である。例えばホームの縁から５０ｃｍ以内の範囲を監視エリアとして設定可能である。
▲２▼従来は監視エリアの設定はオペレータが映像中の位置を指定して行っており、監視カメラが複数設置されているときは個々の監視カメラ毎に個別に監視エリアを設定する必要があったが、本発明によれば、複数のカメラで同一の間隔の監視エリアを設定する場合はパラメータの設定を一括して行うことが可能である。これにより監視エリア設定の煩雑さが解消される。例えば、ホームに沿って設置された複数の監視カメラの監視エリアをホームの縁から５０ｃｍ以内の範囲とする場合は、監視エリアをー括して設定可能である。
▲３▼従来はパンチルトズーム操作を行う監視カメラについては画像処理による自動監視が出来なかった。その理由は監視カメラの映像範囲が変化することにより監視エリアが変わるのでこれを設定することが出来なかったからであるが、本発明によれば水平面上に直線的に等間隔で設置されたマーカを検出してこれを基準とした平行直線を計算することにより監視エリアの計算が可能であるので、パンチルトズーム動作を行う監視カメラを使用した画像処理による自動監視が可能である。
▲４▼本装置が計算して設定した画像監視エリアを入力した監視カメラの映像と共にモニタにオーバレイ表示することにより監視エリアをオペレータが確認できる利点がある。これにより、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能になる。
▲５▼３点のマーカを結ぶ直線とこれと一定間隔で平行な一本又は複数の直線を監視エリアとして設定し、監視カメラの映像と共にモニタにオーバレイ表示し、監視エリアを領域でなく直線で表現するので、道路の特定車線の走行状況の監視、ダムサイトの上面の縁部分の監視、工事現場の側溝の境界部分の監視などに適用可能である。また、この直線をオペレータが確認できるので、画像処理装置による自動監視と同時にオペレータによる目視による監視が可能である。
▲６▼監視カメラの雲台を操作して３点のマーカが映る雲台位置を決定したあとに、一度計算した監視エリアを保持することにより、監視エリアの設定後に何らかの理由でマーカが隠れたり移動しても同一の監視エリアを使用することが可能になる。現場の状況の変化や人の移動などによりマーカが隠れたり移動したりする可能性のある、建物の出入り口や工事現場の監視のときに効果がある。
▲７▼３点のマーカを画像処理により検出する替わりに、監視カメラの映像中の３点をオペレータがマウスで指定することにより、画像処理により検出すべきマーカがない場合、マーカが検出しにくい場合、専用のマーカを設置できない場合にも監視エリアを設定することが可能となる。
▲８▼カメラ仰角を何らかの手段で計測して入力することにより、カメラの高さが変化する場合にも監視エリアの設定が可能である。
【図面の簡単な説明】
【図１】本発明の監視エリア設定装置の構成図である。
【図２】空間座標系とカメラ座標系の関係を示す説明図である。
【図３】監視カメラのカメラパラメータを示す説明図である。
【図４】３点マーカ映像とカメラとの関係を示す説明図である。
【図５】設定された領域の監視エリアを示す表示図である。
【図６】設定された平行線の監視エリアを示す表示図である。
【図７】マーカの位置をモニタ上でマウスで設定する様子を示す説明図である。
【図８】ダムサイトにおける取水口の監視を示す説明図である。
【図９】通用門の映像と監視エリアの例を示す説明図である。
【図１０】道路の映像と追い越し車線の監視エリアを示す説明図である。
【符号の説明】
１０監視エリア設定装置
１１映像入力部
１２画像処理部
１３カメラパラメータ計算部
１４監視エリア設定部
２０監視カメラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a monitoring camera monitoring area setting apparatus and method. Specifically, it relates to a video surveillance system that monitors the status of the camera installation location at a remote location based on the video of the surveillance camera. In particular, the status of a specific area in the video is continuously processed by processing the video of the camera. The present invention relates to a monitoring area setting device for a monitoring camera that automatically sets a monitoring area in a video in an image processing device that automatically monitors automatically.
[0002]
[Background]
Many video surveillance systems are installed in which a surveillance camera is installed at a monitoring target location and the status of the monitoring target location is monitored in a remote monitoring room.
For example, monitoring of the flow of people in the passages and plazas of railway stations, monitoring of contact between passengers on the platform and entering trains, monitoring of customer behavior in department stores and convenience stores, museums and museums In addition to indoors, water treatment plants and substations can be monitored, such as monitoring exhibits in exhibition rooms, monitoring the status of people entering and exiting buildings and facilities, and monitoring the entry of workers into the operating range of industrial robots at production sites. Monitoring of intruders, monitoring of intruders, monitoring of approaching boats and fallen trees to the vicinity of intakes of dam sites and agricultural canals, monitoring of work conditions at construction sites and intruders in hazardous areas, mainly on expressways Many surveillance cameras are also installed outdoors, such as monitoring the vehicle running conditions on the road.
[0003]
There are mainly two methods of using these surveillance cameras.
One is visual monitoring by a supervisor, in which the supervisor visually observes the video of the surveillance camera displayed on the monitor in the surveillance room.
Another method of use is a method of storing video of a surveillance camera in a VTR constantly or intermittently and reproducing it when an abnormality occurs and using it to investigate and analyze the cause of the abnormality.
There are also examples in which these two methods are performed simultaneously.
In other words, monitoring on the monitor is performed while storing the video of the monitoring camera in the VTR.
[0004]
By the way, in a facility where visual monitoring is performed, when many monitoring cameras are installed, and there are many monitors installed in the monitoring room, image processing is used to reduce the fatigue of monitoring personnel and prevent oversight. Automatic monitoring is performed.
This is to input the video of the surveillance camera to the image processing device, detect an abnormal situation in the video using an image processing method such as the background difference method, the time difference method, and the region difference method, and warn the monitor. .
[0005]
The background subtraction method is a method that stores images of the monitoring location when it is normal, and judges that there is an abnormality when the video of the surveillance camera is different from this, and there is an obstacle or intruder in front of the door or gate Used for detection.
The time difference method is a method that detects different parts of two images that are continuous in time and determines that there is an object moving in this part, and detects abnormalities such as intruders and explosions in passages at night. Used for.
The area difference method detects an edge of an input image, and determines that an edge component is extracted when it is not detected, and is used for detecting an obstacle on the road. .
[0006]
These methods may be used independently, or a plurality of methods including other methods may be used in combination.
In general, the above-described image processing is rarely performed on the entire range of the input image. As shown in FIGS. 9 and 10, areas 01 and 02 in which an abnormality may occur are set, and the areas are set. Image processing is performed only on 01 and 02 to monitor an abnormal situation.
[0007]
The reason for this is that the monitoring target in the video of the surveillance camera is generally limited, and since the location where the abnormality occurs is determined, it is possible to eliminate abnormal situations other than a specific monitoring area as noise, and to reduce the target range of image processing By doing so, the time for image processing by the image processing apparatus can be shortened.
The monitoring area is set manually when the camera is fixed and the monitoring location is determined.
[0008]
That is, the operator looks at the video of the monitoring camera and sets the monitoring area by operating the mouse or key.
The image processing apparatus performs image processing only on a monitoring area set by an operator and detects an abnormality.
There are the following problems in the setting of the surveillance area in the conventional video surveillance system.
First, when monitoring is performed by moving the surveillance camera, the location reflected on the surveillance camera changes from moment to moment, so the surveillance area cannot be set.
When a surveillance camera is fixed, that is, when the installation position of the surveillance camera is fixed, the orientation of the camera is fixed, and the lens has a fixed focal length, the location and range reflected in the surveillance camera image are the same, so the image Once the inside monitoring area is set, this can be used.
However, in recent years, the installation position of the surveillance camera is fixed, but the pan / tilt mechanism of the electric pan head can turn the camera body and swing it up and down, and the electric zoom lens can be used to change the image range from telephoto to wide angle. What can be used.
[0009]
In this case, the surveillance area set manually cannot be held because the video of the surveillance camera changes greatly as the camera moves.
The sensing area can be recalculated in response to changes in the orientation of the surveillance camera by sensing the turning angle and elevation angle of the electric pan head and the focal length of the electric zoom lens and feeding back to the image processing device. According to reference: Ei, Tsuji, “Three-dimensional vision”, Kyoritsu Shuppan, 1998 (hereinafter referred to as “Ref 1”), there are 11 parameters in the transformation matrix of the camera coordinate system and the three-dimensional spatial coordinate system. The camera coordinates (u, v) and three-dimensional space coordinates (x, y, z) reflected on the camera, or camera parameters (camera installation position, camera turning angle, camera elevation angle, lens focal length, etc.) are known. If necessary, calculation (calibration) is possible.) Installation of sensors and transmission of sensor signals are costly and are not generally performed.
[0010]
Second, since the operator sets a monitoring area in the video of the monitoring camera by operating the mouse or the like, the correspondence with the position and distance at the site is unknown.
For example, even when it is desired to set the area within 10 m from the intake of the dam site as a dangerous area, the operator does not know where the distance is 10 m from the video of the monitoring camera, and therefore it is not possible to set the monitoring area within 10 m accurately.
Third, when performing remote automatic monitoring using multiple surveillance cameras, the surveillance location and surveillance area differ for each surveillance camera, so it is necessary to set the surveillance area individually for each surveillance camera. is there.
[0011]
In addition, after the camera or lens is replaced, the location reflected on the surveillance camera changes strictly. Therefore, it is necessary to confirm the surveillance camera image and reset the surveillance area.
When monitoring a large number of entrances and exits of a large facility or setting a large number of surveillance cameras in a long tunnel, it is complicated.
As means for solving these problems, we proposed “Monitoring Camera Monitoring Area Setting Device and Method” (Japanese Patent Application No. 11-327704) (hereinafter referred to as “previous proposal”).
[0012]
This proposal consists of a video input unit, an image processing unit, a camera parameter calculation unit, and a monitoring area setting unit. The video input unit inputs the video of the monitoring camera, and the image processing unit performs image processing to monitor. Three point markers on the horizontal plane are detected, and the camera parameter calculation unit calculates camera parameters using the fact that the three points are equally spaced on the horizontal plane, and uses the calculated camera parameters to monitor the area. A monitoring area setting device and method for a monitoring camera, characterized in that a setting area sets a monitoring area surrounded by a straight line connecting three markers and a straight line parallel to the straight line.
[0013]
Advantages of this proposal are as follows: (1) Automatic monitoring by image processing using a surveillance camera that performs pan / tilt / zoom operations, which was not possible before, (2) Individually when multiple surveillance cameras are installed in the past It was necessary to set the monitoring area individually for each monitoring camera, but when setting monitoring areas with the same interval for multiple cameras, it is possible to set parameters in a batch and set the monitoring area. (3) In the past, the operator set the monitoring area by specifying the position in the video, and the absolute value of the monitoring area at the site could not be set. According to the embodiment set by the method, the width of the monitoring area constituted by the parallel lines can be set to three points, which can be set as absolute values in the field.
In the previous proposal, 14 examples were shown to explain their usefulness in various monitoring targets.
[0014]
[Problems to be solved by the invention]
However, there are the following problems in setting the monitoring area in the previously proposed video surveillance system.
First, when the information on the camera elevation angle is not used, the operator sets the monitoring area by operating the mouse or the like in the video of the monitoring camera, so the correspondence with the position and distance at the site is unknown.
For example, even when it is desired to set the area within 10 m from the intake of the dam site as a dangerous area, the operator does not know where the distance is 10 m from the video of the monitoring camera, and therefore it is not possible to set the monitoring area within 10 m accurately.
[0015]
Secondly, when sensing the elevation angle of the electric camera platform and feeding it back to the image processing apparatus, the information on the camera elevation angle is difficult to apply because the installation of the sensor and the transmission of the sensor signal are costly.
Third, when the operator manually sets the camera elevation angle information, when performing remote automatic monitoring using multiple monitoring cameras, the monitoring location and the monitoring area differ for each individual monitoring camera. It is necessary to individually set the camera elevation angle for each camera.
[0016]
In addition, after the camera and lens are replaced, the location reflected on the surveillance camera changes strictly. Therefore, it is necessary to check the surveillance camera image and reset the camera elevation angle.
When monitoring a large number of entrances and exits of a large facility or setting a large number of surveillance cameras in a long tunnel, it is complicated.
The present invention relates to an automatic video monitoring system in which a monitoring area is set in a video of a monitoring camera, and an abnormality is detected by detecting a change in the image of the monitoring area by image processing. An object of the present invention is to provide an apparatus and method for setting an area.
[0017]
[Means for Solving the Problems]
A surveillance camera monitoring area setting apparatus and method according to claim 1 of the present invention that achieves such an object comprises a video input unit, an image processing unit, a camera parameter calculation unit, and a monitoring area setting unit. The video of the monitoring camera is input by the video input unit, the three markers on the horizontal plane to be monitored are detected by the image processing by the image processing unit, and the three points are set at equal intervals on the horizontal plane by the camera parameter calculation unit. The camera parameter is calculated using the camera height information and the calculated camera parameter is surrounded by a straight line connecting the three markers in the monitoring area setting unit and a straight line parallel to the straight line. A monitoring area is set.
[0018]
The monitoring camera monitoring area setting device according to claim 2 of the present invention that achieves the above object is the monitoring camera monitoring area setting device according to claim 1, wherein the monitoring area calculated and set by the device is input. It is characterized by being overlaid on the monitor together with the camera image.
[0019]
The surveillance camera monitoring area setting device according to claim 3 of the present invention that achieves the above object is the surveillance camera surveillance area setting device according to claim 1, wherein the surveillance area setting unit includes a straight line connecting three markers. One or a plurality of straight lines parallel to each other at a fixed interval is set as a monitoring area, and is displayed as an overlay on the monitor together with the video of the monitoring camera.
[0020]
The surveillance area setting device for a surveillance camera according to claim 4 of the present invention that achieves the above object is the surveillance area setting device for a surveillance camera according to claim 2 or 3, wherein an operator operates a surveillance area to be displayed or a parallel straight line. It has a function of holding based on an instruction.
[0021]
The surveillance area setting device for a surveillance camera according to claim 5 of the present invention that achieves the above object is the surveillance area setting device for a surveillance camera according to claim 1, wherein the surveillance camera is designated by an operator on the monitor displaying the video of the surveillance camera. The camera parameters are calculated using the three points, and the monitoring area is surrounded by a straight line connecting the three points and a straight line parallel to the straight line, or a straight line connecting the three points and one parallel to the straight line connecting the three points. Alternatively, a plurality of straight lines are set or displayed on a monitor.
[0022]
A monitoring camera monitoring area setting device according to claim 6 of the present invention that achieves the above object is the monitoring camera monitoring area setting device according to claim 1, wherein the monitoring area setting unit measures the monitoring camera height by any method. The monitoring area setting unit inputs this, and based on this sensor, calculates a straight line connecting the three markers and one or more straight lines specified in parallel on the horizontal plane. And set as a monitoring area.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
1) Basic concept (first example)
The surveillance camera and surveillance area set by the apparatus of the present invention shall satisfy the following conditions.
However, these conditions are not special, and a general surveillance camera with an electric pan head zoom lens corresponds to this.
[0024]
(1) The surveillance camera is installed horizontally with respect to the horizontal plane.
(2) The pan head of the surveillance camera turns. However, the turning motion is performed in a horizontal plane.
(3) The camera platform pans up and down. However, the up-and-down swing operation is performed in the vertical plane.
(4) The lens focal length of the surveillance camera changes due to the operation of the electric zoom lens.
(5) However, the turning angle, elevation angle, and lens focal length of the surveillance camera cannot be detected.
(6) The surveillance area that is automatically monitored by the surveillance camera exists on the horizontal plane in the real world.
(7) Assume that the height of the monitoring target of the monitoring camera from the horizontal plane is known and does not change.
[0025]
Further, for automatic setting of the monitoring area according to the present invention, three or more markers are set linearly at equal intervals on the same horizontal plane as the monitoring area within the range shown in the video of the monitoring camera. Is the range parallel to the straight line on which this marker is placed.
The marker used here may be a specially colored paint for the purpose of the present invention, a specially installed disk or pylon, or a construction site or roadside installed for other purposes. It may be a stake or post mark, a road lane mark, a building pillar, or a foundation stone.
[0026]
As shown in FIG. 1, the monitoring area setting device 10 of the present invention includes a video input unit 11, an image processing unit 12, a camera parameter calculation unit 13, and a monitoring area setting unit 14. The video of the monitoring camera 20 is input, the image processing unit 12 detects three markers by image processing, and the camera parameter calculation unit 13 sets the three points at equal intervals on the horizontal plane, and the operator previously The camera parameter calculation using the set marker interval and camera height information is performed, and the surveillance area setting unit 14 uses this parameter and is surrounded by a straight line connecting three markers and a straight line parallel to the straight line. Set the monitored area.
[0027]
The remote monitoring system performs image processing on a set monitoring area to detect an abnormality.
An example of the camera parameter calculation procedure will be described.
The camera parameters for determining the relationship between the position (u, v) in the surveillance video as shown in FIG. 2 and the real-world spatial position (x, y, z) are the camera installation positions (X, Y, Z). ) And six external parameters relating to the camera posture (θ, φ, ψ), a total of 11 internal parameters including the camera focal length f, the image center (u0, v0), the CCD element unit length ratio, and the axis crossing angle 11 There exist parameters (Reference 1).
[0028]
Among these, in a normal industrial surveillance camera, the CCD element unit length ratio is adjusted to 1: 1, and the axis crossing angle is adjusted to 90 degrees.
In addition, since the surveillance camera is installed horizontally, ψ = 0 can be set, the marker and the surveillance area are on the same horizontal plane, and the movement of the pan head is horizontal or vertical to the horizontal plane, the parallel on the horizontal plane. Since φ is irrelevant for the line calculation, it can be set to φ = 0.
[0029]
Furthermore, if the origin of the camera coordinate system is u0 = v0 = 0 at the camera lens center and the origin of the spatial coordinate system is also the camera lens center, X = Y = Z = 0, as shown in FIG. The remaining parameters are two, α representing the ratio between the lens focal length and the CCD size and the elevation angle θ of the camera.
When a certain measurement point is M (X, Y, Z) and an image point on the CCD of M is m (u, v), the relationship between M and m is
[0030]
[Expression 1]

[0031]
Is a transformation matrix. Where A is a camera internal parameter,
[0032]
[Expression 2]

[0033]
R is the rotation matrix of the camera with only θ,
[0034]
[Equation 3]

[0035]
Therefore, equation (1) is
[0036]
[Expression 4]

[0037]
And when this is expanded,
[0038]
[Equation 5]

[0039]
It becomes. Since X is constant at the camera height from the horizontal plane to be monitored, m and M correspond one-to-one,
[0040]
[Formula 6]

[0041]
It is represented by Now, three points m1 (u1, v1), m2 (u2, v2), and m3 (u3, v3) in the camera image are M1 (X1, Y1, Z1), M2 (X2, Y2, Z2) on the horizontal plane. , M3 (X3, Y3, Z3) and these are on a straight line at equal intervals,
[0042]
[Expression 7]

[0043]
Therefore, using equation (9),
[0044]
[Equation 8]

[0045]
And solving this,
[0046]
[Equation 9]

[0047]
Camera parameters are determined. Next, as shown in FIG. 4, if the interval between markers set at equal intervals is d,
[0048]
[Expression 10]

[0049]
So, using the formulas (9) and (10) and organizing the camera height as h,
[0050]
## EQU11 ##

[0051]
It becomes. here,
[0052]
[Expression 12]

[0053]
It was. In this case, k is calculated by the equation (13). further,
[0054]
[Formula 13]

[0055]
After substituting for (15) and rearranging,
[0056]
[Expression 14]

[0057]
It becomes. here,
[0058]
[Expression 15]

[0059]
It was. Equation (17) is changed to t ² Solving for
[0060]
[Expression 16]

[0061]
Thus, the camera elevation angle θ can be obtained.
Similarly, the camera parameter α corresponding to the zoom magnification can be obtained from the equation (16).
Thereby, it is possible to perform mutual coordinate conversion of the point (ui, vi) in the camera image and the point (Yi, Zi) on the horizontal plane by the equations (9) and (10), that is, the marker M1 on the horizontal plane. -A straight line in an image corresponding to a straight line parallel to M2 can be drawn in the camera image.
[0062]
The present invention detects markers placed at equal intervals on a horizontal plane to be monitored in an image, and straight lines parallel to the straight lines formed by the markers on the horizontal plane from the coordinates, camera height, and marker interval information in these images. The feature of the present invention is that if there are three markers in the image, it is possible to determine straight lines that are parallel to the horizontal plane and spaced at a fixed interval. The monitoring area can be determined by calculation.
[0063]
In particular, according to the method of the present invention, since the camera parameter α related to the camera elevation angle θ and the zoom magnification, which was not implemented in the previously proposed method, is calculated, it corresponds to a virtual parallel line on the monitoring target horizontal plane. It is possible to accurately calculate the position in the straight camera image at intervals specified by the operator.
For example, it is possible to accurately set a monitoring area within 10 m in the camera image.
By sequentially setting the surveillance area according to the present invention, even if the image is changed from moment to moment by operating the camera platform and zoom lens of the surveillance camera, if three markers are reflected in the image, The monitoring area is updated at this time, and continuous automatic monitoring becomes possible.
[0064]
2) Examples of markers to be detected and detection methods thereof
The apparatus of the present invention detects three markers placed on a straight line at equal intervals on a horizontal plane by image processing, performs camera parameter calculation, and a straight line connecting the three markers is parallel to this at regular intervals. A monitoring area surrounded by a straight line is set, and a remote monitoring system performs image processing on the monitoring area to detect an abnormality.
As for examples of markers used in the present invention and examples of detection methods thereof, the previously proposed markers and detection methods thereof can be used as they are.
[0065]
3) Second example of monitoring area setting
As shown in FIG. 5, three points of markers 1 placed on a straight line at equal intervals on a horizontal plane are detected by image processing, camera parameter calculation is performed, and a straight line connecting the three points of markers 1 and a fixed interval therebetween. In the monitoring area setting device for the monitoring camera that sets the monitoring area 3 surrounded by the parallel straight lines (parallel lines) 2, the monitoring area 3 that has been set is displayed on the monitor together with the video of the monitoring camera that has been input. This is a monitoring area setting device for a monitoring camera.
The feature of this embodiment is that the operator can check the monitoring area 3 calculated and set by the present apparatus.
Accordingly, there is an advantage that visual monitoring by an operator can be performed simultaneously with automatic monitoring by the image processing apparatus.
[0066]
4) Third example of monitoring area setting
As shown in FIG. 6, three points of markers 1 placed on a straight line at equal intervals on a horizontal plane are detected by image processing, camera parameter calculation is performed, and a straight line connecting the three points of markers 1 and a fixed interval therebetween. The monitoring camera monitoring area setting device is characterized in that one or a plurality of parallel lines (parallel lines) 2 are set as a monitoring area and displayed on the monitor together with the video of the monitoring camera.
A feature of the present embodiment is that the monitoring area is expressed by a straight line 2 instead of a region.
Thus, the present invention can be applied to monitoring the traveling condition of a specific lane on the road, monitoring the edge portion of the upper surface of the dam site, and monitoring the boundary portion of the side groove at the construction site.
Further, since the operator can confirm the straight line 2, there is an advantage that the operator can perform visual monitoring simultaneously with automatic monitoring by the image processing apparatus.
[0067]
5) Fourth example of monitoring area setting
Three point markers placed on a straight line at equal intervals on the horizontal plane are detected by image processing, camera parameter calculation is performed, and a straight line connecting the three point markers and one or more straight lines parallel to the straight line. Alternatively, in a monitoring camera monitoring area setting device that sets an area surrounded by these as a monitoring area and displays an overlay display on the monitor together with the video of the monitoring camera, a function of holding the monitoring area to be displayed or a parallel straight line based on an operator operation instruction A surveillance area setting device for a surveillance camera.
[0068]
The feature of the present embodiment is that a monitoring area once calculated is maintained on the premise that the camera is not moved after the camera platform of the surveillance camera is operated to determine the position of the camera platform where the three markers appear. It is.
This makes it possible to use the same monitoring area even if the marker is hidden or moved for some reason after setting the monitoring area.
This is effective when monitoring entrances and exits of buildings and construction sites where markers may be hidden or moved due to changes in site conditions or movement of people.
[0069]
6) Fifth embodiment of monitoring area setting
As shown in FIG. 7, the operator designates three points as markers 4 on the monitor displaying the video of the surveillance camera, and calculates the camera parameters using the three markers 4 to calculate the three points. A monitoring area surrounded by a straight line connecting the markers 4 and a straight line (parallel lines) 2 parallel to the marker 4 at a fixed interval, or a straight line connecting three markers 4 and one or a plurality of straight lines 2 parallel to the marker 4 at a fixed interval. This is a monitoring area setting device for a monitoring camera, characterized by setting or displaying a monitor.
A feature of this embodiment is that the operator designates three points in the video of the surveillance camera with a mouse instead of detecting the three markers 4 by image processing.
The marker positions specified with the mouse must be guaranteed to be at regular intervals, such as tile joints and bridge railings.
As a result, it is possible to set a monitoring area even when there is no marker to be detected by image processing, when it is difficult to detect a marker, or when a dedicated marker cannot be installed.
[0070]
7) Example when camera height changes
By the way, although the camera height is fixed and known as a condition for realizing the present invention, this condition may not be ensured depending on the method of using the surveillance camera.
For example, as shown in FIG. 8, in the case of monitoring a dangerous area near the intake 6 in the dam site 5 described as an example of the marker in the previous proposal, the surface of the dam lake and the camera corresponding to the fluctuation of the dam water level The relative height of fluctuates.
In some cases, surveillance cameras are installed at places where the height changes, such as cranes.
Also in these cases, if the operator can know the camera height h by some method, the camera parameters can be calculated according to the present invention by inputting the data, and the monitoring area can be set.
However, when the camera height changes from moment to moment, both measuring the camera height itself and inputting this are cumbersome operations and are difficult in some cases.
[0071]
Therefore, as an embodiment of the present invention in this case, in addition to the components of the first embodiment, a means for measuring the camera height by some method is installed, and the camera height is sequentially measured, and this is monitored. Input to the setting device, calculate the camera parameters using this data, and use this parameter in the monitoring area setting section to monitor the line surrounded by a straight line connecting the three markers and a straight line parallel to this line A method and apparatus for setting an area is proposed.
An example of a camera height measurement method will be described.
When the height of the horizontal plane to be monitored changes, as shown in FIG. 8, for example, in the case of monitoring a dangerous area near the water intake 6 in the dam site 5 described above, the camera installation location on the ground changes. If not, a measuring device that measures the height of the horizontal plane, in the case of a dam lake, a water level meter is installed (often installed in general dams), and based on the measured value of the water level meter Camera parameters can be calculated by calculating the camera height.
[0072]
If the height of the camera itself changes, such as when it is lifted by a crane, the height from the horizontal plane to the camera to be monitored can be measured directly using a laser distance meter, ultrasonic distance meter, digital tape measure, stereo camera, etc. Camera parameters can be calculated by indirectly measuring and inputting.
The feature of the present embodiment is that the monitoring area is set by knowing the camera height from the monitoring target horizontal plane by some means.
[0073]
Accordingly, there is an advantage that the monitoring area is set even when the camera height from the monitoring target horizontal plane is not constant.
Therefore, for example, when setting monitoring areas for a plurality of cameras at the same interval, it is possible to set parameters all at once, and it is not necessary to set each camera individually, so that the operation is simple. is there.
In addition, there is no need to make adjustments after replacing the camera or lens.
[0074]
【The invention's effect】
As described above in detail, the present invention relates to an automatic video monitoring system in which a monitoring area is set in a video of a monitoring camera, and an abnormality is detected by detecting a change in the image of the monitoring area by image processing. In particular, it is possible to set a monitoring area in the video of the monitoring camera.
Furthermore, the apparatus of the present invention detects three point markers placed on a straight line at equal intervals on a horizontal plane by image processing, calculates camera parameters using information on the camera height, and performs three point markers. A monitoring area surrounded by a straight line connecting the two and a straight line parallel to the straight line is set, and the remote monitoring system can perform image processing on the monitoring area to detect an abnormality.
(1) In the past, the monitoring area was set by the operator specifying the position in the video, and the absolute value of the monitoring area at the site could not be set. Since the camera parameters are calculated, the width of the monitoring area composed of parallel lines can be set as an absolute value in the field. For example, a range within 50 cm from the edge of the home can be set as the monitoring area.
(2) Conventionally, the monitoring area is set by the operator specifying the position in the video. When multiple monitoring cameras are installed, it is necessary to set the monitoring area individually for each monitoring camera. However, according to the present invention, when setting a monitoring area having the same interval with a plurality of cameras, it is possible to set parameters in a batch. This eliminates the complexity of setting the monitoring area. For example, when the surveillance area of a plurality of surveillance cameras installed along the home is within a range of 50 cm from the edge of the home, the surveillance area can be set collectively.
{Circle around (3)} Conventional monitoring cameras that perform pan / tilt / zoom operations cannot be automatically monitored by image processing. The reason is that the monitoring area changes due to the change of the video range of the surveillance camera, and this cannot be set. However, according to the present invention, the markers placed on the horizontal plane at equal intervals are linearly arranged. Since the monitoring area can be calculated by detecting and calculating a parallel straight line based on this, automatic monitoring by image processing using a monitoring camera that performs a pan / tilt / zoom operation is possible.
(4) There is an advantage that the operator can confirm the monitoring area by displaying the image monitoring area calculated and set by this apparatus together with the input video of the monitoring camera on the monitor. This enables visual monitoring by the operator simultaneously with automatic monitoring by the image processing apparatus.
(5) A straight line connecting three markers and one or more straight lines parallel to the marker are set as a monitoring area and displayed on the monitor together with the video of the monitoring camera. The monitoring area is not a region but a straight line. Since it is expressed, it can be applied to monitoring the driving situation of a specific lane on the road, monitoring the edge portion of the upper surface of the dam site, and monitoring the boundary portion of the gutter at the construction site. In addition, since the operator can confirm this straight line, the operator can visually monitor the image simultaneously with the automatic monitoring by the image processing apparatus.
(6) After operating the monitoring camera head to determine the position of the camera head where the three markers appear, holding the monitoring area once calculated may cause the marker to be hidden for some reason after setting the monitoring area. Even if it moves, it is possible to use the same monitoring area. This is effective when monitoring entrances and exits of buildings and construction sites where markers may be hidden or moved due to changes in site conditions or movement of people.
(7) Instead of detecting three markers by image processing, if the operator designates three points in the video of the surveillance camera with the mouse, and there is no marker to be detected by image processing, the marker is difficult to detect. In this case, a monitoring area can be set even when a dedicated marker cannot be installed.
(8) By measuring and inputting the camera elevation angle by some means, the monitoring area can be set even when the camera height changes.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a monitoring area setting device according to the present invention.
FIG. 2 is an explanatory diagram showing a relationship between a spatial coordinate system and a camera coordinate system.
FIG. 3 is an explanatory diagram showing camera parameters of a surveillance camera.
FIG. 4 is an explanatory diagram showing a relationship between a three-point marker video and a camera.
FIG. 5 is a display diagram showing a monitoring area of a set area.
FIG. 6 is a display diagram showing a set parallel line monitoring area.
FIG. 7 is an explanatory diagram showing how the position of a marker is set with a mouse on a monitor.
FIG. 8 is an explanatory diagram showing monitoring of a water intake at a dam site.
FIG. 9 is an explanatory diagram showing an example of a common gate image and a monitoring area.
FIG. 10 is an explanatory diagram showing a road image and an overtaking lane monitoring area.
[Explanation of symbols]
10 Monitoring area setting device
11 Video input section
12 Image processing unit
13 Camera parameter calculator
14 Monitoring area setting section
20 surveillance cameras

Claims

A video input unit, an image processing unit, a camera parameter calculation unit, and a monitoring area setting unit are configured. The video input unit inputs the video of the monitoring camera, and the image processing unit 3 performs image processing on the monitoring target horizontal plane. Point marker is detected, and camera parameter calculation unit calculates camera parameters using the camera height information that 3 points are set at equal intervals on the horizontal plane, and monitors using the calculated camera parameters A monitoring area setting device and method for a monitoring camera, wherein an area setting unit sets a monitoring area surrounded by a straight line connecting three markers and a straight line parallel to the straight line.

2. The monitoring area setting device for a monitoring camera according to claim 1, wherein the monitoring area calculated and set by the device is displayed on the monitor together with the video of the monitoring camera inputted.

2. The monitoring area setting device for a monitoring camera according to claim 1, wherein the monitoring area setting unit sets a straight line connecting three markers and one or a plurality of straight lines parallel to the straight line as a monitoring area. Surveillance camera monitoring area setting device, characterized by displaying an overlay on a monitor together with video.

The monitoring area setting device for a monitoring camera according to claim 2 or 3, further comprising a function for holding a monitoring area to be displayed or a parallel straight line based on an operation instruction of an operator.

2. The monitoring area setting device for a monitoring camera according to claim 1, wherein camera parameters are calculated using three points designated by an operator on a monitor displaying a video of the monitoring camera, and a straight line connecting the three points and a constant amount thereof. A monitoring area setting device for a monitoring camera, characterized in that a monitoring area surrounded by straight lines parallel to each other or a straight line connecting three points and one or a plurality of straight lines parallel to the straight line are set or displayed. .

2. The monitoring area setting device for a monitoring camera according to claim 1, wherein the monitoring area setting unit is provided with a sensor for measuring the height of the monitoring camera by some method, and the monitoring area setting unit inputs this, and 3 based on this. A monitoring area setting device for a monitoring camera, wherein a straight line connecting point markers and one or a plurality of straight lines with an interval specified in parallel on a horizontal plane are calculated and set as a monitoring area.