JP5183152B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5183152B2 JP5183152B2 JP2007284719A JP2007284719A JP5183152B2 JP 5183152 B2 JP5183152 B2 JP 5183152B2 JP 2007284719 A JP2007284719 A JP 2007284719A JP 2007284719 A JP2007284719 A JP 2007284719A JP 5183152 B2 JP5183152 B2 JP 5183152B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate system
- parameter
- detected
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
入力画像51には人型の物体の画像52が含まれている。また、背景画像53が予め用意されている。差分器54により、入力画像51と背景画像53との間で画素毎の差分を計算し、その結果である差分画像55を算出する。ここで、入力画像51に映る人型の物体の画像52は、差分画像55中で、差分が生じた画素群56として検出される。
なお、背景差分のほか、フレーム間差分法やオプティカルフロー法など、各種の検出方法が知られる。
すなわち、予め、撮像する入力画像中で、いずれの領域に存在する物体を検出すべき物体とするかというパラメータを設定しておき、物体の位置(例えば接地位置)がその領域内にあるか否かを判断する。この領域を定めるパラメータを領域パラメータと呼ぶ。また検出したい物体(例えば人)の大きさに合わせて、検出すべき物体の大きさの範囲を指定する。これを大きさパラメータと呼ぶ。
領域パラメータの設定を行うために、例えば、入力画像を表示装置に表示し、マウス等の操作部を用いて多角形の頂点を表示画面中で設定することで、所望の領域を指定する。
例えば、入力画像71中の建物72に近づく物体を検出する場合には、所定の指示装置を用いて、図示されるように、入力画像71中に例えば多角形(ポリゴン)73の領域(図中で点線の部分)を指定する。
このようにして指定された多角形の中に、差分法などの方法により、大きさパラメータに合致する大きさの物体が検出されるか否かを判断することで、建物72に近づく特定の物体(侵入者等)を検出することができる。
また、大きさパラメータも画像内で変化しうる。従って、画像上の少なくとも2つの位置において検出すべき物体の画像上での大きさを指定し、その他の位置に存在する物体の画像上の大きさについては、指定された2つの位置の大きさを補間して定める方法や、領域を複数に分割し分割された領域毎に大きさパラメータを設定する方法が採られる。
領域を分割する方法においても、各領域で真の大きさが判っていて、かつ誤差がばらつかないように適切に分割するには、高度の熟練を要する。
すなわち、カメラで撮影された画像を処理して画像中の物体を検出する画像処理装置において、撮像時の座標系である第1座標系の画像を、基準となる平面上に設けられた第2座標系の画像へ変換する変換手段と、前記変換手段により変換された画像を表示する表示手段と、前記表示手段による画像の表示に応じてユーザにより入力される設定情報を受け付ける受付手段と、前記受け付けた設定情報を用いて、前記撮影された画像もしくは/及び検出するためのパラメータを変換してから、前記撮影された画像から前記パラメータを用いて物体を検出する検出手段と、を備えた。
また、前記第1座標系の画像と前記第2座標系の画像とは、カメラの主点を中心とする中心投影によって互いに座標が変換されるようにした。
なお、画像を撮像する撮像手段が画像処理装置に備えられてもよく、あるいは、撮像手段が画像処理装置の外部に備えられて、撮像手段により撮像された画像が画像処理装置に入力されてもよい。
また、撮像時の座標系である第1座標系としては、例えば、撮像手段(例えば、カメラ)の視点で見た座標系であり、例えば、撮像対象が焦点を中心に撮像面に中心投影されたときの、撮像面上の座標系である。第1座標系は、実施例におけるカメラ座標系(x−y座標)に対応する。
また、距離に無関係にほぼ同じ大きさに映る第2座標系としては、例えば、水平な地表面を基準平面として、当該地表面(地面)内に2つの軸を有する正規直交座標系(及びそれに近似する非線形や非直交の座標系も含む)である。第2座標系は、鉛直(高さ)方向の情報を無視すれば、当該地表面を鉛直方向に正投影した2次元の座標系として扱える。第2座標系は、実施例におけるシーン座標系(ξ−ψ−Z)、マップ座標系(X−Y−Z)、グローバル座標系(XG−YG−ZG)に対応する。
撮像装置の配置や焦点距離などの情報は、ユーザにより画像処理装置に設定されてもよく、あるいは、画像処理装置が撮像装置などからの情報に基づいて(自動的に)検出してもよく、あるいは、画像処理装置が撮像装置の配置や焦点距離などを制御し、その制御により実現される撮像装置の配置や焦点距離などの情報を用いてもよい。
また、ユーザにより入力される情報を受け付ける態様としては、例えば、画面に表示された第2座標系の画像を見ながらユーザが操作部を操作して情報を入力することができるような態様や、ユーザから受け付けた例えば領域や大きさや長さや数値などの情報をその画面上に表示するような態様を用いることにより、ユーザにとって利便性を高めることが可能である。
本例の監視装置は、例えばカメラを用いて構成された撮像装置1と、映像入力回路2と、画像処理プロセッサ3と、プログラムメモリ4と、ワークメモリ5と、外部I/F(インタフェース)回路6と、映像出力回路7と、データバス8と、例えば人により操作されるマウスやキーボードなどを用いて構成された指示装置9と、表示装置10を備えている。
ここで、映像入力回路2と、画像処理プロセッサ3と、プログラムメモリ4と、ワークメモリ5と、外部I/F回路6と、映像出力回路7は、データバス8に接続されている。
なお、撮像装置1としては、例えば、撮像装置1を制御するための装置や、各種の外部記録装置等を有するものが用いられてもよい。
撮像装置1は、例えばテレビカメラ等であり、図2のような監視の対象となる領域(監視対象領域)を含む画像(映像)を撮像する。画像は、所定のレートで撮影されて映像入力回路2に出力されてもよく、あるいは映像入力回路2からの要求を受けてその都度最新のものが出力されてもよい。
ワークメモリ5は、撮像装置1により撮像された画像(入力画像21や背景画像T1)を映像入力回路2を介して取得し、記憶する。また、領域パラメータT2や大きさパラメータT3のような画像処理に必要な各種パラメータも記憶する。
画像処理プロセッサ3は、プログラムメモリ4に記録されているプログラムに従って、ワークメモリ5内に記録された入力画像を処理し、その処理結果を映像出力回路7を介して表示装置10の画面に表示する。
また、指示装置9を使用して受け付けられるオペレータ(ユーザ)からの指示が外部I/F回路6を介して入力される。画像処理プロセッサ3は、入力された指示に基づいて、前記したパラメータの変更や修正を行って、入力画像を処理する。
設定判定ステップ(S2)では、指示装置9から外部I/F回路6を介してオペレータによる設定指示があった場合には設定処理ステップ(S10)へ分岐し、設定指示がなかった場合には差分処理ステップ(S3)へ分岐する。
二値化処理ステップ(S4)では、差分画像の各画素の値と所定のしきい値とを比較して、しきい値以上の画素を“255”とし、しきい値未満の画素を“0”とする変換を行い、これにより、二値化画像(例えば図7に示される二値化画像58に相当するもの)を得る。
背景更新処理ステップ(S6)では、画像入力ステップ(S1)で得られた入力画像21を用いて、ワークメモリ5内に記録されている背景画像T1を更新する。背景画像T1の更新としては、例えば、入力画像21の画素毎(物体が検出された領域は除く)の時間平均などの方法を用いて新たな背景画像T1を作成することができ、監視環境(天候)の変化などによる照度変化に追従して背景画像T1を常に最新の状態に保つことができる。
領域判定処理ステップ(S8)では、ワークメモリ5内に記録された領域パラメータT2等に基づいて、例えば、領域パラメータT2で指定された領域32内に、大きさパラメータT3に該当する長さ(高さ)、幅の有する、ラベリングされたかたまりが存在する場合には、当該かたまりを侵入物体と判断する。なお、領域パラメータT2や大きさパラメータT3も、マップ座標系等で表現される値である。
処理結果表示ステップ(S9)では、領域判定処理ステップ(S7)の判定結果を、表示装置10の画面に表示する。
処理結果表示ステップ(S9)が終了すると、画像入力ステップ(S1)へ戻り、画像入力がある度に(例えば入力画像のフレームレートの周期で)、S1からS9が繰り返される。
例えば、カメラ座標系からマップ(シーン)座標系への変換に必要な座標変換パラメータT4(撮像装置1の撮像角度、取り付けの高さ、焦点距離の3つ、もしくはこれらから派生する値)を入力を受け付ける。また図3に示されるように、座標変換パラメータT4を用いて入力画像21を地面に対して平行な平面に投影したようなシーン画像31を作成して表示装置10の画面に表示し、これを見たオペレータが指示装置9を操作することに応じて、多角形32などの所望の領域の指定等を受け付け、領域パラメータT2や大きさパラメータT3としてをワークメモリ5に記録する。これらの詳細は後述する。
設定処理ステップ(S10)が終了すると、画像入力ステップ(S1)へ戻る。
図3には、入力画像21をシーン(マップ)座標系に変換した画像であるシーン(マップ)画像31の一例を示してある。このシーン画像31を表示装置10の画面に表示することが可能である。
図4及び図5では、マップ座標系の原点を撮像装置1の真下の基準となる地面(水平面)とし、その地面上にX軸及びY軸を設けて、鉛直(高さ)方向にZ軸を設けてあり、撮像装置1が向いているパン方向(X−Y面内)にr軸を設けてある。
また、撮像装置1により撮像される画像の視野の中で、撮像装置1から最も近い所までの水平距離をLNとしてあり、撮像装置1から最も遠い所までの水平距離をLFとしてある。
撮像範囲の位置の算出方法を示す。本例では、説明を簡易化するために、監視対象領域は平面であり、地面の凹凸がないとする。
撮像装置1の横方向の視野角(画角)θHと横方向の視野角(画角)θHは、それぞれ(式1)(式2)により求められる。
これらの距離LN、LFについて説明する。
距離LN及び距離LFは、(式3)により求められる。
一例として、1/3インチの撮像素子を使用して、撮像レンズの焦点距離をf=8.00mmとし、雲台の現在の方向をθT=30°とし、撮像装置1の設置高をH=5.0mとした場合には、LN=5.42m、LF=16.1mとなる。
この結果に基づいて、図5に示される視野範囲の各頂点P1、P2、P3、P4のマップ座標は、P1=(x1、y1)、P2=(x2、y2)、P3=(x3、y3)、P4=(x4、y4)として、(式4)〜(式7)により求められる。
図6には、画面41に表示されるシーン座標の画像の一例を示してある。なお図5、図6は作図技術上の問題で精密さは不十分であり、あくまで模式的に示すものである。
本例では、図6に示される4点P1’、P2’、P3’、P4’がそれぞれ図5に示される4点P1、P2、P3、P4に対応している。この対応とは、例えばP1〜P4で示される台形が、その形のままP1’〜P4’に変換されるような対応である。また、点P3’、P4’が画面41の上部に位置し、点P1’、P2’が画面41の下部に位置するように表示されている。
同様に、画面41に表示される画像の手前までの距離LNに制限を設けて画像を表示することも可能であり、一例として、手前までの距離を10[m]までに制限した場合には、変換後の画素のr座標が10[m]未満になる部分については画面41に表示されないようにする。
また、シーン画像31で設定する情報としては、特に限定はなく、例えば、距離や、移動速度あるいは加速度や、人であるかあるいは動物であるかを判定するための大きさの条件(例えば、しきい値)などのように、人にとって地図のような平面図上で設定すると分かり易いような種々な情報を用いることができる。例えば、実際の寸法(実際の長さや速度など)を用いて設定を受け付けるような構成とすることも可能である。また、移動速度や加速度などは、最新、1回前、2回前のラベリングされたかたまりの位置から演算でき、物体の種類を判定するのに有用な場合がある。
また、画像処理は、例えば、カメラ座標系で行われてもよく、あるいは、シーン座標系で行われてもよいが、通常は、撮像装置1により得られる画像がカメラ座標系であるため、(本例では、領域の設定以外は、)カメラ座標系で行われる方が効率的であると考えられる。
また、距離に無関係にほぼ同じ大きさに映る第2座標系としては、例えば、水平な地表面を基準平面として、当該地表面(地面)内に2つの軸を有する正規直交座標系(及びそれに近似する非線形や非直交の座標系も含む)である。第2座標系は、鉛直(高さ)方向の情報を無視すれば、当該地表面を鉛直方向に正投影した2次元の座標系として扱える。第2座標系は、実施例におけるシーン座標系(ξ−ψ−Z)、マップ座標系(X−Y−Z)、グローバル座標系(XG−YG−ZG)に対応する。
これにより、例えば、画像上部と画像下部とで見かけの大きさが違うといったように画像上の位置によって見かけの大きさが違ってしまう問題を解消することができ、建物から一定距離の領域を指定するような場合においても、オペレータはマップ画像等に基づいて容易に領域を指定できる。
円形領域232は、領域223に対応し、シーン(マップ)座標系では物体233の接地位置を中心とする円形となる。円形領域232の半径は、オペレータが指定した半径である。
物体223の検出には、テンプレートマッチングなどの他のアルゴリズムを用いても良く、また。物体223が画像の中央に写るように、パンチルト制御(トラッキング)を行っても良い。
監視領域内かどうかは、マップ(シーン)座標系における物体222と他の物体との距離を、指定された半径と比べることで判断できる。もし物体222を見失ったとき、つまり同じラベルの大きさパラメータを満たすかたまりが所定回数連続して検出できなかったときは、物体223に対応する領域パラメータを消去する。
また監視領域をカメラ座標系で楕円形の領域223として設定し、領域223内の物体検出もカメラ座標系のまま行うようにしてもよい。つまり領域223を多角形に近似してその頂点の座標を領域パラメータT3として記憶しておき、後は実施例1と同様に多角形領域の内外判定を行う。
本例の監視システムは、撮像装置301と、物体検出装置302と、表示装置303と、設定装置304と、撮像装置1と物体検出装置2とを接続するアクセスライン311と、物体検出装置302と表示装置303とを接続するアクセスライン312と、物体検出装置302と設定装置304とを接続するアクセスライン313を備えている。
物体検出装置302は、撮像装置301から送信された画像のデータを受信して入力し、入力した画像のデータと、物体の検出のために設定された情報に基づいて、監視対象領域内に侵入する物体を検出し、表示用の情報を、アクセスライン312を介して表示装置303へ送信する。
ここで、物体検出装置302から表示装置303へ送信する情報としては、種々な情報が用いられてもよく、例えば、物体の検出を行った画像の情報(画像データ)や、物体の検出結果を示す情報や、設定装置304により予め設定されたカメラパラメータの情報や、撮像装置301の実カメラパラメータなどの情報や、これら2つ以上の情報に基づいて得られた情報などを用いることができる。これらの情報は、(要求があれば)設定装置304にも送信される。
表示装置303は、物体検出装置302から送信された情報を受信して入力し、入力した情報あるいはそれを加工したものを画面に表示する。
また、設定装置304は、現在の設定情報や規定の設定情報を記憶するメモリや、オペレータに対して情報を表示する画面を有しており、物体検出装置2から受信した画像のデータや、オペレータにより各種の設定を行うために参照される情報などを画面に表示出力する。
図13には、設定装置304により表示される操作画面(設定画面)21の一例を示してある。
本例の操作画面321は、画像を表示する画像表示部331と、ライブ映像を表示させるためのライブボタン332と、ファイルを選択するためのファイル選択ボタン333と、俯角のパラメータを設定するための俯角パラメータ設定テキストボックス(TB)334と、高さのパラメータを設定するための高さパラメータ設定TB335と、視野角のパラメータを設定するための視野角パラメータ設定TB336と、パラメータ設定を指示するためのパラメータ設定ボタン337、座標系選択ラジオボックス338、復元ボタン339を有しており、これらが表示される。
本例では、カメラ座標系の画像は、撮像装置301により撮像された画像そのものであり、また、完全シーン座標系の画像は、監視対象領域の地図に相似する画像であり、准シーン座標系の画像は、物体の鉛直方向の高さが、撮像装置301からの距離に無関係に実際の高さに比例するような画像(それに近い画像も含む)である。第1座標系と第2座標系とは、カメラパラメータに基づいて、互いに変換される。また第1座標系と第3座標系とは、カメラパラメータを修正した修正カメラパラメータに基づいて、互いに変換される。
オペレータは、どちらのカメラパラメータを入力するのかを、座標系選択ラジオボックス338を用いて選択する。
なお、カメラパラメータは、設定装置304に予め記憶させておいた値や、実カメラパラメータから算出した値をデフォルト値とし、各テキストボックス334〜336に自動的に入力しておくことができる。ただし、撮像装置301がパンやズームが固定のものの場合のパンズーム値や、高さパラメータは、設定装置304に予め記憶させておくか、デフォルト値無しとする。デフォルト値の一例として、俯角パラメータが45[Deg]、高さパラメータが1.0[M]、視野角パラメータが45[Deg]の値を取りうる。
また、各テキストボックスの右側には、直前のパラメータが表示されており、オペレータが復元ボタン339を押すと、表示されている直前のパラメータがテキストボックスに自動的に入力される。
(第1の方法)では、オペレータの操作により画面上でライブボタン332を押下すると、設定装置304から物体検出装置302に対して画像の要求が送信され、これを物体検出装置302が受信したことに応じて、撮像装置301により撮像された最新の画像のデータが物体検出装置302から設定装置304に対して送信され、これにより、設定装置304は、取得した当該画像のデータを、各テキストボックス334〜336に入力されているカメラパラメータもしくは修正カメラパラメータに基づいて座標系変換して表示する。
設定装置304は、各テキストボックス34、35、36のパラメータが変更されるたびに、変更後のパラメータに基づいて画像表示部331に表示されるワールド座標系の画像を更新するとともに、変更前のパラメータを記憶し、各テキストボックスの右側に薄い色で表示する。
例えば、オペレータが、画像表示部331に表示された画像を見ながら、地表面上の所定の物(例えば道路や駐車場の白線)について撮像装置301からの距離画像に係らずに長さや幅や角度が実物に相似するように調整すると、完全シーン座標系のカメラパラメータとして最適化される。また、所定の高さを有する物体について撮像装置301からの距離画像に係らずに高さが実物に相似するように調整すると、准シーン座標系の修正カメラパラメータとして最適化される。
このため、例えば、図4に示される画像表示部331の画像のように、道路などについては、画面上の手前と奥とで幅(道幅など)を一定にして、画面上で平行な線にするように、オペレータは、各テキストボックス34〜36を調節すればよい。
また、現実に全く同一の形状を有する複数の三角コーン(trafficconeあるいはpylon)が画面上の異なる位置に映っている場合に、画面上において、これら複数の三角コーンの形状(幅や高さなど)が一致するように調節するようなこともできる。
補助線としては、例えば、縦線や横線などを用いることができ、また、目盛り付きの線を用いることもでき、また、線の長さを数値で表示する態様が用いられてもよい。また、補助線の追加や削除、コピー、長さの変更、位置の移動などがオペレータの操作により可能な構成とすることもできる。
このような補助線は、例えば、道路などが画面上で平行な線となっているか否かなどを確認するために役立ち、また、画面上における長さ(高さなど)を測定するためにも役立つ。
本例では、オペレータの操作により画面上でパラメータ設定ボタン337を押下すると、各テキストボックス334〜336により設定された3つのパラメータが、座標系選択ラジオボタンで選択されている座標系用のカメラパラメータとして、現在の実カメラパラメータと一緒に設定装置304のメモリやファイルなどに保存されるとともに、アクセスライン313を介して物体検出装置302へ送信される。
領域パラメータT2の入力の受け付けは、画像表示部331上でユーザが複数の点を指定することで成される。その際の座標系選択ラジオボックスの状態により、完全シーン座標系若しくは准シーン座標系のどちらで領域パラメータT2が受け付けられたかを判断し、その座標系の情報と一緒に物体検出装置302へ送信する。
大きさパラメータT3の入力は、座標系に依存しない、何メートル等の絶対値で受け付けるか、あるいは領域パラメータT2と同様に画面上で指定された高さや幅を、指定に用いた座標系の情報と共に受け付けることで成される。
なお、カメラパラメータ、修正カメラパラメータ及び実カメラパラメータは、実施例1の座標変換パラメータT4の一種であるとして、以下説明する。
物体検出装置302は、図8に示される実施例1の画像処理とほぼ同様に動作する。ただし、座標系変換処理S7、領域判定処理S8、領域設定処理S10に代えて、座標系変換処理S7’、領域判定処理S8’、パラメータ設定処理S10’を実行する。
ただし、撮像素子301のチルトやズームが変化している場合は、設定装置304から受信した(修正)カメラパラメータと実カメラパラメータとの差、比、あるいは所定の関数で表現される関係を保つように、当該かたまりの元になった画像が撮影されたときの撮像装置の実カメラパラメータに基づいて変換された(修正)カメラパラメータを用いる。
本実施例の意図するところでは、領域パラメータT2と大きさパラメータT3の幅に関しては第2座標系で、大きさパラメータT3の高さに関しては第3座標系で指定されていることが望ましい。本実施例の構成では、オペレータが任意に選べるようにしている。
図14には、カメラ座標軸と、シーン座標軸と、撮像装置301を示す斜視図が示されている。
点Mは、撮像装置301のレンズの光学主点であり、光学主点からレンズの光軸を延長し、基準となる地平面に交わる点がP0である。点Mから点P0へ向かうベクトルをCとする。また光学主点から後方の光軸上には、撮像素子101がある。
シーン座標(ξ−ψ−Z座標)は、P0を原点とし、基準となる地平面上のξ軸及びψ軸と、地平面に鉛直なZ軸(図示しない)とを有する。ξ軸は、ベクトルCと直交する。
カメラ座標(x−y座標)は、P0を原点とし、ベクトルCに垂直な面の上のx軸、y軸で定められる。x軸は、ξ軸と同じである。x−y平面上でのカメラ座標が、撮像素子上の座標と完全に相似することは、容易に理解できる。
なお、シーン座標としては完全シーン座標を想定し、カメラ座標、シーン座標は、ともに正規直交座標系とする。
ベクトルCは、シーン座標(ξ−ψ−Z)では、C=[0 −L H]Tである。
カメラ座標(x−y)は、シーン座標(ξ−ψ−Z)を、ξ軸を中心にtan-1(L/H)だけ回転させたものだから、以下の2式が成り立つ。
(式10)から(式16)に用いたパラメータのうち、Lは俯角に相当し(すなわち、L=H・cotθT)、αは視野角に相当する(すなわちα∝1/θH)。
ここで、第2座標系(完全シーン座標系)は、例えば、監視対象領域の実際の地図上の座標に相似する座標系であり、抽出した物体の位置を判断するときに好適である。
また、第3座標系(准シーン座標系)は、例えば、監視対象領域において、物体の見かけの高さが距離になるべく依存しないよう見せる座標系であり、抽出した物体の高さを判断するときに好適である。
また、本例では、物体検出のための閾値などの情報(領域パラメータT2、大きさパラメータT3)を第2あるいは第3座標系で設定する態様としたが、領域を図9のように3次元的に設定する際に、第2あるいは第3座標系では却って領域の境界線が歪んでしまうような場合は、カメラ座標系のまま設定するようにしてもよい。
301・・撮像装置、302・・物体検出装置、303・・表示装置、304・・設定装置、311〜313・・アクセスライン。
Claims (10)
- カメラで撮影された画像を処理して画像中の物体を検出する画像処理装置において、
与えられた座標変換パラメータを用いて、撮像時の座標系である第1座標系の画像を、地表面と平行な平面上に設けられた第2座標系の画像へ変換する変換手段と、
前記変換手段により変換された画像を表示する表示手段と、
前記表示手段による画像の表示に応じてユーザにより前記第2座標系で入力される、検出すべき物体の条件を定めるパラメータを、設定情報として受け付ける受付手段と、
前記撮影された画像若しくは前記変換された画像のデータを処理し、該処理された画像のデータの中から物体を検出する検出手段と、
前記検出手段で検出された物体が、前記条件を定めるパラメータを満たすか判定する判定手段と、を備え、
前記条件を定めるパラメータは、物体を検出すべき領域を定める領域パラメータ、検出すべき物体の大きさの範囲を定める大きさパラメータ、若しくは検出すべき物体の距離か移動速度か加速度についての情報のうち少なくとも一つを有し、
前記判定手段は、前記検出手段が、前記変換された画像から物体を検出するか、前記判定手段が、前記検出手段で前記撮影された画像から検出された物体の位置、大きさ、若しくは距離か移動速度か加速度かのいずれかを前記座標変換パラメータを用いて前記第2座標系に変換することで、座標系を一致させて前記判定をすることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、前記第2座標系は、地表面内に2つの軸を有する正規直交座標系を近似したものであり、前記座標変換パラメータは、前記カメラの俯角と設置高さと視野角とに相当する3つの独立パラメータからなるものであり、前記第1座標系の画像と前記第2座標系の画像とは、カメラの主点を中心とする中心投影によって互いに座標が変換されることを特徴とする画像処理装置。
- 請求項1に記載の画像処理装置において、前記条件を定めるパラメータは前記領域パラメータを有し、該領域パラメータは、前記画面に表示されている前記変換された画像上で、多角形として入力されるか画面を複数のブロックに分割した領域の選択により入力されることを特徴とする画像処理装置。
- 前記検出手段は、背景差分法、フレーム間差分法、テンプレートマッチング若しくはオプティカルフローにより検出される画素群を物体として検出することを特徴とする請求項2又は3に記載の画像処理装置。
- 請求項1又は2に記載の画像処理装置において、前記条件を定めるパラメータは前記領域パラメータを有し、前記領域パラメータは、基準となる物体が検出される都度、当該基準となる物体の周囲を領域とするように更新されるものであって、
前記判定手段は、前記基準となる物体以外の物体が当該領域の中にあるか否かを判断することを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、前記領域パラメータは、ユーザが、前記カメラで撮影された前記第1座標系の画像上で当該基準となる物体を選択し、前記第2座標系における当該基準となる物体を中心とする円の半径を指定することで入力され、
前記表示手段は、入力された領域パラメータに対応する領域を、前記変換された画像にオーバレイ表示し、
前記検出手段は、前回検出された物体と同じ物体に同じ番号を付けるグルーピング若しくはラベリング処理を行い、前記基準となる物体の最新の位置を検出し、
前記判定手段は、前記基準となる物体と、前記基準となる物体以外の物体との前記第2座標系における距離を前記半径と比較して前記判断をすることを特徴とする画像処理装置。 - 請求項2乃至4に記載の画像処理装置において、
前記大きさパラメータは、検出すべき物体の幅と高さとを含み、
前記変換手段は、撮像時の座標系である第1座標系を第3座標系に変換するための座標変換パラメータを用いて、第1座標系の画像を、第2座標系とは異なる第3座標系の画像へも変換し、
前記受付手段は、前記条件を定めるパラメータを、第1座標系、第2座標系、第3座標系のいずれかの値として受け付け、
前記検出手段は、前記物体の高さについては第3座標系を用い、前記物体の幅と領域パラメータについては第1又は第2座標系を用いて物体を検出することを特徴とする画像処理装置。 - 請求項2に記載の画像処理装置において、
前記表示手段は、現在の前記座標変換パラメータを調整可能な様態で前記変換された画像と共に表示し、
前記受付手段は、表示手段による画像の表示に応じてユーザにより調整された前記座標変換パラメータを、設定情報として受け付け、
ユーザが、前記表示手段に表示された画像を見ながら、前記地表面上の所定の物について前記カメラからの距離に因らずに長さや幅や角度が実物に相似する表示になるように、前記座標変換パラメータを調整することで、該座標変換パラメータを最適化できるようにしたことを特徴とする画像処理装置。 - カメラで撮影された画像を処理して画像中の物体を検出する画像処理方法において、
与えられた座標変換パラメータを用いて、撮像時の座標系である第1座標系の画像を、地表面と平行な平面上に設けられた第2座標系の画像へ変換する変換ステップと、
前記変換ステップにより変換された画像を表示する表示ステップと、
前記表示ステップによる画像の表示に応じてユーザにより前記第2座標系で入力される、検出すべき物体の条件を定めるパラメータを、設定情報として受け付ける受付ステップと、
前記撮影された画像若しくは前記変換された画像のデータを処理し、該処理された画像のデータの中から物体を検出する検出ステップと、
前記検出ステップで検出された物体が、前記条件を定めるパラメータを満たすか判定する判定ステップと、を備え、
前記条件を定めるパラメータは、物体を検出すべき領域を定める領域パラメータ、検出すべき物体の大きさの範囲を定める大きさパラメータ、若しくは検出すべき物体の距離か移動速度か加速度についての情報のうち少なくとも一つを有し、
前記第2座標系は、前記地表面内に2つの軸を有する正規直交座標系を近似したものであり、前記座標変換パラメータは、前記カメラの俯角と設置高さと視野角とに相当する3つの独立パラメータからなるものであり、前記第1座標系の画像と前記第2座標系の画像とは、カメラの主点を中心とする中心投影によって互いに座標が変換され、
前記判定は、前記検出ステップが、前記変換された画像から物体を検出するか、前記判定ステップが、前前記検出ステップで検出された物体の位置、大きさ、若しくは距離か移動速度か加速度かのいずれかを前記第2座標系に変換することで、座標系を一致させて行うことを特徴とする画像処理方法。 - カメラで撮影された画像を処理して画像中の物体を検出する画像監視装置において、
前記カメラから取得した画像のデータを記憶するメモリと、
前記メモリに記憶された画像のデータを処理し、該処理された画像のデータの中から物体を検出する画像プロセッサと、
前記画像処理手段から出力された、前記検出された物体を含む画像のデータを、画面に表示する表示装置と、
ユーザにより多角形または円形として入力される領域パラメータであってその中で検出された物体がユーザに顕示されるべき領域を定義する領域パラメータと、座標変換パラメータと、を含む設定情報を受け付ける指示装置と、を備え、
前記画像プロセッサは、撮像時の座標系である第1座標系の画像を、地表面と平行な平面上に設けられた第2座標系の画像へ、前記座標変換パラメータに基づく中心投影により変換し、
前記表示手段は、前記変換された画像を表示し、
前記指示装置は、前記ユーザにより、前記画面に表示されている前記変換された画像上で入力された多角形または円形を受け付け、
前記画像プロセッサは、前記座標変換パラメータを用いて、前記撮影された画像もしくは前記領域パラメータの座標系を変換してから、前記領域パラメータで定義された領域の中の物体を、ユーザへ顕示するために検出することを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007284719A JP5183152B2 (ja) | 2006-12-19 | 2007-11-01 | 画像処理装置 |
US11/957,533 US8189962B2 (en) | 2006-12-19 | 2007-12-17 | Image processing apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006341438 | 2006-12-19 | ||
JP2006341438 | 2006-12-19 | ||
JP2007284719A JP5183152B2 (ja) | 2006-12-19 | 2007-11-01 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008176768A JP2008176768A (ja) | 2008-07-31 |
JP5183152B2 true JP5183152B2 (ja) | 2013-04-17 |
Family
ID=39703712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007284719A Active JP5183152B2 (ja) | 2006-12-19 | 2007-11-01 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5183152B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5958462B2 (ja) * | 2011-03-17 | 2016-08-02 | 日本電気株式会社 | 撮影装置、撮影方法、及びプログラム |
JP5594672B2 (ja) * | 2011-04-14 | 2014-09-24 | 株式会社 日立産業制御ソリューションズ | 物体認識装置および物体認識方法 |
JP6381189B2 (ja) * | 2013-08-19 | 2018-08-29 | キヤノン株式会社 | 監視装置 |
JP2016134685A (ja) * | 2015-01-16 | 2016-07-25 | オリンパス株式会社 | 撮像装置及び撮像装置の表示方法 |
JP7037875B2 (ja) * | 2016-06-20 | 2022-03-17 | 日本電信電話株式会社 | 画像正規化装置、方法、及びコンピュータ読み取り可能な記録媒体 |
JP2018142907A (ja) * | 2017-02-28 | 2018-09-13 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
CN110009571B (zh) * | 2019-03-08 | 2023-07-21 | 重庆广睿达科技有限公司 | 相机图像中检测位置的经纬度计算方法、系统及存储介质 |
KR102339625B1 (ko) * | 2021-01-29 | 2021-12-16 | 주식회사 맥스트 | 공간 지도 갱신 장치 및 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08138057A (ja) * | 1994-11-04 | 1996-05-31 | Fuji Electric Co Ltd | 物体監視装置 |
JPH10332334A (ja) * | 1997-06-04 | 1998-12-18 | Hitachi Ltd | 画像処理による位置計測方法および装置 |
JP3979522B2 (ja) * | 2002-02-21 | 2007-09-19 | シャープ株式会社 | カメラ装置及び監視システム |
-
2007
- 2007-11-01 JP JP2007284719A patent/JP5183152B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008176768A (ja) | 2008-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5183152B2 (ja) | 画像処理装置 | |
JP6587113B2 (ja) | 画像処理装置及び画像処理方法 | |
US8189962B2 (en) | Image processing apparatus | |
AU2011343674B2 (en) | Zooming factor computation | |
CN107438173B (zh) | 视频处理装置、视频处理方法和存储介质 | |
EP2640057B1 (en) | Image processing device, image processing method and program | |
CN102148965B (zh) | 多目标跟踪特写拍摄视频监控系统 | |
US20100141767A1 (en) | Semi-Automatic Relative Calibration Method for Master Slave Camera Control | |
EP1610090A2 (en) | Method for associating stereo images and three-dimensional data preparation system | |
US8134614B2 (en) | Image processing apparatus for detecting an image using object recognition | |
TW200818916A (en) | Wide-area site-based video surveillance system | |
JP4976939B2 (ja) | 画像処理装置 | |
JP2011254289A (ja) | 移動体軌跡表示装置および移動体軌跡表示プログラム | |
JP5105972B2 (ja) | 座標変換方法及びパラメータ調整方法及び監視システム | |
CN112399033B (zh) | 摄像机组件和监控摄像机 | |
KR101111503B1 (ko) | 전방향 피티지 카메라 제어 장치 및 그 방법 | |
GB2459033A (en) | Resolution reduced video monitoring method to enable real time video processing | |
WO2012049941A1 (ja) | 動画像配信システム、及び動画像配信方法 | |
KR100623835B1 (ko) | 물체 검출 방법 및 물체 검출 장치 | |
JP4581512B2 (ja) | 3次元画像処理装置、光軸調整方法、光軸調整支援方法 | |
JP4198536B2 (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
JP6269014B2 (ja) | フォーカス制御装置およびフォーカス制御方法 | |
TW201722145A (zh) | 具攝影機自動調派功能之3d影像監控系統及其監控方法 | |
KR101670247B1 (ko) | Cctv 실시간 영상의 원클릭 선택을 이용한 객체 확대 이동 시스템 및 그 방법 | |
CN112422848B (zh) | 一种基于深度图和彩色图的视频拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101028 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5183152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160125 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |