JPWO2009110417A1 - 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム - Google Patents

旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム Download PDF

Info

Publication number
JPWO2009110417A1
JPWO2009110417A1 JP2010501891A JP2010501891A JPWO2009110417A1 JP WO2009110417 A1 JPWO2009110417 A1 JP WO2009110417A1 JP 2010501891 A JP2010501891 A JP 2010501891A JP 2010501891 A JP2010501891 A JP 2010501891A JP WO2009110417 A1 JPWO2009110417 A1 JP WO2009110417A1
Authority
JP
Japan
Prior art keywords
camera
coordinate value
point
coordinate
real space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010501891A
Other languages
English (en)
Other versions
JP5566281B2 (ja
Inventor
小川 雄三
雄三 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toa Corp
Original Assignee
Toa Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toa Corp filed Critical Toa Corp
Priority to JP2010501891A priority Critical patent/JP5566281B2/ja
Publication of JPWO2009110417A1 publication Critical patent/JPWO2009110417A1/ja
Application granted granted Critical
Publication of JP5566281B2 publication Critical patent/JP5566281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

【課題】 簡単かつ精確に旋回型カメラの設置条件を特定する。【解決手段】 本発明において、旋回型カメラ14は、3次元の実空間における或る位置Qkに設置されている。また、当該旋回型カメラ14は、基準方向Eを有しており、この基準方向Eに対するパン角θおよびチルト角ρが与えられることによって、旋回する。本発明では、この旋回型カメラ14の設置条件、詳しくは実空間における設置位置Qkの世界座標値(x’,y’,z’)と、当該実空間のx軸に対する基準方向Eの角度、言わばオフセット角θ0と、を特定する。具体的には、実空間における任意の位置に、注視点Qmが設定される。そして、この注視点Qmにおける世界座標値(x”,y”,z”)と、当該注視点Qmに旋回型カメラ14が向けられているときのパン角αおよびチルト角ρと、に基づいて、つまり幾何学的な計算に基づいて、当該設置条件が特定される。

Description

本発明は、旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システムに関し、特に、旋回型カメラの設置位置と基準方向とを含む設置条件を特定する装置および方法、ならびに当該設置条件が特定された旋回型カメラを制御するシステム、に関する。
いわゆるパンおよびチルトが可能な旋回型カメラは、特に監視用途に適している。そして、監視用途においては、監視領域に移動体が侵入したときに、これを自動的に追尾(捕捉)するように旋回型カメラを制御する、といういわゆる自動追尾の要求が少なくない。この要求に応えるべく、従来、例えば特許文献1に開示されたものがある。この特許文献1に開示された従来技術によれば、旋回型カメラの他に、監視領域全体を撮影し得る広角の固定カメラが設けられている。そして、この固定カメラによる撮影画像に移動体が現れると、その撮影画像における移動体の位置、つまり当該撮影画像という2次元の画像座標における移動体の座標値、が求められる。さらに、この2次元の座標値が、実空間という3次元の世界座標における座標値に変換される。そして、変換された世界座標値に従う位置(点)を向くように、旋回型カメラが制御される。
特開2005−3377号公報
ところで、上述の如く世界座標上で旋回型カメラを制御するには、当然に、当該世界座標における旋回型カメラの設置位置、つまり座標値、が特定されていなければならない。また、旋回型カメラは、一般に、一定の基準方向を有しており、この基準方向に対する偏角、要するにパン角およびチルト角、が与えられることによって、これらパン角およびチルト角に応じた方向を向くように旋回する。従って、この基準方向についても、世界座標において特定されていなければならない。
このため、従来は、(特許文献1には明記されていないが)測量装置によって、或いはメジャー等の道具を用いて、旋回型カメラの設置位置が測定され、ひいては世界座標における座標値が特定されていた。また、基準方向についても、磁気コンパス等の道具を用いて、極端には目測によって、特定されていた。
しかしながら、このような道具を用いての旋回型カメラの設置位置および基準方向の特定、言わば当該旋回型カメラの設置条件の特定は、非常に面倒であり、それ相応の労力や時間,コストが掛かる。このことは、撮影領域が広いほど、また旋回型カメラの台数が多いほど、顕著になる。また、精確さにも欠ける。
そこで、本発明は、従来よりも簡単かつ精確に旋回型カメラの設置条件を特定することができる装置および方法を提供することを、目的とする。また、当該設置条件が特定された旋回型カメラを新規の手法で制御するカメラ制御システムを提供することも、本発明の目的とするところである。
この目的を達成するために、まず、本発明による旋回型カメラの設置条件特定装置は、当該旋回型カメラが、実空間に設置されており、かつ、一定の基準方向を有すると共に、この基準方向に対する偏角が与えられることによって当該偏角に応じた方向を向くように旋回することを、前提とする。併せて、旋回型カメラの設置条件には、実空間に設定された3次元の世界座標における当該旋回型カメラの設置位置の座標値と、当該世界座標における旋回型カメラの基準方向と、が含まれている。その上で、本発明による旋回型カメラの設置条件特定装置は、世界座標における任意の注視点の座標値と、この注視点に旋回型カメラが向けられているときの偏角と、に基づいて、設置条件を特定する特定手段を、具備する。
この構成によれば、旋回型カメラが設置されている実空間に、3次元の世界座標が設定されている。そして、この世界座標における任意の点が、注視点とされる。すると、特定手段が、世界座標における注視点の座標値と、この注視点に旋回型カメラが向けられているときの偏角と、に基づいて、当該世界座標における旋回型カメラの設置位置と基準方向とを含む設置条件を、特定(推定)する。つまり、幾何学的な計算に基づいて、旋回型カメラの設置条件が特定される。
なお、世界座標における注視点の座標値については、次のようにして求めることができる。即ち、模擬画像表示手段によって、模擬画像が表示される。この模擬画像は、世界座標を構成する3つの座標軸の1つである所定座標軸の値が一定とされた平面、言い換えれば当該所定座標軸に直交する平面、における実空間を模擬したものである。また、この模擬画像には、当該平面を表す世界座標と相関する2次元座標が設定されている。そして、この模擬画像上で、つまり2次元座標上で、注視点指定手段によって、注視点が指定される。すると、この2次元座標上で指定された注視点の2次元座標値と、当該2次元座標および世界座標間の相関関係と、に基づいて、当該注視点の世界座標における座標値が、注視点座標値演算手段によって、求められる。要するに、模擬画像上で指定された注視点の2次元座標値から、当該注視点の世界座標値が求められる。
ここで言う偏角は、パン角およびチルト角の一方または両方を含むものであってもよい。つまり、旋回型カメラはパン方向およびチルト方向の一方または両方に旋回可能なものであってもよい。
また、複数の注視点が設定されてもよい。即ち、複数の注視点それぞれの座標値と、これら複数の注視点それぞれに旋回型カメラが向けられているときの偏角と、に基づいて、設置条件が特定されてもよい。
続いて、本発明によるカメラ制御システムは、上述の要領で設置条件が特定された旋回型カメラを制御するものであり、上述と同様の模擬画像表示手段を、具備する。そして、この模擬画像表示手段によって表示された模擬画像上で、言い換えれば当該模擬画像上に設定された2次元座標上で、任意の点を指定する任意点指定手段をも、具備する。さらに、この任意点指定手段によって指定された任意点の2次元座標における2次元座標値と、当該2次元座標および世界座標間の相関関係と、に基づいて、任意点に対応する実空間中の或る空間点の世界座標値を求める空間点座標値演算手段を、具備する。加えて、この空間点座標値演算手段によって求められた空間点の世界座標値と、旋回型カメラの設置条件と、に基づいて、当該空間点に旋回型カメラを向けるための偏角を求める偏角演算手段を、具備する。そして、この偏角演算手段によって求められた偏角に応じた方向を向くように旋回型カメラを旋回させる旋回制御手段をも、具備する。
この構成によれば、模擬画像表示手段によって表示された模擬画像上で、任意の点が、任意点指定手段によって指定される。すると、指定された任意点に対応する実空間中の或る空間点の世界座標値が、当該任意点の2次元座標値と、2次元座標および世界座標間の相関関係と、に基づいて、空間点座標値演算手段によって求められる。さらに、この空間点座標値演算手段によって求められた空間点の世界座標値と、旋回型カメラの設置条件と、に基づいて、当該空間点に旋回型カメラを向けるための偏角が、偏角演算手段によって求められる。そして、この偏角演算手段によって求められた偏角に応じた方向に旋回型カメラが向くように、旋回制御手段が、当該旋回型カメラを旋回させる。つまり、模擬画像上で指定された任意点に対応する実空間中の或る空間点に、旋回型カメラが自動的に向けられる。
なお、ここで言う空間点は、世界座標を構成する所定座標軸の値が一定とされた上述の平面上の点である。従って、例えば、当該平面が地面や床面である場合には、これら地面や床面上の或る点が空間点とされ、そこに旋回型カメラが向けられる。しかしながら、用途によっては、特に、人間等を監視する監視用途においては、地面や床面上の或る点に旋回型カメラが向けられるのではなく、当該地面や床面よりも適当に高い位置に旋回型カメラが向けられるようにするのが、好都合である。そこで、本発明によるカメラ制御システムにおいては、ここで言う空間点の世界座標値に一定の高さ寸法(厳密には所定座標軸上の当該平面からの一定の距離)を表す初期値を付加した付加座標値を求める付加座標値演算手段を、さらに備え、この付加座標値に従う実空間中の或る点を、目標点とし、偏角演算手段は、この目標点の世界座標値、つまり付加座標値と、旋回型カメラの設置条件と、に基づいて、当該目標点に旋回型カメラを向けるための偏角を求めるものとしてもよい。このようにすれば、地面や床面上にある空間点よりも初期値分だけ高い位置に、旋回型カメラが向けられる。
また、旋回型カメラがズーム機能を有する場合には、この旋回型カメラによる目標点の撮影態様、例えば当該目標点を含む被写界面(等価撮像面)の面積等の寸法、が一定となるように、ズーム機能を制御するズーム制御手段を、さらに備えてもよい。このようにすれば、目標点の位置に拘らず、旋回型カメラによる当該目標点の撮影態様が常に一定となる。これは、特に、監視用途のように、人間等の被写体を一定の大きさで撮影したいという要求のある用途に、好適である。
さらに、本発明によるカメラ制御システムにおいては、互いに異なる複数の撮影態様に応じた複数の制御条件が予め設定されていてもよい。そして、これら複数の制御条件のいずれかを任意に選択する選択手段を、さらに備え、ズーム制御手段は、選択手段によって選択された制御条件に基づいて、旋回型カメラのズーム機能を制御するものとしてもよい。つまり、目標点をどのような態様で撮影するのかを、予め設定された複数種類の中から任意に選択できるようにしてもよい。
ただし、撮影態様によっては、言い換えれば旋回型カメラのズーム倍率によっては、上述した平面から目標点までの距離を適宜に変える必要がある。例えば、監視用途においては、撮影対象である人間の顔を比較的に大きく捉えるには、ズーム倍率を比較的に大きく設定すると共に、当該人間の顔に目標点を設定するのが、望ましい。これに対して、人間の全身を撮影するには、ズーム倍率を比較的に小さく設定すると共に、当該人間の胴体部分に目標点を設定するのが、望ましい。つまり、撮影対象が同じ人間であっても、ズーム倍率によって、目標点の位置が変わり、言わば平面(地面や床面等)から当該目標点までの距離の最適値が変わる。これに対処するべく、それぞれの制御条件には、当該距離の最適値が含まれており、いずれかの制御条件が選択されたとき、この選択された制御条件に基づいて、ズーム制御手段が、上述の如くズーム機能(ズーム倍率)を制御し、併せて、付加座標演算手段が、目標点の世界座標値である付加座標値を求めるものとしてもよい。
加えて、上述の如く複数の撮影態様に応じた複数の制御条件が予め設定されている場合には、当該複数の撮影態様それぞれを模擬した模擬図が個別に付された複数の操作子を、さらに備え、これら複数の操作子それぞれに制御条件が個別に割り当てられるものとしてもよい。この制御条件の割り当ては、それぞれの操作子に付されている模擬図と対応付けられる。そして、選択手段は、これらの操作子の操作に応じて、制御条件の選択を行う。つまり、或る操作子が操作されると、選択手段は、この操作された操作子に割り当てられた制御条件を選択する。このようにすれば、オペレータ(操作者)は、各操作子に付された模擬図から、当該各操作子に割り当てられた制御条件を直観的に把握することができ、当該各操作子を含む本発明によるカメラ制御システム全体の操作性が向上する。
本発明による旋回型カメラの設置条件特定方法は、上述した設置条件特定装置と同様に、世界座標における任意の注視点の座標値と、この注視点に旋回型カメラが向けられているときの偏角と、に基づいて、当該旋回型カメラの設置条件を特定するものである。即ち、この方法によっても、幾何学的な計算に基づいて、旋回型カメラの設置条件が特定される。
本発明の一実施形態に係る監視カメラシステムの概略構成を示すブロック図である。 同実施形態において各カメラの設置状況を示す実空間の概略平面図である。 同実施形態において或る固定カメラによって撮影された画像の一例を示す図解図である。 図2の概略平面図に対応するマップ画像を示す図解図である。 図3の撮影画像に移動体が現れた状態を示す図解図である。 図5の状態にあるときのマップ画像の状態を示す図解図である。 図5の状態にあるときの或る旋回型カメラによる撮影画像の一例を示す図解図である。 図4のマップ画像にスケーラが設定された状態を示す図解図である。 図8のマップ画像と実空間との関係を示す図解図である。 同実施形態においてカメラキャリブレーションを行うときの実空間の一状態を示す図解図である。 図10の状態にあるときのマップ画像の状態を示す図解図である。 図10の状態にあるときの固定カメラによる撮影画像の状態を示す図解図である。 図10の状態にあるときの固定カメラによる撮影画像の図12とは異なる状態を示す図解図である。 同実施形態においてカメラキャリブレーションが行われた結果の検証手順を説明するための図解図である。 同カメラキャリブレーションが精確に行われなかったときの検証結果の一例を示す図解図である。 図14とは別の検証手順を説明するための図解図である。 同実施形態において旋回型カメラの設置条件を特定するときの実空間の一状態を示す図解図である。 図17の状態にあるときのマップ画像の状態を示す図解図である。 同実施形態において旋回型カメラの設置条件が特定された結果の検証手順を説明するための図解図である。 同実施形態における旋回型カメラの別の制御例としてのマップポイントビュー機能を説明するための図解図である。 同マップポイントビュー機能における事前の準備を説明するための図解図である。 同マップポイントビュー機能の原理を説明するための図解図である。 同マップポイントビュー機能における或る旋回型カメラによる撮影画像の一例を示す図解図である。 図23とは別の例を示す図解図である。 同マップポイントビュー機能におけるアイコンの表示例を示す図解図である。 同マップポイントビュー機能におけるマップ画像の表示例を示す図解図である。
本発明の一実施形態について、図1に示す監視カメラシステム10を例に挙げて説明する。
同図に示すように、本実施形態に係る監視カメラシステム10は、撮影領域が固定された複数台の固定カメラ12,12,…と、撮影領域が可変の、詳しくはパン方向およびチルト方向のそれぞれに旋回可能であると共にズームレンズを備えた、複数台の旋回型カメラ14,14,…と、を具備する。そして、これらの固定カメラ12,12,…および旋回型カメラ14,14,…は、パーソナルコンピュータ(以下、PCと言う。)16に接続されている。
PC16は、自身にインストールされた制御プログラムを実行することで、各固定カメラ12,12,…による撮影画像に基づいて各旋回型カメラ14,14,…を制御するカメラ制御装置として機能する。また、それぞれの固定カメラ12について、後述するカメラキャリブレーションを行うカメラキャリブレーション装置としても機能する。さらに、それぞれの旋回型カメラ14について、後述する設置条件を特定するための設置条件特定装置としても機能する。なお、このPC16には、これに各種命令を入力するための入力手段、例えばマウス18およびキーボード20を含む操作装置22と、当該PC16による処理結果を含む各種情報を出力するための情報出力手段としてのディスプレイ24と、が接続されている。
この監視カメラシステム10は、例えば図2に示すようなビル等の建物を含む敷地内を監視するのに、用いられる。同図のケースでは、概略矩形状の敷地内の4隅A,B,CおよびDに、1台ずつ、つまり合計4台、の固定カメラ12,12,…が設置されている。そして、これら4台の固定カメラ12,12,…の近傍a,b,cおよびdに、1台ずつ、つまり合計4台の、旋回型カメラ14,14,…が設置されている。なお、各固定カメラ12,12,…は、互いに異なる領域を撮影するように設置されている。例えば、敷地内の南西隅(同図において左下隅)Aに設置されている固定カメラ12は、同図に矢印12aで示すように、当該敷地内の建物の南側にある南側領域を撮影するように設置されている。そして、敷地内の南東隅(同図において右下隅)Bに設置されている固定カメラ12は、同図に矢印12bで示すように、当該敷地内の建物の東側にある東側領域を撮影するように設置されている。さらに、敷地内の北東隅(同図において右上隅)Cに設置されている固定カメラ12は、同図に矢印12cで示すように、当該敷地内の建物の北側にある北側領域を撮影するように設置されている。そして、敷地内の北西隅(同図において左上隅)Dに設置されている固定カメラ12は、同図に矢印12dで示すように、当該敷地内の建物の西側にある西側領域を撮影するように設置されている。
各固定カメラ12,12,…による撮影画像は、所定の順番に従って1つずつ、または分割画面によって同時に、ディスプレイ24に表示される。例えば、敷地内の南西隅Aに設置されている固定カメラ12による撮影画像は、図3のように表示される。併せて、ディスプレイ24には、図4に示すような模擬画像としてのマップ画像が表示される。このマップ画像は、敷地内の平面図(建物等の各箇所の形状や寸法等)を忠実に表現したものであり、ビットマップファイルやJPEG(Joint Photographic Experts Group)ファイル等の適宜の画像ファイルによって表示される。また、当該マップ画像として、建物等の建築図面を利用することもできる。即ち、建築図面には、建物等の形状や寸法が正確に記されているので、これを利用(画像ファイル化)することによって、新たにマップ画像を作成する手間を省くことができる。
ここで、例えば、敷地内の南西隅Aに設置されている固定カメラ12による撮影領域(つまり南側領域)に、人間等の移動体が侵入したとする。すると、この固定カメラ12による撮影画像は、図5のようになる。即ち、当該撮影画像に、移動体(厳密には移動体の像)30が表示される。そして、この移動体30が、フレーム差分法や背景差分法等の公知の移動体検出技術によって検出され、当該移動体30を囲む(内接させる)ように、矩形状の枠32が表示される。さらに、撮影画像上の所定位置、例えば左上隅近傍に、注意を喚起するための注意マーク34が表示される。これらの矩形枠32および注意マーク34の表示を受けて、オペレータ(監視者)は、移動体30が侵入したことを認識することができる。なお、これらの矩形枠32および注意マーク34の表示は、PC16によって制御される。
併せて、図4に示したマップ画像上に、図6に示すように、移動体30の現在位置を示す移動体マーク36と、当該移動体30の移動径路を示す軌跡線38が表示される。この表示を受けて、オペレータは、敷地内における移動体30の現在位置および移動径路を認識することができる。なお、これらの移動体マーク36および軌跡線38の表示もまた、PC16によって制御される。
さらに、移動体30の現在位置に応じて、適宜の旋回型カメラ14、例えば南西隅aの旋回型カメラ14が、当該移動体30の方向を向くように旋回すると共に、当該移動体30を拡大して撮影するようにズームアップする。そして、この旋回型カメラ14による撮影画像が、図7に示すように、ディスプレイ24に表示される。そして、この移動体30を自動追尾するように、旋回型カメラ14の旋回動作およびズーム動作が制御される。なお、この旋回型カメラ14の旋回動作およびズーム動作、ならびに当該旋回型カメラ14による撮影画像のディスプレイ24への表示も、PC16によって制御される。また、この南西隅aの旋回型カメラ14のみならず、当該移動体30を捕捉可能な別の旋回型カメラ14、例えば南東隅bの旋回型カメラ14についても、自動追尾させると共に、その撮影画像をディスプレイ24に表示させてもよい。
以上のことは、他のそれぞれの固定カメラ12による撮影領域に移動体30が侵入したときも、同様である。
このように、マップ画像上における移動体マーク36および軌跡線38の表示、ならびに適宜の旋回型カメラ14による自動追尾および当該自動追尾している旋回型カメラ14による撮影画像の表示によって、移動体30の侵入に対してより迅速かつ適切な対処が可能となり、言わば統合的な監視が実現される。
ところで、このような統合的な監視を実現するには、それぞれの固定カメラ12による撮影画像において、移動体30が現れたときにこれを検知すると共に、この移動体30の実空間における位置を当該固定カメラ12による撮影画像から認識する必要がある。このうち、前者の移動体検知については、上述したようにフレーム差分法や背景差分法等の公知の技術が採用される。一方、固定カメラ12による撮影画像から実空間における移動体30の位置を認識するという後者については、カメラキャリブレーションが行われることが前提とされる。本実施形態では、このカメラキャリブレーションを極めて簡単に実現するべく、次のような工夫が成されている。
即ち、図4に示したマップ画像において、図8に示すように、直線状のスケーラ40が設定される。具体的には、実空間において実寸が判明している部分、例えば図8においては矩形状の建物の北西角部Qaから南西角部Qbまでの部分に、上述したマウス18の操作(ドラッグ&ドロップ操作)によって当該スケーラ40が設定される。そして、実空間においてこのスケーラ40に対応する部分の実際の寸法(実寸)Lwが、例えば上述したキーボード20の操作によって入力される。なお、実寸Lwの単位は、例えば[mm](ミリメートル)であり、マップ画像上におけるスケーラ40の長さ寸法Lmは、当該マップ画像を構成する画素の単位、いわゆる[pixel](ピクセル)である。そして、実空間における実際の寸法Lwをマップ画像上におけるスケーラ40の長さ寸法Lmで除することによって、つまり次の数1によって、当該マップ画像上における1[pixel]が実空間においてどれくらいの長さ寸法に対応するのかを表す係数kが求められる。
Figure 2009110417
さらに、図9(a)に示すように、マップ画像における左下角部が、当該マップ画像における原点Omとされる。そして、この原点Omを通りかつ水平方向に沿う(同図において右側に向かって延伸する)直線が、α軸とされ、当該原点Omを通りかつ垂直方向に沿う(同図において上側に向かって延伸する)直線が、β軸とされる。これによって、マップ画像上に、α軸およびβ軸から成る2次元の直交座標が設定される。なお、このマップ画像上の2次元座標の単位は、上述した[pixel]である。
併せて、図9(b)に示すように、実空間において、マップ画像における原点Omに対応する位置が、原点Owとされ、当該マップ画像におけるα軸およびβ軸に対応するように、x軸およびy軸が設定される。そして、原点Owを通り、かつx軸およびy軸のそれぞれに直交するように(同図において上側に向かって延伸するように)、高さ方向を規定するz軸が設定される。これによって、実空間に、x軸,y軸およびz軸から成る3次元の世界座標が設定される。なお、この実空間に設定された世界座標の単位は、上述の[mm]である。
つまり、図9(a)のマップ画面は、図9(b)の実空間における高さzがゼロ(z=0)の平面を模擬したものである。従って、これら両者の座標値(α,β)および(x,y,0)の関係は、上述した係数kを言わば変換係数とする次の数2で表される。
Figure 2009110417
ゆえに、例えば、図9(a)のマップ画像における任意の位置Qcにおける2次元座標値を(α’,β’)とすると、図9(b)の実空間において当該位置Qcに対応する位置Qdの世界座標値(x’、y’,z’)は、この数2の関係から、(x’、y’,z’)=(k・α’,k・β’,0)となる。
そして、このようにスケーラ40が設定されることによって言わばキャリブレーションされたマップ画像を利用して、次のような手順でカメラキャリブレーションが行われる。
即ち、当該カメラキャリブレーションのための変換アルゴリズムとしては、公知の射影変換行列、特に11変数の射影変換行列、が用いられる。この11変数の射影変換行列では、固定カメラ12による2次元の撮影画像の座標値が(u,v)で表されるとすると、この画像座標値(u,v)と実空間の絶対座標値(x,y,z)との関係は、次の数3のようになる。
Figure 2009110417
なお、この数3において、sは、スケールファクタである。そして、p〜p11が、カメラパラメータである。また、固定カメラ12による撮影画像の座標値(u,v)は、後述する図12に示すように、当該撮影画像の左上角を原点Oiとし、この原点Oiを通りかつ水平方向に沿う(同図において右側に向かって延伸する)直線がu軸とされ、当該原点Oiを通りかつ垂直方向に沿う(同図において下側に向かって延伸する)直線がv軸とされた、2次元の画像座標上の値である。
この数3において、スケールファクタsが消去されると、次の数4および数5から成る連立方程式が導き出される。
Figure 2009110417
Figure 2009110417
これら数4および数5によれば、画像座標値(u,v)と世界座標値(x,y,z)との組合せが少なくとも6組構成されれば、これら6組の組合せから成る連立方程式によって、p〜p11という合計11個のカメラパラメータが求められる。ただし、全ての組合せが、同じ平面上、例えばz=0という平面上にある場合は、カメラパラメータは求められない。従って、当該組合せは、少なくとも2つの異なる平面上にあることが、必要とされる。
この実現のために、本実施形態では、まず、図10に示すように、カメラキャリブレーションの対象となる固定カメラ12による撮影領域の適当な位置Qeに、指標としての人間42が立つ。なお、この人間42の身長は既知であるとする。また、人間42の立ち位置Qeとしては、マップ画像上においても分かり易いところが、好ましい。
次に、図11に示すように、マップ画像上において、図10における人間42の立ち位置Qeに対応する位置Qfが、例えばマウス18の操作(クリック操作)によって指定される。これによって、この指定された位置Qfの2次元座標値(α,β)が特定される。さらに、この2次元座標値(α,β)が、上述した数2によって世界座標値(x,y,0)に変換される。この世界座標値(x,y,0)は、図10における人間42の足元の位置Qeに対応する。
続いて、人間42の身長(単位[mm])が、例えばキーボード20の操作によって入力される。入力された身長は、実空間における人間42の頭部の位置zに相当する。つまり、この人間42の身長が、上述の数2によって変換された世界座標値(x,y,0)に加えられることで、実空間における当該人間42の頭部の世界座標値(x,y,z)が求められる。
さらに、図12に示すように、固定カメラ12による撮影画像上において、人間(厳密には人間の像)42の足元Qgが、例えばマウス18の操作によって指定される。これによって、撮影画像における当該足元Qgの画像座標値(u,v)が特定される。
これと同様に、図13に示すように、固定カメラ12による撮影画像上において、人間42の頭部Qhが、マウス18の操作によって指定される。これによって、撮影画像における当該頭部Qhの画像座標値(u,v)が特定される。
この一連の作業によって、互いに異なる平面上に存在する世界座標値(x,y,0)および(x,y,z)と、それぞれに対応する画像座標値(u,v)と、の組合せが2組得られる。従って、図10に示した実空間において人間42が別の位置Qeに移動した上で同様の作業が行われ、この作業が合計で3回行われることによって、画像座標値(u,v)と世界座標値(x,y,z)((x,y,0)を含む。)との組合せが合計6組得られる。そして、これら6組の組合せから成る連立方程式に基づいて、カメラパラメータp〜p11が求められ、つまりカメラキャリブレーションが実現される。
このように、本実施形態によれば、実空間におけるz=0の平面を模擬したマップ画像上で、図11に示したように指標としての人間42の足元の位置Qfが指定され、この指定された足元の位置Qfの2次元座標値(α,β)が、上述した数2によって実空間における世界座標値(x,y,0)に変換される。これによって、図10に示した実空間における当該人間42の足元の位置Qeの世界座標値(x,y,0)が求められる。さらに、この足元の位置Qeの世界座標値(x,y,0)に人間42の身長が加えられることで、当該人間42の頭部の世界座標値(x,y,z)が得られる。従って、実空間において指標点の世界座標(Xw,Yw,Zw)を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値(x,y,z)((x,y,0)を含む。)を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、固定カメラ12による撮影領域が広いほど、顕著である。
なお、他のそれぞれの固定カメラ12についても、同じマップ画像を用いてカメラキャリブレーションを行うことができる。このようにマップ画像を共有化することで、カメラキャリブレーションに掛かる手間がさらに省ける。
さて、このようにしてカメラキャリブレーションが行われることによって、任意の固定カメラ12による撮影画像上における2次元の画像座標値(u,v)から実空間における3次元の世界座標値(x,y,z)への変換が、可能となる。例えば、図5に示した人間30の足元の画像座標値(u,v)は、次のようにして世界座標値(x,y,z)に変換される。
即ち、まず、上述した数4を変形すると、次の数6が導き出される。同様に、数5を変形すると、数7が導き出される。
Figure 2009110417
Figure 2009110417
ここで、実空間における人間30の足元は地面に接しており、この地面の世界座標における高さ寸法zはz=0である、とみなすことができるので、このz=0という条件が数6および数7に当てはめられることによって、次の数8および数9が導き出される。
Figure 2009110417
Figure 2009110417
即ち、数8によって、世界座標のx軸における足元の座標値が求められ、数9によって、y軸における当該足元の座標値が求められる。つまり、当該足元の画像座標値(u,v)に対応する世界座標値(x,y,z)(=(x,y,0))が求められる。
そして、この世界座標値(x,y,z)(=(x,y,0))が、上述した数2の変形式である次の数10に代入されることで、マップ画像上における人間30の足元の2次元座標値(α,β)が求められる。
Figure 2009110417
このようにしてマップ画像上における人間30の足元の2次元座標値(α,β)が求められることで、図6に示したような移動体マーク36や軌跡線38の表示が可能となる。
さらに、数8によって求められたx軸における座標値と、数9によって求められたy軸における座標値とが、数6に代入されることで、実空間における人間30の頭部の高さzを求めるための次の数11が導き出される。
Figure 2009110417
同様に、数8によって求められたx軸における座標値と、数9によって求められたy軸における座標値とが、数7に代入されることによっても、実空間における人間30の頭部の高さ寸法zを求めるための次の数12が導き出される。
Figure 2009110417
なお、このように人間30の頭部の高さ寸法zが求められることによって、当該人間30の身長も分かる。また、当該高さ寸法zを半分にすることで、人間30の略中心位置を求めることもできる。
そしてさらに、カメラキャリブレーションが精確に行われているか否かを、次のようにして検証することができる。
即ち、図14(a)に示すように、カメラ画像上において、高さがゼロの条件を満足する任意の位置、好ましくは実空間およびマップ画像上でも分かり易い(言わば目印となる)位置Qiが、例えばマウス18の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Qiとして指定された状態を示す。すると、この指定位置Qiのカメラ座標上における画像座標値(u,v)が特定される。そして、特定された画像座標値(u,v)が、上述の数8に代入されることで、世界座標のx軸における座標値が求められる。併せて、当該画像座標(u,v)が、上述の数9に代入されることで、世界座標のy軸における座標値が求められる。
そして、このようにして求められた世界座標のx軸およびy軸のそれぞれにおける座標値が、上述した数10に代入されることで、マップ画像における2次元座標値(α,β)が求められる。そして、図14(b)に示すように、マップ画像上において、当該2次元座標値(α,β)に従う位置Qjにマーカ46が表示される。このマーカ46の位置Qjが、図14(a)の撮影画像における指定位置Qiに対応すれば、カメラキャリブレーションが精確に行われたことになる。
一方、例えば図15に示すように、マップ画像上におけるマーカ46の位置Qjが、図14(a)の撮影画像における位置Qiと対応しない場合には、カメラキャリブレーションが精確に行われていないことになる。この場合は、例えばマウス18の操作によって、マップ画像上で、図14(b)に示した本来の位置Qjが改めて指定される。すると、この位置Qjにおける2次元座標値(α,β)が、上述した数2によって世界座標値(x,y,0)に変換される。そして、この変換された世界座標値(x,y,0)と図14(a)の撮影座標における位置Qiの画像座標値(u,v)との組合せに基づいて、改めてカメラキャリブレーションが行われる。具体的には、この新たな組合せと先に求められた組合せとに基づいて、上述した数4および数5の連立方程式が解かれる。このとき、各カメラパラメータp〜p11のそれぞれについて、複数個の解が求められるので、例えば最小2乗法等の回帰分析法によって、当該各カメラパラメータp〜p11として最良の値が求められる。このような修正が成されることで、カメラキャリブレーションの精度が向上する。
また、カメラキャリブレーションの精度を検証するのに、例えば図16に示すように、固定カメラ12による撮影画像上において、適宜の目盛、例えば格子状のグリッド48、を表示させることもできる。即ち、世界座標上における当該固定カメラ12による撮影領域において、z=0という条件で複数個の世界座標値(x,y,0)が一定の間隔で設定される。そして、それぞれの世界座標値(x,y,0)が上述した数4および数5に代入されることで、それぞれに対応する画像座標値(u,v)が求められる。そして、これらの画像座標値(u,v)に従う各位置(座標点)が互いに直線50,50,…で結ばれることによって、これらの直線50,50,…から成るグリッド48が撮影画像上に表示される。なお、図16においては、グリッド48が、実空間においてx軸に平行な柵および建物の壁に沿って延伸しているので、カメラキャリブレーションが精確に行われているものと、認められる。
さらに、本実施形態においては、それぞれの旋回型カメラ14の設置条件、詳しくは図17に例示する実空間における当該旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eについても、上述したマップ画像を用いることで、簡単に特定することができる。即ち、旋回型カメラ14は、図示しないポール上や建物の壁面等に設置されるが、その設置位置Qk、特に世界座標値(x’,y’,z’)について、何ら配慮されないまま設置されることがある。また、旋回型カメラ14においては、所定の基準方向Eが決められており、この基準方向Eに対するパン角θおよびチルト角ρによって、当該旋回型カメラ14の向きが制御される。ところが、この基準方向Eについても、何ら配慮されないまま、設置されることがある。例えば、実空間における世界座標(x,y,z)を用いて、上述した自動追尾を行うには、これら設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eが既知である必要がある。言い換えれば、これら設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eが既知であれば、当該世界座標(x,y,z)を用いた自動追尾を行うことができる。なお、この世界座標(x,y,z)を用いた自動追尾の実現例は、例えば特開2005−3377号公報に開示されている。そこで、本実施形態においては、マップ画像を用いることで、旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eを簡単に特定することのできる手法についても、説明する。
改めて図17を参照して、例えば、今、旋回型カメラ14が、世界座標におけるz軸に平行な直線を中心としてパン方向に旋回し、かつ、当該世界座標のx軸−y軸平面に平行な直線を中心としてチルト方向に旋回するように、設置されている、とする。併せて、基準方向Eが、世界座標のx軸−y軸平面に平行であり、かつ、当該x軸−y軸平面に平行な平面においてx軸に沿う方向に対して或る角度、言わばオフセット角θ、を成している、と仮定する。なお、パン角θおよびチルト角ρの単位は、[rad](ラジアン)である。また、パン角θについては、旋回型カメラ14を上方から見たときに反時計回りの方向がプラス(+)であり、チルト角ρについては、水平よりも下方の方向がプラス(+)である、とする。そして、これらパン角θおよびチルト角ρについては、それぞれの値を旋回型カメラ14から取得することができる、とする。
このような状態において、旋回型カメラ14が実空間における或る位置Qmを注視しており、この注視点Qmの世界座標値が(x”,y”,z”)である、とする。すると、次の数13および数14が成立する。
Figure 2009110417
Figure 2009110417
これらの数13および数14によれば、注視点Qmの世界座標値(x”,y”,z”)と、この注視点Qmに旋回型カメラ14が向いているとき、詳しくは注視点Qmが旋回型カメラ14の光軸上に存在するときの、当該旋回型カメラ14のパン角θおよびチルト角ρが与えられると、この旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)と上述のオフセット角θとを未知数とした、2つの方程式が成立する。従って、これら注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが少なくとも2組以上得られると、当該4つの未知数x’,y’,z’およびθを求めることができる。
そこで、まず、図18に示すように、上述したマップ画像上で、例えばマウス18の操作によって任意の位置、好ましくは実空間および旋回型カメラ14による撮影画像上のいずれでも分かり易い位置Qnが、注視点として指定される。そして、この注視点Qnにおける当該マップ画像上の2次元座標値(α,β)が特定されると共に、この2次元座標値(α,β)が上述した数2に代入されることで、図17に示した実空間における注視点Qmの世界座標値(x”,y”,z”)が求められる。なお、この実空間における注視点Qmの高さz’は、ゼロであるのが、好ましい。ゼロでない場合には、例えばキーボード20の操作によって当該高さz’の実測値が設定される。
続いて、旋回型カメラ14が、手動制御によって、実空間における注視点Qmに向けられる。そして、このときの当該旋回型カメラ14のパン角θおよびチルト角ρが取得される。この一連の作業によって、注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが得られる。そして、異なる注視点Qmについて、同じ作業が合計2回行われることによって、注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが合計2組得られる。そして、この2組の組合せから成る連立方程式に基づいて、旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θとが求められる。
このようにして旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θとが求められることで、実空間における任意の世界座標値(x,y,z)が与えられると、この世界座標値(x,y,z)に対応する位置に旋回型カメラ14を向かせるためのパン角θおよびチルト角ρが求められる。つまり、パン角θは、上述の数13の変形式である次の数15によって求められ、チルト角ρは、数14の変形式である数16によって求められる。
Figure 2009110417
Figure 2009110417
なお、この旋回型カメラ14の設置条件の特定が精確に成されたか否かについては、次のようにして検証することができる。
即ち、図19(a)に示すように、マップ画像上において、任意の位置、好ましくは実空間および旋回型カメラ14による撮影画像上のいずれでも分かり易い位置Qoが、例えばマウス18の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Qoとして指定された状態を示す。すると、この指定位置Qoのマップ画像上における2次元座標値(α,β)が特定され、さらに、この特定された2次元座標値(α,β)が、上述した数2によって世界座標値(x,y,0)に変換される。そして、この変換された世界座標値(x,y,0)が図17に示した注視点Qmの世界座標値(x”,y”,z”)として上述の数15および数16のそれぞれに代入されることで、当該注視点Qmに旋回型カメラ14を向けるためのパン角θおよびチルト角ρが求められる。そして、この求められたパン角θおよびチルト角ρに基づいて旋回型カメラ14が旋回することで、図19(b)に示すように、注視点Qmに対応する位置Qpが撮影画像の中央に映し出される。このように、位置Qpが撮影画像の略中央に映し出されることで、旋回型カメラ14の設置条件の特定が精確に行われたことが、確認される。
一方、旋回型カメラ14による撮影画像上の略中央に位置Qpが映し出されない場合には、当該旋回型カメラ14の設置条件の特定が精確に行われていないことになる。この場合は、例えば旋回型カメラ14による撮影画像上の略中央に位置Qpが映し出されるように、当該旋回型カメラ14の向きが手動制御で変更される。そして、この変更後の旋回型カメラ14のパン角θおよびチルト角ρが取得される。これにより、今現在の注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが得られる。そして、この新たな組合せと先に求められた組合せとに基づいて、改めて旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θとが求められる。この修正により、特定精度が向上する。なお、この修正においても、上述したカメラキャリブレーションの修正時と同様に、最小2乗法等の回帰分析法を用いてもよい。
このように、本実施形態によれば、実空間における任意の位置に注視点Qmが設定され、この注視点Qmにおける世界座標値(x”,y”,z”)と、当該注視点Qmに旋回型カメラ14が向けられているときのパン角αおよびチルト角ρと、に基づいて、つまり幾何学的な計算に基づいて、当該旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θとを含む設置条件が特定される。従って、測量装置によって、或いはメジャーや磁気コンパス等の手動道具を用いて、さらには目測によって、旋回型カメラの設置条件が特定される、という上述した従来技術に比べて、簡単かつ精確に当該特定が行われる。しかも、実空間における注視点Qmの世界座標値(x”,y”,z”)は、マップ画像を利用して求められるので、当該特定のための作業の効率がさらに向上する。
なお、マップ画像を用いなくても、実空間における注視点Qmの世界座標値(x”,y”,z”)を直接的に求め、ひいては旋回型カメラ14の位置条件を特定することはできる。ただし、マップ画像を用いた方が効率的であることは、言うまでもない。
また、上述したカメラキャリブレーションにおいては、射影変換行列を採用したが、これに限らない。例えば、公知文献[R.Y.Tsai, “A versatile camera
calibration technique for high-accuracy 3D machine vision metrology using
off-the shelf TV cameras and lenses,” IEEE Journal
of Robotics and Automation, vol.RA-3, no.4, pp.323-331, Aug.1987]に開示されている手法を採用してもよい。
さらに、当該カメラキャリブレーションにおいて、既知の身長の人間を指標として利用したが、人間以外の指標、例えば棒状のものや、円錐状のものを利用してもよい。また、指標として特別なものを用意しなくても、例えば建物の角部や門柱等のように、外観的に特徴のある既存のもの(部分)を、当該指標として利用してもよい。ただし、この場合も、指標の寸法(特に高さ寸法)が既知であることが、必要とされる。
そして、図8に示したスケーラ40は、1つの設定例であり、これに限定されない。即ち、当該図8において、スケーラ40は、垂直方向に沿って延伸しているが、水平方向や斜め方向等の他の方向に沿って延伸するものであってもよい。ただし、上述したように、実空間における当該スケーラ40に対応する部分の実寸が正確に分かっていることが、必要である。言い換えれば、当該実寸が正確に分かっているのであれば、スケーラ40は、直線に限らず、曲線であってもよい。要するに、スケーラ40と実空間における当該スケーラ40に対応する部分とが、幾何学的に相似であり、かつそれぞれの長さ寸法LmおよびLwが正確に分かればよい。
また、本実施形態においては、建物を含む敷地内の監視用途に本発明を適用したが、これに限らない。例えば、建物内における監視に本発明を適用してもよいし、監視用途以外にも本発明を適用してもよい。
そして、上述のカメラキャリブレーションおよび旋回型カメラ14の設置条件の特定は、PC16によって実現されるが、例えば専用の装置によって実現されてもよい。
さらに、例えば、図6に示したように移動体マーク36および軌跡線38を表示させる機能と、自動追尾機能とを、互いに別々の装置によって実現してもよい。また、全てが別々の装置でなくとも、例えばディスプレイ24のみについて、移動体マーク36および軌跡線38を含むマップ画像を表示させるものと、自動追尾を行っている旋回型カメラ14による撮影画像を表示させるものと、固定カメラ12による撮影画像を表示させるものとを、別々に設けてもよい。
なお、自動追尾機能は、上述した移動体検出技術を含め、これを実現するための構成が比較的に複雑かつ高価であるので、これに代えて、次のマップポイントビュー機能という一種手動的な追尾機能を設けてもよい。
即ち、このマップポイントビュー機能によれば、マップ画像上でオペレータが注目したい位置、例えば図20(a)に示すような任意の位置Qqが、マウス18またはキーボード20の操作によって指定される。すると、指定された位置Qqに対応する実空間中の位置Qrに後述する高さ寸法γを加えた位置Qsに向けて、当該位置Qs(厳密には位置Qr)を撮影可能な旋回型カメラ14、例えば図2に示した南西隅aにある旋回型カメラ14が、自動的に旋回される。この結果、当該南西隅aにある旋回型カメラ14から、図20(b)に示すような撮影画像、詳しくは、位置Qsが中央に映し出されると共に、当該位置Qsを含む被写界面(等価撮像面)の幅寸法δが一定の撮影画像が、得られる。なお、図20(b)の撮影画像は、実空間中の位置Qs(つまり位置Qr)に人間60が存在する状態を示す。また、図示しないが、南東隅bにある旋回型カメラ14からも、同様の撮影画像、つまり位置Qsが中央に映し出されると共に、当該位置Qsを含む被写界面の幅寸法δが一定の撮影画像が、得られる。
このマップポイントビュー機能を実現するために、それぞれの旋回型カメラ14について、予めマップ画像上で撮影可能領域が設定される。例えば、南西隅aにある旋回型カメラ14については、図21に斜線模様62で示すように、南側領域と西側領域とを含む多角形状の撮影可能領域が設定される。詳しくは、マウス18またはキーボード20の操作によって当該多角形の各頂点が指定されると、これら各頂点を結ぶ閉領域が撮影可能領域62として設定される。これと同様に、他のそれぞれの旋回型カメラ14についても、撮影可能領域62が適宜に設定される。
さらに、図22を参照して、位置Qrから位置Qsまでの高さ寸法γが、例えばキーボード20の操作によって[mm]単位で任意に設定される。併せて、位置Qsを含む被写界面の幅寸法δも、キーボード20の操作によって[mm]単位で任意に設定される。なお、位置Qsを含む被写界面の幅寸法δは、その被写界面を形成する旋回型カメラ14から当該位置Qsまでの距離εと、当該旋回型カメラ14の画角φと、の間で、次の数17によって表される関係にある。
Figure 2009110417
これらの高さ寸法γと被写界面の幅寸法δとは、図20(b)に示したように、人間60が主たる撮影対象となることを前提として、適宜に設定される。例えば、図20(b)に示したように、人間60の全身が撮影画像の略一杯に映し出されるようにすると、当該人間60の全体的な容姿を把握するのに好都合である。これを実現するには、被写界面の幅寸法δがδ=3000[mm]とされ、高さ寸法γがγ=1000[mm]とされるのが、適当である。また、例えば、被写界面の幅寸法δがδ=1000[mm]とされ、高さ寸法γがγ=1500[mm]とされると、図23に示すように、人間60の顔が撮影画像の略中央に比較的に大きめに映し出される。この態様は、人間60の顔の特徴や表情を把握するのに、好適である。さらに、例えば、被写界面の幅寸法δがδ=5000[mm]とされ、高さ寸法γがγ=800[mm]とされると、図24に示すように、人間60の全身が撮影画像の中央に比較的に小さめに映し出される。この態様は、人間60の全体的な容姿(雰囲気)を感覚的に認識すると共に、その人間60の行動を予測するのに、好適である。なお、これらの高さγと水平方向の視野寸法δについても、それぞれの旋回型カメラ14ごとに任意に設定可能とされている。
このように、それぞれの旋回型カメラ14について、撮影可能領域62が設定されると共に、高さ寸法γおよび被写界面の幅寸法δが設定されることによって、マップポイントビュー機能が有効になる。即ち、上述の如くマップ画像上の任意の位置Qqが指定されると、この指定された位置Qqの当該マップ画像上における2次元座標値(α,β)が特定される。そして、特定された位置Qqの2次元座標値(α,β)が上述の式2に代入されることで、当該位置Qqに対応する実空間中の位置Qrの世界座標値(x,y,0)が求められる。さらに、この位置Qrの世界座標値(x,y,0)に高さ寸法γが加えられることで、目標点となる位置Qsの世界座標値(x,y,γ)が求められる。
その一方で、マップ画像上の位置Qqの2次元座標値(α,β)から、当該位置Qqを撮影可能領域62に含む旋回型カメラ14が特定される。そして、特定された旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θとが上述の数15および数16に代入されると共に、目標点となる位置Qsの世界座標値(x,y,γ)が当該数15および数16における(x”,y”,z”)に代入されることで、当該特定された旋回型カメラ14を目標点となる位置Qsに向けるためのパン角θおよびチルト角ρが求められる。そして、求められたパン角θおよびチルト角ρに基づいて旋回型カメラ14が旋回する。これによって、当該旋回型カメラ14の向きが目標点となる位置Qsに向けられる。
さらに、この目標点となる位置Qsに向けられた旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)と、当該位置Qsの世界座標値(x,y,γ)と、に基づいて、これら両者間の距離εが求められる。そして、この距離εと、予め設定された被写界面の幅寸法δとが、上述した数17の変形式である次の数18に代入されることで、目標点となる位置Qsに向けられた旋回型カメラ14の画角φが求められ、これに応じて、当該旋回型カメラ14の画角φ(ズーム倍率)が制御される。
Figure 2009110417
この結果、目標点となる位置Qsに向けられた旋回型カメラ14から、当該位置Qsを中心とし、かつ、この位置Qsを含む被写界面の幅寸法δが一定の撮影画像が得られる。即ち、一連のマップポイントビュー機能が実現される。このマップポイントビュー機能は、上述した自動追尾機能と同様に、それぞれの旋回型カメラ14の設置条件(設置位置Qkの世界座標値(x’,y’,z’)およびオフセット角θ)が精確に特定されることによってはじめて、その本領を発揮する。
なお、このマップポイントビュー機能においては、上述した高さ寸法γと被写界面の幅寸法δとの組合せが予めいくつか設定(プリセット)されており(厳密にはPC16内の図示しないメモリ回路等の記憶手段に記憶されており)、これらの組合せの中から希望のものを任意に選択することができるようにしてもよい。この場合、特に、図25に示すように、複数種類、例えば“A”,“B”および“C”という3種類、のアイコン70,72および74がディスプレイ24に表示され、これらのアイコン70,72および74のいずれかが当該ディスプレイ24上で選択(クリック)されると、これに応じた高さ寸法γと被写界面の幅寸法δとが自動的に設定されるようにしてもよい。具体的には、“A”というアイコン70が選択されると、図23に示した態様となり、“B”というアイコン72が選択されると、図20(b)に示した態様となり、“C”というアイコン74が選択されると、図24に示した態様となるようにしてもよい。
図25に示した各アイコン70,72および74は、操作子としての一例であり、これに限定されない。例えば、図25においては、これらのアイコン70,72および74に、人間の姿を模擬した図柄(シンボル)が付されているが、これに代えて、ルーペや建物等の外形を模擬した他の図柄を採用してもよい。また、アイコン70,72および74という言わばソフトウェア的な操作子に代えて、押しボタンやスイッチ等のハードウェア的な操作子(電子部品)を採用し、これらに適当な図柄を付してもよい。
また、図26に示すように、マップ画像上に、各旋回型カメラ14,14,…を表すマーク80,80,…が表示されるようにしてもよい。さらに、この場合、マップ画像上で指定された位置Qqと、この位置Qqに対応する目標点としての位置Qsに向けられる旋回型カメラ14を表すマーク80と、を結ぶように、概略扇状の別のマーク82が、当該マップ画像上に表示されるようにしてもよい。この概略扇状のマーク82は、目標点としての位置Qsが、どの旋回型カメラ14によって、どのような態様(特に画角φ)で撮影されているのかを、模擬的に表すものであり、当該旋回型カメラ14に対応するマーク80から指定位置Qqに向けての広がり角(中心角)φ’は、当該旋回型カメラ14の実際の画角φに応じて変化する。なお、図26は、南西隅aにある旋回型カメラ14によって、指定位置Qqに対応する目標点としての位置Qsが、広がり角φ’に応じた画角φで、撮影されている状態を示す。また、図示しないが、南東隅bにある旋回型カメラ14を表すマーク80についても、同様に、これと指定位置Qqとを結ぶ概略扇状状のマーク82が表示される。

Claims (11)

  1. 実空間に設置されており一定の基準方向を有すると共に該基準方向に対する偏角が与えられることによって該偏角に応じた方向を向くように旋回する旋回型カメラの設置条件を特定する特定装置であって、
    上記設置条件は上記実空間に設定された3次元の世界座標における上記旋回型カメラの設置位置の座標値と該世界座標における上記基準方向とを含み、
    上記世界座標における任意の注視点の座標値と該注視点に上記旋回型カメラが向けられているときの上記偏角とに基づいて上記設置条件を特定する特定手段を具備する、
    旋回型カメラの設置条件特定装置。
  2. 上記世界座標を構成する3つの座標軸の1つである所定座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する2次元座標が設定された模擬画像を表示する模擬画像表示手段と、
    上記模擬画像上で上記注視点を指定する注視点指定手段と、
    上記注視点指定手段によって指定された上記注視点の上記2次元座標における2次元座標値と該2次元座標および上記世界座標間の相関関係とに基づいて該注視点の該世界座標における座標値を求める注視点座標値演算手段と、
    をさらに備える、請求項1に記載の旋回型カメラの設置条件特定装置。
  3. 上記偏角はパン角およびチルト角の一方または両方を含む、
    請求項1に記載の旋回型カメラの設置条件特定装置。
  4. 複数の上記注視点が設定されている、
    請求項1に記載の旋回型カメラの設置条件特定装置。
  5. 請求項1に記載の旋回型カメラの設置条件特定装置を具備し、さらに、
    上記世界座標を構成する3つの座標軸の1つである所定座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する2次元座標が設定された模擬画像を表示する模擬画像表示手段と、
    上記模擬画像上における任意の点を指定する任意点指定手段と、
    上記任意点指定手段によって指定された任意点の上記2次元座標における2次元座標値と該2次元座標および上記世界座標間の相関関係とに基づいて該任意点に対応する上記実空間中の或る空間点の該世界座標における座標値を求める空間点座標値演算手段と、
    上記空間点座標値演算手段によって求められた上記空間点の世界座標値と上記設置条件とに基づいて該空間点に上記旋回型カメラを向けるための上記偏角を求める偏角演算手段と、
    上記偏角演算手段によって求められた上記偏角に応じた方向を向くように上記旋回型カメラを旋回させる旋回制御手段と、
    を具備する、カメラ制御システム。
  6. 上記空間点座標値演算手段によって求められた上記空間点の世界座標値に上記所定座標軸上の上記平面からの一定の距離を表す初期値を付加した付加座標値を求める付加座標値演算手段をさらに備え、
    上記偏角演算手段は上記付加座標値演算手段によって求められた上記付加座標値と上記設置条件とに基づいて該付加座標値に従う上記実空間中の目標点に上記旋回型カメラを向けるための上記偏角を求める、
    請求項5に記載のカメラ制御システム。
  7. 上記旋回型カメラはズーム機能を有しており、
    上記旋回型カメラによる上記目標点の撮影態様が一定となるように上記ズーム機能を制御するズーム制御手段をさらに備える、
    請求項6に記載のカメラ制御システム。
  8. 互いに異なる複数の上記撮影態様に応じた複数の制御条件が予め設定されており、
    上記複数の制御条件のいずれかを任意に選択する選択手段をさらに備え、
    上記ズーム制御手段は上記選択手段によって選択された上記制御条件に基づいて制御を行う、
    請求項7に記載のカメラ制御システム。
  9. 上記複数の制御条件それぞれは個別の上記初期値を含み、
    上記付加座標値演算手段は上記選択手段によって選択された上記制御条件に含まれる上記初期値に基づいて上記付加座標値を求める、
    請求項8に記載のカメラ制御システム。
  10. 上記複数の撮影態様それぞれを模擬した模擬図が個別に付された複数の操作子をさらに備え、
    上記複数の操作子それぞれに自身に付された上記模擬図に対応する上記制御条件が割り当てられており、
    上記選択手段は上記複数の操作子の操作に応じて選択を行う、
    請求項8に記載のカメラ制御システム。
  11. 実空間に設置されており一定の基準方向を有すると共に該基準方向に対する偏角が与えられることによって該偏角に応じた方向を向くように旋回する旋回型カメラの設置条件を特定する特定方法であって、
    上記設置条件は上記実空間に設定された3次元の世界座標における上記旋回型カメラの設置位置の座標値と該世界座標における上記基準方向とを含み、
    上記世界座標における任意の注視点の座標値と該注視点に上記旋回型カメラが向けられているときの上記偏角とに基づいて上記設置条件を特定する、
    旋回型カメラの設置条件特定方法。
JP2010501891A 2008-03-03 2009-03-02 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム Active JP5566281B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010501891A JP5566281B2 (ja) 2008-03-03 2009-03-02 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008052170 2008-03-03
JP2008052170 2008-03-03
JP2010501891A JP5566281B2 (ja) 2008-03-03 2009-03-02 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
PCT/JP2009/053838 WO2009110417A1 (ja) 2008-03-03 2009-03-02 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013207173A Division JP5586765B2 (ja) 2008-03-03 2013-10-02 カメラキャリブレーション結果検証装置および方法

Publications (2)

Publication Number Publication Date
JPWO2009110417A1 true JPWO2009110417A1 (ja) 2011-07-14
JP5566281B2 JP5566281B2 (ja) 2014-08-06

Family

ID=41055972

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2010501891A Active JP5566281B2 (ja) 2008-03-03 2009-03-02 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
JP2013207173A Active JP5586765B2 (ja) 2008-03-03 2013-10-02 カメラキャリブレーション結果検証装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013207173A Active JP5586765B2 (ja) 2008-03-03 2013-10-02 カメラキャリブレーション結果検証装置および方法

Country Status (2)

Country Link
JP (2) JP5566281B2 (ja)
WO (1) WO2009110417A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5846596B2 (ja) * 2011-03-31 2016-01-20 株式会社竹中工務店 監視装置及びプログラム
US20130128050A1 (en) * 2011-11-22 2013-05-23 Farzin Aghdasi Geographic map based control
WO2013183738A1 (ja) * 2012-06-08 2013-12-12 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム
JP6126501B2 (ja) * 2013-09-03 2017-05-10 Toa株式会社 カメラ設置シミュレータ及びそのコンピュータプログラム
KR101671073B1 (ko) 2014-12-12 2016-10-31 숭실대학교산학협력단 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버
JP6551088B2 (ja) * 2015-09-11 2019-07-31 沖電気工業株式会社 カメラ制御装置、カメラ制御方法、プログラムおよび監視システム
JP6701018B2 (ja) * 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7047306B2 (ja) * 2017-09-27 2022-04-05 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP7224832B2 (ja) * 2018-10-01 2023-02-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7274297B2 (ja) * 2019-02-12 2023-05-16 株式会社コア 撮像装置、撮像方法及び撮像プログラム
EP3836538B1 (en) 2019-12-09 2022-01-26 Axis AB Displaying a video stream
CN111553956A (zh) * 2020-05-20 2020-08-18 北京百度网讯科技有限公司 拍摄装置的标定方法、装置、电子设备和存储介质
CN117121471A (zh) 2021-04-22 2023-11-24 三菱电机株式会社 位置检测装置、位置检测方法和位置检测程序
WO2023166648A1 (ja) * 2022-03-03 2023-09-07 日本電気株式会社 移動軌跡情報処理装置
WO2023166649A1 (ja) * 2022-03-03 2023-09-07 日本電気株式会社 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体
CN114638888B (zh) * 2022-03-31 2022-12-16 广东利元亨智能装备股份有限公司 位置确定方法、装置、电子设备及可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293693A (ja) * 1999-03-31 2000-10-20 Toshiba Corp 障害物検出方法および装置
JP3506956B2 (ja) * 1999-06-23 2004-03-15 大崎電気工業株式会社 遠隔画像監視システム
JP2001086486A (ja) * 1999-09-14 2001-03-30 Matsushita Electric Ind Co Ltd 監視カメラシステム及び監視カメラの表示方法
JP2001319218A (ja) * 2000-02-29 2001-11-16 Hitachi Ltd 画像監視装置
JP4224260B2 (ja) * 2002-02-18 2009-02-12 株式会社トプコン キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート
JP3875199B2 (ja) * 2003-03-03 2007-01-31 ティーオーエー株式会社 撮影装置
JP4291048B2 (ja) * 2003-06-09 2009-07-08 ティーオーエー株式会社 撮影装置
JP2005136774A (ja) * 2003-10-31 2005-05-26 Casio Comput Co Ltd カメラ監視システムおよびプログラム
JP4568050B2 (ja) * 2004-07-16 2010-10-27 日本放送協会 カメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラム
JP2006067272A (ja) * 2004-08-27 2006-03-09 Matsushita Electric Ind Co Ltd カメラキャリブレーション装置及びカメラキャリブレーション方法
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
JP4802012B2 (ja) * 2006-03-02 2011-10-26 ティーオーエー株式会社 カメラ制御装置およびカメラ制御方法

Also Published As

Publication number Publication date
JP5566281B2 (ja) 2014-08-06
JP2013257349A (ja) 2013-12-26
JP5586765B2 (ja) 2014-09-10
WO2009110417A1 (ja) 2009-09-11

Similar Documents

Publication Publication Date Title
JP5566281B2 (ja) 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム
JP5079547B2 (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
JP6741009B2 (ja) 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム
JP4537557B2 (ja) 情報呈示システム
US20090237508A1 (en) Method and apparatus for providing immersive surveillance
JP2020182251A (ja) 画像処理装置、画像処理方法、及びプログラム
CN109840950B (zh) 得到真实尺寸3d模型的方法、勘测装置
JP6174968B2 (ja) 撮像シミュレーション装置
JP2017129567A (ja) 情報処理装置、情報処理方法、プログラム
JP2019041261A (ja) 画像処理システムおよび画像処理システムの設定方法
CN108195472B (zh) 一种基于轨道移动机器人的热传导全景成像方法
CN102970514A (zh) 映像监视装置、映像监视方法以及程序
JP2021192304A (ja) 情報処理装置及びその制御方法、並びに、プログラム
EP3330928A1 (en) Image generation device, image generation system, and image generation method
WO2005054779A1 (ja) 非接触三次元計測方法および装置
WO2020040277A1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
JP4227037B2 (ja) 撮像システム及び校正方法
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
JP4590780B2 (ja) カメラ校正用立体チャート、カメラの校正用パラメータの取得方法、カメラの校正用情報処理装置、およびプログラム
JP2003023562A (ja) 画像撮影システムおよびカメラシステム
JP2020088840A (ja) 監視装置、監視システム、監視方法、監視プログラム
JP2016008830A (ja) 測量装置、測量装置の表示方法およびプログラム
JP2011069796A (ja) カメラキャリブレーション方法及び画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140617

R150 Certificate of patent or registration of utility model

Ref document number: 5566281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250