JP4291048B2

JP4291048B2 - Imaging device

Info

Publication number: JP4291048B2
Application number: JP2003163718A
Authority: JP
Inventors: 弘亘藤吉; 武雄金出; 雄三小川
Original assignee: Toa Corp
Current assignee: Toa Corp
Priority date: 2003-06-09
Filing date: 2003-06-09
Publication date: 2009-07-08
Anticipated expiration: 2023-06-09
Also published as: JP2005003377A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影手段を用いた撮影装置に関し、主に撮影対象点の三次元座標位置を撮影するように、簡単で判りやすい操作で撮影手段を制御することができるものに関する。
【０００２】
【従来の技術】
撮影装置は、例えば監視装置に使用されることがある。ビデオカメラ等の動画像を撮影することができる撮影手段によって撮影領域を撮影する。このような撮影装置では、撮影された画像の中心に撮影対象点が映し出されるように、撮影手段をパン、チルトすることがある。このような装置の一例が特許文献１に示されている。
【０００３】
【特許文献１】
特開２００２−１０１４０８号公報
【０００４】
特許文献１に開示された技術では、ステレオ視法を用いた測定を行うために２台以上の測定用カメラが設置されている。これら測定用カメラで撮影された映像がそれぞれ２台以上の測定用モニタに表示されている。測定用カメラとは別に撮影区域内の監視を行うための監視用カメラも設置されている。２台以上の測定用モニタに表示された各画像において、入力手段によって同一の撮影対象物が指定される。この入力手段により指定された撮影対象物の位置を、各測定用カメラの画像から、位置測定手段が算出する。この算出された撮影対象物の位置に基づいて、監視カメラ駆動制御手段が、監視用カメラによって撮影対象物が撮影できるように監視用カメラの撮影方向を制御する。
【０００５】
【発明が解決しようとする課題】
この特許文献１の技術では、ステレオ視法を用いて、撮影対象物の各測定用カメラからの位置を決定している。そのため、撮影対象物の位置決定のために、２台以上の測定用カメラと２台以上の測定用モニタとが必要であり、撮影装置のコストが高くなる。
【０００６】
しかも、撮影対象物の位置を決定するためには、監視員は、２台以上の測定用モニタの画像それぞれにおいて、撮影対象物を特定するための操作を行わなければなら無い。また、監視員は、２台以上の測定用モニタを見るために、視点の移動を行わなければならない。従って、撮影対象物を速やかに指定することが困難である。
【０００７】
しかも、この撮影対象物の指定は、撮影区域内の同じ位置に撮影対象物が存在する状態で行わなければ、撮影対象物を正確に監視用カメラによって撮影することができない。しかし、撮影対象物が例えば人体のように移動するものである場合、一方の測定用モニタにおいて撮影対象物を指定した後、他の測定用モニタにおいて撮影対象物を指定したときには、撮影対象物が移動している可能性がある。これを避けるためには、各監視用モニタにおいて迅速に撮影対象物を指定する必要がある。従って、１台の監視用モニタにおいて撮影対象物を指定することができる撮影装置が必要である。
【０００８】
本発明は、１台のカメラによって得られた二次元画像上で、被検知物体を特定することによって、被検知物体の三次元座標位置、特に高さを自動的に得ることができる撮影装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明による撮影装置は、１台の撮影装置を有している。この撮影手段は、三次元空間上にある基準面と、この基準面上にある被検知物体とを二次元で撮影するように固定されている。三次元空間は、第１の三次元座標軸、第１の三次元座標軸に直交する第２の三次元座標軸並びに第１及び第２の三次元座標軸に直交する第３の三次元座標軸によって規定されている。基準面は、第３の三次元座標軸に直交し、その第３の三次元座標軸上の位置が既知のものである。基準面は、例えば三次元空間上にある床面とすることもできるし、或いは、この床面よりも所定の高さにある面とすることもできる。被検知物体は、この基準面上に一端が位置し、他端が第３の三次元座標軸方向に前記基準面から離れて位置する。この撮影手段によって撮影される二次元画面は、第１の二次元座標軸に直交する第２の二次元座標軸とによって規定されている。この二次元画面には、前記基準面を撮影した像である二次元基準面と、前記被検知物体を撮影した被検知物体像とが、含まれている。被検知物体撮影像確定手段が、前記二次元画像から前記被検知物体像を確定する。この被検知物体像の確定は、例えば複数フレームの二次元画像を用いて、フレーム間差分をとることによって行うこともできるし、或いは表示手段によって表示されている二次元画像を目視で確認して、マウス等の操作手段を操作することによって行うこともできる。この被検知物体撮影像確定手段によって確定された被検知物体の撮影像に基づいて、二次元座標決定手段が、前記被検知物体の一端に相当する前記被検知物体像の一端の二次元座標である第１の二次元座標と、前記被検知物体の他端に相当する前記被検知物体像の他端の二次元座標である第２の二次元座標とを、決定する。前記被検知物体の一端が前記基準面に接していることにより前記被検知物体の一端の第３の三次元座標軸上の位置が判明していることを条件として設定して、第１の座標変換手段が、第１の二次元座標を第１の三次元座標に変換する。第２の二次元座標を第２の三次元座標に変換し、第２の座標変換手段が出力する。第２の座標変換手段での変換は、第２の三次元座標のうち、第１または第２の三次元座標軸の位置を第１の三次元座標の第１または第２の三次元座標軸の位置に設定して行う。
【００１０】
一般に二次元座標を三次元座標に変換するには、三次元座標の３つの座標軸のうち少なくとも１つの座標軸上の値が必要である。このように構成した撮影装置では、被検知物体の画像の第１の二次元座標が二次元基準面上にあることを利用して、即ち、三次元座標に変換した場合、基準面上の座標となる（第３の三次元座標軸上の値が判明している）ことを利用して、第１の変換手段が第１の二次元座標を第１の三次元座標に変換している。さらに、第２の二次元座標を三次元座標に変換する場合、第２の三次元座標のうちの第１または第２の三次元座標軸における位置が第１の三次元座標の第１または第２の三次元座標軸の位置に一致することを前提として、即ち、第２の三次元座標の内、第１及び第２の三次元座標軸の一方の軸上の位置が既知であるとし、第２の座標変換手段が第２の二次元座標を第２の三次元座標に変換している。
【００１１】
このようにして第２の三次元座標が求められるので、第１及び第２の三次元座標における第３の三次元座標軸の値の差を求めることによって、被検知物体の基準面からの高さを求めることができる。決定された高さは、適当な表示手段、例えば二次元画面が表示されているのと同じ表示手段に、表示することができる。この高さの決定は、二次元画面において被検知物体を検知することによって自動的に行われ、操作者が三次元空間における高さを設定する必要はない。
【００１２】
前記１台の撮影手段とは別の撮影手段を、少なくともパン及びチルトを調整可能に設けることもできる。１台だけ別の撮影手段を設けることもできるし、複数台の別の撮影手段を設けることもできる。別の撮影手段は、ズーム機能を備えるものであってもよい。この場合、第２の座標変換手段から入力された第２の三次元座標に基づいて前記別の撮影手段の前記パン及びチルトを制御する制御手段が設けられている。このパン及びチルトの制御は、例えば、第２の三次元座標における第１及び第２の座標軸上の位置であって、かつ第２の三次元座標における第３の座標軸上の値に関連する値、例えば第３の座標軸上の値に適当なバイアスを付加した値の位置を、別の撮影手段が撮影するように、行うことができる。
【００１３】
このように構成することによって、被検知物体を撮影するように別の撮影手段を制御することができる。特に、被検知物体の三次元座標を求め、その座標の位置を撮影するように制御しているので、複数台の撮影手段の制御であっても、容易に行うことができる。
【００１４】
さらに、前記二次元座標決定手段は、前記被検知物体が移動するごとにまたは検出されるごとに第１及び第２の二次元座標を決定することができる。この場合、第１の座標変換手段は、第１の二次元座標が決定されるごとに、第１の二次元座標を第１の三次元座標に変換する。第２の座標変換手段は、第２の二次元座標が決定されるごとに、これを第２の三次元座標に変換する。前記制御手段は、第２の三次元座標が得られるごとに、この第２の三次元座標に基づいて前記別の撮影手段を制御する。
【００１５】
このように構成することによって、被検知物体が移動するものであっても、被検知物体を自動追尾して、別の撮影手段によって撮影することができる。
【００１６】
【発明の実施の形態】
本発明の１実施形態の撮影装置は、例えば映像による監視装置に本発明を実施したものである。この監視装置は、図１に示すように、１台の撮影手段、例えばマスターカメラ２を有している。マスターカメラ２は、例えば広角のビデオカメラで、撮影領域、例えば特定の部屋の所定の範囲を撮影するように、例えば特定の部屋の天井若しくは側壁に取り付けられている。この撮影領域は、図２（ｂ）に示すように、第１の三次元座標軸、例えばｘ軸、第２の三次元座標軸、例えばｙ軸及び第３の三次元座標軸、例えばｚ軸で規定される三次元空間である。ｘ軸とｙ軸とは直交し、さらに、ｘ、ｙ軸にｚ軸が直交している。これらｘ、ｙ及びｚ軸の直交点が原点である。この三次元空間は、基準面、例えば床４を有している。この床４は、例えば、ｘ軸とｙ軸とが通る平面上にある。
【００１７】
マスターカメラ２の撮影信号は、ビデオキャプチャーボード６を介して制御手段、例えばパーソナルコンピュータ８に入力され、例えばＬＣＤやＣＲＴ等の表示装置１０上の表示手段、例えばマスターカメラ用ウインドウに表示されている。図２（ａ）にマスターカメラ用ウインドウに表示されている二次元画面を示す。この画面は、左上隅を原点とする第１の二次元座標軸、例えば水平方向のU軸と、第１の二次元座標軸と直交する第２の二次元座標軸、例えば垂直方向のV軸とによって規定されている。この二次元画面上に、床４が基準二次元領域４ａとして表示されている。
【００１８】
マスターカメラ２はパーソナルコンピュータ８が使用するプログラムによってキャリブレーションされている。例えば、図２（ｂ）に示す三次元空間座標と同図（ａ）に示す二次元座標とを考えた場合、三次元空間座標上の位置に対応する二次元座標位置を決定することができる。このキャリブレーションの手法は公知であるので、詳細な説明は省略する。
【００１９】
マスターカメラ２の他に、複数台、例えば４台の別の撮影手段、例えばスレーブカメラ１２が配置されている。これらスレーブカメラ１２は、パン、チルト及びズーム操作がそれぞれ可能なビデオカメラである。これらスレーブカメラ１２は、それぞれ任意の異なる位置、例えば特定の部屋の天井四隅に配置されている。各スレーブカメラ１２の撮影信号も、ビデオキャプチャーボード６を介してパーソナルコンピュータ８に入力され、表示装置１０の各スレーブカメラ用ウインドウに表示されている。なお、１台の表示装置１０において、マスターカメラ及び各スレーブカメラの画像を表示したが、マスターカメラ、各スレーブカメラ用に１台ずつ表示装置を設けることもできる。
【００２０】
これらスレーブカメラ１２のパン、チルト及びズームの操作は、パーソナルコンピュータ８からの制御信号に基づいて行われる。即ち、パーソナルコンピュータ８は、スレーブカメラ１２の制御手段として機能する。
【００２１】
また、パーソナルコンピュータ８には、例えばマウスや、キーボード等の操作部１４も設けられている。
【００２２】
この実施の形態の監視装置では、図３に示すように、マスターカメラの撮像信号から被検知物体を検出する（ステップＳ２）。この被検知物体は、複数の存在することがある。これら被検知物体の二次元座標を決定し、これら二次元座標から各被検知物体の三次元座標（実世界座標）、被検知物体の高さ及び大きさ（サイズ）を決定する（ステップＳ４）。各被検知物体のサイズを基に、スレーブカメラ１２によって撮影する被検知物体を決定する。即ちサイズに基づくフィルタリングを行う（ステップＳ６）。この決定された被検知物体を各スレーブカメラが撮影するように、各スレーブカメラ１２のパン、チルト及びズームの制御が行われる（ステップＳ８）。そして、再びステップＳ２から実行する。従って、或る被検知物体が床４上を移動していると、この被検知物体をスレーブカメラ１２によって自動追尾して撮影することができる。
【００２３】
そこで、この実施形態では、上述したようにマスターカメラの撮影信号から移動物体を検出している。この検出は、パーソナルコンピュータ８が行う。例えば、マスターカメラ２の撮影信号のうち、連続または接近した複数例えば２枚のフレームの差分をとることによって、移動している物体を抽出し、これを被検知物体の部分と決定する。或いは、被検知物体が撮影されていない背景フレームをメモリに予め記憶させておいて、この背景フレームと撮影された最新のフレームとの差分を取ることによって、被検知物体を検出することもできる。画像処理による被検知物体の検出法として、これら以外にも公知の種々の手法を採用できる。
【００２４】
次に、図２（ａ）に示すように、この被検知物体の部分を接して囲うように、例えば矩形の枠体Ａをパーソナルコンピュータ８が決定する。この枠体Ａは、その下部が必ず基準二次元領域４ａに接触するように決定する。基準面として床４を使用しているので、被検知物体が、例えば人体のような移動物体である場合には、床面上にある確率は非常に高い。この枠体Ａの下部のＶ軸方向の座標をVbottomと、上部のV軸方向の座標をVtopと決定する。同じく、枠体Aの左右方向の右端のU軸方向の座標をUrightと、左端のU軸方向の座標をUleftとパーソナルコンピュータ８が決定する。このようにして被検知物体の二次元座標、例えば枠体Ａの４隅の二次元座標が取得され、パーソナルコンピュータ８が、二次元座標検出手段として機能している。
【００２５】
なお、マスターカメラ用ウインドウを目視し、例えば操作部１４を二次元座標指定手段として使用して、被検知物体に接して囲うように、マスターカメラ用ウインドウにおいて枠体Ａを描き、これら枠体Ａの上述した各座標Vbottom、Vtop、Uright、Uleftを、パーソナルコンピュータ８によって取得することによって、移動物体を囲う枠体Ａの４隅の二次元座標を取得することもできる。
【００２６】
このようにして求めた各二次元座標を基に、被検知物体の三次元座標を求めるが、上述したように、マスターカメラ用ウインドウに表示された画像はキャリブレーションされているので、三次元空間である撮影領域との対応が取られ、三次元空間上の或る座標位置を、マスターカメラ用ウインドウの画面上の座標位置に変換することは可能である。しかし、逆に、マスターカメラ用ウインドウの画面上の座標位置（二次元座標）を三次元空間上の座標に直接に変換することはできない。
【００２７】
そこで、図３のステップＳ４の処理は、図４に詳細に示すように行われている。まず、二次元基準領域４ａ上にある座標（Ｕleft、Ｖbottom）を三次元空間に変換したとき、基準領域４上にある、即ちｚ軸方向の位置は０であることは明らかであるので、ステップＳ１０において、座標（Ｕleft、Ｖbottom）が三次元座標に変換されたｚ軸方向の値ｚｗ＝０を条件として、第１の３次元空間座標（ｘ１、ｙ１、０）にパーソナルコンピュータ８が変換する。同様に、ステップＳ１０において、二次元基準領域４ａ上にあるもう１つの座標（Ｕright、Vbottom）もｚｗ＝０を条件として第１の３次元空間座標（ｘ２、ｙ２、０）に変換する。このようにパーソナルコンピュータ８は第１の三次元座標変換手段として機能する。上記の前提をおいているので、この座標変換は容易に行える。この変換された基準面４上の座標（ｘ１、ｙ１、０）、（ｘ２、ｙ２、０）を図２（ｂ）に示す。
【００２８】
これら座標変換を、図５を参照して説明する。この座標変換では、図５に示すようなマスターカメラ２の中心ｃとマスターカメラ２の画像上の座標（ｕ，ｖ）、例えば上述した（Ｕleft、Ｖbottom）または（Uright、Ｖbottom)を通る３次元座標空間における直線Ａを求め、その直線が床面に交差する点ａを対象物の位置（ｘｗ、ｙｗ、０）として計算する。この（ｘｗ、ｙｗ、０）が、上述した（ｘ１、ｙ１、０）または（ｘ２、ｙ２、０）に相当する。
【００２９】
ここで、図５に示す三次元座標（ｘｗ、ｙｗ、ｚｗ）とマスターカメラ２のカメラ座標（ｘ、ｙ、ｚ）との関係は、次式で表される。次式においてＲは３行３列の回転行列、Ｔは平行移動ベクトル［Ｔｘ、Ｔｙ、Ｔｚ］^Ｔである。
【００３０】
【数１】

【００３１】
まず、マスターカメラ２の画像上の座標（ｕ，ｖ）を、マスターカメラ２の画像平面Ｘ−Ｙ（その中心が原点０であり、この原点０がマスターカメラ２の座標の原点ｃに対応している平面）における座標（Ｘｄ、Ｙｄ）に、次式によって変換する。但し、ｕｃ、ｖｃは、マスターカメラ２の画像座標の中心を表す。
【００３２】
【数２】

【００３３】
座標点（Ｘｄ、Ｙｄ）をマスターカメラ２におけるレンズ歪みを修正した座標点（Ｘｕ、Ｙｕ）に次式によって変換する。但し、ｒは画像中心からの距離であり、Ｓは画像座標の縦横比、ｋ１、ｋ２はレンズ歪み係数である。
【００３４】
【数３】

【００３５】
図５において、マスターカメラ２の座標の原点ｃから画像上の（Ｘｕ、Ｙｕ）点を通過する光線ベクトルＶｒ＝［ｘｖ、ｙｖ、ｚｖ］^Ｔは、次式によって表される。ｆは、マスターカメラ２の座標における焦点距離とする。
【００３６】
【数４】

【００３７】
光線ベクトルＶｒを３次元空間上の直線で表すと、次式となる。但し、αは実数である。
【００３８】
【数５】

【００３９】
ここで、床面４がｘｗ−ｙｗ平面に平行であり、ｚｗ＝０であると仮定しているので、上記直線が床面４と交わるときのαを次式によって決定することができる。
【００４０】
【数６】

【００４１】
数６に求めたαの値を数５に代入することによって、画像座標点（ｕ、ｖ）に対応した三次元座標点（ｘｗ、ｙｗ、０）を、次式によって求めることができる。
【００４２】
【数７】

【００４３】
数７を使用することによって、上述した（Ｕleft、Ｖbottom）、（Uright、Ｖbottom)を、（ｘ１、ｙ１、０）、（ｘ２、ｙ２、０）に変換できる。
【００４４】
次に、二次元座標（Ｕleft、Vtop）と、（Uright、Vtop)とを、第２の三次元空間座標に変換するが、このとき、二次元座標（Ｕleft、Vtop）は、先の座標（Uleft、Vbottom)とUleftが共通である。従って、二次元座標（Ｕleft、Vtop）を三次元座標に変換したｘ軸及びはｙ軸の値は、（Uleft、Vbottom)を三次元座標に変換した値（ｘ１、ｙ１、０）のｘ軸及びｙ軸の値ｘ１、ｙ１と等しいと考えられる。そこで、ステップＳ１２において、変換されるｘ軸方向の値ｘｗ＝ｘ１またはｙ軸方向の値ｙｗ＝ｙ１を条件として、（Uleft、Vbottom)を三次元空間座標（ｘ１、ｙ１、ｚ１）に変換する。
【００４５】
例えば、（ｘ１、ｙ１、０）を通るｙｗ−ｚｗ平面を考え、（Uleft、Vbottom)を通る光線を数５から求める。ここでは数５における実数αをβとする。その光線が、ｘｗ−ｚｗ平面（この平面はzw≠０）と交差するβを次式によって求める。
【数８】

【００４６】
βの値を数５に代入することで、（Uleft、Vbottom）に対応した三次元座標（ｘ１、ｙ１、ｚ１）を求めることができる。なお、（ｘ１、ｙ１、０）を通るｘｗ−ｚｗ平面を考え、（Uleft、Vbottom)を通る光線を数５から求める際に、βを次式によって求めることもできる。
【００４７】
【数９】

【００４８】
同様にして、ステップＳ１４において、（Uright、Vtop)の三次元座標への変換後のｘ軸方向の値ｘｗ＝ｘ２またはｙ軸方向の値ｙｗ＝ｙ２を条件として、（Uright、Vtop)を三次元空間座標（ｘ２、ｙ２、ｚ２）に変換する。従って、パーソナルコンピュータ８は、第２の三次元座標変換手段としても、機能する。変換された三次元空間座標（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）を図２（ａ）に示す。
【００４９】
このようにして被検知物体を囲う枠体Ａの４隅の二次元座標（Uleft、Vbottom）、（Uright、Vbottom）、（Uleft、Vtop）、（Uright、Vtop）を三次元座標（ｘ１、ｙ１、０）、（ｘ２、ｙ２、０）、（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）に変換する。
【００５０】
これら４つの三次元座標（ｘ１、ｙ１、０）、（ｘ２、ｙ２、０）、（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）を用いて、被検知物体の高さｈと、横幅ｗとを算出する。
【００５１】
まず、ステップＳ１６において、ｚ１とｚ２との平均値（ｚ１＋ｚ２）／２を算出し、高さｈを求める。図２（ａ）では、ｚ１とｚ２とを同じ高さに描いてあるが、実際には、異なった高さになることがあるので、その場合に備えて、ｚ１とｚ２との平均を高さｈとしている。
【００５２】
このようにして物体の三次元における注目している部分の床面４からの高さ、例えば物体の床面４からの高さを知ることができる。例えば物体が人体であった場合で、その注目している部分を人体の頭頂部とすれば、その身長を知ることができ、防犯上有用である。この高さｈは、例えばマスターカメラ用ウインドウに表示する。
【００５３】
次に、ステップＳ１８において、（ｘ２−ｘ１）^２＋（ｙ２−ｙ１）^２の平方根を求めることによって、被検知物体の横幅ｗを算出する。この横幅ｗを用いて、ステップＳ６のフィルタリングが行われる。
【００５４】
続いて、ステップＳ２０において、スレーブカメラ１２の中心で撮影する三次元座標を、（ｘ１＋ｘ２）／２、（ｙ１＋ｙ２）／２、ｈ−α（αは予め定めた値）の演算を行って求める。ここで、（ｘ１＋ｘ２）／２、（ｙ１＋ｙ２）／２は、被検知物体の中心が位置するｘ、ｙ軸上の値を示している。またｈ−αの演算を行っているのは次の理由による。ｈが被検知物体の高さを示しており、被検知物体が例えば人体である場合には、ｈは、床面４を基準とした頭の先端の高さを示している。人体を撮影する場合には、その顔の部分がスレーブカメラ１２の中心に捉えられることが望ましい。従って、顔が捉えられるように、ｈよりもαだけ低い位置を撮影するようにｈ−αの演算を行っている。
【００５５】
このようにして被検知物体の撮影しようとしている部分の三次元座標位置が得られる。このとき、複数の被検知物体がある場合、いずれの被検知物体を撮影するかを決定するために、ステップＳ８によって横幅ｗに基づくフィルタリングが行われている。なお、このフィルタリングは、横幅ｗだけでなく高さｈも含めて行うこともできるし、高さｈだけで行うこともできる。高さｈだけでフィルタリングを行う場合には、横幅ｗの算出は不要である。
【００５６】
撮影する被検知物体が決定されると、ステップＳ２０において決定した被検知物体の座標を中心として各スレーブカメラ１２が撮影するように、ステップＳ８において各スレーブカメラ１２のパン角度、チルト角度、ズーム倍率をパーソナルコンピュータ８が計算し、計算された角度及び倍率となるように各スレーブカメラ１２を制御する。
【００５７】
この角度及び倍率の計算は、物体の撮影しようとしている部分の三次元座標が判明しているので、この三次元座標と、予め判明している各スレーブカメラ１２の三次元座標とを利用して、容易に行える。このように異なる任意の位置にある各スレーブカメラ１２によって物体を同時に撮影することができるので、物体が人体であり、その注目している部分が頭部である場合に、例えば１台のスレーブカメラで物体を撮影したが、後姿しか映し出されていないというような場合、他のスレーブカメラにより別の方向から撮影することにより、顔を捉えることができる確率が高くなる。或いは、撮影領域４上にある何らかの静止物によって遮蔽されて、物体を全く撮影できないと言う事態を回避することもできる。なお、物体が人体等の移動体である場合には、その移動体が移動するごとに、追尾することができる。なお、撮影しようとする物体が静止物体であることもある。
【００５８】
上記の実施の形態では、４台のスレーブカメラ１２を用いたが、その台数は任意に設定することができ、最小限度１台のスレーブカメラ１２を設けることもできる。また、物体の三次元空間における座標及び高さを取得し、適切な表示手段に表示するだけでよい場合には、スレーブカメラ１２は不要である。
【００５９】
また、上記の実施の形態では、枠体Ａの４隅の二次元座標を用いたが、二次元基準領域４ａ上の二次元座標、例えば（Uleft＋Uright）／２、Vbottomと、同じＵ軸上の値を持ち、Ｖ軸方向に異なる値を持つ二次元座標、例えば（Uleft＋Uright）／２、Vtopとを、用いてもよい。この場合には、（Uleft＋Uright）／２、Vbottomをｚｗ＝０として三次元に座標変換し、これによって得られたｘ軸上の値またはｙ軸上の値が共通するとして、（Uleft＋Uright）／２、Vtopを三次元に座標変換する。
【００６０】
また、上記の実施の形態では、被検知物体が人体である場合に備えて、αの値を顔が撮影できるような場合としたが、αの値を適切に選択することによって、例えば、腰の当たり、胸の当たりを中心にスレーブカメラ１２によって撮影することもできる。また、上記の実施の形態では、高さｈからαを減算したが、適当な係数Ｋを高さｈに乗算しても良い。上記の実施の形態では、基準面を床面４としたが、これに限ったものではなく、床面４から垂直に予め定めた距離だけ離れた位置を基準面とすることもでき、またマスターカメラ２やスレーブカメラ１２の設置位置や物体の通過位置によっては、天井面とすることもできる。
【００６１】
上記の実施の形態では、マスターカメラ２には、固定カメラを使用している。従って、パン、チルト及びズームの制御は行えない。しかし、パン、チルト及びズーム操作可能なカメラをマスターカメラとして使用することもできる。その場合、このカメラによってパン、チルト及びズームがそれぞれ異なる画像が得られるが、これら映像ごとにキャリブレーションを行っておく必要がある。例えば、異なるパン、チルト及びズーム位置をそれぞれプリセット記憶しておいて、これらプリセットそれぞれに対してキャリブレーションを行っておけば、そのプリセット位置を再生してマスターカメラとして使用することも可能である。
【００６２】
上記の実施の形態では、本発明を映像による監視装置に実施したが、これに限ったものではなく、例えばカメラマンが一人で特定の撮影対象物、特に移動物体を多視点で撮影するシステム等に使用することもできる。
【００６３】
【発明の効果】
以上のように、本発明によれば、１台の撮影手段によって得られた映像に基づいて、自動的に被検知物体の三次元座標位置を取得することができ、特に基準面からの高さを取得することができる。また、この取得された三次元座標に基づいて、任意の位置に設けた少なくとも１台の別の撮影手段が、被検知物体を中心として迅速に撮影することもできる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の撮影装置のブロック図である。
【図２】図１の撮影装置において二次元座標位置から三次元座標位置を決定する過程を示す図である。
【図３】図１の撮影装置において実行される処理の概略を示すフローチャートである。
【図４】図４のフローチャートにおけるステップＳ４の処理の詳細なフローチャートである。
【図５】図１の撮影装置において二次元座標位置から床面上の三次元座標位置を決定する手法の説明図である。
【符号の説明】
２マスターカメラ（撮影手段）
４床（基準面）
８パーソナルコンピュータ（二次元座標決定手段、第１及び第２の座標変換手段）
１２スレーブカメラ（別の撮影手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus using an imaging unit, and more particularly to an apparatus capable of controlling an imaging unit with a simple and easy-to-understand operation so as to capture a three-dimensional coordinate position of an imaging target point.
[0002]
[Prior art]
An imaging device may be used for a monitoring device, for example. The photographing area is photographed by photographing means capable of photographing a moving image such as a video camera. In such a photographing apparatus, the photographing means may be panned and tilted so that the photographing target point is projected at the center of the photographed image. An example of such an apparatus is shown in Patent Document 1.
[0003]
[Patent Document 1]
JP 2002-101408 A
[0004]
In the technique disclosed in Patent Document 1, two or more measurement cameras are installed in order to perform measurement using stereo vision. Images taken by these measurement cameras are respectively displayed on two or more measurement monitors. In addition to the measurement camera, a surveillance camera is also installed to monitor the shooting area. In each image displayed on two or more measurement monitors, the same object to be photographed is designated by the input means. The position measuring means calculates the position of the photographing object designated by the input means from the images of the respective measurement cameras. Based on the calculated position of the shooting target, the monitoring camera drive control means controls the shooting direction of the monitoring camera so that the shooting target can be shot by the monitoring camera.
[0005]
[Problems to be solved by the invention]
In the technique of this patent document 1, the position from each measuring camera of the object to be photographed is determined using stereo vision. Therefore, two or more measurement cameras and two or more measurement monitors are required to determine the position of the object to be imaged, which increases the cost of the image capturing apparatus.
[0006]
In addition, in order to determine the position of the object to be imaged, the monitor must perform an operation for specifying the object to be imaged in each of the images of the two or more measurement monitors. In addition, the observer must move the viewpoint in order to see two or more measurement monitors. Therefore, it is difficult to quickly specify the photographing object.
[0007]
Moreover, the imaging object cannot be accurately captured by the monitoring camera unless the imaging object is specified in a state where the imaging object exists at the same position in the imaging area. However, when the object to be photographed moves like a human body, for example, when the object to be photographed is designated on the other monitor for measurement after the object to be photographed is designated on the other monitor for measurement, the object to be photographed is It may be moving. In order to avoid this, it is necessary to quickly specify the object to be photographed on each monitoring monitor. Therefore, there is a need for an imaging apparatus that can specify an imaging object on one monitoring monitor.
[0008]
The present invention provides an imaging apparatus capable of automatically obtaining a three-dimensional coordinate position, particularly a height of a detected object by specifying the detected object on a two-dimensional image obtained by one camera. The purpose is to provide.
[0009]
[Means for Solving the Problems]
The photographing apparatus according to the present invention has one photographing apparatus. The photographing means is fixed so as to photograph a reference surface in a three-dimensional space and a detected object on the reference surface in two dimensions. The three-dimensional space is defined by a first three-dimensional coordinate axis, a second three-dimensional coordinate axis orthogonal to the first three-dimensional coordinate axis, and a third three-dimensional coordinate axis orthogonal to the first and second three-dimensional coordinate axes. Yes. The reference plane is orthogonal to the third three-dimensional coordinate axis, and the position on the third three-dimensional coordinate axis is known. The reference surface can be a floor surface in a three-dimensional space, for example, or can be a surface at a predetermined height from the floor surface. The detected object has one end positioned on the reference plane and the other end positioned away from the reference plane in the third three-dimensional coordinate axis direction. The two-dimensional screen imaged by this imaging means is defined by a second two-dimensional coordinate axis orthogonal to the first two-dimensional coordinate axis. The two-dimensional screen includes a two-dimensional reference surface that is an image obtained by photographing the reference surface, and a detected object image obtained by photographing the detected object. A detected object captured image determination unit determines the detected object image from the two-dimensional image. The detection object image can be determined by taking a difference between frames using, for example, a two-dimensional image of a plurality of frames, or visually confirming a two-dimensional image displayed by the display means. It can also be performed by operating an operation means such as a mouse. Based on the captured image of the detected object determined by the detected object captured image determination unit, the two-dimensional coordinate determination unit includes: One end of the detected object image corresponding to one end of the detected object A first two-dimensional coordinate that is a two-dimensional coordinate; Corresponds to the other end of the detected object A second two-dimensional coordinate that is a two-dimensional coordinate of the other end of the detected object image is determined. The first coordinate transformation is performed on the condition that one end of the detected object is in contact with the reference plane and the position of the one end of the detected object on the third three-dimensional coordinate axis is known. Means convert the first two-dimensional coordinates to first three-dimensional coordinates. The second two-dimensional coordinate is converted into the second three-dimensional coordinate, and the second coordinate conversion means outputs. The conversion by the second coordinate conversion means is performed by converting the position of the first or second three-dimensional coordinate axis to the position of the first or second three-dimensional coordinate axis of the first three-dimensional coordinate among the second three-dimensional coordinates. Set to.
[0010]
In general, in order to convert a two-dimensional coordinate into a three-dimensional coordinate, a value on at least one of the three coordinate axes of the three-dimensional coordinate is necessary. In the imaging apparatus configured as described above, when the first two-dimensional coordinates of the image of the detected object are on the two-dimensional reference plane, that is, when converted into the three-dimensional coordinates, the coordinates on the reference plane are used. (The value on the third three-dimensional coordinate axis is known), and the first conversion means converts the first two-dimensional coordinates into the first three-dimensional coordinates. Further, when the second two-dimensional coordinate is converted into the three-dimensional coordinate, the position of the second three-dimensional coordinate on the first or second three-dimensional coordinate axis is the first or second of the first three-dimensional coordinate. On the assumption that the position of the first three-dimensional coordinate axis coincides with the position of the first three-dimensional coordinate axis of the second three-dimensional coordinate axis. The coordinate conversion means converts the second two-dimensional coordinates into the second three-dimensional coordinates.
[0011]
Since the second three-dimensional coordinates are obtained in this way, the height of the detected object from the reference plane is obtained by obtaining the difference between the values of the third three-dimensional coordinate axes in the first and second three-dimensional coordinates. Can be requested. The determined height can be displayed on a suitable display means, for example the same display means on which the two-dimensional screen is displayed. The determination of the height is automatically performed by detecting the detected object on the two-dimensional screen, and the operator does not need to set the height in the three-dimensional space.
[0012]
An imaging means different from the one imaging means can be provided so that at least pan and tilt can be adjusted. Only one other photographing means can be provided, or a plurality of other photographing means can be provided. Another photographing means may have a zoom function. In this case, there is provided control means for controlling the pan and tilt of the other photographing means based on the second three-dimensional coordinates input from the second coordinate conversion means. This pan and tilt control is, for example, a value on the first and second coordinate axes in the second three-dimensional coordinate and a value related to the value on the third coordinate axis in the second three-dimensional coordinate. For example, the position of a value obtained by adding an appropriate bias to the value on the third coordinate axis can be performed so that another photographing unit photographs the position.
[0013]
With this configuration, it is possible to control another photographing unit so as to photograph the detected object. Particularly, since the control is performed so that the three-dimensional coordinates of the detected object are obtained and the position of the coordinates is photographed, even the control of a plurality of photographing means can be easily performed.
[0014]
Further, the two-dimensional coordinate determining means can determine the first and second two-dimensional coordinates every time the detected object moves or is detected. In this case, the first coordinate conversion means converts the first two-dimensional coordinate into the first three-dimensional coordinate every time the first two-dimensional coordinate is determined. The second coordinate conversion means converts the second two-dimensional coordinate into the second three-dimensional coordinate every time the second two-dimensional coordinate is determined. The control means controls the other photographing means based on the second three-dimensional coordinates every time the second three-dimensional coordinates are obtained.
[0015]
With this configuration, even if the detected object moves, the detected object can be automatically tracked and photographed by another photographing means.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
An imaging apparatus according to an embodiment of the present invention is obtained by, for example, implementing the present invention in a video monitoring apparatus. As shown in FIG. 1, this monitoring apparatus has one photographing unit, for example, a master camera 2. The master camera 2 is, for example, a wide-angle video camera, and is attached to, for example, a ceiling or a side wall of a specific room so as to shoot a shooting area, for example, a predetermined range of the specific room. As shown in FIG. 2B, the imaging region is defined by a first three-dimensional coordinate axis, for example, an x-axis, a second three-dimensional coordinate axis, for example, a y-axis, and a third three-dimensional coordinate axis, for example, a z-axis. It is a three-dimensional space. The x axis and the y axis are orthogonal to each other, and the z axis is orthogonal to the x and y axes. The orthogonal point of these x, y and z axes is the origin. This three-dimensional space has a reference plane, for example, a floor 4. For example, the floor 4 is on a plane through which the x-axis and the y-axis pass.
[0017]
The photographing signal of the master camera 2 is input to a control means, for example, a personal computer 8 via the video capture board 6, and is displayed on a display means on a display device 10 such as an LCD or CRT, for example, a master camera window. . FIG. 2A shows a two-dimensional screen displayed in the master camera window. This screen is defined by a first two-dimensional coordinate axis having the upper left corner as an origin, for example, a horizontal U-axis, and a second two-dimensional coordinate axis orthogonal to the first two-dimensional coordinate axis, for example, a vertical V-axis. Has been. On this two-dimensional screen, the floor 4 is displayed as a reference two-dimensional area 4a.
[0018]
The master camera 2 is calibrated by a program used by the personal computer 8. For example, when the 3D space coordinates shown in FIG. 2B and the 2D coordinates shown in FIG. 2A are considered, the 2D coordinate position corresponding to the position on the 3D space coordinates can be determined. . Since this calibration method is known, a detailed description thereof will be omitted.
[0019]
In addition to the master camera 2, a plurality of, for example, four other photographing means, for example, slave cameras 12 are arranged. These slave cameras 12 are video cameras capable of panning, tilting, and zooming operations. These slave cameras 12 are arranged at arbitrary different positions, for example, at the four corners of the ceiling of a specific room. The photographing signal of each slave camera 12 is also input to the personal computer 8 via the video capture board 6 and displayed on each slave camera window of the display device 10. In addition, although the image of the master camera and each slave camera was displayed on one display device 10, one display device can be provided for each master camera and each slave camera.
[0020]
The pan, tilt and zoom operations of the slave camera 12 are performed based on control signals from the personal computer 8. That is, the personal computer 8 functions as a control unit for the slave camera 12.
[0021]
The personal computer 8 is also provided with an operation unit 14 such as a mouse or a keyboard.
[0022]
In the monitoring apparatus of this embodiment, as shown in FIG. 3, the detected object is detected from the imaging signal of the master camera (step S2). There may be a plurality of detected objects. The two-dimensional coordinates of these detected objects are determined, and the three-dimensional coordinates (real world coordinates) of each detected object and the height and size (size) of the detected object are determined from these two-dimensional coordinates (step S4). . Based on the size of each detected object, the detected object to be photographed by the slave camera 12 is determined. That is, filtering based on the size is performed (step S6). Control of pan, tilt, and zoom of each slave camera 12 is performed so that each slave camera captures the determined detected object (step S8). And it performs again from step S2. Therefore, when a certain detected object is moving on the floor 4, the detected object can be automatically tracked and photographed by the slave camera 12.
[0023]
Therefore, in this embodiment, the moving object is detected from the photographing signal of the master camera as described above. This detection is performed by the personal computer 8. For example, a moving object is extracted by taking a difference between a plurality of, for example, two frames that are continuous or close to each other from the imaging signal of the master camera 2, and this is determined as a portion of the detected object. Alternatively, the detected object can be detected by storing a background frame in which the detected object is not captured in a memory in advance and taking the difference between the background frame and the latest captured frame. In addition to these, various known methods can be adopted as the detection method of the detected object by image processing.
[0024]
Next, as shown in FIG. 2A, the personal computer 8 determines, for example, a rectangular frame A so as to touch and surround the portion of the detected object. The frame A is determined so that its lower part always contacts the reference two-dimensional region 4a. Since the floor 4 is used as the reference surface, when the detected object is a moving object such as a human body, the probability of being on the floor surface is very high. The lower coordinate of the frame A is determined as Vbottom, and the upper coordinate of the V axis is determined as Vtop. Similarly, the personal computer 8 determines the coordinates of the right end of the frame A in the left and right U-axis directions as Uright and the left end of the U-axis coordinates as Uleft. In this way, the two-dimensional coordinates of the detected object, for example, the two-dimensional coordinates of the four corners of the frame A are acquired, and the personal computer 8 functions as a two-dimensional coordinate detection means.
[0025]
The master camera window is visually observed. For example, the operation unit 14 is used as a two-dimensional coordinate designating unit, and the frame A is drawn in the master camera window so as to surround the object to be detected. By acquiring the above-mentioned coordinates Vbottom, Vtop, Uright, Uleft by the personal computer 8, it is also possible to acquire the two-dimensional coordinates of the four corners of the frame A surrounding the moving object.
[0026]
Based on the two-dimensional coordinates thus obtained, the three-dimensional coordinates of the detected object are obtained. As described above, since the image displayed in the master camera window is calibrated, the three-dimensional space is obtained. It is possible to convert a certain coordinate position in the three-dimensional space into a coordinate position on the screen of the master camera window. However, conversely, the coordinate position (two-dimensional coordinate) on the screen of the master camera window cannot be directly converted to the coordinate in the three-dimensional space.
[0027]
Therefore, the process of step S4 in FIG. 3 is performed as shown in detail in FIG. First, when the coordinates (Uleft, Vbottom) on the two-dimensional reference area 4a are converted into a three-dimensional space, it is clear that the position on the reference area 4, that is, the position in the z-axis direction is zero. In S10, the personal computer 8 converts to the first three-dimensional space coordinates (x1, y1, 0) on the condition that the value (zw = 0) in the z-axis direction in which the coordinates (Uleft, Vbottom) are converted into the three-dimensional coordinates. . Similarly, in step S10, another coordinate (Uright, Vbottom) on the two-dimensional reference region 4a is also converted to the first three-dimensional space coordinate (x2, y2, 0) on condition that zw = 0. Thus, the personal computer 8 functions as the first three-dimensional coordinate conversion means. Since the above assumption is made, this coordinate conversion can be easily performed. The converted coordinates (x1, y1, 0) and (x2, y2, 0) on the reference plane 4 are shown in FIG.
[0028]
These coordinate transformations will be described with reference to FIG. In this coordinate conversion, the center c of the master camera 2 as shown in FIG. 5 and the coordinates (u, v) on the image of the master camera 2, such as (Uleft, Vbottom) or (Uright, Vbottom) described above, are three-dimensional. A straight line A in the coordinate space is obtained, and a point a at which the straight line intersects the floor is calculated as the position (xw, yw, 0) of the object. This (xw, yw, 0) corresponds to the above-described (x1, y1, 0) or (x2, y2, 0).
[0029]
Here, the relationship between the three-dimensional coordinates (xw, yw, zw) shown in FIG. 5 and the camera coordinates (x, y, z) of the master camera 2 is expressed by the following equation. In the following equation, R is a 3 × 3 rotation matrix, T is a translation vector [Tx, Ty, Tz] ^T It is.
[0030]
[Expression 1]

[0031]
First, the coordinates (u, v) on the image of the master camera 2 are set to the image plane XY of the master camera 2 (the center is the origin 0, and the origin 0 corresponds to the origin c of the coordinates of the master camera 2). Are converted into coordinates (Xd, Yd) in the following plane: However, uc and vc represent the center of the image coordinates of the master camera 2.
[0032]
[Expression 2]

[0033]
The coordinate point (Xd, Yd) is converted into a coordinate point (Xu, Yu) with corrected lens distortion in the master camera 2 by the following equation. Where r is the distance from the image center, S is the aspect ratio of the image coordinates, and k1 and k2 are lens distortion coefficients.
[0034]
[Equation 3]

[0035]
In FIG. 5, a light vector Vr = [xv, yv, zv] passing through the (Xu, Yu) point on the image from the coordinate c of the master camera 2. ^T Is represented by the following equation. f is a focal length in the coordinates of the master camera 2.
[0036]
[Expression 4]

[0037]
When the light vector Vr is represented by a straight line in a three-dimensional space, the following expression is obtained. Where α is a real number.
[0038]
[Equation 5]

[0039]
Here, since it is assumed that the floor surface 4 is parallel to the xw-yw plane and zw = 0, α when the straight line intersects the floor surface 4 can be determined by the following equation.
[0040]
[Formula 6]

[0041]
By substituting the value of α obtained in Equation 6 into Equation 5, the three-dimensional coordinate point (xw, yw, 0) corresponding to the image coordinate point (u, v) can be obtained by the following equation.
[0042]
[Expression 7]

[0043]
By using Equation 7, (Uleft, Vbottom) and (Uright, Vbottom) described above can be converted into (x1, y1, 0), (x2, y2, 0).
[0044]
Next, the two-dimensional coordinates (Uleft, Vtop) and (Uright, Vtop) are converted into the second three-dimensional space coordinates. At this time, the two-dimensional coordinates (Uleft, Vtop) are converted to the previous coordinates ( Uleft, Vbottom) and Uleft are common. Therefore, the x-axis and y-axis values obtained by converting the two-dimensional coordinates (Uleft, Vtop) into the three-dimensional coordinates are the x-axis values obtained by converting (Uleft, Vbottom) into the three-dimensional coordinates (x1, y1, 0). And y-axis values x1 and y1 are considered to be equal. Therefore, in step S12, (Uleft, Vbottom) is converted into three-dimensional space coordinates (x1, y1, z1) on the condition that the value xw = x1 to be converted or the value yw = y1 in the y-axis direction is converted. .
[0045]
For example, a yw-zw plane passing through (x1, y1, 0) is considered, and a ray passing through (Uleft, Vbottom) is obtained from Equation 5. Here, the real number α in Equation 5 is β. Β in which the ray intersects the xw-zw plane (this plane is zw ≠ 0) is obtained by the following equation.
[Equation 8]

[0046]
By substituting the value of β into Equation 5, three-dimensional coordinates (x1, y1, z1) corresponding to (Uleft, Vbottom) can be obtained. In addition, considering the xw-zw plane passing through (x1, y1, 0), β can also be obtained by the following equation when the light ray passing through (Uleft, Vbottom) is obtained from Equation 5.
[0047]
[Equation 9]

[0048]
In the same manner, in step S14, (Uright, Vtop) is converted into a cubic value on the condition that the value xw = x2 in the x-axis direction after conversion into the three-dimensional coordinates of (Uright, Vtop) or the value yw = y2 in the y-axis direction. Convert to original space coordinates (x2, y2, z2). Therefore, the personal computer 8 also functions as the second three-dimensional coordinate conversion means. The transformed three-dimensional space coordinates (x1, y1, z1) and (x2, y2, z2) are shown in FIG.
[0049]
In this way, the two-dimensional coordinates (Uleft, Vbottom), (Uright, Vbottom), (Uleft, Vtop), (Uright, Vtop) of the four corners of the frame A surrounding the detected object are represented by the three-dimensional coordinates (x1, y1). , 0), (x2, y2, 0), (x1, y1, z1), (x2, y2, z2).
[0050]
Using these four three-dimensional coordinates (x1, y1, 0), (x2, y2, 0), (x1, y1, z1), (x2, y2, z2), the height h of the detected object, The width w is calculated.
[0051]
First, in step S16, an average value (z1 + z2) / 2 of z1 and z2 is calculated to obtain the height h. In FIG. 2 (a), z1 and z2 are drawn at the same height, but in actuality, they may have different heights. Therefore, in preparation for this case, the average of z1 and z2 is increased. H.
[0052]
In this way, it is possible to know the height from the floor surface 4 of the portion of interest in three dimensions of the object, for example, the height from the floor surface 4 of the object. For example, when the object is a human body, if the focused part is the top of the human body, its height can be known, which is useful for crime prevention. The height h is displayed on a master camera window, for example.
[0053]
Next, in step S18, (x2-x1) ² + (Y2-y1) ² The lateral width w of the detected object is calculated by obtaining the square root of. Filtering in step S6 is performed using the horizontal width w.
[0054]
Subsequently, in step S20, three-dimensional coordinates to be photographed at the center of the slave camera 12 are obtained by calculating (x1 + x2) / 2, (y1 + y2) / 2, and h−α (α is a predetermined value). Here, (x1 + x2) / 2 and (y1 + y2) / 2 indicate values on the x and y axes where the center of the detected object is located. The reason why h-α is calculated is as follows. h indicates the height of the detected object, and when the detected object is a human body, for example, h indicates the height of the tip of the head with respect to the floor surface 4. When photographing a human body, it is desirable that the face portion be captured at the center of the slave camera 12. Accordingly, the calculation of h−α is performed so as to capture a position lower than α so as to capture the face.
[0055]
In this way, the three-dimensional coordinate position of the part to be photographed of the detected object is obtained. At this time, if there are a plurality of detected objects, filtering based on the width w is performed in step S8 in order to determine which detected object is to be imaged. This filtering can be performed not only for the horizontal width w but also for the height h, or only for the height h. When filtering is performed using only the height h, it is not necessary to calculate the width w.
[0056]
When the detected object to be photographed is determined, step S S is performed so that each slave camera 12 captures the image with the coordinates of the detected object determined in step S 20 as the center. 8 The personal computer 8 calculates the pan angle, tilt angle, and zoom magnification of each slave camera 12, and controls each slave camera 12 so as to obtain the calculated angle and magnification.
[0057]
In the calculation of the angle and the magnification, since the three-dimensional coordinates of the portion to be photographed of the object are known, the three-dimensional coordinates and the three-dimensional coordinates of each slave camera 12 that are known in advance are used. Easy to do. In this way, since the slave cameras 12 at different positions can simultaneously photograph an object, when the object is a human body and the focused part is the head, for example, one slave camera When an object is photographed in the above, but only the rear view is projected, the probability that the face can be captured increases by photographing from another direction with another slave camera. Alternatively, it is possible to avoid a situation where an object cannot be photographed at all because it is shielded by some stationary object on the photographing region 4. When the object is a moving body such as a human body, tracking can be performed each time the moving body moves. Note that the object to be photographed may be a stationary object.
[0058]
In the above embodiment, four slave cameras 12 are used. However, the number of the slave cameras 12 can be arbitrarily set, and a minimum of one slave camera 12 can be provided. In addition, the slave camera 12 is not necessary when only the coordinates and height of the object in the three-dimensional space are obtained and displayed on an appropriate display means.
[0059]
In the above embodiment, the two-dimensional coordinates of the four corners of the frame A are used. However, the two-dimensional coordinates on the two-dimensional reference area 4a, for example, (Uleft + Uright) / 2, Vbottom, and the same U-axis. Two-dimensional coordinates having values and different values in the V-axis direction, such as (Uleft + Uright) / 2, Vtop, may be used. In this case, it is assumed that (Uleft + Uright) / 2, three-dimensional coordinate conversion is performed with Vbottom being zw = 0, and the value on the x-axis or the value on the y-axis obtained by this is common (Uleft + Uright) / 2 , Vtop coordinate transformation to three dimensions.
[0060]
Further, in the above embodiment, the case where the face can be photographed with the value of α is prepared in preparation for the case where the detected object is a human body. It is also possible to take a picture with the slave camera 12 centering on the hit of the chest and the hit of the chest. In the above embodiment, α is subtracted from the height h. However, an appropriate coefficient K may be multiplied by the height h. In the above embodiment, the reference surface is the floor surface 4, but the reference surface is not limited to this, and a position that is vertically separated from the floor surface 4 by a predetermined distance can also be used as the reference surface. Depending on the installation position of the camera 2 and the slave camera 12 and the passage position of the object, it may be a ceiling surface.
[0061]
In the above embodiment, the master camera 2 is a fixed camera. Therefore, pan, tilt and zoom cannot be controlled. However, a camera capable of panning, tilting, and zooming can be used as a master camera. In this case, images with different pan, tilt, and zoom can be obtained by this camera, but it is necessary to perform calibration for each video. For example, if different pan, tilt, and zoom positions are stored in advance and calibration is performed for each of these presets, the preset positions can be reproduced and used as a master camera.
[0062]
In the above embodiment, the present invention is implemented in a video monitoring device. However, the present invention is not limited thereto. For example, a cameraman alone can shoot a specific object to be photographed, particularly a moving object from multiple viewpoints. It can also be used.
[0063]
【The invention's effect】
As described above, according to the present invention, it is possible to automatically acquire the three-dimensional coordinate position of the detected object based on the video obtained by one photographing unit, and particularly the height from the reference plane. Can be obtained. In addition, based on the acquired three-dimensional coordinates, at least one other photographing unit provided at an arbitrary position can also photograph quickly with the detected object as the center.
[Brief description of the drawings]
FIG. 1 is a block diagram of a photographing apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a process of determining a three-dimensional coordinate position from a two-dimensional coordinate position in the photographing apparatus of FIG.
FIG. 3 is a flowchart showing an outline of processing executed in the imaging apparatus of FIG. 1;
FIG. 4 is a detailed flowchart of the process of step S4 in the flowchart of FIG.
5 is an explanatory diagram of a method for determining a three-dimensional coordinate position on a floor surface from a two-dimensional coordinate position in the imaging apparatus of FIG. 1;
[Explanation of symbols]
2 Master camera (photographing means)
4 floors (reference plane)
8 Personal computer (two-dimensional coordinate determination means, first and second coordinate conversion means)
12 Slave camera (another shooting method)

Claims

On a three-dimensional space defined by a first three-dimensional coordinate axis, a second three-dimensional coordinate axis orthogonal to the first three-dimensional coordinate axis, and a third three-dimensional coordinate axis orthogonal to the first and second three-dimensional coordinate axes A reference plane that is orthogonal to the third three-dimensional coordinate axis and whose position on the third three-dimensional coordinate axis is known, and one end located on the reference plane and the other end in the third three-dimensional coordinate axis direction. The object to be detected located away from the surface is fixed so as to be photographed in a two-dimensional manner defined by a first two-dimensional coordinate axis and a second two-dimensional coordinate axis orthogonal to the first two-dimensional coordinate axis, A single photographing means for obtaining a two-dimensional image including a two-dimensional reference surface that is an image obtained by photographing a reference surface and a detected object image obtained by photographing the detected object;
A detected object captured image determining means for determining the detected object image from the two-dimensional image;
First two-dimensional coordinates that are two-dimensional coordinates of one end of the detected object image corresponding to one end of the detected object based on the captured image of the detected object determined by the detected object captured image determination unit Two-dimensional coordinate determination means for determining a second two-dimensional coordinate that is a two-dimensional coordinate of the other end of the detected object image corresponding to the other end of the detected object;
The first two-dimensional object is set on condition that one end of the detected object is in contact with the reference plane and the position of the one end of the detected object on the third three-dimensional coordinate axis is known. First coordinate conversion means for converting coordinates to first three-dimensional coordinates;
Coordinate conversion means for converting the second two-dimensional coordinates into the second three-dimensional coordinates and outputting the converted two-dimensional coordinates, the position of the first or second three-dimensional coordinate axis among the second three-dimensional coordinates. A second coordinate conversion means configured to set the first three-dimensional coordinate to the position of the first or second three-dimensional coordinate axis,
An imaging apparatus provided.

The imaging device according to claim 1,
Provide another imaging means for imaging the detected object, at least pan and tilt adjustable,
Based on the second three-dimensional coordinates output from the second coordinate conversion means, the pan and tilt of the other photographing means are adjusted, and the other photographing device is moved near the other end of the detected object. An imaging apparatus provided with control means for imaging.

The imaging device according to claim 2,
The two-dimensional coordinate determining means determines the first and second two-dimensional coordinates every time the detected object moves,
The first coordinate conversion means converts the first two-dimensional coordinate into the first three-dimensional coordinate each time the first two-dimensional coordinate is determined,
The second coordinate conversion means converts the second two-dimensional coordinates into the second three-dimensional coordinates every time the second two-dimensional coordinates are determined,
The imaging device controls the other imaging unit based on the second three-dimensional coordinate every time the second three-dimensional coordinate is obtained.