JP4960659B2

JP4960659B2 - ３次元仮想空間を利用したビデオカメラ撮影制御装置およびビデオカメラ撮影制御方法

Info

Publication number: JP4960659B2
Application number: JP2006196167A
Authority: JP
Inventors: 武夫藤谷
Original assignee: クボテック株式会社; 武夫藤谷
Priority date: 2006-06-20
Filing date: 2006-06-20
Publication date: 2012-06-27
Anticipated expiration: 2026-06-20
Also published as: JP2008005450A

Description

本発明は、ビデオカメラの状態把握、及び、制御をリアルタイムに行うための、３次元仮想空間の利用方法に関する。

防犯システムや、防災システム、現場監督システム、遠隔会議システム、遠隔授業システム、医療、原発などの遠隔操作システムなど広範囲の分野において、監視、観察現場にビデオカメラを設置し、遠距離、近距離問わず、現場と異なる場所で、テレビに映された映像により、監視、観察することが行われている。これらを、ビデオカメラの設置状態と制御の面から見ると、一台のビデオカメラで、固定の場所、固定の視線、画角で撮影する単純な方式、複数のビデオカメラで、それそれ固定の場所を撮影する方式、より広い範囲を効率よく撮影するために、一台あるいは複数のビデオカメラで、ビデオカメラのパンチルト角度を振り、視線を移動させる方式、さらには、ロボットなど移動体にビデオカメラを搭載し、ビデオカメラ自身の位置も移動する方式などが行われている。これらの方式において、テレビに写っている映像は、どのビデオカメラにより、どこを撮影しているのかを如何に知るのか、あるいは、見たい場所を撮影させるために、如何にビデオカメラに命令するのかで、技術的にいろいろ分かれる。複数ビデオカメラから、どのビデオカメラかを特定する方法としては、複数ビデオカメラの映像を一挙に一覧表示しておき、その映像から、希望ビデオカメラを特定する方法がある。また、現場を２次元平面図で表現し、複数のビデオカメラの配置位置を、その２次元平面図上に記入し、ビデオカメラの位置を把握しやすくし、その２次元図面上で、ビデオカメラを指示し、ビデオカメラを特定する方法がある。あるビデオカメラが、どの場所を撮影しているかを知る方法としては、予め、ビデオカメラの視線を最大に振って取った複数写真からパノラマ写真を合成し、ビデオカメラが現在撮影している場所を、その画角に対応した大きさの矩形でパノラマ写真上に表示し、何処を撮影しているかを表現する方法がある。あるビデオカメラに、特定の場所を撮影させる方法としては、ビデオカメラのパンチルト角度を、直接、ジョイスティックのような物で制御し、映像を見ながら徐々に特定の場所までビデオカメラの視線を移動させる方法がある。あるいは、予め、ビデオカメラの視線を最大に振って取った複数写真からパノラマ写真を合成し、そのパノラマ写真上をポインティングデバイスで指示し、パンチルト角度を自動計算し、撮影場所を指定する方法がある。また、衛星カメラを使う場合は、パノラマ写真の代わりに、平面地図を使い、衛星カメラの撮影する場所を指定する方式もある。また、映像内の特定移動物体を自動追随するように、自動的に撮影場所を移動させる方式もある。

従来の技術では、実際の３次元空間において、ビデオカメラがどのように配置され、どこを見ているかが不明なため、ビデオカメラ映像利用者は、撮影された映像がどこなのかが容易に分からない。ビデオカメラの数が増える程、また、視線を大きく振り、ビデオカメラ一台当たりの撮影範囲が広がる程、テレビに映されている映像が、どこからどこを見ている画像なのかの状況把握がより難しくなる。また、ビデオカメラが自動動作する場合、さらに今どこを撮影しているかを知るのは困難である。また、映像、あるいは、パノラマ写真のような２次元情報から、実際の３次元空間を想像することは技術を必要とし、希望の場所を直ぐに撮影するには、撮影現場を知り尽くした熟練技術が必要である。また、ビデオカメラに、予め決めた経路、スポットを巡回させることも、難しいティーチングが必要となる。また、複数のビデオカメラシステムであっても、ビデオカメラで見えない場所を判断し、別のビデオカメラで見ると言う不可視領域の回避が不可能である。また、ビデオカメラの映像を大きくズームすると、どの辺りのどこを見ているか判断が難しくなる。また、どこにビデオカメラを設置すれば、どのような映像が取れるかの事前評価をする方法がない。

上記課題を解決するための本発明のビデオカメラ撮影制御方法は、パン、チルト、およびズーム機能を備えたビデオカメラに接続されたビデオカメラ撮影制御装置が、前記ビデオカメラの撮影現場を模した３次元仮想空間を示す３次元モデル情報を保持し、前記３次元モデル情報中の前記ビデオカメラの位置を頂点とし、撮影対象とする視線を軸する４角錐の立体モデル情報を生成し、保持した３次元モデル情報と共存させた表示情報を生成して表示し、前記３次元モデル情報中の任意の位置と前記４角錐の頂点の２点が作るベクターと、前記４角錐の軸ベクターとのなす角度から、前記任意の位置が撮影場所となるように、前記ビデオカメラのパン角度、チルト角度、およびズーム角度を制御し、さらに前記３次元モデル情報中に予め書き込まれた３次元自由曲線または３次元折れ線で示される経路をたどりながら巡回して撮影するように前記ビデオカメラを制御することを特徴とする。

またこのビデオカメラ撮影制御方法では、前記ビデオカメラ装置が複数設置され、前記４角錐の立体モデル情報と、前記３次元モデル情報との幾何学的干渉を計算することにより、前記複数のビデオカメラ装置の中から、撮影場所が陰とならないビデオカメラ装置を制御するように切り替えてもよい。

またこのビデオカメラ撮影制御方法では、前記４角錐の立体モデル情報の頂点から軸方向にのぞむ角度の前記３次元モデル情報の透視図的表示情報を、前記ビデオカメラが撮影する映像を仮想的に示した画面情報として生成し、前記表示情報に追加して表示するようにしてもよい。

またこのビデオカメラ撮影制御方法では、前記ビデオカメラ装置で撮影された映像情報を受信し、前記４角錐の立体モデル情報の頂点から前記ズーム角度より大きい角錐底面をのぞむ角度の前記３次元モデル情報の透視図的表示を行う画面の中央に、前記映像情報を前記ズーム角度に対応した大きさで重ね表示した画面情報をさらに生成し、前記表示情報に追加して表示するようにしてもよい。

また本発明のビデオカメラ撮影制御装置は、パン、チルト、およびズーム機能を備えたビデオカメラに接続されたビデオカメラ撮影制御装置であって、前記ビデオカメラの撮影現場を模した３次元仮想空間を示す３次元モデル情報を保持する３次元モデル情報保持部と、前記３次元モデル情報中の前記ビデオカメラの位置を頂点とし、撮影対象とする視線を軸する４角錐の立体モデル情報を生成し、前記３次元モデル情報保持部に保持された３次元モデル情報と共存させた表示情報を生成する表示情報生成部と、前記表示情報生成部で生成された表示情報を表示する表示部と、前記３次元モデル情報中の撮影場所とするための任意の位置と前記４角錐の頂点の２点が作るベクターと、前記４角錐の軸ベクターとのなす角度から、前記任意の位置が撮影場所となるように、前記ビデオカメラのパン角度、チルト角度、およびズーム角度を制御し、さらに前記３次元モデル情報中に予め書き込まれた３次元自由曲線または３次元折れ線で示される経路をたどりながら巡回して撮影するように前記ビデオカメラを制御するカメラ制御部とを備えることを特徴とする。

３次元立体画像は、人間が現実世界を把握する場合の立体感や遠近感を的確に表現する方法であり、そのような３次元立体画像の仮想３次元空間上に、ビデオカメラ状態（位置、視線、画角領域）を３次元画像で表示することによりビデオカメラ映像利用者に、直感的に、現実世界のビデオカメラの状態を把握させることができる。また、ビデオカメラが視線を振ってもリアルタイムにビデオカメラ状態（位置、視線、画角領域）の３次元画像が対応し、どこを撮影しているのかをいつでも把握できる。また、複数のビデオカメラが存在していても、どのビデオカメラがどこを撮影しているのかを容易に判断できる。

３次元仮想空間上の位置を直接指示することにより、ビデオカメラ映像利用者は、撮影したい場所を容易に指示することができる。また、３次元仮想空間上に巡回する経路を直接書き込むことにより、ビデオカメラ映像利用者は、容易に希望経路の自動巡回を実現することができる。また、３次元仮想空間上に巡回スポット位置と撮影サイズを直接書き込むことにより、ビデオカメラ映像利用者は、複数巡回スポットを所定のズーム角度で順次自動巡回させることを容易に希望どおり実現できる。

３次元立体画像とビデオカメラ状態（位置、視線、画角領域）の３次元画像の幾何学的干渉計算により、ビデオカメラにとって見えない陰となる箇所を、仮想３次元空間上で事前に算出できる。その算出結果を利用し、不可視ビデオカメラから可視可能ビデオカメラに切り替ることが容易にできる。

実際の映像とその映像を仮想的に広げた背景映像を３次元立体画像により提供し、大きくズームした場合でも、どの辺りを見ているかのビデオカメラ映像利用者の判断を容易にする。

３次元立体画像をビデオカメラから見る画像と同じ視線、立体感、遠近感の見え方の像で表示し、ビデオカメラが撮影するであろう映像を、事前に仮想的に見ることができ、ビデオカメラの配置の事前検討などが容易に行える。

パン角度、チルト角度、画角（ズーム角度）を外部のコンピュータ上のソフトウエアで制御できるビデオカメラを、複数台用意し、それら複数のビデオカメラの撮影した映像を送信し、コンピュータで受信できるデジタルエンコーダ、デコーダシステムを用意する。さらに、遠隔制御可能距離、及び、映像の送受信可能距離の制限を無くすには、コンピュータネットワークシステムを利用できる形態が望ましい。最近の３次元ＣＡＤは、３次元幾何図形の表示機能、作成機能、任意の３次元位置を指示する機能などはもちろん、３次元立体画像の透視図的表示機能、３次元幾何図形相互の干渉計算機能などを有するので、３次元ＣＡＤをカスタマイズし利用するのが望ましい。

予め、３次元ＣＡＤ上に、撮影現場を模した３次元仮想空間となる３次元モデルを凖備する。この３次元モデルは、その３次元ＣＡＤで作成しても良いし、実３次元空間取り込みソフトウエアにより作成し、この３次元ＣＡＤに読み込んでも良い。３次元ＣＡＤ上に、複数のビデオカメラのパン角度、チルト角度、ズーム角度の制御を出来るインターフェースを作成する。もし、ビデオカメラ自身も移動する場合は、ビデオカメラの位置の制御も追加する。ビデオカメラの位置を頂点とし、視線を軸する４角錐の立体モデルを作成する。その４角錐底面の辺の長さは、ズーム角度に対応する長さにする。その４角錐の稜線の長さは、３次元モデルを横切る適当な長さとする。その４角錐をビデオカメラの実際の位置、視線のベクターを決めるパン、チルト角度に合わせて表示する。その４角錐の表示をアニメーション的に変化させ、ビデオカメラの現在のパン角度、チルト角度、ズーム角度にリアルタイムに合わせる。また、３次元仮想空間である３次元モデルの表示を妨げないように、その４角錐は半透明に表示する。複数のビデオカメラに対応させて、４角錐を準備する。色などを変えて同時に全部の４角錐を表示しても良いし、注目ビデオカメラのみの４角錐を表示しても良い。３次元仮想空間である３次元ＣＡＤ上での仮想ビデオカメラの位置、視線、画角を表現する４角錐を、現実世界のビデオカメラの位置、視線、画角の３次元的位置関係と合わせるために、３次元ＣＡＤにビデオカメラのホームポジション（原点、０度視線）を最初に定義する。また、画角は、ビデオカメラのレンズ特性などでズーム角度と単純な比例関係に無い場合は、現実の画角とズーム角度に補正係数を施す。以上で、３次元ＣＡＤ上に、ビデオカメラの位置、視線、画角を視覚的に表現した４角錐と３次元仮想空間である３次元モデルが共存し、ビデオカメラ映像利用者に、直感的に、ビデオカメラの状態を把握させることができる。

３次元モデル上の任意の位置をビデオカメラの撮影する場所とするには、任意の位置とビデオカメラを表現する４角錐の頂点の２点が作るベクターと、その４角錐の軸ベクターのなす角度を計算し、振るべきパン、チルトの角度を得、それをビデオカメラへ制御命令として送ればよい。それにより、実世界のビデオカメラが指示された任意の場所を向くことになる。

予め、撮影場所の巡回場所が決まっている場合は、３次元モデル上に、その巡回経路として、３次元自由曲線や３次元折れ線で書き込み、その経路を自動的にたどりながら、ある間隔で連続的にビデオカメラに撮影場所として制御命令を送り続けることにより、容易に自動巡回を実現することができる。
また、巡回スポットとして、球の立体モデルをその位置に対応した３次元モデル上に書き込み、その球の直径をズーム角度に対応させることにより、ズーム角度も自動的に決めることができる。巡回すべき各スポットに、それぞれの希望ズーム角度に対応した直径で球を書き込み、それらの球を自動追随させることにより、自動的に巡回スポットを所定のズーム角度で巡回させることが容易に実現できる。

ビデオカメラの視覚領域を表す４角錐立体モデルと、３次元仮想空間を表す３次元モデルの幾何学的干渉を計算することにより、ビデオカメラにとって見えない陰となる箇所を算出できる。複数のビデオカメラに対して、３次元モデルの幾何学的干渉を計算することにより、陰とならないビデオカメラを自動的に選ぶことができる。これにより、不可視ビデオカメラから可視ビデオカメラに切り替ることができる。

４角錐の頂点から軸方向に、ズーム角度よりいくらか大きい角錐底面をのぞむ角度で、透視図的表示を行う画面を、３次元ＣＡＤに追加する。そして、その透視図画面の中央に、受信した映像をズーム角度に対応した大きさで重ね表示する。そのことにより、実際の映像と仮想的に広げた背景映像をビデオカメラ映像利用者に提供できる。

背景映像に重ねた実映像の表示をオンオフできる機能を付け、オフにした場合、ビデオカメラが撮影するであろう映像を仮想的に事前に見ることもできる。

ビデオカメラの状態（パン角度、チルト角度、ズーム角度、必要なら位置も）を制御するのが、３次元ＣＡＤからの命令だけなら、３次元ＣＡＤからの命令（書き込み）情報を、拝借し利用すれば、リアルタイムに現実のビデオカメラと合わせることができる。もし、外部からもビデオカメラを同時に制御する場合は、現在のビデオカメラの状態を読み出す制御も追加し、コンピュータタイマーにより、適時読み出すことにより、リアルタイムに合わせることが可能となる。

３次元ＣＡＤのテレビ画面を模式的に表した簡易的な図。撮影現場の３次元モデルを用意し、仮想３次元空間を表示している。そこにビデオカメラの視線、画角を表現する４角錐の立体を表示している。さらに実映像と仮想背景映像を重ねた画像を表示している。

符号の説明

１３次元ＣＡＤのテレビ画面
２３次元モデルによる仮想３次元空間
３ビデオカメラの視線、画角を表現する４角錐
４実映像と仮想背景映像の重ね画像

Claims

パン、チルト、およびズーム機能を備えたビデオカメラに接続されたビデオカメラ撮影制御装置が、
前記ビデオカメラの撮影現場を模した３次元仮想空間を示す３次元モデル情報を保持し、
前記３次元モデル情報中の前記ビデオカメラの位置を頂点とし、撮影対象とする視線を軸する４角錐の立体モデル情報を生成し、保持した３次元モデル情報と共存させた表示情報を生成して表示し、
前記３次元モデル情報中の任意の位置と前記４角錐の頂点の２点が作るベクターと、前記４角錐の軸ベクターとのなす角度から、前記任意の位置が撮影場所となるように、前記ビデオカメラのパン角度、チルト角度、およびズーム角度を制御し、さらに前記３次元モデル情報中に予め書き込まれた３次元自由曲線または３次元折れ線で示される経路をたどりながら巡回して撮影するように前記ビデオカメラを制御する、
ことを特徴とするビデオカメラ撮影制御方法。
前記ビデオカメラ装置は複数設置され、
前記４角錐の立体モデル情報と、前記３次元モデル情報との幾何学的干渉を計算することにより、前記複数のビデオカメラ装置の中から、撮影場所が陰とならないビデオカメラ装置を制御するように切り替える
ことを特徴とする請求項１に記載のビデオカメラ撮影制御方法。
前記４角錐の立体モデル情報の頂点から軸方向にのぞむ角度の前記３次元モデル情報の透視図的表示情報を、前記ビデオカメラが撮影する映像を仮想的に示した画面情報として生成し、前記表示情報に追加して表示する
ことを特徴とする請求項１または２に記載のビデオカメラ撮影制御方法。
前記ビデオカメラ装置で撮影された映像情報を受信し、前記４角錐の立体モデル情報の頂点から前記ズーム角度より大きい角錐底面をのぞむ角度の前記３次元モデル情報の透視図的表示を行う画面の中央に、前記映像情報を前記ズーム角度に対応した大きさで重ね表示した画面情報をさらに生成し、前記表示情報に追加して表示する
ことを特徴とする請求項１〜３いずれか１項に記載のビデオカメラ撮影制御方法。
パン、チルト、およびズーム機能を備えたビデオカメラに接続されたビデオカメラ撮影制御装置において、
前記ビデオカメラの撮影現場を模した３次元仮想空間を示す３次元モデル情報を保持する３次元モデル情報保持部と、
前記３次元モデル情報中の前記ビデオカメラの位置を頂点とし、撮影対象とする視線を軸する４角錐の立体モデル情報を生成し、前記３次元モデル情報保持部に保持された３次元モデル情報と共存させた表示情報を生成する表示情報生成部と、
前記表示情報生成部で生成された表示情報を表示する表示部と、
前記３次元モデル情報中の撮影場所とするための任意の位置と前記４角錐の頂点の２点が作るベクターと、前記４角錐の軸ベクターとのなす角度から、前記任意の位置が撮影場所となるように、前記ビデオカメラのパン角度、チルト角度、およびズーム角度を制御し、さらに前記３次元モデル情報中に予め書き込まれた３次元自由曲線または３次元折れ線で示される経路をたどりながら巡回して撮影するように前記ビデオカメラを制御するカメラ制御部と
を備えることを特徴とするビデオカメラ撮影制御装置。