JP4593172B2

JP4593172B2 - カメラ制御装置

Info

Publication number: JP4593172B2
Application number: JP2004155109A
Authority: JP
Inventors: 弘国黒川
Original assignee: University of Aizu
Current assignee: University of Aizu
Priority date: 2004-05-25
Filing date: 2004-05-25
Publication date: 2010-12-08
Anticipated expiration: 2024-05-25
Also published as: CN100461834C; US20050264655A1; JP2005341060A; US7675542B2; CN1703078A

Description

この発明は、遠隔カメラ、テレビ会議、リアルタイム遠隔授業などで用いられるネットワークカメラの制御技術に関する。

特許文献１には、遠隔カメラ監視装置において、遠隔の操作者がポインティング装置を用いて画面上のズームアップしたい範囲を指定すると、カメラレンズの画角とカメラの方向が計算され、この情報がカメラ制御部に送られてカメラの制御が行われるシステムが記載されている。

特許文献２には、遠隔のビデオカメラからの動画像を表示するモニタ上に同時にこのビデオカメラからの静止画像を表示し、静止画像上の位置をマウスで指定することにより、この位置が動画像の中央に位置するよう、ビデオカメラを制御することが記載されている。また、モニタに表示されるパン制御カーソル、チルト制御カーソル、およびズーム制御カーソルをマウスで操作することによりビデオカメラを制御することが記載されている。
特開平7-274150 特開2003-134382

従来の技術を用いて、異なる被写体を撮影するためにカメラの方向を変えると、カメラから被写体までの距離が異なるので、撮影レンジ、すなわちカメラで撮影される画面の範囲（被写範囲）、が変わる。同じ撮影レンジを維持するためには、カメラの方向を変えた後に、ズーム調整が必要となる。またこの場合フォーカスの調整は、操作者の目視によって行うか、またはカメラに搭載した距離測定機能により被写体までの距離を測定し、演算を行うことによって行うことが考えられる。

しかしながら、このような手法は処理に時間がかかるので、写したい被写体にカメラの向きを変え所望の撮影レンジを得るには、しばらく時間を要することになる。したがって、遠隔カメラ制御技術において、カメラの向きを変えることに伴い、迅速に所望の撮影レンジを得ることのできる装置が望まれている。

この発明のカメラ制御装置は、カメラによって撮像する対象となる複数の被写体を包含する被写面を表す疑似被写面の座標データを保存するメモリ、前記カメラによって撮像される画像を表示する表示装置、および前記表示装置に表示される画像の上で、前記カメラの向くべき方向を指示する指示装置を備える。さらに、この発明のカメラ制御装置は、前記指示装置によって指示された方向に前記カメラから延びる直線が前記メモリに保存された前記疑似被写面と交わる交点の座標を求め、前記カメラと該交点との間の距離を計算する距離計算手段を備える。

この発明によると、あらかじめ撮像対象となる複数の被写体を包含する擬似被写面をメモリに保存しておき、カメラの向きを変えるときは、カメラから延びる直線が擬似被写面と交わる交点の座標を求め、カメラとこの交点との間の距離を計算することができる。この距離に基づいて所定の撮像レンジを得るために必要なズーム量と，ピント調整用のフォーカス量を演算することができるので、カメラの向きを変えると同時にズームを変更して所望の撮像レンジを得ることができる。

この発明の一形態では、カメラ制御装置は、さらに、疑似被写面を表す３次元座標におけるカメラの位置、このカメラの最小画角および最大画角を含む情報を記憶するカメラ情報登録メモリを備える。さらに、カメラ制御装置は、カメラから送信されるこのカメラの現在のアングル角を含む状態データ、およびカメラ情報登録メモリに記憶されているこのカメラの最小画角および最大画角に基づき、方向指示装置からの入力に応じて、カメラをパンまたはチルトさせるアングル値を計算するアングル値計算手段を備えている。

また、この発明の一形態では、このアングル値計算手段は、カメラから送信される現在のアングル値を指示装置が示した方向にカメラを向けるときのアングル値に変えるためのアングル値変化量を計算する手段を備える。この計算する手段は、現在のズーム量から、画像画面の幅に対応する画角を計算し、パン角度の変化量を、画像画面の幅、この画像画面の中心から指示装置が示した画像画面上の点までの横方向の距離、および計算された前記画像画面の幅に対応する画角に基づいて算出する。

さらにこの発明の一形態では、このアングル値計算手段は、カメラから送信される現在のアングル値を指示装置が示した方向にカメラを向けるときのアングル値に変えるためのアングル値変化量を計算する手段を備える。この計算する手段は、現在のズーム量から、画像画面の高さに対応する画角を計算し、チルト角度の変化量を、画像画面の高さ、この画像画面の中心から指示装置が示した画像画面上の点までの縦方向の距離、および計算された画像画面の高さに対応する画角に基づいて算出する。

次に図面を参照してこの発明の一実施例を説明する。図１は、カメラおよびカメラ制御装置の全体的な構成を示す図である。ビデオカメラ11を含むカメラ部10は、図２に示すようにたとえば遠隔授業を行うことができる教室の前方上部に配置されている。講師、教授その他の先生が、遠隔の部屋から教室のスクリーン51に教材を表示し、カメラ11で学生の反応をモニタしながら講義を進める。カメラ11は、向きを変えるための雲台に取り付けられており、この雲台は、コントローラ13によって駆動制御される。また、カメラ11は遠隔操作のズーム機構を内蔵しており、このズーム機構は、コントローラ13からの制御信号によって制御される。先生のいる遠隔の部屋にはカメラ制御装置20が設けられている。カメラ制御装置20の通信制御部21とカメラの通信制御部15との間でデータおよび指令の送受信が行われる。

カメラ制御装置20は、コンピュータで構成されており、具体的には汎用のパーソナル・コンピュータ、ワークステーション、小型コンピュータなどのプログラムとして実現することができる。コンピュータは、演算処理装置（プロセッサ）、演算処理装置による演算の作業領域を与えるランダムアクセス・メモリ、プログラム、データなどを保存する不揮発メモリである磁気ディスク装置、プログラム、データなどを入力するための入力装置を備えている。

図１のカメラ制御装置20は、このようなコンピュータが実現する機能に基づき、機能ブロックでコンピュータを表している。ビデオカメラ11で撮像された動画は、コントローラ13を介して通信制御部15によってカメラ制御装置20の通信制御部21に送られ、画像処理部23で画像処理されてモニタ25に表示される。モニタ25は、コンピュータの表示装置であり、一般にＣＲＴまたは液晶ディスプレイが用いられる。コントローラ13は、カメラで撮影される画像に関連してカメラの現在のアングル値およびズーム位置を表すデータをカメラ制御装置20に送信する。このデータは、カメラの最新状態情報としてカメラ状態メモリ22に記憶される。

カメラ11のアングル値およびズーム位置は、カメラ制御装置20がカメラ装置10に制御信号として送信したデータに従っている。

疑似被写面
この発明の一実施例では、図２に示されるように教室の机についた学生達の顔53を包含する曲面55を表す近似式を予め求めて疑似被写面メモリ30に記憶しておく。図２では、疑似被写面55は、平面として表現されているが、教壇を円形状に囲んで階段状に机が配置された教室では、疑似被写面は、カーブを描いた曲面となる。このような疑似被写面は、１枚または複数枚の２次までの解析曲面（平面、球面、円柱面、円錐面など）の部分面をつなぎ合わせて合成することができる。

アングル値計算
モニタ25には方向指示装置27が接続されている。方向指示装置27は、典型的にはマウスであり、操作者がモニタ画面上でカメラを向けたい位置をクリックすると、その位置の表す方向にカメラを向けるための演算が開始される。次にこの演算の詳細を説明する。

アングル値計算部29は、方向指示装置27からの入力およびカメラ状態メモリ22に記憶されたカメラ11の現在のアングル値およびズーム量に基づいて、カメラ11を指示された方向に向けるために動かすべきパン量およびチルト量を計算する。

まず、現在のズーム量fにおける、画像画面の幅に対応する画角aを次の式で求める。

a = k_a f + A_max (1)
ここで、
k_a = -(A_max − A_min)/f _max
A_max: 最大画角
A_min ：最小画角
f _max ：最小画角時のズーム量（fの最大値）

図４を参照して説明すると、カメラはズームを最小にしたとき、すなわちズーム量fがゼロ（初期ズーム位置）のとき、画角が最大になり、ズームを最大にしたとき画角が最小になる。最小ズーム位置およびこれに対応する最大画角A_max、最大ズーム位置およびこれに対応する最小画角A_minは、カメラの仕様として決まっており、システムの設定時にキーボード（図示せず）から入力され、カメラ情報登録メモリ28に記録される。画角aは、ズーム量f（初期ズーム位置からの距離）に比例して減少する。k_aはその比例係数で、単位ズーム量当たりの画角の変化量を表す値である。カメラがたとえば図２に示すような予め定められた初期方向を向き、初期ズーム位置にあるときの画角を初期最大画角A_maxとする。

図５を参照して、カメラをある方向（現在方向）から方向指示装置27で指示された画面上の点Pの方向に動かすためのパン角度の変化量Apの算出方法を説明する。図５において点Ｏは、Apの計算式を導出するための仮想点である。

点Ｏと画像画面40の左右両端とを結ぶ２本の直線がなす角度が横方向の画角aである。画像画面40の中心から指示された点Pまでの横方向の距離をdwとすると、図５の関係から、以下の式が得られる。

tan(a/2) = W/2/R (2)
tan(Ap) = dw/R (3)
(2)からRの式を求め、これを(3)に代入すると、
tan(Ap) = (2dw/W)*tan(a/2) (4)
したがって、
Ap = tan^-1((2dw/W)*tan(a/2))
= tan^-1(tan(a/2)*2dw/W) (5)

同様に、画像画面40の高さをH、画面の中心から指示された点Pまでの高さ方向の距離をdhとすると、カメラを点Pに向けて動かすためにチルト角度Atは、図６に従い、次の式で算出される。

tan((a*H/W)/2) = H/2/R (6)
tan(At) = dh/R (7)
a*H/W は、画面の横方向の画角aから導出される画面の縦方向画角である。式6からRの式を作り、(7)に代入すると、
tan(At) = (2dh/H)*tan((a*H/W)/2) (8)
したがって、
At = tan^-1((2dh/H)*tan((a*H/W)/2))
= tan^-1(tan(a*H/(2*W))*2dh/H) (9)

上記のようにしてアングル値計算部29においてカメラを動かすためのアングル角の変化量ApおよびAtが算出され、方向制御部33および交点計算部31に送られる（図１）。方向制御部33は、このアングル角の変化量（パン角度およびチルト角度）を通信制御部21を介してカメラ装置10に送る。

交点計算部31は、カメラが向けられる方向と疑似被写面との交点を、直線と曲面との交点計算問題として、次のようにして求める。

擬似被写面は１枚または複数枚の２次解析曲面で構成されるため、個々の曲面は下のような一般式で表現できる。

k ₁*x²+k ₂*y²+k ₃*z²+k ₄*xy+k ₅*yz+k ₆*zx+k ₇*x+k ₈*y+k ₉*z+k ₁₀=0
ただし，k ₁ ,k ₂ ,k ₃ ,k ₄ ,k ₅ ,k ₆ ,k ₇ ,k ₈ ,k ₉ ,k ₁₀は定数である。

一方，カメラから擬似被写点への直線は、次のパラメータ式で表現できる。

x = k _x*t + x_c
y = k _y*t + y_c
z = k _z*t + z_c

ただし，k _x ,k _y ,k _zは直線の方向を表す定数で、t(>=0.0)はパラメータで，点(x_c,y_c,z_c)はカメラの位置座標である。この直線の式を、解析曲面に代入すると、交点におけるtの値が得られる。そのtの値を直線の式に代入すれば交点（x,y,z）が得られる。

こうして、カメラの方向を示す直線と疑似被写面との交点の座標が求められる。

ズーム計算
ズーム計算部35は、交点計算部31からカメラの方向と疑似被写面との交点の座標を受け取り、カメラからこの交点までの距離rを３次元座標から算出する。この距離ｒを用いて、所定の撮影レンジを維持するためのズーム量fを、次の式で算出する。

f = k _f*r + f ₀
ズーム量fは、距離ｒに比例する。k _fは、その比例係数であり、f ₀は、定数である。k _fおよびf ₀は、後述する図3のAに示されるようなユーザインタフェースを利用し、次の手順で推定する。

（１）カメラを一つの被写体に向け、ズーム調整用のスライダー45を動かして好みのレンジサイズにし、キーボード入力またはマウス操作によりレンジ値保存を指示する。カメラ装置から通信制御装置15を介して送信され、カメラ状態メモリ22に保存されている、この時のズーム量f ₁、および上記の距離計算で得られた擬似被写距離r1が、この指示に応じてメモリに記憶される。

（２）カメラの方向を別の被写体（先の被写体と異なる被写距離にあるもの）に向け、その被写体に対して先ほどの被写体と同じレンジサイズが得られるようにズームを調整してから、キーボード入力またはマウス操作によりレンジ値保存を指示する。カメラ装置から送信され、カメラ状態メモリ22に保存されている、この時のズーム量f ₂、および上記の距離計算で得られた擬似被写距離r2が、この指示に応じてメモリに記憶される。

（３）上記２回の処理で得られた値をそれぞれ上の式に代入すると、下の２つの式が得られる。

f ₁ = k _f*r1 + f ₀
f ₂ = k _f*r2 + f ₀

この２つの式からk _fとf ₀を計算できる。パラメータは一度だけ推定すれば、すべてのレンジサイズでのズーム制御に利用できる。パラメータ推定に利用した２つの被写体の被写距離の差が大きいほど、パラメータの精度が高くなる。

撮影レンジ切替
図３のAは、モニタ25の画面を示し、遠隔の教室の画像が画像画面40に表示される。ユーザは、矢印41をマウスで動かすことができ、ある位置でマウスをクリックすると、その位置が画面40の中心になるようにカメラをパンおよびチルトさせるためのアングル値が上述のようにして計算される。この実施例では、モニタ画面25に「個人」ボタン、「小グループ」ボタンおよび「最大範囲」ボタンの３つのボタン43が設けられている。代替実施例では、これらのボタンに代えて、キーボードのファンクションキーに同様の機能を割り当てて使用する。こうすることにより相対的に画像画面40を大きくすることができる。

「個人」ボタンをクリックすると、図３のBに示すように一人の学生を画像画面いっぱいに表示するよう、上述のようにしてズーム量が計算され、ズームされた画像が画面に表示される。「小グループ」ボタンをクリックすると、図３のCに示すように小グループの学生を画像画面に表示するよう、上述のようにしてズーム量が計算され、ズームされた画像が画面に表示される。「最大範囲」ボタンがクリックされると、図３のDに示すように最大撮影レンジの画像を画面に表示するよう、ズームが調整される。

以上にこの発明を具体的な実施例について説明したが、この発明はこのような実施例に限定されるものではない。

この発明の一実施例のカメラ制御装置の構成を示すブロック図。疑似被写面の一例を示す図。種々の撮影レンジに対応するモニタ画面を示す図。画角とズーム量との関係を示すグラフ。パン角度を計算するための概念図。チルト角度を計算するための概念図。

符号の説明

１０カメラ装置
２０カメラ制御装置
２７方向指示装置
２９アングル値計算部
３１交点計算部

Claims

カメラによって撮像する対象となる複数の被写体を包含する被写面を表す疑似被写面の座標データを保存するメモリと、
前記カメラによって撮像される画像を表示する表示装置と、
前記表示装置に表示される画像の上で、前記カメラの向くべき方向を指示する指示装置と、
前記指示装置によって指示された方向に前記カメラから延びる直線が前記メモリに保存された前記疑似被写面と交わる交点の座標を求め、前記カメラと該交点との間の距離を計算する距離計算手段と、
前記距離計算手段で計算された前記距離に基づいて所定の撮像レンジを得るよう前記カメラのズーム量を計算するズーム計算手段と、
を備えるカメラ制御装置。
前記疑似被写面を表す３次元座標における前記カメラの位置、該カメラの最小画角および最大画角を含む情報を記憶するカメラ情報登録メモリと、
前記カメラから送信される状態データおよび前記カメラ情報登録メモリに記憶されている前記情報に基づき、前記方向指示装置からの入力に応じて、前記カメラをパンまたはチルトさせるアングル値を計算するアングル値計算手段と、
を備える請求項１に記載のカメラ制御装置。
前記アングル値計算手段は、前記カメラから送信される現在のアングル値を前記指示装置が示した方向にカメラを向けるときのアングル値に変えるためのアングル値変化量を計算する手段を備え、該計算する手段は、
現在のズーム量から、画像画面の幅に対応する画角を計算し、
パン角度の変化量を、画像画面の幅、該画像画面の中心から前記指示装置が示した画像画面上の点までの横方向の距離、および前記計算された前記画像画面の幅に対応する画角に基づいて算出するよう構成された、請求項２に記載のカメラ制御装置。
前記アングル値計算手段は、前記カメラから送信される現在のアングル値を前記指示装置が示した方向にカメラを向けるときのアングル値に変えるためのアングル値変化量を計算する手段を備え、該計算する手段は、
現在のズーム量から、画像画面の高さに対応する画角を計算し、
チルト角度の変化量を、画像画面の高さ、該画像画面の中心から前記指示装置が示した画像画面上の点までの縦方向の距離、および前記計算された前記画像画面の高さに対応する画角に基づいて算出するよう構成された、請求項３に記載のカメラ制御装置。