WO2004071075A1

WO2004071075A1 - 遠隔カメラ操作方法及びその装置

Info

Publication number: WO2004071075A1
Application number: PCT/JP2003/001132
Authority: WO
Inventors: Shinya Yamakawa; Shinobu Satou; Sumio Koseki; Hiroshi Miyazawa
Original assignee: Fujitsu Limited
Priority date: 2003-02-04
Filing date: 2003-02-04
Publication date: 2004-08-19

Abstract

本発明は、遠隔カメラで撮影した映像をネットワーク経由で伝送されモニタに表示すると共に、モニタ近傍のカメラ操作部からネットワーク経由で遠隔カメラまでカメラ操作制御信号を伝送して遠隔カメラを操作する遠隔カメラ操作方法において、カメラ操作部で行った遠隔カメラの操作による表示画像の移動または変更量を指示するための操作量指示線を生成し、モニタに表示される遠隔カメラの撮影映像に操作量指示線を重畳して表示することにより、操作者は移動カーソルやズームフレームからどの位置まで旋回するか、また、どの大きさまでズーミングするかを知ることができるので過度のカメラ操作を行うことを防止でき、所望のカメラ操作を短時間で行うことができ、実装規模が小さくて済みコストを抑えることができることができる。

Description

遠隔力メラ操作方法及びその装置技術分野

本発明は、遠隔カメラ操作方法及びその装置に関し、特に、遠隔地からネットワークを介してカメラを操作し、このカメラで撮像した画像をネットワークを介してモニタに伝送し表示する遠隔カメラ操作方法及びその装置に関する。背景技術

近年、通信ネットワーク環境は、回線交換から I P ( I n t e r n e t P r o t o c o 1 ) ネットワークへとシフトされつつある。それに伴い、画像通信も I Pネットワーク上で行うことが要求されてきている。遠隔地点からカメラ操作を行う監視システムゃテレビ会議システム等にぉレ、ても、比較的低速な回線を使用した I Pネットワーク経由でカメラ操作を行うと共に画像伝送を行う。この場合、カメラ操作を的確に行うためには、力メラ操作を行つた結果の画像を迅速にユーザに提示する必要がある。

画像は圧縮しても比較的データ量が多い。このため、低速な回線を使用したネットワークでは帯域に対して伝送すべきデータ量が大きく遅延が生じやすい。これは帯域が小さいと相対的に 1画面分の映像データを伝送するのに必要な時間が長くなるためである。その結果、カメラ制御のレスポンスが遅くなり、操作性が悪くなる。

図 1及び図 2は、従来の遠隔カメラ操作方法の概念図を示す。図 1に示す遠隔カメラで撮影された 5¾ί象はネットワークを伝送され、時間 Δ tを経過した時刻 t 1にモニタに表示される。

時刻 t 1に操作卓で行った操作（遠隔カメラを左に旋回）は時刻 t 1 + t 2に遠隔力メラまで到達するが、この時点の遠隔力メラが旋回して撮影した映像は図 2に示す時刻 t 1 + t 2 + t 1にモニタに到達する。このため、時亥 ij t 1 + t 2 + t 1にモニタに表示される!^象が所望のものであるとして、時刻 t 1から時刻 t 1 + t 2 + t 1まで操作卓で旋回操作を行った場合にはモニタに表示される映像は時刻 t 1 + t 2 + t 1 + t 2 + t 1まで旋回するため、旋回し過ぎることになる。

このように、伝送路による伝送時間や映像の符号化及び複号化に要する時間などの遠隔カメラから操作者のいる場所まで S ^象を伝送するときの遅延時間がある場合、操作指示を行うための判断基準となる映像が過去の映像であるために、旋回し過ぎゃズーミングし過ぎ等の過度の操作をしてしまい、所望の旋回位置ゃズーム度の映像に到達するまでに時間を要していた。

そのため、操作者が遅延時間を考慮して操作する必要がある力 .映像データ伝送及び制御信号伝送の伝送路として I Pネットワークを利用する場合、 I Pネットワークのトラフィック量により伝送遅延が異なり、伝送遅延を考慮した操作が困難であるという問題があつた。

また、遠隔力メラの操作を簡単に行うために、特許文献 1 (特開 2 0 0 0— 3 2 3 1 9号公報）に記載のように操作可能な遠隔力メラに広角カメラを併設し、広角カメラの映像を見て遠隔カメラの旋回位置を指示するものがある。しかし、広角カメラを併設しなければならないために、設備が大きくなりコストも高くなるという問題があった。

特許文献 1

特開 2 0 0 0— 3 2 3 1 9号公報発明の開示

本発明は、過度のカメラ操作を行うことを防止でき、所望のカメラ操作を短時間で行うことができ、実装規模が小さくて済みコストを抑えることができる遠隔力メラ操作方法及びその装置を提供することを総括的な目的とする。

この目的を達成するため、本発明は、遠隔カメラで撮影した映像をネットヮーク経由で伝送されモニタに表示すると共に、前記モニタ近傍のカメラ操作部から前記ネットワーク経由で前記遠隔カメラまでカメラ操作制御信号を伝送して漏己遠隔カメラを操作する遠隔カメラ操作方法において、前記カメラ操作部で行った遠隔カメラの操作による表示画像の移動または変更量を指示するための操作量指示線を生成し、前記モニタに表示される前記遠隔カメラの膨映像に HE操作量指示線を重畳して表示するよう構成される。

このような遠隔力メラ操作方法によれば、操は移動カーソルやズームフレームからどの位置まで旋回する力、また、どの大きさまでズーミングするかを知ることができるので過度の力メラ操作を行うことを防止でき、所望のカメラ操作を短時間で行うことができ、実装規模が小さくて済みコストを抑えることができることができる。図面の簡単な説明

図 1は、従来の遠隔カメラ操作方法の概念図である。

図 2は、従来の遠隔力メラ操作方法の概念図である。

図 3は、本発明の遠隔カメラ操作方法を用いたシステムの一実施例のプロック図である。

図 4は、遠隔操作支援装置が実行する旋回処理のフローチヤ一トである。図 5は、旋回処理におけるモニタの表示画像を示す図である。

図 6は、旋回処理におけるモニタの表示画像を示す図である。

図 7は、移動画素数 Q xの算出方法を説明するための図である。

図 8は、遠隔操作支援装置が実行するズーム処理のフロ一チヤ一トである。図 9は、ズーム処理におけるモニタの表示画像を示す図である。

図 1 0は、ズーム処理におけるモニタの表示画像を示す図である。

図 1 1は、ズームアップ時の移動画素数 Q z Xの算出方法を説明するための図である。

図 1 2は、ズームダウン時の移動画素数 Q z Xの算出方法を説明するための図である。発明を実施するための最良の形態

以下、本発明の実施例を図面に基づいて説明する。

図 3は、本発明の遠隔カメラ操作方法を用いたシステムの一実施例のプロック図を示す。同図中、例えば監視現場に置力ゝれた遠隔カメラ 1 0はズーム機能を有しており、水平垂直旋回台 1 2上に固定されている。水平垂直旋回台 1 2は、遠隔カメラ 1 0の縦横方向の旋回機能を有している。遠隔カメラ 1 0で撮影された映像信号は画像符号化装置 1 4に供給されて、例えば MP E G— 2 (M o V i n g P i c t u r e E e r t s G r o u _ 2 ) で符号ィ匕される。この符号化映像データは I Pネットワーク 1 6を通し、例えば監視センタに置力れた復号化装置 1 8に伝送され、ここで復号ィ匕される。複号化 «信号は遠隔操作支援装置 2 0内の画像処理部 2 2に供給される。また、これと共に、遠隔力メラ 1 0から画角情報（ズーム状態量）が I Pネットワーク 1 6を通し遠隔操作支援装置 2 0内の力メラ情報受信部 2 4に供給されている。

画像処理部 2 2で処理された映像はモニタ 3 0に表示される。操作者はモニタ 3 0に表示される映像を見ながらカメラ操作部 3 2を用いて遠隔カメラ 1 0の旋回及ぴズーミングを操作する。力メラ操作部 3 2は上記操作に応じた旋回またはズーミングの力メラ操作制御信号を発生して遠隔操作支援装置 2 0内の制御指示部 2 6に供給する。

制御指示部 2 6はカメラ操作制御信号を画像処理部 2 2に供給すると共に、力メラ操作制御信号を I Pネットワーク 1 6を通して遠隔カメラ 1 0及び水平垂直旋回台 1 2に伝送する。画像処理部 2 2はカメラ操作制御信号を供給されると、カメラ情報受信部 2 4からの画角情報と上記カメラ操作制御信号から、カメラ操作制御信号による映像の水平及び垂直移動画素数を演算し、この水平及び垂直移動画素数に応じた水平及び垂直カーソルまたはフレームエッジの映像信号を生成し、上記水平及び垂直カーソルまたはフレームエッジの映像信号を復号化装置 1 8から供給される復号化 5¾|象信号に重畳する。これによつて、モニタ 3 0には力メラ操作部 3 2による操作を表す水平及び垂直カーソルまたはフレームエッジが付加して遠隔カメラ 1 0で撮影された «が表示される。

図 4は、遠隔操作支援装置 2 0が実行する旋回処理のフローチャートを示す。この処理は、カメラ操作部 3 2による水平及ぴ垂直旋回操作によって開始される。なお、カメラ情報受信部 2 4には、前回のズーム処理を終了した時点で遠隔カメラ 1 0から伝送された画角情報（水平方向画角 Θ h及び垂直方向画角 θ V ) を保持している。図 4において、ステップ S 1 0で制御指示部 26はカメラ操作部 32からカメラ操作制御信号として供給される水平及び垂直旋回量（ θ Η， θ V) を受け取つて、遠隔力メラ 1 0に伝送すると共に画像処理部 22に供給する。図 5 ( A)，図 6 (A) に、この状態の表示画像を示す。

水平及び垂直旋回量（0 Η， θ V) を受け取った画像処理部 22は、ステップ S 1 2で表示画像における水平及び垂直の中央位置に¾綠及ぴ横線で形成される基準カーソルを線で表示する。

次に、ステップ S 14で画像処理部 22は指示された水平及ぴ垂直旋回量（0 H, θ V) に対する画像の水平及び垂直移動画素数 (Qx, Qy) を次式により演算する。ここでは、現在の遠隔力メラ 1 0の水平及び垂直方向の画角を 0 h， 0 Vとし、右旋回：一π/2く 0 Hく 0、左旋回： 0く 0 Ηく兀 2、かつ、 | 0 Η |く 0 h/2とし、下旋回： _πΖ2<θν<0、上旋回： 0く 0 Vく πΖ 2、かつ、 I 0 V iく 0 νΖ2とする。なお、モユタ 30の水平及び垂直方向の最大画素数 Ρ X, P y (表示画面の横幅及び縦幅の画素数であり、例えば P = 800， P y= 600) とする。

Qx = P x/2 X [ t a η Θ H/ t a n (Θ h/2)] … （1)

Qy = P y/2 X [ t a n θ V/ t a n (Θ v/2)] … (2) ステップ S 1 6で画像処理部 2 2は表示画像の水平及ぴ垂直の中央位置から (1), (2) 式で得られた水平及び垂直移動画素数 (Qx, Qy) それぞれだけ移動した位置に垂及ぴ横線で形成される移動カーソルを実線で表示する。図 5 ( B ) に水平方向に旋回した場合の基準力一ソル及び移動力一ソルを重畳した表示画像を示し、図 6 (B) に垂直方向に旋回した場合の基準カーソル及び移動力一ソルを重畳した表示画像を示す。

操は、この表示画像から移動カーソルが所望の位置となるように、更に力メラ操作部 32を操作する。ステップ S 1 8で制御指示部 26はカメラ操作部 3 2から操作確定指示が供給されたカゝ否かを判別し、操 ί«定指示が供給されない場合にはステップ S 1 0に進んで上記の処理を繰り返す。

操作確定指示が供給されるとステップ S 20に進み、カメラ情報受信部 24で遠隔カメラ 1 0からネットワーク 1 6を通して供給される制御終了信号及び画角情報を受信したカゝ否かを判別し、受信した場合はステップ S 22で画像処理部 2 2は基準カーソル及び移動カーソルを消去して処理を終了する。なお、カメラ情報受信部 24は上記画角情報を保持しておく。

図 5 (C) に水平方向に旋回した場合の制御終了信号受信直前における基準力一ソル及び移動カーソルを重畳した表示画像を示し、図 6 (C) に垂直方向に旋回した場合の制御終了信号受信直前における基準カーソル及び移動カーソルを重畳した表示画像を示す。

ここで、（1)，（2)式について説明する。図 7に示すように、遠隔カメラ 10 の焦点距離 R、比例定数 ο;とすると、移動画素数 Q Xは（ 1一 1 )式で表される。

Q = a XRX t a η ΘΗ ·'· (1— 1) 単位角当たりの対応画素数である比例定数は、画角 Θ hで最大画素数 P Xを表示しているので次式が得られる。

a = Px/2 [l/ {RX t a n (0 h/2)}] "- (1— 2) 上記の（1— 2) 式を（1— 2) 式に代入して（1) 式が得られる。（2) 式についても同様にして求められる。

図 8は、遠隔操作支援装置 20が実行するズーム処理のフ口一チヤ一トを示す。この処理は、カメラ操作部 32によるズーム操作によって開始される。なお、力メラ情報受信部 24には、前回のズーム処理を終了した時点で遠隔カメラ 10から伝送された画角情報（水平方向画角 Θ h及ぴ垂直方向画角 Θ v) を保持している。

図 8において、ステップ S 30で制御指示部 26はカメラ操作部 32からカメラ操作制御信号として供給されるズーム量（水平方向の画角変更量 0 ZH, 垂直方向の画角変更量 0 ZV) を受け取って、遠隔カメラ 10に伝送すると共に画像処理部 22に供給する。図 9 (A)，図 10 (A)に、この状態の表示画像を示す。ズーム量（0 ΖΗ， Θ ZV) を受け取った画像処理部 22は、ステップ S 32 で表示画像の水平及び垂直の中央位置から上下方向に画面縦幅の 1 ,4の位置の横線と左右方向に画面横幅の 1 Z 4の位置の縱镍を連続させて形成したズーミング前の画角を示す基準フレームを TOで表示する。

次に、ステップ S 34で画像処理部 22は指示されたズーム角（ 0 Z H, θ Z V) に対する画像の水平及び垂直ズーム移動画素数 (Q z X, Qzy) を次式により演算する。ここでは、正の値をズームアップ（望遠側)、負の値をズームダウン（広角側）とする。なお、モニタ 30の水平及び垂直方向の最大画素数 Px， Py (例えば Px = 800， Py = 600) とする。

Q z x= I P x/2

X {[t a n (Θ h/2 + θ ZH) / t a n (Θ h/2)] -1} | …（3) Qz y= I P y/2

X {[t a n (0 v/2+0 ZV) /t a n (θ /2)] -1} | -" (4) ステップ S 36で画像処理部 22は基準フレームの内側（ズームァップ時）または外側（ズームダウン時）の（3)，（4) 式で得られた水平及び垂直ズーム移動画素数（Q_Z χ， Qz y) の位置にズームフレームを実線で表示する。このズームフレームはズーミングにより拡大または縮小する基準フレームの画角を示している。図 9 (B) にズームアップした場合の基準フレーム及びズームフレームを重畳した表示画像を示し、図 10 (B) にズームダウンした場合の基準フレーム及びズームフレームを重畳した表示画像を示す。

操作者は、この表示画像からズームフレームが所望の大きさとなるように、更に力メラ操作部 32を操作する。ステップ S 38で制御指示部 26はカメラ操作部³2から操作確定指示が供給されたカゝ否かを判別し、操作確定指示が供給されない場合にはステップ S 30に進んで上記の処理を繰り返す。

操作確定指示が供給されるとステップ S 40に進み、カメラ情報受信部 24で遠隔カメラ 10からネットワーク 16を通して供給される制御終了信号及ぴ画角情報を受信したカゝ否かを判別し、受信した場合はステップ S 42で画像処理部 2 2は基準フレーム及びズームフレームを消去して処理を終了する。なお、カメラ情報受信部 24は上記画角情報を保持しておく。

'図 9 (C) にズームアップした場合の制御終了信号受信直前における基準フレーム及びズームフレームを重畳した表示画像を示し、図 10 (C) にズームダウンした場合の制御終了信号受信直前における基準フレーム及びズームフレームを重畳した表示画像を示す。このように、制御終了信号受信直前では基準フレームとズームフレームが重なって表示される。ここで、（3)，（4) 式について説明する。図 1 1に示すズームアップの^、遠隔カメラ 1 0の焦点距離 R、ズーム角（画角の変量） 0 ZHとして、ズーム移動画素数 Q z xは Q， z xと等価でので、幾何学的に Q' z xを求める。幅 Aの画素数は（1) 式と同様にして（3— 1) 式で表される。

Α=Ρ χ/2 Χ [t a n (0 h/2+ 0 ZH) / t a n (0 h/2)]

… (3- 1) 幅 Bの画素数である Q' z X (即ち Q z x) は、次式で表される。

=P x/2-P x/2

X [t a n (θ h/2+ θ ΖΗ) /t a n (θ h/2)]

… (3- 2) 図 1 2に示すズームダウンの場合、ズーム移動画素数 Q z Xは Q， z Xと等価でので、幾何学的に Q' z Xを求める。幅 Aの画素数は（1)式と同様にして（3 一 3) 式で表される。

A=P x/2 X [ t a n (θ /2 + θ ZH) / t a n ( θ h/2)]

… (3-3) 幅 Bの画素数である Q， z X (即ち Q z x) は、次式で表される。

Q z x=A-Px/2

= P x/2 X [t a n (θ h/2 + Θ Η) /t a n ( θ h/2)]

この（3— 2)， (3-4) 式それぞれを整理し、統合することで（3) 式が得られる。（4) 式についても同様にして求められる。

このように、操作指示を行うための判断基準となる映像（過去の映像）に基準カーソルと移動カーソル、及び基準フレームとズームフレームからなる操作量指示線を表示することにより、操作者は移動カーソルやズームフレームからどの位置まで旋回する力また、どの大きさまでズーミングするかを知ることができるため、 1度の操作で旋回ゃズーミングを決定でき過度のカメラ操作を行うこと力なくなり、所望の旋回位置及ぴズーミング度合いを得るまでの時間が短縮される。また、過度の操作による操^ の心理的ストレスを軽減することができる。また、旋回速度やズーム速度等が異なるカメラを操作する場合でも、一様な操作性を得ることができ、実装においても規模が小さくて済み、開発コストや既存システムへの導入コストを抑えることができる。 '

なお、画像処理部 2 2が請求項記載の操作量指示線生成手段に対応する。

Claims

請求の範囲

1 . 遠隔カメラで撮影した像をネットワーク経由で伝送されモニタに表示すると共に、前記モニタ近傍のカメラ操作部から前記ネットワーク経由で前記遠隔カメラまでカメラ操作制御信号を伝送して前記遠隔カメラを操作する遠隔カメラ操作方法において、

前記カメラ操作部で行った遠隔カメラの操作による表示画像の移動または変更量を指示するための操作量指示線を生成し、前記モニタに表示される前記遠隔力メラの映像に前記操作量指示線を重畳して表示する遠隔カメラ操作方法。

2. 請求項 1記載の遠隔力メラ操作方法にぉヽて、

前記操作量指示線は、前記遠隔カメラの上下左右の旋回操作前の基立置を示す基準カーソルと、前記遠隔カメラの旋回操作後における移動した基準位置を示す移動カーソルである遠隔カメラ操作方法。

3. 請求項 1記載の遠隔カメラ操作方法において、

前記操作量指示線は、前記遠隔カメラのズーミング操作前の画角を示す基準フレームと、 ΙίίΙΒ遠隔カメラのズーミング操作後における変更した基準フレームの画角を示すズームフレームである遠隔カメラ操作方法。

4. 遠隔カメラで撮影した映像をネットワーク経由で伝送されモニタに表示すると共に、前記モニタ近傍のカメラ操作部から前記ネットワーク経由で前記遠隔カメラまでカメラ操作制御信号を伝送して前記遠隔カメラを操作する遠隔カメラ操作装置であって、

前記カメラ操作部で行った遠隔カメラの操作による表示画像の移動または変更量を指示するための操作量指示線を生成する操作量指示線生成手段を有し、前記モニタに表示される前記遠隔力メラの撮影映像に前記操作量指示線を重畳して表示する遠隔カメラ操作装置。

5. 請求項 4記載の遠隔カメラ操作装置において、

嫌己操作量指示線生成手段は、 tiilE遠隔カメラの上下左右の旋回操作前の基準位置を示す基準カーソルと、前記遠隔カメラの旋回操作後における移動した基準位置を示す移動カーソルを前記操作量指示線として生成する遠隔カメラ操作装置。

6 . 請求項 4記載の遠隔カメラ操作装置において、

前記操作量指示線生成手段は、前記遠隔力メラのズーミング操作前の画角を示す基準フレームと、前記遠隔カメラのズーミング操作後における変更した基準フレームの画角を示すズームフレームを操作量指示線として生成する遠隔カメラ操作装置。

7. 請求項 5記載の遠隔カメラ操作装置において、

前記操作量指示線生成手段は、前記モニタの表示画像の水平及び垂直の中央位置に »镍及ぴ横線で前記基準カーソルを形成する遠隔カメラ操作装置。

8. 請求項 7記載の遠隔力メラ操作装置にぉ、て、

前記操作量指示線生成手段は、廳己カメラ操作制御信号としての水平及び垂直旋回量と前記遠隔力メラの画角情報に応じた水平及び垂直移動画素数を演算し、前記基準カーソルから前記水平及び垂直移動画素数だけ移動した位置に |¾镞及ぴ横線で前記移動カーソルを形成する遠隔力メラ操作装置。

9. 請求項 6記載の遠隔カメラ操作装置において、

前記操作量指示線生成手段は、前記モニタの表示画像の水平及び垂直の中央位置から上下方向に画面縦幅の 1 /4の位置の横線と左右方向に画面横幅の 1 4 の位置の锒を連続させて前記基準フレームを形成する遠隔カメラ操作装置。

1 0. 請求項 9記載の遠隔カメラ操作装置において、

嫌己操作量指示線生成手段は、前記カメラ操作制御信号としての水平及び垂直方向の画角変更量と ttna遠隔力メラの画角情報に応じた水平及び垂直移動画素数を演算し、 tHIB基準フレームから前記水平及ぴ垂直移動画素数だけ内側または外側の位置に前記ズームフレームを形成する遠隔カメラ操作装置。