JP3934521B2

JP3934521B2 - Video remote control device, video remote control method, video remote control program, and recording medium recording video remote control program

Info

Publication number: JP3934521B2
Application number: JP2002291739A
Authority: JP
Inventors: 智樹渡部; 浩樹安西; 克己岸田; 俊介小長井
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-10-04
Filing date: 2002-10-04
Publication date: 2007-06-20
Anticipated expiration: 2022-10-04
Also published as: JP2004128997A

Description

【０００１】
【発明の属する技術分野】
本発明は，遠隔カメラの制御装置にかかわり，特に当該カメラの映像を見ている携帯端末等を移動させることにより，パン，チルト，ズームのカメラ制御を行うことが可能な装置および方法に関する。
【０００２】
【従来の技術】
従来，遠隔にあるカメラを制御する方法として，遠隔からパソコンや携帯端末などを用いて，遠隔カメラに対し，パン，チルト，ズーム等のカメラ制御信号をユーザがボタン押下などの操作により送出することによって動作制御を行う方法が用いられている。
【０００３】
例えば，雲台に設置されたカメラをコントローラからの遠隔操作により，雲台の駆動モータを回転させることによって遠隔制御する方法があった（特許文献１参照。）。
【０００４】
【特許文献１】
特開平１１−２０５７７５号公報
【０００５】
【発明が解決しようとする課題】
しかし，上記特許文献１に記載された従来技術は，設置されたカメラの方向あるいは状態をコントローラを用いて変更させるものであるため，ボタン操作等の煩わしい操作が必要であり，ユーザの直感的な操作によりカメラの動作制御をすることが困難であった。
【０００６】
本発明は，上記従来技術の問題点を解決し，パン，チルト，ズーム等の遠隔に設置したカメラ制御のためのボタン押下等の煩わしい操作を不要とし，単にカメラの映像を見ている携帯端末の見たい方向への物理的な移動というユーザの直感的な操作により，遠隔制御を実現する装置または方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため，本発明は，例えばユーザの所有する携帯端末にカメラを装着し，その携帯端末を移動させた角度・距離などの移動量をユーザのカメラで撮影された映像の変化分により測定し，遠隔に設置されたカメラを同等の移動量となるように動作制御する。すなわち，コンピュータからの信号により，パン，チルト，ズームの各動作制御が可能なカメラに対し，ユーザがカメラの映像を見ている携帯端末等の映像入出力手段を物理的に上下，左右，前後に移動させると，その移動情報をコンピュータに送信し，移動した移動量を計測させ，実際に携帯端末等を移動した角度・距離と同じようにカメラの撮影の向きやズームを動作させる。
【０００８】
【発明の実施の形態】
以下，本発明の実施の形態の説明では，映像入出力手段としてカメラ付き携帯端末を用いる例を説明するが，本発明は，カメラ付き携帯端末以外の映像入出力手段を用いる場合にも同様に適用することができる。
【０００９】
本発明の具体的な実施の形態を説明するに先立ち，図１および図２に従って，本発明の原理を説明する。図１および図２は，本発明の原理を説明するための図であり，例として位置ａから位置ｂに携帯端末の向きを移動させた場合を示している。図１において，１は遠隔カメラの動作を制御し映像を送受信するサーバ装置である映像遠隔制御装置，２は被写体を撮影する遠隔カメラ，３は遠隔カメラで撮影された映像を映像遠隔制御装置から受信して表示するとともに，装着されたカメラにより撮影したユーザ周辺の映像を映像遠隔制御装置にリアルタイムに送信する携帯端末である。
【００１０】
図１のような状況で，ユーザは携帯端末３の位置ａで遠隔カメラ２（位置Ａ）の映像を見ている。右の方向を見るために，位置ａから位置ｂに携帯端末３を右４５度に向けると，図２（Ａ）のように，携帯端末３で撮影されている映像の被写体は，全体的に左に流れる。映像が左に流れたということは，撮影したカメラは右にパンしたことになる。また，図２（Ｂ）の扉の右端が図２（Ｃ）の位置に移動しており，この差分を映像が移動した距離（携帯映像移動距離）として算出できる。
【００１１】
ここで，位置ａ，ｂでのカメラの焦点距離を取得すれば，逆三角関数を適用することで，移動角度の右４５度を算出できる。この移動角度４５度をもとに，遠隔カメラ２を動作させるために必要な制御信号を遠隔カメラ２に対して与えることで，遠隔カメラ２の向きを位置Ａから右４５度の位置Ｂへ移動させ，その映像を携帯端末３で見ることが可能となる。詳細については後述する。
【００１２】
また，本発明は，遠隔カメラ２と映像遠隔制御装置１，あるいは映像遠隔制御装置１と携帯端末３との間を双方向で通信可能なネットワークにより接続することで，移動量の測定と制御信号の生成にかかわる部分についての負荷の分散が可能となる。また，本発明は，制御の開始と終了を指示する手段を適用することにより，携帯端末３で映像を見ながら歩行する場合などの期待しない制御を防ぐことが可能となる。
【００１３】
図３は，映像遠隔制御装置１，遠隔カメラ２，携帯端末３の構成例を示す図である。図３において，４は遠隔カメラ２が撮影した被写体の映像を映像遠隔制御装置１へ伝送するとともに，映像遠隔制御装置１から遠隔カメラ２に送信される制御信号を伝送する遠隔伝送手段，５は映像遠隔制御装置１が中継する遠隔カメラ２が撮影した映像を携帯端末３へ送信するとともに，携帯端末３が撮影した映像を映像遠隔制御装置１へ伝送する携帯伝送手段である。
【００１４】
映像遠隔制御装置１において，１１は携帯端末３が撮影したユーザ周辺の映像を受信する携帯映像受信手段，１２は携帯映像受信手段１１が受信した映像の変化を検出して携帯端末３が移動した方向，距離を測定する携帯移動量測定手段，１３は測定された携帯端末３の移動した方向，距離と同等に遠隔カメラ２が動作するために必要な制御信号を生成する制御信号算出手段，１４は生成した制御信号を遠隔カメラ２に送信する制御信号伝送手段，１５は遠隔カメラ２が撮影した映像を携帯端末３に中継する映像中継手段である。
【００１５】
また，遠隔カメラ２において，２１は被写体を撮影する遠隔地撮影手段，２２は撮影した映像を映像遠隔制御装置１の映像中継手段１５に送信する遠隔地映像伝送手段，２３は映像遠隔制御装置１から送信された制御信号を受信する制御信号受信手段，２４は受信した制御信号に基づいて遠隔カメラ２のパン，チルト，ズーム等の動作を実行するためのカメラ動作手段である。
【００１６】
また，携帯端末３において，３１は遠隔カメラ２の遠隔地撮影手段２１が撮影した映像を映像遠隔制御装置１の映像中継手段１５を介して受信する映像受信手段，３２は映像受信手段３１が受信した映像を表示する映像表示手段，３３はユーザ周辺の映像を撮影する携帯撮影手段，３４は携帯撮影手段３３が撮影したユーザ周辺の映像を映像遠隔制御装置１の携帯映像受信手段１１に送信する映像送信手段である。
【００１７】
遠隔カメラ２と映像遠隔制御装置１，映像遠隔制御装置１と携帯端末３とは，双方向に通信可能なネットワークあるいは直接接続によりそれぞれ遠隔伝送手段４，携帯伝送手段５を介して信号のやりとりを行う。遠隔カメラ２は，遠隔地撮影手段２１により撮影された映像を，遠隔地映像伝送手段２２から遠隔伝送手段４を介して映像遠隔制御装置１の映像中継手段１５へ送信する。
【００１８】
映像中継手段１５は，受信した映像をそのまま，あるいは携帯端末３で表示できるような形式に変換を行い，携帯伝送手段５を介して携帯端末３の映像受信手段３１に送信する。なお，遠隔カメラ２が撮影する映像はビデオカメラなどの連続的な映像のことを指し，遠隔カメラ２から携帯端末３までリアルタイムに映像が送信されているものとする。
【００１９】
携帯端末３の映像表示手段３２は，映像受信手段３１が受信した映像をユーザが見えるように表示する。携帯端末３では，少なくとも遠隔カメラ２の映像を受信しているときでユーザからの指示があっときには，携帯端末３に固定に装着された携帯撮影手段３３によりユーザ周辺の映像を撮影し，映像送信手段３４から携帯伝送手段５を介して映像遠隔制御装置１の携帯映像受信手段１１に送信する。携帯端末３で撮影した映像も，遠隔カメラ２で撮影した映像と同様に，リアルタイムで映像遠隔制御装置１に送られるものとする。携帯端末３で撮影した映像を送信する際の映像の空間解像度，時間解像度は粗くてもよい。
【００２０】
ここでユーザは，表示された遠隔カメラ２の映像を見て，カメラを右にパンして右の方向を見たいと思い，映像を表示しているその携帯端末３を見たい右の方向に向けたとする。携帯端末３の向きを変えたことにより，携帯端末３に固定で装着された携帯撮影手段３３の撮影する映像も動かした分だけ移動しており，移動の開始から終了までの映像は携帯映像受信手段１１に送られている。
【００２１】
携帯移動量測定手段１２は，携帯映像受信手段１１が受信している映像に，上下・左右の変化，また被写体の大小の変化がないかを常に監視する。変化があった場合には，撮影された対象物の移動方向あるいは大きさの変化により携帯端末３が実際に移動した方向，距離を測定する。具体的な測定方法については後述する。
【００２２】
制御信号算出手段１３は，測定された実際の携帯端末３の方向，距離と同等に遠隔カメラ２が動作するために必要な制御信号を生成する。制御信号伝送手段１４，遠隔伝送手段４を介して，制御信号を遠隔カメラ２の制御信号受信手段２３に送信する。
【００２３】
遠隔カメラ２では，制御信号受信手段２３で受信した制御信号に基づき，カメラ動作手段２４により，実際にカメラのパン，チルト，ズームの動作を実行する。カメラ動作手段２４は，遠隔カメラ２を設置した雲台を動作させる手段であっても良いし，全方向撮影できるカメラであれは直接カメラに撮影方向あるいはズームなどの制御信号を与えて動作させる手段でも良い。
【００２４】
以上に説明したように，遠隔カメラ２の映像を見ている携帯端末３を左右・上下・前後に，あたかも遠隔カメラ２をその通りに操作しているかのように直感的に移動させるだけで，遠隔操作により遠隔カメラ２を見たい方向に移動させることが可能となる。
【００２５】
以下，携帯移動量測定手段１２における具体的な測定方法について，図４に従って一例を示す。図２の原理説明図で示したように，被写体の全部あるいは一部が画面内で移動した方向と，携帯映像移動距離（Ｍ）を測定する。被写体が左に移動していたら携帯端末３は右方向に，下に移動していたら携帯端末３は上に移動したことになる。
【００２６】
図４のように，携帯端末（ユーザ）の位置から被写体までの距離は，カメラの焦点距離（Ｄ）により取得できる。ここでは説明を簡単にするために，移動の前後でカメラの焦点距離は変わらないものとする。
【００２７】
以上により，携帯端末３をユーザが移動させた移動角度θは，次の式により求めることができる。
【００２８】

また，図５のように，被写体の大小の変化が検出された場合には，ズームによる拡大あるいは縮小と判断し，これと同様にカメラのズームを制御する。この場合，ズーム量は特に規定しない。
【００２９】
なお，特に正確な角度を算出しなくても，携帯端末３が動いた方向を測定するだけでも本発明の効果は発揮でき，より簡易な構成により実施できるというメリットが生じる。
【００３０】
図６は，本発明の実施の形態における遠隔カメラ２の動作制御のシーケンス図である。まず，携帯端末３から遠隔カメラ２へのアクセスを実行すると（Ａ），遠隔カメラ２が，撮影した映像を映像遠隔制御装置１へ送信し（Ｂ），映像遠隔制御装置１において，携帯端末３で表示可能なように映像を変換して携帯端末３へと送信する（Ｃ）。
【００３１】
携帯端末３では，受信した遠隔カメラ映像を表示する（Ｄ）。また，携帯端末３に固定に装着されたカメラ（携帯撮影手段３３）でユーザ周辺を撮影し（Ｅ），撮影した映像を映像遠隔制御装置１へ連続的にリアルタイムに送信する（Ｆ）。また，ユーザは，必要であれば，随時携帯端末３を見たい方向に移動させる（Ｇ）。
【００３２】
映像遠隔制御装置１では，携帯端末３からの映像を受信すると，リアルタイムに映像の変化を検出し（Ｈ），変化があるとその変化量を測定する（Ｉ）。映像の変化量としては少なくとも移動角度，または平行移動量もしくは回転移動量を含む。そして，変化量と同等の遠隔カメラ２の動作をさせるための制御量を算出し（Ｊ），制御信号を遠隔カメラ２に送信する（Ｋ）。制御信号を受信した遠隔カメラ２は，この制御信号に基づきパン・チルト・ズーム等の動作を実行する（Ｌ）。
【００３３】
なお，カメラ操作は，よく知られているように，パン（左右回転移動），チルト（上下回転移動），ローテーション（撮影公報への回転），トラック（左右平行移動），ドリー（前後平行移動），ブーム（上下平行移動），ズーム（撮影視野の大きさの変更）の７つある。本実施の形態で用いる遠隔カメラ２は固定式で，パン，チルト，ズームが扱えることを前提としているが，撮影された映像からパンとトラック（左右移動関係），チルトとブーム（上下移動関係），ズームとドリー（撮影された大きさの変更関係）は，一般には区別がつかない。よって，本実施の形態において，遠隔カメラ２への制御信号としては，パン，チルト，ズームを扱う。例えば，実際に携帯端末３でトラックが行われたとしても，撮影された映像からはパンとトラックの区別がつかないため，パンとして扱うこととする。
【００３４】
図７は，携帯端末３のフローチャートである。携帯端末３は，遠隔カメラ２にアクセスし（ステップＳ１），映像遠隔制御装置１経由で送られてきた遠隔カメラ２からの映像を受信したならば，それを表示する（ステップＳ２）。また，携帯撮影手段３３で撮影したユーザ周辺の映像を，映像遠隔制御装置１へ送信する（ステップＳ３）。遠隔カメラ２で撮影された映像をユーザが見たい方向に移動させたい場合，その見たい方向に携帯撮影手段３３を移動させる（ステップＳ４）。以上のステップＳ２〜Ｓ４を，終了の指示があるまで繰り返す（ステップＳ５）。
【００３５】
図８は，映像遠隔制御装置１の映像送信フローチャートである。携帯端末３からの遠隔カメラ２へのアクセスがあるのを待ち，アクセスがあればステップＳ１１へ進む（ステップＳ１０）。映像を遠隔カメラ２から受信する（ステップＳ１１）。次に，受信した映像を携帯端末３で表示可能なように変換して，携帯端末３へ送信する（ステップＳ１２）。ここで，変換とはサイズの変換，解像度の変換，圧縮符号化などであり，携帯端末３の属性等により必要に応じて行われる。以上のステップＳ１１〜Ｓ１２を，携帯端末３からの終了の指示があるまで繰り返す（ステップＳ１３）。
【００３６】
また，図９は，映像遠隔制御装置１による遠隔カメラ２の動作制御フローチャートである。映像遠隔制御装置１は，携帯端末３の携帯撮影手段３３で撮影された映像を受信し（ステップＳ２０），受信した携帯端末３の映像に変化があるかどうかを調べる（ステップＳ２１）。受信した携帯端末３の映像に変化があった場合，携帯端末３からの映像の変化量を測定する（ステップＳ２２）。変化量を測定する時間間隔は，あらかじめ任意に定めることができる。次に，測定した変化量に見合う遠隔カメラ２の制御量を算出し（ステップＳ２３），算出した制御量からパン・チルト・ズーム等の制御信号を生成して遠隔カメラ２に送信する（ステップＳ２４）。制御信号を受信した遠隔カメラ２は，この制御信号に基づきパン・チルト・ズーム等の動作を実行することになる。以上のステップＳ２０〜Ｓ２４を，終了の指示があるまで繰り返す（ステップＳ２５）。
【００３７】
以上のようにして，遠隔カメラ２の映像を見ている携帯端末３を左右・上下・前後に，あたかも遠隔カメラ２をその通りに操作しているかのように直感的に移動させるだけで，遠隔カメラ２を見たい方向に移動させることが可能となる。
【００３８】
以上の映像遠隔制御装置１が行う処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納して，そこから読み出すことによりコンピュータに実行させることができる。
【００３９】
【発明の効果】
本発明によれば，遠隔カメラの操作を，映像を見ている携帯端末等の映像入出力手段の直感的な操作により実現できる。例えば，カメラ映像のもっと右を見たいときには，映像入出力手段を右に動かすと遠隔カメラが右にパンし，右の映像を映像入出力手段で見ることができる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】本発明の原理説明図である。
【図３】映像遠隔制御装置，遠隔カメラ，携帯端末の構成図である。
【図４】携帯端末が移動した方向，距離の測定を説明する図である。
【図５】ズームによる被写体の拡大を示す図である。
【図６】遠隔カメラの動作制御のシーケンス図の一例である。
【図７】携帯端末のフローチャートである。
【図８】映像遠隔制御装置の映像送信フローチャートである。
【図９】映像遠隔制御装置による遠隔カメラの動作制御フローチャートである。
【符号の説明】
１映像遠隔制御装置
２遠隔カメラ
３携帯端末
４遠隔伝送手段
５携帯伝送手段
１１携帯映像受信手段
１２携帯移動量測定手段
１３制御信号算出手段
１４制御信号伝送手段
１５映像中継手段
２１遠隔地撮影手段
２２遠隔地映像伝送手段
２３制御信号受信手段
２４カメラ動作手段
３１映像受信手段
３２映像表示手段
３３携帯撮影手段
３４映像送信手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a remote camera control apparatus, and more particularly, to an apparatus and method capable of performing pan, tilt, and zoom camera control by moving a portable terminal or the like that is viewing an image of the camera.
[0002]
[Prior art]
Conventionally, as a method of controlling a remote camera, the user sends a camera control signal such as pan, tilt, zoom, etc. to the remote camera by operating the button by using a personal computer or a portable terminal from a remote location. A method of controlling the operation is used.
[0003]
For example, there has been a method of remotely controlling a camera installed on a pan head by rotating a pan head drive motor by remote control from a controller (see Patent Document 1).
[0004]
[Patent Document 1]
JP-A-11-205775
[Problems to be solved by the invention]
However, since the prior art described in Patent Document 1 changes the direction or state of the installed camera using a controller, it requires a cumbersome operation such as a button operation, which is intuitive to the user. It was difficult to control the operation of the camera by operation.
[0006]
The present invention solves the above-described problems of the prior art, eliminates the need for troublesome operations such as panning, tilting, zooming, etc., for remote control of a camera, such as pressing a button for camera control, and simply viewing a camera image. An object of the present invention is to provide an apparatus or a method for realizing remote control by a user's intuitive operation of physical movement in a desired direction.
[0007]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention, for example, attaches a camera to a mobile terminal owned by the user, and changes the amount of movement such as an angle and a distance of moving the mobile terminal by a change amount of a video captured by the user's camera. And control the operation of a remotely installed camera so that the amount of movement is the same. In other words, for a camera that can control pan, tilt, and zoom operations using a signal from the computer, the video input / output means of the mobile terminal or the like where the user is viewing the video from the camera is physically moved up and down, left and right, and front and rear. The movement information is transmitted to the computer, the amount of movement is measured, and the shooting direction and zoom of the camera are operated in the same manner as the angle / distance where the mobile terminal or the like is actually moved.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
In the following description of the embodiments of the present invention, an example in which a camera-equipped mobile terminal is used as the video input / output means will be described. However, the present invention also applies to a case where video input / output means other than the camera-equipped mobile terminal is used. Can be applied.
[0009]
Prior to describing a specific embodiment of the present invention, the principle of the present invention will be described with reference to FIGS. 1 and 2 are diagrams for explaining the principle of the present invention, and show a case where the orientation of the mobile terminal is moved from position a to position b as an example. In FIG. 1, 1 is a video remote control device that is a server device that controls the operation of the remote camera and transmits and receives video, 2 is a remote camera that captures a subject, and 3 is a video captured by the remote camera from the video remote control device. It is a portable terminal that receives and displays, and transmits in real time video around the user captured by the attached camera to the video remote control device.
[0010]
In the situation as shown in FIG. 1, the user is viewing the video of the remote camera 2 (position A) at the position a of the mobile terminal 3. When the mobile terminal 3 is turned 45 degrees to the right from the position a to the position b in order to see the right direction, as shown in FIG. Flows to the left. The fact that the video has flowed to the left means that the photographed camera has panned to the right. Also, the right end of the door in FIG. 2B has moved to the position in FIG. 2C, and this difference can be calculated as the distance that the video has moved (portable video moving distance).
[0011]
Here, if the camera focal lengths at the positions a and b are acquired, the right 45 degrees of the moving angle can be calculated by applying the inverse trigonometric function. Based on this movement angle of 45 degrees, the control signal necessary to operate the remote camera 2 is given to the remote camera 2 to move the direction of the remote camera 2 from the position A to the position B of 45 degrees to the right. The video can be viewed on the mobile terminal 3. Details will be described later.
[0012]
Further, the present invention connects the remote camera 2 and the video remote control device 1 or the video remote control device 1 and the portable terminal 3 by a network capable of bidirectional communication, thereby measuring the movement amount and the control signal. It becomes possible to distribute the load on the part related to the generation of. In addition, by applying means for instructing the start and end of control, the present invention can prevent unexpected control such as when walking while watching video on the mobile terminal 3.
[0013]
FIG. 3 is a diagram illustrating a configuration example of the video remote control device 1, the remote camera 2, and the mobile terminal 3. In FIG. 3, reference numeral 4 denotes a remote transmission means for transmitting an image of a subject photographed by the remote camera 2 to the video remote control device 1 and transmitting a control signal transmitted from the video remote control device 1 to the remote camera 2. This is a portable transmission means for transmitting the video captured by the remote camera 2 relayed by the video remote control device 1 to the mobile terminal 3 and transmitting the video captured by the mobile terminal 3 to the video remote control device 1.
[0014]
In the video

remote control device

1, 11 is a mobile video receiving means for receiving a video around the user taken by the

mobile terminal

3, and 12 is a mobile terminal 3 that has moved by detecting a change in the video received by the mobile video receiving means 11. Mobile movement amount measuring means 13 for measuring the direction and distance, 13 is a control signal calculating means for generating a control signal necessary for the remote camera 2 to operate in the same way as the measured movement direction and distance of the

mobile terminal

3, 14 Is a control signal transmission means for transmitting the generated control signal to the

remote camera

2, and 15 is a video relay means for relaying the video taken by the remote camera 2 to the portable terminal 3.
[0015]
Further, in the remote camera 2, reference numeral 21 is a remote shooting means for shooting a subject, 22 is a remote video transmission means for transmitting the shot video to the video relay means 15 of the video

remote control apparatus

1, and 23 is a video remote control apparatus 1. The control signal receiving means 24 for receiving the control signal transmitted from the camera 24 is a camera operating means for executing operations such as panning, tilting and zooming of the remote camera 2 based on the received control signal.
[0016]
In the

portable terminal

3, 31 is a video receiving means for receiving the video taken by the remote shooting means 21 of the remote camera 2 via the video relay means 15 of the video

remote control device

1, and 32 is received by the video receiving means 31. The video display means 33 for displaying the captured video, 33 is the portable photographing means for photographing the video around the user, 34 is the video around the user photographed by the portable photographing means 33, and is transmitted to the portable video receiving means 11 of the video remote control device 1. This is a video transmission means.
[0017]
The remote camera 2, the video remote control device 1, and the video remote control device 1 and the portable terminal 3 exchange signals via the remote transmission means 4 and the portable transmission means 5 through a bidirectionally communicable network or direct connection, respectively. Do. The remote camera 2 transmits the video captured by the remote location imaging means 21 from the remote location video transmission means 22 to the video relay means 15 of the video remote control device 1 via the remote transmission means 4.
[0018]
The video relay means 15 converts the received video as it is or into a format that can be displayed on the mobile terminal 3, and transmits the video to the video receiving means 31 of the mobile terminal 3 via the mobile transmission means 5. Note that the video captured by the remote camera 2 refers to a continuous video from a video camera or the like, and it is assumed that the video is transmitted from the remote camera 2 to the mobile terminal 3 in real time.
[0019]
The video display means 32 of the portable terminal 3 displays the video received by the video receiving means 31 so that the user can see it. In the portable terminal 3, at least when the video from the remote camera 2 is received and there is an instruction from the user, the video around the user is shot by the portable photographing means 33 fixedly attached to the portable terminal 3, and the video is transmitted. The information is transmitted from the means 34 to the portable video receiving means 11 of the video remote control device 1 via the portable transmission means 5. The video shot by the mobile terminal 3 is also sent to the video remote control device 1 in real time in the same manner as the video shot by the remote camera 2. The spatial resolution and temporal resolution of the video when transmitting the video shot by the mobile terminal 3 may be coarse.
[0020]
Here, the user wants to see the video of the remote camera 2 displayed, wants to pan the camera to the right and see the right direction, and sees the mobile terminal 3 displaying the video in the right direction. Suppose that By changing the orientation of the mobile terminal 3, the video taken by the mobile photographing means 33 fixedly attached to the mobile terminal 3 is also moved by the amount moved, and the video from the start to the end of the movement is received by the mobile video. It is sent to the means 11.
[0021]
The mobile movement amount measuring means 12 always monitors whether the video received by the mobile video receiving means 11 has a vertical / horizontal change or a subject size change. When there is a change, the direction and distance in which the mobile terminal 3 has actually moved due to a change in the moving direction or size of the photographed object is measured. A specific measurement method will be described later.
[0022]
The control signal calculation means 13 generates a control signal necessary for the remote camera 2 to operate in the same direction as the measured direction and distance of the mobile terminal 3. The control signal is transmitted to the control signal receiving unit 23 of the remote camera 2 via the control signal transmitting unit 14 and the remote transmission unit 4.
[0023]
In the remote camera 2, on the basis of the control signal received by the control signal receiving means 23, the camera operation means 24 actually executes the pan, tilt and zoom operations of the camera. The camera operation means 24 may be a means for operating a camera platform on which the remote camera 2 is installed. If the camera can perform omnidirectional shooting, the camera operating means 24 may be operated by directly giving a control signal such as a shooting direction or zoom to the camera. But it ’s okay.
[0024]
As explained above, by simply moving the mobile terminal 3 viewing the image of the remote camera 2 left and right, up and down, and back and forth, as if the remote camera 2 was operated as it is, It is possible to move the remote camera 2 in a direction in which the user wants to see the remote camera 2 by remote control.
[0025]
Hereinafter, an example of a specific measuring method in the portable movement amount measuring means 12 will be described with reference to FIG. As shown in the principle explanatory diagram of FIG. 2, the direction in which all or a part of the subject has moved within the screen and the mobile image moving distance (M) are measured. If the subject has moved to the left, the mobile terminal 3 has moved to the right, and if it has moved downward, the mobile terminal 3 has moved up.
[0026]
As shown in FIG. 4, the distance from the position of the mobile terminal (user) to the subject can be acquired from the focal length (D) of the camera. Here, to simplify the explanation, it is assumed that the focal length of the camera does not change before and after the movement.
[0027]
As described above, the movement angle θ by which the user moves the mobile terminal 3 can be obtained by the following equation.
[0028]

Further, as shown in FIG. 5, when a change in size of the subject is detected, it is determined that the zoom is enlarged or reduced, and the zoom of the camera is controlled in the same manner. In this case, the zoom amount is not specified.
[0029]
In addition, even if it does not calculate a particularly accurate angle, the effect of the present invention can be exhibited only by measuring the direction in which the mobile terminal 3 moves, and there is a merit that it can be implemented with a simpler configuration.
[0030]
FIG. 6 is a sequence diagram of operation control of remote camera 2 in the embodiment of the present invention. First, when access from the mobile terminal 3 to the remote camera 2 is executed (A), the remote camera 2 transmits the captured video to the video remote control device 1 (B). The video is converted so that it can be displayed at (3) and transmitted to the portable terminal 3 (C).
[0031]
The mobile terminal 3 displays the received remote camera video (D). Further, the user's surroundings are photographed by a camera (portable photographing means 33) fixedly attached to the portable terminal 3 (E), and the photographed images are continuously transmitted to the video remote control device 1 in real time (F). Further, the user moves the mobile terminal 3 in a direction in which he wants to see the mobile terminal 3 as needed (G).
[0032]
When receiving the video from the mobile terminal 3, the video remote control device 1 detects a change in the video in real time (H), and measures the amount of change when there is a change (I). The change amount of the image includes at least a movement angle, a parallel movement amount, or a rotation movement amount. Then, a control amount for operating the remote camera 2 equivalent to the change amount is calculated (J), and a control signal is transmitted to the remote camera 2 (K). The remote camera 2 that has received the control signal executes operations such as pan, tilt, and zoom based on the control signal (L).
[0033]
As is well known, camera operations are pan (left-right rotation movement), tilt (up-down rotation movement), rotation (rotation to the shooting gazette), track (left-right parallel movement), dolly (front-back parallel movement). , Boom (up / down parallel movement) and zoom (change of the field of view). The remote camera 2 used in this embodiment is a fixed type and is assumed to be able to handle panning, tilting, and zooming. However, panning and tracking (left / right movement relationship), tilting and booming (up / down movement relationship) are taken from the captured image. , Zoom and dolly (changes in the size taken) are generally indistinguishable. Therefore, in the present embodiment, pan, tilt, and zoom are handled as control signals to the remote camera 2. For example, even if a track is actually performed on the mobile terminal 3, it is assumed that the pan and the track cannot be distinguished from the captured video, so that the pan is handled as a pan.
[0034]
FIG. 7 is a flowchart of the mobile terminal 3. The portable terminal 3 accesses the remote camera 2 (step S1), and if it receives the video from the remote camera 2 sent via the video remote control device 1, displays it (step S2). Also, the video around the user captured by the portable imaging means 33 is transmitted to the video remote control device 1 (step S3). When the user wants to move the video shot by the remote camera 2 in the direction in which the user wants to see, the portable shooting means 33 is moved in the direction in which he wants to see (step S4). The above steps S2 to S4 are repeated until an end instruction is given (step S5).
[0035]
FIG. 8 is a video transmission flowchart of the video remote control device 1. It waits for access from the portable terminal 3 to the remote camera 2, and if there is access, it proceeds to step S11 (step S10). A video is received from the remote camera 2 (step S11). Next, the received video is converted so that it can be displayed on the mobile terminal 3, and transmitted to the mobile terminal 3 (step S12). Here, conversion refers to size conversion, resolution conversion, compression encoding, and the like, and is performed as necessary depending on the attributes of the mobile terminal 3 and the like. The above steps S11 to S12 are repeated until there is an end instruction from the portable terminal 3 (step S13).
[0036]
FIG. 9 is an operation control flowchart of the remote camera 2 by the video remote control device 1. The video remote control device 1 receives the video taken by the portable photographing means 33 of the portable terminal 3 (step S20), and checks whether there is a change in the received video of the portable terminal 3 (step S21). When the received video of the mobile terminal 3 is changed, the change amount of the video from the mobile terminal 3 is measured (step S22). The time interval for measuring the amount of change can be arbitrarily determined in advance. Next, the control amount of the remote camera 2 corresponding to the measured change amount is calculated (step S23), and control signals such as pan / tilt / zoom are generated from the calculated control amount and transmitted to the remote camera 2 (step S24). ). The remote camera 2 that has received the control signal executes operations such as pan, tilt, and zoom based on the control signal. The above steps S20 to S24 are repeated until an end instruction is given (step S25).
[0037]
As described above, the mobile terminal 3 that is viewing the image of the remote camera 2 is moved to the left, right, up, down, front and back, as if the remote camera 2 is operated as it is. It is possible to move the camera 2 in the direction in which the camera 2 is desired to be viewed.
[0038]
The processing performed by the video remote control device 1 can be realized by a computer and a software program, and the program is stored in an appropriate recording medium such as a portable medium memory, a semiconductor memory, or a hard disk that can be read by the computer. Then, it can be executed by a computer by reading out from there.
[0039]
【The invention's effect】
According to the present invention, the operation of the remote camera can be realized by the intuitive operation of the video input / output means such as a portable terminal watching the video. For example, if you want to see more right of the camera video, move the video input / output means to the right, the remote camera will pan right, and the right video can be viewed by the video input / output means.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of the present invention.
FIG. 2 is a diagram illustrating the principle of the present invention.
FIG. 3 is a configuration diagram of a video remote control device, a remote camera, and a mobile terminal.
FIG. 4 is a diagram for explaining measurement of a direction and a distance in which a mobile terminal has moved.
FIG. 5 is a diagram illustrating enlargement of a subject by zooming.
FIG. 6 is an example of a sequence diagram of operation control of a remote camera.
FIG. 7 is a flowchart of the mobile terminal.
FIG. 8 is a video transmission flowchart of the video remote control device;
FIG. 9 is an operation control flowchart of the remote camera by the video remote control device.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image | video remote control apparatus 2 Remote camera 3 Portable terminal 4 Remote transmission means 5 Portable transmission means 11 Portable image receiving means 12 Portable movement amount measuring means 13 Control signal calculation means 14 Control signal transmission means 15 Video relay means 21 Remote location imaging means 22 Remote image transmission means 23 Control signal reception means 24 Camera operation means 31 Video reception means 32 Video display means 33 Portable photographing means 34 Video transmission means

Claims

A video remote control device for controlling the shooting operation of a remote camera,
Means for detecting temporal changes in the video taken by the video input means at a position different from the remote camera and measuring change information of at least one of movement or angle change of the video input means;
Means for determining a control signal capable of operating a photographing operation of the remote camera based on the measured change information;
Means for controlling a photographing operation of the remote camera according to the determined control signal.

The video remote control device according to claim 1,
The video remote control device characterized in that the means for determining the control signal calculates a control signal capable of operating a photographing operation including at least one of pan, tilt and zoom of the remote camera.

A video remote control method for controlling the shooting operation of a remote camera,
Detecting a temporal change of a video taken by a video input means at a position different from the remote camera, and measuring change information of at least one of movement or angle change of the video input means;
Determining a control signal capable of operating a photographing operation of the remote camera based on the measured change information;
And a step of controlling a photographing operation of the remote camera according to the determined control signal.

The video remote control method according to claim 3,
In the step of determining the control signal, a control signal capable of operating a photographing operation including at least one of pan, tilt and zoom of the remote camera is calculated.

A video remote control program for causing a computer to execute the video remote control method according to claim 3 or 4.

A recording medium on which a video remote control program for causing a computer to execute the video remote control method according to claim 3 or 4 is recorded.