JP3817670B2

JP3817670B2 - Video transmission method

Info

Publication number: JP3817670B2
Application number: JP2002090711A
Authority: JP
Inventors: 正治岡部
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-03-28
Filing date: 2002-03-28
Publication date: 2006-09-06
Anticipated expiration: 2022-03-28
Also published as: JP2003289527A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号のデジタル化及び符号化を行って遠隔地との通信を可能にするとともに遠隔カメラ制御を可能にした映像伝送方法に関するものである。
【０００２】
【従来の技術】
図３は本発明の背景となった映像伝送装置の構成を示す構成図である。図３において、３００は映像伝送装置、３０１は音声信号の入出力を制御する音声入出力部、３０２は音声信号の符号・復号化を行う音声コーデック部、３０３はカメラなどからの入力画像もしくはモニタなどへの出力画像を制御する画像入出力部、３０４は映像信号の符号・復号化を行う画像コーデック部、３０５はデータの入出力を行うデータ入出力部、３０６は音声信号、映像信号、データを多重・分離する多重分離部、３０７は伝送路とインターフェースをとる伝送部、３０８は映像伝送装置３００の全てを制御するＣＰＵ、３０９はＣＰＵ３０８が遠隔カメラ制御を行うときに利用されるメモリ、３１０は時間情報を映像信号に付加するための時間情報生成部、３１１は映像伝送装置３００を操作する操作器である。
【０００３】
次に、図３の映像伝送装置の動作を説明する。
カメラ（図示せず）から入力された映像信号は画像入出力部３０３を経由して画像コーデック部３０４に入力され、符号化された後に、時間情報生成部３１０から時間情報を取り出し、符号化データに付加し、多重分離部３０６に出力される。また、マイク等（図示せず）より入力された音声信号は音声入出力部３０１を経由して音声コーデック部３０２に入力され、符号化された後に多重分離部３０６に出力される。多重分離部３０６に入力された映像信号、音声信号、及びデータ入出力部３０５より入力されるデータは多重化され、伝送部３０７、伝送路を経由し、接続している相手装置（図３と同一構成のもの）に送信される。
【０００４】
相手装置から受信したデータは伝送部３０７を経由して多重分離部３０６に入力され、映像信号、音声信号、データにそれぞれ分離され、画像コーデック部３０４、音声コーデック部３０２、データ入出力部３０５へそれぞれ出力される。画像コーデック部３０４に入力された映像信号は、時間情報を取り出し、復号され、画像入出力部３０３を経由してモニタ等から出力される。音声コーデック部３０２に入力された音声信号は復号化され、音声入出力部３０１を経由してスピーカー等から出力される。この映像伝送装置３００よりカメラ制御を行う場合は、操作器１１１又は送信側のデータ入出力部３０５よりカメラを制御するコマンドを入力し、送信側の多重分離部３０６、送信側の伝送部３０７、伝送路、受信側の伝送部３０７、受信側の多重分離部３０６を経由して、受信側のデータ入出力部３０５よりカメラを制御するコマンド又は制御信号を、カメラ又はカメラコントローラに出力する。
【０００５】
図４（Ａ）（Ｂ）（Ｃ）は、図３の映像伝送装置を使用して遠隔地の映像を確認しながら、カメラ制御を行うときの映像伝送システムの説明図である。映像伝送装置４０１はカメラ４０４の映像を送信する送信側の映像伝送装置、映像伝送装置４０２は伝送された映像データを表示装置４０５に表示する受信側の映像伝送装置、伝送路４０３は送信側の映像伝送装置４０１と受信側の映像伝送装置４０２を結ぶ伝送路である。受信側の映像伝送装置４０２よりカメラ制御コマンドを用いて、送信側の映像伝送装置４０１を経由してカメラ４０４の制御を行う。なお、送信側の映像伝送装置４０１及び受信側の映像伝送装置４０２は、図３に示される構成と同一のものである。
【０００６】
図４（Ａ）はカメラ制御を行う前のカメラ位置及び受信映像の図であり、同図（Ｂ）はカメラ制御中に操作者が制御を止めたいと思ったときの図であり、同図（Ｃ）は操作者がカメラ制御を停止する操作を行い、カメラが停止したときの図である。
【０００７】
図５（Ａ）（Ｂ）は、図４の映像伝送システム及びそのシステムを使用して遠隔地の映像を確認しながらカメラ制御を行うときの信号の授受の状態を示したタイミングチャートである。図５（Ｂ）に示されるように、例えばカメラ４０４の向きを一定の速度で変更している状態で、操作者がカメラ４０４の制御を止めたいと思う映像を見たときには、映像信号の遅延により既にカメラ４０４はその位置を過ぎており、さらに、カメラ制御の停止操作を行っても、制御信号の遅延により遅れてカメラ制御が止まることになり、映像信号の遅延と制御信号の遅延分だけ、制御が遅れてしまい、操作者が意図したカメラ制御を行うことが難しくなる。そこで、次の図６に示されるカメラの停止位置の変更処理を行う。
【０００８】
図６（Ａ）（Ｂ）は、図４の映像伝送システム、及びそのシステムを使用して、遠隔地の映像を確認しながら、カメラ制御を行う際に、伝送遅延を是正する際の信号の授受の状態を示したタイムチャートである。なお、図６（Ａ）の映像伝送装置５０１及び５０２は、図３の映像伝送装置３００と同一構成のものである。
【０００９】
図６（Ｂ）に示されるように、送信側の映像伝送装置５０１は映像フレーム（映像データ）を送信するたびに、そのときの時間情報とカメラの位置情報をメモリ３０９のカメラ位置／時間情報テーブルに格納し、映像データに時間情報を付加し送信する。操作者がカメラ制御停止の操作を行ったとき、受信側の映像伝送装置５０２では、送信側の映像伝送装置５０１に対して、カメラ制御コマンド（停止）といっしょに、そのとき表示した映像の映像信号に付加されていた時間情報も併せて送信する。カメラ制御コマンド（停止）と時間情報を受信した送信側の映像伝送装置５０１は、カメラ５０４に対して、カメラ制御信号（停止）を送ると共に、メモリ３０９に格納されているカメラ位置／時間情報テーブルから、受信した時間情報をもとに位置情報を抽出し、カメラ５０４に対して、その位置に戻るようにカメラ制御信号（指定位置へ移動）を送ることにより、操作者が意図したカメラ制御を行う。
【００１０】
【発明が解決しようとする課題】
このような、映像伝送装置における遠隔地のカメラ制御では、送信側にてカメラ位置／時間情報テーブルを持たなくてはならず、また、映像フレームを送出するたびに、カメラ位置／時間情報テーブルにデータを記憶しなければならなかった。したがって、映像伝送装置のＣＰＵの負荷が大きくなり、演算処理速度が早いＣＰＵや、また、カメラ位置／時間情報テーブルを格納する為の容量の大きな記憶容量のメモリを必要としていた。
【００１１】
ところで、この種の映像伝送システムにおける操作遅延の問題点を解決するために、例えば特開平７−１３１７８０号公報及び特開平１１−２３４６５９号公報には映像データと位置情報を送信側から受信側に送って伝送遅延を是正する例が開示されており、また、特開平６−６２４０１号公報及び特開２０００−３５０１８３号公報には映像データと時間情報を送信側から受信側に送って伝送遅延を是正する例が開示されているが、何れも上記のような問題点を解決するものではない。
【００１２】
本発明は、上記の問題点を解決するためになされたものであり、カメラ位置／時間情報テーブルを必要とせず、記憶容量の軽減し、且つ演算処理の負荷を軽減することを可能にした映像伝送方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明に係る映像伝送方法は、送信側の映像伝送装置と受信側の映像伝送装置とを備えたシステムの映像伝送方法において、送信側の映像伝送装置は、カメラが接続され、カメラからの映像情報を送信する際に、映像情報に時間情報を付加して送信し、受信側の映像伝送装置は、表示装置を備え、カメラ制御の操作信号が入力されると制御命令を送信し、また、カメラ制御停止の操作信号が入力されると制御停止命令を送信するとともに、そのときに表示装置表示された映像の映像信号に付加されている時間情報を記憶し、送信側の映像伝送装置は、制御命令を受信すると、制御命令に基づいてカメラの制御を開始し、カメラ制御時のカメラの位置情報及び時間情報を送信し、制御停止命令を受信するとカメラの制御を停止させるとともに、カメラの停止位置情報及び時間情報を送信し、受信側の映像伝送装置は、カメラ制御時の位置情報及び時間情報と、カメラの停止位置情報及び時間情報とを受信すると、それらの情報とカメラ制御停止の操作入力時の時間情報とに基づいて、カメラ制御停止の操作入力時のカメラ位置情報を求め、そのカメラ位置情報を送信し、送信側の映像伝送装置は、カメラ制御停止の操作入力時のカメラ位置情報を受信すると、そのカメラ位置情報に基づいてカメラの停止位置を移動させる。
【００１４】
【発明の実施の形態】
実施形態１．
図１は本発明の実施形態１に係る映像伝送方法に用いられる映像伝送装置の構成を示す構成図である。図１において、１００は映像伝送装置、１０１は音声信号の入出力を制御する音声入出力部、１０２は音声信号の符号・復号化を行う音声コーデック部、１０３はカメラなどからの入力画像又はモニタなどへの出力画像を制御する画像入出力部、１０４は映像信号の符号・復号化を行う画像コーデック部、１０５はデータの入出力を行うデータ入出力部、１０６は音声信号、映像信号、データを多重・分離する多重分離部、１０７は伝送路とインターフェースをとる伝送部、１０８は映像伝送装置の全てを制御するＣＰＵである。１０９はＣＰＵ１０８が遠隔カメラ制御を行うときに用いられるメモリである。１１０は時間情報を映像データに付加するための時間情報生成部、１１１は映像伝送装置を操作する操作器である。
【００１５】
次に、映像伝送装置１００の動作を説明する。
カメラ（図示せず）から入力された映像信号は画像入出力部１０３を経由して画像コーデック部１０４に入力され、符号化された後に、時間情報生成部１１０から時間情報を取り出して符号化データに付加し、多重分離部１０６に出力される。また、マイク等（図示せず）より入力された音声信号は音声入出力部１０１を経由して音声コーデック部１０２に入力され、符号化された後に多重分離部１０６に出力される。多重分離部１０６に入力された映像信号、音声信号、及びデータ入出力部１０５より入力されるデータは多重化され、伝送部１０７、伝送路を経由し、接続している相手装置（図１と同一構成のもの）に送信される。
【００１６】
相手装置から受信したデータは伝送部１０７を経由して多重分離部１０６に入力され、映像信号、音声信号及びデータにそれぞれ分離され、画像コーデック部１０４、音声コーデック部１０２及びデータ入出力部１０５へそれぞれ出力される。画像コーデック部１０４に入力された映像信号は、時間情報が取り出され、復号されて、画像入出力部１０３を経由してモニタ等から出力される。音声コーデック部１０２に入力された音声信号は復号化され、音声入出力部１０１を経由してスピーカー等から出力される。
【００１７】
この映像伝送装置１００よりカメラ制御を行う場合は、操作器１１１又は送信側の映像伝送装置（図１と同一構成のもの）のデータ入出力部１０５よりカメラを制御するコマンドを入力し、送信側の映像伝送装置の多重分離部１０６、伝送部１０７、伝送路、受信側の映像伝送装置の伝送部１０７、多重分離部１０６を経由して、データ入出力部１０５よりカメラを制御するコマンド又は制御信号を、カメラ又はカメラコントローラに出力する。なお、制御信号を出力する場合には、ＣＰＵ１０８がコマンドをそれに対応した制御信号に変換する。
【００１８】
図２（Ａ）（Ｂ）は本発明の実施形態１の映像伝送方法が適用された映像伝送システム、及びそのシステムの映像伝送装置を使用して遠隔地の映像を確認しながらカメラ制御を行うときの信号の授受の状態を示したタイムチャートである。映像伝送装置２０１はカメラ２０４の映像を送信する送信側の映像伝送装置、映像伝送装置２０２は伝送された映像データを操作／表示装置２０５に表示する受信側の映像伝送装置、伝送路２０３は送信側の映像伝送装置２０１と受信側の映像伝送装置２０２とを結ぶ伝送路である。受信側の映像伝送装置２０１よりカメラ制御コマンドを用い、送信側の映像伝送装置２０１を経由してカメラ２０４の制御を行う。なお、送信側の映像伝送装置２０１及び受信側の映像伝送装置２０２は、図１に示される構成と同一のものである。また、受信側の映像伝送装置２０２には操作／表示装置２０５が接続され、カメラ２０４にはカメラコントローラ２０６が設置されており、カメラ２０４の方向（向き）を制御することができるものとする。
【００１９】
送信側の映像伝送装置２０１は、映像フレーム（映像データ）を送信するたびに、そのときの時間情報を付加して送信する。この送信に際して、時間情報が付加された映像データは、多重分離部１０６及び伝送部１０７を介して伝送路２０３に送り出され、受信側の映像伝送装置２０２は伝送部１０７及び多重分離部１０６を介してその映像データを受信する。なお、上記の時間情報は時間情報生成部１１０により取得する。多重分離部１０６によって分離された映像データは、画像コーデック部１０４において、時間情報が取り出された後に、復号されて、その映像データに対応した映像が画像入出力部１０３を介して操作／表示装置２０５に出力されて、操作／表示装置２０５にはカメラ２０４で撮影された映像が表示される。
【００２０】
操作者が操作／表示装置２０５の映像を見ながら操作器１１１を操作してカメラの制御を開始させると、その操作器１１１の操作によって生成されたカメラ制御コマンド（開始）は多重分離部１０６及び伝送部１０７を介して伝送路２０３に送り出されて送信側の映像伝送装置２０１に送信される。
【００２１】
送信側の映像伝送装置２０１は、カメラ制御コマンド（開始）を伝送部１０７及び多重分離部１０６を介して入力すると、そのときのカメラの位置情報と時間情報を受信側の映像伝送装置２０２へ通知し、受信側の映像伝送装置２０２ではその位置情報と時間情報をメモリ１０９に記憶しておく。ここで仮に位置情報Ａ、時間情報Ａとする。なお、上記のカメラの位置情報は例えばカメラコントローラ２０６からデータ入出力部１０５を介して取り込むものとする。
【００２２】
また、送信側の映像伝送装置２０１は、カメラ制御コマンド（開始）を制御信号に変換し、データ入出力部１０５を介してカメラコントローラ２０６に出力する。カメラコントローラ２０６はその制御信号に従ってカメラ２０４の位置を制御する。例えばカメラ２０４を一定の速度でその向きを変える制御を行い、送信側の映像伝送装置２０１はそのカメラ２０４により撮影された映像信号を上記の場合と同様にして受信側の映像伝送装置２０２に送信する。
【００２３】
操作者が受信側の映像伝送装置２０２の操作器１１１を操作してカメラ制御停止の操作を行うと、映像伝送装置２０２では、そのとき表示していた映像の映像データに付加されていた時間情報をメモリ１０９に記憶しておく。ここで仮に時間情報Ｂとする。また、受信側の映像伝送装置２０２は、送信側の映像伝送装置２０１に対して、カメラ制御コマンド（停止）を送信する。送信側の映像伝送装置２０１はカメラ制御コマンド（停止）を受信すると、データ入出力部１０５を介してカメラコントローラ２０６に対してカメラ制御コマンド（停止）に対応した制御信号（カメラ制御信号（停止））を出力してカメラ２０４の制御を停止させるとともに、そのときのカメラの位置情報と時間情報を受信側の映像伝送装置２０２へ通知し、受信側の映像伝送装置２０２ではその位置情報と時間情報をメモリ１０９に記憶しておく。ここで仮に位置情報Ｃ、時間情報Ｃとする。
【００２４】
受信側の映像伝送装置２０２のメモリ１０９には、この時点で、制御を開始した位置情報Ａ、時間情報Ａと、制御を止めたかったときの時間情報Ｂと、実際に制御が止まった位置情報Ｃ、時間情報Ｃのデータが存在する。ここで、操作者が制御を止めたかったときのカメラの位置情報を位置情報Ｂとすると、位置情報Ｂは以下の式で得られる。
【００２５】
【数１】

【００２６】
受信側の映像伝送装置２０２は上記の数式を用いて位置情報Ｂを求めると、その位置情報Ｂを含んだカメラ位置変更コマンドを送信側の映像伝送装置２０１に送信する。送信側の映像伝送装置２０１はそのコマンドを受信し、そのコマンドに対応した制御信号を生成し、位置情報Ｂを含んだ制御信号をカメラコントローラ２０６に出力する。カメラコントローラ２０６はその制御信号を入力すると、カメラ２０４の停止位置を上記の位置情報Ｂにより特定された位置に移動させる。このようにして操作者の要求した通りの位置にカメラが制御されて、操作者が要求する映像を受信側の操作／表示装置２０５に表示させることができる。なお、上記の位置情報Ａ、時間情報Ａはカメラの制御速度を求める為のものなので、制御を開始した時点のものに限定されず、制御を開始した後の情報であってもよい。
【００２７】
以上のように本実施形態１においては、該当するカメラ位置を上記のようにして求めており、カメラ位置／時間情報テーブルを必要としないので、メモリに大きな容量を必要としない。また、映像データを送信するたびにデータをカメラ位置／時間情報テーブルに格納するという処理も必要がないので、ＣＰＵ１０８の負荷が軽減されている。
【００２８】
また、本実施形態１においては、送信側から受信側へ映像データを送信する際には、映像データに時間情報を付加しているが、ＭＰＥＧ等の圧縮方式を利用した場合には時刻情報が含まれたものとなり、特に時刻情報を付加（多重）するための処理を必要としないので、ソフトウェア（Ｓ／Ｗ）の処理、伝送路の負荷が軽減される。
【００２９】
実施形態２．
なお、上述の実施形態１においては、一対の映像伝送装置の内、一方が送信側であり、他方が受信側である例について説明したが、これらの映像伝送装置は同じ構成からなっており、本発明の映像伝送システムは双方向に映像信号等を伝送することが可能になっており、例えば図２の例では、映像伝送装置２０２が映像データを送信する際には、映像伝送装置２０２が送信側となり、映像伝送装置２０１が受信側となる。
【００３０】
実施形態３．
なお、上述の実施形態１においてはカメラの向きを制御する場合の例について説明したが、本発明におけるカメラの位置制御は、例えばカメラのフォーカス等の制御等、カメラ自体の制御も含まれる。
【００３１】
【発明の効果】
以上のように本発明の請求項１に係る映像伝送方法によれば、送信側の映像伝送装置は、カメラからの映像情報に時間情報を付加して送信し、受信側の映像伝送装置は、カメラ制御の操作信号が入力されると制御命令を送信し、また、カメラ制御停止の操作信号が入力されると制御停止命令を送信するとともに、そのときの映像の時間情報を記憶し、送信側の映像伝送装置は、制御命令を受信すると、制御命令に基づいてカメラの制御を開始させ、カメラ制御時の位置情報及び時間情報を送信し、制御停止命令を受信するとカメラの制御を停止させるとともに、カメラの停止位置及び時間情報を送信し、受信側の映像伝送装置は、カメラ制御路の位置情報及び時間情報と、カメラの停止位置情報及び時間情報とを受信すると、それらの情報とカメラ制御停止の操作入力時の時間情報とに基づいて、カメラ制御停止の操作入力時のカメラ位置情報を求め、そのカメラ位置情報を送信し、送信側の映像伝送装置は、そのカメラ位置情報を受信すると、そのカメラ位置情報に基づいてカメラの停止位置を移動させるようにしたので、カメラ位置／時間情報テーブルを必要とせず、メモリの記憶容量が軽減し、且つ演算処理の負荷を軽減することが可能になっている。
【図面の簡単な説明】
【図１】本発明の実施形態１に係る映像伝送システムに用いられる映像伝送装置の構成図である。
【図２】本発明の実施形態１の映像伝送システム及びその動作状態を示したタイミングチャートである。
【図３】本発明の背景となっている映像伝送装置の構成を示す構成図である。
【図４】図３の映像伝送装置を使用して遠隔地の映像確認しながらカメラ制御を行うときの映像伝送システムの説明図である。
【図５】図３の映像伝送装置を用いた映像伝送システム及びこのシステムの映像伝送装置を使用して遠隔地の映像を確認しながらカメラ制御（位置是正無し）を行うときの信号の授受の状態を示したタイムチャートである。
【図６】図３の映像伝送装置を用いた映像伝送システム及びこのシステムの映像伝送装置を使用して遠隔地の映像を確認しながらカメラ制御を行い、その位置是正を行うときの信号の授受の状態を示したタイムチャートである。
【符号の説明】
１００映像伝送装置、１０１音声入出力部、１０２音声コーデック部、１０３画像入出力部、１０４画像コーデック部、１０５データ入出力部、１０６多重分離部、１０７伝送部、１０９メモリ、１１０時間情報生成部、１１１操作器、２０１映像伝送装置、２０２映像伝送装置、２０３伝送路、２０４カメラ、２０５操作／表示装置、２０６カメラコントローラ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video transmission method that enables communication with a remote location by digitizing and encoding a video signal and enabling remote camera control.
[0002]
[Prior art]
FIG. 3 is a block diagram showing the configuration of the video transmission apparatus as the background of the present invention. In FIG. 3, 300 is a video transmission apparatus, 301 is an audio input / output unit for controlling input / output of audio signals, 302 is an audio codec unit for encoding / decoding audio signals, and 303 is an input image or monitor from a camera or the like. An image input / output unit for controlling an output image to the image, 304 an image codec unit for encoding / decoding a video signal, 305 a data input / output unit for inputting / outputting data, 306 an audio signal, video signal, data 307 is a transmission unit that interfaces with the transmission path, 308 is a CPU that controls all of the video transmission apparatus 300, 309 is a memory that is used when the CPU 308 performs remote camera control, 310 Is a time information generating unit for adding time information to the video signal, and 311 is an operating device for operating the video transmission apparatus 300.
[0003]
Next, the operation of the video transmission apparatus in FIG. 3 will be described.
A video signal input from a camera (not shown) is input to the image codec unit 304 via the image input / output unit 303 and is encoded. Then, time information is extracted from the time information generation unit 310 and encoded data is obtained. And output to the demultiplexing unit 306. Also, the audio signal input from a microphone or the like (not shown) is input to the audio codec unit 302 via the audio input / output unit 301, encoded, and then output to the demultiplexing unit 306. The video signal and audio signal input to the demultiplexing unit 306 and the data input from the data input / output unit 305 are multiplexed and connected via the transmission unit 307 and the transmission path (see FIG. 3). To the same configuration).
[0004]
The data received from the partner apparatus is input to the demultiplexing unit 306 via the transmission unit 307 and is separated into a video signal, an audio signal, and data, respectively, and is supplied to the image codec unit 304, the audio codec unit 302, and the data input / output unit 305. Each is output. The video signal input to the image codec unit 304 extracts time information, is decoded, and is output from a monitor or the like via the image input / output unit 303. The audio signal input to the audio codec unit 302 is decoded and output from a speaker or the like via the audio input / output unit 301. When camera control is performed from the video transmission apparatus 300, a command for controlling the camera is input from the operation unit 111 or the data input / output unit 305 on the transmission side, and the demultiplexing unit 306 on the transmission side, the transmission unit 307 on the transmission side, A command or control signal for controlling the camera is output from the data input / output unit 305 on the receiving side to the camera or camera controller via the transmission path, the transmission unit 307 on the receiving side, and the demultiplexing unit 306 on the receiving side.
[0005]
4A, 4B, and 4C are explanatory diagrams of a video transmission system when camera control is performed while confirming a remote image using the video transmission apparatus of FIG. The video transmission device 401 is a transmission-side video transmission device that transmits the video of the camera 404, the video transmission device 402 is a reception-side video transmission device that displays the transmitted video data on the display device 405, and the transmission path 403 is a transmission-side video transmission device. This is a transmission path connecting the video transmission device 401 and the video transmission device 402 on the receiving side. The camera 404 is controlled through the video transmission device 401 on the transmission side using the camera control command from the video transmission device 402 on the reception side. Note that the transmission-side video transmission device 401 and the reception-side video transmission device 402 have the same configuration as shown in FIG.
[0006]
FIG. 4A is a diagram of the camera position and received video before camera control, and FIG. 4B is a diagram when the operator wants to stop control during camera control. (C) is a figure when an operator performs operation which stops camera control, and a camera stops.
[0007]
FIGS. 5A and 5B are timing charts showing the state of signal transmission and reception when performing camera control while confirming a remote image using the video transmission system of FIG. 4 and the system. As shown in FIG. 5B, for example, when the operator changes the direction of the camera 404 at a constant speed and views an image that the operator wants to stop controlling the camera 404, the video signal is delayed. As a result, the camera 404 has already passed its position, and even if the camera control stop operation is performed, the camera control is stopped with a delay due to the delay of the control signal, and only the delay of the video signal and the delay of the control signal The control is delayed and it becomes difficult to perform the camera control intended by the operator. Therefore, the camera stop position changing process shown in FIG. 6 is performed.
[0008]
6A and 6B show the video transmission system shown in FIG. 4 and the signal used to correct the transmission delay when the camera control is performed while checking the video of the remote place. It is a time chart which showed the state of delivery. Note that the video transmission apparatuses 501 and 502 in FIG. 6A have the same configuration as the video transmission apparatus 300 in FIG.
[0009]
As shown in FIG. 6B, each time the transmission-side video transmission apparatus 501 transmits a video frame (video data), the time information and the camera position information at that time are stored in the camera position / time information in the memory 309. It is stored in a table, and time information is added to video data and transmitted. When the operator performs an operation to stop camera control, the video transmission device 502 on the reception side sends the video of the video displayed at that time together with the camera control command (stop) to the video transmission device 501 on the transmission side. The time information added to the signal is also transmitted. Upon receiving the camera control command (stop) and the time information, the transmission-side video transmission apparatus 501 sends a camera control signal (stop) to the camera 504 and stores the camera position / time information table stored in the memory 309. Then, position information is extracted based on the received time information, and a camera control signal (moving to a designated position) is sent to the camera 504 so as to return to the position. Do.
[0010]
[Problems to be solved by the invention]
In such remote camera control in the video transmission apparatus, the transmission side must have a camera position / time information table, and each time a video frame is sent, the camera position / time information table is stored in the camera position / time information table. I had to remember the data. Therefore, the load on the CPU of the video transmission apparatus is increased, and a CPU having a high calculation processing speed and a memory with a large storage capacity for storing the camera position / time information table are required.
[0011]
By the way, in order to solve the problem of operation delay in this type of video transmission system, for example, in Japanese Patent Laid-Open Nos. 7-131780 and 11-234659, video data and position information are transferred from the transmitting side to the receiving side. An example of correcting transmission delay by sending is disclosed, and Japanese Patent Laid-Open Nos. 6-62401 and 2000-350183 disclose video data and time information from a transmission side to a reception side to reduce transmission delay. Although the example which corrects is disclosed, none solves the above problems.
[0012]
The present invention has been made to solve the above-described problems, and does not require a camera position / time information table, reduces the storage capacity, and reduces the processing load. An object is to provide a transmission method.
[0013]
[Means for Solving the Problems]
The video transmission method according to the present invention is a video transmission method of a system including a transmission-side video transmission device and a reception-side video transmission device, wherein the transmission-side video transmission device is connected to a camera, and the video from the camera When transmitting information, the time information is added to the video information and transmitted, and the video transmission device on the receiving side includes a display device and transmits a control command when a camera control operation signal is input, When an operation signal for camera control stop is input, a control stop command is transmitted, and time information added to the video signal of the video displayed on the display device at that time is stored. When the control command is received, control of the camera is started based on the control command, the camera position information and time information at the time of camera control is transmitted, and when the control stop command is received, the control of the camera is stopped, When the camera transmission position information and time information, and the camera stop position information and time information are received, the video transmission apparatus on the receiving side receives the camera stop position information and time information. Based on the time information at the time of the stop operation input, the camera position information at the time of the camera control stop operation input is obtained, and the camera position information is transmitted. When the camera position information is received, the stop position of the camera is moved based on the camera position information.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1. FIG.
FIG. 1 is a configuration diagram showing a configuration of a video transmission apparatus used in a video transmission method according to Embodiment 1 of the present invention. In FIG. 1, 100 is a video transmission apparatus, 101 is an audio input / output unit for controlling input / output of audio signals, 102 is an audio codec unit for encoding / decoding audio signals, and 103 is an input image or monitor from a camera or the like. An image input / output unit for controlling an output image to the image, 104 is an image codec unit for encoding / decoding a video signal, 105 is a data input / output unit for inputting / outputting data, 106 is an audio signal, video signal, data A demultiplexing unit 107 that multiplexes and demultiplexes, a transmission unit 107 that interfaces with the transmission path, and a CPU 108 that controls all of the video transmission apparatus. Reference numeral 109 denotes a memory used when the CPU 108 performs remote camera control. 110 is a time information generator for adding time information to video data, and 111 is an operating device for operating the video transmission apparatus.
[0015]
Next, the operation of the video transmission apparatus 100 will be described.
A video signal input from a camera (not shown) is input to the image codec unit 104 via the image input / output unit 103 and encoded, and then the time information is extracted from the time information generation unit 110 to be encoded data. And output to the demultiplexing unit 106. An audio signal input from a microphone or the like (not shown) is input to the audio codec unit 102 via the audio input / output unit 101, encoded, and then output to the demultiplexing unit 106. The video signal and audio signal input to the demultiplexing unit 106 and the data input from the data input / output unit 105 are multiplexed and connected via the transmission unit 107 and the transmission path (see FIG. 1). To the same configuration).
[0016]
The data received from the partner apparatus is input to the demultiplexing unit 106 via the transmission unit 107 and separated into the video signal, the audio signal, and the data, respectively, to the image codec unit 104, the audio codec unit 102, and the data input / output unit 105. Each is output. As for the video signal input to the image codec unit 104, time information is extracted, decoded, and output from a monitor or the like via the image input / output unit 103. The audio signal input to the audio codec unit 102 is decoded and output from a speaker or the like via the audio input / output unit 101.
[0017]
When camera control is performed from the video transmission device 100, a command for controlling the camera is input from the operation unit 111 or the data input / output unit 105 of the video transmission device on the transmission side (having the same configuration as in FIG. 1). Command or control for controlling the camera from the data input / output unit 105 via the demultiplexing unit 106, the transmission unit 107, the transmission path, the transmission unit 107 of the receiving side video transmission device, and the demultiplexing unit 106 The signal is output to the camera or camera controller. When outputting a control signal, the CPU 108 converts the command into a control signal corresponding to the command.
[0018]
2A and 2B illustrate a video transmission system to which the video transmission method according to the first embodiment of the present invention is applied, and a camera control while confirming a remote image using the video transmission apparatus of the system. It is the time chart which showed the state of transmission / reception of the signal at the time. The video transmission apparatus 201 is a transmission-side video transmission apparatus that transmits the video of the camera 204, the video transmission apparatus 202 is a reception-side video transmission apparatus that displays the transmitted video data on the operation / display apparatus 205, and the transmission path 203 is a transmission The transmission line connects the video transmission device 201 on the side and the video transmission device 202 on the reception side. A camera control command is used from the video transmission device 201 on the reception side to control the camera 204 via the video transmission device 201 on the transmission side. The transmission-side video transmission apparatus 201 and the reception-side video transmission apparatus 202 have the same configuration as that shown in FIG. Further, it is assumed that an operation / display device 205 is connected to the video transmission device 202 on the receiving side, and a camera controller 206 is installed in the camera 204 so that the direction (orientation) of the camera 204 can be controlled.
[0019]
Every time a video frame (video data) is transmitted, the video transmission apparatus 201 on the transmission side adds the time information at that time and transmits it. At the time of this transmission, the video data to which the time information is added is sent to the transmission path 203 via the demultiplexing unit 106 and the transmission unit 107, and the video transmission apparatus 202 on the receiving side passes through the transmission unit 107 and the demultiplexing unit 106. Receive the video data. The time information is acquired by the time information generation unit 110. The video data separated by the demultiplexing unit 106 is decoded in the image codec unit 104 after time information is extracted, and the video corresponding to the video data is operated / displayed via the image input / output unit 103. The image captured by the camera 204 is displayed on the operation / display device 205.
[0020]
When an operator operates the operating unit 111 while watching the video of the operating / display device 205 to start camera control, the camera control command (start) generated by operating the operating unit 111 is sent to the demultiplexing unit 106 and It is sent to the transmission line 203 via the transmission unit 107 and transmitted to the video transmission device 201 on the transmission side.
[0021]
When the video transmission device 201 on the transmission side inputs a camera control command (start) via the transmission unit 107 and the demultiplexing unit 106, the video position information and time information of the camera at that time are notified to the video transmission device 202 on the reception side. In the video transmission apparatus 202 on the receiving side, the position information and time information are stored in the memory 109. Here, the position information A and the time information A are assumed. Note that the above-described camera position information is captured from the camera controller 206 via the data input / output unit 105, for example.
[0022]
Also, the video transmission device 201 on the transmission side converts the camera control command (start) into a control signal and outputs it to the camera controller 206 via the data input / output unit 105. The camera controller 206 controls the position of the camera 204 according to the control signal. For example, the camera 204 is controlled to change its direction at a constant speed, and the video transmission device 201 on the transmission side transmits the video signal captured by the camera 204 to the video transmission device 202 on the reception side in the same manner as described above. To do.
[0023]
When the operator operates the operation unit 111 of the video transmission device 202 on the receiving side to perform the camera control stop operation, the video transmission device 202 uses the time information added to the video data of the video displayed at that time. Is stored in the memory 109. Here, the time information B is assumed. Further, the video transmission device 202 on the reception side transmits a camera control command (stop) to the video transmission device 201 on the transmission side. Upon receiving the camera control command (stop), the transmission-side video transmission apparatus 201 sends a control signal (camera control signal (stop)) corresponding to the camera control command (stop) to the camera controller 206 via the data input / output unit 105. ) To stop the control of the camera 204, and notify the receiving side video transmission apparatus 202 of the position information and time information of the camera at that time, and the receiving side video transmission apparatus 202 transmits the position information and time information. Is stored in the memory 109. Here, the position information C and the time information C are assumed.
[0024]
In the memory 109 of the video transmission apparatus 202 on the receiving side, at this time, the position information A and the time information A at which the control is started, the time information B when the control is stopped, and the position information at which the control is actually stopped are stored. C, data of time information C exists. Here, assuming that the position information B of the camera when the operator wants to stop the control is the position information B, the position information B is obtained by the following expression.
[0025]
[Expression 1]

[0026]
When the video transmission device 202 on the reception side obtains the position information B using the above mathematical formula, it transmits a camera position change command including the position information B to the video transmission device 201 on the transmission side. The video transmission apparatus 201 on the transmission side receives the command, generates a control signal corresponding to the command, and outputs a control signal including the position information B to the camera controller 206. When the control signal is input, the camera controller 206 moves the stop position of the camera 204 to the position specified by the position information B. In this way, the camera is controlled at the position requested by the operator, and the image requested by the operator can be displayed on the operation / display device 205 on the receiving side. Note that the position information A and time information A described above are for obtaining the control speed of the camera, and are not limited to those at the time of starting control, but may be information after the start of control.
[0027]
As described above, in the first embodiment, the corresponding camera position is obtained as described above, and the camera position / time information table is not required, so that a large capacity is not required for the memory. In addition, since it is not necessary to store the data in the camera position / time information table every time video data is transmitted, the load on the CPU 108 is reduced.
[0028]
In the first embodiment, when transmitting video data from the transmission side to the reception side, time information is added to the video data. However, when using a compression method such as MPEG, the time information is stored. In particular, since processing for adding (multiplexing) time information is not required, software (S / W) processing and transmission line load are reduced.
[0029]
Embodiment 2. FIG.
In Embodiment 1 described above, an example in which one of the pair of video transmission apparatuses is the transmission side and the other is the reception side has been described, but these video transmission apparatuses have the same configuration, The video transmission system of the present invention can bidirectionally transmit a video signal or the like. For example, in the example of FIG. 2, when the video transmission apparatus 202 transmits video data, the video transmission apparatus 202 The transmission side is the video transmission apparatus 201 and the reception side.
[0030]
Embodiment 3. FIG.
In addition, although the example in the case of controlling the direction of the camera has been described in the above-described first embodiment, the camera position control in the present invention includes control of the camera itself such as control of the camera focus and the like.
[0031]
【The invention's effect】
As described above, according to the video transmission method according to claim 1 of the present invention, the video transmission device on the transmission side adds the time information to the video information from the camera and transmits the video transmission device on the reception side. When a camera control operation signal is input, a control command is transmitted. When a camera control stop operation signal is input, a control stop command is transmitted, and time information of the video at that time is stored, and the transmission side When receiving a control command, the video transmission apparatus starts control of the camera based on the control command, transmits position information and time information at the time of camera control, and stops control of the camera when receiving a control stop command. The camera stop position and time information is transmitted, and the video transmission device on the receiving side receives the camera control path position information and time information, and the camera stop position information and time information. The camera position information at the time of camera control stop operation input is obtained based on the time information at the time of camera control stop operation input, and the camera position information is transmitted. When received, the camera stop position is moved based on the camera position information, so the camera position / time information table is not required, the memory capacity of the memory is reduced, and the processing load is reduced. Is possible.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a video transmission apparatus used in a video transmission system according to Embodiment 1 of the present invention.
FIG. 2 is a timing chart showing the video transmission system according to the first embodiment of the present invention and its operation state.
FIG. 3 is a configuration diagram showing a configuration of a video transmission apparatus as a background of the present invention.
4 is an explanatory diagram of a video transmission system when camera control is performed while confirming a remote image using the video transmission apparatus of FIG. 3;
5 is a video transmission system using the video transmission apparatus of FIG. 3 and a signal transmission / reception when performing camera control (without position correction) while confirming a video of a remote place using the video transmission apparatus of this system. It is the time chart which showed the state.
6 is a video transmission system using the video transmission apparatus of FIG. 3 and a signal transmission / reception when the camera is controlled while confirming the image of a remote place using the video transmission apparatus of this system and the position is corrected. It is a time chart which showed the state of.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 Video transmission apparatus, 101 Audio input / output part, 102 Audio codec part, 103 Image input / output part, 104 Image codec part, 105 Data input / output part, 106 Demultiplexing part, 107 Transmission part, 109 Memory, 110 Time information generation part , 111 operation unit, 201 video transmission device, 202 video transmission device, 203 transmission path, 204 camera, 205 operation / display device, 206 camera controller.

Claims

In a video transmission method of a system including a video transmission device on a transmission side and a video transmission device on a reception side,
When the video transmission device on the transmission side is connected to a camera and transmits video information from the camera, the video information is transmitted with time information added to the video information,
The video transmission apparatus on the receiving side includes a display device, and transmits a control command when a camera control operation signal is input, and transmits a control stop command when the camera control stop operation signal is input. In addition, the time information added to the video signal of the video displayed on the display device at that time is stored,
Upon receiving the control command, the transmission-side video transmission device starts control of the camera based on the control command, transmits position information and time information during camera control, and receives the control stop command. Then, while stopping the camera control, sending stop position information and time information of the camera,
When the video transmission device on the receiving side receives the position information and time information at the time of control of the camera and the stop position information and time information of the camera, the information and the time at the time of operation input of the camera control stop Based on the information, the camera position information at the time of camera control stop operation input is obtained, the camera position information is transmitted,
The video transmission method according to claim 1, wherein the video transmission device on the transmission side moves the stop position of the camera based on the camera position information when receiving the camera position information at the time of camera control stop operation input.