JP5316588B2 - Video distribution system and method - Google Patents
Video distribution system and method Download PDFInfo
- Publication number
- JP5316588B2 JP5316588B2 JP2011120903A JP2011120903A JP5316588B2 JP 5316588 B2 JP5316588 B2 JP 5316588B2 JP 2011120903 A JP2011120903 A JP 2011120903A JP 2011120903 A JP2011120903 A JP 2011120903A JP 5316588 B2 JP5316588 B2 JP 5316588B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- camera
- video distribution
- cameras
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
この発明は、映像配信システム及び方法に関し、例えば、複数のカメラで撮像された映像を受信装置に配信するシステムに適用し得る。 The present invention relates to a video distribution system and method, and can be applied to, for example, a system that distributes video captured by a plurality of cameras to a receiving device.
従来、遠隔地の様子をカメラを用いて撮影、通信路を通じて別の場所に送り、送られた場所でモニタ等に映像として再生することで、遠隔地の様子をリアルタイムに共有する映像配信システムが開発されている。従来の映像配信システムとしては、特許文献１に記載されたシステムがある。
Conventionally, there has been a video distribution system that captures the state of a remote place in real time by photographing it using a camera, sending it to another place through a communication path, and reproducing it as a video on a monitor etc. Has been developed. As a conventional video distribution system, there is a system described in
特許文献１には、複数のビデオカメラを備え、映像配信装置として機能するコンピュータについて記載されている。そして、特許文献１に記載された映像配信装置（コンピュータ）は、複数のカメラの映像を一定間隔で循環的に切替え、その切替えに応じて映像データを映像受信装置に送信するように構成されている。
また、特許文献１の記載技術では、映像データを送信する際の符号化方式についての言及が無い。特許文献１の記載技術では、符号化方式を考慮した場合以下のような問題が生じる。従来、動画像の画像データをネットワーク経由で伝送する際には、Ｈ．２６４などの動画像符号化技術が用いられる。このような動画像符号化技術による動画像の符号化では、入力された画像はイントラフレームと呼ばれる、フレーム内符号化されたフレームと、インターフレームと呼ばれる、フレーム間符号化によるフレーム、という２種類のフレームに符号化される。イントラフレームは、対応する入力画像に含まれる画像情報のみから符号化・復号化できるが、インターフレームは、対応する入力画像の画像情報だけでなく、別の入力画像に対応する符号化されたフレームの情報を参照する。
Further, in the technique described in
なお、以下では、インターフレームにおけるこの参照先の画像を「参照画像」と呼ぶものとする。また、以下では、イントラフレームを「Ｉフレーム」、インターフレームを「Ｐフレーム」とも表すものとする。 Hereinafter, this reference image in the inter frame is referred to as a “reference image”. Hereinafter, an intra frame is also referred to as an “I frame” and an inter frame is also referred to as a “P frame”.
Ｐフレームの参照画像をそのフレームより時間的に前に生成されたフレームのみとする。また、ＰフレームはＩフレームより時間的前のフレームを参照しないようにする。このような参照関係の設定は、符号化の遅延を最小とすることが望まれるような、遠隔地の様子をリアルタイムに共有するシステムにおいて妥当である。この場合、受信端末では、初めてＩフレームを受信した際に画像を復号できることになる。逆に言うと映像配信装置からのデータを受信してもそれがＰフレームだった場合には、復号を始めることができず、Ｉフレームの受信ができて初めて復号できることになる。従って、新しく受信端末が映像配信装置に接続した場合、速やかに映像が再生されるとは限らない。 It is assumed that the reference image of the P frame is only a frame generated before the frame. In addition, the P frame does not refer to a frame temporally before the I frame. Such a reference relationship setting is appropriate in a system that shares a remote situation in real time, where it is desired to minimize the encoding delay. In this case, the receiving terminal can decode the image when the I frame is received for the first time. In other words, if data is received from the video distribution device and it is a P frame, decoding cannot be started, and decoding can be performed only after reception of the I frame. Accordingly, when a new receiving terminal is connected to the video distribution apparatus, the video is not always reproduced promptly.
このような課題に対しては、従来、特許文献２の記載技術がある。特許文献２には、複数の拠点に配置されたテレビ会議端末と、テレビ会議端末を制御する多地点制御装置とを有するシステムについて記載されている。そして、特許文献２の記載技術では、新規にテレビ会議端末がテレビ会議に参加した場合には、多地点制御装置の制御により、フレーム内符号化方式（イントラフレーム）で映像データを送信するように、各テレビ会議端末が制御される。これにより、特許文献２の記載技術では、新規に参加したテレビ会議端末で、参加直後から受信映像を正しく復元できるようにしている。
Conventionally, there is a technique described in
しかしながら、特許文献１の記載技術では、カメラにつけられた番号（識別番号）に従ってカメラ切替が行なわれるため、受信端末側の利用者が映像を見ている場合に、切替前後のカメラの位置関係の位置関係を把握することが難しい。
However, in the technique described in
また、特許文献２の記載技術を、特許文献１に記載の映像配信装置（コンピュータ）に適用したとしても、映像配信装置に接続されている受信端末に対して、同じフレームを送る構成となっている。また、Ｉフレームは一般にＰフレームよりも符号量が多い。そのため、特許文献１に記載の映像配信装置が、Ｉフレームの挿入の要求に答えた場合には、その映像配信装置の配信に接続されているすべての受信端末にＩフレームが送信され、ネットワークの帯域を圧迫することになる。例えば、特許文献１では、一つの映像配信装置に複数のカメラが接続されているが、カメラごとに異なる映像配信装置を配置し、受信端末側で、カメラを切替える場合、接続する映像配信装置を切替えることになるが、その度に、Iフレーム送信により通信帯域を圧迫してしまうことになる。
Further, even if the technique described in
上述のような問題に鑑みて、映像配信装置から受信装置（受信端末）に対して映像データを配信する際に、受信装置側の利用者に識別し易い内容の映像のデータを効率的に配信することができる映像配信システム及び映像配信方法が望まれている。 In view of the problems as described above, when video data is distributed from the video distribution device to the receiving device (receiving terminal), video data having contents that can be easily identified by the user on the receiving device side is efficiently distributed. What is desired is a video distribution system and a video distribution method.
第１の本発明は、複数のカメラと、それぞれの上記カメラで撮像された映像を符号化した映像データを配信する映像配信手段と、上記映像配信手段から上記カメラで撮像された映像に基づく映像データを受信する受信装置とを有する映像配信システムにおいて、（１）上記受信装置は、（１−１）上記映像配信手段から、いずれかの上記カメラで撮像された映像に基づく映像データを受信する映像データ受信手段と、（１−２）上記映像データ受信手段が受信した映像データをフレームごとに復号する復号手段と、（１−３）上記復号手段により復号された映像を出力する出力手段と、（１−４）上記映像データ受信手段が映像データを受信する対象となる上記カメラを切り替えるカメラ切替制御手段と、（１−５）上記カメラの配置関係に関する情報を保持する配置関係情報保持手段とを備え、（１−６）上記カメラ制御切替手段は、上記カメラのうち映像データの受信対象となる受信対象カメラを、一定の切替間隔ごとに、現在の受信対象カメラから見てユーザの操作により指定された指定方向に隣接する上記カメラに連続して切替させる連続切替制御処理が可能であり、（２）上記映像配信手段は、（２−１）いずれかの上記カメラで撮像された映像を、フレームごとに、イントラフレーム又はインターフレームとして符号化し、イントラフレーム挿入周期ごとにイントラフレームを挿入するものであって、上記カメラごとに配置された符号化処理部を有し、（２−２）上記受信装置で連続切替制御処理が行われる場合に、上記カメラの配置関係に基づいて、隣接しあう上記カメラに対応する上記符号化処理部の間で、上記連続切替制御処理に係る指定方向側に配置された上記カメラに対応する上記符号化処理部の方が、イントラフレーム挿入周期でのイントラフレームを挿入するタイミングの位相が、上記連続切替制御処理で適用される切替間隔に応じた時間だけずれるように制御する符号化制御処理を行うことを特徴とする。
According to a first aspect of the present invention, a plurality of cameras, video distribution means for distributing video data obtained by encoding video captured by each of the cameras, and video based on the video captured by the camera from the video distribution means In a video distribution system including a receiving device that receives data, (1) the receiving device receives (1-1) video data based on a video image captured by any one of the cameras from the video distribution unit. Video data receiving means; (1-2) decoding means for decoding video data received by the video data receiving means for each frame; and (1-3) output means for outputting video decoded by the decoding means. (1-4) Camera switching control means for switching the camera to be received by the video data receiving means, and (1-5) the positional relationship of the cameras. (1-6) The camera control switching unit is configured to select a reception target camera to receive video data among the cameras at a certain switching interval. A continuous switching control process of continuously switching to the camera adjacent to the designated direction designated by the user's operation when viewed from the receiving target camera, (2) The video distribution means is (2-1) An image captured by any one of the above cameras is encoded as an intra frame or an inter frame for each frame, and an intra frame is inserted at every intra frame insertion period, and is encoded for each camera. (2-2) When a continuous switching control process is performed in the receiver, the above-mentioned adjacent units are arranged based on the arrangement relationship of the cameras. Among the encoding processing units corresponding to the mela, the encoding processing unit corresponding to the camera arranged on the designated direction side related to the continuous switching control processing is more suitable for the intra frame insertion period. An encoding control process is performed to control so that the phase of the insertion timing is shifted by a time corresponding to the switching interval applied in the continuous switching control process.
第２の本発明は、複数のカメラと、それぞれの上記カメラで撮像された映像を符号化した映像データを配信するものであって、上記カメラごとに配置された符号化処理部により、上記カメラで撮像された映像を、フレームごとに、イントラフレーム又はインターフレームとして符号化し、イントラフレーム挿入周期ごとにイントラフレームを挿入する映像配信手段と、上記映像配信手段から上記カメラで撮像された映像に基づく映像データを受信する受信装置とを有する映像配信システムの映像配信方法において、（１）上記受信装置が、上記映像配信手段から、いずれかの上記カメラで撮像された映像に基づく映像データを受信する映像データ受信工程と、（２）上記受信装置が、上記映像データ受信工程で受信した映像データをフレームごとに復号する復号工程と、（３）上記受信装置が、上記復号工程で復号された映像を出力する出力工程と、（４）上記受信装置が、上記映像データ受信工程で映像データを受信する対象となる上記カメラを切り替えるカメラ切替制御工程と、（５）上記受信装置が、上記カメラの配置関係に関する情報を保持する配置関係情報保持工程とを含み、（６）上記カメラ制御切替工程では、上記受信装置が、上記カメラのうち映像データの受信対象となる受信対象カメラを、一定の切替間隔ごとに、現在の受信対象カメラから見てユーザの操作により指定された指定方向に隣接する上記カメラに連続して切替させる連続切替制御処理を行うことが可能であり、（７）上記カメラ制御切替工程で連続切替制御処理が行われる場合に、上記映像配信手段が、上記カメラの配置関係に基づいて、隣接しあう上記カメラに対応する上記符号化処理部の間で、上記連続切替制御処理に係る指定方向側に配置された上記カメラに対応する上記符号化処理部の方が、イントラフレーム挿入周期でのイントラフレームを挿入するタイミングの位相が、上記連続切替制御処理で適用される切替間隔に応じた時間だけずれるように制御する符号化制御工程をさらに含むことを特徴とする。
According to a second aspect of the present invention, a plurality of cameras and video data obtained by encoding video captured by each of the cameras are distributed, and the camera is provided by an encoding processing unit arranged for each camera. Based on the video taken by the camera from the video delivery unit, the video delivery unit that encodes the video taken in
本発明によれば、映像配信装置から受信装置に対して映像データを配信する際に、受信装置側の利用者に識別し易い内容の映像のデータを効率的に配信することができる。 ADVANTAGE OF THE INVENTION According to this invention, when distributing video data from a video distribution apparatus to a receiving apparatus, it is possible to efficiently distribute video data having a content that can be easily identified by a user on the receiving apparatus side.
（Ａ）第１の実施形態
以下、本発明による映像配信システム及び方法の第１の実施形態を、図面を参照しながら詳述する。
(A) First Embodiment Hereinafter, a first embodiment of a video distribution system and method according to the present invention will be described in detail with reference to the drawings.
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の映像配信システム１の全体構成を示すブロック図である。
(A-1) Configuration of the First Embodiment FIG. 1 is a block diagram showing the overall configuration of the
映像配信システム１は、配信管理装置２００、ｎ台の映像配信装置３００（３００−１〜３００−ｎ）、及び、ｍ台の受信端末４００（４００−１〜４００−ｍ）を有している。映像配信システム１を構成する上述の装置間は、全てネットワーク経由で通信可能な構成となっている。映像配信システム１において、採用するネットワークの方式や接続構成については限定されないものであるが、ここでは、映像配信システム１を構成する装置間はＩＰネットワークを介して接続しているものとする。
The
映像配信システム１は、例えば、カメラ１００で撮像された人物と、受信端末４００側の人物（利用者）との間での遠隔コミュニケーションに用いるようにしても良い。
For example, the
映像配信装置３００−１〜３００−ｎには、それぞれカメラ１００−１〜１００−ｎが接続されている。それぞれの映像配信装置３００は、自装置が接続するカメラ１００で撮像された映像のデータを、配信要求のあった受信端末４００に対してネットワークを介して送信する。受信端末４００は、利用者の操作に応じて決定された、映像配信装置３００（カメラ１００）からの映像データを受信して、その映像データを出力（例えば、ディスプレイに表示出力）する。また、配信管理装置２００は、それぞれの映像配信装置３００から受信端末４００への映像データの配信に関する制御を行う機能を担っている。
Cameras 100-1 to 100-n are connected to the video distribution apparatuses 300-1 to 300-n, respectively. Each
次に、配信管理装置２００の内部構成について説明する。
Next, the internal configuration of the
図２は、配信管理装置２００の機能的構成について示したブロック図である。なお、図２において括弧内の符号は、後述する第２の実施形態で用いられる符号である。
FIG. 2 is a block diagram illustrating a functional configuration of the
配信管理装置２００は、送受信部２０１、記憶部２０２、及びイントラフレーム制御指示部２０３を有している。なお、図２においては、図示を省略しているが、配信管理装置２００は、ネットワークに接続して他の装置と通信するための物理インタフェース等も備えているものとする。
The
なお、配信管理装置２００は、プロセッサやメモリ等のプログラムの実施構成を備えた情報処理装置（コンピュータ）に、配信管理プログラム等をインストールすることにより構築しても良く、その場合でも機能的には上述の図２のように示すことができる。
The
記憶部２０２は、各映像配信装置３００から受信端末４００への映像データの配信管理に必要なデータを保持する記憶部である。記憶部２０２に記憶するデータの具体的内容については後述する。
The
イントラフレーム制御指示部２０３は、少なくとも、それぞれの映像配信装置３００に対してカメラ１００からの映像信号の符号化処理に関する制御処理を行う。イントラフレーム制御指示部２０３は、記憶部２０２の内容に基づいて、それぞれの映像配信装置３００に対する制御内容を決定する。イントラフレーム制御指示部２０３の処理の詳細については後述する。
The intra frame
送受信部２０１は、イントラフレーム制御指示部２０３が他の装置とやりとりするデータ（パケット）の送受信処理を行うものである。
The transmission /
次に、映像配信装置３００の内部構成について説明する。
Next, the internal configuration of the
図３は、映像配信装置３００の機能的構成について示したブロック図である。
FIG. 3 is a block diagram illustrating a functional configuration of the
なお、ここでは、映像配信装置３００−１〜３００−ｎは、全て図３に示す同様の構成であるものとして説明する。 Here, the video distribution apparatuses 300-1 to 300-n will be described as having the same configuration shown in FIG.
それぞれの映像配信装置３００は、映像入力部３０１、２つの映像符号化部３０２−１、３０２−２、２つの送信要求受信部３０３−１、３０３−２、２つの送信部３０４−１、３０４−２、符号化開始時刻制御部３０５、イントラフレーム制御部３０６、時計３０７、及び符号化指示受信部３０８を有している。なお、図３においては、図示を省略しているが、映像配信装置３００は、ネットワークに接続して他の装置と通信するための物理インタフェース等も備えているものとする。
Each
また、映像配信装置３００は、プロセッサやメモリ等のプログラムの実施構成を備えた情報処理装置（コンピュータ）に、映像配信プログラム等をインストールすることにより構築しても良く、その場合でも機能的には上述の図３のように示すことができる。
Further, the
映像入力部３０１は、自装置に接続されたカメラ１００からの映像信号の入力を受付けて、映像符号化部３０２−１、３０２−２に供給する機能を担っている。映像入力部３０１としては、既存の映像配信装置におけるカメラとのインタフェースと同様のものを適用することができる。
The
映像符号化部３０２−１、３０２−２は、それぞれ、映像入力部３０１から供給された映像信号に基づく映像をフレームごとに符号化した映像データを生成する。そして、映像符号化部３０２−１は、生成した映像データを、送信部３０４−１に供給する。また、映像符号化部３０２−２は、生成した映像データを、送信部３０４−２に供給する。
Each of the video encoding units 302-1 and 302-2 generates video data obtained by encoding a video based on the video signal supplied from the
映像符号化部３０２−１、３０２−２が対応する符号化方式は限定されないものであるが、ここでは、例として、既存のＭＰＥＧ等の符号化方式により、映像信号からイントラフレーム又はインターフレームを生成するものとする。映像符号化部３０２−１、３０２−２が、イントラフレーム又はインターフレームのいずれを生成するかは、イントラフレーム制御部３０６の制御に応じて行われるものとする。符号化開始時刻制御部３０５及びイントラフレーム制御部３０６の制御に従って、３０３−１、３０３−２が行う符号化処理のタイミング制御については後述する。
The encoding method supported by the video encoding units 302-1 and 302-2 is not limited, but here, as an example, an intraframe or interframe is converted from a video signal by an existing encoding method such as MPEG. Shall be generated. It is assumed that whether the video encoding units 302-1 and 302-2 generate an intra frame or an inter frame is performed according to the control of the intra
送信部３０４−１、３０４−２は、それぞれ映像符号化部３０２−１、３０２−２から供給された符号化された映像データを、宛先の受信端末４００に向けて送信するものである。
The transmitting units 304-1 and 304-2 transmit the encoded video data supplied from the video encoding units 302-1 and 302-2 to the
送信要求受信部３０３−１、３０３−２は、受信端末４００からの映像配信要求を受付けるものである。そして、送信要求受信部３０３−１は、受付けた映像配信要求を、映像符号化部３０２−１に供給する。また、送信要求受信部３０３−２は、受付けた映像配信要求を、映像符号化部３０２−２に転送する。受信端末４００から配信管理装置２００へ、映像データの送信要求や切断要求（停止要求）を行うシーケンスにおいて、具体的な制御信号（パケット）の形式については限定されないものであり、既存の映像配信システムと同様のものを適用することができる。
The transmission request receiving units 303-1 and 303-2 accept video distribution requests from the receiving
ここでは、送信要求受信部３０３−１、３０３−２には、それぞれ異なるポート番号（ＴＣＰ又はＵＤＰで用いられるポート番号）が付与されているものとする。この実施形態では、送信要求受信部３０３−１に対して割り当てられたポート番号を「ポート１」と表し、送信要求受信部３０３−２に対して割り当てられたポート番号を「ポート２」と表すものとする。すなわち、受信端末４００から、ポート１を用いて送信要求（パケット）を受付けた場合、その送信要求（パケット）を、送信要求受信部３０３−１宛のものとして受信する。そして、受信端末４００から、ポート２を用いて送信要求（パケット）を受付けた場合、その送信要求（パケット）を、送信要求受信部３０３−２宛のものとして受信する。
Here, it is assumed that transmission request receiving units 303-1 and 303-2 are assigned different port numbers (port numbers used in TCP or UDP). In this embodiment, the port number assigned to the transmission request receiving unit 303-1 is represented as “
符号化開始時刻制御部３０５は、映像符号化部３０２−１、３０２−２に対して、映像信号の符号化処理を行うタイミングを指示するものである。符号化開始時刻制御部３０５が行う処理の詳細については後述する。符号化開始時刻制御部３０５は、時計３０７を用いて映像符号化部３０２−１、３０２−２に対して指示するタイミングを決定する。時計３０７としては、例えば、既存のコンピュータ等で用いられる時計と同様のものを適用することができる。
The encoding start
イントラフレーム制御部３０６は、映像符号化部３０２−１、３０２−２に対して、符号化処理におけるイントラフレームの挿入を行うタイミングを指示するものである。映像配信装置３００が、配信管理装置２００の指示に基づいて動作する処理については後述する。
The intra
符号化指示受信部３０８は、配信管理装置２００からの制御信号（パケット）を受信し、符号化開始時刻制御部３０５又はイントラフレーム制御部３０６に供給するものである。
The encoding
次に、受信端末４００の内部構成について説明する。
Next, the internal configuration of the receiving
図４は、受信端末４００の機能的構成について示したブロック図である。なお、図４において括弧内の符号は、後述する第２の実施形態で用いられる符号である。
FIG. 4 is a block diagram showing a functional configuration of receiving
受信端末４００は、送受信部４０１、映像復号部４０２、配置情報保持部４０３、接続切替順決定部４０４、制御部４０５、ユーザインタフェース処理部４０６、入力部４０７、及び表示部４０８を有している。なお、図４においては、図示を省略しているが、受信端末４００は、ネットワークに接続して他の装置と通信するための物理インタフェース等も備えているものとする。
The receiving
なお、受信端末４００は、プロセッサやメモリ等のプログラムの実施構成を備えた情報処理装置（コンピュータ）に、受信プログラム等をインストールすることにより構築しても良く、その場合でも機能的には上述の図４のように示すことができる。
The
送受信部４０１は、当該受信端末４００が他の装置とやりとりするデータの送受信処理を行う機能を担っている。
The transmission /
映像復号部４０２は、送受信部４０１を介して、いずれかの映像配信装置３００から、符号化された映像データを受信すると、その映像データを復号する処理を行う。映像復号部４０２が行う復号処理の内容は限定されないものであるが、既存のＭＰＥＧ等の映像データ受信を行う端末と同様の処理（映像配信装置３００の符号化処理に対応する復号処理）を適用することができる。
When the
配置情報保持部４０３は、配信管理装置２００から送受信部４０１を介して、各映像配信装置３００に接続されたカメラ１００の配置に関する情報（以下、「配置情報」と呼ぶ）を受信して保持するものである。配置情報保持部４０３が保持する配置情報の詳細については後述する。
The arrangement
制御部４０５は、当該受信端末４００の全体の動作を制御する機能を担っている。
The
入力部４０７は、当該受信端末４００の利用者からの操作を受付けるものである。入力部４０７において、利用者からの操作を受付ける方式については限定されないものであるが、例えば、ポインティングデバイス（例えば、マウス、タッチパネル等）やキーボード等を適用することができる。ここでは、入力部４０７としては、少なくともマウス等のポインティングデバイスを備えているものとする。
The
表示部４０８は、当該受信端末４００の利用者に対して、映像配信装置３００から受信した映像データに基づく映像や、操作画面等をディスプレイ等により表示出力するものである。
The
ユーザインタフェース処理部４０６は、入力部４０７及び表示部４０８を用いて、利用者に対して提供するインタフェース（ＧＵＩ等）に関する処理を行う機能を担っており、表示処理部４０６１、マップ処理部４０６２、及び操作処理部４０６３を有している。
The user
次に、ユーザインタフェース処理部４０６により提供されるインタフェースの詳細について説明する。
Next, details of the interface provided by the user
図５は、表示部４０８に出力する画面の内容例について示した説明図である。
FIG. 5 is an explanatory diagram showing an example of the contents of the screen output to the
図５に示すように、受信端末４００では、ユーザインタフェース処理部４０６により、表示部４０８の画面に、映像表示領域Ａ１０１、マップ表示領域Ａ１０２、及び操作ボタン表示領域Ａ１０３の３つの表示領域が設定されているものとする。なお、図５に示す各表示領域のレイアウトは限定されないものである。
As shown in FIG. 5, in the receiving
表示処理部４０６１は、映像復号部４０２が復号した映像を、映像表示領域Ａ１０１に表示する処理を行う。
The
マップ処理部４０６２は、各カメラ１００のそれぞれの配置状況に関して、利用者が視覚的に認識可能な画像を、マップ表示領域Ａ１０２に表示するものである。マップ処理部４０６２は、例えば、各カメラ１００の配置位置や撮像している方向について視覚的に表示する。また、ここでは、マップ処理部４０６２は、マップ表示領域Ａ１０２に、現在いずれのカメラ１００の撮像した映像が、映像表示領域Ａ１０１に表示されているのかについても、利用者が視覚的に認識可能な形式でマップ表示領域Ａ１０２に表示するものとする。
The
操作処理部４０６３は、利用者からポインティングデバイスを用いた操作を受付けるためボタン等を操作ボタン表示領域Ａ１０３に表示し、利用者からの操作（例えば、ボタンの押下等）を受付ける処理を行う。
The
次に、マップ処理部４０６２により、マップ表示領域Ａ１０２に表示される具体的な内容について説明する。
Next, specific contents displayed on the map display area A102 by the
図６は、マップ処理部４０６２により、マップ表示領域Ａ１０２に表示される内容の例について示した説明図である。
FIG. 6 is an explanatory diagram showing an example of contents displayed in the map display area A102 by the
図６では、カメラ１００及び映像配信装置３００が６台ずつ配置されている場合の例について示している。ここでは、映像配信装置３００−１〜３００−６に、それぞれカメラ１００−１〜１００−６が接続されているものとして説明する。すなわち、この実施形態では、カメラ１００及び映像配信装置３００の台数を示すｎは「６」であるものとして、以下の説明を行う。
FIG. 6 shows an example in which six
図６に示すように、マップ表示領域Ａ１０２には、各カメラ１００の空間的な配置位置及び撮像する方向について視覚的（模式的）に表示される。
As shown in FIG. 6, in the map display area A102, the spatial arrangement position of each
図６では、カメラ１００−１〜１００−６のそれぞれに対応するオブジェクトＯＢ１０１〜ＯＢ１０６が表示されている。 In FIG. 6, objects OB101 to OB106 corresponding to the cameras 100-1 to 100-6 are displayed.
また、オブジェクトＯＢ１０１〜ＯＢ１０６のそれぞれに付された記号（Ａ〜Ｆ）は、当該領域に対応するカメラ１００の名前を示している。すなわち、映像配信システム１では、カメラ１００−１〜１００−６には、それぞれＡ〜Ｆの名前が割当てられているものとする。例えば、図６では、オブジェクトＯＢ１０１に対応するカメラ１００は、カメラ１００−１であり、カメラ１００−１に対応する名前は「Ａ」となる。
Further, symbols (A to F) given to the objects OB101 to OB106 indicate the names of the
図６に示すように、カメラ１００−１〜１００−６は、位置Ｐ１０１を中心とした円上に、位置Ｐ１０１を囲うように配置されており、全てのカメラ１００の撮像する方向は位置Ｐ１０１を向いているものとする。 As shown in FIG. 6, the cameras 100-1 to 100-6 are arranged on a circle centered on the position P <b> 101 so as to surround the position P <b> 101. It shall be suitable.
また、マップ表示領域Ａ１０２では、現在映像表示領域Ａ１０１に表示している映像を撮像しているカメラ１００（以下、「表示対象カメラ」と呼ぶものとする）について識別可能となるように表示している。具体的には、表示対象カメラに対応するカメラ１００のオブジェクトについて、ハイライト表示する等、他のオブジェクトと異なる表示方法を適用するようにしても良い。図６では、カメラ１００−１（名前：Ａ）に対応するオブジェクト１０１だけ、黒色のハイライト表示を適用することにより、表示対象カメラがカメラ１０１−１（名前：Ａ）であることを示している。
In the map display area A102, the
なお、図６では、カメラを示すオブジェクトについて、レンズを模した部分を向ける方向で、カメラの撮像する向きを示しているが、カメラを示すオブジェクトの表現方法は、これに限定されないものである。例えば、各カメラのオブジェクトについて、撮像する方向を矢印で示す等、他の方法により表現するようにしても良い。 In FIG. 6, the direction in which the camera captures the object indicating the camera is shown in the direction in which the portion imitating the lens is directed, but the method of expressing the object indicating the camera is not limited to this. For example, the object of each camera may be expressed by other methods such as an arrow indicating the imaging direction.
ここで、映像配信システム１における、各カメラ１００の空間的（物理的）な位置関係について説明する。
Here, the spatial (physical) positional relationship of each
図１３は、各カメラ１００の位置関係について示した説明図である。
FIG. 13 is an explanatory diagram showing the positional relationship between the
図１３に示す各カメラ１００の位置関係は、上述の図６に示すマップ表示領域Ａ１０２と同様となっている。そして、図１３に示すように、カメラ１００−１〜１００−６は、位置Ｐ１０１を中心とした円上に、位置Ｐ１０１を囲うように配置されており、全てのカメラ１００の撮像する方向は位置Ｐ１０１を向いているものとする。すなわち、位置Ｐ１０１には、例えば。映像配信システム１で映像の撮影対象となる物体（例えば、人物や物品等）が配置されている。そして、以下では、位置Ｐ１０１を中心として時計回りの方向を「左方向」又は「左回り」と呼び、反時計回りの方向を「右方向」又は「右回り」と呼ぶものとする。そして、各カメラ１００には、右方向及び左方向にそれぞれ隣接するカメラ１００が位置している。例えば、カメラ１００−１の右方向にはカメラ１００−６が隣接し、カメラ１００−１の左方向には、カメラ１００−２が隣接していると言える。
The positional relationship between the
次に、操作処理部４０６３の処理、及び、操作ボタン表示領域Ａ１０３に表示される具体的な内容について説明する。
Next, processing of the
図７は、操作処理部４０６３により、操作ボタン表示領域Ａ１０３に表示される内容の例について示した説明図である。
FIG. 7 is an explanatory diagram showing an example of contents displayed in the operation button display area A103 by the
図７では、操作ボタン表示領域Ａ１０３に、停止ボタンＢ１０１、右方向切替ボタンＢ１０２、右方向連続切替ボタンＢ１０３、左方向切替ボタンＢ１０４、及び左方向連続切替ボタンＢ１０５という５つのボタンが表示される例について示している。操作処理部４０６３では、それぞれのボタンに対して、利用者に操作（ポインティングデバイスを用いた押下）された場合に実行する処理（プログラム）が定義されている。それぞれのボタンが押下された場合の具体的な処理については後述する。
In FIG. 7, in the operation button display area A103, five buttons such as a stop button B101, a right direction switching button B102, a right direction continuous switching button B103, a left direction switching button B104, and a left direction continuous switching button B105 are displayed. Shows about. The
右方向切替ボタンＢ１０２は、表示対象カメラを、現在の表示対象カメラの右方向に隣接するカメラ１００へ切替を指示するためのボタンである。受信端末４００（接続切替順決定部４０４）では、例えば、現在の表示対象カメラがカメラ１００−１（名前：Ａ）だった場合には、右方向切替ボタンＢ１０２が押下されると、表示対象カメラがカメラ１００−１（名前：Ａ）の右隣のカメラ１００−６（名前：Ｆ）に切替わることになる。
The right direction switching button B102 is a button for instructing switching of the display target camera to the
左方向切替ボタンＢ１０４は、表示対象カメラを、現在の表示対象カメラの左方向に隣接するカメラ１００へ切替を指示するためのボタンである。受信端末４００（接続切替順決定部４０４）では、例えば、現在の表示対象カメラがカメラ１００−１（名前：Ａ）だった場合には、左方向切替ボタンＢ１０４が押下されると、表示対象カメラがカメラ１００−１（名前：Ａ）の左隣のカメラ１００−２（名前：Ｂ）に切替わることになる。
The left direction switching button B104 is a button for instructing switching of the display target camera to the
右方向連続切替ボタンＢ１０３は、表示対象カメラを、順次右方向のカメラ１００へ切替える処理を一定間隔で繰り返し行う動作（以下、「右方向の連続切替動作」と呼ぶ）の実行を指示するボタンである。例えば、現在の表示対象カメラがカメラ１００−１（名前：Ａ）である状態で、右方向連続切替ボタンＢ１０３が押下された場合、受信端末４００（接続切替順決定部４０４）は、名前のみのリストで表すと、Ａ、Ｆ、Ｅ、Ｄ、Ｃ、Ｂ、Ａ、Ｂ…というように、右方向の連続切替動作を行う。
The right direction continuous switching button B103 is a button for instructing execution of an operation (hereinafter, referred to as “right direction continuous switching operation”) in which processing for sequentially switching the display target camera to the
左方向連続切替ボタンＢ１０５は、表示対象カメラを、順次左方向のカメラ１００へ切替える処理を一定間隔で繰り返し行う動作（以下、「左方向の連続切替動作」と呼ぶ）の実行を指示するボタンである。例えば、現在の表示対象カメラがカメラ１００−１（名前：Ａ）である状態で、左方向連続切替ボタンＢ１０５が押下された場合、受信端末４００（接続切替順決定部４０４）は、名前のみのリストで表すと、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ａ、Ｂ…というように、左方向の連続切替動作を行う。
The left-direction continuous switching button B105 is a button for instructing execution of an operation for repeatedly switching the display target camera to the left-
停止ボタンＢ１０１は、右方向の連続切替動作もしくは左方向の連続切替動作に対して、停止の指示をするためのボタンである。右方向又は左方向の連続切替動作を行っている間に、停止ボタンＢ１０１が押下された場合、受信端末４００（接続切替順決定部４０４）は、その連続切替動作を停止する。 The stop button B101 is a button for instructing to stop the continuous switching operation in the right direction or the continuous switching operation in the left direction. When the stop button B101 is pressed during the right or left continuous switching operation, the receiving terminal 400 (connection switching order determination unit 404) stops the continuous switching operation.
次に、各受信端末４００の配置情報保持部４０３で保持される情報について図８を用いて説明する。
Next, information held in the arrangement
図８に示すように、配置情報保持部４０３には、ネットワークアドレス情報４０３１、ポート情報４０３２、及び隣接情報４０３３の情報が格納されている。
As illustrated in FIG. 8, the arrangement
図９は、ネットワークアドレス情報４０３１の内容例について示した説明図である。
FIG. 9 is an explanatory diagram showing an example of the contents of the
ネットワークアドレス情報４０３１は、カメラ１００ごとに対応する映像配信装置３００に、ネットワーク経由でアクセスするためのアドレス（ネットワークアドレス）が記録された情報である。
The
図９に示すように、ネットワークアドレス情報４０３１には、カメラ１００ごとに「接続ＩＤ」、「名前」、「アドレス」の項目の情報が登録されている。
As shown in FIG. 9, in the
映像配信システム１では、カメラ１００と映像配信装置３００とは１対１の関係であり、カメラ１００及び映像配信装置３００の組のそれぞれに対して識別情報が付与されているものとする。具体的には、カメラ１００及び映像配信装置３００の組のそれぞれに対して、図９に示すように、「接続先ＩＤ」及び「名前」が付与されている。ここでは、上述の通り、６台のカメラ１００−１〜１００−６と、６台の映像配信装置３００−１〜３００−６とが配置されているものとする。例えば、カメラ１００−１は映像配信装置３００−１に接続されていることになる。そして、カメラ１００−ｘ（ｘは１〜６のいずれか）と映像配信装置３００−ｘとの組には接続ＩＤとしてｘが付与されるものとする。例えば、図９に示すように、カメラ１００−１と映像配信装置３００−１との組には接続ＩＤとして「１」が付与されることになる。そして、映像配信システム１では、各接続ＩＤに対応する利用者の認識しやすい識別しとして「名前」が対応するものとする。ここでは、接続先ＩＤ１〜６に対してそれぞれＡ〜Ｆという名前（上述の図６に示すマップ表示領域Ａ１０２の内容と対応する名前）が付与されているものとする。例えば、図９に示すように、接続先ＩＤ６に対応する名前は「Ａ」となる。
In the
そして、ネットワークアドレス情報４０３１を構成する「アドレス」の項目は、当該「接続ＩＤ」に対応する映像配信装置３００にアクセスするためのネットワークアドレスを示している。ここでは、映像配信装置３００−１〜３００−６に対して、アドレスＡ〜Ｆが設定されているものとする。例えば、図９に示すように、映像配信装置３００−１（接続先ＩＤ：１）には、アドレスＡが設定されている。なお、ここでは説明を簡易にするために「アドレス」の項目について「アドレスＡ」、「アドレスＢ」等の表記をしているが、実際には、ＩＰアドレス等が用いられるものとする。
The item “address” configuring the
図１０は、ポート情報４０３２の内容例について示した説明図である。
FIG. 10 is an explanatory diagram showing an example of the contents of the
ポート情報４０３２には、当該受信端末４００が、ネットワークアドレス情報４０３１（図９）に示すアドレス（ＩＰアドレス）で、映像配信装置３００へアクセスする際に用いるポート番号（ＴＣＰ又はＵＤＰのポート番号）について登録されている。
The
図１０に示すように、ポート情報４０３２には、「ポートＩＤ」、「隣接関係」、「ポート番号」の項目の情報が登録されている。
As shown in FIG. 10, in the
「ポートＩＤ」の項目は、それぞれの行に割り当てたＩＤ（識別子）である。 The item “Port ID” is an ID (identifier) assigned to each row.
「ポート番号」の項目には、「ポートＩＤ」に対応するポート番号が登録されている。 In the “port number” item, a port number corresponding to “port ID” is registered.
「ポート番号」の項目には、映像配信装置３００の送信要求受信部３００−１に対応する「ポート１」、又は、映像配信装置３００の送信要求受信部３００−２に対応する「ポート２」のいずれかが登録されるものとする。
The item “port number” includes “
「隣接関係」の項目は、接続切替順決定部４０４で、映像配信装置３００の切替先を判断するために必要な情報である。「隣接関係」の項目には、図１０に示すように「Ｌ」や「Ｒ」といった識別子が設定されるが、その意味については、後述する。
The item “adjacent relationship” is information necessary for the connection switching
次に、隣接情報４０３３に登録される情報について説明する。
Next, information registered in the
図１１は、隣接情報４０３３の内容例について示した説明図である。
FIG. 11 is an explanatory diagram showing a content example of the
接続切替順決定部４０４により、表示対象カメラの切り替えが行われる動作（以下、「カメラ切替動作」と呼ぶ）において、現在の表示対象カメラであるカメラ１００−ｘ（ｘは１〜６のいずれか）に対して、隣接関係にあるカメラがどれかを求めるために、隣接情報４０３３の表が用いられる。
In an operation (hereinafter referred to as “camera switching operation”) in which the connection switching
隣接情報４０３３では、上述の図１３に示すようなカメラ１００同士の隣接関係について登録されており、図１１では、表形式で、カメラ１００同士の隣接関係について定義する方法の一例を示している。
In the
図１１では、接続先ＩＤに対応するカメラ１００ごとに、右方向及び左方向に隣接するカメラ１００の接続先ＩＤを定義している。なお、図１１に示す接続先ＩＤは、上述のネットワークアドレス情報４０３１と同様のＩＤが設定されているものとする。
In FIG. 11, for each
図１１では、１行で、１つの接続先ＩＤ（現在の接続先ＩＤ）に対応するカメラ１００の右方向及び左方向に隣接するカメラ１００の接続先ＩＤ（新しい接続先ＩＤ）を定義している。図１１では、現在の接続先ＩＤを示す行に、右方向に隣接することを示す「Ｒ」、又は左方向に隣接することを示す「Ｌ」が登録されている。そして、図１１では、「Ｒ」と登録されているセルがあった場合、当該セルの行に対応する現在の接続先ＩＤのカメラ１００の右隣に、当該セルの列に対応する新しい接続先ＩＤのカメラ１００が存在することを示している。そして、図１１では、「Ｌ」と登録されているセルがあった場合、当該セルの行に対応する現在の接続先ＩＤのカメラ１００の左隣に、当該セルの列に対応する新しい接続先ＩＤのカメラ１００が存在することを示している。
In FIG. 11, the connection destination ID (new connection destination ID) of the
例えば、接続切替順決定部４０４が、接続先ＩＤ２に対応するカメラ１００−２の右方向に隣接するカメラはどれかを求める場合、まず、現在の接続先ＩＤを「２」とする行を参照する。そして、接続切替順決定部４０４は、現在の接続先ＩＤを「２」とする行で、記号「Ｒ」の登録されているセルを検索する。そして、接続切替順決定部４０４は、当該セルの列に対応する新しい接続先ＩＤとして「１」を検出することができる。これにより、接続切替順決定部４０４では、接続先ＩＤ２に対応するカメラ１００−２の右隣には、接続先ＩＤ１に対応するカメラ１００−１が存在していると把握することができる。
For example, when the connection switching
同様に例えば、接続切替順決定部４０４が、カメラ１００−４（接続先ＩＤ４）の左側に隣接するカメラ１００を求めるには、まず、現在の接続先ＩＤを「４」とする行を参照する。そして、接続切替順決定部４０４は、現在の接続先ＩＤを「４」とする行で、記号「Ｌ」の登録されているセルを検索する。そして、接続切替順決定部４０４は、当該セルの列に対応する新しい接続先ＩＤとして「５」を検出することができる。これにより、接続切替順決定部４０４では、接続先ＩＤ４に対応するカメラ１００−２の左隣には、接続先ＩＤ５に対応するカメラ１００−５が存在していると把握することができる。
Similarly, for example, in order for the connection switching
次に、配信管理装置２００の記憶部２０２に記憶されるイントラフレーム制御指示部２０３の制御処理に必要な情報（イントラフレーム制御基礎情報２０２１）について、図１２を用いて説明する。
Next, information (intra frame control basic information 2021) necessary for the control process of the intra frame
記憶部２０２に記憶されるイントラフレーム制御基礎情報２０２１には、図１２に示すように、「イントラフレーム間隔」及び「開始時刻差」の項目の情報が設定されている。
In the intra frame control basic information 2021 stored in the
「イントラフレーム間隔」の項目は、各映像配信装置３００（映像符号化部３０２）で、イントラフレームを生成する間隔（フレーム数）を決定するためのパラメータである。 The item “intra-frame interval” is a parameter for determining an interval (number of frames) for generating an intra frame in each video distribution device 300 (video encoding unit 302).
上述の通り、各映像配信装置３００には、２つの映像符号化部３０２−１、３０２−２が備えられている。そして、ここでは、各映像配信装置３００に備えられた、２つの映像符号化部３０２−１、３０２−２でイントラフレームを生成する間隔は、配信管理装置２００に登録された「イントラフレーム間隔」に統一されているものとする。すなわち、イントラフレーム制御指示部２０３は、イントラフレーム制御基礎情報２０２１からイントラフレーム間隔の情報を、各映像配信装置３００に通知する処理を行う。
As described above, each
なお、以下では、このイントラフレーム間隔を、「ＦＩ」とも表わすものとする。 Hereinafter, this intra frame interval is also referred to as “FI”.
この実施形態では、図１２に示すように、イントラフレーム間隔ＦＩは１８０フレームであるものとする。そして、この実施形態では、全ての映像符号化部３０２−１、３０２−２のフレームレートは一定で３０ｆｐｓであるものとする。そうすると、イントラフレーム間隔ＦＩが１８０フレームであるので、６秒に１回イントラフレームが挿入されることになる。以下では、イントラフレーム間隔ＦＩに基づいてイントラフレームが挿入される時間の周期を「イントラフレーム挿入周期ＴＩ」と呼ぶものとする。 In this embodiment, as shown in FIG. 12, the intra frame interval FI is assumed to be 180 frames. In this embodiment, it is assumed that the frame rates of all the video encoding units 302-1 and 302-2 are constant and 30 fps. Then, since the intra frame interval FI is 180 frames, an intra frame is inserted once every 6 seconds. Hereinafter, a period of time during which an intra frame is inserted based on the intra frame interval FI is referred to as an “intra frame insertion period TI”.
「開始時刻差」の項目は、各映像配信装置３００（符号化開始時刻制御部３０５）に対して指示する、符号化処理の開始を行う時刻（タイミング）を計算するために必要なパラメータである。「開始時刻差」の詳細については、後述する。なお、以下では、この開始時刻差を「ＴＤ」とも表わすものとする。 The item of “start time difference” is a parameter necessary for calculating the time (timing) for starting the encoding process, which is instructed to each video distribution apparatus 300 (encoding start time control unit 305). . Details of the “start time difference” will be described later. Hereinafter, this start time difference is also referred to as “TD”.
また、配信管理装置２００の記憶部２０２には、各受信端末４００と同様に、ネットワークアドレス情報４０３１、ポート情報４０３２、及び隣接情報４０３３が記憶されているものとする。すなわち、映像配信システム１では、ネットワークアドレス情報４０３１、ポート情報４０３２、及び隣接情報４０３３について、共通のものが、配信管理装置２００及び各受信端末４００で共有されることになる。例えば、配信管理装置２００に、ネットワークアドレス情報４０３１、ポート情報４０３２、及び隣接情報４０３３のマスター情報を記憶しておき、各受信端末４００に配布し、映像配信システム１内で共通の情報として用いるようにしても良い。
Further, it is assumed that
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の映像配信システム１の動作（実施形態の映像配信方法）を説明する。
(A-2) Operation of First Embodiment Next, an operation (video distribution method of the embodiment) of the
ここでは、配信管理装置２００の記憶部２０２には、イントラフレーム制御基礎情報２０２１として図１２に示す情報が記憶されているものとする。
Here, it is assumed that the
また、配信管理装置２００の記憶部２０２には、ネットワークアドレス情報４０３１として図９に示す情報、ポート情報４０３２として図１０に示す情報、及び隣接情報４０３３として図１１に示す情報が、それぞれ記憶されているものとする。また、配信管理装置２００と各受信端末４００とで、ネットワークアドレス情報４０３１、ポート情報４０３２、及び隣接情報４０３３については、同様の内容のものが共有されているものとする。さらに、以下では、各カメラ１００の配列は上述の図１３のようになっており、ｎ＝６となっているものとする。
Further, the
（Ａ−２−１）配信管理装置の動作について
配信管理装置２００の符号化開始時刻制御部３０５は、まず、隣接情報４０３３に基づいて、カメラ１００の間の隣接関係を把握し、把握した隣接関係に基づき、それぞれのカメラ１００に接続された映像配信装置３００に対して符号化処理を開始するタイミングを決定し、決定したタイミングを通知する処理を行う。
(A-2-1) Regarding Operation of Distribution Management Device The encoding start
受信端末４００では、利用者の操作に応じて、右方向又は左方向の連続切替動作が実行された場合、一定間隔ごとに、接続先の映像配信装置３００を切替えて映像データを受信し、受信した映像データについて復号した映像を表示部４０８（映像表示領域Ａ１０１）に出力する。この場合、受信端末４００では、接続先の映像配信装置３００を切替えた直後は、イントラフレームを受信するまで、受信した映像データの復号を行うことができない。
In the receiving
そこで、配信管理装置２００では、各受信端末４００で連続切替動作を実行する場合の接続先の切替え周期（以下、「接続先切替周期ＴＣ」と呼ぶ）を把握しており、各受信端末４００で連続切替動作が行われた場合に、接続先の映像配信装置３００を切替えてからイントラフレームを受信するまでの時間差ができるだけ短くなるように、各映像配信装置３００に対して符号化処理を開始するタイミングを決定する。なお、ここでは、各受信端末４００の接続先切替周期ＴＣは同一であるものとして説明する。
Therefore, the
上述の通り、各映像配信装置３００には、２つの映像符号化部３０２−１、３０２−２が備えられている。そして、２つの映像符号化部３０２−１、３０２−２は、それぞれ受信端末４００における「左方向の連続切替動作」と「右方向の連続切替動作」とで別個に用いられる。ここでは、受信端末４００が、左方向の連続切替動作を行う場合、それぞれの映像配信装置３００の符号化部３０２−１に対して映像データの配信を要求するものとする。また、受信端末４００が、右方向の連続切替動作を行う場合、それぞれの映像配信装置３００の映像符号化部３０２−２に対して映像データの配信を要求するものとする。
As described above, each
そして、上述の通り、ここでは、各映像配信装置３００に備えられた、映像符号化部３０２−１、３０２−２のイントラフレーム挿入周期ＴＩは、配信管理装置２００に登録されたイントラフレーム間隔ＦＩに基づいたイントラフレーム挿入周期ＴＩに統一されている。配信管理装置２００（イントラフレーム制御指示部２０３）では、各映像配信装置３００で、符号化処理を開始させるタイミングを制御することにより、映像配信装置３００ごとに、イントラフレーム挿入周期ＴＩの周期上で、イントラフレームを生成するタイミングを異なる位相に制御している。
As described above, the intra frame insertion period TI of the video encoding units 302-1 and 302-2 provided in each
以下では、映像配信端末３００−ｘ（ｘは、１〜６のいずれか）に備えられた映像符号化部３０２−１の符号化処理開始時刻をＴＬｘと表すものとする。例えば、映像配信端末３００−１に備えられた映像符号化部３０２−１の符号化処理開始時刻はＴＬ１となる。そして、同様に、映像配信端末３００−ｘに備えられた映像符号化部３０２−２の符号下処理開始時刻をＴＲｘと表すものとする。例えば、映像配信端末３００−１に備えられた映像符号化部３０２−２の符号下処理開始時刻はＴＲ１となる。なお、ＴＲｘ及びＴＬｘは、ともに映像配信システム１の全体で統一された所定の時刻（以下、「システム開始基準時刻ＴＳ」と呼ぶ）からの経過時間をあらわしているものとする。そして、システム開始基準時刻ＴＳについては、予め各映像配信装置３００に設定しておくようにしても良いし、必要の都度、配信管理装置２００から各映像配信装置３００へ通知（通知の方法は限定されない）するようにしても良い。
Hereinafter, the encoding processing start time of the video encoding unit 302-1 provided in the video distribution terminal 300-x (x is any one of 1 to 6) is represented as TLx. For example, the encoding process start time of the video encoding unit 302-1 included in the video distribution terminal 300-1 is TL1. Similarly, it is assumed that the code-under process start time of the video encoding unit 302-2 included in the video distribution terminal 300-x is represented as TRx. For example, the code lowering process start time of the video encoding unit 302-2 provided in the video distribution terminal 300-1 is TR1. Note that TRx and TLx both represent elapsed time from a predetermined time (hereinafter referred to as “system start reference time TS”) unified throughout the
図２０は、映像配信システム１で、各映像配信装置３００の符号化処理を開始させるタイミングを制御する様子について示したタイミングチャートである。
FIG. 20 is a timing chart showing how the
そして、図２１は、映像配信システム１で、上述の図２０のように各映像配信装置３００を制御した結果、各映像配信装置３００ごとに、イントラフレーム挿入周期ＴＩの周期上で、イントラフレームを生成するタイミングを異なる位相に制御に制御する様子について示している。なお、図２０、図２１において、下向きの矢印は、イントラフレームの発生タイミングを示している。
FIG. 21 shows the result of controlling each
各映像配信装置３００への符号化処理開始タイミングの具体的な制御としては、図２０に示すように、各映像配信装置３００−１〜３００−６の映像符号化部３０２−１について、左回りの順序（接続先ＩＤ番号のみのリストで表すと、１、２、３、４、５、６の順序）で、符号化を開始させる時刻を、開始時刻差ＴＤずつ（１秒ずつ）ずらすようにしても良い。図２０では、ＴＬ１＝１秒、ＴＬ２＝２秒、ＴＬ３＝３秒、ＴＬ４＝４秒、ＴＬ５＝５秒、ＴＬ６＝６秒とした場合に、映像配信装置３００−１〜３００−６（映像符号化部３０２−１）で符号化処理が開始される動作について示している。
As specific control of the encoding processing start timing to each
そして、図２０のように各映像配信装置３００−１〜３００−６の映像符号化部３０２−１を制御した結果、図２１に示すように示すように、隣接関係にある映像配信装置３００間で、イントラフレームの挿入タイミングが、開始時刻差ＴＤ分だけ位相がずれた状態となる。この場合、受信端末４００で連続切替動作を行う際に、図２１に示すように、利用者による左回りの連続切替動作の操作後に（最初のＩＤ１（Ａ）の接続を除くと）、カメラの切替ごとのイントラフレーム受信までの時間を短くすることができる。
Then, as a result of controlling the video encoding unit 302-1 of each of the video distribution apparatuses 300-1 to 300-6 as shown in FIG. 20, as shown in FIG. 21, between the
また、映像配信システム１では、各映像配信装置３００−１〜３００−６の映像符号化部３０２−２について、右回りの順序（名前のみのリストで表すと、１、６、５、４、３、２の順序）で、符号化を開始させる時刻を開始時刻差ＴＤずつずらすように設定されているものとする。
In the
配信管理装置２００でＴＲｘ及びＴＬｘを保持する方法については限定されないものである。例えば、予め配信管理装置２００に予めＴＲｘ及びＴＬｘを登録しておくようにしても良いし、後述するように、隣接情報４０３３のマスター情報からＴＲｘ及びＴＬｘ求めて保持するようにしても良い。
The method of holding TRx and TLx in the
次に、配信管理装置２００（イントラフレーム制御指示部２０３）で、隣接情報４０３３からＴＲｘ及びＴＬｘ求める処理について図１４のフローチャートを用いて説明する。
Next, processing for obtaining TRx and TLx from the
図１４のフローチャートでは、処理に用いる変数として変数Ｄ、変数Ａ、変数Ｂを用いるものとする。また、処理に用いる配列型の変数として配列Ｃ、配列Ｅを用いるものとする。配列Ｃは、ｎ個の変数Ｃ［１］〜Ｃ［ｎ］により構成された配列であるものとする。また、配列Ｅも、ｎ個の変数Ｅ［１］〜Ｅ［ｎ］により構成された配列であるものとする。なお、上述の各変数、配列は、符号化開始時刻制御部３０５の処理で用いられるものである。
In the flowchart of FIG. 14, variable D, variable A, and variable B are used as variables used for processing. Further, it is assumed that the array C and the array E are used as the array type variables used for the processing. The array C is assumed to be an array composed of n variables C [1] to C [n]. The array E is also an array composed of n variables E [1] to E [n]. Note that the variables and arrays described above are used in the processing of the encoding start
変数Ｄは、隣接情報４０３３をもとに調べたい隣接関係の方向を代入するものである。ここでは、隣接関係は右および左であり、対応する文字列はＲおよびＬである。従って、変数Ｄには、ＲもしくはＬが代入される。
The variable D is for substituting the direction of the adjacent relationship to be examined based on the
変数Ａは、処理実行中に現在の接続先ＩＤの番号を保持するものである。 The variable A holds the current connection destination ID number during processing execution.
変数Ｂは、配列Ｃの要素を指定するインデックスである。 The variable B is an index that specifies an element of the array C.
配列Ｃは、処理結果として得られる接続先ＩＤを格納する配列である。配列Ｃでは、変数Ｄで指定した隣接関係の順にＣ［１］、Ｃ［２］、…、Ｃ［６］まで格納される。つまり変数Ｄの値がＲとなっていれば、右回り（左方向）の順に接続先ＩＤが格納されることになる。 The array C is an array for storing connection destination IDs obtained as processing results. In the array C, C [1], C [2],..., C [6] are stored in the order of the adjacency specified by the variable D. That is, if the value of the variable D is R, the connection destination IDs are stored in the clockwise direction (left direction).
配列Ｅは、処理の実行中にどの接続先ＩＤを処理したかを記憶しておくものである。例えば処理済の接続先ＩＤが１だった場合、対応する配列Ｅの要素に１を代入する（Ｅ［１］＝１とする）。なお、配列Ｅの各変数の値は、初期において全て０に設定されているものとする。 The array E stores which connection destination ID is processed during the execution of the process. For example, when the processed connection destination ID is 1, 1 is assigned to the element of the corresponding array E (E [1] = 1). Note that the values of the variables in the array E are all set to 0 in the initial stage.
次に、図１４のフローチャートの各ステップの処理について説明する。 Next, processing of each step in the flowchart of FIG. 14 will be described.
まず、符号化開始時刻制御部３０５は、変数Ｄに「Ｌ」をセットする（Ｓ１０１）。
First, the encoding start
次に、符号化開始時刻制御部３０５は、変数Ａに「１」をセットする。また、符号化開始時刻制御部３０５は、切替順を格納する配列Ｃを初期化する。さらに、符号化開始時刻制御部３０５は、切替順の番号を示す変数Ｂに「１」をセットする（Ｓ１０２）。
Next, the encoding start
次に、符号化開始時刻制御部３０５は、配列Ｃ［Ｂ］に変数Ａの値をセットする。（Ｓ１０３）。
Next, the encoding start
次に、符号化開始時刻制御部３０５は、変数Ｂに１を加算（インクリメント）する（Ｓ１０４）。
Next, the encoding start
次に、符号化開始時刻制御部３０５は、変数Ａで指定される値を現在の接続先ＩＤとして、隣接情報４０３３の対応する列を順に右に参照していく（Ｓ１０５）。
Next, the encoding start
そして、符号化開始時刻制御部３０５は、変数Ｄにセットされている文字を隣接情報４０３３の表から検出すると、その文字の検出された列に対応する「新しい接続先ＩＤ」を参照する。そして、符号化開始時刻制御部３０５は、変数Ａに対応する現在の接続先ＩＤは処理済として、記憶しておく（例えば、配列Ｅ［Ａ］＝１と設定する）。そして、符号化開始時刻制御部３０５は、参照した新しい接続先ＩＤを変数Ａにセットする（Ｓ１０６）。ステップＳ１０６の処理では、例えば、変数Ｄの値が「Ｌ」で、変数Ａ（現在の接続先ＩＤ）の値が「１」のとき、新しい接続先ＩＤは「２」となる。そして、符号化開始時刻制御部３０５は、変数Ａに対応する現在の接続先ＩＤ（１）は処理済として、配列Ｅ［１］に記憶する（配列Ｅ［１］＝１とする）。
When the encoding start
次に、符号化開始時刻制御部３０５は、全ての「現在の接続先ＩＤ」が処理済になっているか否か、すなわち、配列Ｅ［１］〜Ｅ［６］が全て処理済を示す１になっているか否かを確認する（Ｓ１０７）。
Next, the encoding start
そして、全ての「現在の接続先ＩＤ」が、また処理済になっていない場合には、符号化開始時刻制御部３０５は、処理済でない接続先ＩＤを選択して、その接続先ＩＤの番号を変数Ａにセットして（Ｓ１０８）、上述のステップＳ１０３の処理から動作する。
If all the “current connection destination IDs” have not been processed, the encoding start
一方、全ての「現在の接続先ＩＤ」が処理済になっている場合には、カメラ配置を１方向（右方向）に順にたどっていく切替順が配列Ｃに格納されたことになる。そして、イントラフレーム制御指示部２０３は、カメラ配置を上述とは逆方向（右方向）に順にたどり、右方向の切替え順を示す配列（以下、「配列Ｃ'」と呼ぶ）の作成を開始するものとする。
On the other hand, when all the “current connection destination IDs” have been processed, the switching order for sequentially tracing the camera arrangement in one direction (right direction) is stored in the array C. Then, the intra frame
次に、イントラフレーム制御指示部２０３が、配列Ｃ'を作成する処理について、上述の配列Ｃの場合との差異を説明する。イントラフレーム制御指示部２０３は、同様に上述のステップＳ１０１において、変数Ｄの値を「Ｒ」とセットする。そして、イントラフレーム制御指示部２０３は、配列Ｃの代わりに配列Ｃ’を使用し、上述のＳ１０１〜Ｓ１０８の手順を実行し、配列Ｃ’の各変数（Ｃ’［１］〜Ｃ’［６］）に、右方向に切り替える順序を示す接続先ＩＤを格納する。以上の処理により、配列Ｃについては、Ｃ［１］＝１、Ｃ［２］＝２、Ｃ［３］＝３、Ｃ［４］＝４、Ｃ［５］＝５、Ｃ［６］＝６となる。そして、配列Ｃ’については、Ｃ’［１］＝１、Ｃ’［２］＝６、Ｃ’［３］＝５、Ｃ’［４］＝４、Ｃ’［５］＝３、Ｃ’［６］＝２となる。
Next, the difference between the process in which the intra frame
符号化開始時刻制御部３０５は、上述の処理で作成した配列Ｃ及び配列Ｃ’を利用して、以下のような処理で、各映像配信装置３００に備えられた、映像符号化部３０２−１、３０２−２の符号化処理の開始タイミングを決定する。
The encoding start
この場合、ＴＬｘは以下の（１）式で表され、ＴＲｘは以下の（２）で表される。なお、（１）式及び（２）式で、ＴＤ（開始時刻差）には、イントラフレーム制御基礎情報２０２１に登録された値（ここでは１秒）が適用される。例えば、ＴＬ１＝Ｃ［１］＊１＝１［秒］となり、ＴＬ２＝Ｃ［２］＊１＝２［秒］となる。 In this case, TLx is expressed by the following equation (1), and TRx is expressed by the following (2). In Equations (1) and (2), the value registered in the intra frame control basic information 2021 (here, 1 second) is applied to TD (start time difference). For example, TL1 = C [1] * 1 = 1 [second], and TL2 = C [2] * 1 = 2 [second].
ＴＬｘ＝Ｃ［ｘ］＊ＴＤ［秒］ …（１）
ＴＲｘ＝Ｃ’［ｘ］＊ＴＤ［秒］ …（２）
そして、イントラフレーム制御指示部２０３は、求めたＴＬ１〜ＴＬｎ（ＴＬ１〜ＴＬ６）、及び、ＴＲ１〜ＴＲｎ（ＴＲ１〜ＴＲ６）をそれぞれ対応する映像配信装置３００に通知する。例えば、接続先ＩＤが１である映像配信装置３００−１には、ＴＬ１及びＴＲ１が送付される。なお、この実施形態では、隣接し合う映像配信装置３００のＩＤの番号の差が１となっているので上述のような処理で、ＴＲｘ及びＴＬｘを求めることができるが、ＩＤ番号の付与形態によっては、他の処理方法を用いるようにしても良い。
TLx = C [x] * TD [seconds] (1)
TRx = C ′ [x] * TD [seconds] (2)
Then, the intra frame
（Ａ−２−２）映像配信装置の動作について
次に、配信管理装置２００からの指示に基づいて、各映像配信装置３００が符号化処理を開始する動作について説明する。各映像配信装置３００の動作は同様であるので、以下では、映像配信装置３００−ｘ（ｘは１〜６のいずれか）として動作説明を行う。
(A-2-2) Operation of Video Distribution Device Next, an operation of each
映像配信装置３００−ｘでは、配信制御装置２００から送信された、符号化開始時刻ＴＬｘ、ＴＲｘと、イントラフレーム制御基礎情報２０２１の内容を、符号化指示受信部３０８で受信する。
In the video distribution device 300-x, the encoding
そして、符号化指示受信部３０８は、符号化開始時刻制御部３０５にＴＬｘおよびＴＲｘを与える。
Then, the encoding
符号化開始時刻制御部３０５は、時計３０７の値がＴＬｘの値と一致したときに、映像符号化部３０２−１を起動させ、符号化処理を開始させる。
When the value of the
同様に、符号化開始時刻制御部３０５は、時計３０７の値がＴＲｘの値と一致したときに、映像符号化部３０２−２を起動させ、符号化処理を開始させる。
Similarly, the encoding start
そして、符号化指示受信部３０８は、受信したイントラフレーム制御基礎情報２０２１の内容を、イントラフレーム制御部３０６に、に供給する。そして、イントラフレーム制御部３０６は、イントラフレーム制御基礎情報２０２１から、イントラフレーム間隔ＦＩの情報を読み出し、その間隔でイントラフレームを挿入するように、映像符号化部３０２−１、３０２−２を制御する。符号化を開始して、最初のフレームはＩフレームになるため、この開始時刻は最初のＩフレームの挿入時刻を決定しているのと同じ効果をもたらす。
Then, the encoding
次に、各映像配信装置３００で符号化処理を開始した後に、受信端末４００からの要求に基づいて、映像データを配信する動作について説明する。
Next, an operation of distributing video data based on a request from the receiving
映像配信装置３００−ｘでは、受信端末４００から、送信要求受信部３０３−１又は送信要求受信部３０３−２に、映像データの送信要求又は切断要求が通知される。映像配信装置３００−ｘでは、送信要求受信部３０３−１と送信要求受信部３０３−２とで、異なるポート番号が付与されているため、受信端末４００から送信された送信要求（パケット）又は切断要求（パケット）の送信先のポート番号を参照することにより、当該送信要求の宛先を認識することができる。
In the video distribution device 300-x, the transmission request or disconnection request for video data is notified from the
映像配信装置３００−ｘは、送信要求受信部３０３−１に受信端末４００からの送信要求が通知された場合には、映像符号化部３０２−１で符号化された映像データを、受信端末４００に送信する。また、映像配信装置３００−ｘは、送信要求受信部３０３−２に受信端末４００からの送信要求が通知された場合には、映像符号化部３０２−２で符号化した映像データを、受信端末４００に送信する。
When the transmission request receiving unit 303-1 is notified of the transmission request from the receiving
（Ａ−２−３）受信端末の動作について
各受信端末４００は、予め、ネットワークアドレス情報４０３１、ポート情報４０３２、及び隣接情報４０３３を、配置情報記憶部４０３に保持しているものとする。各受信端末４００は、これらの情報を、配信情報管理装置２００から受信して保持するようにしても良い。また、各受信端末４００は、予め、イントラフレーム制御基礎情報２０２１についても、配信情報管理装置２００から受信し、その情報を配置情報記憶部４０３に保持しているものとする。
(A-2-3) Operation of Receiving Terminal Each receiving
図１５は、受信端末４００の全体の動作について示したフローチャートである。
FIG. 15 is a flowchart showing the overall operation of the receiving
受信端末４００は、起動すると、事前設定等により初期の表示対象カメラとして設定されたカメラ１００（カメラ１００−１〜１００−６のいずれか）で撮像された映像を、表示部４０８の表示処理部４０６１（上述の図７参照）に表示する動作（以下、「定点表示動作」を行う（Ｓ２０１）。受信端末４００における定点表示動作の詳細については後述する。
When the receiving
そして、受信端末４００は、表示部４０８の操作ボタン表示領域Ａ１０３（上述の図７参照）及びマップ表示領域Ａ１０２（上述の図６参照）の表示処理を行い、利用者からの操作を受付けることができる状態となる（Ｓ２０２）。
Then, the receiving
そして、その後利用者により、操作ボタン表示領域Ａ１０３のいずれかのボタンが押下されると、受信端末４００では、いずれのボタンが押下されたのかが確認される（Ｓ２０３）。
When the user subsequently presses any button in the operation button display area A103, the receiving
上述のステップＳ２０３で、右方向切替ボタンＢ１０２、又は、左方向切替ボタンＢ１０４が押下された場合には、受信端末４００は、押下されたボタンに応じて、表示対象カメラを切替える切替動作を行い（Ｓ２０４）、切替動作後に上述のステップＳ２０２に戻って動作する。ステップＳ２０４における表示対象カメラの切替動作の詳細については後述する。
When the right direction switching button B102 or the left direction switching button B104 is pressed in step S203 described above, the receiving
上述のステップＳ２０３で、右方向連続切替ボタンＢ１０３、又は、左方向連続切替ボタンＢ１０５が押下された場合には、受信端末４００は、押下されたボタンに応じた方向に表示対象カメラを切替える連続切替動作を行う（Ｓ２０５）。上述のステップＳ２０５の連続切替動作の実行中に、表示部４０８の操作ボタン表示領域Ａ１０３の停止ボタンＢ１０１が押下された場合には、受信端末４００は連続切替動作を中止して、上述のステップＳ２０２に戻って動作する。また、上述のステップＳ２０５の連続切替動作の実行中に、停止ボタンＢ１０１以外のボタンが押下された場合には、上述のステップＳ２０３の処理に戻って動作するものとする。
When the right continuous switching button B103 or the left continuous switching button B105 is pressed in step S203 described above, the receiving
次に、受信端末４００における、上述のステップＳ２０３の定点表示動作について図１６を用いて説明する。
Next, the fixed point display operation in step S203 described above at the receiving
ここでは、受信端末４００の接続切替順決定部４０４には、初期に定点表示動作を行う場合の表示対象カメラとして、接続ＩＤ１（カメラ１００−１）が設定されているものとする。
Here, it is assumed that connection ID 1 (camera 100-1) is set in the connection switching
受信端末４００では、定点表示動作が開始されると、まず、接続切替順決定部４０４により、定点表示動作を行う表示対象カメラの接続先ＩＤに対応するネットワークアドレスとポート情報が、配置情報保持部４０３から取得される（Ｓ３０１）。ここでは、受信端末４００において、表示対象カメラとして、接続先ＩＤ１が設定されているので、ネットワークアドレスとしてアドレスＡが取得される。また、定点表示動作の場合は、接続切替順決定部４０４は、ポート情報として、ポート１、２のいずれを取得しても良い。
In the receiving
そして、接続切替順決定部４０４は、上述のＳ３０１で取得された情報を利用して、表示対象カメラに接続された映像配信装置３００（この場合は、映像配信装置３００−１）へ、映像データの送信要求を行う（Ｓ３０２）。
Then, the connection switching
そして、受信端末４００では、上述のステップＳ３０２の送信要求に応じた映像配信装置３００（この場合は、映像配信装置３００−１）から、映像データの配信が開始され、最初のイントラフレームが到来すると、映像復号部４０２により、復号及び表示用フレームの生成が開始される。そして、受信端末４００では、映像復号部４０２により生成された表示用フレームが、順次、ユーザインタフェース処理部４０６の表示処理部４０６１にセットされる処理が開始され（Ｓ３０４）、それに伴って、表示部４０８の映像表示領域Ａ１０１への映像表示も開始される（Ｓ３０５）。また、受信端末４００では、表示部４０８の映像表示領域Ａ１０１への映像表示開始に伴って、マップ表示領域Ａ１０２上で、カメラ１００−１を表示対象カメラとするように表示を切り替える。具体的には、マップ表示領域Ａ１０２では、カメラ１００−１に対応するＯＢ１０１についてハイライト表示等を行うようにしても良い。
In the receiving
次に、受信端末４００における、上述のステップＳ２０４の切替動作について図１７を用いて説明する。
Next, the switching operation of the above-described step S204 in the receiving
受信端末４００（接続切替順決定部４０４）では、切替動作が開始されると、まず、現在の表示対象カメラと、利用者により押下されたボタンに応じて、新しい接続先の接続先ＩＤを決定し、その新しい接続先ＩＤに対応するネットワークアドレス及びポート情報が読み込まれる。そして、接続切替順決定部４０４では、新しい接続先（ネットワークアドレス、ポート）へ、映像データの送信開始の要求を送信する（Ｓ４０１）。例えば、現在の表示対象カメラがカメラ１００−１（接続先ＩＤ１）で、左方向切替ボタンＢ１０４が押下された場合には、隣接情報４０３３に基づき、カメラ１００−１（接続先ＩＤ１）の左方向に隣接するカメラ１００−２（接続先ＩＤ２）が、新しい接続先として決定される。そして、新しい接続先として決定されたカメラ１００−２（接続先ＩＤ２）へアクセスするためのアドレス情報としてアドレスＢ、ポート情報としてポート１の情報が取得されることになる。
When the switching operation is started, the receiving terminal 400 (connection switching order determination unit 404) first determines a connection destination ID of a new connection destination according to the current display target camera and the button pressed by the user. Then, the network address and port information corresponding to the new connection destination ID are read. Then, the connection switching
そして、受信端末４００では、当該切替動作の開始から、操作処理部４０６３に利用者の操作を受けたか否か（ボタンが押下されたか否か）が確認され（Ｓ４０２）、操作を受けたと確認された場合には、新しい接続先の映像配信装置３００へ、映像データ送信の中止を示す切断要求を送信し（Ｓ４１１）た後、当該切替動作の処理を終了し、利用者の操作に応じた処理に移行する。一方、ステップＳ４０２で、利用者からの操作を受けてないと確認された場合には、受信端末４００は、後述するステップＳ４０３の処理から動作する。
The receiving
上述のステップＳ４０２で、利用者からの操作を受けていないと確認できた場合には、受信端末４００は、現在の接続先からのフレーム、又は、新しい接続先からのイントラフレームの受信が確認されるまで待機する（Ｓ４０３、Ｓ４０４）。
In the above-described step S402, when it is confirmed that the operation from the user has not been received, the receiving
そして、上述のステップＳ４０３、Ｓ４０４で、受信したフレームが、新しい接続先からのイントラフレームであると確認できた場合には、受信端末４００は、後述するステップＳ４０７の処理に移行する。また、上述のステップＳ４０４で、受信したフレームが、現在の接続先からのフレームであると確認できた場合には、後述するステップＳ４０５の処理から動作する。 If it is confirmed in steps S403 and S404 described above that the received frame is an intra frame from a new connection destination, the receiving terminal 400 proceeds to processing in step S407 described later. If it is confirmed in step S404 described above that the received frame is a frame from the current connection destination, the processing starts from step S405 described later.
上述のステップＳ４０４において、受信したフレームが、現在の接続先からのフレームであった場合には、受信端末４００では、映像復号部４０２により、そのフレームが復号化されて表示用フレームデータが生成され、表示処理部４０６１にセットされる（Ｓ４０５）。
In the above-described step S404, when the received frame is a frame from the current connection destination, in the receiving
そして、受信端末４００では、表示処理部４０６１によりセットされた表示用フレームデータに基づく映像が、表示部４０８に表示され（Ｓ４０６）、受信端末４００は、上述のステップＳ４０２の処理に戻って動作する。
In the receiving
一方、上述のステップＳ４０４で、受信した映像データが、新しい接続先からのイントラフレームであると確認できた場合には、受信端末４００は、現在の接続先の映像配信装置３００へ、映像データ送信の中止を示す切断要求を送信する（Ｓ４０７）。
On the other hand, if the received video data is confirmed to be an intra frame from the new connection destination in the above-described step S404, the receiving
そして、受信端末４００では、映像復号部４０２により、そのイントラフレームのデータが復号化されて、表示用フレームデータが生成され、表示処理部４０６１にセットされる（Ｓ４０８）。
In the receiving
そして、受信端末４００では、これ以前のステップの処理で、新しい接続先（カメラ１００）として取り扱っていた接続先を、現在の接続先（表示対象カメラ）として取り扱うようにセットされる（Ｓ４０９）。このとき、受信端末４００では、マップ表示領域Ａ１０２上の、表示対象カメラに関する表示が切り替えられる。具体的には、マップ表示領域Ａ１０２では、カメラ１００−１に対応するＯＢ１０１から、カメラ１００−２に対応するＯＢ１０２にハイライト表示が切り替えられる。
In the receiving
そして、受信端末４００は、新たな接続先（表示対象カメラ）からの映像データに基づく映像を、表示部４０８の映像表示領域Ａ１０１に表示する処理を開始する（Ｓ４１０）。 Then, the receiving terminal 400 starts a process of displaying the video based on the video data from the new connection destination (display target camera) in the video display area A101 of the display unit 408 (S410).
次に、上述の図１５〜１７のフローチャートに従って、受信端末４００−１が切替動作を行った場合の具体的な動作について、図１８のシーケンス図を用いて説明する。 Next, a specific operation when the receiving terminal 400-1 performs the switching operation according to the flowcharts of FIGS. 15 to 17 will be described with reference to the sequence diagram of FIG.
受信端末４００−１では、まず、上述のステップＳ２０１の定点表示動作により、表示対象カメラとして、カメラ１００−１（接続先ＩＤ１）が選択され、映像配信装置３００−１へ、映像データの送信要求が行われたものとする（Ｓ５０１）。 In receiving terminal 400-1, first, camera 100-1 (connection destination ID1) is selected as the display target camera by the fixed point display operation in step S201 described above, and a video data transmission request is sent to video distribution device 300-1. (S501).
そして、映像配信装置３００−１から、受信端末４００−１へ、カメラ１００−１（接続先ＩＤ１）の映像データ（フレーム）の供給が開始され（Ｓ５０２）、受信端末４００−１では、最初のＩフレーム（イントラフレーム）が受信されたタイミングから、フレームの復号化処理が開始され、復号化された映像の再生（表示部４０８に表示）が開始される（Ｓ５０３）。 Then, the supply of the video data (frame) of the camera 100-1 (connection destination ID1) is started from the video distribution device 300-1 to the receiving terminal 400-1 (S502). The frame decoding process is started from the timing at which the I frame (intra frame) is received, and reproduction of the decoded video (displayed on the display unit 408) is started (S503).
そして、その後、利用者により、受信端末４００−１に対して、切替指示の操作として、左方向切替ボタンＢ１０４の押下が行われたものとする（Ｓ５０４）。 After that, it is assumed that the user presses the left switching button B104 as a switching instruction operation on the receiving terminal 400-1 (S504).
そうすると、受信端末４００−１は、現在の接続先であるカメラ１００−１（接続先ＩＤ１）の左側に隣接するカメラ１００−２（接続先ＩＤ２）の映像データ送信を要求するために、映像配信装置３００−２に対して映像データの送信を要求する（Ｓ５０５）。 Then, in order to request video data transmission of the camera 100-2 (connection destination ID2) adjacent to the left side of the current connection destination camera 100-1 (connection destination ID1), the receiving terminal 400-1 distributes the video. The apparatus 300-2 is requested to transmit video data (S505).
そして、映像配信装置３００−２から、受信端末４００−１へ、カメラ１００−２（接続先ＩＤ２）の映像データ（フレーム）の供給が開始される（Ｓ５０６）。 Then, the supply of the video data (frame) of the camera 100-2 (connection destination ID2) is started from the video distribution device 300-2 to the receiving terminal 400-1 (S506).
そして、受信端末４００−１は、映像配信装置３００−２から最初のＩフレーム（イントラフレーム）が到来するまでの間は、映像配信装置３００−１から到来したフレームを復号化して再生（表示部４０８に表示）する。その後、受信端末４００−１は、映像配信装置３００−２から最初のＩフレーム（イントラフレーム）が到来すると、映像配信装置３００−２から到来したフレームの復号化を開始し、再生（表示部４０８に表示）する映像を、映像配信装置３００−２から到来した映像データのものに切り替える（Ｓ５０７）。 The receiving terminal 400-1 then decodes and plays back the frame that has arrived from the video distribution device 300-1 until the first I frame (intra frame) arrives from the video distribution device 300-2. 408). Thereafter, when the first I frame (intra frame) arrives from the video distribution device 300-2, the receiving terminal 400-1 starts decoding the frame that has arrived from the video distribution device 300-2 and plays back (display unit 408). The video to be displayed is switched to that of the video data coming from the video distribution device 300-2 (S507).
そして、受信端末４００−１は、映像配信装置３００−１に対して、切断要求を送信し（Ｓ５０８）、映像配信装置３００−１からの映像データ送信が中止される。 Then, the receiving terminal 400-1 transmits a disconnection request to the video distribution device 300-1 (S508), and video data transmission from the video distribution device 300-1 is stopped.
次に、受信端末４００における、上述のステップＳ２０５の連続切替動作について図１９を用いて説明する。
Next, the continuous switching operation in step S205 described above at the receiving
まず、受信端末４００（接続切替順決定部４０４）は、現在の接続先（接続先ＩＤ）と、利用者により押下されたボタンに応じて、次の新しい接続先（接続先ＩＤ）を決定し、その新しい接続先に対応するネットワークアドレス及びポート情報を読み込む（Ｓ６０１）。 First, the receiving terminal 400 (connection switching order determination unit 404) determines the next new connection destination (connection destination ID) according to the current connection destination (connection destination ID) and the button pressed by the user. The network address and port information corresponding to the new connection destination are read (S601).
例えば、最初の表示対象カメラがカメラ１００−１（接続先ＩＤ１）で、左方向連続切替ボタンＢ１０５が押下された場合には、接続切替順決定部４０４は、カメラ１００−２（接続先ＩＤ２）、カメラ１００−３（接続先ＩＤ３）、…という順に、隣接情報４０３３に基づいて、左方向に新しい接続先を選択していくことになる。
For example, when the first display target camera is the camera 100-1 (connection destination ID1) and the left direction continuous switching button B105 is pressed, the connection switching
そして、受信端末４００では、現在の接続先から、上述のステップＳ６０１で決定された新しい接続先への切替動作が行われる（Ｓ６０２）。なお、ステップＳ６０２の切替動作は、上述の図１７に示す切替動作と同様の処理を適用することができるため、説明を省略する。
Then, the receiving
そして、上述のステップＳ６０２の切替動作が終了すると、受信端末４００は、連続切替動作における次の切替動作までの時間（接続先切替周期ＴＣ）を計測するタイマ（図示せず）をスタートさせる（Ｓ６０３）。なお、接続先切替周期ＴＣは、開始時刻差ＴＤよりも短い時間とすること（ここでは、１秒以下）が望ましい。なお、上述のタイマでは、実時間を計測するようにしても良いが、その代わりに、映像配信装置３００から受信する受信フレームの数をカウントして、時間に換算するようにしても良い。例えば、受信フレームが３０ｆｐｓの場合には、計測を開始してから３０フレーム受信するまでの時間が１秒と換算することができる。
When the switching operation in step S602 described above is completed, the receiving terminal 400 starts a timer (not shown) that measures the time (connection destination switching cycle TC) until the next switching operation in the continuous switching operation (S603). ). Note that the connection destination switching cycle TC is preferably shorter than the start time difference TD (here, 1 second or less). Note that the above-described timer may measure the real time, but instead, the number of received frames received from the
そして、そして、受信端末４００は、現在の接続先からの映像データ（フレーム）を受信すると（Ｓ６０４）、その映像データ（フレーム）を復号して、表示用フレームデータを生成し、表示処理部４０６１にセットする（Ｓ６０５）。そして、受信端末４００の表示処理部４０６１は、セットされた表示用フレームデータに基づく映像を、表示部４０８の映像表示領域Ａ１０１に表示する（Ｓ６０６）。
Then, when receiving the video data (frame) from the current connection destination (S604), the receiving
次に、受信端末４００では、当該連続切替動作の開始から、利用者からの切替停止指示（停止ボタンＢ１０１の押下）の操作を受けたか否かが確認され（Ｓ６０７）、停止指示の操作を受けたと確認された場合には、当該連続切替動作の処理を終了する。
Next, in the receiving
一方、ステップＳ６０７で、利用者からの停止指示の操作を受けてないと確認された場合には、受信端末４００は、上述のステップＳ６０３でスタートさせたタイマがタイムアウトしているか否かを確認する（Ｓ６０８）。ステップＳ６０８で上述のタイマがまだタイムアウトしていない場合には、受信端末４００は、上述のステップＳ６０４の処理から動作し、上述のタイマがタイムアウトしている場合には、受信端末４００は、上述のステップＳ６０１の処理から動作して、次の接続先への切替動作に移行する。
On the other hand, if it is confirmed in step S607 that the user has not received a stop instruction operation, the receiving
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
(A-3) Effects of First Embodiment According to the first embodiment, the following effects can be achieved.
第１の実施形態では、受信端末４００の利用者に対して表示部４０８（マップ表示領域Ａ１０２）からカメラ１００の配置状況と表示対象カメラ（映像表示領域Ａ１０１で表示している映像のカメラ１００）とを視覚的に提示している。これにより、第１の実施形態では、受信端末４００のユーザに対して、単純にカメラ１００の接続先ＩＤだけで切り替えさせる場合の比較して、切替前後の映像（カメラ１００）の位置関係が把握しやすくなる。
In the first embodiment, the arrangement status of the
また、第１の実施形態では、図２０に示すように、隣接関係にある映像配信装置３００間で、イントラフレームの挿入タイミングが、開始時刻差ＴＤ分だけ位相がずれた状態となる。この場合、受信端末４００で連続切替動作を行う際に、図２１に示すように、利用者の連続切替操作後に（最初のＩＤ１（Ａ）の接続を除くと）、カメラの切替ごとのイントラフレーム受信までの時間を短くすることができる。
Further, in the first embodiment, as illustrated in FIG. 20, the intra frame insertion timing is shifted in phase by the start time difference TD between adjacent
また、第１の実施形態では、従来技術のように、受信端末側からイントラフレームの送信要求（デマンドイントラリフレッシュ）を行わずに、受信端末４００カメラの切替ごとのイントラフレーム受信までの時間を短くすることができる。これにより、第１の実施形態では、受信端末４００でカメラ切替のたびに、映像配信装置３００からイントラフレームの送信が行われるといった処理がなくなるため、必要となる映像配信装置３００の処理量やネットワークの帯域を低減し、効率的な映像データの配信を行うことができる。
Also, in the first embodiment, unlike the prior art, the time until the reception of an intra frame for each switching of the receiving
（Ｂ）第２の実施形態
以下、本発明による映像配信システム及び方法の第２の実施形態を、図面を参照しながら詳述する。
(B) Second Embodiment Hereinafter, a second embodiment of the video distribution system and method according to the present invention will be described in detail with reference to the drawings.
第１の実施形態では、カメラ１００を円形状に配置し、カメラ１００同士の隣接関係についても１次元的な配列になっていたが、カメラ１００の配置方法は限定されないものである。第２の実施形態では、カメラ１００を２次元的に配列する例について示すものとする。以下では、第２の実施形態について、第１の実施形態との差異について説明する。
In the first embodiment, the
図２２は、第２の実施形態の映像配信システム１Ａの全体構成について示したブロック図であり、上述した図１との同一、対応部分には同一、対応符号を付して示している。 FIG. 22 is a block diagram showing the overall configuration of the video distribution system 1A of the second embodiment, in which the same and corresponding parts as those in FIG. 1 are indicated by the same reference numerals.
第２の実施形態の映像配信システム１Ａでは、１８台の映像配信装置３００Ａ（３００Ａ−１〜３００Ａ−１８）が備えられており、さらに、各映像配信装置３００Ａに、４つカメラ１００が接続されている。例えば、映像配信装置３００Ａ−ｘ（ｘは１〜１８のいずれか）では、４つのカメラ１００−ｘＬ、１００−ｘＲ、１００−ｘＵ、１００−ｘＤが接続されている。すなわち、映像配信システム１Ａでは、７２台のカメラ１００が備えられている。
In the video distribution system 1A of the second embodiment, 18
そして、各カメラ１００の配置状況を上方向から見ると、図２３のように、一つの映像配信装置３００Ａに接続された４台のカメラ１００を１組として、各カメラの組が２次元的に配列（左右に直線状に６組のカメラが並んだ列が、上下に３列並んだ配列）されている。
When the arrangement status of each
そして、映像配信装置３００Ａ−ｘ（ｘは１〜１８のいずれか）に接続されたカメラ１００の組では、カメラ１００−ｘＬは左方向、カメラ１００−ｘＲは右方向、カメラ１００−ｘＵは上方向、カメラ１００−ｘＤは下方向をそれぞれ撮影しているものとする。
In the set of
図２４は、映像配信装置３００Ａの機能的構成について示したブロック図であり、上述した図３との同一、対応部分には同一、対応符号を付して示している。
FIG. 24 is a block diagram showing a functional configuration of the
映像配信装置３００Ａでは、４つのカメラ１００が接続されているため、映像入力部３０１、映像符号化部３０２、送信要求受信部３０３、及び送信部３０４の組が４組配置されることになる。具体的には、図２４に示すように、映像配信装置３００Ａでは、４つの映像入力部３０１−１〜３０２−４、４つの映像符号化部３０２−１〜３０２−４、４つの送信要求受信部３０３−１〜３０３−４、及び４つの送信部３０４−１〜３０４−４が配置されている。
In the
例えば、映像配信装置３００Ａ−ｘ（ｘは１〜１８のいずれか）では、カメラ１００−ｘＬで撮影された映像の映像信号は、映像入力部３０１−１、映像符号化部３０２−１、送信要求受信部３０３−１、送信部３０４−１の組の構成で処理される。また、カメラ１００−ｘＲで撮影された映像の映像信号は、映像入力部３０１−２、映像符号化部３０２−２、送信要求受信部３０３−２、送信部３０４−２の組の構成で処理される。さらに、カメラ１００−ｘＵで撮影された映像の映像信号は、映像入力部３０１−３、映像符号化部３０２−３、送信要求受信部３０３−３、送信部３０４−３の組の構成で処理される。さらにまた、カメラ１００−ｘＤで撮影された映像の映像信号は、映像入力部３０１−４、映像符号化部３０２−４、送信要求受信部３０３−４、送信部３０４−４の組の構成で処理される。
For example, in the
そして、送信要求受信部３０３−１〜３０３−１には、それぞれ受信端末４００Ａから送信要求を受付ける場合のポート番号としてポート１〜４が設定されているものとする。
Then, it is assumed that
そして、映像配信装置３００Ａでは、符号化開始時刻制御部３０５及びイントラフレーム制御部３０６は、４つの映像符号化部３０２−１〜３０２−４に対して符号化処理の開始タイミングに関する制御を行う。
In the
次に、第２の実施形態の映像配信システム１Ａにおいて、配信管理装置２００Ａ及び各受信端末４００Ａで共有される隣接情報４０３３について説明する。
Next, in the video distribution system 1A of the second embodiment,
図２５は、配信管理装置２００Ａ及び各受信端末４００Ａで共有される隣接情報４０３３の内容について示した説明図である。
FIG. 25 is an explanatory diagram showing the contents of
第１の実施形態では、左右方向の隣接関係だけが把握されていたが、第２の実施形態では左右方向に加えて、上下方向の隣接関係も把握する必要があるため、隣接情報４０３３の内容は、図２５のようになる。図２５では、行列の各セルに、上方向に隣接する場合には「Ｕ」、下方向に隣接する場合には「Ｄ」が登録されている。
In the first embodiment, only the adjacency relationship in the left-right direction is grasped, but in the second embodiment, in addition to the left-right direction, it is necessary to grasp the adjacency relationship in the vertical direction, so the contents of the
図２５に示す隣接情報４０３３では、カメラ１００ごとではなく、上述の４つのカメラ１００の組ごとに隣接関係が管理されている。ここでは、映像配信装置３００Ａ−１〜３００Ａ−１８には、それぞれ１〜１８の接続先ＩＤが付与されており、図２５に示す隣接情報４０３３では、映像配信装置３００Ａごとの隣接関係が管理されているとも言える。
In the
次に、第２の実施形態の映像配信システム１Ａにおいて、各受信端末４００Ａで共有されるポート情報４０３２について説明する。
Next,
図２６は、各受信端末４００Ａで共有されるポート情報４０３２の内容について示した説明図である。
FIG. 26 is an explanatory diagram showing the contents of the
第２の実施形態では、上述の通り、各映像配信装置３００Ａには４つのカメラ１００が接続されており、受信端末４００Ａからは、４つのポート番号を使い分けて送信要求を行う必要がある。そのため、受信端末４００Ａでは、図２６に示すように、各映像配信装置３００Ａで、カメラ１００ごとのポート番号が管理されている。なお、図２６において、方向の項目は、当該ポートに対応するカメラ１００の撮像している方向を示している。
In the second embodiment, as described above, four
受信端末４００Ａの構成については、上述の図４を適用することができる。なお、図４において、括弧内の符号は、第２の実施形態でのみ用いられる符号である。以下、第２の実施形態の受信端末４００Ａについて第１の実施形態との差異を説明する。 The above-described FIG. 4 can be applied to the configuration of the receiving terminal 400A. In FIG. 4, the reference numerals in parentheses are those used only in the second embodiment. Hereinafter, the difference between the receiving terminal 400A of the second embodiment and the first embodiment will be described.
まず、受信端末４００Ａでは、操作処理部４０６３により、操作ボタン表示領域Ａ１０３に表示される操作ボタンの構成が図２７のようになっている点で、第１の実施形態と異なっている。図２７では、上述した図７との同一、対応部分には同一、対応符号を付して示している。
First, the receiving terminal 400A is different from the first embodiment in that the operation button displayed in the operation button display area A103 is configured as shown in FIG. 27 by the
図２７に示すように、受信端末４００Ａの操作ボタン表示領域Ａ１０３には、第１の実施形態のボタン構成（上述の図７）に、上方向切替ボタンＢ１０６、上方向連続切替ボタンＢ１０７、下方向切替ボタンＢ１０８、下方向連続切替ボタンＢ１０９が追加されている。第１の実施形態では、カメラ切替は左右方向しかなかったが、第２の実施形態では、上下方向の切替もありえるため、このような構成となっている。 As shown in FIG. 27, in the operation button display area A103 of the receiving terminal 400A, in the button configuration of the first embodiment (FIG. 7 described above), an upward switching button B106, an upward continuous switching button B107, and a downward direction are provided. A switching button B108 and a downward continuous switching button B109 are added. In the first embodiment, the camera is switched only in the left-right direction. However, in the second embodiment, the configuration can be switched in the up-down direction, and thus has such a configuration.
受信端末４００Ａでは、いずれかの切替ボタン（右方向切替ボタンＢ１０２、左方向切替ボタンＢ１０４、上方向切替ボタンＢ１０６、下方向切替ボタンＢ１０８）が押下された場合、現在の表示対象カメラと同じ位置で、押下されたボタンに応じた方向のカメラ１００の映像に切替られるものとする。例えば、受信端末４００において、現在の表示対象カメラが１００−ｘＵ（ｘは１〜１８のいずれか）だった場合に、右方向切替ボタンＢ１０２が押されると、表示対象カメラについてカメラ１００−ｘＲに切り替えるものとする。
In the receiving terminal 400A, when any one of the switching buttons (right direction switching button B102, left direction switching button B104, up direction switching button B106, down direction switching button B108) is pressed, the same position as the current display target camera is displayed. It is assumed that the video of the
そして、受信端末４００Ａでは、いずれかの連続切替ボタン（右方向連続切替ボタンＢ１０３、左方向連続切替ボタンＢ１０５、上方向連続切替ボタンＢ１０７、下方向連続切替ボタンＢ１０９）が押下された場合、撮影の向きは現在の表示対象カメラと同じで、押下されたボタンに応じた方向に隣接するカメラ１００に連続して切替られるものとする。例えば、受信端末４００において、現在の表示対象カメラが１００−１３Ｕだった場合に、右方向切替ボタンＢ１０２が押下されると、表示対象カメラについてカメラ１００−１４Ｕ、１００−１５Ｕ、１００−１６Ｕ…、という順序で切り替えられるものとする。
In the receiving terminal 400A, when any of the continuous switching buttons (the right continuous switching button B103, the left continuous switching button B105, the upward continuous switching button B107, or the downward continuous switching button B109) is pressed, The direction is the same as the current display target camera, and the
そして、受信端末４００Ａでは、マップ処理部４０６２により、マップ表示領域Ａ１０２に表示される操作ボタンの構成が図２８のようになっている点で、第１の実施形態と異なっている。
The receiving terminal 400A is different from the first embodiment in that the
図２８では、上述の４つのカメラ１００の組を一つのオブジェクトとして表示している。ここでは、上述の４つのカメラの組は１８組あるので、マップ表示領域Ａ１０２には、１８個のオブジェクトＢ２０１〜Ｂ２１８が、実際の配置に対応した位置に配置されている。
In FIG. 28, a set of the four
例えば、カメラ１００−１Ｕ、カメラ１００−１Ｄ、カメラ１００−１Ｌ、カメラ１００−１Ｒの組は、図２８ではオブジェクトＯＢ２０１に対応する。 For example, a set of the camera 100-1U, the camera 100-1D, the camera 100-1L, and the camera 100-1R corresponds to the object OB201 in FIG.
そして、図２８では、現在の表示対象カメラの組に対応するオブジェクトをハイライト表示（黒色に表示）して、他のオブジェクトと区別している。また、図２８では、現在の表示対象カメラが撮影する方向を矢印を付して示している。例えば、図２８では、オブジェクトＯＢ２０３がハイライト表示され、上方向の矢印が付されているので、現在の表示対象カメラは、カメラ１００−３Ｕであることを示している。 In FIG. 28, an object corresponding to the current set of cameras to be displayed is highlighted (displayed in black) to distinguish it from other objects. In FIG. 28, the current shooting direction of the display target camera is indicated by an arrow. For example, in FIG. 28, since the object OB203 is highlighted and an upward arrow is added, the current display target camera is the camera 100-3U.
各映像配信装置３００Ａに備えられた、映像符号化部３０２−１〜３０２−４のイントラフレーム挿入周期ＴＩは、第１の実施形態と同様に、配信管理装置２００に登録されたイントラフレーム間隔ＦＩに基づいたイントラフレーム挿入周期ＴＩに統一されている。そして、映像配信装置３００Ａの符号化開始時刻制御部３０５では、第１の実施形態と同様に、各映像配信装置３００Ａの映像符号化部３０２−１〜３０２−４で、符号化処理を開始させるタイミングを制御することにより、映像配信装置３００ごとに、イントラフレーム挿入周期ＴＩの周期上で、イントラフレームを生成するタイミングを異なる位相に制御している。
The intra frame insertion period TI of the video encoding units 302-1 to 302-4 provided in each
各映像配信装置３００Ａへの符号化処理開始タイミングの具体的な制御としては、各映像配信装置３００Ａ−１〜３００Ａ−１８の映像符号化部３０２−１〜３０２−４について、第１の実施形態と同様に、隣接関係にある映像配信装置３００Ａ間で、イントラフレームの挿入タイミングが、開始時刻差ＴＤ分だけ位相がずれた状態となるように制御されているものとする。各映像配信装置３００Ａの映像符号化部３０２に対する符号化開始タイミングの制御については、限定されないものであるが、映像符号化部３０２の単位で行うようにしても良いし、映像配信装置３００Ａの単位で行うようにしても良い。
As specific control of the encoding processing start timing to each
ここでは、説明を簡易にするために、映像配信装置３００Ａの単位で、符号化開始時刻を制御する例について説明する。すなわち、各映像配信装置３００Ａ内で、全ての映像符号化部３０２の符号化開始時刻は同じであるものとする。
Here, in order to simplify the description, an example in which the encoding start time is controlled in units of the
そして、左端の映像配信装置３００Ａから右方向の順に、第１の実施形態と同様に、符号化開始のタイミングを開始時刻差ＴＤずつずらした場合を想定する。例えば、映像配信装置３００Ａ−１３で符号化処理を開始させ、その開始時刻差ＴＤ後に映像配信装置３００Ａ−１４で符号化処理を開始させ、さらに開始時刻差ＴＤ後に映像配信装置３００Ａ−１５で符号化処理を開始させる…、という制御を、映像配信装置３００Ａ−１３〜３００Ａ−１８について行うようにしてもよい。これにより、受信端末４００Ａで、例えば、カメラ１００−１３Ｒを表示対象カメラとした状態から右方向の連続切替動作を行うと、第１の実施形態と同様に、接続先を切替えてから、イントラフレームが到来するまでの時間を短くすることができる。
Assume that the encoding start timing is shifted by the start time difference TD in the order from the leftmost
そして、次に、一番上（上段）の映像配信装置３００Ａから下方向の順に、第１の実施形態と同様に、符号化開始のタイミングを開始時刻差ＴＤずつずらした場合を想定する。例えば、映像配信装置３００Ａ−１３で符号化処理を開始させ、その開始時刻差ＴＤ後に映像配信装置３００Ａ−７で符号化処理を開始させ、さらに開始時刻差ＴＤ後に映像配信装置３００Ａ−１で符号化処理を開始させるという制御を行うようにしてもよい。これにより、受信端末４００Ａで、例えば、カメラ１００−１３Ｄを表示対象カメラとした状態から下方向の連続切替動作を行うと、第１の実施形態と同様に、接続先を切替えてから、イントラフレームが到来するまでの時間を短くすることができる。
Next, a case is assumed in which the encoding start timing is shifted by the start time difference TD in the descending order from the top (upper)
（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(C) Other Embodiments The present invention is not limited to the above-described embodiments, and may include modified embodiments as exemplified below.
（Ｃ−１）上記の各実施形態では、受信端末において、表示部に表示されるマップ表示領域の内容については、予め登録した内容を利用するようにしても良いし、隣接情報の内容に基づいて隣り合ったカメラのオブジェクトの間にリンク（例えば、線で接続する等）して生成して表示するようにしても良い。 (C-1) In each of the above embodiments, the contents registered in advance may be used for the contents of the map display area displayed on the display unit in the receiving terminal, or based on the contents of the adjacent information. It is also possible to generate and display a link (for example, connecting with a line) between objects of adjacent cameras.
また、受信端末において、各カメラの位置の座標（例えば、ＧＰＳ等の座標）も管理し、各カメラの座標に基づいて、各カメラの隣接関係を把握したり、マップ表示領域に表示するマップの生成を行うようにしても良い。また、その際、カメラ間の距離に応じてイントラフレーム間隔を調整する（例えば、カメラ間の距離が長いほどイントラフレーム間隔を長くする）ようにしても良い。 In addition, the receiving terminal also manages the coordinates of the position of each camera (for example, coordinates such as GPS), and based on the coordinates of each camera, grasps the adjacency relationship between the cameras and displays the map displayed in the map display area. Generation may be performed. At that time, the intra frame interval may be adjusted according to the distance between the cameras (for example, the longer the distance between the cameras, the longer the intra frame interval).
（Ｃ−２）第２の実施形態では、カメラ間の隣接関係を把握するのに、左、右、上、下、のいずれかの方向で表わしていたが、表現の仕方はこれに限定されず、例えば、東、西、南、北で表現するようにしても良い。 (C-2) In the second embodiment, in order to grasp the adjacency relationship between cameras, it is represented in any of the left, right, upper, and lower directions, but the way of expression is limited to this. For example, it may be expressed in east, west, south, and north.
（Ｃ−３）上記の各実施形態では、映像配信装置から受信端末への映像データの送信は、１対１の通信（ユニキャスト）により行うものとして説明しているが、同報通信（例えば、マルチキャスト）により送信するようにしても良い。この場合、映像配信装置では、常に、同報通信（マルチキャスト）で、カメラの映像を符号化して配信を継続し、受信端末の側で受信するチャンネル（例えば、マルチキャストアドレス）を選択して受信することになる。 (C-3) In each of the above embodiments, transmission of video data from the video distribution device to the receiving terminal is described as being performed by one-to-one communication (unicast). Or multicast). In this case, in the video distribution device, the broadcast video (multicast) always encodes the video of the camera and continues the distribution, and selects and receives the channel (for example, multicast address) received on the receiving terminal side. It will be.
（Ｃ−４）上記の各実施形態では、映像配信装置から受信端末に配信されるのは、映像データのみであるが、音声データについても併せて配信するようにしても良い。例えば、カメラに周囲の音声を捕捉するためのマイクを取り付けて映像配信装置に入力し、映像配信装置でその音声信号を符号化して、映像データと併せて受信端末に配信するようにしても良い。そして、受信端末側でも図示しないスピーカを用いてその受信した音声データの音声を出力するようにしても良い。このような構成は、例えば、本発明の映像配信システムを、遠隔者間のコミュニケーションに用いる場合に好適である。 (C-4) In each of the embodiments described above, only video data is delivered from the video delivery device to the receiving terminal, but audio data may also be delivered together. For example, a microphone for capturing ambient audio may be attached to the camera, input to the video distribution apparatus, the audio signal may be encoded by the video distribution apparatus, and distributed to the receiving terminal together with the video data. . And the voice of the received voice data may be outputted using a speaker (not shown) on the receiving terminal side. Such a configuration is suitable, for example, when the video distribution system of the present invention is used for communication between remote persons.
（Ｃ−５）上記の各実施形態では、映像配信装置及び受信端末を、配信管理装置が集中的に制御する構成について説明したが、配信管理装置を省略するようにしても良い。例えば、上記の実施形態で、配信管理装置が行うべき指示（例えば、イントラフレーム間隔や、符号化開始時刻等）や共有が必要な情報（例えば、隣接情報等）を、予め各映像配信装置及各受信端末に設定しておき、配信管理装置からの指示が無くても動作するように構成しても良い。 (C-5) In each of the above embodiments, the configuration in which the distribution management apparatus centrally controls the video distribution apparatus and the reception terminal has been described. However, the distribution management apparatus may be omitted. For example, in the above-described embodiment, instructions (for example, intra-frame intervals, encoding start time, etc.) to be performed by the distribution management device and information (for example, adjacent information) that needs to be shared are previously stored in each video distribution device and It may be configured to be set in each receiving terminal and operate even if there is no instruction from the distribution management device.
言い換えると、上記の各実施形態では、カメラで撮像された映像に基づく映像データを受信端末に配信する映像配信手段（システム）として、配信管理装置及び映像配信装置を用いていたが、その映像配信手段(システム)から配信管理装置を省略するようにしても良い。 In other words, in each of the above embodiments, the distribution management device and the video distribution device are used as the video distribution means (system) for distributing the video data based on the video captured by the camera to the receiving terminal. The distribution management device may be omitted from the means (system).
（Ｃ−６）第１の各実施形態では、カメラと映像配信装置が１対１の関係となっているが、第２の実施形態と同様に、１つの映像配信装置で複数のカメラを収容するようにしても良い。 (C-6) In each of the first embodiments, the camera and the video distribution device have a one-to-one relationship. However, as in the second embodiment, a single video distribution device accommodates a plurality of cameras. You may make it do.
１…映像配信システム、１００、１００−１〜１００−ｎ…カメラ、２００…配信管理装置、２０１…送受信部、２０２…記憶部、２０２１…イントラフレーム制御基礎情報、２０３…イントラフレーム制御指示部、３００、３００−１〜３００−ｎ…映像配信装置、３０１…映像入力部、３０２、３０２−１、３０２−２…映像符号化部、３０３、３０３−１、３０３−２…送信要求受信部、３０４、３０４−１、３０４−２…送信部、３０５…符号化開始時刻制御部、３０６…イントラフレーム制御部、３０７…時計、３０８…符号化指示受信部、４００、４００−１〜４００−ｍ…受信端末、４０１…送受信部、４０２…映像復号部、４０３…配置情報保持部、４０３１…ネットワークアドレス情報、４０３２…ポート情報、４０３３…隣接情報、４０４…接続切替順決定部、４０５…制御部、４０６…ユーザインタフェース処理部、４０６１…表示処理部、４０６２…マップ処理部、４０６３…操作処理部、４０７…入力部、４０８…表示部。
DESCRIPTION OF
Claims (4)
上記受信装置は、
上記映像配信手段から、いずれかの上記カメラで撮像された映像に基づく映像データを受信する映像データ受信手段と、
上記映像データ受信手段が受信した映像データをフレームごとに復号する復号手段と、
上記復号手段により復号された映像を出力する出力手段と、
上記映像データ受信手段が映像データを受信する対象となる上記カメラを切り替えるカメラ切替制御手段と、
上記カメラの配置関係に関する情報を保持する配置関係情報保持手段とを備え、
上記カメラ制御切替手段は、上記カメラのうち映像データの受信対象となる受信対象カメラを、一定の切替間隔ごとに、現在の受信対象カメラから見てユーザの操作により指定された指定方向に隣接する上記カメラに連続して切替させる連続切替制御処理が可能であり、
上記映像配信手段は、
いずれかの上記カメラで撮像された映像を、フレームごとに、イントラフレーム又はインターフレームとして符号化し、イントラフレーム挿入周期ごとにイントラフレームを挿入するものであって、上記カメラごとに配置された符号化処理部を有し、
上記受信装置で連続切替制御処理が行われる場合に、上記カメラの配置関係に基づいて、隣接しあう上記カメラに対応する上記符号化処理部の間で、上記連続切替制御処理に係る指定方向側に配置された上記カメラに対応する上記符号化処理部の方が、イントラフレーム挿入周期でのイントラフレームを挿入するタイミングの位相が、上記連続切替制御処理で適用される切替間隔に応じた時間だけずれるように制御する符号化制御処理を行う
ことを特徴とする映像配信システム。 A plurality of cameras, video distribution means for distributing video data obtained by encoding video captured by each of the cameras, and a receiving apparatus for receiving video data based on the video captured by the camera from the video distribution means; In a video distribution system having
The receiving device is
Video data receiving means for receiving video data based on video captured by any of the cameras from the video distribution means;
Decoding means for decoding the video data received by the video data receiving means for each frame;
Output means for outputting the video decoded by the decoding means;
Camera switching control means for switching the camera to which the video data receiving means receives video data;
An arrangement relation information holding means for holding information relating to the arrangement relation of the camera,
The camera control switching means adjoins a reception target camera that is a reception target of video data among the cameras in a specified direction specified by a user operation when viewed from the current reception target camera at a certain switching interval. Continuous switching control processing that allows the camera to switch continuously is possible,
The video distribution means is:
An image captured by any one of the above cameras is encoded as an intra frame or an inter frame for each frame, and an intra frame is inserted at every intra frame insertion period, and is encoded for each camera. Having a processing unit,
When the continuous switching control process is performed by the receiving device, a specified direction side related to the continuous switching control process between the encoding processing units corresponding to the adjacent cameras based on the arrangement relationship of the cameras. In the encoding processing unit corresponding to the camera arranged in the above, the phase of the timing for inserting the intra frame in the intra frame insertion period is only the time corresponding to the switching interval applied in the continuous switching control process. A video distribution system characterized by performing an encoding control process for controlling the shift .
上記受信装置が、上記映像配信手段から、いずれかの上記カメラで撮像された映像に基づく映像データを受信する映像データ受信工程と、
上記受信装置が、上記映像データ受信工程で受信した映像データをフレームごとに復号する復号工程と、
上記受信装置が、上記復号工程で復号された映像を出力する出力工程と、
上記受信装置が、上記映像データ受信工程で映像データを受信する対象となる上記カメラを切り替えるカメラ切替制御工程と、
上記受信装置が、上記カメラの配置関係に関する情報を保持する配置関係情報保持工程とを含み、
上記カメラ制御切替工程では、上記受信装置が、上記カメラのうち映像データの受信対象となる受信対象カメラを、一定の切替間隔ごとに、現在の受信対象カメラから見てユーザの操作により指定された指定方向に隣接する上記カメラに連続して切替させる連続切替制御処理を行うことが可能であり、
上記カメラ制御切替工程で連続切替制御処理が行われる場合に、上記映像配信手段が、上記カメラの配置関係に基づいて、隣接しあう上記カメラに対応する上記符号化処理部の間で、上記連続切替制御処理に係る指定方向側に配置された上記カメラに対応する上記符号化処理部の方が、イントラフレーム挿入周期でのイントラフレームを挿入するタイミングの位相が、上記連続切替制御処理で適用される切替間隔に応じた時間だけずれるように制御する符号化制御工程をさらに含むこと
を特徴とする映像配信方法。 A plurality of cameras and video data obtained by encoding video captured by each of the cameras is distributed, and video captured by the camera is encoded by an encoding processing unit arranged for each camera. A video distribution unit that encodes each frame as an intra frame or an inter frame and inserts an intra frame at every intra frame insertion period, and a reception device that receives video data based on the video captured by the camera from the video distribution unit In a video distribution method of a video distribution system having
A video data receiving step in which the receiving device receives video data based on video captured by any of the cameras from the video distribution means;
A decoding step in which the receiving device decodes the video data received in the video data receiving step for each frame;
An output step in which the receiving device outputs the video decoded in the decoding step;
A camera switching control step in which the receiving device switches the camera to receive video data in the video data receiving step;
The receiving device includes an arrangement relationship information holding step for holding information related to the arrangement relationship of the cameras,
In the camera control switching step, the receiving device is designated by a user's operation from among the cameras, a receiving target camera to receive video data at a certain switching interval, as viewed from the current receiving target camera. It is possible to perform a continuous switching control process that switches continuously to the camera adjacent to the specified direction,
When the continuous switching control process by the camera control switching step is performed, the video distribution means, based on the positional relationship of the upper Symbol camera, between the encoding unit corresponding to the camera adjacent said In the continuous switching control process, the encoding processing unit corresponding to the camera arranged on the designated direction side related to the continuous switching control process applies the phase of the timing of inserting an intra frame in the intra frame insertion period in the continuous switching control process. A video distribution method , further comprising: an encoding control step of controlling so as to shift by a time corresponding to the switching interval .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011120903A JP5316588B2 (en) | 2011-05-30 | 2011-05-30 | Video distribution system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011120903A JP5316588B2 (en) | 2011-05-30 | 2011-05-30 | Video distribution system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012249188A JP2012249188A (en) | 2012-12-13 |
| JP5316588B2 true JP5316588B2 (en) | 2013-10-16 |
Family
ID=47469185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011120903A Expired - Fee Related JP5316588B2 (en) | 2011-05-30 | 2011-05-30 | Video distribution system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5316588B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6187811B2 (en) * | 2013-09-09 | 2017-08-30 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| JP6747158B2 (en) | 2016-08-09 | 2020-08-26 | ソニー株式会社 | Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method |
| JP6889371B2 (en) * | 2017-09-21 | 2021-06-18 | 株式会社ミクシィ | Video information processing device and its control method and control program |
| JP7031703B2 (en) * | 2020-07-28 | 2022-03-08 | ソニーグループ株式会社 | Information processing equipment and multi-camera system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4287538B2 (en) * | 1999-04-30 | 2009-07-01 | パナソニック株式会社 | Image signal switching method and apparatus, and digital imaging camera and monitoring system using the same |
| JP2004015318A (en) * | 2002-06-05 | 2004-01-15 | Fujitsu Ltd | Information transmission system having system clock synchronizing means, and information transmission apparatus thereof |
| JP2006129218A (en) * | 2004-10-29 | 2006-05-18 | Matsushita Electric Ind Co Ltd | Monitoring system |
| JP5029062B2 (en) * | 2007-02-26 | 2012-09-19 | 富士通株式会社 | Multi-view video transmission system |
| JP2010183334A (en) * | 2009-02-05 | 2010-08-19 | Mitsubishi Electric Corp | Video monitoring system |
-
2011
- 2011-05-30 JP JP2011120903A patent/JP5316588B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012249188A (en) | 2012-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5953689B2 (en) | Transmission management system, transmission system, and program for transmission management system | |
| EP1860841B1 (en) | Method and system for replacing media stream in a communication process of a terminal | |
| JP5316588B2 (en) | Video distribution system and method | |
| CN101370114A (en) | Video and audio processing method, multi-point control unit and video conference system | |
| CN101291398A (en) | Method and apparatus of multi-image setting | |
| JP2013092887A (en) | Image processing device; control method and program for the same; information processing device and control method and program for the same | |
| JP5359998B2 (en) | Information processing system, information processing method, and information processing program | |
| US20110090970A1 (en) | Terminal and relay node for video conference system | |
| CN103699211A (en) | Electronic equipment and interconnecting and control method thereof | |
| TW201215142A (en) | Unified communication based multi-screen video system | |
| CN111225230A (en) | Management method and related device for network live broadcast data | |
| WO2012079424A1 (en) | Distributed video processing method, system and multipoint control unit | |
| TW200810428A (en) | Group communication server | |
| TW201208362A (en) | Control device, camera, method and computer program storage device | |
| CN109983777A (en) | Enable media orchestration | |
| JP2014175956A (en) | Transmission terminal, transmission system, and program | |
| JP2015033074A5 (en) | COMMUNICATION DEVICE, REPRODUCTION DEVICE, ITS METHOD, AND PROGRAM | |
| US20150029299A1 (en) | Participant-centered distributed video conferencing apparatus and method | |
| CN105306872B (en) | Control the methods, devices and systems of multipoint videoconference | |
| KR20140006221A (en) | Method for selecting conferrence processing device and image conferrence system usnig the method | |
| TW201635784A (en) | Mobile ATSC 3.0 receiver as remote antenna | |
| CN103379244A (en) | Image communication apparatus, image communication server and image processing method for image communication | |
| WO2022075767A1 (en) | Method and device for rendering content in mobile communication system | |
| JP6614782B2 (en) | Communication device, control method, and program | |
| JP2017191966A (en) | Game system, processing program, processing method, game device, and information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130611 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130624 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5316588 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |