JP6743609B2 - Image synchronization apparatus, image synchronization program, and image synchronization method - Google Patents
Image synchronization apparatus, image synchronization program, and image synchronization method Download PDFInfo
- Publication number
- JP6743609B2 JP6743609B2 JP2016180299A JP2016180299A JP6743609B2 JP 6743609 B2 JP6743609 B2 JP 6743609B2 JP 2016180299 A JP2016180299 A JP 2016180299A JP 2016180299 A JP2016180299 A JP 2016180299A JP 6743609 B2 JP6743609 B2 JP 6743609B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- encoding
- transmission system
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Description
本発明は、画像同期装置、画像同期プログラム、及び画像同期方法に関する。 The present invention relates to an image synchronization device, an image synchronization program, and an image synchronization method.
スポーツ番組の中継放送等において、同一又は異なる被写体が複数のカメラで撮影され、それぞれのカメラの映像が符号化されて、Field Pickup Unit（ＦＰＵ）等の無線中継装置を介して符号化映像が受信装置へ伝送されることがある。受信装置は、受信した符号化映像を復号して複数のカメラの映像を復元し、それらの映像を切り替えながら出力したり、多画面の映像として出力したりする。これにより、複数のカメラで撮影された映像を用いて放送が行われる。 In a relay broadcast of a sports program or the like, the same or different subjects are photographed by a plurality of cameras, the images of the respective cameras are encoded, and the encoded images are received via a wireless relay device such as a field pickup unit (FPU). May be transmitted to the device. The receiving device decodes the received coded video to restore the video of a plurality of cameras, outputs while switching the video, or outputs as a multi-screen video. As a result, the broadcast is performed using the images captured by the plurality of cameras.
複数の映像等の同期制御に関する技術も知られている（例えば、特許文献１〜特許文献３を参照）。
Techniques related to synchronous control of a plurality of images and the like are also known (for example, see
複数のカメラで撮影された映像をそれぞれ異なる複数の伝送系を介して符号化して伝送する場合、復号された映像同士の再生時刻にずれが生じることがある。 When video images captured by a plurality of cameras are encoded and transmitted via a plurality of different transmission systems, the reproduction times of the decoded video images may deviate from each other.
なお、かかる問題は、中継放送を行う場合に限らず、監視システム等の他のシステムにおいて、複数のカメラの画像を表示装置の画面に表示する場合においても生ずるものである。 It should be noted that such a problem occurs not only in the case of performing relay broadcasting, but also in the case of displaying images of a plurality of cameras on the screen of a display device in other systems such as a surveillance system.
１つの側面において、本発明は、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることを目的とする。 In one aspect, the present invention aims to synchronize image output among a plurality of transmission systems that encode and transmit an image and decode the transmitted encoded image.
１つの案では、画像同期装置は、計算部及び決定部を含む。複数の伝送系は、符号化対象画像を符号化して符号化画像を生成する符号化装置と、符号化画像を伝送する通信ネットワークと、通信ネットワークから受信した符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む。 In one proposal, the image synchronizer includes a calculator and a determiner. The plurality of transmission systems include an encoding device that encodes an image to be encoded to generate an encoded image, a communication network that transmits the encoded image, and a decoded image that is obtained by decoding the encoded image received from the communication network. And a decoding device for generating each.
計算部は、複数の伝送系のうち第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算する。 The calculator calculates the first decoded image by the first decoding device included in the first transmission system from the input of the first encoding target image to the first encoding device included in the first transmission system among the plurality of transmission systems. Calculate the time to generation.
決定部は、計算部が計算した時間と、複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、待機時間を決定する。待機時間は、第１復号画像の生成から第１復号画像の出力までの時間である。 The deciding unit receives the time calculated by the calculating unit and the input of the second encoding target image to the second encoding device included in the second transmission system among the plurality of transmission systems from the second transmission system including the second encoding system. The waiting time is determined based on the time until the decoding device generates the second decoded image. The waiting time is the time from the generation of the first decoded image to the output of the first decoded image.
１つの実施形態によれば、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることができる。 According to one embodiment, image output can be synchronized between a plurality of transmission systems that encode and transmit an image and decode the transmitted encoded image.
以下、図面を参照しながら、実施形態を詳細に説明する。
ＦＰＵ等の無線中継装置を用いた伝送では、システム構築にコストがかかる。一方、インターネットプロトコル（ＩＰ）ネットワークを用いた伝送では、システム構築のコストを低く抑えることができるため、ＩＰネットワークを利用して中継放送を行うことが望ましい。
Hereinafter, embodiments will be described in detail with reference to the drawings.
Transmission using a wireless relay device such as an FPU requires a high cost for system construction. On the other hand, in transmission using the Internet Protocol (IP) network, it is desirable to perform relay broadcasting using the IP network because the cost of system construction can be kept low.
しかしながら、ＩＰネットワークを用いた伝送では、経由するルートによって遅延時間が異なる。また、encoder/decoder（ＣＯＤＥＣ）のメーカ又は符号化方式等の差異に応じて、映像の符号化及び復号のための遅延時間も異なってくる。このため、複数のカメラの映像を符号化して、ＩＰネットワークによりリアルタイムで配信し、復号して再生すると、再生される映像同士で時間のずれが生じる。 However, in the transmission using the IP network, the delay time differs depending on the route through which the transmission is performed. In addition, the delay time for encoding and decoding the video differs depending on the difference in the encoder/decoder (CODEC) manufacturer or the encoding method. Therefore, when videos from a plurality of cameras are encoded, distributed in real time via an IP network, decoded, and played back, a time lag occurs between the played back videos.
図１は、実施形態の画像同期装置の機能的構成例を示している。画像同期装置１０１は、計算部１１１及び決定部１１２を含む。複数の伝送系は、符号化対象画像を符号化して符号化画像を生成する符号化装置と、符号化画像を伝送する通信ネットワークと、通信ネットワークから受信した符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む。複数の伝送系には、第１伝送系及び第２伝送系が含まれる。
FIG. 1 shows an example of the functional configuration of the image synchronization apparatus of the embodiment. The image synchronization device 101 includes a calculation unit 111 and a
図２は、図１の画像同期装置１０１が行う画像同期処理の例を示すフローチャートである。まず、計算部１１１は、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算する（ステップ２０１）。 FIG. 2 is a flowchart showing an example of the image synchronization processing performed by the image synchronization device 101 of FIG. First, the calculation unit 111 operates from the input of the first encoding target image to the first encoding device included in the first transmission system to the generation of the first decoded image by the first decoding device included in the first transmission system. The time is calculated (step 201).
決定部１１２は、計算部１１１が計算した時間と、第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、待機時間を決定する（ステップ２０２）。待機時間は、第１復号画像の生成から第１復号画像の出力までの時間である。
The deciding
図１の画像同期装置１０１によれば、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることができる。 According to the image synchronization device 101 of FIG. 1, image output can be synchronized between a plurality of transmission systems that encode and transmit an image and decode the transmitted encoded image.
図３は、野球の試合の中継放送を行うための複数の伝送系の例を示している。カメラ３０１−１は、画像３２１−１及び画像３２２−１を含む投手の映像を撮影し、符号化装置３０２−１、通信ネットワーク３０３−１、及び復号装置３０４−１を含む伝送系に、撮影した映像を入力する。カメラ３０１−２は、画像３２１−２及び画像３２２−２を含む打者の映像を撮影し、符号化装置３０２−２、通信ネットワーク３０３−２、及び復号装置３０４−２を含む伝送系に、撮影した映像を入力する。 FIG. 3 shows an example of a plurality of transmission systems for relay broadcast of a baseball game. The camera 301-1 captures an image of a pitcher including the image 321-1 and the image 322-1 and captures the captured image in a transmission system including the encoding device 302-1, the communication network 303-1, and the decoding device 304-1. Input the video that you made. The camera 301-2 shoots a batter's video including the image 321-2 and the image 322-2, and shoots it on the transmission system including the encoding device 302-2, the communication network 303-2, and the decoding device 304-2. Input the video that you made.
カメラ３０１−ｉ（ｉ＝１，２）が撮影する映像は、複数の時刻それぞれにおける複数の画像を含む。各時刻の画像は、符号化対象画像に対応し、フレームと呼ばれることがある。通信ネットワーク３０３−ｉは、例えば、ＩＰネットワークである。 The video imaged by the camera 301-i (i=1, 2) includes a plurality of images at a plurality of times. The image at each time corresponds to the image to be encoded and is sometimes called a frame. The communication network 303-i is, for example, an IP network.
符号化装置３０２−ｉは、カメラ３０１−ｉから入力される符号化対象画像を符号化して符号化画像を生成し、生成した符号化画像を通信ネットワーク３０３−ｉへ出力する。通信ネットワーク３０３−ｉは、符号化画像を復号装置３０４−ｉへ伝送する。復号装置３０４−ｉは、通信ネットワーク３０３−ｉから受信した符号化画像を復号して復号画像を生成し、放送装置（不図示）へ転送する。放送装置は、復元された画像３２１−１、画像３２２−１、画像３２１−２、及び画像３２２−２を用いて、放送用の映像を生成する。 The encoding device 302-i encodes the encoding target image input from the camera 301-i to generate an encoded image, and outputs the generated encoded image to the communication network 303-i. The communication network 303-i transmits the encoded image to the decoding device 304-i. The decoding device 304-i decodes the encoded image received from the communication network 303-i to generate a decoded image, and transfers the decoded image to a broadcasting device (not shown). The broadcast device uses the restored image 321-1, image 322-1, image 321-2, and image 322-2 to generate a video for broadcasting.
このとき、各符号化装置３０２−ｉにおける符号化対象画像の入力から符号化画像の生成までの符号化時間３１１−ｉは、符号化装置３０２−ｉのメーカ、符号化方式、符号化モード等によって異なってくる。 At this time, the coding time 311 -i from the input of the image to be coded to the generation of the coded image in each coding device 302-i is the manufacturer of the coding device 302-i, the coding method, the coding mode, etc. Depends on
符号化方式には、例えば、Moving Picture Experts Group-2（ＭＰＥＧ−２）、ＭＰＥＧ−４、Ｈ．２６４、High Efficiency Video Coding（ＨＥＶＣ）等のバリエーションがあり、符号化モードには、低遅延モード、高遅延モード等のバリエーションがある。低遅延モードは、画質を低下させることで符号化時間を短くする符号化モードであり、高遅延モードは、符号化時間を長くすることで画質を向上させる符号化モードである。 Encoding methods include, for example, Moving Picture Experts Group-2 (MPEG-2), MPEG-4, and H.264. H.264, High Efficiency Video Coding (HEVC) and the like, and encoding modes include a low delay mode and a high delay mode. The low-delay mode is a coding mode that shortens the coding time by lowering the image quality, and the high-delay mode is a coding mode that improves the image quality by lengthening the coding time.
符号化装置３０２−ｉと同様に、各復号装置３０４−ｉにおける符号化画像の入力から復号画像の生成までの復号時間３１３−ｉは、復号装置３０４−ｉのメーカ、符号化画像の符号化方式、符号化モード等によって異なってくる。 Similar to the encoding device 302-i, the decoding time 313-i from the input of the encoded image to the generation of the decoded image in each decoding device 304-i is the manufacturer of the decoding device 304-i, the encoding of the encoded image. It depends on the system, coding mode, etc.
また、各通信ネットワーク３０３−ｉが符号化画像を伝送する伝送時間３１２−ｉは、通信ネットワーク３０３−ｉの距離、通信ネットワーク３０３−ｉに含まれるルータの個数等によって異なってくる。距離が長いほど伝送時間３１２−ｉが長くなり、ルータの個数が多いほど伝送時間３１２−ｉが長くなることが多い。 Further, the transmission time 312-i at which each communication network 303-i transmits the encoded image varies depending on the distance of the communication network 303-i, the number of routers included in the communication network 303-i, and the like. The longer the distance, the longer the transmission time 312-i, and the larger the number of routers, the longer the transmission time 312-i.
例えば、通信ネットワーク３０３−１の伝送時間３１２−１よりも通信ネットワーク３０３−２の伝送時間３１２−２の方が長い場合、各伝送系の総遅延時間は、タイミングチャート３３１に示すようになる。総遅延時間は、符号化時間３１１−ｉ、伝送時間３１２−ｉ、及び復号時間３１３−ｉの総和で表される。この場合、画像３２１−１よりも遅れて画像３２１−２が出力され、画像３２２−１よりも遅れて画像３２２−２が出力されるため、２つの伝送系の画像出力が同期しない。
For example, when the transmission time 312-2 of the communication network 303-2 is longer than the transmission time 312-1 of the communication network 303-1, the total delay time of each transmission system is as shown in the
そこで、画像同期装置１０１は、タイミングチャート３３２に示すように、２つの伝送系の総遅延時間を比較して、総遅延時間が短い方の復号画像の出力を、総遅延時間が長い方の復号画像の出力に合わせて遅延させる。より具体的には、画像同期装置１０１は、２つの伝送系の総遅延時間の差分３３３を待機時間に決定し、復号装置３０４−１が生成した復号画像を、待機時間が経過した後に放送装置へ転送させる。これにより、画像３２１−１と画像３２１−２とが同期して放送され、画像３２２−１と画像３２２−２とが同期して放送される。
Therefore, as shown in the
図４は、複数の伝送系を含む画像同期システムの構成例を示している。図４の画像同期システムは、４つの伝送系及び表示装置４０５を含み、各伝送系は、カメラ４０１−ｉ、符号化装置４０２−ｉ、通信ネットワーク４０３−ｉ、及び画像同期装置４０４−ｉ（ｉ＝１〜４）を含む。画像同期装置４０４−ｉは、図１の画像同期装置１０１に対応する。
FIG. 4 shows a configuration example of an image synchronization system including a plurality of transmission systems. The image synchronization system in FIG. 4 includes four transmission systems and a
画像同期装置４０４−１〜画像同期装置４０４−４は、Local Area Network（ＬＡＮ）４０６を介して互いに通信することができる。通信ネットワーク４０３−ｉは、ＬＡＮ４０６に接続されている。伝送系の個数は４つに限られず、２以上の整数のいずれかであればよい。
The image synchronization devices 404-1 to 404-4 can communicate with each other via a local area network (LAN) 406. The communication network 403-i is connected to the
図４の画像同期システムは、建物内外の所定エリアを監視する監視システムであってもよい。この場合、カメラ４０１−ｉは、同じエリアをそれぞれ異なる角度から撮影する監視カメラであってもよく、それぞれ異なるエリアを撮影する監視カメラであってもよい。 The image synchronization system of FIG. 4 may be a monitoring system that monitors a predetermined area inside and outside the building. In this case, the cameras 401-i may be surveillance cameras that capture the same area from different angles, or may be surveillance cameras that capture different areas.
カメラ４０１−ｉは、被写体の映像を撮影し、符号化装置４０２−ｉ、通信ネットワーク４０３−ｉ、及び画像同期装置４０４−ｉを含む伝送系に、撮影した映像を入力する。このとき、映像とともに録音された音声も各伝送系に入力される。カメラ４０１−ｉが撮影する映像に含まれる各時刻の画像は、符号化対象画像に対応し、フレームと呼ばれることがある。通信ネットワーク４０３−ｉは、例えば、ＩＰネットワークである。 The camera 401-i captures an image of a subject and inputs the captured image to a transmission system including an encoding device 402-i, a communication network 403-i, and an image synchronization device 404-i. At this time, the audio recorded together with the video is also input to each transmission system. The image at each time included in the image captured by the camera 401-i corresponds to the encoding target image and may be referred to as a frame. The communication network 403-i is, for example, an IP network.
符号化装置４０２−ｉは、カメラ４０１−ｉの映像に含まれる符号化対象画像を符号化して符号化画像を生成し、録音された音声を符号化して符号化音声を生成する。そして、符号化装置４０２−ｉは、符号化画像と符号化音声とを多重化してストリームを生成し、生成したストリームと、符号化装置４０２−ｉにおける画像及び音声の符号化時間４１１−ｉを表す情報とを、通信ネットワーク４０３−ｉへ出力する。 The encoding device 402-i encodes the encoding target image included in the video of the camera 401-i to generate an encoded image, and encodes the recorded sound to generate an encoded sound. Then, the encoding device 402-i multiplexes the encoded image and the encoded audio to generate a stream, and generates the generated stream and the encoding time 411-i of the image and audio in the encoding device 402-i. And the information to be output to the communication network 403-i.
通信ネットワーク４０３−ｉは、符号化装置４０２−ｉから出力されるストリーム及び符号化時間４１１−ｉを表す情報を、画像同期装置４０４−ｉへ伝送する。画像同期装置４０４−ｉは、通信ネットワーク４０３−ｉから受信したストリームに含まれる符号化画像及び符号化音声を復号して、復号画像及び復号音声を生成し、復号画像及び復号音声をＬＡＮ４０６を介して表示装置４０５へ転送する。
The communication network 403-i transmits the stream output from the encoding device 402-i and the information indicating the encoding time 411-i to the image synchronization device 404-i. The image synchronization device 404-i decodes the coded image and the coded audio included in the stream received from the communication network 403-i to generate the decoded image and the decoded audio, and transmits the decoded image and the decoded audio via the
画像同期装置４０４−１〜画像同期装置４０４−４から出力される４つの映像を同時に表示する場合、表示装置４０５の画面が領域４２１−１〜領域４２１−４の４つの領域に分割される。そして、画像同期装置４０４−ｉから出力される復号画像が領域４２１−ｉに表示される。これにより、表示装置４０５は、復元された４つの映像を画面上に同時に表示することができる。
When simultaneously displaying four videos output from the image synchronization devices 404-1 to 404-4, the screen of the
一方、４つの映像を切り替えながら表示する場合、ユーザはいずれかの映像を選択し、表示装置４０５は、ユーザが選択した映像の復号画像を画面上に表示する。表示装置４０５は、表示される映像に対応する復号音声を出力してもよい。
On the other hand, when switching and displaying four videos, the user selects one of the videos and the
図３の場合と同様に、各符号化装置４０２−ｉにおける画像及び音声の符号化時間４１１−ｉは、メーカ、符号化方式、符号化モード等によって異なってくる。各画像同期装置４０４−ｉにおける画像及び音声の復号時間４１３−ｉは、ストリームの構造、符号化レート等によって異なってくる。また、各通信ネットワーク４０３−ｉにおけるストリームの伝送時間４１２−ｉは、通信ネットワーク４０３−ｉの距離、ルータの個数等によって異なってくる。 Similar to the case of FIG. 3, the coding time 411-i of the image and audio in each coding device 402-i differs depending on the manufacturer, the coding method, the coding mode, and the like. The image and audio decoding times 413-i in each image synchronizer 404-i differ depending on the stream structure, the coding rate, and the like. The transmission time 412-i of the stream in each communication network 403-i varies depending on the distance of the communication network 403-i, the number of routers, and the like.
図５は、図４の画像同期装置４０４−ｉの具体例を示している。図５の画像同期装置４０４−ｉは、通信部５０１、デマルチプレクサ５０２、復号装置５０３、計算部５０４、記憶部５０５、決定部５０６、及び出力部５０７を含む。計算部５０４及び決定部５０６は、図１の計算部１１１及び決定部１１２にそれぞれ対応する。
FIG. 5 shows a specific example of the image synchronization device 404-i of FIG. The image synchronization device 404-i in FIG. 5 includes a
通信部５０１は、例えば、２個のＬＡＮポートを含み、一方のＬＡＮポートを介して符号化装置４０２−ｉと通信し、他方のＬＡＮポートを介して、他の画像同期装置４０４−ｊ（ｊ≠ｉ）及び表示装置４０５と通信する。記憶部５０５は、通信ネットワーク４０３−ｉにおける伝送時間４１２−ｉを記憶する。伝送時間４１２−ｉは、事前に計測されて記憶部５０５に格納される。
The
通信部５０１は、通信ネットワーク４０３−ｉから、符号化装置４０２−ｉが生成したストリームを受信して、デマルチプレクサ５０２へ出力する。また、通信部５０１は、通信ネットワーク４０３−ｉから符号化時間４１１−ｉを表す情報を受信して、計算部５０４へ出力する。
The
デマルチプレクサ５０２は、ストリームを非多重化して符号化画像と符号化音声とを分離し、分離した符号化画像及び符号化音声を、復号装置５０３及び計算部５０４の両方へ出力する。復号装置５０３は、符号化画像及び符号化音声を復号して、復号画像及び復号音声を生成し、生成した復号画像及び復号音声を出力部５０７へ出力する。
The
計算部５０４は、符号化画像及び符号化音声を用いて、復号装置５０３における復号時間４１３−ｉを計算する。復号時間４１３−ｉは、復号装置５０３に対する符号化画像及び符号化音声の入力から、復号画像及び復号音声の生成までの時間を表す。そして、計算部５０４は、符号化時間４１１−ｉと、記憶部５０５が記憶する伝送時間４１２−ｉと、復号時間４１３−ｉとを加算することで、画像同期装置４０４−ｉが属する伝送系の総遅延時間を計算する。
The
通信部５０１は、ＬＡＮ４０６を介して、画像同期装置４０４−ｉが属する伝送系の総遅延時間を表す情報を、他の画像同期装置４０４−ｊへ送信する。また、通信部５０１は、ＬＡＮ４０６を介して、他の画像同期装置４０４−ｊから、その画像同期装置４０４−ｊが属する伝送系の総遅延時間を表す情報を受信して、決定部５０６へ出力する。
The
決定部５０６は、画像同期装置４０４−ｉが属する伝送系の総遅延時間と、他の画像同期装置４０４−ｊが属する伝送系の総遅延時間とを比較して、復号画像及び復号音声の生成から出力までの待機時間を決定し、出力部５０７へ出力する。例えば、決定部５０６は、複数の伝送系の総遅延時間のうち最大の総遅延時間と、画像同期装置４０４−ｉが属する伝送系の総遅延時間との差分を、待機時間に決定することができる。
The
出力部５０７は、復号装置５０３より復号画像及び復号音声を受信してから待機時間が経過した後に、ＬＡＮ４０６を介して、復号画像及び復号音声を表示装置４０５へ出力する。これにより、各画像同期装置４０４−ｉの復号画像及び復号音声が、最大の総遅延時間を有する伝送系に合わせて遅延させて出力されるため、４つの伝送系の出力を同期させることができる。
The
図６は、図４の４つの伝送系のうち３つの伝送系を用いてストリームを配信する場合の待機時間の例を示している。この例では、時刻０ｍｓにおいて、カメラ４０１−ｉ（ｉ＝１〜３）から符号化装置４０２−ｉへ同時に映像が入力される。各伝送系における符号化時間４１１−ｉ、伝送時間４１２−ｉ、復号時間４１３−ｉ、及び総遅延時間は、以下の通りである。
FIG. 6 shows an example of waiting time when a stream is distributed using three transmission systems of the four transmission systems of FIG. In this example, at
（１）ｉ＝１
符号化時間４１１−１： １５０ｍｓ
伝送時間４１２−１： ２００ｍｓ
復号時間４１３−１： １００ｍｓ
総遅延時間： ４５０ｍｓ
（２）ｉ＝２
符号化時間４１１−２： ２３０ｍｓ
伝送時間４１２−２： １５０ｍｓ
復号時間４１３−２： １７０ｍｓ
総遅延時間： ５５０ｍｓ
（３）ｉ＝３
符号化時間４１１−３： ２００ｍｓ
伝送時間４１２−３： ２５０ｍｓ
復号時間４１３−３： １５０ｍｓ
総遅延時間： ６００ｍｓ
(1) i=1
Encoding time 411-1: 150 ms
Transmission time 412-1: 200 ms
Decoding time 413-1: 100 ms
Total delay time: 450ms
(2) i=2
Encoding time 411-2: 230 ms
Transmission time 412-2: 150 ms
Decoding time 413-2: 170 ms
Total delay time: 550ms
(3) i=3
Encoding time 411-3: 200 ms
Transmission time 412-3: 250 ms
Decoding time 413-3: 150 ms
Total delay time: 600ms
この場合、ｉ＝３の伝送系の総遅延時間６００ｍｓが最大であるため、画像同期装置４０４−３は、待機時間を０ｍｓに決定する。一方、画像同期装置４０４−１は、待機時間６０１−１を１５０ｍｓ（＝６００ｍｓ−４５０ｍｓ）に決定し、画像同期装置４０４−２は、待機時間６０１−２を５０ｍｓ（＝６００ｍｓ−５５０ｍｓ）に決定する。これにより、時刻６００ｍｓにおいて、画像同期装置４０４−１〜画像同期装置４０４−３から同時に復号画像及び復号音声が出力される。 In this case, since the total delay time 600 ms of the transmission system of i=3 is the maximum, the image synchronization device 404-3 determines the waiting time to be 0 ms. On the other hand, the image synchronization device 404-1 determines the standby time 601-1 to be 150 ms (=600 ms-450 ms), and the image synchronization device 404-2 determines the standby time 601-2 to be 50 ms (=600 ms-550 ms). To do. As a result, at time 600 ms, the decoded image and the decoded sound are simultaneously output from the image synchronization device 404-1 to the image synchronization device 404-3.
画像同期装置４０４−１は、時刻３５０ｍｓにおいて、総遅延時間を計算して他の画像同期装置４０４−２及び画像同期装置４０４−３へ送信する。画像同期装置４０４−２は、時刻３８０ｍｓにおいて、総遅延時間を計算して他の画像同期装置４０４−１及び画像同期装置４０４−３へ送信する。画像同期装置４０４−３は、時刻４５０ｍｓにおいて、総遅延時間を計算して他の画像同期装置４０４−１及び画像同期装置４０４−２へ送信する。したがって、各画像同期装置４０４−ｉは、すべての総遅延時間が参照可能になる時刻４５０ｍｓにおいて、待機時間を決定する。 The image synchronization device 404-1 calculates the total delay time at time 350 ms and transmits it to the other image synchronization devices 404-2 and 404-3. The image synchronization device 404-2 calculates the total delay time at 380 ms and transmits it to the other image synchronization devices 404-1 and 404-3. The image synchronization device 404-3 calculates the total delay time at time 450 ms and transmits it to the other image synchronization devices 404-1 and 404-2. Therefore, each image synchronizer 404-i determines the standby time at time 450 ms when all the total delay times can be referenced.
なお、映像に含まれる複数のフレームのうち、符号化時間４１１−ｉ及び復号時間４１３−ｉが１フレーム当たりの処理時間を超えるのは、複数のフレームをバッファに蓄積する処理が行われる、最初のフレームのみである。このため、復号画像及び復号音声の待機時間は、最初のフレームに対して決定すれば十分であり、２枚目以降のフレームに対して待機時間を新たに計算する必要はない。ただし、符号化装置４０２−ｉが映像の途中で符号化モードを変更した場合は、符号化時間４１１−ｉ及び復号時間４１３−ｉが変化するため、改めて待機時間が計算される。 Note that the encoding time 411-i and the decoding time 413-i of the plurality of frames included in the video exceed the processing time per frame because the processing of accumulating the plurality of frames in the buffer is performed first. Only the frame of. Therefore, it is sufficient to determine the waiting time of the decoded image and the decoded audio for the first frame, and it is not necessary to newly calculate the waiting time for the second and subsequent frames. However, when the encoding device 402-i changes the encoding mode in the middle of the video, the encoding time 411-i and the decoding time 413-i change, and thus the waiting time is calculated again.
図５の画像同期装置４０４−ｉによれば、複数のカメラの映像を符号化して、ＩＰネットワークによりリアルタイムで配信し、復号して再生した場合であっても、再生される映像同士を同期させることが可能になる。 According to the image synchronization device 404-i of FIG. 5, even when the videos of a plurality of cameras are encoded, distributed in real time by the IP network, and decoded and reproduced, the reproduced videos are synchronized with each other. It will be possible.
図７は、通信ネットワーク４０３−ｉにおける伝送時間４１２−ｉを計測する計測処理の例を示している。この例では、符号化装置４０２−ｉと画像同期装置４０４−ｉとの間のラウンドトリップタイム（ＲＴＴ）の半分が、伝送時間４１２−ｉとして用いられる。 FIG. 7 shows an example of measurement processing for measuring the transmission time 412-i in the communication network 403-i. In this example, half of the round trip time (RTT) between the encoder 402-i and the image synchronizer 404-i is used as the transmission time 412-i.
まず、符号化装置４０２−ｉは、Real-time Transport protocol Control Protocol Sender Report（ＲＴＣＰ ＳＲ）パケットを生成し、通信ネットワーク４０３−ｉを介して画像同期装置４０４−ｉへ送信する（ステップ７０１）。このとき、ＲＴＣＰ ＳＲパケットには、ＲＴＣＰ ＳＲパケットの送信時刻ｔ１が記述される。 First, the encoding device 402-i generates a Real-time Transport protocol Control Protocol Sender Report (RTCP SR) packet and transmits it to the image synchronization device 404-i via the communication network 403-i (step 701). At this time, the transmission time t1 of the RTCP SR packet is described in the RTCP SR packet.
画像同期装置４０４−ｉは、ＲＴＣＰ ＳＲパケットを受信すると、ＲＴＣＰ Receiver Report（ＲＲ）パケットを生成し、通信ネットワーク４０３−ｉを介して符号化装置４０２−ｉへ送信する（ステップ７０２）。このとき、ＲＴＣＰ ＲＲパケットのＤＬＳＲフィールドには、ＲＴＣＰ ＳＲパケットの受信時刻ｔ２とＲＴＣＰ ＲＲパケットの送信時刻ｔ３との差分（ｔ３−ｔ２）が記述され、ＬＳＲフィールドには、ＲＴＣＰ ＳＲパケットの送信時刻ｔ１が記述される。 Upon receiving the RTCP SR packet, the image synchronization device 404-i generates an RTCP Receiver Report (RR) packet and transmits it to the encoding device 402-i via the communication network 403-i (step 702). At this time, the DLSR field of the RTCP RR packet describes the difference (t3-t2) between the reception time t2 of the RTCP SR packet and the transmission time t3 of the RTCP RR packet, and the LSR field describes the transmission time of the RTCP SR packet. t1 is described.
符号化装置４０２−ｉは、ＲＴＣＰ ＲＲパケットを受信すると、ＲＴＣＰ ＲＲパケットの受信時刻ｔ４から、ＤＬＳＲフィールドに記述された差分とＬＳＲフィールドに記述された送信時刻ｔ１とを減算することで、ＲＴＴを計算する。そして、符号化装置４０２−ｉは、ＲＴＴを記述したＲＴＣＰ Application Defined（ＡＰＰ）パケットを生成し、通信ネットワーク４０３−ｉを介して画像同期装置４０４−ｉへ送信する（ステップ７０３）。 When receiving the RTCP RR packet, the encoding device 402-i subtracts the difference described in the DLSR field and the transmission time t1 described in the LSR field from the reception time t4 of the RTCP RR packet to obtain the RTT. calculate. Then, the encoding device 402-i generates an RTCP Application Defined (APP) packet describing the RTT and transmits it to the image synchronization device 404-i via the communication network 403-i (step 703).
画像同期装置４０４−ｉは、ＲＴＣＰ ＡＰＰパケットを受信すると、ＲＴＣＰ ＡＰＰパケットに記述されたＲＴＴの半分の時間を、伝送時間４１２−ｉとして記憶部５０５に格納する。
Upon receiving the RTCP APP packet, the image synchronization device 404-i stores half the RTT described in the RTCP APP packet in the
図８は、画像同期装置４０４−１〜画像同期装置４０４−４の間でそれぞれの伝送系の総遅延時間を送受信する通信処理の例を示している。各画像同期装置４０４−ｉには、ＩＰアドレスが識別情報として割り当てられており、画像同期装置４０４−ｉの記憶部５０５は、画像同期処理の対象となる他の画像同期装置４０４−ｊのＩＰアドレスを記憶している。画像同期装置４０４−１〜画像同期装置４０４−４のＩＰアドレスは、以下の通りである。
FIG. 8 shows an example of communication processing for transmitting and receiving the total delay time of each transmission system between the image synchronization devices 404-1 to 404-4. An IP address is assigned as identification information to each image synchronization device 404-i, and the
画像同期装置４０４−１： １０．０．０．１
画像同期装置４０４−２： １０．０．０．２
画像同期装置４０４−３： １０．０．０．３
画像同期装置４０４−４： １０．０．０．４
Image synchronizer 404-1: 10.0.0.1
Image synchronizer 404-2: 10.0.0.2
Image synchronizer 404-3: 10.0.0.3
Image synchronizer 404-4: 10.0.0.4
画像同期装置４０４−１の記憶部５０５には、画像同期装置４０４−２〜画像同期装置４０４−４のＩＰアドレスが登録されている。画像同期装置４０４−２の記憶部５０５には、画像同期装置４０４−１、画像同期装置４０４−３、及び画像同期装置４０４−４のＩＰアドレスが登録されている。
The IP addresses of the image synchronization devices 404-2 to 404-4 are registered in the
画像同期装置４０４−３の記憶部５０５には、画像同期装置４０４−１、画像同期装置４０４−２、及び画像同期装置４０４−４のＩＰアドレスが登録されている。画像同期装置４０４−４の記憶部５０５には、画像同期装置４０４−１〜画像同期装置４０４−３のＩＰアドレスが登録されている。
IP addresses of the image synchronization device 404-1, the image synchronization device 404-2, and the image synchronization device 404-4 are registered in the
各画像同期装置４０４−ｉは、映像に含まれる最初のフレームを受信したときに、対応する伝送系の総遅延時間を計算する。次に、各画像同期装置４０４−ｉは、他の画像同期装置４０４−ｊのＩＰアドレスを宛先とする、総遅延時間を記述した通知パケットを生成して、他のすべての画像同期装置４０４−ｊへ送信する。そして、各画像同期装置４０４−ｉは、他のすべての画像同期装置４０４−ｊから通知パケットを受信すると、すべての伝送系の総遅延時間のうち最大の総遅延時間と、画像同期装置４０４−ｉが属する伝送系の総遅延時間との差分を、待機時間に決定する。 Each image synchronizer 404-i calculates the total delay time of the corresponding transmission system when receiving the first frame included in the video. Next, each image synchronization device 404-i generates a notification packet in which the total delay time is destined to the IP address of another image synchronization device 404-j, and all the other image synchronization devices 404-i. send to j. When each image synchronization device 404-i receives the notification packet from all other image synchronization devices 404-j, the maximum total delay time of the total delay times of all transmission systems and the image synchronization device 404-i. The standby time is determined by the difference from the total delay time of the transmission system to which i belongs.
図９は、図４の符号化装置４０２−ｉが行う符号化処理の例を示すフローチャートである。まず、符号化装置４０２−ｉは、映像及び音声に対する符号化モードを設定する（ステップ９０１）。符号化モードとしては、例えば、低遅延モード、高遅延モード等のうちいずれかの符号化モードが用いられる。そして、符号化装置４０２−ｉは、符号化装置４０２−ｉにおける所定の符号化方式と設定した符号化モードとに対応する、フレーム毎の符号化時間４１１−ｉを計算する（ステップ９０２）。 FIG. 9 is a flowchart showing an example of the encoding process performed by the encoding device 402-i of FIG. First, the encoding device 402-i sets the encoding mode for video and audio (step 901). As the encoding mode, for example, any one of a low delay mode, a high delay mode and the like is used. Then, the encoding device 402-i calculates the encoding time 411-i for each frame, which corresponds to the predetermined encoding method and the set encoding mode in the encoding device 402-i (step 902).
次に、符号化装置４０２−ｉは、所定の符号化方式と設定した符号化モードとを用いて映像及び音声の符号化を開始し（ステップ９０３）、フレーム毎に符号化画像及び符号化音声を多重化したストリームを生成する（ステップ９０４）。そして、符号化装置４０２−ｉは、生成したストリームと符号化時間４１１−ｉを表す情報とを、通信ネットワーク４０３−ｉを介して画像同期装置４０４−ｉへ送信する。 Next, the encoding device 402-i starts encoding video and audio using a predetermined encoding method and the set encoding mode (step 903), and encodes an encoded image and encoded audio for each frame. To generate a stream (step 904). Then, the encoding device 402-i transmits the generated stream and the information indicating the encoding time 411-i to the image synchronization device 404-i via the communication network 403-i.
次に、符号化装置４０２−ｉは、符号化モードを変更するか否かを判定する（ステップ９０５）。例えば、符号化装置４０２−ｉは、ユーザによって符号化モード変更指示が入力された場合に、符号化モードを変更することができる。 Next, the encoding device 402-i determines whether to change the encoding mode (step 905). For example, the encoding device 402-i can change the encoding mode when the user inputs the encoding mode change instruction.
符号化モードを変更しない場合（ステップ９０５，ＮＯ）、符号化装置４０２−ｉは、ストリーム配信を終了するか否かを判定する（ステップ９０６）。例えば、符号化装置４０２−ｉは、ユーザによって配信停止指示が入力された場合、又はカメラ４０１−ｉからの映像入力が停止した場合に、ストリーム配信を終了することができる。ストリーム配信を終了しない場合（ステップ９０６，ＮＯ）、符号化装置４０２−ｉは、次のフレームについてステップ９０４以降の処理を繰り返す。
When the encoding mode is not changed (
一方、符号化モードを変更する場合（ステップ９０５，ＹＥＳ）、符号化装置４０２−ｉは、次のフレームについてステップ９０１以降の処理を繰り返す。そして、ストリーム配信を終了する場合（ステップ９０６，ＹＥＳ）、符号化装置４０２−ｉは、処理を終了する。
On the other hand, when changing the coding mode (
図１０は、図４の画像同期装置４０４−ｉが行う画像同期処理の具体例を示すフローチャートである。まず、通信部５０１は、通信ネットワーク４０３−ｉを介して符号化装置４０２−ｉから、ストリームと符号化時間４１１−ｉを表す情報とをフレーム毎に受信する（ステップ１００１）。そして、復号装置５０３は、受信したストリームに含まれる符号化画像及び符号化音声を復号して、復号画像及び復号音声を出力部５０７へ出力する。
FIG. 10 is a flowchart showing a specific example of the image synchronization processing performed by the image synchronization device 404-i of FIG. First, the
次に、計算部５０４は、符号化画像及び符号化音声を用いて復号時間４１３−ｉを計算する（ステップ１００２）。そして、計算部５０４は、符号化時間４１１−ｉと、記憶部５０５が記憶する伝送時間４１２−ｉと、復号時間４１３−ｉとを加算することで、総遅延時間を計算する（ステップ１００３）。
Next, the
次に、計算部５０４は、総遅延時間が変化したか否かを判定する（ステップ１００４）。例えば、計算部５０４は、前回計算した総遅延時間と異なる総遅延時間が得られた場合に、総遅延時間が変化したと判定することができる。符号化装置４０２−ｉが符号化モードを変更した場合、それに伴って符号化時間４１１−ｉ及び復号時間４１３−ｉも変更されるため、総遅延時間が変化する。また、ストリームに含まれる最初のフレームを受信したときは、総遅延時間が変化したと判定される。
Next, the
総遅延時間が変化した場合（ステップ１００４，ＹＥＳ）、画像同期装置４０４−ｉは、復号画像及び復号音声の出力を停止する（ステップ１００５）。ただし、ストリームに含まれる最初のフレームを受信したときは、ステップ１００５の処理はスキップされる。そして、通信部５０１は、計算部５０４が計算した総遅延時間を表す情報を、他の画像同期装置４０４−ｊ（ｊ≠ｉ）へ送信する（ステップ１００６）。
When the total delay time has changed (
次に、決定部５０６は、他のすべての画像同期装置４０４−ｊから総遅延時間を表す情報を受信したか否かをチェックする（ステップ１００７）。いずれかの画像同期装置４０４−ｊから総遅延時間を表す情報を受信していない場合（ステップ１００７，ＮＯ）、決定部５０６は、ステップ１００７の処理を繰り返す。そして、他のすべての画像同期装置４０４−ｊから総遅延時間を表す情報を受信した場合（ステップ１００７，ＹＥＳ）、決定部５０６は、計算部５０４が計算した総遅延時間と受信したそれぞれの総遅延時間とを比較する（ステップ１００８）。
Next, the
受信したすべての総遅延時間が、計算部５０４が計算した総遅延時間以下である場合（ステップ１００８，ＹＥＳ）、決定部５０６は、計算部５０４が計算した総遅延時間が最大であると判定し、待機時間を０に決定する。そして、出力部５０７は、復号画像及び復号音声を表示装置４０５へ出力する（ステップ１００９）。
When all the received total delay times are equal to or less than the total delay time calculated by the calculation unit 504 (
一方、受信したいずれかの総遅延時間が、計算部５０４が計算した総遅延時間よりも大きい場合（ステップ１００８，ＮＯ）、決定部５０６は、受信した総遅延時間のうち最大の総遅延時間と、計算部５０４が計算した総遅延時間との差分を、待機時間に決定する。そして、出力部５０７は、待機時間が経過するまで待機して（ステップ１０１１）、復号画像及び復号音声を表示装置４０５へ出力する（ステップ１００９）。
On the other hand, if any of the received total delay times is larger than the total delay time calculated by the calculation unit 504 (
次に、画像同期装置４０４−ｉは、復号画像及び復号音声の出力を終了するか否かを判定する（ステップ１０１０）。例えば、画像同期装置４０４−ｉは、ユーザによって出力停止指示が入力された場合、又は符号化装置４０２−ｉからのストリーム配信が停止した場合に、復号画像及び復号音声の出力を終了することができる。復号画像及び復号音声の出力を終了しない場合（ステップ１０１０，ＮＯ）、画像同期装置４０４−ｉは、次のフレームについてステップ１００１以降の処理を繰り返す。
Next, the image synchronization device 404-i determines whether to end the output of the decoded image and the decoded sound (step 1010). For example, the image synchronization device 404-i may end the output of the decoded image and the decoded audio when the output stop instruction is input by the user or when the stream distribution from the encoding device 402-i is stopped. it can. When the output of the decoded image and the decoded audio is not ended (step 1010, NO), the image synchronization device 404-i repeats the processing from
総遅延時間が変化しない場合（ステップ１００４，ＮＯ）、画像同期装置４０４−ｉは、ステップ１００９以降の処理を行う。そして、復号画像及び復号音声の出力を終了する場合（ステップ１０１０，ＹＥＳ）、画像同期装置４０４−ｉは、処理を終了する。
When the total delay time does not change (
図１及び図５の画像同期装置の構成は一例に過ぎず、画像同期装置の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、復号処理が画像同期装置の外部で行われる場合は、図５の復号装置５０３及び出力部５０７を省略することができる。
The configuration of the image synchronization device in FIGS. 1 and 5 is merely an example, and some of the constituent elements may be omitted or changed depending on the application or conditions of the image synchronization device. For example, when the decoding process is performed outside the image synchronization device, the
図４の画像同期システムの構成は一例に過ぎず、画像同期システムの用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、画像同期システムがスポーツ番組等の中継放送に用いられる場合は、表示装置４０５を省略することができる。
The configuration of the image synchronization system in FIG. 4 is merely an example, and some of the constituent elements may be omitted or changed depending on the application or conditions of the image synchronization system. For example, when the image synchronization system is used for relay broadcasting of sports programs and the like, the
また、画像同期システムは、音声を省略して映像のみを配信することもできる。この場合、各伝送系には映像のみが入力され、符号化装置４０２−ｉは、符号化画像を含むストリームを通信ネットワーク４０３−ｉへ出力する。そして、画像同期装置４０４−ｉは、通信ネットワーク４０３−ｉから受信したストリームに含まれる符号化画像を復号して、復号画像を表示装置４０５へ転送する。
Further, the image synchronization system can also deliver only video without audio. In this case, only the video is input to each transmission system, and the encoding device 402-i outputs the stream including the encoded image to the communication network 403-i. Then, the image synchronization device 404-i decodes the encoded image included in the stream received from the communication network 403-i, and transfers the decoded image to the
図２、図９、及び図１０のフローチャートは一例に過ぎず、画像同期装置又は画像同期システムの構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、映像の途中で符号化モードを変更しない場合は、図９のステップ９０１、ステップ９０５、図１０のステップ１００４、及びステップ１００５の処理を省略することができる。この場合、画像同期装置４０４−ｉは、２枚目以降のフレームに対してステップ１００２〜ステップ１００８及びステップ１０１１の処理をスキップする。
The flowcharts of FIGS. 2, 9, and 10 are merely examples, and some processing may be omitted or changed depending on the configuration or conditions of the image synchronization device or the image synchronization system. For example, when the coding mode is not changed in the middle of the video, the processes of
図３、図４、及び図６の符号化時間及び復号時間は一例に過ぎず、これらの時間は、配信される映像及び音声の情報量、符号化装置及び復号装置のメーカ、符号化方式、符号化モード等に応じて変化する。図３、図４、及び図６の伝送時間は一例に過ぎず、伝送時間は、配信される映像及び音声の情報量、通信ネットワークの距離、ルータの個数等に応じて変化する。 The encoding time and the decoding time in FIGS. 3, 4, and 6 are merely examples, and these times are the amount of information of video and audio to be distributed, the manufacturer of the encoding device and the decoding device, the encoding method, It changes according to the encoding mode and the like. The transmission times shown in FIGS. 3, 4, and 6 are merely examples, and the transmission times vary depending on the amount of information of video and audio to be distributed, the distance of the communication network, the number of routers, and the like.
図７の計測処理は一例に過ぎず、ＲＴＴ以外の時間に基づいて通信ネットワークの伝送時間を推定してもよい。図８の通信処理は一例に過ぎず、通知パケット以外の方法によって総遅延時間を他の画像同期装置に通知してもよい。 The measurement process of FIG. 7 is merely an example, and the transmission time of the communication network may be estimated based on a time other than RTT. The communication process of FIG. 8 is merely an example, and the total delay time may be notified to another image synchronization device by a method other than the notification packet.
図１１は、図１の画像同期装置１０１及び図５の画像同期装置４０４−ｉとして用いられる情報処理装置（コンピュータ）の構成例を示している。図１１の情報処理装置は、Central Processing Unit（ＣＰＵ）１１０１、メモリ１１０２、入力装置１１０３、出力装置１１０４、補助記憶装置１１０５、媒体駆動装置１１０６、及びネットワーク接続装置１１０７を含む。これらの構成要素はバス１１０８により互いに接続されている。
11 shows a configuration example of an information processing apparatus (computer) used as the image synchronization apparatus 101 in FIG. 1 and the image synchronization apparatus 404-i in FIG. The information processing device in FIG. 11 includes a Central Processing Unit (CPU) 1101, a
メモリ１１０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１１０２は、図５の記憶部５０５として用いることができる。
The
ＣＰＵ１１０１（プロセッサ）は、例えば、メモリ１１０２を利用してプログラムを実行することにより、図１の計算部１１１及び決定部１１２として動作する。ＣＰＵ１１０１は、メモリ１１０２を利用してプログラムを実行することにより、図５のデマルチプレクサ５０２、復号装置５０３、計算部５０４、及び決定部５０６としても動作する。
The CPU 1101 (processor) operates as the calculation unit 111 and the
入力装置１１０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示及び情報の入力に用いられる。出力装置１１０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。
The
補助記憶装置１１０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１１０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１１０５にプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。補助記憶装置１１０５は、図５の記憶部５０５として用いることができる。
The
媒体駆動装置１１０６は、可搬型記録媒体１１０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１１０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１１０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１１０９にプログラム及びデータを格納しておき、それらをメモリ１１０２にロードして使用することができる。
The
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１１０２、補助記憶装置１１０５、又は可搬型記録媒体１１０９のような、物理的な（非一時的な）記録媒体である。
As described above, a computer-readable recording medium that stores programs and data used for processing is a physical (non-transitory) recording medium such as the
ネットワーク接続装置１１０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１１０７を介して受け取り、それらをメモリ１１０２にロードして使用することができる。ネットワーク接続装置１１０７は、図５の通信部５０１及び出力部５０７として用いることができる。
The
なお、情報処理装置が図１１のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１１０３及び出力装置１１０４を省略してもよい。また、可搬型記録媒体１１０９を利用しない場合は、媒体駆動装置１１０６を省略してもよい。
Note that the information processing device does not have to include all the constituent elements of FIG. 11, and it is possible to omit some of the constituent elements depending on the application or the conditions. For example, the
図４の符号化装置４０２−ｉとして、図１１と同様の情報処理装置を用いることもできる。この場合、カメラ４０１−ｉは、バス１１０８に接続されていてもよい。
An information processing device similar to that in FIG. 11 can be used as the encoding device 402-i in FIG. In this case, the camera 401-i may be connected to the
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。 While the disclosed embodiments and their advantages have been described in detail, those skilled in the art can make various changes, additions, and omissions without departing from the scope of the invention explicitly set forth in the claims. Let's do it.
図１乃至図１１を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算する計算部と、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化部に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する決定部と、
を備えることを特徴とする画像同期装置。
（付記２）
前記決定部は、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記１記載の画像同期装置。
（付記３）
前記第１伝送系に含まれる第１通信ネットワークから、前記第１符号化装置が生成した第１符号化画像と、前記第１符号化装置に対する前記第１符号化対象画像の入力から前記第１符号化画像の生成までの符号化時間を表す情報とを受信する通信部と、
前記第１復号装置と、
前記第１復号画像を出力する出力部とをさらに備え、
前記計算部は、前記第１符号化画像を用いて、前記第１復号装置に対する前記第１符号化画像の入力から前記第１復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第１通信ネットワークが前記第１符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を計算し、前記出力部は、前記第１復号画像の生成から前記待機時間が経過した後に、前記第１復号画像を出力することを特徴とする付記１又は２記載の画像同期装置。
（付記４）
前記通信部は、前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記３記載の画像同期装置。
（付記５）
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算し、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する、
処理をコンピュータに実行させる画像同期プログラム。
（付記６）
前記コンピュータは、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記５記載の画像同期プログラム。
（付記７）
前記コンピュータは、前記第１伝送系に含まれる第１通信ネットワークから、前記第１符号化装置が生成した第１符号化画像と、前記第１符号化装置に対する前記第１符号化対象画像の入力から前記第１符号化画像の生成までの符号化時間を表す情報とを受信し、前記第１符号化画像を用いて、前記第１復号装置に対する前記第１符号化画像の入力から前記第１復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第１通信ネットワークが前記第１符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を計算し、前記第１復号画像の生成から前記待機時間が経過した後に、前記第１復号画像を出力することを特徴とする付記５又は６記載の画像同期プログラム。
（付記８）
前記コンピュータは、前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記７記載の画像同期プログラム。
（付記９）
コンピュータが、
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算し、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第２伝送系に含まれる第２符号化装置に対する第２符号化対象画像の入力から、前記第２伝送系に含まれる第２復号装置による第２復号画像の生成までの時間とに基づいて、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間を決定する、
ことを特徴とする画像同期方法。
（付記１０）
前記コンピュータは、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記９記載の画像同期方法。
（付記１１）
前記コンピュータは、前記第１伝送系に含まれる第１通信ネットワークから、前記第１符号化装置が生成した第１符号化画像と、前記第１符号化装置に対する前記第１符号化対象画像の入力から前記第１符号化画像の生成までの符号化時間を表す情報とを受信し、前記第１符号化画像を用いて、前記第１復号装置に対する前記第１符号化画像の入力から前記第１復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第１通信ネットワークが前記第１符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を計算し、前記第１復号画像の生成から前記待機時間が経過した後に、前記第１復号画像を出力することを特徴とする付記９又は１０記載の画像同期方法。
（付記１２）
前記コンピュータは、前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記１１記載の画像同期方法。
Regarding the embodiment described with reference to FIGS. 1 to 11, the following supplementary notes are further disclosed.
(Appendix 1)
An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. A calculation unit that calculates the time until the generation of the decoded image,
From the time calculated by the calculation unit and the input of the second encoding target image to the second encoding unit included in the second transmission system of the plurality of transmission systems, the second encoding unit including the second image included in the second transmission system. A deciding unit for deciding a waiting time from the generation of the first decoded image to the output of the first decoded image based on the time until the second decoded image is generated by the decoding device;
An image synchronization device comprising:
(Appendix 2)
The determining unit determines the time from the input of the encoding target image to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems. The image synchronization device according to
(Appendix 3)
The first encoded image generated by the first encoding device from the first communication network included in the first transmission system and the input of the first encoding target image to the first encoding device to the first encoded image. A communication unit that receives information indicating the encoding time until the generation of the encoded image,
The first decoding device;
An output unit for outputting the first decoded image,
The calculation unit uses the first encoded image to calculate a decoding time from the input of the first encoded image to the first decoding device to the generation of the first decoded image, , From the input of the first encoding target image to the generation of the first decoded image, by adding the decoding time and the transmission time at which the first communication network transmits the first encoded image 3. The image synchronization device according to
(Appendix 4)
The communication unit receives from the input of the encoding target image to the encoding device included in a transmission system other than the first transmission system among the plurality of transmission systems, and decodes the decoding target included in the other transmission system. Information representing time until generation of the decoded image by the device is received from the other transmission system, and information indicating the time from input of the first encoding target image to generation of the first decoded image, The image synchronization device according to appendix 3, wherein the image synchronization device transmits to the other transmission system.
(Appendix 5)
An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. Calculate the time to generate the decoded image,
From the time calculated by the calculation unit and the input of the second encoding target image to the second encoding device included in the second transmission system of the plurality of transmission systems, the second encoding target included in the second transmission system is input. A waiting time from the generation of the first decoded image to the output of the first decoded image is determined based on the time until the second decoded image is generated by the decoding device.
An image synchronization program that causes a computer to perform processing.
(Appendix 6)
Of the time from the input of the encoding target image to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, The image synchronization program according to Note 5, wherein a difference between the maximum time and the time calculated by the calculation unit is determined as the waiting time.
(Appendix 7)
The computer inputs a first encoded image generated by the first encoding device and a first encoding target image to the first encoding device from a first communication network included in the first transmission system. From the input of the first coded image to the first decoding device using the first coded image from the input of the first coded image to the first coded image. The decoding time until generation of the decoded image is calculated, and the coding time, the transmission time for the first communication network to transmit the first coded image, and the decoding time are added to obtain the first time. Characterized in that the time from the input of the image to be encoded to the generation of the first decoded image is calculated, and the first decoded image is output after the waiting time has elapsed from the generation of the first decoded image. The image synchronization program according to supplementary note 5 or 6.
(Appendix 8)
The computer receives from the input of the image to be encoded to the encoding device included in a transmission system other than the first transmission system among the plurality of transmission systems, and decodes the decoding device included in the other transmission system. The information indicating the time until the generation of the decoded image by the above is received from the other transmission system, and the information indicating the time from the input of the first encoding target image to the generation of the first decoded image is The image synchronization program according to attachment 7, which is transmitted to another transmission system.
(Appendix 9)
Computer
An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. Calculate the time to generate the decoded image,
From the time calculated by the calculation unit and the input of the second encoding target image to the second encoding device included in the second transmission system of the plurality of transmission systems, the second encoding target included in the second transmission system is input. A waiting time from the generation of the first decoded image to the output of the first decoded image is determined based on the time until the second decoded image is generated by the decoding device.
An image synchronization method characterized by the above.
(Appendix 10)
Of the time from the input of the encoding target image to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, The image synchronization method according to note 9, wherein the difference between the maximum time and the time calculated by the calculation unit is determined as the waiting time.
(Appendix 11)
The computer inputs a first encoded image generated by the first encoding device and a first encoding target image to the first encoding device from a first communication network included in the first transmission system. From the input of the first coded image to the first decoding device using the first coded image from the input of the first coded image to the first coded image. The decoding time until the generation of the decoded image is calculated, and the coding time, the transmission time for the first communication network to transmit the first coded image, and the decoding time are added to obtain the first time. Characterized in that the time from the input of the image to be encoded to the generation of the first decoded image is calculated, and the first decoded image is output after the waiting time has elapsed from the generation of the first decoded image. The image synchronization method according to
(Appendix 12)
The computer receives an input of the encoding target image to the encoding device included in a transmission system other than the first transmission system among the plurality of transmission systems, and the decoding device included in the other transmission system. The information indicating the time until the generation of the decoded image by the above is received from the other transmission system, and the information indicating the time from the input of the first encoding target image to the generation of the first decoded image is 12. The image synchronization method according to appendix 11, which is characterized in that the image is transmitted to another transmission system.
１０１、４０４−１〜４０４−４ 画像同期装置
１１１、５０４ 計算部
１１２、５０６ 決定部
３０１−１、３０１−２、４０１−１〜４０１−４ カメラ
３０２−１、３０２−２、４０２−１〜４０２−４ 符号化装置
３０３−１、３０３−２、４０３−１〜４０３−４ 通信ネットワーク
３０４−１、３０４−２、５０３ 復号装置
３１１−１、３１１−２、４１１−１〜４１１−４ 符号化時間
３１２−１、３１２−２、４１２−１〜４１２−４ 伝送時間
３１３−１、３１３−２、４１３−１〜４１３−４ 復号時間
３２１−１、３２１−２、３２２−１、３２２−２ 画像
３３１、３３２ タイミングチャート
３３３ 差分
４０５ 表示装置
４０６ ＬＡＮ
４２１−１〜４２１−４ 領域
５０１ 通信部
５０２ デマルチプレクサ
５０５ 記憶部
５０７ 出力部
６０１−１、６０１−２ 待機時間
１１０１ ＣＰＵ
１１０２ メモリ
１１０３ 入力装置
１１０４ 出力装置
１１０５ 補助記憶装置
１１０６ 媒体駆動装置
１１０７ ネットワーク接続装置
１１０８ バス
１１０９ 可搬型記録媒体
101, 404-1 to 404-4
421-1 to 421-4
1102
Claims (4)
前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信する通信部と、
前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間との差分を、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間に決定する決定部と、
を備えることを特徴とする画像同期装置。 An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. A calculation unit that calculates the time until the generation of the decoded image,
From the input of the encoding target image to the encoding device included in another transmission system other than the first transmission system among the plurality of transmission systems, the decoded image by the decoding device included in the other transmission system Is received from the other transmission system, and information representing the time from the input of the first encoding target image to the generation of the first decoded image is received by the other transmission system. A communication unit for transmitting to
Of the time from the input of the image to be encoded to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, the maximum time And the difference from the time from the input of the first encoding target image to the generation of the first decoded image is determined as the waiting time from the generation of the first decoded image to the output of the first decoded image. The decision section,
An image synchronization device comprising:
前記第１復号画像を出力する出力部とをさらに備え、
前記通信部は、前記第１伝送系に含まれる第１通信ネットワークから、前記第１符号化装置が生成した第１符号化画像と、前記第１符号化装置に対する前記第１符号化対象画像の入力から前記第１符号化画像の生成までの符号化時間を表す情報とを受信し、
前記計算部は、前記第１符号化画像を用いて、前記第１復号装置に対する前記第１符号化画像の入力から前記第１復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第１通信ネットワークが前記第１符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を計算し、
前記出力部は、前記第１復号画像の生成から前記待機時間が経過した後に、前記第１復号画像を出力することを特徴とする請求項１記載の画像同期装置。 Before Symbol first decoding unit,
An output unit for outputting the first decoded image,
The communication unit includes a first encoded image generated by the first encoding device and a first encoding target image for the first encoding device from a first communication network included in the first transmission system. And information indicating an encoding time from the input to the generation of the first encoded image,
The calculation unit uses the first encoded image to calculate a decoding time from the input of the first encoded image to the first decoding device to the generation of the first decoded image, , From the input of the first encoding target image to the generation of the first decoded image, by adding the decoding time and the transmission time at which the first communication network transmits the first encoded image Calculate time,
The output unit, after the waiting time from the generation of the first decoded image has elapsed, the image synchronization device according to claim 1, wherein the outputting the first decoded image.
前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、
前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信し、
前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間との差分を、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間に決定する、
処理をコンピュータに実行させる画像同期プログラム。 An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. Calculate the time to generate the decoded image,
From the input of the encoding target image to the encoding device included in another transmission system other than the first transmission system among the plurality of transmission systems, the decoded image by the decoding device included in the other transmission system The information indicating the time until the generation of is received from the other transmission system,
Transmitting information indicating the time from the input of the first encoding target image to the generation of the first decoded image to the other transmission system,
Of the time from the input of the image to be encoded to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, the maximum time And the difference from the time from the input of the first encoding target image to the generation of the first decoded image is determined as the waiting time from the generation of the first decoded image to the output of the first decoded image. ,
An image synchronization program that causes a computer to perform processing.
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第１伝送系に含まれる第１符号化装置に対する第１符号化対象画像の入力から、前記第１伝送系に含まれる第１復号装置による第１復号画像の生成までの時間を計算し、
前記複数の伝送系のうち前記第１伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、
前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信し、
前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記第１符号化対象画像の入力から前記第１復号画像の生成までの前記時間との差分を、前記第１復号画像の生成から前記第１復号画像の出力までの待機時間に決定する、
ことを特徴とする画像同期方法。 Computer
An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. Calculate the time to generate the decoded image,
From the input of the encoding target image to the encoding device included in another transmission system other than the first transmission system among the plurality of transmission systems, the decoded image by the decoding device included in the other transmission system The information indicating the time until the generation of is received from the other transmission system,
Transmitting information indicating the time from the input of the first encoding target image to the generation of the first decoded image to the other transmission system,
Of the time from the input of the image to be encoded to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, the maximum time And the difference from the time from the input of the first encoding target image to the generation of the first decoded image is determined as the waiting time from the generation of the first decoded image to the output of the first decoded image. ,
An image synchronization method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016180299A JP6743609B2 (en) | 2016-09-15 | 2016-09-15 | Image synchronization apparatus, image synchronization program, and image synchronization method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016180299A JP6743609B2 (en) | 2016-09-15 | 2016-09-15 | Image synchronization apparatus, image synchronization program, and image synchronization method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018046433A JP2018046433A (en) | 2018-03-22 |
| JP6743609B2 true JP6743609B2 (en) | 2020-08-19 |
Family
ID=61693261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016180299A Active JP6743609B2 (en) | 2016-09-15 | 2016-09-15 | Image synchronization apparatus, image synchronization program, and image synchronization method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6743609B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111949237A (en) * | 2020-07-20 | 2020-11-17 | 西安万像电子科技有限公司 | Image display method and device |
| CN113411658B (en) * | 2021-06-17 | 2022-07-05 | 杭州海康威视数字技术股份有限公司 | Display device |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001157178A (en) * | 1999-11-24 | 2001-06-08 | Hitachi Kokusai Electric Inc | Image transmitter |
| JP2002125203A (en) * | 2000-10-12 | 2002-04-26 | Mitsubishi Electric Corp | Media coder and media decoder |
| JP4303535B2 (en) * | 2003-08-06 | 2009-07-29 | パナソニック株式会社 | Decode display device, imaging device, and image transmission system including the same |
| JP4441874B2 (en) * | 2005-02-24 | 2010-03-31 | ソニー株式会社 | Information processing system, playback terminal device and playback method, information processing device and method, and program |
| JP5697743B2 (en) * | 2011-03-09 | 2015-04-08 | 日立マクセル株式会社 | Video transmission device, video transmission method, video reception device, and video reception method |
| JP2013066088A (en) * | 2011-09-20 | 2013-04-11 | Advanced Telecommunication Research Institute International | Network system, network apparatus, and distribution method |
| JP6089846B2 (en) * | 2013-03-22 | 2017-03-08 | 富士通株式会社 | Video distribution system, decoder, and video distribution method |
-
2016
- 2016-09-15 JP JP2016180299A patent/JP6743609B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018046433A (en) | 2018-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220329883A1 (en) | Combining Video Streams in Composite Video Stream with Metadata | |
| JP6430034B2 (en) | Recording medium and apparatus for recording program for providing low-delay live broadcast content | |
| JP4771369B2 (en) | Media stream switching method, system and program in seamless handover | |
| WO2012028018A1 (en) | Distributed video processing method and video conference system | |
| JP6743609B2 (en) | Image synchronization apparatus, image synchronization program, and image synchronization method | |
| WO2012114774A1 (en) | Video encoding device and video decoding device | |
| JP2013187769A (en) | Encoder | |
| JP6278275B2 (en) | TRANSMISSION DEVICE, RECEPTION DEVICE, TRANSMISSION METHOD, AND RECEPTION METHOD | |
| JP2010136220A (en) | Communication terminal device, communication volume control method, and integrated circuit | |
| JP2016005043A (en) | Information processing device and program | |
| WO2012122836A1 (en) | Video encoding/decoding method and device | |
| JP6193569B2 (en) | RECEPTION DEVICE, RECEPTION METHOD, AND PROGRAM, IMAGING DEVICE, IMAGING METHOD, AND PROGRAM, TRANSMISSION DEVICE, TRANSMISSION METHOD, AND PROGRAM | |
| TWI526080B (en) | Video conferencing system | |
| JP2002149316A (en) | Data transmitter, data receiver, data transmission method, and program storage medium | |
| US9363574B1 (en) | Video throttling based on individual client delay | |
| JP2013051565A (en) | Communication terminal device, communication control method, and communication control program | |
| JP2009118151A (en) | Communication system, transmitter, relay device, receiver, and transmission program | |
| JP2008131591A (en) | Lip-sync control device and lip-sync control method | |
| JP5170278B2 (en) | Display control device, display control method, program, and display control system | |
| KR20130101900A (en) | Electronic apparatus and method for encoding | |
| JP5799958B2 (en) | Video processing server and video processing method | |
| JP6592864B2 (en) | VIDEO TRANSMISSION DEVICE, VIDEO RECEPTION DEVICE, VIDEO DISTRIBUTION SYSTEM, VIDEO TRANSMISSION DEVICE CONTROL METHOD, AND PROGRAM | |
| JP6565324B2 (en) | Communication terminal, data transmission / reception system, communication method, and communication program | |
| JP2017225164A (en) | Receiving device, receiving method, transmitting device, transmitting method, and program | |
| JP4525697B2 (en) | Transmission header compression apparatus, moving picture encoding apparatus, and moving picture transmission system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200327 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200327 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200713 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6743609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |