JP6743609B2 - Image synchronization apparatus, image synchronization program, and image synchronization method - Google Patents
Image synchronization apparatus, image synchronization program, and image synchronization method Download PDFInfo
- Publication number
- JP6743609B2 JP6743609B2 JP2016180299A JP2016180299A JP6743609B2 JP 6743609 B2 JP6743609 B2 JP 6743609B2 JP 2016180299 A JP2016180299 A JP 2016180299A JP 2016180299 A JP2016180299 A JP 2016180299A JP 6743609 B2 JP6743609 B2 JP 6743609B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- encoding
- transmission system
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Description
本発明は、画像同期装置、画像同期プログラム、及び画像同期方法に関する。 The present invention relates to an image synchronization device, an image synchronization program, and an image synchronization method.
スポーツ番組の中継放送等において、同一又は異なる被写体が複数のカメラで撮影され、それぞれのカメラの映像が符号化されて、Field Pickup Unit(FPU)等の無線中継装置を介して符号化映像が受信装置へ伝送されることがある。受信装置は、受信した符号化映像を復号して複数のカメラの映像を復元し、それらの映像を切り替えながら出力したり、多画面の映像として出力したりする。これにより、複数のカメラで撮影された映像を用いて放送が行われる。 In a relay broadcast of a sports program or the like, the same or different subjects are photographed by a plurality of cameras, the images of the respective cameras are encoded, and the encoded images are received via a wireless relay device such as a field pickup unit (FPU). May be transmitted to the device. The receiving device decodes the received coded video to restore the video of a plurality of cameras, outputs while switching the video, or outputs as a multi-screen video. As a result, the broadcast is performed using the images captured by the plurality of cameras.
複数の映像等の同期制御に関する技術も知られている(例えば、特許文献1〜特許文献3を参照)。
Techniques related to synchronous control of a plurality of images and the like are also known (for example, see
複数のカメラで撮影された映像をそれぞれ異なる複数の伝送系を介して符号化して伝送する場合、復号された映像同士の再生時刻にずれが生じることがある。 When video images captured by a plurality of cameras are encoded and transmitted via a plurality of different transmission systems, the reproduction times of the decoded video images may deviate from each other.
なお、かかる問題は、中継放送を行う場合に限らず、監視システム等の他のシステムにおいて、複数のカメラの画像を表示装置の画面に表示する場合においても生ずるものである。 It should be noted that such a problem occurs not only in the case of performing relay broadcasting, but also in the case of displaying images of a plurality of cameras on the screen of a display device in other systems such as a surveillance system.
1つの側面において、本発明は、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることを目的とする。 In one aspect, the present invention aims to synchronize image output among a plurality of transmission systems that encode and transmit an image and decode the transmitted encoded image.
1つの案では、画像同期装置は、計算部及び決定部を含む。複数の伝送系は、符号化対象画像を符号化して符号化画像を生成する符号化装置と、符号化画像を伝送する通信ネットワークと、通信ネットワークから受信した符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む。 In one proposal, the image synchronizer includes a calculator and a determiner. The plurality of transmission systems include an encoding device that encodes an image to be encoded to generate an encoded image, a communication network that transmits the encoded image, and a decoded image that is obtained by decoding the encoded image received from the communication network. And a decoding device for generating each.
計算部は、複数の伝送系のうち第1伝送系に含まれる第1符号化装置に対する第1符号化対象画像の入力から、第1伝送系に含まれる第1復号装置による第1復号画像の生成までの時間を計算する。 The calculator calculates the first decoded image by the first decoding device included in the first transmission system from the input of the first encoding target image to the first encoding device included in the first transmission system among the plurality of transmission systems. Calculate the time to generation.
決定部は、計算部が計算した時間と、複数の伝送系のうち第2伝送系に含まれる第2符号化装置に対する第2符号化対象画像の入力から、第2伝送系に含まれる第2復号装置による第2復号画像の生成までの時間とに基づいて、待機時間を決定する。待機時間は、第1復号画像の生成から第1復号画像の出力までの時間である。 The deciding unit receives the time calculated by the calculating unit and the input of the second encoding target image to the second encoding device included in the second transmission system among the plurality of transmission systems from the second transmission system including the second encoding system. The waiting time is determined based on the time until the decoding device generates the second decoded image. The waiting time is the time from the generation of the first decoded image to the output of the first decoded image.
1つの実施形態によれば、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることができる。 According to one embodiment, image output can be synchronized between a plurality of transmission systems that encode and transmit an image and decode the transmitted encoded image.
以下、図面を参照しながら、実施形態を詳細に説明する。
FPU等の無線中継装置を用いた伝送では、システム構築にコストがかかる。一方、インターネットプロトコル(IP)ネットワークを用いた伝送では、システム構築のコストを低く抑えることができるため、IPネットワークを利用して中継放送を行うことが望ましい。
Hereinafter, embodiments will be described in detail with reference to the drawings.
Transmission using a wireless relay device such as an FPU requires a high cost for system construction. On the other hand, in transmission using the Internet Protocol (IP) network, it is desirable to perform relay broadcasting using the IP network because the cost of system construction can be kept low.
しかしながら、IPネットワークを用いた伝送では、経由するルートによって遅延時間が異なる。また、encoder/decoder(CODEC)のメーカ又は符号化方式等の差異に応じて、映像の符号化及び復号のための遅延時間も異なってくる。このため、複数のカメラの映像を符号化して、IPネットワークによりリアルタイムで配信し、復号して再生すると、再生される映像同士で時間のずれが生じる。 However, in the transmission using the IP network, the delay time differs depending on the route through which the transmission is performed. In addition, the delay time for encoding and decoding the video differs depending on the difference in the encoder/decoder (CODEC) manufacturer or the encoding method. Therefore, when videos from a plurality of cameras are encoded, distributed in real time via an IP network, decoded, and played back, a time lag occurs between the played back videos.
図1は、実施形態の画像同期装置の機能的構成例を示している。画像同期装置101は、計算部111及び決定部112を含む。複数の伝送系は、符号化対象画像を符号化して符号化画像を生成する符号化装置と、符号化画像を伝送する通信ネットワークと、通信ネットワークから受信した符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む。複数の伝送系には、第1伝送系及び第2伝送系が含まれる。
FIG. 1 shows an example of the functional configuration of the image synchronization apparatus of the embodiment. The image synchronization device 101 includes a calculation unit 111 and a
図2は、図1の画像同期装置101が行う画像同期処理の例を示すフローチャートである。まず、計算部111は、第1伝送系に含まれる第1符号化装置に対する第1符号化対象画像の入力から、第1伝送系に含まれる第1復号装置による第1復号画像の生成までの時間を計算する(ステップ201)。 FIG. 2 is a flowchart showing an example of the image synchronization processing performed by the image synchronization device 101 of FIG. First, the calculation unit 111 operates from the input of the first encoding target image to the first encoding device included in the first transmission system to the generation of the first decoded image by the first decoding device included in the first transmission system. The time is calculated (step 201).
決定部112は、計算部111が計算した時間と、第2伝送系に含まれる第2符号化装置に対する第2符号化対象画像の入力から、第2伝送系に含まれる第2復号装置による第2復号画像の生成までの時間とに基づいて、待機時間を決定する(ステップ202)。待機時間は、第1復号画像の生成から第1復号画像の出力までの時間である。
The deciding
図1の画像同期装置101によれば、画像を符号化して伝送し伝送された符号化画像を復号する複数の伝送系の間で、画像出力を同期させることができる。 According to the image synchronization device 101 of FIG. 1, image output can be synchronized between a plurality of transmission systems that encode and transmit an image and decode the transmitted encoded image.
図3は、野球の試合の中継放送を行うための複数の伝送系の例を示している。カメラ301−1は、画像321−1及び画像322−1を含む投手の映像を撮影し、符号化装置302−1、通信ネットワーク303−1、及び復号装置304−1を含む伝送系に、撮影した映像を入力する。カメラ301−2は、画像321−2及び画像322−2を含む打者の映像を撮影し、符号化装置302−2、通信ネットワーク303−2、及び復号装置304−2を含む伝送系に、撮影した映像を入力する。 FIG. 3 shows an example of a plurality of transmission systems for relay broadcast of a baseball game. The camera 301-1 captures an image of a pitcher including the image 321-1 and the image 322-1 and captures the captured image in a transmission system including the encoding device 302-1, the communication network 303-1, and the decoding device 304-1. Input the video that you made. The camera 301-2 shoots a batter's video including the image 321-2 and the image 322-2, and shoots it on the transmission system including the encoding device 302-2, the communication network 303-2, and the decoding device 304-2. Input the video that you made.
カメラ301−i(i=1,2)が撮影する映像は、複数の時刻それぞれにおける複数の画像を含む。各時刻の画像は、符号化対象画像に対応し、フレームと呼ばれることがある。通信ネットワーク303−iは、例えば、IPネットワークである。 The video imaged by the camera 301-i (i=1, 2) includes a plurality of images at a plurality of times. The image at each time corresponds to the image to be encoded and is sometimes called a frame. The communication network 303-i is, for example, an IP network.
符号化装置302−iは、カメラ301−iから入力される符号化対象画像を符号化して符号化画像を生成し、生成した符号化画像を通信ネットワーク303−iへ出力する。通信ネットワーク303−iは、符号化画像を復号装置304−iへ伝送する。復号装置304−iは、通信ネットワーク303−iから受信した符号化画像を復号して復号画像を生成し、放送装置(不図示)へ転送する。放送装置は、復元された画像321−1、画像322−1、画像321−2、及び画像322−2を用いて、放送用の映像を生成する。 The encoding device 302-i encodes the encoding target image input from the camera 301-i to generate an encoded image, and outputs the generated encoded image to the communication network 303-i. The communication network 303-i transmits the encoded image to the decoding device 304-i. The decoding device 304-i decodes the encoded image received from the communication network 303-i to generate a decoded image, and transfers the decoded image to a broadcasting device (not shown). The broadcast device uses the restored image 321-1, image 322-1, image 321-2, and image 322-2 to generate a video for broadcasting.
このとき、各符号化装置302−iにおける符号化対象画像の入力から符号化画像の生成までの符号化時間311−iは、符号化装置302−iのメーカ、符号化方式、符号化モード等によって異なってくる。 At this time, the coding time 311 -i from the input of the image to be coded to the generation of the coded image in each coding device 302-i is the manufacturer of the coding device 302-i, the coding method, the coding mode, etc. Depends on
符号化方式には、例えば、Moving Picture Experts Group-2(MPEG−2)、MPEG−4、H.264、High Efficiency Video Coding(HEVC)等のバリエーションがあり、符号化モードには、低遅延モード、高遅延モード等のバリエーションがある。低遅延モードは、画質を低下させることで符号化時間を短くする符号化モードであり、高遅延モードは、符号化時間を長くすることで画質を向上させる符号化モードである。 Encoding methods include, for example, Moving Picture Experts Group-2 (MPEG-2), MPEG-4, and H.264. H.264, High Efficiency Video Coding (HEVC) and the like, and encoding modes include a low delay mode and a high delay mode. The low-delay mode is a coding mode that shortens the coding time by lowering the image quality, and the high-delay mode is a coding mode that improves the image quality by lengthening the coding time.
符号化装置302−iと同様に、各復号装置304−iにおける符号化画像の入力から復号画像の生成までの復号時間313−iは、復号装置304−iのメーカ、符号化画像の符号化方式、符号化モード等によって異なってくる。 Similar to the encoding device 302-i, the decoding time 313-i from the input of the encoded image to the generation of the decoded image in each decoding device 304-i is the manufacturer of the decoding device 304-i, the encoding of the encoded image. It depends on the system, coding mode, etc.
また、各通信ネットワーク303−iが符号化画像を伝送する伝送時間312−iは、通信ネットワーク303−iの距離、通信ネットワーク303−iに含まれるルータの個数等によって異なってくる。距離が長いほど伝送時間312−iが長くなり、ルータの個数が多いほど伝送時間312−iが長くなることが多い。 Further, the transmission time 312-i at which each communication network 303-i transmits the encoded image varies depending on the distance of the communication network 303-i, the number of routers included in the communication network 303-i, and the like. The longer the distance, the longer the transmission time 312-i, and the larger the number of routers, the longer the transmission time 312-i.
例えば、通信ネットワーク303−1の伝送時間312−1よりも通信ネットワーク303−2の伝送時間312−2の方が長い場合、各伝送系の総遅延時間は、タイミングチャート331に示すようになる。総遅延時間は、符号化時間311−i、伝送時間312−i、及び復号時間313−iの総和で表される。この場合、画像321−1よりも遅れて画像321−2が出力され、画像322−1よりも遅れて画像322−2が出力されるため、2つの伝送系の画像出力が同期しない。
For example, when the transmission time 312-2 of the communication network 303-2 is longer than the transmission time 312-1 of the communication network 303-1, the total delay time of each transmission system is as shown in the
そこで、画像同期装置101は、タイミングチャート332に示すように、2つの伝送系の総遅延時間を比較して、総遅延時間が短い方の復号画像の出力を、総遅延時間が長い方の復号画像の出力に合わせて遅延させる。より具体的には、画像同期装置101は、2つの伝送系の総遅延時間の差分333を待機時間に決定し、復号装置304−1が生成した復号画像を、待機時間が経過した後に放送装置へ転送させる。これにより、画像321−1と画像321−2とが同期して放送され、画像322−1と画像322−2とが同期して放送される。
Therefore, as shown in the
図4は、複数の伝送系を含む画像同期システムの構成例を示している。図4の画像同期システムは、4つの伝送系及び表示装置405を含み、各伝送系は、カメラ401−i、符号化装置402−i、通信ネットワーク403−i、及び画像同期装置404−i(i=1〜4)を含む。画像同期装置404−iは、図1の画像同期装置101に対応する。
FIG. 4 shows a configuration example of an image synchronization system including a plurality of transmission systems. The image synchronization system in FIG. 4 includes four transmission systems and a
画像同期装置404−1〜画像同期装置404−4は、Local Area Network(LAN)406を介して互いに通信することができる。通信ネットワーク403−iは、LAN406に接続されている。伝送系の個数は4つに限られず、2以上の整数のいずれかであればよい。
The image synchronization devices 404-1 to 404-4 can communicate with each other via a local area network (LAN) 406. The communication network 403-i is connected to the
図4の画像同期システムは、建物内外の所定エリアを監視する監視システムであってもよい。この場合、カメラ401−iは、同じエリアをそれぞれ異なる角度から撮影する監視カメラであってもよく、それぞれ異なるエリアを撮影する監視カメラであってもよい。 The image synchronization system of FIG. 4 may be a monitoring system that monitors a predetermined area inside and outside the building. In this case, the cameras 401-i may be surveillance cameras that capture the same area from different angles, or may be surveillance cameras that capture different areas.
カメラ401−iは、被写体の映像を撮影し、符号化装置402−i、通信ネットワーク403−i、及び画像同期装置404−iを含む伝送系に、撮影した映像を入力する。このとき、映像とともに録音された音声も各伝送系に入力される。カメラ401−iが撮影する映像に含まれる各時刻の画像は、符号化対象画像に対応し、フレームと呼ばれることがある。通信ネットワーク403−iは、例えば、IPネットワークである。 The camera 401-i captures an image of a subject and inputs the captured image to a transmission system including an encoding device 402-i, a communication network 403-i, and an image synchronization device 404-i. At this time, the audio recorded together with the video is also input to each transmission system. The image at each time included in the image captured by the camera 401-i corresponds to the encoding target image and may be referred to as a frame. The communication network 403-i is, for example, an IP network.
符号化装置402−iは、カメラ401−iの映像に含まれる符号化対象画像を符号化して符号化画像を生成し、録音された音声を符号化して符号化音声を生成する。そして、符号化装置402−iは、符号化画像と符号化音声とを多重化してストリームを生成し、生成したストリームと、符号化装置402−iにおける画像及び音声の符号化時間411−iを表す情報とを、通信ネットワーク403−iへ出力する。 The encoding device 402-i encodes the encoding target image included in the video of the camera 401-i to generate an encoded image, and encodes the recorded sound to generate an encoded sound. Then, the encoding device 402-i multiplexes the encoded image and the encoded audio to generate a stream, and generates the generated stream and the encoding time 411-i of the image and audio in the encoding device 402-i. And the information to be output to the communication network 403-i.
通信ネットワーク403−iは、符号化装置402−iから出力されるストリーム及び符号化時間411−iを表す情報を、画像同期装置404−iへ伝送する。画像同期装置404−iは、通信ネットワーク403−iから受信したストリームに含まれる符号化画像及び符号化音声を復号して、復号画像及び復号音声を生成し、復号画像及び復号音声をLAN406を介して表示装置405へ転送する。
The communication network 403-i transmits the stream output from the encoding device 402-i and the information indicating the encoding time 411-i to the image synchronization device 404-i. The image synchronization device 404-i decodes the coded image and the coded audio included in the stream received from the communication network 403-i to generate the decoded image and the decoded audio, and transmits the decoded image and the decoded audio via the
画像同期装置404−1〜画像同期装置404−4から出力される4つの映像を同時に表示する場合、表示装置405の画面が領域421−1〜領域421−4の4つの領域に分割される。そして、画像同期装置404−iから出力される復号画像が領域421−iに表示される。これにより、表示装置405は、復元された4つの映像を画面上に同時に表示することができる。
When simultaneously displaying four videos output from the image synchronization devices 404-1 to 404-4, the screen of the
一方、4つの映像を切り替えながら表示する場合、ユーザはいずれかの映像を選択し、表示装置405は、ユーザが選択した映像の復号画像を画面上に表示する。表示装置405は、表示される映像に対応する復号音声を出力してもよい。
On the other hand, when switching and displaying four videos, the user selects one of the videos and the
図3の場合と同様に、各符号化装置402−iにおける画像及び音声の符号化時間411−iは、メーカ、符号化方式、符号化モード等によって異なってくる。各画像同期装置404−iにおける画像及び音声の復号時間413−iは、ストリームの構造、符号化レート等によって異なってくる。また、各通信ネットワーク403−iにおけるストリームの伝送時間412−iは、通信ネットワーク403−iの距離、ルータの個数等によって異なってくる。 Similar to the case of FIG. 3, the coding time 411-i of the image and audio in each coding device 402-i differs depending on the manufacturer, the coding method, the coding mode, and the like. The image and audio decoding times 413-i in each image synchronizer 404-i differ depending on the stream structure, the coding rate, and the like. The transmission time 412-i of the stream in each communication network 403-i varies depending on the distance of the communication network 403-i, the number of routers, and the like.
図5は、図4の画像同期装置404−iの具体例を示している。図5の画像同期装置404−iは、通信部501、デマルチプレクサ502、復号装置503、計算部504、記憶部505、決定部506、及び出力部507を含む。計算部504及び決定部506は、図1の計算部111及び決定部112にそれぞれ対応する。
FIG. 5 shows a specific example of the image synchronization device 404-i of FIG. The image synchronization device 404-i in FIG. 5 includes a
通信部501は、例えば、2個のLANポートを含み、一方のLANポートを介して符号化装置402−iと通信し、他方のLANポートを介して、他の画像同期装置404−j(j≠i)及び表示装置405と通信する。記憶部505は、通信ネットワーク403−iにおける伝送時間412−iを記憶する。伝送時間412−iは、事前に計測されて記憶部505に格納される。
The
通信部501は、通信ネットワーク403−iから、符号化装置402−iが生成したストリームを受信して、デマルチプレクサ502へ出力する。また、通信部501は、通信ネットワーク403−iから符号化時間411−iを表す情報を受信して、計算部504へ出力する。
The
デマルチプレクサ502は、ストリームを非多重化して符号化画像と符号化音声とを分離し、分離した符号化画像及び符号化音声を、復号装置503及び計算部504の両方へ出力する。復号装置503は、符号化画像及び符号化音声を復号して、復号画像及び復号音声を生成し、生成した復号画像及び復号音声を出力部507へ出力する。
The
計算部504は、符号化画像及び符号化音声を用いて、復号装置503における復号時間413−iを計算する。復号時間413−iは、復号装置503に対する符号化画像及び符号化音声の入力から、復号画像及び復号音声の生成までの時間を表す。そして、計算部504は、符号化時間411−iと、記憶部505が記憶する伝送時間412−iと、復号時間413−iとを加算することで、画像同期装置404−iが属する伝送系の総遅延時間を計算する。
The
通信部501は、LAN406を介して、画像同期装置404−iが属する伝送系の総遅延時間を表す情報を、他の画像同期装置404−jへ送信する。また、通信部501は、LAN406を介して、他の画像同期装置404−jから、その画像同期装置404−jが属する伝送系の総遅延時間を表す情報を受信して、決定部506へ出力する。
The
決定部506は、画像同期装置404−iが属する伝送系の総遅延時間と、他の画像同期装置404−jが属する伝送系の総遅延時間とを比較して、復号画像及び復号音声の生成から出力までの待機時間を決定し、出力部507へ出力する。例えば、決定部506は、複数の伝送系の総遅延時間のうち最大の総遅延時間と、画像同期装置404−iが属する伝送系の総遅延時間との差分を、待機時間に決定することができる。
The
出力部507は、復号装置503より復号画像及び復号音声を受信してから待機時間が経過した後に、LAN406を介して、復号画像及び復号音声を表示装置405へ出力する。これにより、各画像同期装置404−iの復号画像及び復号音声が、最大の総遅延時間を有する伝送系に合わせて遅延させて出力されるため、4つの伝送系の出力を同期させることができる。
The
図6は、図4の4つの伝送系のうち3つの伝送系を用いてストリームを配信する場合の待機時間の例を示している。この例では、時刻0msにおいて、カメラ401−i(i=1〜3)から符号化装置402−iへ同時に映像が入力される。各伝送系における符号化時間411−i、伝送時間412−i、復号時間413−i、及び総遅延時間は、以下の通りである。
FIG. 6 shows an example of waiting time when a stream is distributed using three transmission systems of the four transmission systems of FIG. In this example, at
(1)i=1
符号化時間411−1: 150ms
伝送時間412−1: 200ms
復号時間413−1: 100ms
総遅延時間: 450ms
(2)i=2
符号化時間411−2: 230ms
伝送時間412−2: 150ms
復号時間413−2: 170ms
総遅延時間: 550ms
(3)i=3
符号化時間411−3: 200ms
伝送時間412−3: 250ms
復号時間413−3: 150ms
総遅延時間: 600ms
(1) i=1
Encoding time 411-1: 150 ms
Transmission time 412-1: 200 ms
Decoding time 413-1: 100 ms
Total delay time: 450ms
(2) i=2
Encoding time 411-2: 230 ms
Transmission time 412-2: 150 ms
Decoding time 413-2: 170 ms
Total delay time: 550ms
(3) i=3
Encoding time 411-3: 200 ms
Transmission time 412-3: 250 ms
Decoding time 413-3: 150 ms
Total delay time: 600ms
この場合、i=3の伝送系の総遅延時間600msが最大であるため、画像同期装置404−3は、待機時間を0msに決定する。一方、画像同期装置404−1は、待機時間601−1を150ms(=600ms−450ms)に決定し、画像同期装置404−2は、待機時間601−2を50ms(=600ms−550ms)に決定する。これにより、時刻600msにおいて、画像同期装置404−1〜画像同期装置404−3から同時に復号画像及び復号音声が出力される。 In this case, since the total delay time 600 ms of the transmission system of i=3 is the maximum, the image synchronization device 404-3 determines the waiting time to be 0 ms. On the other hand, the image synchronization device 404-1 determines the standby time 601-1 to be 150 ms (=600 ms-450 ms), and the image synchronization device 404-2 determines the standby time 601-2 to be 50 ms (=600 ms-550 ms). To do. As a result, at time 600 ms, the decoded image and the decoded sound are simultaneously output from the image synchronization device 404-1 to the image synchronization device 404-3.
画像同期装置404−1は、時刻350msにおいて、総遅延時間を計算して他の画像同期装置404−2及び画像同期装置404−3へ送信する。画像同期装置404−2は、時刻380msにおいて、総遅延時間を計算して他の画像同期装置404−1及び画像同期装置404−3へ送信する。画像同期装置404−3は、時刻450msにおいて、総遅延時間を計算して他の画像同期装置404−1及び画像同期装置404−2へ送信する。したがって、各画像同期装置404−iは、すべての総遅延時間が参照可能になる時刻450msにおいて、待機時間を決定する。 The image synchronization device 404-1 calculates the total delay time at time 350 ms and transmits it to the other image synchronization devices 404-2 and 404-3. The image synchronization device 404-2 calculates the total delay time at 380 ms and transmits it to the other image synchronization devices 404-1 and 404-3. The image synchronization device 404-3 calculates the total delay time at time 450 ms and transmits it to the other image synchronization devices 404-1 and 404-2. Therefore, each image synchronizer 404-i determines the standby time at time 450 ms when all the total delay times can be referenced.
なお、映像に含まれる複数のフレームのうち、符号化時間411−i及び復号時間413−iが1フレーム当たりの処理時間を超えるのは、複数のフレームをバッファに蓄積する処理が行われる、最初のフレームのみである。このため、復号画像及び復号音声の待機時間は、最初のフレームに対して決定すれば十分であり、2枚目以降のフレームに対して待機時間を新たに計算する必要はない。ただし、符号化装置402−iが映像の途中で符号化モードを変更した場合は、符号化時間411−i及び復号時間413−iが変化するため、改めて待機時間が計算される。 Note that the encoding time 411-i and the decoding time 413-i of the plurality of frames included in the video exceed the processing time per frame because the processing of accumulating the plurality of frames in the buffer is performed first. Only the frame of. Therefore, it is sufficient to determine the waiting time of the decoded image and the decoded audio for the first frame, and it is not necessary to newly calculate the waiting time for the second and subsequent frames. However, when the encoding device 402-i changes the encoding mode in the middle of the video, the encoding time 411-i and the decoding time 413-i change, and thus the waiting time is calculated again.
図5の画像同期装置404−iによれば、複数のカメラの映像を符号化して、IPネットワークによりリアルタイムで配信し、復号して再生した場合であっても、再生される映像同士を同期させることが可能になる。 According to the image synchronization device 404-i of FIG. 5, even when the videos of a plurality of cameras are encoded, distributed in real time by the IP network, and decoded and reproduced, the reproduced videos are synchronized with each other. It will be possible.
図7は、通信ネットワーク403−iにおける伝送時間412−iを計測する計測処理の例を示している。この例では、符号化装置402−iと画像同期装置404−iとの間のラウンドトリップタイム(RTT)の半分が、伝送時間412−iとして用いられる。 FIG. 7 shows an example of measurement processing for measuring the transmission time 412-i in the communication network 403-i. In this example, half of the round trip time (RTT) between the encoder 402-i and the image synchronizer 404-i is used as the transmission time 412-i.
まず、符号化装置402−iは、Real-time Transport protocol Control Protocol Sender Report(RTCP SR)パケットを生成し、通信ネットワーク403−iを介して画像同期装置404−iへ送信する(ステップ701)。このとき、RTCP SRパケットには、RTCP SRパケットの送信時刻t1が記述される。 First, the encoding device 402-i generates a Real-time Transport protocol Control Protocol Sender Report (RTCP SR) packet and transmits it to the image synchronization device 404-i via the communication network 403-i (step 701). At this time, the transmission time t1 of the RTCP SR packet is described in the RTCP SR packet.
画像同期装置404−iは、RTCP SRパケットを受信すると、RTCP Receiver Report(RR)パケットを生成し、通信ネットワーク403−iを介して符号化装置402−iへ送信する(ステップ702)。このとき、RTCP RRパケットのDLSRフィールドには、RTCP SRパケットの受信時刻t2とRTCP RRパケットの送信時刻t3との差分(t3−t2)が記述され、LSRフィールドには、RTCP SRパケットの送信時刻t1が記述される。 Upon receiving the RTCP SR packet, the image synchronization device 404-i generates an RTCP Receiver Report (RR) packet and transmits it to the encoding device 402-i via the communication network 403-i (step 702). At this time, the DLSR field of the RTCP RR packet describes the difference (t3-t2) between the reception time t2 of the RTCP SR packet and the transmission time t3 of the RTCP RR packet, and the LSR field describes the transmission time of the RTCP SR packet. t1 is described.
符号化装置402−iは、RTCP RRパケットを受信すると、RTCP RRパケットの受信時刻t4から、DLSRフィールドに記述された差分とLSRフィールドに記述された送信時刻t1とを減算することで、RTTを計算する。そして、符号化装置402−iは、RTTを記述したRTCP Application Defined(APP)パケットを生成し、通信ネットワーク403−iを介して画像同期装置404−iへ送信する(ステップ703)。 When receiving the RTCP RR packet, the encoding device 402-i subtracts the difference described in the DLSR field and the transmission time t1 described in the LSR field from the reception time t4 of the RTCP RR packet to obtain the RTT. calculate. Then, the encoding device 402-i generates an RTCP Application Defined (APP) packet describing the RTT and transmits it to the image synchronization device 404-i via the communication network 403-i (step 703).
画像同期装置404−iは、RTCP APPパケットを受信すると、RTCP APPパケットに記述されたRTTの半分の時間を、伝送時間412−iとして記憶部505に格納する。
Upon receiving the RTCP APP packet, the image synchronization device 404-i stores half the RTT described in the RTCP APP packet in the
図8は、画像同期装置404−1〜画像同期装置404−4の間でそれぞれの伝送系の総遅延時間を送受信する通信処理の例を示している。各画像同期装置404−iには、IPアドレスが識別情報として割り当てられており、画像同期装置404−iの記憶部505は、画像同期処理の対象となる他の画像同期装置404−jのIPアドレスを記憶している。画像同期装置404−1〜画像同期装置404−4のIPアドレスは、以下の通りである。
FIG. 8 shows an example of communication processing for transmitting and receiving the total delay time of each transmission system between the image synchronization devices 404-1 to 404-4. An IP address is assigned as identification information to each image synchronization device 404-i, and the
画像同期装置404−1: 10.0.0.1
画像同期装置404−2: 10.0.0.2
画像同期装置404−3: 10.0.0.3
画像同期装置404−4: 10.0.0.4
Image synchronizer 404-1: 10.0.0.1
Image synchronizer 404-2: 10.0.0.2
Image synchronizer 404-3: 10.0.0.3
Image synchronizer 404-4: 10.0.0.4
画像同期装置404−1の記憶部505には、画像同期装置404−2〜画像同期装置404−4のIPアドレスが登録されている。画像同期装置404−2の記憶部505には、画像同期装置404−1、画像同期装置404−3、及び画像同期装置404−4のIPアドレスが登録されている。
The IP addresses of the image synchronization devices 404-2 to 404-4 are registered in the
画像同期装置404−3の記憶部505には、画像同期装置404−1、画像同期装置404−2、及び画像同期装置404−4のIPアドレスが登録されている。画像同期装置404−4の記憶部505には、画像同期装置404−1〜画像同期装置404−3のIPアドレスが登録されている。
IP addresses of the image synchronization device 404-1, the image synchronization device 404-2, and the image synchronization device 404-4 are registered in the
各画像同期装置404−iは、映像に含まれる最初のフレームを受信したときに、対応する伝送系の総遅延時間を計算する。次に、各画像同期装置404−iは、他の画像同期装置404−jのIPアドレスを宛先とする、総遅延時間を記述した通知パケットを生成して、他のすべての画像同期装置404−jへ送信する。そして、各画像同期装置404−iは、他のすべての画像同期装置404−jから通知パケットを受信すると、すべての伝送系の総遅延時間のうち最大の総遅延時間と、画像同期装置404−iが属する伝送系の総遅延時間との差分を、待機時間に決定する。 Each image synchronizer 404-i calculates the total delay time of the corresponding transmission system when receiving the first frame included in the video. Next, each image synchronization device 404-i generates a notification packet in which the total delay time is destined to the IP address of another image synchronization device 404-j, and all the other image synchronization devices 404-i. send to j. When each image synchronization device 404-i receives the notification packet from all other image synchronization devices 404-j, the maximum total delay time of the total delay times of all transmission systems and the image synchronization device 404-i. The standby time is determined by the difference from the total delay time of the transmission system to which i belongs.
図9は、図4の符号化装置402−iが行う符号化処理の例を示すフローチャートである。まず、符号化装置402−iは、映像及び音声に対する符号化モードを設定する(ステップ901)。符号化モードとしては、例えば、低遅延モード、高遅延モード等のうちいずれかの符号化モードが用いられる。そして、符号化装置402−iは、符号化装置402−iにおける所定の符号化方式と設定した符号化モードとに対応する、フレーム毎の符号化時間411−iを計算する(ステップ902)。 FIG. 9 is a flowchart showing an example of the encoding process performed by the encoding device 402-i of FIG. First, the encoding device 402-i sets the encoding mode for video and audio (step 901). As the encoding mode, for example, any one of a low delay mode, a high delay mode and the like is used. Then, the encoding device 402-i calculates the encoding time 411-i for each frame, which corresponds to the predetermined encoding method and the set encoding mode in the encoding device 402-i (step 902).
次に、符号化装置402−iは、所定の符号化方式と設定した符号化モードとを用いて映像及び音声の符号化を開始し(ステップ903)、フレーム毎に符号化画像及び符号化音声を多重化したストリームを生成する(ステップ904)。そして、符号化装置402−iは、生成したストリームと符号化時間411−iを表す情報とを、通信ネットワーク403−iを介して画像同期装置404−iへ送信する。 Next, the encoding device 402-i starts encoding video and audio using a predetermined encoding method and the set encoding mode (step 903), and encodes an encoded image and encoded audio for each frame. To generate a stream (step 904). Then, the encoding device 402-i transmits the generated stream and the information indicating the encoding time 411-i to the image synchronization device 404-i via the communication network 403-i.
次に、符号化装置402−iは、符号化モードを変更するか否かを判定する(ステップ905)。例えば、符号化装置402−iは、ユーザによって符号化モード変更指示が入力された場合に、符号化モードを変更することができる。 Next, the encoding device 402-i determines whether to change the encoding mode (step 905). For example, the encoding device 402-i can change the encoding mode when the user inputs the encoding mode change instruction.
符号化モードを変更しない場合(ステップ905,NO)、符号化装置402−iは、ストリーム配信を終了するか否かを判定する(ステップ906)。例えば、符号化装置402−iは、ユーザによって配信停止指示が入力された場合、又はカメラ401−iからの映像入力が停止した場合に、ストリーム配信を終了することができる。ストリーム配信を終了しない場合(ステップ906,NO)、符号化装置402−iは、次のフレームについてステップ904以降の処理を繰り返す。
When the encoding mode is not changed (
一方、符号化モードを変更する場合(ステップ905,YES)、符号化装置402−iは、次のフレームについてステップ901以降の処理を繰り返す。そして、ストリーム配信を終了する場合(ステップ906,YES)、符号化装置402−iは、処理を終了する。
On the other hand, when changing the coding mode (
図10は、図4の画像同期装置404−iが行う画像同期処理の具体例を示すフローチャートである。まず、通信部501は、通信ネットワーク403−iを介して符号化装置402−iから、ストリームと符号化時間411−iを表す情報とをフレーム毎に受信する(ステップ1001)。そして、復号装置503は、受信したストリームに含まれる符号化画像及び符号化音声を復号して、復号画像及び復号音声を出力部507へ出力する。
FIG. 10 is a flowchart showing a specific example of the image synchronization processing performed by the image synchronization device 404-i of FIG. First, the
次に、計算部504は、符号化画像及び符号化音声を用いて復号時間413−iを計算する(ステップ1002)。そして、計算部504は、符号化時間411−iと、記憶部505が記憶する伝送時間412−iと、復号時間413−iとを加算することで、総遅延時間を計算する(ステップ1003)。
Next, the
次に、計算部504は、総遅延時間が変化したか否かを判定する(ステップ1004)。例えば、計算部504は、前回計算した総遅延時間と異なる総遅延時間が得られた場合に、総遅延時間が変化したと判定することができる。符号化装置402−iが符号化モードを変更した場合、それに伴って符号化時間411−i及び復号時間413−iも変更されるため、総遅延時間が変化する。また、ストリームに含まれる最初のフレームを受信したときは、総遅延時間が変化したと判定される。
Next, the
総遅延時間が変化した場合(ステップ1004,YES)、画像同期装置404−iは、復号画像及び復号音声の出力を停止する(ステップ1005)。ただし、ストリームに含まれる最初のフレームを受信したときは、ステップ1005の処理はスキップされる。そして、通信部501は、計算部504が計算した総遅延時間を表す情報を、他の画像同期装置404−j(j≠i)へ送信する(ステップ1006)。
When the total delay time has changed (
次に、決定部506は、他のすべての画像同期装置404−jから総遅延時間を表す情報を受信したか否かをチェックする(ステップ1007)。いずれかの画像同期装置404−jから総遅延時間を表す情報を受信していない場合(ステップ1007,NO)、決定部506は、ステップ1007の処理を繰り返す。そして、他のすべての画像同期装置404−jから総遅延時間を表す情報を受信した場合(ステップ1007,YES)、決定部506は、計算部504が計算した総遅延時間と受信したそれぞれの総遅延時間とを比較する(ステップ1008)。
Next, the
受信したすべての総遅延時間が、計算部504が計算した総遅延時間以下である場合(ステップ1008,YES)、決定部506は、計算部504が計算した総遅延時間が最大であると判定し、待機時間を0に決定する。そして、出力部507は、復号画像及び復号音声を表示装置405へ出力する(ステップ1009)。
When all the received total delay times are equal to or less than the total delay time calculated by the calculation unit 504 (
一方、受信したいずれかの総遅延時間が、計算部504が計算した総遅延時間よりも大きい場合(ステップ1008,NO)、決定部506は、受信した総遅延時間のうち最大の総遅延時間と、計算部504が計算した総遅延時間との差分を、待機時間に決定する。そして、出力部507は、待機時間が経過するまで待機して(ステップ1011)、復号画像及び復号音声を表示装置405へ出力する(ステップ1009)。
On the other hand, if any of the received total delay times is larger than the total delay time calculated by the calculation unit 504 (
次に、画像同期装置404−iは、復号画像及び復号音声の出力を終了するか否かを判定する(ステップ1010)。例えば、画像同期装置404−iは、ユーザによって出力停止指示が入力された場合、又は符号化装置402−iからのストリーム配信が停止した場合に、復号画像及び復号音声の出力を終了することができる。復号画像及び復号音声の出力を終了しない場合(ステップ1010,NO)、画像同期装置404−iは、次のフレームについてステップ1001以降の処理を繰り返す。
Next, the image synchronization device 404-i determines whether to end the output of the decoded image and the decoded sound (step 1010). For example, the image synchronization device 404-i may end the output of the decoded image and the decoded audio when the output stop instruction is input by the user or when the stream distribution from the encoding device 402-i is stopped. it can. When the output of the decoded image and the decoded audio is not ended (step 1010, NO), the image synchronization device 404-i repeats the processing from
総遅延時間が変化しない場合(ステップ1004,NO)、画像同期装置404−iは、ステップ1009以降の処理を行う。そして、復号画像及び復号音声の出力を終了する場合(ステップ1010,YES)、画像同期装置404−iは、処理を終了する。
When the total delay time does not change (
図1及び図5の画像同期装置の構成は一例に過ぎず、画像同期装置の用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、復号処理が画像同期装置の外部で行われる場合は、図5の復号装置503及び出力部507を省略することができる。
The configuration of the image synchronization device in FIGS. 1 and 5 is merely an example, and some of the constituent elements may be omitted or changed depending on the application or conditions of the image synchronization device. For example, when the decoding process is performed outside the image synchronization device, the
図4の画像同期システムの構成は一例に過ぎず、画像同期システムの用途又は条件に応じて、一部の構成要素を省略又は変更してもよい。例えば、画像同期システムがスポーツ番組等の中継放送に用いられる場合は、表示装置405を省略することができる。
The configuration of the image synchronization system in FIG. 4 is merely an example, and some of the constituent elements may be omitted or changed depending on the application or conditions of the image synchronization system. For example, when the image synchronization system is used for relay broadcasting of sports programs and the like, the
また、画像同期システムは、音声を省略して映像のみを配信することもできる。この場合、各伝送系には映像のみが入力され、符号化装置402−iは、符号化画像を含むストリームを通信ネットワーク403−iへ出力する。そして、画像同期装置404−iは、通信ネットワーク403−iから受信したストリームに含まれる符号化画像を復号して、復号画像を表示装置405へ転送する。
Further, the image synchronization system can also deliver only video without audio. In this case, only the video is input to each transmission system, and the encoding device 402-i outputs the stream including the encoded image to the communication network 403-i. Then, the image synchronization device 404-i decodes the encoded image included in the stream received from the communication network 403-i, and transfers the decoded image to the
図2、図9、及び図10のフローチャートは一例に過ぎず、画像同期装置又は画像同期システムの構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、映像の途中で符号化モードを変更しない場合は、図9のステップ901、ステップ905、図10のステップ1004、及びステップ1005の処理を省略することができる。この場合、画像同期装置404−iは、2枚目以降のフレームに対してステップ1002〜ステップ1008及びステップ1011の処理をスキップする。
The flowcharts of FIGS. 2, 9, and 10 are merely examples, and some processing may be omitted or changed depending on the configuration or conditions of the image synchronization device or the image synchronization system. For example, when the coding mode is not changed in the middle of the video, the processes of
図3、図4、及び図6の符号化時間及び復号時間は一例に過ぎず、これらの時間は、配信される映像及び音声の情報量、符号化装置及び復号装置のメーカ、符号化方式、符号化モード等に応じて変化する。図3、図4、及び図6の伝送時間は一例に過ぎず、伝送時間は、配信される映像及び音声の情報量、通信ネットワークの距離、ルータの個数等に応じて変化する。 The encoding time and the decoding time in FIGS. 3, 4, and 6 are merely examples, and these times are the amount of information of video and audio to be distributed, the manufacturer of the encoding device and the decoding device, the encoding method, It changes according to the encoding mode and the like. The transmission times shown in FIGS. 3, 4, and 6 are merely examples, and the transmission times vary depending on the amount of information of video and audio to be distributed, the distance of the communication network, the number of routers, and the like.
図7の計測処理は一例に過ぎず、RTT以外の時間に基づいて通信ネットワークの伝送時間を推定してもよい。図8の通信処理は一例に過ぎず、通知パケット以外の方法によって総遅延時間を他の画像同期装置に通知してもよい。 The measurement process of FIG. 7 is merely an example, and the transmission time of the communication network may be estimated based on a time other than RTT. The communication process of FIG. 8 is merely an example, and the total delay time may be notified to another image synchronization device by a method other than the notification packet.
図11は、図1の画像同期装置101及び図5の画像同期装置404−iとして用いられる情報処理装置(コンピュータ)の構成例を示している。図11の情報処理装置は、Central Processing Unit(CPU)1101、メモリ1102、入力装置1103、出力装置1104、補助記憶装置1105、媒体駆動装置1106、及びネットワーク接続装置1107を含む。これらの構成要素はバス1108により互いに接続されている。
11 shows a configuration example of an information processing apparatus (computer) used as the image synchronization apparatus 101 in FIG. 1 and the image synchronization apparatus 404-i in FIG. The information processing device in FIG. 11 includes a Central Processing Unit (CPU) 1101, a
メモリ1102は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ1102は、図5の記憶部505として用いることができる。
The
CPU1101(プロセッサ)は、例えば、メモリ1102を利用してプログラムを実行することにより、図1の計算部111及び決定部112として動作する。CPU1101は、メモリ1102を利用してプログラムを実行することにより、図5のデマルチプレクサ502、復号装置503、計算部504、及び決定部506としても動作する。
The CPU 1101 (processor) operates as the calculation unit 111 and the
入力装置1103は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示及び情報の入力に用いられる。出力装置1104は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。
The
補助記憶装置1105は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置1105は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置1105にプログラム及びデータを格納しておき、それらをメモリ1102にロードして使用することができる。補助記憶装置1105は、図5の記憶部505として用いることができる。
The
媒体駆動装置1106は、可搬型記録媒体1109を駆動し、その記録内容にアクセスする。可搬型記録媒体1109は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体1109は、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、Universal Serial Bus(USB)メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体1109にプログラム及びデータを格納しておき、それらをメモリ1102にロードして使用することができる。
The
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ1102、補助記憶装置1105、又は可搬型記録媒体1109のような、物理的な(非一時的な)記録媒体である。
As described above, a computer-readable recording medium that stores programs and data used for processing is a physical (non-transitory) recording medium such as the
ネットワーク接続装置1107は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置1107を介して受け取り、それらをメモリ1102にロードして使用することができる。ネットワーク接続装置1107は、図5の通信部501及び出力部507として用いることができる。
The
なお、情報処理装置が図11のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置1103及び出力装置1104を省略してもよい。また、可搬型記録媒体1109を利用しない場合は、媒体駆動装置1106を省略してもよい。
Note that the information processing device does not have to include all the constituent elements of FIG. 11, and it is possible to omit some of the constituent elements depending on the application or the conditions. For example, the
図4の符号化装置402−iとして、図11と同様の情報処理装置を用いることもできる。この場合、カメラ401−iは、バス1108に接続されていてもよい。
An information processing device similar to that in FIG. 11 can be used as the encoding device 402-i in FIG. In this case, the camera 401-i may be connected to the
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。 While the disclosed embodiments and their advantages have been described in detail, those skilled in the art can make various changes, additions, and omissions without departing from the scope of the invention explicitly set forth in the claims. Let's do it.
図1乃至図11を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
(付記1)
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第1伝送系に含まれる第1符号化装置に対する第1符号化対象画像の入力から、前記第1伝送系に含まれる第1復号装置による第1復号画像の生成までの時間を計算する計算部と、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第2伝送系に含まれる第2符号化部に対する第2符号化対象画像の入力から、前記第2伝送系に含まれる第2復号装置による第2復号画像の生成までの時間とに基づいて、前記第1復号画像の生成から前記第1復号画像の出力までの待機時間を決定する決定部と、
を備えることを特徴とする画像同期装置。
(付記2)
前記決定部は、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記1記載の画像同期装置。
(付記3)
前記第1伝送系に含まれる第1通信ネットワークから、前記第1符号化装置が生成した第1符号化画像と、前記第1符号化装置に対する前記第1符号化対象画像の入力から前記第1符号化画像の生成までの符号化時間を表す情報とを受信する通信部と、
前記第1復号装置と、
前記第1復号画像を出力する出力部とをさらに備え、
前記計算部は、前記第1符号化画像を用いて、前記第1復号装置に対する前記第1符号化画像の入力から前記第1復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第1通信ネットワークが前記第1符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を計算し、前記出力部は、前記第1復号画像の生成から前記待機時間が経過した後に、前記第1復号画像を出力することを特徴とする付記1又は2記載の画像同期装置。
(付記4)
前記通信部は、前記複数の伝送系のうち前記第1伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記3記載の画像同期装置。
(付記5)
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第1伝送系に含まれる第1符号化装置に対する第1符号化対象画像の入力から、前記第1伝送系に含まれる第1復号装置による第1復号画像の生成までの時間を計算し、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第2伝送系に含まれる第2符号化装置に対する第2符号化対象画像の入力から、前記第2伝送系に含まれる第2復号装置による第2復号画像の生成までの時間とに基づいて、前記第1復号画像の生成から前記第1復号画像の出力までの待機時間を決定する、
処理をコンピュータに実行させる画像同期プログラム。
(付記6)
前記コンピュータは、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記5記載の画像同期プログラム。
(付記7)
前記コンピュータは、前記第1伝送系に含まれる第1通信ネットワークから、前記第1符号化装置が生成した第1符号化画像と、前記第1符号化装置に対する前記第1符号化対象画像の入力から前記第1符号化画像の生成までの符号化時間を表す情報とを受信し、前記第1符号化画像を用いて、前記第1復号装置に対する前記第1符号化画像の入力から前記第1復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第1通信ネットワークが前記第1符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を計算し、前記第1復号画像の生成から前記待機時間が経過した後に、前記第1復号画像を出力することを特徴とする付記5又は6記載の画像同期プログラム。
(付記8)
前記コンピュータは、前記複数の伝送系のうち前記第1伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記7記載の画像同期プログラム。
(付記9)
コンピュータが、
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第1伝送系に含まれる第1符号化装置に対する第1符号化対象画像の入力から、前記第1伝送系に含まれる第1復号装置による第1復号画像の生成までの時間を計算し、
前記計算部が計算した前記時間と、前記複数の伝送系のうち第2伝送系に含まれる第2符号化装置に対する第2符号化対象画像の入力から、前記第2伝送系に含まれる第2復号装置による第2復号画像の生成までの時間とに基づいて、前記第1復号画像の生成から前記第1復号画像の出力までの待機時間を決定する、
ことを特徴とする画像同期方法。
(付記10)
前記コンピュータは、前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記計算部が計算した前記時間との差分を、前記待機時間に決定することを特徴とする付記9記載の画像同期方法。
(付記11)
前記コンピュータは、前記第1伝送系に含まれる第1通信ネットワークから、前記第1符号化装置が生成した第1符号化画像と、前記第1符号化装置に対する前記第1符号化対象画像の入力から前記第1符号化画像の生成までの符号化時間を表す情報とを受信し、前記第1符号化画像を用いて、前記第1復号装置に対する前記第1符号化画像の入力から前記第1復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第1通信ネットワークが前記第1符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を計算し、前記第1復号画像の生成から前記待機時間が経過した後に、前記第1復号画像を出力することを特徴とする付記9又は10記載の画像同期方法。
(付記12)
前記コンピュータは、前記複数の伝送系のうち前記第1伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信することを特徴とする付記11記載の画像同期方法。
Regarding the embodiment described with reference to FIGS. 1 to 11, the following supplementary notes are further disclosed.
(Appendix 1)
An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. A calculation unit that calculates the time until the generation of the decoded image,
From the time calculated by the calculation unit and the input of the second encoding target image to the second encoding unit included in the second transmission system of the plurality of transmission systems, the second encoding unit including the second image included in the second transmission system. A deciding unit for deciding a waiting time from the generation of the first decoded image to the output of the first decoded image based on the time until the second decoded image is generated by the decoding device;
An image synchronization device comprising:
(Appendix 2)
The determining unit determines the time from the input of the encoding target image to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems. The image synchronization device according to
(Appendix 3)
The first encoded image generated by the first encoding device from the first communication network included in the first transmission system and the input of the first encoding target image to the first encoding device to the first encoded image. A communication unit that receives information indicating the encoding time until the generation of the encoded image,
The first decoding device;
An output unit for outputting the first decoded image,
The calculation unit uses the first encoded image to calculate a decoding time from the input of the first encoded image to the first decoding device to the generation of the first decoded image, , From the input of the first encoding target image to the generation of the first decoded image, by adding the decoding time and the transmission time at which the first communication network transmits the first encoded image 3. The image synchronization device according to
(Appendix 4)
The communication unit receives from the input of the encoding target image to the encoding device included in a transmission system other than the first transmission system among the plurality of transmission systems, and decodes the decoding target included in the other transmission system. Information representing time until generation of the decoded image by the device is received from the other transmission system, and information indicating the time from input of the first encoding target image to generation of the first decoded image, The image synchronization device according to appendix 3, wherein the image synchronization device transmits to the other transmission system.
(Appendix 5)
An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. Calculate the time to generate the decoded image,
From the time calculated by the calculation unit and the input of the second encoding target image to the second encoding device included in the second transmission system of the plurality of transmission systems, the second encoding target included in the second transmission system is input. A waiting time from the generation of the first decoded image to the output of the first decoded image is determined based on the time until the second decoded image is generated by the decoding device.
An image synchronization program that causes a computer to perform processing.
(Appendix 6)
Of the time from the input of the encoding target image to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, The image synchronization program according to Note 5, wherein a difference between the maximum time and the time calculated by the calculation unit is determined as the waiting time.
(Appendix 7)
The computer inputs a first encoded image generated by the first encoding device and a first encoding target image to the first encoding device from a first communication network included in the first transmission system. From the input of the first coded image to the first decoding device using the first coded image from the input of the first coded image to the first coded image. The decoding time until generation of the decoded image is calculated, and the coding time, the transmission time for the first communication network to transmit the first coded image, and the decoding time are added to obtain the first time. Characterized in that the time from the input of the image to be encoded to the generation of the first decoded image is calculated, and the first decoded image is output after the waiting time has elapsed from the generation of the first decoded image. The image synchronization program according to supplementary note 5 or 6.
(Appendix 8)
The computer receives from the input of the image to be encoded to the encoding device included in a transmission system other than the first transmission system among the plurality of transmission systems, and decodes the decoding device included in the other transmission system. The information indicating the time until the generation of the decoded image by the above is received from the other transmission system, and the information indicating the time from the input of the first encoding target image to the generation of the first decoded image is The image synchronization program according to attachment 7, which is transmitted to another transmission system.
(Appendix 9)
Computer
An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. Calculate the time to generate the decoded image,
From the time calculated by the calculation unit and the input of the second encoding target image to the second encoding device included in the second transmission system of the plurality of transmission systems, the second encoding target included in the second transmission system is input. A waiting time from the generation of the first decoded image to the output of the first decoded image is determined based on the time until the second decoded image is generated by the decoding device.
An image synchronization method characterized by the above.
(Appendix 10)
Of the time from the input of the encoding target image to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, The image synchronization method according to note 9, wherein the difference between the maximum time and the time calculated by the calculation unit is determined as the waiting time.
(Appendix 11)
The computer inputs a first encoded image generated by the first encoding device and a first encoding target image to the first encoding device from a first communication network included in the first transmission system. From the input of the first coded image to the first decoding device using the first coded image from the input of the first coded image to the first coded image. The decoding time until the generation of the decoded image is calculated, and the coding time, the transmission time for the first communication network to transmit the first coded image, and the decoding time are added to obtain the first time. Characterized in that the time from the input of the image to be encoded to the generation of the first decoded image is calculated, and the first decoded image is output after the waiting time has elapsed from the generation of the first decoded image. The image synchronization method according to
(Appendix 12)
The computer receives an input of the encoding target image to the encoding device included in a transmission system other than the first transmission system among the plurality of transmission systems, and the decoding device included in the other transmission system. The information indicating the time until the generation of the decoded image by the above is received from the other transmission system, and the information indicating the time from the input of the first encoding target image to the generation of the first decoded image is 12. The image synchronization method according to appendix 11, which is characterized in that the image is transmitted to another transmission system.
101、404−1〜404−4 画像同期装置
111、504 計算部
112、506 決定部
301−1、301−2、401−1〜401−4 カメラ
302−1、302−2、402−1〜402−4 符号化装置
303−1、303−2、403−1〜403−4 通信ネットワーク
304−1、304−2、503 復号装置
311−1、311−2、411−1〜411−4 符号化時間
312−1、312−2、412−1〜412−4 伝送時間
313−1、313−2、413−1〜413−4 復号時間
321−1、321−2、322−1、322−2 画像
331、332 タイミングチャート
333 差分
405 表示装置
406 LAN
421−1〜421−4 領域
501 通信部
502 デマルチプレクサ
505 記憶部
507 出力部
601−1、601−2 待機時間
1101 CPU
1102 メモリ
1103 入力装置
1104 出力装置
1105 補助記憶装置
1106 媒体駆動装置
1107 ネットワーク接続装置
1108 バス
1109 可搬型記録媒体
101, 404-1 to 404-4
421-1 to 421-4
1102
Claims (4)
前記複数の伝送系のうち前記第1伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信する通信部と、
前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間との差分を、前記第1復号画像の生成から前記第1復号画像の出力までの待機時間に決定する決定部と、
を備えることを特徴とする画像同期装置。 An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. A calculation unit that calculates the time until the generation of the decoded image,
From the input of the encoding target image to the encoding device included in another transmission system other than the first transmission system among the plurality of transmission systems, the decoded image by the decoding device included in the other transmission system Is received from the other transmission system, and information representing the time from the input of the first encoding target image to the generation of the first decoded image is received by the other transmission system. A communication unit for transmitting to
Of the time from the input of the image to be encoded to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, the maximum time And the difference from the time from the input of the first encoding target image to the generation of the first decoded image is determined as the waiting time from the generation of the first decoded image to the output of the first decoded image. The decision section,
An image synchronization device comprising:
前記第1復号画像を出力する出力部とをさらに備え、
前記通信部は、前記第1伝送系に含まれる第1通信ネットワークから、前記第1符号化装置が生成した第1符号化画像と、前記第1符号化装置に対する前記第1符号化対象画像の入力から前記第1符号化画像の生成までの符号化時間を表す情報とを受信し、
前記計算部は、前記第1符号化画像を用いて、前記第1復号装置に対する前記第1符号化画像の入力から前記第1復号画像の生成までの復号時間を計算し、前記符号化時間と、前記第1通信ネットワークが前記第1符号化画像を伝送する伝送時間と、前記復号時間とを加算することで、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を計算し、
前記出力部は、前記第1復号画像の生成から前記待機時間が経過した後に、前記第1復号画像を出力することを特徴とする請求項1記載の画像同期装置。 Before Symbol first decoding unit,
An output unit for outputting the first decoded image,
The communication unit includes a first encoded image generated by the first encoding device and a first encoding target image for the first encoding device from a first communication network included in the first transmission system. And information indicating an encoding time from the input to the generation of the first encoded image,
The calculation unit uses the first encoded image to calculate a decoding time from the input of the first encoded image to the first decoding device to the generation of the first decoded image, , From the input of the first encoding target image to the generation of the first decoded image, by adding the decoding time and the transmission time at which the first communication network transmits the first encoded image Calculate time,
The output unit, after the waiting time from the generation of the first decoded image has elapsed, the image synchronization device according to claim 1, wherein the outputting the first decoded image.
前記複数の伝送系のうち前記第1伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、
前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信し、
前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間との差分を、前記第1復号画像の生成から前記第1復号画像の出力までの待機時間に決定する、
処理をコンピュータに実行させる画像同期プログラム。 An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. Calculate the time to generate the decoded image,
From the input of the encoding target image to the encoding device included in another transmission system other than the first transmission system among the plurality of transmission systems, the decoded image by the decoding device included in the other transmission system The information indicating the time until the generation of is received from the other transmission system,
Transmitting information indicating the time from the input of the first encoding target image to the generation of the first decoded image to the other transmission system,
Of the time from the input of the image to be encoded to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, the maximum time And the difference from the time from the input of the first encoding target image to the generation of the first decoded image is determined as the waiting time from the generation of the first decoded image to the output of the first decoded image. ,
An image synchronization program that causes a computer to perform processing.
符号化対象画像を符号化して符号化画像を生成する符号化装置と、前記符号化画像を伝送する通信ネットワークと、前記通信ネットワークから受信した前記符号化画像を復号して復号画像を生成する復号装置とをそれぞれ含む複数の伝送系のうち、第1伝送系に含まれる第1符号化装置に対する第1符号化対象画像の入力から、前記第1伝送系に含まれる第1復号装置による第1復号画像の生成までの時間を計算し、
前記複数の伝送系のうち前記第1伝送系以外の他の伝送系に含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記他の伝送系に含まれる前記復号装置による前記復号画像の生成までの時間を表す情報を、前記他の伝送系から受信し、
前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間を表す情報を、前記他の伝送系へ送信し、
前記複数の伝送系それぞれに含まれる前記符号化装置に対する前記符号化対象画像の入力から、前記複数の伝送系それぞれに含まれる前記復号装置による前記復号画像の生成までの時間のうち、最大の時間と、前記第1符号化対象画像の入力から前記第1復号画像の生成までの前記時間との差分を、前記第1復号画像の生成から前記第1復号画像の出力までの待機時間に決定する、
ことを特徴とする画像同期方法。 Computer
An encoding device that encodes an encoding target image to generate an encoded image, a communication network that transmits the encoded image, and a decoding that decodes the encoded image received from the communication network to generate a decoded image A plurality of transmission systems each including a device and a first decoding device included in the first transmission system from a first encoding target image input to a first encoding device included in the first transmission system. Calculate the time to generate the decoded image,
From the input of the encoding target image to the encoding device included in another transmission system other than the first transmission system among the plurality of transmission systems, the decoded image by the decoding device included in the other transmission system The information indicating the time until the generation of is received from the other transmission system,
Transmitting information indicating the time from the input of the first encoding target image to the generation of the first decoded image to the other transmission system,
Of the time from the input of the image to be encoded to the encoding device included in each of the plurality of transmission systems to the generation of the decoded image by the decoding device included in each of the plurality of transmission systems, the maximum time And the difference from the time from the input of the first encoding target image to the generation of the first decoded image is determined as the waiting time from the generation of the first decoded image to the output of the first decoded image. ,
An image synchronization method characterized by the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016180299A JP6743609B2 (en) | 2016-09-15 | 2016-09-15 | Image synchronization apparatus, image synchronization program, and image synchronization method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016180299A JP6743609B2 (en) | 2016-09-15 | 2016-09-15 | Image synchronization apparatus, image synchronization program, and image synchronization method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018046433A JP2018046433A (en) | 2018-03-22 |
JP6743609B2 true JP6743609B2 (en) | 2020-08-19 |
Family
ID=61693261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016180299A Active JP6743609B2 (en) | 2016-09-15 | 2016-09-15 | Image synchronization apparatus, image synchronization program, and image synchronization method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6743609B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111949237A (en) * | 2020-07-20 | 2020-11-17 | 西安万像电子科技有限公司 | Image display method and device |
CN113411658B (en) * | 2021-06-17 | 2022-07-05 | 杭州海康威视数字技术股份有限公司 | Display device |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001157178A (en) * | 1999-11-24 | 2001-06-08 | Hitachi Kokusai Electric Inc | Image transmitter |
JP2002125203A (en) * | 2000-10-12 | 2002-04-26 | Mitsubishi Electric Corp | Media coder and media decoder |
JP4303535B2 (en) * | 2003-08-06 | 2009-07-29 | パナソニック株式会社 | Decode display device, imaging device, and image transmission system including the same |
JP4441874B2 (en) * | 2005-02-24 | 2010-03-31 | ソニー株式会社 | Information processing system, playback terminal device and playback method, information processing device and method, and program |
JP5697743B2 (en) * | 2011-03-09 | 2015-04-08 | 日立マクセル株式会社 | Video transmission device, video transmission method, video reception device, and video reception method |
JP2013066088A (en) * | 2011-09-20 | 2013-04-11 | Advanced Telecommunication Research Institute International | Network system, network apparatus, and distribution method |
JP6089846B2 (en) * | 2013-03-22 | 2017-03-08 | 富士通株式会社 | Video distribution system, decoder, and video distribution method |
-
2016
- 2016-09-15 JP JP2016180299A patent/JP6743609B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018046433A (en) | 2018-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220329883A1 (en) | Combining Video Streams in Composite Video Stream with Metadata | |
JP6430034B2 (en) | Recording medium and apparatus for recording program for providing low-delay live broadcast content | |
JP4771369B2 (en) | Media stream switching method, system and program in seamless handover | |
WO2012028018A1 (en) | Distributed video processing method and video conference system | |
JP6743609B2 (en) | Image synchronization apparatus, image synchronization program, and image synchronization method | |
WO2012114774A1 (en) | Video encoding device and video decoding device | |
JP2013187769A (en) | Encoder | |
JP6278275B2 (en) | TRANSMISSION DEVICE, RECEPTION DEVICE, TRANSMISSION METHOD, AND RECEPTION METHOD | |
JP2010136220A (en) | Communication terminal device, communication volume control method, and integrated circuit | |
JP2016005043A (en) | Information processing device and program | |
WO2012122836A1 (en) | Video encoding/decoding method and device | |
JP6193569B2 (en) | RECEPTION DEVICE, RECEPTION METHOD, AND PROGRAM, IMAGING DEVICE, IMAGING METHOD, AND PROGRAM, TRANSMISSION DEVICE, TRANSMISSION METHOD, AND PROGRAM | |
TWI526080B (en) | Video conferencing system | |
JP2002149316A (en) | Data transmitter, data receiver, data transmission method, and program storage medium | |
US9363574B1 (en) | Video throttling based on individual client delay | |
JP2013051565A (en) | Communication terminal device, communication control method, and communication control program | |
JP2009118151A (en) | Communication system, transmitter, relay device, receiver, and transmission program | |
JP2008131591A (en) | Lip-sync control device and lip-sync control method | |
JP5170278B2 (en) | Display control device, display control method, program, and display control system | |
KR20130101900A (en) | Electronic apparatus and method for encoding | |
JP5799958B2 (en) | Video processing server and video processing method | |
JP6592864B2 (en) | VIDEO TRANSMISSION DEVICE, VIDEO RECEPTION DEVICE, VIDEO DISTRIBUTION SYSTEM, VIDEO TRANSMISSION DEVICE CONTROL METHOD, AND PROGRAM | |
JP6565324B2 (en) | Communication terminal, data transmission / reception system, communication method, and communication program | |
JP2017225164A (en) | Receiving device, receiving method, transmitting device, transmitting method, and program | |
JP4525697B2 (en) | Transmission header compression apparatus, moving picture encoding apparatus, and moving picture transmission system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200327 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6743609 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |