JP6813933B2 - 映像音声伝送システム、伝送方法、送信装置及び受信装置 - Google Patents

映像音声伝送システム、伝送方法、送信装置及び受信装置 Download PDF

Info

Publication number
JP6813933B2
JP6813933B2 JP2018136224A JP2018136224A JP6813933B2 JP 6813933 B2 JP6813933 B2 JP 6813933B2 JP 2018136224 A JP2018136224 A JP 2018136224A JP 2018136224 A JP2018136224 A JP 2018136224A JP 6813933 B2 JP6813933 B2 JP 6813933B2
Authority
JP
Japan
Prior art keywords
time
transmission
video
devices
signal generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018136224A
Other languages
English (en)
Other versions
JP2020014161A (ja
Inventor
康弘 持田
康弘 持田
山口　高弘
高弘 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018136224A priority Critical patent/JP6813933B2/ja
Priority to PCT/JP2019/027927 priority patent/WO2020017499A1/ja
Priority to EP19838333.3A priority patent/EP3826313B1/en
Priority to US17/259,250 priority patent/US11470369B2/en
Publication of JP2020014161A publication Critical patent/JP2020014161A/ja
Application granted granted Critical
Publication of JP6813933B2 publication Critical patent/JP6813933B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H04L7/0016—Arrangements for synchronising receiver with transmitter correction of synchronization errors
    • H04L7/005—Correction by an elastic buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

本開示は、符号化された映像／音声ストリームを伝送する、送信装置と受信装置から構成される伝送装置に関する。特に、ＭＰＥＧ−２ ＴＳをＭＭＴに変換して伝送する伝送装置、および、分散した符号化装置をＧｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ（ＧＯＰ）同期させる伝送装置、および、復号装置を停止させることなく出力映像／音声ストリームを切り替える伝送装置に関する。
また、本開示は、符号化された映像／音声ストリームを伝送する、送信方法と受信方法から構成される伝送方法に関する。特に、ＭＰＥＧ−２ ＴＳをＭＭＴに変換して伝送する伝送方法、および、分散した符号化装置をＧＯＰ同期させる伝送方法、および、復号装置を停止させることなく出力映像／音声ストリームを切り替える伝送方法に関する。
エラーのある伝送路で映像／音声の符号化ストリームを伝送するコンテナフォーマット技術として、ＭＰＥＧ−２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ（ＴＳ）形式（ＩＳＯ／ＩＥＣ １３８１８−１）が広く用いられている。ＭＰＥＧ−２ ＴＳでは、映像／音声のメディアデータが格納されたＰａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ（ＰＥＳ）と呼ばれるデータユニットを、ＴＳパケット（主として１８８バイト）に分割して伝送する。ＴＳパケットには、Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ（ＰＣＲ）と呼ばれる送出タイムスタンプが付与される。ＰＣＲは、符号化装置のＳｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ（ＳＴＣ）と呼ばれる２７ＭＨｚのクロックに従ってカウントアップするタイムスタンプである。ＰＣＲの上位３３ビットが９０ｋＨｚの値を表し、下位９ビットが２７ＭＨｚの値を０〜２９９で表す。ＰＣＲの初期値は任意で、一般的には協定世界時（ＵＴＣ）等の絶対時刻との対応付けはできないが、符号化装置と復号装置の間では相対時刻として機能する。表示タイミングを制御するため、その時点より一定時間未来のＰＣＲの上位３３ビットが表示タイムスタンプ（ＰＴＳ）として、ＰＥＳに付与される。復号装置では、ＰＣＲとＰＴＳを比較することによって、表示のタイミングを制御する。ＴＳパケットはIｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ（ＩＰ）を使用して伝送することもできる。しかし、ＴＳパケット長が小さいサイズで固定であるために、ＩＰパケット化におけるオーバーヘッドが大きいという問題がある。また、ＭＰＥＧ−２ ＴＳでは、異なるＩＰデータフロー（送信元ＩＰアドレス、送信元ポート番号、宛先ＩＰアドレス、宛先ポート番号、プロトコル種別の組合せ）を組み合わせてＴＳパケットを伝送することができないという制約があった。
そこで、ＭＰＥＧ−２ ＴＳの後継として標準化されたＭＭＴ（ＩＳＯ／ＩＥＣ ２３００８−１）では、可変長パケットが採用され、効率的なＩＰ伝送が可能である。また、複数のＩＰデータフローで送信された映像／音声を受信側で組み合わせることも可能である。
特開２０１４−９０２７０号公報
ＭＭＴはＭＰＥＧ−２ ＴＳに比べてＩＰ伝送との親和性が高く、高度な制御が可能であるという利点があるが、既存の符号化装置や復号装置はＭＰＥＧ−２ ＴＳによって符号化ストリームを入出力するものが一般的である。そこで、ＭＰＥＧ−２ ＴＳ入力を受けてＭＭＴで送出する送信装置と、ＭＭＴを受信してＭＰＥＧ−２ ＴＳを出力する受信装置を考える。ＭＭＴは、符号化ストリームをＧＯＰ単位でＭｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＭＰＵ）と呼ばれるデータユニットに格納して伝送する。また、ＭＰＵの表示タイミングを制御するため、表示タイムスタンプ（ｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅ）を制御メッセージによって指定する。ｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅは、Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ（ＮＴＰ ＲＦＣ５９０５）で使用される長形式タイムスタンプと同様に、１９００年１月１日０時０分０秒を始点とするＵＴＣ時刻として、整数部３２ビット、小数部３２ビットの合計６４ビットで記述される。ＭＰＥＧ−２ ＴＳとＭＭＴを相互に変換するためには、タイミング制御に使用されるＰＣＲとＵＴＣを相互に変換することが必要になる。ＳＴＣのクロック周波数が正確に２７ＭＨｚであることを前提とすれば、ある時点でのＰＣＲとＵＴＣの組を起点とすることによって相互変換が可能である。しかし実際には、誤差の存在が避けられないため、ＰＣＲとＵＴＣの歩進速度が同期せず、長時間動作させると復号装置のバッファ溢れやバッファ枯渇を生じるおそれがある。そこで、本発明は、ＰＣＲとＵＴＣの間で歩進速度が同期した相互変換を実現し、復号装置のバッファ溢れやバッファ枯渇を回避することを第一の課題とする。
ここで、同時に複数のカメラを並べて撮影した映像を複数の符号化装置によってＨ．２６５等で符号化し、各符号化装置の出力したＭＰＥＧ−２ ＴＳを複数の送信装置でＭＭＴに変換して送信する場合を考える。受信側では、複数の受信装置でそれぞれＭＭＴを受信し、ＭＰＥＧ−２ ＴＳに変換して出力し、複数の復号装置で復号し、複数の表示装置を並べて表示する、あるいは、復号映像を合成して１つの映像として表示することを考える。このとき、各系統で同時に撮影されたフレームに付与されるｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅが揃えば、複数のカメラ映像を同期して表示することができる。しかし、各映像の符号化のＧＯＰ位相がずれていると、これらを合成したときに異なるピクチャが並ぶ場合があるため、画質の非均一性によって視聴品質が劣化するおそれがある。ＧＯＰは、映像符号化処理の単位となる連続したフレームの集合であり、３種類のピクチャ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）から構成されるが、一般に各ピクチャの画質には差がある。このため、映像を合成する場合にはＧＯＰの位相を揃えることが求められる。複数の符号化装置において、ＧＯＰ位相を揃えることをＧＯＰ同期と呼ぶ。
一つのＧＯＰの中に何枚のフレームが含まれ、３種類のピクチャがどのような順番で並んでいるかという構造のことをＧＯＰ構造と呼ぶ。ＧＯＰ同期を取るためには、同期させる全ての符号化装置で共通のＧＯＰ構造を使用し、かつ、フレーム周期が揃っていることが前提条件である。特許文献１には、分散した複数の装置がＧＯＰ同期を取ることができる符号化装置が開示されている。特許文献１によれば、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）信号等から取得した時刻情報を用いてＧＯＰ開始時刻を計算することにより、分散した複数の符号化装置が自律的にＧＯＰ同期を取ることができる。しかし、特許文献１では、装置間のクロック偏差に起因するフレーム周期の偏差を考慮していないため、符号化開始時にはＧＯＰ同期していても、動作を継続するうちにＧＯＰ位相がずれてしまうという問題がある。また、異なるＧＯＰ開始時刻から符号化を開始した装置とはＧＯＰ同期をとることが困難という問題もある。そこで、本発明は、ＧＯＰ同期の実現を第二の課題とする。
すなわち、本発明は、ＭＰＥＧ−２ ＴＳをＭＭＴに変換して伝送する映像音声伝送システム、伝送方法、送信装置及び受信装置であって、前記課題を解決するために、装置間のクロック偏差を解消することによって、復号装置におけるバッファ溢れやバッファ枯渇の回避と符号化装置におけるＧＯＰ同期の実現を目的とする。
上記目的を達成するために、本発明に係る映像音声伝送システムは、絶対時刻を利用してゲンロック信号を生成することとした。
具体的には、本発明に係る映像音声伝送システムは、
配下のカメラからの映像音声信号を配下の符号化装置で符号化して任意の伝送プロトコルのパケットで送信する送信装置を複数台と、
前記送信装置それぞれから送信された前記パケットを配下の復号装置で復号してそれぞれの前記映像音声信号に復号する受信装置を複数台と、
を備え、それぞれの前記符号化装置をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）同期させる映像音声伝送システムであって、
それぞれの前記送信装置は、送信側クロック信号生成部、送信側ゲンロック信号生成部、スタート制御部及び送信制御部を有し、
前記送信側クロック信号生成部は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
前記送信側ゲンロック信号生成部は、該絶対時刻から前記送信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記カメラに供給し、
前記スタート制御部は、該絶対時刻から前記送信装置間で共通する第２方法でＧＯＰ境界時刻を算出し、前記カメラからの映像音声信号の符号化を開始する指示であるスタート信号を前記符号化装置へ送信するタイミングを該ＧＯＰ境界時刻で制御し、
前記送信制御部は、前記符号化装置が生成した符号化ストリームに含まれるタイムスタンプを該絶対時刻に従ったタイムスタンプに置換して前記伝送プロトコルのパケットとして送信し、
それぞれの受信装置は、受信側クロック信号生成部、受信側ゲンロック信号生成部、及び受信制御部を有し、
前記受信側クロック信号生成部は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
前記受信側ゲンロック信号生成部は、該絶対時刻から前記受信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記復号装置に供給し、
前記受信制御部は、該絶対時刻から前記受信装置間で共通する第３方法で相対時刻を生成し、受信した前記伝送プロトコルのパケットから前記符号化ストリームを抽出し、該符号化ストリームに含まれる前記絶対時刻に従ったタイムスタンプを、前記相対時刻に従ったタイムスタンプに置換する
ことを特徴とする。
また、本発明に係る伝送方法は、
配下のカメラからの映像音声信号を配下の符号化装置で符号化して任意の伝送プロトコルのパケットで送信する送信装置を複数台と、
前記送信装置それぞれから送信された前記パケットを配下の復号装置で復号してそれぞれの前記映像音声信号に復号する受信装置を複数台と、
前記受信装置それぞれで復号された前記映像音声信号を合成して一つの画像として表示する表示装置を複数台と、
を備える映像音声伝送システムでの伝送方法であって、
それぞれの前記送信装置は、送信側クロック信号生成手順、送信側ゲンロック信号生成手順、スタート制御手順及び送信制御手順を行っており、
前記送信側クロック信号生成手順では、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
前記送信側ゲンロック信号生成手順では、該絶対時刻から前記送信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記カメラに供給し、
前記スタート制御手順では、該絶対時刻から前記送信装置間で共通する第２方法でＧＯＰ境界時刻を算出し、前記カメラからの映像音声信号の符号化を開始する指示であるスタート信号を前記符号化装置へ送信するタイミングを該ＧＯＰ境界時刻で制御し、
前記送信制御手順では、前記符号化装置が生成した符号化ストリームに含まれるタイムスタンプを該絶対時刻に従ったタイムスタンプに置換して前記伝送プロトコルのパケットとして送信し、
それぞれの受信装置は、受信側クロック信号生成手順、受信側ゲンロック信号生成手順、及び受信制御手順を行っており、
前記受信側クロック信号生成手順では、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
前記受信側ゲンロック信号生成手順では、該絶対時刻から前記受信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記復号装置に供給し、
前記受信制御手順では、該絶対時刻から前記受信装置間で共通する第３方法で相対時刻を生成し、受信した前記伝送プロトコルのパケットから前記符号化ストリームを抽出し、該符号化ストリームに含まれる前記絶対時刻に従ったタイムスタンプを、前記相対時刻に従ったタイムスタンプに置換し、
それぞれの前記符号化装置をＧＯＰ同期し、且つ前記受信装置で生成する前記相対時刻を同期することを特徴とする。
また、本発明に係る送信装置は、配下のカメラからの映像音声信号を配下の符号化装置で符号化して任意の伝送プロトコルのパケットで送信する送信装置であって、
送信側クロック信号生成部、送信側ゲンロック信号生成部及び送信制御部を有し、
前記送信側クロック信号生成部は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
前記送信側ゲンロック信号生成部は、該映像用クロックから生成したゲンロック信号を配下の前記カメラに供給し、
前記送信制御部は、前記符号化装置が生成した符号化ストリームに含まれるタイムスタンプを該絶対時刻に従ったタイムスタンプに置換して前記伝送プロトコルのパケットとして送信し、
前記符号化ストリームに含まれるタイムスタンプと前記絶対時刻に従ったタイムスタンプとの間で歩進速度が同期したタイムスタンプの変換を行うことを特徴とする。
また、本発明に係る送信装置の前記送信側ゲンロック信号生成部は、該絶対時刻から前記送信装置間で共通する第１方法でフレーム境界時刻を算出し、該フレーム境界時刻で前記ゲンロック信号を制御しており、
前記絶対時刻から前記送信装置間で共通する第２方法でＧＯＰ境界時刻を算出し、前記カメラからの映像音声信号の符号化を開始する指示であるスタート信号を前記符号化装置へ送信するタイミングを該ＧＯＰ境界時刻で制御するスタート制御部をさらに有し、配下の符号化装置と他の送信装置配下の符号化装置とをＧＯＰ同期させることを特徴とする。
また、本発明に係る受信装置は、カメラからの映像音声信号を符号化装置で符号化し、前記符号化装置が生成した符号化ストリームに含まれるタイムスタンプを絶対時刻に従ったタイムスタンプに置換し、送信装置が送信した任意の伝送プロトコルのパケットを配下の復号装置で復号して前記映像音声信号に復号する受信装置であって、
受信側クロック信号生成部、受信側ゲンロック信号生成部、及び受信制御部を有し、
前記受信側クロック信号生成部は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
前記受信側ゲンロック信号生成部は、該絶対時刻から前記受信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記復号装置に供給し、
前記受信制御部は、該絶対時刻から前記受信装置間で共通する第３方法で相対時刻を生成し、受信した前記伝送プロトコルのパケットから前記符号化ストリームを抽出し、該符号化ストリームに含まれる前記絶対時刻に従ったタイムスタンプを、前記相対時刻に従ったタイムスタンプに置換し、
前記相対時刻を他の受信装置で生成する相対時刻と同期することを特徴とする。
全ての送信装置は、共通の時刻情報から共通の方法で生成したクロックをゲンロック信号としてカメラに供給する。このため、当該カメラは他のカメラと同期した映像信号を出力する。符号化装置内部のＳＴＣのクロック周波数は、入力される映像信号のクロックに追従するため、全ての符号化装置のＰＣＲの歩進速度が前記共通の時刻情報に同期する。また、全ての受信装置は、前記共通の時刻情報から共通の方法で生成したクロックをゲンロック信号として復号装置に供給する。このため、全ての復号装置のＰＣＲの歩進速度が前記共通の時刻情報に同期するため、装置間のクロック偏差が解消され、ＰＣＲとＵＴＣの間で正確な相互変換が可能となる。つまり、ＰＣＲとＵＴＣの間での正確な相互変換により、復号装置におけるバッファ溢れやバッファ枯渇を回避することができる。
さらに、分散した複数のカメラが出力する映像信号のフレーム周期を揃えることができ、後段の符号化装置での符号化処理の周期も揃うことから、ＧＯＰの同期を保つことができる。
従って、本発明は、装置間のクロック偏差を解消することによって、復号装置におけるバッファ溢れやバッファ枯渇の回避と符号化装置におけるＧＯＰ同期の実現が可能な映像音声伝送システム、伝送方法、送信装置及び受信装置を提供することができる。
本発明に係る映像音声伝送システムの前記受信制御部は、複数の前記送信装置から受信したそれぞれの前記伝送プロトコルのパケットを保持する複数のバッファを有し、選択したいずれかの前記バッファの前記伝送プロトコルのパケットから前記符号化ストリームを抽出することを特徴とする。受信装置が複数のバッファを有することで、無瞬断で複数の映像を切り替えることができる。
本発明は、装置間のクロック偏差を解消することによって、復号装置におけるバッファ溢れやバッファ枯渇の回避と符号化装置におけるＧＯＰ同期の実現が可能な映像音声伝送システム、伝送方法、送信装置及び受信装置を提供することができる。
本発明に係る送信装置を説明する図である。 本発明に係る受信装置を説明する図である。 本発明に係る送信装置のクロック信号生成部が協定世界時（ＵＴＣ）へ追従する性能を説明する図である。 本発明に係る送信装置におけるフレームとスタート信号入力とのタイミングを説明する図である。 本発明に係る送信装置の動作を説明する図である。 本発明に係る映像音声伝送システムを説明する図である。 本発明に係る映像音声伝送システムを説明する図である。 本発明に係る映像音声伝送システムにおいて映像の切り替えを行うときの動作を説明する図である。 本発明に係る映像音声伝送システムを説明する図である。 本発明に係る映像音声伝送システムにおいて映像の切り替えを行うときの動作を説明する図である。
添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
（実施形態の条件）
本実施形態の前提条件を説明する。
符号化装置が送信装置に供給する符号化ストリームは、映像信号のクロックに従って歩進する相対時刻を含む。相対時刻は、符号化装置と復号装置の間でのみ時刻として機能するものを指す。また、符号化ストリームのペイロードである映像／音声は、前記相対時刻で表される表示タイムスタンプを有する。
例えば、符号化ストリームはＭＰＥＧ−２ ＴＳ形式である。相対時刻にはＰＣＲが該当し、表示タイムスタンプにはＰＴＳが該当する。
カメラは供給されるゲンロック信号に同期した映像／音声信号を出力する。
符号化装置は入力信号のクロックに同期して動作するものとする。
同期動作させる符号化装置は、映像信号の入力から表示までの遅延時間およびＧＯＰ構造が同じになるように設定されているものとする。
伝送プロトコルは限定しないが、符号化ストリームに含まれる相対時刻での表示タイムスタンプを絶対時刻での表示タイムスタンプに変換し、伝送するものとする。例えば、伝送プロトコルは、ＭＭＴである。また、Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ（ＲＴＰ）等に同等の機能を追加した独自のプロトコルでもよい。
復号装置は、相対時刻値を含む符号化ストリームを受信し、映像／音声を表示タイムスタンプに従って復号／出力するものとする。
（実施形態１）
本実施形態は、映像／音声の符号化ストリームをＭＰＥＧ−２ ＴＳからＭＭＴプロトコルに変換してＩＰネットワークで伝送する送信装置と、ＭＭＴプロトコルで受信した映像／音声の符号化ストリームをＭＰＥＧ−２ ＴＳに変換する復号装置である。
図１は、本実施形態の送信装置１０の構成を説明する図である。送信装置１０は、配下のカメラ１７からの映像音声信号を配下の符号化装置１６で符号化して任意の伝送プロトコルのパケットで送信する送信装置であって、
送信側クロック信号生成部１１、送信側ゲンロック信号生成部１２、スタート制御部１３及び送信制御部１４を有し、
送信側クロック信号生成部１１は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
送信側ゲンロック信号生成部１２は、該絶対時刻から前記送信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下のカメラ１７に供給し、
スタート制御部１３は、該絶対時刻から前記送信装置間で共通する第２方法でＧＯＰ境界時刻を算出し、カメラ１７からの映像音声信号の符号化を開始する指示であるスタート信号を符号化装置１６へ送信するタイミングを該ＧＯＰ境界時刻で制御し、
送信制御部１４は、符号化装置１６が生成した符号化ストリームに含まれるタイムスタンプを該絶対時刻に従ったタイムスタンプに置換して前記伝送プロトコルのパケットとして送信し、
前記符号化ストリームに含まれるタイムスタンプと前記絶対時刻に従ったタイムスタンプとの間で歩進速度が同期したタイムスタンプの変換を行うことを特徴とする。
本実施形態では、カメラ１７の出力映像はＨｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（ＨＤ−ＳＤＩ）信号、ゲンロック信号にもＨＤ−ＳＤＩ信号を用い、音声もＨＤ−ＳＤＩ信号にエンベッドされているものとする。映像符号化方式はＨ．２６５を、音声符号化はＭＰＥＧ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ（ＡＡＣ）を、符号化ストリーム形式はＭＰＥＧ−２ ＴＳを用いるものとする。映像用クロック信号の周波数には２７ＭＨｚを用いるものとする。
なお、本実施形態においては、カメラ１７、符号化装置１６、及び復号装置２６に特別な機能が必要無いことから、既存のカメラ、符号化装置、及び復号装置を有効に活用することが可能である。
クロック信号生成部１１は、ＵＴＣ等の絶対時刻を保持し、前記絶対時刻に同期した映像用クロック信号を生成する。絶対時刻の取得に、ＮＴＰやＰｒｅｃｉｓｉｏｎ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ（ＰＴＰ）、あるいはＧＰＳ信号を用いてもよい。これらの絶対時刻値取得方法と、外部から供給される１ Ｐｕｌｓｅ Ｐｅｒ Ｓｅｃｏｎｄ（ＰＰＳ）等のパルス信号を組み合わせて精度向上を図ってもよい。
本実施形態では、ＮＴＰを用いてＵＴＣを取得する。そして、２２４Ｈｚクロック信号生成部１１−１が前記ＵＴＣと歩進速度が合うように２２４Ｈｚのクロック信号源であるＶｏｌｔａｇｅ Ｃｏｎｔｒｏｌｌｅｄ Ｃｒｙｓｔａｌ Ｏｓｃｉｌｌａｔｏｒ（ＶＣＸＯ）の発振周波数を制御する。ＵＴＣは、ＮＴＰの長形式タイムスタンプ（整数部３２ビット、小数部３２ビット）で表現する。ＮＴＰによって取得されるＵＴＣの系列｛ｓ１、ｓ２、・・・｝は誤差を含んでいると考えられるため、ＰＩＤ制御を用いる。ｓｋ（ｋは自然数）に対する予測値をｔｋとすると、制御偏差はｅｋ＝ｓｋ−ｔｋと表される。クロック周波数を２２４Ｈｚとしたことにより、予測値はクロックの立ち上がりごとにカウンタの２−２４の桁をインクリメントさせるだけで生成することができる。ＶＣＸＯへの印加電圧をＶｋ、比例ゲインをＫＰ、積分ゲインをＫＩ、微分ゲインをＫＤとすると、ＰＩＤ制御は下記のように表される。
Figure 0006813933
図３に、ＵＴＣへの追従制御を行った結果の一例を示す。実験条件として、中心値１０ｍｓ、標準偏差１ｍｓの正規分布に従う遅延ジッタが付加されているが、制御偏差は１００マイクロ秒以下に抑えられている。さらに、１ｐｐｓや１０Ｍｐｐｓ等のパルス信号を用いて同期精度の向上を図ってもよい。
２７ＭＨｚクロック信号生成部１１−２は、このようにして得られた２２４Ｈｚクロック信号を、Ｐｈａｓｅ Ｌｏｃｋ Ｌｏｏｐ（ＰＬＬ）によって分周／逓倍し、映像用クロック信号である２７ＭＨｚを生成する。
ゲンロック信号生成部１２は、映像用クロック信号からゲンロック信号用ＨＤ−ＳＤＩ信号を生成し、カメラ１７を同期させる。ゲンロック信号として使用される信号には、ＨＤ−ＳＤＩ信号以外にもＢｌａｃｋＢｕｒｓｔ信号、３値同期信号等がある。絶対時刻から共通の第１の方法によってフレーム境界時刻を算出し、複数の分散した送信装置で同位相のゲンロック信号を生成する。共通の第１の方法として、本実施形態では、ＮＴＰの長形式タイムスタンプに合わせて１９００年１月１日０時０分０秒を始点として時間軸をフレーム周期Ｔで分割し、ｉ（ｉは０以上の整数）番目のフレーム開始時刻をｉＴとする。符号化装置１６の動作は入力される映像信号に追従するため、カメラ１７が出力する映像／音声信号をゲンロック信号で制御すれば、後段の符号化装置１７も同じフレーム周期で動作するため、ゲンロック信号に追従する。このため、分散した符号化装置１６間のフレーム周期の偏差を解消することができる。
スタート制御部１３は、スタート信号を符号化装置１６に送信するタイミングを制御する。全ての送信装置のスタート制御部１３において、絶対時刻から共通の第２の方法でＧＯＰ境界時刻を算出し、前記ＧＯＰ境界時刻から符号化が開始されるようにスタート信号の送信タイミングを制御する。共通の第２の方法として、本実施形態では、フレーム境界と同様に、１９００年１月１日０時０分０秒を始点として時間軸をＧＯＰ周期で分割し、ＧＯＰ長をＬフレームとすると、ｊ（ｊは０以上の整数）番目のＧＯＰの先頭フレーム（ＧＯＰ先頭候補フレームと呼ぶ）のフレーム番号をｊＬ、該ＧＯＰ開始時刻をｊＬＴとする（図４）。
各符号化装置１６が任意のＧＯＰ先頭候補フレームから符号化を開始することで、ＧＯＰ同期が実現される。符号化開始をＧＯＰ先頭候補フレームに制限するため、スタート信号制御部１３は、図５に示すように、符号化を開始させるスタート信号の送信タイミングを制御する。スタート信号制御部１３は、外部から送信開始命令が入力されると（ステップＳ０１）、そのときの時刻ｔ（ＵＴＣ）について、ｋを０以上の任意の整数として、ＵｋL≦ｔ＜ＵｋL＋１であるか否かを判断する（ステップＳ０２）。時刻ｔが前記期間に含まれない場合（ステップＳ０２において“Ｎｏ”）、時刻ｔが前記期間に含まれるまで一時待機し（ステップＳ０３）、時刻ｔが前記期間に含まれる場合（ステップＳ０２において“Ｙｅｓ”）、符号化装置１６に対してスタート信号を送信する（ステップＳ０４）。ただしＵｉは、符号化装置１６にスタート信号を入力するとｉ番目のフレームから符号化が開始される期間の始点である。
送信制御部１４では、ＭＰＥＧ−２ ＴＳから映像／音声ＰＥＳを抽出し、ＧＯＰ単位でＭＰＵを構成してＩＰネットワークに送出する。ＭＰＵの提示時刻を制御するために、ＧＯＰ先頭のＰＴＳをｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅに変換して制御メッセージで伝送する。ＰＣＲ基準のＰＴＳ（ｔＰＴＳ）を、式２によってＵＴＣ基準のｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅ（ｔｍｐｕ）に変換する。
［数２］
ｔｍｐｕ ＝ＴＵＴＣ ＋（ｔＰＴＳ −ＴＰＣＲ ）／ｆＳＴＣ （２）
ただし、ＴＵＴＣとＴＰＣＲは、任意のタイミングで保存したＵＴＣとＰＣＲの組である。
ｔｍｐｕとＴＵＴＣは、１９００年１月１日０時０分０秒からの経過秒数とする。また、ｆＳＴＣ＝２．７×１０７とし、ｔＰＴＳとＴＰＣＲは２７ＭＨｚでのカウント数に換算した値であるとする。すなわち、ＰＴＳは３３ビットの９０ｋＨｚカウンタであるため、３００倍した値をｔＰＴＳとして用いる。ＰＣＲは、上位３３ビットが９０ｋＨｚのカウンタで、下位９ビットが０〜２９９までの２７ＭＨｚカウンタであるため、上位３３ビットの数字を３００倍して下位９ビットを足した値をＴＰＣＲとして用いる。必要に応じてオフセットを挿入してもよい。
図２は、本実施形態の受信装置２０の構成を説明する図である。受信装置２０は、カメラ１７からの映像音声信号を符号化装置１６で符号化し、符号化装置１６が生成した符号化ストリームに含まれるタイムスタンプを絶対時刻に従ったタイムスタンプに置換し、送信装置１０が送信した任意の伝送プロトコルのパケットを配下の復号装置２６で復号して前記映像音声信号に復号する受信装置であって、
受信側クロック信号生成部２１、受信側ゲンロック信号生成部２２、及び受信制御部２３を有し、
受信側クロック信号生成部２１は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
受信側ゲンロック信号生成部２２は、該絶対時刻から生成したゲンロック信号を配下の復号装置２６に供給し、
受信制御部２３は、該絶対時刻から前記受信装置間で共通する第３方法で相対時刻を生成し、受信した前記伝送プロトコルのパケットから前記符号化ストリームを抽出し、該符号化ストリームに含まれる前記絶対時刻に従ったタイムスタンプを、前記相対時刻に従ったタイムスタンプに置換し、
前記相対時刻を他の受信装置で生成する相対時刻と同期することを特徴とする。
クロック信号生成部２１およびゲンロック信号生成部２２の機能は、送信装置のクロック信号生成部１１およびゲンロック信号生成部１２の機能と同様である。受信装置２０は、生成したゲンロック信号によって復号装置２６のフレーム位相を他の復号装置と同期させることができる。
受信制御部２３は、受信したＭＭＴプロトコルパケットから映像／音声を抽出し、映像／音声ＰＥＳを再構成し、ＭＰＥＧ−２ ＴＳを出力する。受信制御部２３は、供給される２７ＭＨｚクロック信号に従って歩進するＰＣＲを保持し、ＭＰＥＧ−２ ＴＳへのＰＣＲやＰＴＳの打刻に使用するが、ＰＣＲの初期値には任意性がある。全ての受信装置が、共通の第３の方法でＵＴＣからＳＴＣを導出することにより、初期値の任意性を解消し、複数の分散した受信装置でＰＣＲの自律的な同期を可能にする。共通の第３の方法として、本実施形態では、１９００年１月１日０時０分０秒をＰＣＲの始点として、ＵＴＣ（ｔＵＴＣ）からＳＴＣ（ｔＰＣＲ）を計算する。ＵＴＣ値をからＳＴＣへの変換は、
［数３］
ｔＰＣＲ ＝ｔＵＴＣ ×ｆＳＴＣ （３）
と表される。また、ｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅからＰＴＳへの変換にも数３を使用する。
受信制御部２３は、復号装置２６がＧＯＰ同期する複数の送信装置１０から受信したそれぞれの前記伝送プロトコルのパケットを保持する複数のバッファを有し、選択したいずれかの前記バッファの前記伝送プロトコルのパケットから前記符号化ストリームを抽出することを特徴とする。
受信制御部２３は、複数の送信装置１０から映像／音声を含むＭＭＴプロトコルパケットを同時に受信し、ＭＰＥＧ−２ ＴＳとして出力する映像／音声の切り替えを可能にするために、複数のバッファを備えてもよい。受信制御部２３では、符号化装置１６が付与するＰＣＲに関わらず、受信装置２０でＵＴＣから導出したＰＣＲを付与するため、映像／音声切り替えの前後でＰＣＲが不連続に変化することが無い。故に、復号装置２６をリセットすることなく動作を継続させることができる。
（実施形態２）
本実施形態は、異なる場所で撮影した映像を、ＭＭＴプロトコルを用いてＩＰネットワークで伝送し、合成して表示する映像音声伝送システム３０１である。図６は、当該システムの全体構成例である。
本実施形態の映像音声伝送システム３０１は、
配下のカメラ１７からの映像音声信号を配下の符号化装置１６で符号化して任意の伝送プロトコルのパケットで送信する送信装置１０を複数台と、
送信装置１０それぞれから送信された前記パケットを配下の復号装置２６で復号してそれぞれの前記映像音声信号に復号する受信装置２０を複数台と、
受信装置２０それぞれで復号された前記映像音声信号を合成して一つの画像として表示する表示装置３０と、
を備え、それぞれの符号化装置１６をＧＯＰ同期させる映像音声伝送システムであって、
それぞれの送信装置１０は、送信側クロック信号生成部１１、送信側ゲンロック信号生成部１２、スタート制御部１３及び送信制御部１４を有し、
送信側クロック信号生成部１１は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
送信側ゲンロック信号生成部１２は、該絶対時刻から前記送信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下のカメラ１７に供給し、
スタート制御部１３は、該絶対時刻から送信装置１０間で共通する第２方法でＧＯＰ境界時刻を算出し、カメラ１７からの映像音声信号の符号化を開始する指示であるスタート信号を符号化装置１６へ送信するタイミングを該ＧＯＰ境界時刻で制御し、
送信制御部１４は、符号化装置１６が生成した符号化ストリームに含まれるタイムスタンプを該絶対時刻に従ったタイムスタンプに置換して前記伝送プロトコルのパケットとして送信し、
それぞれの受信装置２０は、受信側クロック信号生成部２１、受信側ゲンロック信号生成部２２、及び受信制御部２３を有し、
受信側クロック信号生成部２１は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
受信側ゲンロック信号生成部２２は、該絶対時刻から他の受信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の復号装置２６に供給し、
受信制御部２３は、該絶対時刻から受信装置２０間で共通する第３方法で相対時刻を生成し、受信した前記伝送プロトコルのパケットから前記符号化ストリームを抽出し、該符号化ストリームに含まれる前記絶対時刻に従ったタイムスタンプを、前記相対時刻に従ったタイムスタンプに置換する
ことを特徴とする。
映像音声伝送システム３０１は、２台の受信装置２０から出力されたＨＤ−ＳＤＩ信号を合成装置３１で合成（２つの映像を縦又は横に並べて１つの映像とする）し、１本のＨＤ−ＳＤＩ信号として出力する。合成される２本の映像がＧＯＰ同期していることにより、モニタ３２で表示する合成映像の画質を均一に保つことができる。
（実施形態３）
図７は、本実施形態の映像音声伝送システム３０２を説明する図である。映像音声伝送システム３０２は、複数の送信装置１０からのＭＭＴプロトコルパケットを、複数のバッファを有する単一の受信装置２０が受信し、ＭＰＥＧ−２ ＴＳで出力する映像／音声を切り替えて復号装置２６へ出力する点が実施形態２の映像音声伝送システム３０１と異なる。すなわち、受信制御部２３は、複数の送信装置１０から受信したそれぞれの前記伝送プロトコルのパケットを保持する複数のバッファを有し、選択したいずれかの前記バッファの前記伝送プロトコルのパケットから前記符号化ストリームを抽出することを特徴とする。
本実施形態では、１つのＧＯＰで１つのＭＰＵを構成するものとする。受信装置２０のバッファでは、受信したＭＭＴプロトコルパケットからＭＰＵを再構成して蓄積する。制御メッセージに含まれるｍｐｕ＿ｐｒｅｓｅｎｔａｔｉｏｎ＿ｔｉｍｅから、各ＭＰＵに表示時刻を対応付けることができる。
図８は、受信装置２０が行う映像１から映像２への切り替え動作を表す図である。映像１と映像２の間でＧＯＰ境界時刻が揃っているため、映像切替の前後でも表示時刻は連続的かつ等間隔に変化する。さらに、送出するＭＰＥＧ−２ ＴＳのＰＣＲが切替の前後で連続的に変化することから、復号装置２６をリセットすることなく無瞬断での映像切替が可能である。
（実施形態４）
図９は、本実施形態の映像音声伝送システム３０３を説明する図である。映像音声伝送システム３０３は、符号化装置１６を複数台備えることで信頼性を高めている。本実施形態の送信装置１０は、実施形態１の送信装置１０に、複数の符号化装置１６からのＭＰＥＧ−２ ＴＳを個別に蓄積する複数のバッファと、当該バッファを切り替えて映像／音声をＭＭＴプロトコルパケットでＩＰネットワークに送出する機能と、共通の第三の方法によってＵＴＣから導出したＰＣＲを複数の符号化装置１６に送信する機能と、を追加した構成である。すなわち、送信制御部１４に、複数の符号化装置１６から受信したそれぞれの前記符号化ストリームを保持する複数のバッファを有し、選択したいずれかの前記バッファの前記符号化ストリームから前記プロトコルパケットを送出することを特徴とする。
本実施形態では、スタート制御部１３が数３を用いてＵＴＣからＰＣＲを計算し、当該ＰＣＲをスタート信号に含めて符号化装置１６へ送信する。それぞれの符号化装置１６は、送信装置１０から前記ＰＣＲを受信すると、前記ＰＣＲによって自身の保持するＰＣＲを初期化するものとする。すなわち、送信装置１０から前記ＰＣＲを受信した複数の符号化装置１６は、出力するＭＰＥＧ−２ ＴＳのＰＣＲが揃っているものとする。
図１０は、送信装置１０が行う映像３から映像４への切り替え動作を示す図である。送信制御部１４のバッファで複数の符号化装置１６からのＭＰＥＧ−２ ＴＳを受信し、それぞれからＰＥＳを抽出して蓄積する。複数の符号化装置１６に、共通の映像信号が供給され、かつ、ＰＣＲが揃っていることから、同一のフレームがそれぞれのバッファで同一のＰＴＳを有するＰＥＳとして蓄積される。ＭＭＴプロトコルパケットとして送出する際には、いずれか一方のバッファからＰＥＳを引き抜く。映像３と映像４は２台の符号化装置のＭＰＥＧ−２ ＴＳからそれぞれ抽出したＰＥＳの系列であるとする。仮に、一方の系列が何らかの理由で途切れたとしても、他方のバッファから同じＰＥＳを得ることができるため、映像断を回避することができる。ＭＰＵで蓄積して切り替えることも可能である。しかし、ＧＯＰ単位で構成されるＭＰＵでの切替に比べて、ＰＥＳ単位での切替はより短い時間間隔で制御可能である。
（発明の効果）
送信装置１０において時刻情報から生成したクロックを、ゲンロック信号としてカメラに供給し、さらにカメラ１７が出力する映像信号のクロックとして符号化装置１６に供給することより、符号化装置のＰＣＲの歩進速度が前記共通の時刻情報に同期する。受信装置２０においても時刻情報から生成したクロックを、ゲンロック信号として復号装置に供給することにより、復号装置のＰＣＲの歩進速度が前記共通の時刻情報に同期する。このため、装置間のクロック偏差が解消され、ＰＣＲとＵＴＣの間で正確な相互変換が可能となることにより、復号装置におけるバッファ溢れやバッファ枯渇を回避することができる。さらに、分散した複数の符号化装置１６のフレーム周期を揃え、確実なＧＯＰ同期を実現することができる。
さらに、受信装置２０が複数のバッファを有し、複数の映像を切り替える場合、無瞬断での切り替えが可能となる。
さらに、送信装置１０が複数のバッファを有し、同一の映像信号が入力された複数の符号化装置の映像を切り替える場合、一方の符号化装置の故障による映像断の回避が可能である。
１０：送信装置
１１：送信側クロック信号生成部
１２：送信側ゲンロック信号生成部
１３：スタート制御部
１４：送信制御部
１６：符号化装置
１７：カメラ
２０：受信装置
２１：受信側クロック信号生成部
２２：受信側ゲンロック信号生成部
２３：受信制御部
２６：復号装置
３０：表示装置
３１：合成装置
３２：モニタ
３０１、３０２、３０３：映像音声伝送システム

Claims (8)

  1. 配下のカメラからの映像音声信号を配下の符号化装置で符号化して任意の伝送プロトコルのパケットで送信する送信装置を複数台と、
    前記送信装置それぞれから送信された前記パケットを配下の復号装置で復号してそれぞれの前記映像音声信号に復号する受信装置を複数台と、
    を備え、それぞれの前記符号化装置をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）同期させる映像音声伝送システムであって、
    それぞれの前記送信装置は、送信側クロック信号生成部、送信側ゲンロック信号生成部、スタート制御部及び送信制御部を有し、
    前記送信側クロック信号生成部は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
    前記送信側ゲンロック信号生成部は、該絶対時刻から前記送信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記カメラに供給し、
    前記スタート制御部は、該絶対時刻から前記送信装置間で共通する第２方法でＧＯＰ境界時刻を算出し、前記カメラからの映像音声信号の符号化を開始する指示であるスタート信号を前記符号化装置へ送信するタイミングを該ＧＯＰ境界時刻で制御し、
    前記送信制御部は、前記符号化装置が生成した符号化ストリームに含まれるタイムスタンプを該絶対時刻に従ったタイムスタンプに置換して前記伝送プロトコルのパケットとして送信し、
    それぞれの受信装置は、受信側クロック信号生成部、受信側ゲンロック信号生成部、及び受信制御部を有し、
    前記受信側クロック信号生成部は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
    前記受信側ゲンロック信号生成部は、該絶対時刻から前記受信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記復号装置に供給し、
    前記受信制御部は、該絶対時刻から前記受信装置間で共通する第３方法で相対時刻を生成し、受信した前記伝送プロトコルのパケットから前記符号化ストリームを抽出し、該符号化ストリームに含まれる前記絶対時刻に従ったタイムスタンプを、前記相対時刻に従ったタイムスタンプに置換する
    ことを特徴とする映像音声伝送システム。
  2. 前記受信制御部は、複数の前記送信装置から受信したそれぞれの前記伝送プロトコルのパケットを保持する複数のバッファを有し、
    選択したいずれかの前記バッファの前記伝送プロトコルのパケットから前記符号化ストリームを抽出することを特徴とする請求項１に記載の映像音声伝送システム。
  3. 配下のカメラからの映像音声信号を配下の符号化装置で符号化して任意の伝送プロトコルのパケットで送信する送信装置を複数台と、
    前記送信装置それぞれから送信された前記パケットを配下の復号装置で復号してそれぞれの前記映像音声信号に復号する受信装置を複数台と、
    前記受信装置それぞれで復号された前記映像音声信号を表示する表示装置を複数台と、
    を備える映像音声伝送システムでの伝送方法であって、
    それぞれの前記送信装置は、送信側クロック信号生成手順、送信側ゲンロック信号生成手順、スタート制御手順及び送信制御手順を行っており、
    前記送信側クロック信号生成手順では、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
    前記送信側ゲンロック信号生成手順では、該絶対時刻から前記送信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記カメラに供給し、
    前記スタート制御手順では、該絶対時刻から前記送信装置間で共通する第２方法でＧＯＰ境界時刻を算出し、前記カメラからの映像音声信号の符号化を開始する指示であるスタート信号を前記符号化装置へ送信するタイミングを該ＧＯＰ境界時刻で制御し、
    前記送信制御手順では、前記符号化装置が生成した符号化ストリームに含まれるタイムスタンプを該絶対時刻に従ったタイムスタンプに置換して前記伝送プロトコルのパケットとして送信し、
    それぞれの受信装置は、受信側クロック信号生成手順、受信側ゲンロック信号生成手順、及び受信制御手順を行っており、
    前記受信側クロック信号生成手順では、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
    前記受信側ゲンロック信号生成手順では、該絶対時刻から前記受信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記復号装置に供給し、
    前記受信制御手順では、該絶対時刻から前記受信装置間で共通する第３方法で相対時刻を生成し、受信した前記伝送プロトコルのパケットから前記符号化ストリームを抽出し、該符号化ストリームに含まれる前記絶対時刻に従ったタイムスタンプを、前記相対時刻に従ったタイムスタンプに置換し、
    それぞれの前記符号化装置をＧＯＰ同期し、且つ前記受信装置で生成する前記相対時刻を同期することを特徴とする伝送方法。
  4. 配下のカメラからの映像音声信号を配下の符号化装置で符号化して任意の伝送プロトコルのパケットで送信する送信装置であって、
    送信側クロック信号生成部、送信側ゲンロック信号生成部及び送信制御部を有し、
    前記送信側クロック信号生成部は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
    前記送信側ゲンロック信号生成部は、該映像用クロックから生成したゲンロック信号を配下の前記カメラに供給し、
    前記送信制御部は、前記符号化装置が生成した符号化ストリームに含まれるタイムスタンプを該絶対時刻に従ったタイムスタンプに置換して前記伝送プロトコルのパケットとして送信し、
    前記符号化ストリームに含まれるタイムスタンプと前記絶対時刻に従ったタイムスタンプとの間で歩進速度が同期したタイムスタンプの変換を行うことを特徴とする送信装置。
  5. 前記送信側ゲンロック信号生成部は、該絶対時刻から前記送信装置間で共通する第１方法でフレーム境界時刻を算出し、該フレーム境界時刻で前記ゲンロック信号を制御しており、
    前記絶対時刻から前記送信装置間で共通する第２方法でＧＯＰ境界時刻を算出し、前記カメラからの映像音声信号の符号化を開始する指示であるスタート信号を前記符号化装置へ送信するタイミングを該ＧＯＰ境界時刻で制御するスタート制御部をさらに有し、配下の符号化装置と他の送信装置配下の符号化装置とをＧＯＰ同期させることを特徴とする請求項４に記載の送信装置。
  6. 前記絶対時刻から前記送信装置間で共通する第３方法で導出した相対時刻を送信すること
    を特徴とする請求項４に記載の送信装置。
  7. カメラからの映像音声信号を符号化装置で符号化し、前記符号化装置が生成した符号化ストリームに含まれるタイムスタンプを絶対時刻に従ったタイムスタンプに置換し、送信装置が送信した任意の伝送プロトコルのパケットを配下の復号装置で復号して前記映像音声信号に復号する受信装置であって、
    受信側クロック信号生成部、受信側ゲンロック信号生成部、及び受信制御部を有し、
    前記受信側クロック信号生成部は、絶対時刻を取得して該絶対時刻に同期した映像用クロックを生成し、
    前記受信側ゲンロック信号生成部は、該絶対時刻から前記受信装置間で共通する第１方法でフレーム境界時刻を生成し、該映像用クロックと該フレーム境界時刻から生成したゲンロック信号を配下の前記復号装置に供給し、
    前記受信制御部は、該絶対時刻から前記受信装置間で共通する第３方法で相対時刻を生成し、受信した前記伝送プロトコルのパケットから前記符号化ストリームを抽出し、該符号化ストリームに含まれる前記絶対時刻に従ったタイムスタンプを、前記相対時刻に従ったタイムスタンプに置換し、
    前記相対時刻を他の受信装置で生成する相対時刻と同期することを特徴とする受信装置。
  8. 前記受信制御部は、前記復号装置がＧＯＰ同期する複数の前記送信装置から受信したそれぞれの前記伝送プロトコルのパケットを保持する複数のバッファを有し、
    選択したいずれかの前記バッファの前記伝送プロトコルのパケットから前記符号化ストリームを抽出することを特徴とする請求項７に記載の受信装置。
JP2018136224A 2018-07-19 2018-07-19 映像音声伝送システム、伝送方法、送信装置及び受信装置 Active JP6813933B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018136224A JP6813933B2 (ja) 2018-07-19 2018-07-19 映像音声伝送システム、伝送方法、送信装置及び受信装置
PCT/JP2019/027927 WO2020017499A1 (ja) 2018-07-19 2019-07-16 映像音声伝送システム、伝送方法、送信装置及び受信装置
EP19838333.3A EP3826313B1 (en) 2018-07-19 2019-07-16 Video/audio transmission system, transmission method, transmission device, and reception device
US17/259,250 US11470369B2 (en) 2018-07-19 2019-07-16 Video/audio transmission system, transmission method, transmission device, and reception device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018136224A JP6813933B2 (ja) 2018-07-19 2018-07-19 映像音声伝送システム、伝送方法、送信装置及び受信装置

Publications (2)

Publication Number Publication Date
JP2020014161A JP2020014161A (ja) 2020-01-23
JP6813933B2 true JP6813933B2 (ja) 2021-01-13

Family

ID=69163893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018136224A Active JP6813933B2 (ja) 2018-07-19 2018-07-19 映像音声伝送システム、伝送方法、送信装置及び受信装置

Country Status (4)

Country Link
US (1) US11470369B2 (ja)
EP (1) EP3826313B1 (ja)
JP (1) JP6813933B2 (ja)
WO (1) WO2020017499A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020021309A1 (en) * 2018-07-25 2020-01-30 Nokia Solutions And Networks Oy Synchronizing tsn master clocks in wireless networks
JP2022076343A (ja) * 2020-11-09 2022-05-19 株式会社東芝 フレーム同期装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3978814B2 (ja) * 1997-07-02 2007-09-19 ソニー株式会社 送信装置とその方法、受信装置、および、伝送装置
JP2000244914A (ja) * 1999-02-18 2000-09-08 Matsushita Electric Ind Co Ltd 映像音声多重化カメラ装置
JP2001285789A (ja) * 2000-03-28 2001-10-12 Matsushita Electric Ind Co Ltd 記録装置、媒体及び情報集合体
EP2150062B1 (en) * 2008-07-28 2022-10-26 Imagine Communications Corp. Improved method, system and apparatus for synchronizing signals
JP5561021B2 (ja) * 2010-08-24 2014-07-30 日本電気株式会社 エンコーダ装置切替えシステム及び切替え方法
JP2014090270A (ja) 2012-10-29 2014-05-15 Ntt Electornics Corp 符号化システム
EP2866436A1 (en) * 2013-10-23 2015-04-29 Thomson Licensing Method and apparatus for transmission and reception of media data
US9344748B2 (en) * 2014-03-31 2016-05-17 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
JP6706784B2 (ja) * 2014-09-12 2020-06-10 パナソニックＩｐマネジメント株式会社 送信装置、受信装置、送信方法及び受信方法
US9979991B2 (en) * 2014-11-17 2018-05-22 Skotel Corporation Method and apparatus for deterministic date and time alignment of media signals and generation of time-related labels
US10085051B2 (en) * 2015-02-13 2018-09-25 Samsung Electronics Co., Ltd. Method and apparatus for converting MMTP stream to MPEG-2TS
JP2017005611A (ja) * 2015-06-15 2017-01-05 富士通株式会社 動画像復号装置及び動画像復号方法
CN108476327B (zh) * 2015-08-20 2021-03-19 皇家Kpn公司 基于媒体流来形成拼块化视频
JP6986671B2 (ja) * 2015-10-07 2021-12-22 パナソニックＩｐマネジメント株式会社 受信装置及び受信方法
US10405028B2 (en) * 2015-11-05 2019-09-03 Sony Corporation Content reproduction apparatus and content reproduction method
JP6808357B2 (ja) * 2016-05-25 2021-01-06 キヤノン株式会社 情報処理装置、制御方法、及び、プログラム

Also Published As

Publication number Publication date
EP3826313A1 (en) 2021-05-26
US11470369B2 (en) 2022-10-11
WO2020017499A1 (ja) 2020-01-23
JP2020014161A (ja) 2020-01-23
US20210289243A1 (en) 2021-09-16
EP3826313A4 (en) 2022-03-30
EP3826313B1 (en) 2023-04-19

Similar Documents

Publication Publication Date Title
US6404818B1 (en) Video transmission device and its method
US6429902B1 (en) Method and apparatus for audio and video end-to-end synchronization
US20160366431A1 (en) Video decoding device and video decoding method
JP2011029969A (ja) 映像監視表示装置および映像監視システム
JP2014230154A (ja) 送信装置、送信方法、受信装置および受信方法
JP6813933B2 (ja) 映像音声伝送システム、伝送方法、送信装置及び受信装置
KR102171652B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US7397822B2 (en) Method and system for compensating for timing violations of a multiplex of at least two media packet streams
JP4092705B2 (ja) ストリーム送信装置および受信装置、ならびに送受信方法
JP3893643B2 (ja) 信号多重化方法およびそれを用いた伝送信号生成装置
JP6318953B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP4689231B2 (ja) トランスポートストリーム切換装置
JP2003259365A (ja) データストリーム処理装置
JP5352545B2 (ja) デジタル放送送出装置
JP6908170B2 (ja) 送信方法
JP6743931B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6504294B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2005027006A (ja) データ伝送装置
JP2000244437A (ja) データ多重化装置及びデータ多重化方法
JP2000307542A (ja) データ多重化装置及びデータ多重化方法
JP2021166396A (ja) 送信方法
JP2014150335A (ja) 情報処理装置、情報処理方法及びプログラム
JP2002016915A (ja) 同期信号発生器
JPH1051496A (ja) 多重化装置及び多重化方法
JP2001103026A (ja) 複数エンコーダの同期方法およびその装置

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20180801

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201217

R150 Certificate of patent or registration of utility model

Ref document number: 6813933

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150