JP6215898B2 - 映像処理装置、映像処理システム、および、映像処理方法 - Google Patents

映像処理装置、映像処理システム、および、映像処理方法 Download PDF

Info

Publication number
JP6215898B2
JP6215898B2 JP2015224180A JP2015224180A JP6215898B2 JP 6215898 B2 JP6215898 B2 JP 6215898B2 JP 2015224180 A JP2015224180 A JP 2015224180A JP 2015224180 A JP2015224180 A JP 2015224180A JP 6215898 B2 JP6215898 B2 JP 6215898B2
Authority
JP
Japan
Prior art keywords
video
packet
data packet
buffer
ancillary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015224180A
Other languages
English (en)
Other versions
JP2017092869A (ja
Inventor
孝 喜田村
孝 喜田村
崇史 大木
崇史 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PFU Ltd
Original Assignee
PFU Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PFU Ltd filed Critical PFU Ltd
Priority to JP2015224180A priority Critical patent/JP6215898B2/ja
Priority to US15/057,275 priority patent/US10263743B2/en
Publication of JP2017092869A publication Critical patent/JP2017092869A/ja
Application granted granted Critical
Publication of JP6215898B2 publication Critical patent/JP6215898B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00Arrangements affording multiple use of the transmission path
    • H04L5/003Arrangements for allocating sub-channels of the transmission path
    • H04L5/0044Arrangements for allocating sub-channels of the transmission path allocation of payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343Extraction or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network

Description

本発明は、映像処理装置、映像処理システム、および、映像処理方法に関する。
従来から、圧縮または非圧縮の映像データをネットワーク経由で送受信することで、カメラで撮影した映像データを遠隔地等のディスプレイ等へ出力する技術が開示されている。
ここで、圧縮ビデオデータ内にフレーム間またはフレーム内のどちらで圧縮されたかを判別できる判別データを埋め込み、圧縮ビデオデータ受信側で、その判別データを検出、識別することで、映像チャネル切り替え時に、画像が乱れる不都合を防止する技術が開示されている(特許文献1を参照)。
また、圧縮ビデオデータ内のフレーム間圧縮を行っている位置を示す、GOPヘッダを検出し、映像チャネル切替操作は、このGOPヘッダ単位で実施することで、映像チャネル切り替え時に、画像が乱れる不都合を防止する技術が開示されている(特許文献2を参照)。
また、MPEG画像データのトランスポートストリーム中のペイロードスタートインジケータを使用して、映像チャネル(トランスポートストリーム)の切替を実施することで、切り替え時の画像のブロック崩れなどを防止する技術が開示されている(特許文献3を参照)。
特開平7−298257号公報 特開2001−45477号公報 特開2000−209557号公報
しかしながら、従来の装置(特許文献1等)においては、脱カプセル化をせずに、フレームの先頭データを検出することができないという問題点を有していた。
本発明は、上記問題点に鑑みてなされたもので、一般規格に準拠した独自の識別データのパケットを配置することで、映像フレームの先頭に該当するデータを高速に検出することができる映像処理装置、映像処理システム、および、映像処理方法を提供することを目的とする。
このような目的を達成するため、本発明に係る映像処理装置は、先頭から所定周期でフレームを識別する所定規格の識別データパケットが配置された、前記所定規格の映像データパケットと前記所定規格のアンシラリデータパケットとを含む、前記フレームをネットワークを介して受信するネットワークフレーム受信手段と、前記識別データパケットが先頭に配置されるように、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を所定サイズのバッファに書き込むパケット書込手段と、前記バッファの先頭から、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を読み出すパケット読出手段と、前記映像データパケットを映像データに変換し、前記アンシラリデータパケットをアンシラリデータに変換するデータ変換手段と、前記映像データと前記アンシラリデータとを多重し、映像/アンシラリデータを出力させる映像アンシラリデータ多重手段と、を備えたことを特徴とする。
また、本発明に係る映像処理装置は、撮影装置から映像/アンシラリデータを取得し、映像データとアンシラリデータとに分離する映像アンシラリデータ分離手段と、前記映像データを所定規格の映像データパケットに、前記アンシラリデータを前記所定規格のアンシラリデータパケットに、パケット化するパケット化手段と、先頭から所定周期でフレームを識別する前記所定規格の識別データパケットを配置しつつ、前記映像データパケットと前記アンシラリデータパケットとを配置するパケット配置手段と、前記識別データパケットが先頭に配置されるように、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を所定サイズのバッファに書き込むパケット書込手段と、前記バッファの先頭から、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を読み出すパケット読出手段と、先頭から前記所定周期で前記識別データパケットが配置された、前記映像データパケットと前記アンシラリデータパケットとを含む、前記フレームをネットワークを介して送信するネットワークフレーム送信手段と、を備えたことを特徴とする。
また、本発明に係る映像処理システムは、送信装置と受信装置とを通信可能に接続した映像処理システムであって、前記送信装置は、撮影装置から映像/アンシラリデータを取得し、映像データとアンシラリデータとに分離する映像アンシラリデータ分離手段と、前記映像データを所定規格の映像データパケットに、前記アンシラリデータを前記所定規格のアンシラリデータパケットに、パケット化するパケット化手段と、先頭から所定周期でフレームを識別する前記所定規格の識別データパケットを配置しつつ、前記映像データパケットと前記アンシラリデータパケットとを配置するパケット配置手段と、前記識別データパケットが先頭に配置されるように、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を所定サイズの送信側バッファに書き込むパケット書込手段と、前記送信側バッファの先頭から、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を読み出すパケット読出手段と、先頭から前記所定周期で前記識別データパケットが配置された、前記映像データパケットと前記アンシラリデータパケットとを含む、前記フレームをネットワークを介して送信するネットワークフレーム送信手段と、を備え、前記受信装置は、前記フレームを前記ネットワークを介して受信するネットワークフレーム受信手段と、前記識別データパケットが先頭に配置されるように、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を前記所定サイズの受信側バッファに書き込むパケット書込手段と、前記受信側バッファの先頭から、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を読み出すパケット読出手段と、前記映像データパケットを前記映像データに変換し、前記アンシラリデータパケットを前記アンシラリデータに変換するデータ変換手段と、前記映像データと前記アンシラリデータとを多重し、前記映像/アンシラリデータを出力させる映像アンシラリデータ多重手段と、を備えたことを特徴とする。
また、本発明に係る映像処理方法は、先頭から所定周期でフレームを識別する所定規格の識別データパケットが配置された、前記所定規格の映像データパケットと前記所定規格のアンシラリデータパケットとを含む、前記フレームをネットワークを介して受信するネットワークフレーム受信ステップと、前記識別データパケットが先頭に配置されるように、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を所定サイズのバッファに書き込むパケット書込ステップと、前記バッファの先頭から、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を読み出すパケット読出ステップと、前記映像データパケットを映像データに変換し、前記アンシラリデータパケットをアンシラリデータに変換するデータ変換ステップと、前記映像データと前記アンシラリデータとを多重し、映像/アンシラリデータを出力させる映像アンシラリデータ多重ステップと、を含むことを特徴とする。
また、本発明に係る映像処理方法は、撮影装置から映像/アンシラリデータを取得し、映像データとアンシラリデータとに分離する映像アンシラリデータ分離ステップと、前記映像データを所定規格の映像データパケットに、前記アンシラリデータを前記所定規格のアンシラリデータパケットに、パケット化するパケット化ステップと、先頭から所定周期でフレームを識別する前記所定規格の識別データパケットを配置しつつ、前記映像データパケットと前記アンシラリデータパケットとを配置するパケット配置ステップと、前記識別データパケットが先頭に配置されるように、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を所定サイズのバッファに書き込むパケット書込ステップと、前記バッファの先頭から、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を読み出すパケット読出ステップと、先頭から前記所定周期で前記識別データパケットが配置された、前記映像データパケットと前記アンシラリデータパケットとを含む、前記フレームをネットワークを介して送信するネットワークフレーム送信ステップと、を含むことを特徴とする。
また、本発明に係る映像処理方法は、送信装置と受信装置とを通信可能に接続した映像処理システムにおいて実行される映像処理方法であって、前記送信装置において実行される、撮影装置から映像/アンシラリデータを取得し、映像データとアンシラリデータとに分離する映像アンシラリデータ分離ステップと、前記送信装置において実行される、前記映像データを所定規格の映像データパケットに、前記アンシラリデータを前記所定規格のアンシラリデータパケットに、パケット化するパケット化ステップと、前記送信装置において実行される、先頭から所定周期でフレームを識別する前記所定規格の識別データパケットを配置しつつ、前記映像データパケットと前記アンシラリデータパケットとを配置するパケット配置ステップと、前記送信装置において実行される、前記識別データパケットが先頭に配置されるように、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を所定サイズの送信側バッファに書き込むパケット書込ステップと、前記送信装置において実行される、前記送信側バッファの先頭から、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を読み出すパケット読出ステップと、前記送信装置において実行される、先頭から前記所定周期で前記識別データパケットが配置された、前記映像データパケットと前記アンシラリデータパケットとを含む、前記フレームをネットワークを介して送信するネットワークフレーム送信ステップと、前記受信装置において実行される、前記フレームを前記ネットワークを介して受信するネットワークフレーム受信ステップと、前記受信装置において実行される、前記識別データパケットが先頭に配置されるように、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を前記所定サイズの受信側バッファに書き込むパケット書込ステップと、前記受信装置において実行される、前記受信側バッファの先頭から、前記識別データパケットと、前記映像データパケットと、前記アンシラリデータパケットと、を読み出すパケット読出ステップと、前記受信装置において実行される、前記映像データパケットを前記映像データに変換し、前記アンシラリデータパケットを前記アンシラリデータに変換するデータ変換ステップと、前記受信装置において実行される、前記映像データと前記アンシラリデータとを多重し、前記映像/アンシラリデータを出力させる映像アンシラリデータ多重ステップと、を含むことを特徴とする。
この発明によれば、独自の識別データが一般規格に準拠しているため、異種ベンダの装置間の相互互換性を保持できる。また、この発明によれば、ディスプレイへ出力していない映像チャネルに対して、独自の識別データパケットの脱カプセル化を実施する必要がない。
また、この発明によれば、映像フレームの先頭を高速で検出することができるため、映像チャネルをスムーズに切り替えることができる。これにより、この発明によれば、2つ以上の映像チャネルをネットワークを介して送受信でき、ディスプレイ等へ出力する映像チャネルを、映像の乱れなく切り替えることができる。
また、この発明によれば、カメラ等から映像/ANCデータを受信する装置から、ディスプレイ等へ映像/アンシラリ(ANC)データを出力する装置へ、映像データの構成情報(画素数、および、フレームレート等)および動作指示等を、ネットワークの品質に依らずに、確実に伝えることができる。
図1は、本実施形態に係る映像処理装置の構成の一例を示すブロック図である。 図2は、本実施形態における映像処理装置の構成の一例を示すハードウェア構成図である。 図3は、本実施形態の映像処理システムにおける処理の一例を示すフロー図である。 図4は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図5は、本実施形態における識別データパケットの一例を示す図である。 図6は、本実施形態におけるEncoderモジュール内でのMPEG2−TSパケットの生成の一例を示す図である。 図7は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図8は、本実施形態におけるDMAバッファにおけるMEPG2−TSパケットの格納の一例を示す図である。 図9は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図10は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図11は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図12は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図13は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図14は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図15は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。 図16は、本実施形態の映像処理装置における処理の一例を示すフローチャートである。
以下に、本発明に係る映像処理装置、映像処理システム、および、映像処理方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。
[本実施形態の構成]
以下、本発明の実施形態に係る映像処理装置100の構成の一例について図1および図2を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図1は、本実施形態に係る映像処理装置100の構成の一例を示すブロック図である。
但し、以下に示す実施形態は、本発明の技術思想を具体化するための映像処理装置100を例示するものであって、本発明をこの映像処理装置100に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態の映像処理装置100にも等しく適用し得るものである。
例えば、本実施形態で例示する映像処理装置100における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。
まず、図1に示すように、映像処理装置100は、概略的に、制御部102と記憶部106とを備えて構成される。これら映像処理装置100の各部は任意の通信路を介して通信可能に接続されている。また、映像処理装置100は、ネットワーク300を介して外部装置と通信可能に接続されていてもよい。
ここで、映像処理装置100は、更に、データの入出力(I/O)を行う機能を有する入出力部、入出力インターフェース部、および/または、通信インターフェース部を備えていてもよい(図示省略)。
ここで、入出力部は、例えば、キー入力部、タッチパネル、コントロールパッド(例えば、タッチパッド、および、ゲームパッド等)、マウス、キーボード、および、マイク等であってもよい。
また、入出力部は、アプリケーション等の(入出力)情報を表示する表示部(例えば、液晶または有機EL等から構成されるディスプレイ、モニタ、および、タッチパネル等)であってもよい。また、入出力部は、音声情報を音声として出力する音声出力部(例えば、スピーカ等)であってもよい。
また、入出力インターフェース部は、SDI(Serial Digital Interface)端子、HDMI(登録商標)(High−Definition Multimedia Interface)端子、または、Display port端子等の映像入出力インターフェースであってもよい。
ここで、入出力インターフェース部を構成する入力ポートの先には、カメラ、または、レコーダ等が接続され、入出力インターフェース部を構成する出力ポートの先には、モニタ(ディスプレイ)、または、レコーダ等が接続されてもよい。
また、通信インターフェース部は、有線通信および/または無線通信(WiFi等)によりIPデータを送受信するためのネットワークインターフェース(NIC(Network Interface Controller)等)、または、Bluetooth(登録商標)等によって無線通信を行うインターフェースであってもよい。
ここで、記憶部106は、各種のデータベース、テーブル、ファイル、および/または、バッファ(ダイレクトメモリアクセス(DMA)バッファ106a等)などを格納する。なお、記憶部106は、複数のDMAバッファ106a(DMAバッファ106a#0〜DMAバッファ106a#N)を格納してもよい。
ここで、記憶部106は、映像データ、および、ANCデータ等を記憶していてもよい。また、記憶部106は、各種アプリケーションプログラム(例えば、ユーザアプリケーション等)を記憶していてもよい。
記憶部106は、ストレージ手段であり、例えばRAM・ROM等のメモリ、HDD(Hard Disk Drive)のような固定ディスク装置、SSD(Solid State Drive)、フレキシブルディスク、および/または、光ディスク等を用いることができる。
記憶部106には、CPU(Central Processing Unit)に命令を与え各種処理を行うためのコンピュータプログラム等が記録されていてもよい。
これら記憶部106の各構成要素のうち、バッファ106aは、パケットを記憶する。ここで、バッファ106aは、フレームを識別する識別データパケット、映像データパケット、および/または、アンシラリデータパケット等を記憶してもよい。
ここで、識別データパケット、映像データパケット、および、アンシラリデータパケットは、所定規格の識別データパケット、所定規格の映像データパケット、および、所定規格のアンシラリデータパケットであってもよい。
ここで、所定規格は、MPEG(MPEG1、MPEG2、または、MPEG4等)であってもよい。
また、識別データパケットは、映像データおよびアンシラリデータとは異なるペイロードIDを含んでいてもよい。また、識別データパケットは、所定規格に準拠したヘッダと、フレームの先頭か否かを示すフレームスタートデータと、を含んでいてもよい。
また、バッファ106aは、所定サイズを有していてもよい。ここで、所定サイズは、所定規格のパケットサイズと、所定周期と、任意の自然数と、を掛けた値であってもよい。また、バッファ106aは、フレームごとに区別してパケットを記憶してもよい。
また、制御部102は、映像処理装置100を統括的に制御するCPU等からなる。制御部102は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
ここで、制御部102は、機能概念的に、映像ANCデータ分離部102a、データ圧縮部102b、パケット化部102c、パケット配置部102d、パケット書込部102e、パケット読出部102f、送信調停部102g、ネットワークフレーム送信部102h、ネットワークフレーム受信部102i、書込調停部102j、データ変換部102k、および、映像ANCデータ多重部102mを備える。
映像ANCデータ分離部102aは、撮影装置から映像/アンシラリ(ANC)データを取得し、映像データとアンシラリ(ANC)データとに分離する。ここで、映像ANCデータ分離部102aは、複数の撮影装置(カメラ等)から映像/アンシラリデータを取得してもよい。
データ圧縮部102bは、映像ANCデータ分離部102aにより分離された映像データを圧縮してもよい。ここで、データ圧縮部102bは、映像ANCデータ分離部102aにより分離された映像データをJPEG2000方式で圧縮し、J2K Streamとして出力してもよい。
パケット化部102cは、映像データを所定規格の映像データパケットに、アンシラリデータを所定規格のアンシラリデータパケットに、パケット化する。ここで、所定規格は、PES(Packetized Elementary Stream)、または、MPEG2−TS(Transport Stream)等であってもよい。
パケット配置部102dは、先頭から所定周期でフレームを識別する所定規格の識別データパケットを配置しつつ、所定規格の映像データパケットと所定規格のアンシラリデータパケットとを配置する。
ここで、所定周期は、ネットワーク300を介して送受信されるフレームに含める映像データパケットの数、および、アンシラリデータパケットの数の合計と一致する間隔であってもよい。
パケット書込部102eは、所定規格の識別データパケットが先頭に配置されるように、所定規格の識別データパケットと、所定規格の映像データパケットと、所定規格のアンシラリデータパケットと、を所定サイズのバッファに書き込む。
ここで、パケット書込部102eは、フレームの先頭を示す所定規格の識別データパケットが先頭に配置されるように、所定規格の識別データパケットと、所定規格の映像データパケットと、所定規格のアンシラリデータパケットと、をバッファに書き込んでもよい。
ここで、フレームの先頭を示す所定規格の識別データパケットは、独自データであるMPEG2−TS(SOF=1b)パケットであってもよい。
また、パケット書込部102eは、フレームの先頭を示さない所定規格の識別データパケットが先頭に配置されるように、所定規格の識別データパケットと、所定規格の映像データパケットと、所定規格のアンシラリデータパケットと、をバッファに書き込んでもよい。
ここで、フレームの先頭を示さない所定規格の識別データパケットは、独自データであるMPEG2−TS(SOF=0b)パケットであってもよい。
パケット読出部102fは、バッファ106aの先頭から、所定規格の識別データパケットと、所定規格の映像データパケットと、所定規格のアンシラリデータパケットと、を読み出す。
ここで、パケット読出部102fは、更に、バッファ106aの先頭を検索して、(読出し中の)フレームとは異なるチャネル由来のフレームの先頭を示す所定規格の識別データパケットを検出し、当該識別データパケットが書き込まれたバッファ106aの先頭から、当該異なるチャネル由来の識別データパケットと、当該異なるチャネル由来の所定規格の映像データパケットと、当該異なるチャネル由来の所定規格のアンシラリデータパケットと、を読み出してもよい。
送信調停部102gは、先頭から所定周期で所定規格の識別データパケットが配置された、所定規格の映像データパケットと所定規格のアンシラリデータパケットとを含む、異なるチャネル由来のフレームがある場合、調停して(バランスをとって)、ネットワークフレーム送信部102hに送出する。
すなわち、送信調停部102gは、異なるチャネル由来のフレームがある場合、ネットワークフレーム送信部102hによる送信を調停してもよい。
ネットワークフレーム送信部102hは、先頭から所定周期で所定規格の識別データパケットが配置された、所定規格の映像データパケットと所定規格のアンシラリデータパケットとを含む、フレームをネットワーク300を介して送信する。
ネットワークフレーム受信部102iは、先頭から所定周期でフレームを識別する所定規格の識別データパケットが配置された、所定規格の映像データパケットと所定規格のアンシラリデータパケットとを含む、フレームをネットワーク300を介して受信する。
書込調停部102jは、異なるチャネル由来のフレームを受信した場合、パケット書込部102eによる書き込みを調停する(バランスをとる)。
データ変換部102kは、映像データパケットを映像データに変換し、アンシラリデータパケットをアンシラリデータに変換する。ここで、データ変換部102kは、更に、識別データパケットを破棄してもよい。
映像ANCデータ多重部102mは、映像データとアンシラリデータとを多重し、映像/アンシラリデータを(モニタ、または、レコーダ等に)出力させる。
次に、図2を参照して、本実施形態における映像処理装置100のハードウェア構成の一例について説明する。図2は、本実施形態における映像処理装置100の構成の一例を示すハードウェア構成図である。
図2に示すように、映像処理装置100は、モジュール構成を備えており、モジュールを変更することで、映像/ANCデータの入力を受け、ネットワーク300へ送信する構成と、ネットワーク300からパケットを受信し、映像/ANCデータをディスプレイ等へ出力する構成と、を切り替えることができる。
ここで、映像処理装置100は、映像/ANCデータをカメラ等の撮影装置から取得するエンコーダ(Encoder)モジュール(映像データ圧縮器)と、ネットワーク300を介してデータ(パケット等)を送受信するNICモジュール(ネットワークフレーム送受信器)、および、ディスプレイ等の出力装置へ映像/ANCデータを出力するデコーダ(Decoder)モジュール(映像データ複合器)を備えている。
また、映像処理装置100は、これらのモジュール間を高速にインターコネクトする機構を備えており、モジュール間のインターコネクトを実現するために、ファームウェアが動作するCPUを介してPCIe Switchとメインメモリとが接続されている。
各モジュールは、PCIe Switchとメインメモリとを介して、お互いにインターコネクトされ、各モジュールとメインメモリとの間で所定規格(MPEG2−TS等)のデータをやり取りし、データの受け渡しは、DMA(Direct Memory Access)にて実施されてもよい。
ここで、図2を参照して、Encoderモジュールのハードウェア構成について説明する。
DEMUX(映像ANCデータ分離部102a)は、カメラ等の撮影装置からの映像/ANCデータを受信し、映像データとANCデータとに分離する。
J2K Encoder(データ圧縮部102b)は、DEMUXから出力された映像データをJPEG2000方式で圧縮し、J2K Streamを出力する。
PES Cap(Video)(パケット化部102c)は、J2K Encoderから出力されたJ2K Streamを、所定単位でパケット化し、PESパケットとして出力する。
MPEG2−TS Cap(Video)(パケット化部102c)は、PES Cap(Video)から出力されたPESパケットを、所定単位でパケット化し、MPEG2−TSパケットとして出力する。
PES Cap(ANC)(パケット化部102c)は、DEMUXから出力されたANCデータをパケット化し、PESパケットとして、出力する。
MPEG2−TS Cap(ANC)(パケット化部102c)は、PES Cap(ANC)から出力されたPESパケットを、所定単位でパケット化し、MPEG2−TSパケットとして出力する。
MUX(パケット配置部102d)は、MPEG2−TS Cap(Video)から出力されたMPEG2−TSパケットと、MPEG2−TS Cap(ANC)から出力されたMPEG2−TSパケットを配置し、出力する。
ここで、MUXは、ある決まった周期(例えば、MPEG2−TS 6個毎等)で、独自のデータ(MPEG2−TS(SOF=xb)パケット)を配置する。
また、MUXは、映像フレームの先頭のデータを含むMPEG2−TSパケットの直前に、MPEG2−TS(SOF=1b)パケットを配置する。また、MUXは、映像フレームの先頭以外の場合には、MPEG2−TS(SOF=0b)パケットを配置する。
また、MUXは、ファームウェア(制御部102)から、MPEG2−TS(SOF=xb)パケットに格納する情報の通知を受ける。
DMA RX(パケット書込部102e)は、MUXから出力されたMPEG2−TSパケットをDMAにより、メインメモリのDMAバッファ106aへ書き込む。ここで、DMA RXは、ファームウェアから、DMAバッファ106aの先頭番地とサイズとの通知を受ける。
また、DMA RXは、MPEG2−TS(SOF=1b)パケットを書き込む際に、DMAバッファ106aを切り替える。これにより、MPEG2−TS(SOF=1b)パケット、すなわち、映像フレームの先頭のデータは、必ずDMAバッファ106aの先頭に配置されることになる。
また、DMAバッファ106aのサイズは、ファームウェアにより制御されており、例えば、「MPEG2−TSパケットのサイズ(188バイト等)」×「MPEG2−TS(SOF=xb)パケットを挿入する間隔」×「N(N=1,2,3,…)」であってもよい。
これらにより、DMAバッファ106aの先頭は必ず、MPEG2−TS(SOF=xb)パケットとなる。
また、図2を参照して、NICモジュールのハードウェア構成について説明する。
DEMUX TX(PCIe)(制御部102)は、PCIe Switchから出力されるPCIeパケットを受信および解析し、PCIeパケットの宛先が示すDMA TXへ出力する。
DMA TX(パケット読出部102f)は、ファームウェアから、DMAバッファ106aの先頭番地とサイズとの通知を受ける。
DMA TXは、DMAバッファ106aの先頭から、順次、MPEG2−TSパケットを読み出し、SMPTE2022−1/−2 TXへ出力する。
SMPTE2022−1/−2 TX(制御部102)は、DMA TXからMPEG2−TSパケットを受け、SMPTE2022−1/−2に準拠したフレームへカプセル化(IP/UDP/RTPヘッダの付与)し、Arbiter TXへ出力する。
ここで、フレームに含まれるMPEG2−TSパケットの個数は、ファームウェアにより設定変更が可能であり、MPEG2−TS(SOF=xb)パケットの挿入間隔と一致させている。
これにより、全フレームに、必ず1つのMPEG2−TS(SOF=xb)パケットが含まれることになる。
Arbiter TX(送信調停部102g)は、各SMPTE2022−1/−2 TXからのフレームを受け、調停し、1GbE/10GbE TXへ出力する。
1GbE/10GbE TX(ネットワークフレーム送信部102h)は、Arbiter TXからのフレームを受け、外部のネットワーク300へ出力する。
1GbE/10GbE RX(ネットワークフレーム受信部102i)は、外部のネットワーク300からフレームを受信し、DEMUX RX(1GbE/10GbE)へ出力する。
DEMUX RX(10GbE/1GbE)(制御部102)は、1GbE/10GbE RXからのフレームを受信および解析し、フレームの宛先が示すSMPTE2022−1/−2 RXへ出力する。
SMPTE2022−1/−2 RX(制御部102)は、DEMUX RX(1GbE/10GbE)からのフレームを受信し、MPEG2−TSパケットを抽出し、DMA RXへ出力する。
DMA RX(パケット書込部102e)は、SMPTE2022−1/−2 RXからMPEG2−TSパケットを受け、Arbiter RXを経由し、メインメモリのDMAバッファ106aへ書き込む。
Arbiter RX(書込調停部102j)は、複数のDMA RXからメインメモリへの書き込み要求を調停し、シリアル化し、PCIe Switchへ出力する。
ここで、DMA RXは、MPEG2−TS(SOF=1b)パケットを書き込む際に、DMAバッファ106aを切り替える。これにより、MPEG2−TS(SOF=1b)パケット、すなわち、映像フレームの先頭のデータは、必ずDMAバッファ106aの先頭に配置されることになる。
また、図2を参照して、Decoderモジュールのハードウェア構成について説明する。
DMA TX(パケット読出部102f)は、ファームウェアから、DMAバッファ106aの先頭番地とサイズとの通知を受ける。
そして、DMA TXは、DMAバッファ106aの先頭から、順次、MPEG2−TSパケットを読み出し、DEMUXへ出力する。
DEMUX(パケット読出部102f)は、MPEG2−TSパケットを解析し、MPEG2−TS(Video)パケットとMPEG2−TS(ANC)パケットを抽出し、MPEG2−TS(SOF=xb)パケットを破棄する。
そして、DEMUXは、MPEG2−TS(Video)パケットをMPEG2−TS Decap(Video)へ出力し、MPEG2−TS(ANC)パケットをMPEG2−TS Decap(ANC)へ出力する。
MPEG2−TS Decap(Video)(データ変換部102k)は、DEMUXからのMPEG2−TS(Video)パケットを受け、PESパケットへ変換し、PES Decap(Video)へ出力する。
PES Decap(Video)(データ変換部102k)は、MPEG2−TS Decap(Video)からのPESパケットを受け、J2K Streamへ変換し、J2K Decoderへ出力する。
J2K Decoder(データ変換部102k)は、PES Decap(Video)からのJ2K Streamを受け、映像データへ変換し、MUXへ出力する。
MPEG2−TS Decap(ANC)(データ変換部102k)は、DEMUXからのMPEG2−TS(ANC)パケットを受け、PESパケットへ変換し、PES Decap(ANC)へ出力する。
PES Decap(ANC)(データ変換部102k)は、MPEG2−TS Decap(ANC)からのPESパケットを受け、ANCデータへ変換し、MUXへ出力する。
MUX(映像ANCデータ多重部102m)は、J2K Decoderからの映像データとPES Decap(ANC)からのANCデータとを受け、映像データとANCデータとを多重し、外部のディスプレイ等の出力装置に出力させる。
また、図2を参照して、CPUにて動作するファームウェア(制御部102)の機能の一例について説明する。
ファームウェアは、メインメモリ上に各モジュールで使用するDMAバッファ106aの確保を制御する。
また、ファームウェアは、EncoderモジュールからNICモジュールへのMPEG2−TSパケットの受け渡しを制御する。
ここで、ファームウェアは、EncoderモジュールのDMA RXへ、確保したバッファ領域の構成情報(先頭番地およびサイズ)を通知する。
そして、ファームウェアは、EncoderモジュールからDMAバッファ106aへのDMA完了通知を受け、DMAバッファ106a内のMPEG2−TSパケットを、NICモジュールに対応するDMAバッファ106aへコピーする。
そして、ファームウェアは、コピーが完了したDMAバッファ106aのバッファ領域を解放(全領域に0を書き込む)し、EncoderモジュールのDMA RXへ通知する。
そして、ファームウェアは、NICモジュールのDMA TXに対応するDMAバッファ106aに、EncoderモジュールからのMPEG2−TSパケットをコピー後、NICモジュールのDMA TXへ、当該DMAバッファ106aの構成情報を通知する。
そして、ファームウェアは、NICモジュールのDMA TXから、DMAバッファ106aに記憶されたMPEG2−TSパケットの取得が完了したことの通知を受けた場合、バッファを解放する。
また、ファームウェアは、NICモジュールからDecoderモジュールへのMPEG2−TSパケットの受け渡しを制御する。ここで、ファームウェアは、NICモジュールのDMA RXに、確保したDMAバッファ106aのバッファ領域の構成情報(先頭番地とサイズ)を通知する。
そして、ファームウェアは、NICモジュールから、DMAバッファ106aへのDMA完了通知を受け、DMAバッファ106aに記憶されたMPEG2−TSパケットを、Decoderモジュールに対応するDMAバッファ106aのバッファ領域へコピーする。
そして、ファームウェアは、コピーが完了したDMAバッファ106a領域を解放し、NICモジュールのDMA RXへ通知する。
そして、ファームウェアは、DecoderモジュールのDMA TXに対応するDMAバッファ106aに、NICモジュールからのMPEG2−TSパケットをコピー後、DecoderモジュールのDMA TXに、当該DMAバッファ106aの構成情報(先頭番地とサイズ)を通知する。
そして、ファームウェアは、DecoderモジュールのDMA TXから、そのDMAバッファ106a内のMPEG2−TSパケットの取得が完了したことの通知を受けた場合、当該DMAバッファ106aを解放する。
また、ファームウェアは、映像チャネル切替動作を制御する。例えば、図2に示すように、ファームウェアは、NICモジュールのDMA RX#0からのMPEG2−TSパケットをDMAバッファ106a#3へ、もう一方のDMA RX#1からの映像データをDMAバッファ106a#4へ格納する。
通常、ファームウェアは、DMAバッファ106a#3に記憶されたMPEG2−TSパケットを、DMAバッファ106a#5へ格納し、DecoderモジュールのDMA TXに対して、DMAバッファ106a#5のMPEG2−TSパケットを出力するように指示する。
ここで、映像チャネルの切替指示を受けた場合、ファームウェアは、DMAバッファ106a#3およびDMAバッファ106a#4の中から、MPEG2−TS(SOF=1b)パケット(映像フレームの先頭)を検索する。
この際、MPEG2−TS(SOF=1b)パケットは、必ず、DMAバッファ106aの先頭にあるため、ファームウェアは、全MPEG2−TSパケットを解析する必要はなく、各DMAバッファ106aの先頭にあるMPEG2−TSパケットのみを検索すればよいので、高速な検出が可能である。
そして、ファームウェアは、DMAバッファ106a#3およびDMAバッファ106a#4の中からMPEG2−TS(SOF=1b)パケットを検出した場合、通常であれば、DMAバッファ106a#3に記憶されたMPEG2−TS(SOF=1b)パケットをDMAバッファ106a#5へコピーするタイミングで、DMAバッファ106a#4に記憶されたMPEG2−TS(SOF=1b)パケットをコピーする。
そして、ファームウェアは、DMAバッファ106a#5へコピーするデータを、DMAバッファ106a#3からDMAバッファ106a#4へ切り替える。
これにより、映像チャネルの切り替えが実現でき、且つ、切替時に異常な映像フレームが出力される(同一の映像フレームに異なる映像データが混在してしまう)ことを防ぐことができる。
また、ファームウェアは、カメラ等から映像/ANCデータを受信する映像処理装置(送信装置)100−1から、ディスプレイ等へ映像/ANCデータを出力する映像処理装置(受信装置)100−2のファームウェアへの動作指示および制御情報の通知を制御する。
ここで、送信装置100−1のファームウェアは、EncoderモジュールのMUXに対して、MPEG2−TS(SOF=xb)パケットに格納する、受信装置100−2のファームウェアへの動作指示および制御情報を通知する。
ここで、受信装置100−2のファームウェアは、NICモジュールのDMA RXがMEPG2−TSパケットを格納するDMAバッファ106a内の、MPEG2−TS(SOF=xb)パケットを抽出することで、送信装置100−1からの動作指示および制御情報を取得する。
また、MPEG2−TS(SOF=xb)パケットは、ネットワーク300上で送受信される、全フレームに必ず1個格納されているため、あるフレームがロストしたとしても、送信装置100−1からの動作指示および制御情報を取りこぼすことはない。
これにより、送信装置100−1は、ネットワーク品質に依らずに、受信装置100−2に動作指示および制御情報を伝えることができる。
また、MPEG2−TS(SOF=xb)パケットは、決まった間隔で、MPEG2−TS間パケットに配置されているため、ファームウェアは、DMAバッファ106aからMPEG2−TS(SOF=xb)パケットを抽出することができる。
そのために、ファームウェアは、全MPEG2−TSパケットを解析する必要がなく、メインメモリ内のDMAバッファ106aから、高速にMPEG2−TS(SOF=xb)パケットを抽出できる。
[本実施形態の処理]
上述した構成の映像処理システムで実行される処理の一例について、図3乃至図16を参照して説明する。図3は、本実施形態の映像処理システムにおける処理(チャンネル切替処理)の一例を示すフロー図である。
図3に示すように、映像処理システムは、概略的に、映像処理装置(送信装置)100−1と、映像処理装置(受信装置)100−2と、がネットワーク300を介して通信可能に接続して構成される。
ここで、図3に示すように、まず、送信装置100−1のEncoderモジュール#0は、カメラAからの映像/ANCデータを受信し、MPEG2−TS(カメラA)パケットへ変換し、メインメモリのDMAバッファ106a#0へ格納する(ステップSA−1)。
また、送信装置100−1のEncoderモジュール#1は、カメラBからの映像/ANCデータを受信し、MPEG2−TS(カメラB)パケットへ変換し、メインメモリのDMAバッファ106a#1へ格納する(ステップSA−2)。
ここで、図4乃至図8を参照して、本実施形態のEncoderモジュールにおける処理の一例について説明する。
まず、図4乃至図6を参照して、本実施形態のEncoderモジュールのMUXにおける処理の一例について説明する。図4は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図4に示すように、まず、送信装置100−1のMUX(パケット配置部102d)は、MPEG2−TS Cap(Video)およびMPEG2−TS Cap(ANC)からMPEG2−TSパケットを受信する(ステップSB−1)。
そして、送信装置100−1のMUXは、MPEG2−TSパケットがフレームの先頭データを含んでいる(フレームの先頭を示す識別データパケットである)か否かを判定する(ステップSB−2)。
ここで、図5を参照して、本実施形態における識別データパケットの一例について説明する。図5は、本実施形態における識別データパケットの一例を示す図である。
図5に示すように、本実施形態における独自のデータを含む識別データパケット(MPEG2−TS(SOF=xb)パケット)には、MPEG2−TSパケットのヘッダと、映像の先頭フレームデータを含むMPEG2−TSパケットが続くことを示すビットであるSOF(Start Of Frame)と、を含んでいる。
ここで、SOFが、1bの場合、後続のMPEG2−TSパケットが映像の先頭フレームのデータを含むことを示し、0bの場合、後続のMPEG2−TSパケットが映像の先頭フレームのデータを含まないことを示していてもよい。
このように、独自のデータは、映像データおよびANCデータとは異なるPID(Payload ID)を持つMPEG2−TSパケットに格納されていてもよい。
すなわち、本実施形態においては、映像データおよびANCデータとは異なるPIDを持つ独自のデータを、MPEG2−TSパケットのData部分に格納させることで、MPEG2−TSの一般規格に準拠させることができている。
これにより、本実施形態においては、ネットワーク300を介して接続された異種ベンダの装置間で相互互換性を持ちながら、映像/ANCデータの送受信を行うことができる。
図4に戻り、送信装置100−1のMUXは、MPEG2−TSパケットがフレームの先頭データを含んでいないと判定した場合(ステップSB−2:No)、処理をステップSB−6に移行させる。
一方、送信装置100−1のMUXは、MPEG2−TSパケットがフレームの先頭データを含んでいると判定した場合(ステップSB−2:Yes)、処理をステップSB−3に移行させる。
そして、送信装置100−1のMUXは、MPEG2−TS(SOF=1b)パケットをDMA RX(パケット書込部102e)へ送出する(ステップSB−3)。
そして、送信装置100−1のMUXは、MPEG2−TS(SOF=xb)パケットの送出間隔カウンタを0×0にクリアする(ステップSB−4)。ここで、送出間隔は、MPEG2−TSパケットの間にMPEG2−TS(SOF=xb)パケットを配置するタイミングを決定する値であってもよい。
また、送出間隔は、MPEG2−TSパケット数の間隔であり、独自のデータであるMPEG2−TS(SOF=xb)パケットをDMA RXへ送出する間隔であってもよい。また、送出間隔カウンタは、MUXがDMA RXへ送出したMPEG2−TSパケットの個数であってもよい。
そして、送信装置100−1のMUXは、MPEG2−TSパケットをDMA RXへ送出し(ステップSB−5)、処理をステップSB−1に移行させる。
一方、送信装置100−1のMUXは、MPEG2−TS(SOF=xb)パケットの送出間隔カウンタが送出間隔と同値であるか否かを判定する(ステップSB−6)。
そして、送信装置100−1のMUXは、MPEG2−TS(SOF=xb)パケットの送出間隔カウンタが送出間隔と同値ではないと判定した場合(ステップSB−6:No)、処理をステップSB−10に移行させる。
一方、送信装置100−1のMUXは、MPEG2−TS(SOF=xb)パケットの送出間隔カウンタが送出間隔と同値であると判定した場合(ステップSB−6:Yes)、処理をステップSB−7に移行させる。
そして、送信装置100−1のMUXは、MPEG2−TS(SOF=0b)パケットをDMA RXへ送出する(ステップSB−7)。
そして、送信装置100−1のMUXは、MPEG2−TS(SOF=xb)パケットの送出間隔カウンタを0×0にクリアする(ステップSB−8)。
そして、送信装置100−1のMUXは、MPEG2−TSパケットをDMA RXへ送出し(ステップSB−9)、処理をステップSB−1に移行させる。
一方、送信装置100−1のMUXは、MPEG2−TS(SOF=xb)パケットの送出間隔カウンタを+1インクリメントする(ステップSB−10)。
そして、送信装置100−1のMUXは、MPEG2−TSパケットをDMA RXへ送出し(ステップSB−11)、処理をステップSB−1に移行させる。
ここで、図6を参照して、本実施形態におけるEncoderモジュール内でのMPEG2−TSパケットの生成の一例について説明する。図6は、本実施形態におけるEncoderモジュール内でのMPEG2−TSパケットの生成の一例を示す図である。
図6に示すように、EncoderモジュールのMUXは、ある決まった周期(例えば、7パケット等)で、MPEG2−TS(SOF=xb)パケットを配置する。
ここで、EncoderモジュールのMUXは、映像データの先頭を含むMPEG2−TSパケットの直前に、MPEG2−TS(SOF=1b)パケットを配置し、映像データの先頭を含まないMPEG2−TSパケットの直前に、MPEG2−TS(SOF=0b)パケットを配置する。
すなわち、Encoderモジュールは、MPEG2−TSパケットの間に、ある決まった周期で、識別データパケット(MPEG2−TS(SOF=xb)パケット)を配置してもよい。
さらに、Encoderモジュールは、映像フレームの先頭を検出し、映像フレームの先頭データを含むMPEG2−TSパケットの直前にSOFビットを1bにセットした識別データパケット(MPEG2−TS(SOF=1b)パケット)を配置してもよい。
このように、映像/ANCデータは、ネットワーク300へ送出される前に、MPEG2−TSのデータ形式へ変換され、MPEG2−TSパケットを含んだフレームが、ネットワーク300へ送出されることになる。
次に、図7および図8を参照して、本実施形態のEncoderモジュール#0のDMA RXにおける処理の一例について説明する。図7は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図7に示すように、まず、送信装置100−1のEncoderモジュール#0のDMA RX(パケット書込部102e)は、ファームウェアから通知されるDMAバッファ106a#0−i(i=0,1,2・・・255)の先頭番地とバッファサイズとを取得する(ステップSC−1)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、MUX(パケット配置部102d)からMPEG2−TSパケットを取得する(ステップSC−2)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、MPEG2−TSパケットがMPEG2−TS(SOF=1b)パケットであるか否かを判定する(ステップSC−3)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、MPEG2−TSパケットがMPEG2−TS(SOF=1b)パケットではないと判定した場合(ステップSC−3:No)、処理をステップSC−11に移行させる。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、MPEG2−TSパケットがMPEG2−TS(SOF=1b)パケットであると判定した場合(ステップSC−3:Yes)、処理をステップSC−4に移行させる。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、メモリライト回数カウンタが0であるか否かを判定する(ステップSC−4)。ここで、メモリライト回数カウンタは、DMAバッファ106aへライト(書き込み)したMEPG2−TSパケットの個数である。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、メモリライト回数カウンタが0ではないと判定した場合(ステップSC−4:No)、処理をステップSC−7に移行させる。
一方、送信装置100−1のEncoderモジュール#0のDMA RXは、メモリライト回数カウンタが0であると判定した場合(ステップSC−4:Yes)、処理をステップSC−5に移行させる。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、MEPG2−TSパケットをDMAバッファ106a#0−iへメモリライトする(ステップSC−5)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、メモリライト回数カウンタを+1インクリメントして(ステップSC−6)、処理をステップSC−2に移行させる。
一方、送信装置100−1のEncoderモジュール#0のDMA RXは、DMAバッファ106a#0−iのDMA完了をファームウェアへ通知する(ステップSC−7)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、iの値を+1インクリメントする(ステップSC−8)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、ファームウェアから通知される次のDMAバッファ106a#0−iの先頭番地とバッファサイズとを取得する(ステップSC−9)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、メモリライト回数カウンタを0にクリアして(ステップSC−10)、処理をステップSC−3に移行させる。
一方、送信装置100−1のEncoderモジュール#0のDMA RXは、[(メモリライト回数カウンタ+1)×(MEPG2−TSパケットサイズ)]の値が、DMAバッファ106a#0−iのバッファサイズ未満であるか否かを判定をする(ステップSC−11)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、[(メモリライト回数カウンタ+1)×(MEPG2−TSパケットサイズ)]の値が、DMAバッファ106a#0−iのバッファサイズ未満ではないと判定した場合(ステップSC−11:No)、処理をステップSC−14に移行させる。
一方、送信装置100−1のEncoderモジュール#0のDMA RXは、[(メモリライト回数カウンタ+1)×(MEPG2−TSパケットサイズ)]の値が、DMAバッファ106a#0−iのバッファサイズ未満であると判定した場合(ステップSC−11:Yes)、処理をステップSC−12に移行させる。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、MEPG2−TSパケットをDMAバッファ106a#0−iへメモリライトする(ステップSC−12)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、メモリライト回数カウンタを+1インクリメントして(ステップSC−13)、処理をステップSC−2に移行させる。
一方、送信装置100−1のEncoderモジュール#0のDMA RXは、DMAバッファ106a#0−iのDMA完了をファームウェアへ通知する(ステップSC−14)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、iの値を+1インクリメントする(ステップSC−15)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、ファームウェアから通知される次のDMAバッファ106a#0−iの先頭番地とバッファサイズとを取得する(ステップSC−16)。
そして、送信装置100−1のEncoderモジュール#0のDMA RXは、メモリライト回数カウンタを0にクリアして(ステップSC−17)、処理をステップSC−3に移行させる。
なお、本実施形態において、Encoderモジュール#1のDMA RXは、DMAバッファ#1−i(i=0,1,2…255)を使用して、同様の処理を実行してもよい。
ここで、図8を参照して、本実施形態におけるDMAバッファ106aにおけるMEPG2−TSパケットの格納の一例について説明する。図8は、本実施形態におけるDMAバッファ106aにおけるMEPG2−TSパケットの格納の一例を示す図である。
図8に示すように、各モジュールによるDMAは、DMAバッファ106a#x−xxx毎に、データ転送、および、ファームウェアへの完了の通知が実施される。ここで、DMAバッファ106a#x−xxxのサイズは、ファームウェアにより制御されてもよい。
ここで、図8に示すように、DMAバッファ106a#x−xxxのサイズは、「MPEG2−TSパケットのサイズ」×7×「N(N=1,2,3,…)」であってもよい。
また、図8に示すように、DMAバッファ106a#x−xxxの先頭は必ず、MPEG2−TS(SOF=xb)パケットから開始されてもよい。また、DMAバッファ106a#xの先頭から、MPEG2−TS(SOF=xb)パケットが現れる間隔は、常に一定であってもよい。
また、図8に示すように、MPEG2−TS(SOF=1b)パケットは、必ずDMAバッファ106a#x−xxxの先頭に格納されてもよい。また、ファームウェアは、DMAバッファ106a#x−xxxを開放する際に、「0」をDMAバッファ106a#x−xxxの全領域にセットしてもよい。
このように、本実施形態においては、MPEG2−TSパケットの間への独自のデータ(MPEG2−TS(SOF=xb)パケット)の配置間隔を一定にすることで、ファームウェアによる、DMAバッファ106a#x−xxxからのMPEG2−TS(SOF=xb)パケットの抽出を、容易にしている。
また、本実施形態においては、モジュールからメインメモリへのDMAは、あるサイズを持つDMAバッファ106a毎に制御され、映像フレームの先頭を含むデータが、必ずDMAバッファ106aの先頭から開始されるように制御している。
また、本実施形態においては、MPEG2−TSパケットの間に、映像フレームの先頭を示す独自のデータ(MPEG2−TS(SOF=1b)パケット)を配置し、且つ、必ずメインメモリのDMAバッファ106a#x−xxxの先頭に、MPEG2−TS(SOF=1b)パケットが格納されるように制御することで、ファームウェアによる映像フレームの先頭の検出を容易にしている。
図3に戻り、送信装置100−1のファームウェアは、DMAバッファ#0のMPEG2−TS(カメラA)パケットをDMAバッファ#2へコピーし、DMAバッファ#1のMPEG2−TS(カメラB)パケットをDMAバッファ#3へコピーする(ステップSA−3)。
ここで、図9および図10を参照して、本実施形態のファームウェアによる処理の一例について説明する。
まず、図9を参照して、本実施形態のEncoderモジュールのDMA RXに関するファームウェアによる処理の一例について説明する。図9は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図9に示すように、まず、送信装置100−1のファームウェア(制御部102)は、DMAバッファ106a#0−000〜DMAバッファ106a#0−255を確保する(ステップSD−1)。
そして、送信装置100−1のファームウェアは、DMA RXよりDMA完了通知を受信する(ステップSD−2)。
そして、送信装置100−1のファームウェアは、DMAが完了したDMAバッファ106a#0−xxxに記憶されたデータをDMAバッファ106a#2−xxxへコピーする(ステップSD−3)。
そして、送信装置100−1のファームウェアは、コピーが完了したDMAバッファ106a#2−xxxに記憶されたデータを、NICモジュールのDMA TXへ通知する(ステップSD−4)。
そして、送信装置100−1のファームウェアは、DMAが完了したDMAバッファ106a#0−xxxのデータを0にクリア(解放)する(ステップSD−5)。
そして、送信装置100−1のファームウェアは、解放したDMAバッファ106a#0−xxxを再び確保し(ステップSD−6)、処理をステップSD−2に移行させる。
また、図10を参照して、本実施形態のNICモジュールのDMA TXに関するファームウェアによる処理の一例について説明する。図10は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図10に示すように、まず、送信装置100−1のファームウェア(制御部102)は、DMA TXよりDMA完了通知を受信する(ステップSE−1)。
そして、送信装置100−1のファームウェアは、DMAが完了したDMAバッファ106a#2−xxxのデータを0にクリア(解放)する(ステップSE−2)。
そして、送信装置100−1のファームウェアは、解放したDMAバッファ106a#2−xxxを再び確保し(ステップSE−3)、処理をステップSE−1に移行させる。
なお、本実施形態において、送信装置100−1のNICモジュールのDMA TX#1は、DMAバッファ106a#3を使用して、同様の処理を実行してもよい。
また、本実施形態において、受信装置100−2のファームウェアは、受信装置100−2のNICモジュールのDMA TX#0、または、受信装置100−2のDecoderモジュールのDMA TXに対して、同様の処理を実行してもよい。
図3に戻り、送信装置100−1のNICモジュールは、DMAバッファ#2のMPEG2−TS(カメラA)パケットをネットワークへ送信し、DMAバッファ#3のMPEG2−TS(カメラB)パケットをネットワークへ送信する(ステップSA−4)。
ここで、図11を参照して、本実施形態のNICモジュールのDMA TX#0における処理の一例について説明する。図11は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図11に示すように、まず、送信装置100−1のNICモジュールのDMA TX#0(パケット読出部102f)は、ファームウェアから通知されるDMAバッファ106a#2−iの先頭番地とバッファサイズとを取得する(ステップSF−1)。
そして、送信装置100−1のNICモジュールのDMA TX#0は、DMAバッファ106a#2−iからMPEG2−TSパケットを取得する(ステップSF−2)。
そして、送信装置100−1のNICモジュールのDMA TX#0は、MPEG2−TSパケットをSMPTE2022−1/−2 TX#0へ送出する(ステップSF−3)。
そして、送信装置100−1のNICモジュールのDMA TX#0は、MPEG2−TSパケットのリード回数を示すメモリリード回数カウンタを+1インクリメントする(ステップSF−4)。ここで、メモリリード回数カウンタは、DMAバッファ106aからリードしたMPEG2−TSパケットの個数であってもよい。
そして、送信装置100−1のNICモジュールのDMA TX#0は、[(メモリリード回数カウンタ)×(MPEG2−TSパケットサイズ)]の値が、DMAバッファ106a#2−iのバッファサイズ未満であるか否かを判定をする(ステップSF−5)。
そして、送信装置100−1のNICモジュールのDMA TX#0は、[(メモリリード回数カウンタ)×(MPEG2−TSパケットサイズ)]の値が、DMAバッファ106a#2−iのバッファサイズ未満であると判定した場合(ステップSF−5:Yes)、処理をステップSF−2に移行させる。
一方、送信装置100−1のNICモジュールのDMA TX#0は、[(メモリリード回数カウンタ)×(MPEG2−TSパケットサイズ)]の値が、DMAバッファ106a#2−iのバッファサイズ未満ではないと判定した場合(ステップSF−5:No)、処理をステップSF−6に移行させる。
そして、送信装置100−1のNICモジュールのDMA TX#0は、DMAバッファ106a#2−iの転送完了をファームウェアに通知する(ステップSF−6)。
そして、送信装置100−1のNICモジュールのDMA TX#0は、MPEG2−TSパケットのリード回数を示すメモリリード回数カウンタを0にクリアする(ステップSF−7)。
そして、送信装置100−1のNICモジュールのDMA TX#0は、iの値を+1インクリメントし(ステップSF−8)、処理をステップSF−1に移行させる。
なお、本実施形態において、送信装置100−1のNICモジュールのDMA TX#1は、DMAバッファ#3−i(i=0,1,2・・・255)とSMPTE2022−1/−2 TX#1とを使用して、同様の処理を実行してもよい。
図3に戻り、受信装置100−2のNICモジュールは、MPEG2−TSパケットを受信し、カメラAのMPEG2−TSパケットをDMA RX#0にて処理し、メインメモリのDMAバッファ#0へ送出し、MPEG2−TSパケットを受信し、カメラBのMPEG2−TSパケットをDMA RX#1にて処理し、メインメモリのDMAバッファ#1へ送出する(ステップSA−5)。
ここで、図12を参照して、本実施形態のNICモジュールのDMA RX#0における処理の一例について説明する。図12は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図12に示すように、まず、受信装置100−2のNICモジュールのDMA RX#0(パケット書込部102e)は、ファームウェアから通知されるDMAバッファ106a#0−iの先頭番地とバッファサイズとを取得する(ステップSG−1)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、SMPTE2022−1/−2 RX#0からMPEG2−TSパケットを取得する(ステップSG−2)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、MPEG2−TSパケットがMPEG2−TS(SOF=1)パケットであるか否かを判定する(ステップSG−3)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、MPEG2−TSパケットがMPEG2−TS(SOF=1)パケットではないと判定した場合(ステップSG−3:No)、処理をステップSG−11に移行させる。
一方、受信装置100−2のNICモジュールのDMA RX#0は、MPEG2−TSパケットがMPEG2−TS(SOF=1)パケットであると判定した場合(ステップSG−3:Yes)、処理をステップSG−4に移行させる。
そして、受信装置100−2のNICモジュールのDMA RX#0は、メモリライト回数カウンタが0であるか否かを判定する(ステップSG−4)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、メモリライト回数カウンタが0ではないと判定した場合(ステップSG−4:No)、処理をステップSG−7に移行させる。
一方、受信装置100−2のNICモジュールのDMA RX#0は、メモリライト回数カウンタが0であると判定した場合(ステップSG−4:Yes)、処理をステップSG−5に移行させる。
そして、受信装置100−2のNICモジュールのDMA RX#0は、MEPG2−TSパケットをDMAバッファ106a#0−iへメモリライトする(ステップSG−5)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、メモリライト回数カウンタを+1インクリメントして(ステップSG−6)、処理をステップSG−2に移行させる。
一方、受信装置100−2のNICモジュールのDMA RX#0は、DMAバッファ106a#0−iのDMA完了をファームウェアへ通知する(ステップSG−7)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、iの値を+1インクリメントする(ステップSG−8)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、ファームウェアから通知される次のDMAバッファ106a#0−iの先頭番地とバッファサイズとを取得する(ステップSG−9)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、メモリライト回数カウンタを0にクリアして(ステップSG−10)、処理をステップSG−3に移行させる。
一方、受信装置100−2のNICモジュールのDMA RX#0は、[(メモリライト回数カウンタ+1)×(MEPG2−TSパケットサイズ)]の値が、DMAバッファ106a#0−iのバッファサイズ未満であるか否かを判定をする(ステップSG−11)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、[(メモリライト回数カウンタ+1)×(MEPG2−TSパケットサイズ)]の値が、DMAバッファ106a#0−iのバッファサイズ未満ではないと判定した場合(ステップSG−11:No)、処理をステップSG−14に移行させる。
一方、受信装置100−2のNICモジュールのDMA RX#0は、[(メモリライト回数カウンタ+1)×(MEPG2−TSパケットサイズ)]の値が、DMAバッファ106a#0−iのバッファサイズ未満であると判定した場合(ステップSG−11:Yes)、処理をステップSG−12に移行させる。
そして、受信装置100−2のNICモジュールのDMA RX#0は、MEPG2−TSパケットをDMAバッファ106a#0−iへメモリライトする(ステップSG−12)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、メモリライト回数カウンタを+1インクリメントして(ステップSG−13)、処理をステップSG−2に移行させる。
一方、受信装置100−2のNICモジュールのDMA RX#0は、DMAバッファ106a#0−iのDMA完了をファームウェアへ通知する(ステップSG−14)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、iの値を+1インクリメントする(ステップSG−15)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、ファームウェアから通知される次のDMAバッファ106a#0−iの先頭番地とバッファサイズとを取得する(ステップSG−16)。
そして、受信装置100−2のNICモジュールのDMA RX#0は、メモリライト回数カウンタを0にクリアして(ステップSG−17)、処理をステップSG−3に移行させる。
なお、本実施形態において、受信装置100−2のNICモジュールのDMA RX#1は、DMAバッファ#1−i(i=0,1,2…255)を使用して、同様の処理を実行してもよい。
図3に戻り、受信装置100−2のファームウェアは、DMAバッファ#0のMPEG2−TS(カメラA)パケットをDMAバッファ#2へコピーする(ステップSA−6)。
ここで、図13乃至図15を参照して、本実施形態のファームウェアによる処理の一例について説明する。
ここで、図13および図14を参照して、本実施形態のNICモジュールのDMA RX#0に関するファームウェア処理の一例について説明する。図13および図14は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図13に示すように、まず、受信装置100−2のファームウェア(制御部102)は、DMAバッファ106a#0−000〜DMAバッファ106a#0−255を確保する(ステップSH−1)。
そして、受信装置100−2のファームウェアは、DMA RXよりDMA完了通知を受信する(ステップSH−2)。
そして、受信装置100−2のファームウェアは、完了済みDMAの個数[A]の値を+1カウントアップし(ステップSH−3)、処理をステップSH−2に移行させる。
ここで、[A]は、DMA RXによるデータ転送が完了、且つ、ファームウェアでの処理が未完了であるDMAの個数であってもよい。
なお、本実施形態において、受信装置100−2のファームウェアは、DMA RX#1に関する処理の場合、DMAバッファ#1−i(i=0,1,2…255)を使用して、同様の処理を実行してもよい。
次に、図14に示すように、まず、受信装置100−2のファームウェア(制御部102)は、[A]の値を参照する(ステップSI−1)。
そして、受信装置100−2のファームウェアは、[A]の値128より大きいか否かを判定する(ステップSI−2)。
そして、受信装置100−2のファームウェアは、[A]の値128より小さいと判定した場合(ステップSI−2:No)、(待機後に)処理を繰り返す(処理をステップSI−2に移行させる)。
一方、受信装置100−2のファームウェアは、[A]の値128より大きいと判定した場合(ステップSI−2:Yes)、処理をステップSI−3に移行させる。
そして、受信装置100−2のファームウェアは、送信中Chが自身を示しているか否かを判定する(ステップSI−3)。ここで、送信中Chは、現在、Decoderモジュールへデータを転送中の、NICモジュールのDMA RXの番号(#x)を示していてもよい。
また、送信中Chは、全てのNICモジュールのDMA RX#xが、Decoderモジュールへデータを転送していない場合、「無効」と示してもよい。
そして、受信装置100−2のファームウェアは、送信中Chが自身を示していないと判定した場合(ステップSI−3:No)、処理をステップSI−12に移行させる。
一方、受信装置100−2のファームウェアは、送信中Chが自身を示していると判定した場合(ステップSI−3:Yes)、処理をステップSI−4に移行させる。
そして、受信装置100−2のファームウェアは、有効Chが自身であるか否かを判定する(ステップSI−4)。ここで、有効Chは、現在、有効な(Decoderモジュールへデータ転送する対象の)、NICモジュールのDMA RXの番号(#x)を示していてもよい。
そして、受信装置100−2のファームウェアは、有効Chが自身ではないと判定した場合(ステップSI−4:No)、ステップSI−10に移行させる。
一方、受信装置100−2のファームウェアは、有効Chが自身であると判定した場合(ステップSI−4:Yes)、ステップSI−5に移行させる。
そして、受信装置100−2のファームウェアは、DMAが完了したDMAバッファ106a#0−xxxをDMAバッファ106a#2−xxxへコピーする(ステップSI−5)。
そして、受信装置100−2のファームウェアは、コピーが完了したDMAバッファ106a#2−xxxをDecoderモジュールのDMA TXへ通知する(ステップSI−6)。
そして、受信装置100−2のファームウェアは、DMAが完了したDMAバッファ106a#0−xxxを解放する(ステップSI−7)。
そして、受信装置100−2のファームウェアは、解放したDMAバッファ106a#0−xxxを再び確保する(ステップSI−8)。
そして、受信装置100−2のファームウェアは、[A]の値をデクリメントし(ステップSI−9)、ステップSI−2に移行させる。
一方、受信装置100−2のファームウェアは、DMAバッファ106a#2−xxxへコピーするDMAバッファ106a#0−xxxの先頭がMPEG2−TS(SOF=1b)パケットであるか否かを判定する(ステップSI−10)。
そして、受信装置100−2のファームウェアは、DMAバッファ106a#2−xxxへコピーするDMAバッファ106a#0−xxxの先頭がMPEG2−TS(SOF=1b)パケットであると判定した場合(ステップSI−10:Yes)、処理をステップSI−5に移行させる。
一方、受信装置100−2のファームウェアは、DMAバッファ106a#2−xxxへコピーするDMAバッファ106a#0−xxxの先頭がMPEG2−TS(SOF=1b)パケットではないと判定した場合(ステップSI−10:No)、処理をステップSI−11に移行させる。
そして、受信装置100−2のファームウェアは、送信中Chを無効にし(ステップSI−11)、ステップSI−7に移行させる。
一方、受信装置100−2のファームウェアは、送信中Chが無効であるか否かを判定する(ステップSI−12)。
そして、受信装置100−2のファームウェアは、送信中Chが無効ではないと判定した場合(ステップSI−12:No)、ステップSI−7に移行させる。
一方、受信装置100−2のファームウェアは、送信中Chが無効であると判定した場合(ステップSI−12:Yes)、ステップSI−13に移行させる。
そして、受信装置100−2のファームウェアは、有効Chが自身であるか否かを判定する(ステップSI−13)。
そして、受信装置100−2のファームウェアは、有効Chが自身ではないと判定した場合(ステップSI−13:No)、ステップSI−7に移行させる。
一方、受信装置100−2のファームウェアは、有効Chが自身であると判定した場合(ステップSI−13:Yes)、ステップSI−14に移行させる。
そして、受信装置100−2のファームウェアは、DMAバッファ106a#2−xxxへコピーするDMAバッファ106a#0−xxxの先頭がMPEG2−TS(SOF=1b)パケットであるか否かを判定する(ステップSI−14)。
そして、受信装置100−2のファームウェアは、DMAバッファ106a#2−xxxへコピーするDMAバッファ106a#0−xxxの先頭がMPEG2−TS(SOF=1b)パケットではないと判定した場合(ステップSI−14:No)、処理をステップSI−7に移行させる。
一方、受信装置100−2のファームウェアは、DMAバッファ106a#2−xxxへコピーするDMAバッファ106a#0−xxxの先頭がMPEG2−TS(SOF=1b)パケットであると判定した場合(ステップSI−14:Yes)、処理をステップSI−15に移行させる。
そして、受信装置100−2のファームウェアは、送信中Chを自身にし(ステップSI−15)、処理をステップSI−5に移行させる。
なお、本実施形態において、受信装置100−2のNICモジュールのDMA RX#1は、DMAバッファ106a#1−xxxを使用して、同様の処理を実行してもよい。
さらに、図15を参照して、本実施形態のユーザからのチャネル切替指示に対するファームウェアによる受付処理の一例について説明する。図15は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図15に示すように、まず、受信装置100−2のファームウェア(制御部102)は、ユーザからのチャネル切替指示があった場合、チャネル切替指示を受け付ける(ステップSJ−1)。
そして、受信装置100−2のファームウェアは、チャネル切替指示の通り、有効Chを切り替え(ステップSJ−2)、処理を終了する。
図3に戻り、受信装置100−2のDecoderモジュールは、DMAバッファ#2のMPEG2−TS(カメラA)パケットを取得し、映像/ANCデータへ変換し、ディスプレイに出力させ(ステップSA−7)、処理を終了する。
ここで、図16を参照して、本実施形態の受信装置100−2のDecoderモジュールのDMA TXにおける処理の一例について説明する。図16は、本実施形態の映像処理装置100における処理の一例を示すフローチャートである。
図16に示すように、まず、受信装置100−2のDecoderモジュールのDMA TX(パケット読出部102f)は、ファームウェアから通知されるDMAバッファ106a#2−iの先頭番地とバッファサイズとを取得する(ステップSK−1)。
そして、受信装置100−2のDecoderモジュールのDMA TXは、DMAバッファ106a#2−iからMPEG2−TSパケットを取得する(ステップSK−2)。
そして、受信装置100−2のDecoderモジュールのDMA TXは、MPEG2−TSパケットをDEMUXへ送出する(ステップSK−3)。
そして、受信装置100−2のDecoderモジュールのDMA TXは、MPEG2−TSパケットのメモリリード回数カウンタを+1インクリメントする(ステップSK−4)。
そして、受信装置100−2のDecoderモジュールのDMA TXは、[(メモリリード回数カウンタ)×(MPEG2−TSパケットサイズ)]の値が、DMAバッファ106a#2−iのバッファサイズ未満であるか否かを判定をする(ステップSK−5)。
そして、受信装置100−2のDecoderモジュールのDMA TXは、[(メモリリード回数カウンタ)×(MPEG2−TSパケットサイズ)]の値が、DMAバッファ106a#2−iのバッファサイズ未満であると判定した場合(ステップSK−5:Yes)、処理をステップSK−2に移行させる。
一方、受信装置100−2のDecoderモジュールのDMA TXは、[(メモリリード回数カウンタ)×(MPEG2−TSパケットサイズ)]の値が、DMAバッファ106a#2−iのバッファサイズ未満ではないと判定した場合(ステップSK−5:No)、処理をステップSK−6に移行させる。
そして、受信装置100−2のDecoderモジュールのDMA TXは、DMAバッファ106a#2−iの転送完了をファームウェアへ通知する(ステップSK−6)。
そして、受信装置100−2のDecoderモジュールのDMA TXは、MPEG2−TSパケットのメモリリード回数カウンタを0にクリアする(ステップSK−7)。
そして、受信装置100−2のDecoderモジュールのDMA TXは、iの値を+1インクリメントし(ステップSK−8)、処理をステップSK−1に移行させる。
ここで、受信装置100−2において、ディスプレイへ出力する映像チャネルの切替(カメラAからカメラBへの切替)が発生した場合、受信装置100−2のファームウェアは、DMAバッファ#0およびDMAバッファ#1から、MPEG2−TS(SOF=1b)パケットを抽出する。
その後、受信装置100−2のファームウェアは、DMAバッファ#0のMPEG2−TS(SOF=1b)パケットをDMAバッファ#2へコピーするタイミングで、DMAバッファ#1のMPEG2−TS(SOF=1b)パケットをDMAバッファ#2へコピーする。
そして、その後も、受信装置100−2のファームウェアは、DMAバッファ#1のMPEG2−TS(カメラB)パケットをDMAバッファ#2へコピーする。
これにより、受信装置100−2のDecoderモジュールにより、ディスプレイに出力される映像/ANCデータは、カメラAからカメラBへ切り替わる。
また、受信装置100−2のファームウェアは、映像フレーム単位で、映像/ANCデータを切り替えているため、ディスプレイにおいて、映像の乱れは発生しない(同一のフレームへカメラAとカメラBとからの映像/ANCデータが含まれることはない)。
なお、従来から、複数の映像チャネルをネットワーク300経由で受信し、ディスプレイ等へ出力する際に、ユーザが、映像チャネルを選択して切り替える場合、ディスプレイ等に表示される映像が乱れてはならないという要請があった。
ここで、映像の乱れは、例えば、同一の映像フレーム内に、異なる映像チャネルのデータが混在することで発生していた。
そこで、本実施形態においては、2つ以上の映像チャネルを、ネットワーク300を介して送受信でき、ディスプレイ等へ出力させる映像チャネルを、映像の乱れなく切り替えることができる技術を提供している。
ここで、本実施形態においては、映像データ(圧縮データ)受信器と映像データ(圧縮データ)複合部とを分離してモジュール化し、モジュール間をPCIeファブリック、メインメモリ、および、ファームウェアが動作するCPU等を使用して、インターコネクトする装置構成としている。
そして、本実施形態においては、圧縮ビデオデータにフレームの先頭を判別する判別データを埋め込むだけでなく、圧縮ビデオデータをモジュール間でやり取りする仕組みを工夫することで、スムーズな映像チャネルの切り替えを実現している。
また、本実施形態においては、モジュールの入れ替えにより、様々な装置構成を実現することを実現している。
さらに、本実施形態においては、MPEG2−TSパケットへの独自のデータ(MPEG2−TS(SOF=xb)パケット)の挿入間隔を一定にし、且つ、ネットワーク300上へ出力するフレームに含めるMPEG2−TSパケットの数を、その間隔と一致させるように制御している。
それにより、本実施形態においては、全フレームに、必ず1個の独自のデータを持たせることができ、これにより、フレームロストが発生しても、映像/ANCデータをカメラ等から受信する装置から、映像/ANCデータを出力させる装置への情報および指示を、ネットワーク300の品質に依らずに、漏れなく伝えることができる。
[他の実施形態]
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
例えば、映像処理装置100は、スタンドアローンの形態で処理を行ってもよく、クライアント端末(映像処理装置100とは別筐体である)からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。
また、映像処理装置100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
例えば、映像処理装置100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPUおよび当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。
尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて映像処理装置100に機械的に読み取られる。すなわち、ROMまたはHDDなどの記憶部106などには、OS(Operating System)と協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。
また、このコンピュータプログラムは、映像処理装置100に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OSに代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
記憶部106に格納される各種のデータベース等は、RAMもしくはROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および/または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および/または、ウェブページ用ファイル等を格納してもよい。
また、映像処理装置100は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、映像処理装置100は、該情報処理装置に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
以上のように、映像処理装置、映像処理システム、および、映像処理方法は、産業上の多くの分野、特に放送映像を扱う映像処理分野で実施することができ、極めて有用である。
100 映像処理装置
100−1 送信装置
100−2 受信装置
102 制御部
102a 映像ANCデータ分離部
102b データ圧縮部
102c パケット化部
102d パケット配置部
102e パケット書込部
102f パケット読出部
102g 送信調停部
102h ネットワークフレーム送信部
102i ネットワークフレーム受信部
102j 書込調停部
102k データ変換部
102m 映像ANCデータ多重部
106 記憶部
106a バッファ
300 ネットワーク

Claims (18)

  1. 先頭から所定周期でフレームを識別する所定規格の識別データパケットが配置された、前記所定規格の映像データパケットと前記所定規格のアンシラリデータパケットとを含む、前記フレームをネットワークを介して受信するネットワークフレーム受信手段と、
    前記識別データパケットを第一バッファに書き込む一方で、前記映像データパケット及び前記アンシラリデータパケットを第二バッファに書き込むパケット書込手段と、
    記識別データパケットを前記第一バッファから読み出した後に前記第一バッファをクリアする一方で、前記映像データパケット及び前記アンシラリデータパケットを前記第二バッファから読み出すパケット読出手段と、
    前記映像データパケットを映像データに変換し、前記アンシラリデータパケットをアンシラリデータに変換するデータ変換手段と、
    前記映像データと前記アンシラリデータとを多重し、映像/アンシラリデータを出力させる映像アンシラリデータ多重手段と、
    を備えたことを特徴とする、映像処理装置。
  2. 前記パケット読出手段は、
    更に、前記第一バッファの先頭を検索して、前記フレームとは異なるチャネル由来のフレームの先頭を示す識別データパケットを検出し、当該識別データパケットが書き込まれた前記第一バッファの先頭から、当該異なるチャネル由来の前記識別データパケットと、当該異なるチャネル由来の映像データパケットと、当該異なるチャネル由来のアンシラリデータパケットと、を読み出す、請求項1に記載の映像処理装置。
  3. 前記パケット書込手段は、
    前記フレームの先頭を示す前記識別データパケットを前記第一バッファに書き込む、請求項1または2に記載の映像処理装置。
  4. 前記識別データパケットは、
    前記映像データおよび前記アンシラリデータとは異なるペイロードIDを含む、請求項1から3のいずれか一つに記載の映像処理装置。
  5. 前記識別データパケットは、
    前記所定規格に準拠したヘッダと、前記フレームの先頭か否かを示すフレームスタートデータと、を含む、請求項1から4のいずれか一つに記載の映像処理装置。
  6. 前記所定規格は、
    MPEGである、請求項1から5のいずれか一つに記載の映像処理装置。
  7. 前記所定周期は、
    前記ネットワークを介して送受信される前記フレームに含める前記映像データパケットの数、および、前記アンシラリデータパケットの数の合計と一致する間隔である、請求項1からのいずれか一つに記載の映像処理装置。
  8. 前記データ変換手段は、
    更に、前記識別データパケットを破棄する、請求項1からのいずれか一つに記載の映像処理装置。
  9. 撮影装置から映像/アンシラリデータを取得し、映像データとアンシラリデータとに分離する映像アンシラリデータ分離手段と、
    前記映像データを所定規格の映像データパケットに、前記アンシラリデータを前記所定規格のアンシラリデータパケットに、パケット化するパケット化手段と、
    先頭から所定周期でフレームを識別する前記所定規格の識別データパケットを配置しつつ、前記映像データパケットと前記アンシラリデータパケットとを配置するパケット配置手段と、
    前記識別データパケットを第一バッファに書き込む一方で、前記映像データパケット及び前記アンシラリデータパケットを第二バッファに書き込むパケット書込手段と、
    記識別データパケットを前記第一バッファから読み出した後に前記第一バッファをクリアする一方で、前記映像データパケット及び前記アンシラリデータパケットを前記第二バッファから読み出すパケット読出手段と、
    先頭から前記所定周期で前記識別データパケットが配置された、前記映像データパケットと前記アンシラリデータパケットとを含む、前記フレームをネットワークを介して送信するネットワークフレーム送信手段と、
    を備えたことを特徴とする、映像処理装置。
  10. 前記パケット書込手段は、
    前記フレームの先頭を示す前記識別データパケットを前記第一バッファに書き込む、請求項に記載の映像処理装置。
  11. 送信装置と受信装置とを通信可能に接続した映像処理システムであって、
    前記送信装置は、
    撮影装置から映像/アンシラリデータを取得し、映像データとアンシラリデータとに分離する映像アンシラリデータ分離手段と、
    前記映像データを所定規格の映像データパケットに、前記アンシラリデータを前記所定規格のアンシラリデータパケットに、パケット化するパケット化手段と、
    先頭から所定周期でフレームを識別する前記所定規格の識別データパケットを配置しつつ、前記映像データパケットと前記アンシラリデータパケットとを配置するパケット配置手段と、
    前記識別データパケットを第一送信側バッファに書き込む一方で、前記映像データパケット及び前記アンシラリデータパケットを第二送信側バッファに書き込むパケット書込手段と、
    記識別データパケットを前記第一送信側バッファから読み出した後に前記第一送信側バッファをクリアする一方で、前記映像データパケット及び前記アンシラリデータパケットを前記第二送信側バッファから読み出すパケット読出手段と、
    先頭から前記所定周期で前記識別データパケットが配置された、前記映像データパケットと前記アンシラリデータパケットとを含む、前記フレームをネットワークを介して送信するネットワークフレーム送信手段と、
    を備え、
    前記受信装置は、
    前記フレームを前記ネットワークを介して受信するネットワークフレーム受信手段と、
    前記識別データパケットを第一受信側バッファに書き込む一方で、前記映像データパケット及び前記アンシラリデータパケットを第二受信側バッファに書き込むパケット書込手段と、
    記識別データパケットを前記第一受信側バッファから読み出した後に前記第一受信側バッファをクリアする一方で、前記映像データパケット及び前記アンシラリデータパケットを前記第二受信側バッファから読み出すパケット読出手段と、
    前記映像データパケットを前記映像データに変換し、前記アンシラリデータパケットを前記アンシラリデータに変換するデータ変換手段と、
    前記映像データと前記アンシラリデータとを多重し、前記映像/アンシラリデータを出力させる映像アンシラリデータ多重手段と、
    を備えたことを特徴とする、映像処理システム。
  12. 先頭から所定周期でフレームを識別する所定規格の識別データパケットが配置された、前記所定規格の映像データパケットと前記所定規格のアンシラリデータパケットとを含む、前記フレームをネットワークを介して受信するネットワークフレーム受信ステップと、
    前記識別データパケットを第一バッファに書き込む一方で、前記映像データパケット及び前記アンシラリデータパケットを第二バッファに書き込むパケット書込ステップと、
    記識別データパケットを前記第一バッファから読み出した後に前記第一バッファをクリアする一方で、前記映像データパケット及び前記アンシラリデータパケットを前記第二バッファから読み出すパケット読出ステップと、
    前記映像データパケットを映像データに変換し、前記アンシラリデータパケットをアンシラリデータに変換するデータ変換ステップと、
    前記映像データと前記アンシラリデータとを多重し、映像/アンシラリデータを出力させる映像アンシラリデータ多重ステップと、
    を含むことを特徴とする、映像処理方法。
  13. 前記パケット読出ステップにて、
    更に、前記第一バッファの先頭を検索して、前記フレームとは異なるチャネル由来のフレームの先頭を示す識別データパケットを検出し、当該識別データパケットが書き込まれた前記第一バッファの先頭から、当該異なるチャネル由来の前記識別データパケットと、当該異なるチャネル由来の映像データパケットと、当該異なるチャネル由来のアンシラリデータパケットと、を読み出す、請求項12に記載の映像処理方法。
  14. 前記パケット書込ステップにて、
    前記フレームの先頭を示す前記識別データパケットを前記第一バッファに書き込む、請求項12または13に記載の映像処理方法。
  15. 前記識別データパケットは、
    前記映像データおよび前記アンシラリデータとは異なるペイロードIDを含む、請求項12から14のいずれか一つに記載の映像処理方法。
  16. 前記所定規格は、
    MPEGである、請求項12から15のいずれか一つに記載の映像処理方法。
  17. 撮影装置から映像/アンシラリデータを取得し、映像データとアンシラリデータとに分離する映像アンシラリデータ分離ステップと、
    前記映像データを所定規格の映像データパケットに、前記アンシラリデータを前記所定規格のアンシラリデータパケットに、パケット化するパケット化ステップと、
    先頭から所定周期でフレームを識別する前記所定規格の識別データパケットを配置しつつ、前記映像データパケットと前記アンシラリデータパケットとを配置するパケット配置ステップと、
    前記識別データパケットを第一バッファに書き込む一方で、前記映像データパケット及び前記アンシラリデータパケットを第二バッファに書き込むパケット書込ステップと、
    記識別データパケットを前記第一バッファから読み出した後に前記第一バッファをクリアする一方で、前記映像データパケット及び前記アンシラリデータパケットを前記第二バッファから読み出すパケット読出ステップと、
    先頭から前記所定周期で前記識別データパケットが配置された、前記映像データパケットと前記アンシラリデータパケットとを含む、前記フレームをネットワークを介して送信するネットワークフレーム送信ステップと、
    を含むことを特徴とする、映像処理方法。
  18. 送信装置と受信装置とを通信可能に接続した映像処理システムにおいて実行される映像処理方法であって、
    前記送信装置において実行される、撮影装置から映像/アンシラリデータを取得し、映像データとアンシラリデータとに分離する映像アンシラリデータ分離ステップと、
    前記送信装置において実行される、前記映像データを所定規格の映像データパケットに、前記アンシラリデータを前記所定規格のアンシラリデータパケットに、パケット化するパケット化ステップと、
    前記送信装置において実行される、先頭から所定周期でフレームを識別する前記所定規格の識別データパケットを配置しつつ、前記映像データパケットと前記アンシラリデータパケットとを配置するパケット配置ステップと、
    前記送信装置において実行される、前記識別データパケットを第一送信側バッファに書き込む一方で、前記映像データパケット及び前記アンシラリデータパケットを第二送信側バッファに書き込むパケット書込ステップと、
    前記送信装置において実行される、前記識別データパケットを前記第一送信側バッファから読み出した後に前記第一送信側バッファをクリアする一方で、前記映像データパケット及び前記アンシラリデータパケットを前記第二送信側バッファから読み出すパケット読出ステップと、
    前記送信装置において実行される、先頭から前記所定周期で前記識別データパケットが配置された、前記映像データパケットと前記アンシラリデータパケットとを含む、前記フレームをネットワークを介して送信するネットワークフレーム送信ステップと、
    前記受信装置において実行される、前記フレームを前記ネットワークを介して受信するネットワークフレーム受信ステップと、
    前記受信装置において実行される、前記識別データパケットを第一受信側バッファに書き込む一方で、前記映像データパケット及び前記アンシラリデータパケットを第二受信側バッファに書き込むパケット書込ステップと、
    前記受信装置において実行される、前記識別データパケットを前記第一受信側バッファから読み出した後に前記第一受信側バッファをクリアする一方で、前記映像データパケット及び前記アンシラリデータパケットを前記第二受信側バッファから読み出すパケット読出ステップと、
    前記受信装置において実行される、前記映像データパケットを前記映像データに変換し、前記アンシラリデータパケットを前記アンシラリデータに変換するデータ変換ステップと、
    前記受信装置において実行される、前記映像データと前記アンシラリデータとを多重し、前記映像/アンシラリデータを出力させる映像アンシラリデータ多重ステップと、
    を含むことを特徴とする、映像処理方法。
JP2015224180A 2015-11-16 2015-11-16 映像処理装置、映像処理システム、および、映像処理方法 Expired - Fee Related JP6215898B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015224180A JP6215898B2 (ja) 2015-11-16 2015-11-16 映像処理装置、映像処理システム、および、映像処理方法
US15/057,275 US10263743B2 (en) 2015-11-16 2016-03-01 Video-processing apparatus, video-processing system, and video-processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015224180A JP6215898B2 (ja) 2015-11-16 2015-11-16 映像処理装置、映像処理システム、および、映像処理方法

Publications (2)

Publication Number Publication Date
JP2017092869A JP2017092869A (ja) 2017-05-25
JP6215898B2 true JP6215898B2 (ja) 2017-10-18

Family

ID=58691490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015224180A Expired - Fee Related JP6215898B2 (ja) 2015-11-16 2015-11-16 映像処理装置、映像処理システム、および、映像処理方法

Country Status (2)

Country Link
US (1) US10263743B2 (ja)
JP (1) JP6215898B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6215898B2 (ja) * 2015-11-16 2017-10-18 株式会社Pfu 映像処理装置、映像処理システム、および、映像処理方法
CN108200341A (zh) * 2018-01-15 2018-06-22 青岛海信移动通信技术股份有限公司 摄像头的无缝切换方法、装置及终端设备
CN111405272B (zh) * 2020-02-23 2021-04-20 中国科学院西安光学精密机械研究所 一种相机丢帧及重复帧检测装置及方法

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07298257A (ja) 1994-04-25 1995-11-10 Sony Corp 画像データの伝送方法及び復号化装置
JP2000209557A (ja) 1999-01-08 2000-07-28 Nec Corp トランスポ―トストリ―ム切り替え装置及びトランスポ―トストリ―ム切り替え方法
CN100469139C (zh) * 1999-07-14 2009-03-11 松下电器产业株式会社 信息提供装置、信息提供方法以及信息通信系统
JP2001045477A (ja) 1999-07-26 2001-02-16 Nec Corp 映像・音声圧縮データ切り替え器および映像・音声圧縮データ切り替え方法
JP2001045034A (ja) 1999-07-30 2001-02-16 Sony Corp デジタルインターフェイス制御機能を備えた電子機器
US7133407B2 (en) * 2000-01-25 2006-11-07 Fujitsu Limited Data communications system
JP4368482B2 (ja) * 2000-02-25 2009-11-18 富士通株式会社 データ通信システム
JP2001282215A (ja) * 2000-03-28 2001-10-12 Nec Viewtechnology Ltd 映像表示システムの表示制御方法及び映像表示システム
US7333489B1 (en) * 2000-05-08 2008-02-19 Crossroads Systems, Inc. System and method for storing frame header data
JP4573957B2 (ja) * 2000-07-04 2010-11-04 キヤノン株式会社 画像制御装置、画像制御方法及びテレビ受信機
JP4393955B2 (ja) * 2004-09-09 2010-01-06 シャープ株式会社 送信装置、データ送信方法、プログラム、および、そのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置
JP2007074127A (ja) * 2005-09-05 2007-03-22 Sanyo Electric Co Ltd テレビジョン受像機
US20080199154A1 (en) * 2007-01-24 2008-08-21 Yuichi Kanai Apparatus and method with frame-by-frame display control
JP4744457B2 (ja) * 2007-01-26 2011-08-10 京セラ株式会社 通信方法および通信装置
US7929698B2 (en) 2007-06-15 2011-04-19 Sony Corporation Selective encryption to enable trick play with enhanced security
US10277956B2 (en) * 2007-10-01 2019-04-30 Cabot Communications Method and apparatus for streaming digital media content and a communication system
JP2009100265A (ja) * 2007-10-17 2009-05-07 Panasonic Corp データ処理装置、データ処理方法、データ処理プログラム、およびそのデータ処理プログラムを記録した記録媒体、並びに集積回路
US20090106807A1 (en) * 2007-10-19 2009-04-23 Hitachi, Ltd. Video Distribution System for Switching Video Streams
EP2235932A4 (en) * 2007-12-20 2013-01-23 Ati Technologies Ulc METHOD, DEVICE AND MACHINE-READABLE MEDIUM FOR DESCRIPTING VIDEO PROCESSING
JP5161683B2 (ja) * 2008-07-22 2013-03-13 キヤノン株式会社 情報処理装置、その制御方法、及びコンピュータプログラム
WO2010087129A1 (ja) * 2009-02-02 2010-08-05 日本電気株式会社 ピクチャタイプ推定装置、方法、及びプログラムが格納された記憶媒体
JP5240015B2 (ja) * 2009-04-01 2013-07-17 富士通セミコンダクター株式会社 映像データ通信システム
JP4846002B2 (ja) * 2009-07-24 2011-12-28 株式会社東芝 ファイル転送システムおよびファイル転送方法
JP5564853B2 (ja) 2009-08-14 2014-08-06 ソニー株式会社 受信装置および方法、プログラム、並びに受信システム
BR112012008605B1 (pt) * 2009-10-22 2021-09-08 Nippon Telegraph And Telephone Corporation Aparelho e método de estimação de qualidade de vídeo
JP5359929B2 (ja) * 2010-02-25 2013-12-04 日本電気株式会社 送信装置、受信装置、通信システム、送信方法および変換方法
JP5553663B2 (ja) * 2010-03-31 2014-07-16 日立コンシューマエレクトロニクス株式会社 映像送信装置、映像受信装置、映像伝送システム
US9338483B2 (en) * 2010-06-11 2016-05-10 Sony Corporation Camera system, video selection apparatus and video selection method
JP2011259365A (ja) * 2010-06-11 2011-12-22 Sony Corp カメラシステム、映像選択装置及び映像選択方法
JP2012004768A (ja) * 2010-06-16 2012-01-05 Nihon Digital Kaden:Kk 多チャンネル同時録画再生装置
JP2012070344A (ja) * 2010-09-27 2012-04-05 Mitsubishi Electric Corp デジタル放送受信装置及びデジタル放送受信方法
CN103547518B (zh) * 2011-05-31 2015-09-16 村田机械株式会社 拉出装置以及保存装置
JP6032919B2 (ja) * 2012-03-30 2016-11-30 キヤノン株式会社 画像処理装置
AU2014247880B2 (en) * 2013-04-05 2017-03-30 Media Global Links Co., Ltd. IP uncompressed video encoder and decoder
JP6625431B2 (ja) 2013-06-21 2019-12-25 サターン ライセンシング エルエルシーSaturn Licensing LLC 送信装置、送信方法、再生装置、再生方法および受信装置
JP2015012557A (ja) * 2013-07-02 2015-01-19 日本電気株式会社 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
US9817785B2 (en) * 2015-04-09 2017-11-14 Embrionix Design Inc. Standardized hot-pluggable transceiving unit with SDI signal to IP flows conversion capabilities
JP6178370B2 (ja) * 2015-09-09 2017-08-09 株式会社メディアリンクス 映像伝送システム及び映像受信装置
US10116576B2 (en) * 2015-10-19 2018-10-30 Samsung Electronics Co., Ltd. Methods and apparatus for random access of HEVC bitstream for MMT
JP6215898B2 (ja) * 2015-11-16 2017-10-18 株式会社Pfu 映像処理装置、映像処理システム、および、映像処理方法

Also Published As

Publication number Publication date
US10263743B2 (en) 2019-04-16
JP2017092869A (ja) 2017-05-25
US20170141891A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
JP3641336B2 (ja) データ分離装置
US8265449B2 (en) Information delivery apparatus, stream recording apparatus, recording system, stream reproducing apparatus, and record reproducing system
JP6215898B2 (ja) 映像処理装置、映像処理システム、および、映像処理方法
JP5784631B2 (ja) 複数の保護されたソースから同時にコンテンツをプレビューする方法、装置、及びシステム
WO2013077525A1 (ko) 제어 방법 및 그를 이용한 장치
JP2008172391A (ja) マルチストリーム配信装置およびマルチデスクランブル装置
WO2009096415A1 (ja) 電子機器、遠隔制御システム、信号処理方法、制御プログラムおよび記録媒体
US9445142B2 (en) Information processing apparatus and control method thereof
US7725610B2 (en) Data processing apparatus that transmits and receives moving image data to and from an external device through a transmission path
WO2017043702A1 (ko) 통신 시스템의 암호화 패킷 전송 방법
WO2011059193A2 (en) Method of recording and replaying video data, and display device using the same
WO2021137575A1 (en) A device and a method for storage of video decoder configuration information
WO2014207899A1 (ja) 通信装置および通信方法
JP6360300B2 (ja) 通信装置、撮像装置およびそれらの制御方法、並びにプログラム
US20080165774A1 (en) Inter-network packet modifier and related method thereof
JP4184458B2 (ja) 通信インタフェースで受信されたパケットデータからの制御情報の抽出方法ならびにビデオデータパケット制御回路
WO2021172941A1 (ko) 영상 스트리밍 방법 및 이를 지원하는 전자 장치
US11470234B2 (en) Wireless camera and method of video streaming
US11956519B2 (en) Method and apparatus for signaling grouping types in an image container file
JP6208732B2 (ja) 映像処理装置、映像処理システム、および、映像処理方法
EP2856765A1 (en) Method and home device for outputting response to user input
US6865283B1 (en) Communicating information from an imaging device to a processor-based system
CN1258979A (zh) 发送和接收数据的方法、电子装置以及提供数据发送/接收程序的媒体
WO2022235084A1 (en) Mmt based drm operation for atsc 3.0
WO2010114491A1 (en) A method and system for processing electronic image content for display

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170921

R150 Certificate of patent or registration of utility model

Ref document number: 6215898

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees