JP6354262B2 - 映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、映像符号化データ受信方法、及び映像符号化データ送受信システム - Google Patents

映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、映像符号化データ受信方法、及び映像符号化データ送受信システム Download PDF

Info

Publication number
JP6354262B2
JP6354262B2 JP2014071975A JP2014071975A JP6354262B2 JP 6354262 B2 JP6354262 B2 JP 6354262B2 JP 2014071975 A JP2014071975 A JP 2014071975A JP 2014071975 A JP2014071975 A JP 2014071975A JP 6354262 B2 JP6354262 B2 JP 6354262B2
Authority
JP
Japan
Prior art keywords
encoded data
video encoded
video
basic
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014071975A
Other languages
English (en)
Other versions
JP2015195474A (ja
Inventor
英樹 竹原
英樹 竹原
上田　基晴
基晴 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=54192234&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6354262(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2014071975A priority Critical patent/JP6354262B2/ja
Priority to US14/657,359 priority patent/US9986303B2/en
Publication of JP2015195474A publication Critical patent/JP2015195474A/ja
Application granted granted Critical
Publication of JP6354262B2 publication Critical patent/JP6354262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Description

本発明は、映像符号化データ伝送技術に関し、特に映像符号化データをリアルタイムで伝送する映像符号化データ伝送技術に関する。
近年、スマートフォンなどのモバイル端末の性能の向上、ＬＴＥなどの導入によるネットワーク帯域の拡張、ＨＥＶＣなど映像圧縮符号化技術の進展に伴って、映像や音声などのコンテンツを圧縮符号化してネットワークでリアルタイムに伝送するサービスが盛んになっている。
インターネット（ＩＰ網）のようなネットワークではベストエフォート型の伝送が行われており帯域保証されていない。そのため、利用者数や利用場所などによって伝送レートは変動する。さらに、無線ネットワークではネットワークが一時的に切断されることもある。
そのため、非リアルタイムのデータ伝送では、再送制御など品質保証のあるＴＣＰが利用される。ところが、再送制御を伴う品質保証は遅延を伴うためリアルタイムのデータ伝送には向かない。リアルタイムのデータ伝送については、品質保証されないＵＤＰが利用されている。映像をリアルタイムで伝送する従来技術は、たとえば特許文献１と特許文献２に開示されている。
特開２００５−３０３９２５号公報 特開２００８−１９９６７７号公報
しかしながら、特許文献１に記載された方法は、間引き選択による選択データをリアルタイム送信した後、非選択だった未送信データを送信する技術であり、リアルタイムでの映像送信と高品位の映像の視聴を両立できないという課題がある。また、特許文献２に記載された方法は、同じ映像を高圧縮の映像データおよび低圧縮の映像データとして重複して伝送するため、伝送効率の低下が課題となる。
本発明はこうした状況に鑑みてなされたものであり、その目的は、リアルタイムでの映像送信と高品位の映像の視聴の両立を実現することのできる映像伝送技術を提供することにある。
上記課題を解決するために、本発明のある態様の映像符号化データ送信装置は、ネットワークの伝送レートを取得する伝送レート取得部と、基本階層と補充階層を含む伝送構造を設定する伝送構造設定部と、基本階層の基本映像符号化データを送信する第１送信部と、補充階層の補充映像符号化データを送信する第２送信部と、前記伝送レートに応じて前記第２送信部を制御する送信制御部と、前記伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析部とを備える。
本発明の別の態様は、映像符号化データ送信装置である。この装置は、ネットワークの伝送レートを取得する伝送レート取得部と、基本階層と補充階層を含む伝送構造を設定する伝送構造設定部と、基本階層の基本映像符号化データを送信する第１送信部と、補充階層の補充映像符号化データを送信する第２送信部と、前記伝送レートに応じて前記第２送信部を制御する送信制御部とを備え、前記伝送構造設定部は、前記伝送レートが大きくなるほど前記基本階層の割合が増え、前記伝送レートが小さくなるほど前記補充階層の割合が増えるように基本階層と補充階層の比率を設定する。
本発明の別の態様は、映像符号化データ受信装置である。この装置は、基本階層の基本映像符号化データを受信する第１受信部と、補充階層の補充映像符号化データを受信する第２受信部と、前記基本映像符号化データと前記補充映像符号化データとから映像符号化データを再構成する映像符号化データ再構成部とを備え、前記基本階層の基本映像符号化データ及び前記補充階層の補充映像符号化データは、前記基本階層と前記補充階層を含む伝送構造に基づいて映像符号化データから識別されたデータである。
本発明のさらに別の態様は、映像符号化データ送信方法である。この方法は、ネットワークの伝送レートを取得するステップと、基本階層と補充階層を含む伝送構造を設定するステップと、基本階層の基本映像符号化データを送信するステップと、補充階層の補充映像符号化データを送信する送信ステップと、前記伝送レートに応じて前記送信ステップを制御する送信制御ステップと、前記伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析ステップとを有する。
本発明の別の態様は、映像符号化データ送信装置である。この装置は、基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析部と、前記映像符号化データ解析部の識別に基づき前記基本映像符号化データと前記補充映像符号化データを判別する識別子を送信する送信部とを備える。
本発明の別の態様は、映像符号化データ送信方法である。この方法は、基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析ステップと、前記映像符号化データ解析ステップの識別に基づき前記基本映像符号化データと前記補充映像符号化データを判別する識別子を送信するステップとを有する。
本発明の別の態様は、映像符号化データ受信装置である。この装置は、基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別することで割り当てられた識別子を受信する受信部を備え、前記受信部は、前記識別子に基づいて、前記基本映像符号化データと前記補充映像符号化データとを判別する。
本発明の別の態様は、映像符号化データ受信方法である。この方法は、基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別することで割り当てられた識別子を受信する受信ステップを有し、前記受信ステップは、前記識別子に基づいて、前記基本映像符号化データと前記補充映像符号化データとを判別する。
本発明の別の態様は、映像符号化データ送信装置である。この装置は、基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析部と、識別した前記基本階層の基本映像符号化データを送信する第１送信部と、識別した前記補充階層の補充映像符号化データを送信する第２送信部とを備える。
本発明の別の態様は、映像符号化データ送信方法である。この方法は、基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析ステップと、識別した前記基本階層の基本映像符号化データを送信する第１送信ステップと、識別した前記補充階層の補充映像符号化データを送信する第２送信ステップとを有する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、リアルタイムでの映像送信と高品位の映像の視聴の両立を実現することができる。
本実施の形態１に係る映像符号化データ送受信システムを説明する図である。 図１の監視カメラによる映像の符号化・送信手順を説明するフローチャートである。 図１の映像監視局による映像符号化データの受信・復号手順を説明する図である。 予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係の一例について説明する図である。 図４の例において送信指示の一例を説明する図である。 実施の形態２の予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係の一例を説明する図である。 実施の形態４に係る映像符号化データ送受信システムを説明する図である。
以下、図面とともに本発明の好適な実施の形態に係る映像符号化データ伝送技術の詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。
［実施の形態１］
図１は、本実施の形態１に係る映像符号化データ送受信システムを説明する図である。図１では、３台の監視カメラ１０００がネットワーク（一例としてインターネット）を介して映像監視局２０００と接続されている。監視カメラ１０００は「映像符号化データ送信装置」の一例であり、映像監視局２０００は「映像符号化データ受信装置」の一例である。監視カメラ１０００で撮影された映像は映像監視局２０００にてリアルタイムで監視される。
（監視カメラ１０００と映像監視局２０００の構成）
最初に、監視カメラ１０００の構成について説明する。監視カメラ１０００は、予測伝送構造設定部１００、映像符号化部１０１、第１送信部１０２、記憶部１０３、第２送信部１０４、伝送レート取得部１０５、及び送信制御部１０６を備える。
伝送レート取得部１０５は、ネットワークの伝送レートを取得し、取得した伝送レートを送信制御部１０６と予測伝送構造設定部１００に供給する。伝送レート取得部１０５は、後述の映像監視局２０００の伝送状況情報生成部２０５からネットワークを介して伝送レートの情報を受信してもよく、ネットワークの伝送レートを自ら推定してもよい。
予測伝送構造設定部１００は、伝送レート取得部１０５から供給される伝送レートにもとづいて映像の伝送構造を設定するとともに、映像の各ピクチャの参照関係を示す予測構造を設定する。映像の伝送構造には基本階層と補充階層が含まれる。基本階層は、概要映像を伝送するための階層であり、補充階層は拡張映像を伝送するための階層である。
なお、ここでは、予測伝送構造設定部１００は、伝送レートに応じて基本階層と補充階層の比率を設定するとしたが、予測伝送構造設定部１００は、伝送レートに関係なく、基本階層と補充階層の比率を既定値または指定値に設定してもよい。
映像符号化部１０１は、予測伝送構造設定部１００により設定された伝送構造と予測構造にもとづいて、端子１から入力された映像を符号化して、基本階層に対応する基本映像符号化データと、補充階層に対応する補充映像符号化データとを生成する。映像符号化部１０１は、基本映像符号化データを第１送信部１０２に供給し、補充映像符号化データを記憶部１０３に保存する。
第１送信部１０２は、映像符号化部１０１から供給された基本映像符号化データをネットワークを介して映像監視局２０００に送信する。
送信制御部１０６は、伝送レート取得部１０５から供給される伝送レートにもとづいて、記憶部１０３に保存された補充映像符号化データの送信を制御する。送信制御部１０６が伝送レートにもとづいて補充映像符号化データの送出指示を出した場合、第２送信部１０４は、記憶部１０３に保存された補充映像符号化データを読み出し、補充映像符号化データをネットワークを介して映像監視局２０００に送信する。
ここで、第２送信部１０４が送信する補充映像符号化データに含まれる補充階層ピクチャは、第１送信部１０２がリアルタイムで送信する基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有することに留意する。すなわち、第２送信部１０４は、伝送レートに余裕があるときに、過去の補充映像符号化データを遅れて送信する。
次に、映像監視局２０００の構成について説明する。映像監視局２０００は、受信部２００、第１映像復号部２０１、符号化データ再構成部２０２、符号化データ保持部２０３、第２映像復号部２０４、及び伝送状況情報生成部２０５を備える。
受信部２００は、第１送信部１０２から送信された基本映像符号化データを受信し、第２送信部１０４から送信された補充映像符号化データを受信する。ここで、基本映像符号化データは、監視カメラ１０００の映像符号化部１０１によってリアルタイムで符号化されて送信されたものであるが、補充映像符号化データは、監視カメラ１０００の記憶部１０３に記憶された過去の映像符号化データが遅れて送信されたものであることに留意する。すなわち、第２送信部１０４から送信された補充映像符号化データに含まれる補充階層ピクチャは、第１送信部１０２からリアルタイムで送信された基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有する。
伝送状況情報生成部２０５は、受信部２００が受信した映像符号化データにもとづいてネットワークの伝送状況を把握し、伝送レートやエラー発生率などの伝送状況情報を生成し、ネットワークを介して伝送状況情報を監視カメラ１０００に送信する。
受信部２００は、受信された基本映像符号化データを第１映像復号部２０１に供給するとともに、受信された基本映像符号化データを符号化データ再構成部２０２のメモリに保存する。また、受信部２００は、受信した補充映像符号化データを符号化データ再構成部２０２に供給する。
第１映像復号部２０１は、受信部２００から供給された基本映像符号化データを復号し、端子２に出力する。端子２からはリアルタイムで低フレームレートの概要映像が出力される。
符号化データ再構成部２０２は、メモリに保持された過去の基本映像符号化データと受信部２００により受信された補充映像符号化データとの間でピクチャの順序を並べ替えて再構成し、再構成された映像符号化データを符号化データ保持部２０３に記憶する。ここで、前述のように第２送信部１０４から送信された補充映像符号化データに含まれる補充階層ピクチャは、第１送信部１０２からリアルタイムで送信された基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有することから、過去の基本映像符号化データをメモリに保持しておかなければ、補充映像符号化データと組み合わせて再構成することはできないことに留意する。符号化データ再構成部２０２は、映像符号化データが再構成された後、過去の基本映像符号化データをメモリから消去する。
第２映像復号部２０４は、符号化データ保持部２０３から再構成された映像符号化データを読み出して復号し、端子３に出力する。端子３からは非リアルタイムで高フレームレートの拡張映像が出力される。
監視カメラ１０００と映像監視局２０００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などにおいてハードウェアとソフトウェアの協働により実現される。監視カメラ１０００と映像監視局２０００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
（監視カメラ１０００の動作の概要）
次に、監視カメラ１０００の動作の概要について説明する。図２は、監視カメラ１０００による映像の符号化・送信手順を説明するフローチャートである。以下、図２に基づいて監視カメラ１０００の動作を説明する。
伝送レート取得部１０５はネットワークを経由して伝送状況情報生成部２０５からネットワークの伝送レートを取得する（Ｓ１０００）。取得した伝送レートは予測伝送構造設定部１００と送信制御部１０６に供給される。ここでは、伝送レート取得部１０５はネットワークを経由して伝送状況情報生成部２０５からネットワークの伝送レートを取得するとしたが、伝送レート取得部１０５がネットワークを監視して伝送レートを推定してもよい。
予測伝送構造設定部１００は伝送レート取得部１０５より供給される伝送レートに基づいて予測構造と伝送構造を設定する（Ｓ１００１）。設定された予測構造と伝送構造は映像符号化部１０１に供給される。なお、予測構造と伝送構造の設定は所定数の画像に対して行われる。ここでは、所定数を１０として説明するが、所定数は１５、３０、６０など任意の正の整数であればよい。ステップＳ１００２からステップＳ１００９は、所定数だけループ処理される。また、映像符号化データのビットレートを伝送レート取得部１０５より供給される伝送レートに依存して設定してもよい。
映像符号化部１０１は予測伝送構造設定部１００により設定される予測構造と伝送構造に基づいて、端子１より入力される映像を映像符号化データに符号化する（Ｓ１００３）。ここでは、映像符号化部１０１は、国際標準であるＨＥＶＣに基づいて映像を符号化するものとするが、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以下、ＡＶＣ）などに基づいて映像を符号化してもよい。映像符号化データは伝送構造に基づいて、基本映像符号化データと補充映像符号化データに分別される。予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係については後述する。
映像符号化データが基本映像符号化データであるかどうかを検査する（Ｓ１００４）。映像の伝送構造が基本映像符号化データであることを示していれば（Ｓ１００４のＹ）、映像符号化データは基本映像符号化データとして第１送信部１０２に供給され、第１送信部１０２は映像符号化部１０１より供給された基本映像符号化データをリアルタイムでネットワークに送出する（Ｓ１００５）。このとき、インターネットのトランスポート層としてＵＤＰを用い、ポートとしてポート番号ＰＡが割り当てられる。
映像の伝送構造が補充映像符号化データであることを示していれば（Ｓ１００４のＮ）、映像符号化データは補充映像符号化データとして記憶部１０３に供給され、記憶部１０３は映像符号化部１０１より供給された補充映像符号化データを記憶する（Ｓ１００６）。
記憶部１０３は送信制御部１０６から供給される送出指示がＯＮであるかどうかを検査する（Ｓ１００７）。送出指示がＯＮであれば（Ｓ１００７のＹ）、記憶部１０３は記憶された補充映像符号化データがあれば、記憶された順に補充映像符号化データを第２送信部１０４に供給し、第２送信部１０４は記憶部１０３より供給された補充映像符号化データをネットワークに送出する（Ｓ１００８）。なお、ネットワークより創出された補充映像符号化データは記憶部１０３から削除される。このとき、インターネットのトランスポート層としてＵＤＰを用い、ポートとしてポート番号ＰＢが割り当てられる。ここで、送信制御部１０６は伝送レート取得部１０５より供給される伝送レートに余裕がある場合に送出指示を行う。伝送レートに余裕がある場合の条件や送信指示の詳細については後述する。送出指示がＯＮでなければ（Ｓ１００７のＮ）、補充映像符号化データを送出せずに、ステップＳ１００９に進む。
ここで、補充映像符号化データのネットワークへの送出を伝送レートの設定のタイミングと合わせるために、ステップＳ１００７とステップＳ１００８をステップＳ１００９の後で実行してもよい。
以上で説明した動作は所定の伝送レート期間、繰り返し実行される。そのため、所定の伝送レート期間毎に伝送レートの変動に対応することができる。
（映像監視局２０００の動作の概要）
次に、映像監視局２０００の動作の概要について説明する。図３は、映像監視局２０００による映像符号化データの受信・復号手順を説明する図である。以下、図３に基づいて映像監視局２０００の動作を説明する。
受信部２００がネットワークから受信する映像符号化データがポートＰＡで受信される基本映像符号化データであれば（Ｓ１１００のＹ）、受信部２００は当該基本映像符号化データを第１映像復号部２０１と符号化データ再構成部２０２に供給する。第１映像復号部２０１は受信部２００より供給された基本映像符号化データを復号して再生映像を生成し、再生映像を端子２より出力する（Ｓ１１０１）。一方、符号化データ再構成部２０２は受信部２００より供給された基本映像符号化データを符号化データ再構成部２０２内のメモリに記憶する（Ｓ１１０２）。なお、基本映像符号化データを外部のメモリに記憶してもよい。要するに、符号化データ再構成部２０２が、現在受信された補充映像符号化データよりも前に受信された基本映像符号化データを取得できればよい。続いてステップＳ１１０６に進む。ステップＳ１１０６については後述する。
受信部２００がネットワークから受信する映像符号化データがポートＰＡで入力される基本映像符号化データではなく（Ｓ１１００のＮ）、ポートＰＢで受信される補充映像符号化データがあれば（Ｓ１１０３のＹ）、受信部２００は補充映像符号化データを符号化データ再構成部２０２に供給する。符号化データ再構成部２０２は、ステップＳ１１０２でメモリに記憶した基本映像符号化データと、ステップＳ１１０３で受信した補充映像符号化データとを並び替えて映像符号化データを再構成する（Ｓ１１０４）。再構成された映像符号化データは符号化データ保持部２０３に供給される。次に、符号化データ再構成部２０２は、メモリに記憶した基本映像符号化データを符号化データ再構成部２０２内のメモリから消去する（Ｓ１１０５）。続いてステップＳ１１０６に進む。ステップＳ１１０６については後述する。
受信部２００がネットワークから受信する映像符号化データがポートＰＡで入力される基本映像符号化データではなく（Ｓ１１００のＮ）、ポートＰＢで受信される補充映像符号化データでもなければ（Ｓ１１０３のＮ）、ステップＳ１１０６に進む。
ここでは、基本映像符号化データと補充映像符号化データを並び替えは、ＡＶＣで定義されているピクチャの符号化順序を示すフレーム番号に基づいて行われるものとするが、ＵＤＰの拡張領域など映像符号化データとは別領域にシーケンス番号を符号化してもよい。また、再構成された映像符号化データは、ＭＰＥＧ−２トランスポートストリームのように固定長サイズでパケット化して音声データなどと多重化してメディアストリームとして保持してもよいし、ＭＰ４ファイルのようにアクセスユニット単位でパケット化して音声データなどと多重化してメディアストリームとして保持してもよい。さらには、基本映像符号化データと補充映像符号化データの並び替えを行わず、基本映像符号化データと補充映像符号化データは受信した順序で保持しながら、ピクチャの符号化順序を示すフレーム番号に基づいたピクチャ再生順序リストを作成して保持することもできる。この場合、ピクチャ再生順序リストに基づいて再生することで映像符号化データを並べ替えることなく正しく再生することができる。
伝送状況情報生成部２０５は、受信部２００の基本映像符号化データと補充映像符号化データの受信状況を分析して、ネットワークの伝送レートを推定する（Ｓ１１０６）。伝送レートの推定方法はラウンドトリップ時間を計測して行うような一般的な方法とする。推定した伝送レートは監視カメラ１０００の伝送レート取得部１０５に供給される。ここで、推定した伝送レートはＵＤＰの拡張領域に符号化されるとする。
符号化データ保持部２０３に保持された符号化ストリームは必要に応じて第２映像復号部２０４に供給され、第２映像復号部２０４により復号されて再生映像が生成され、再生映像が端子３より出力される。
このようにして、端子２からはリアルタイムで低フレームレートの再生映像が出力される一方で、端子３からは非リアルタイムで高フレームレートの再生映像が出力される。
（映像監視局２０００のイベント的な動作）
次に、映像監視局２０００のイベント的な動作について説明する。イベント的な動作はユーザの操作によって行われる。例えば、ユーザがよりフレームレートの高い映像を見たい場合などに利用される。この場合、第２映像復号部２０４は符号化データ再構成部２０２より供給された映像符号化データを復号して再生映像を生成し、再生された映像は端子３より出力される。ここで、符号化データ保持部２０３より出力される映像符号化データをファイルなどに保存してもよい。
（予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データ）
次に、図４を参照して、予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係の一例について説明する。
伝送レート期間は伝送レート取得部１０５によって取得される伝送レートが有効となる期間である。伝送レート期間においてはいったん取得した伝送レートが変化しないとみなす。ここでは、１つの伝送レート期間は１０画像とし、４つの伝送レート期間Ｔ１、Ｔ２、Ｔ３、Ｔ４があり、各伝送レート期間の伝送レートはＲ１、Ｒ２、Ｒ３、Ｒ４である。図４の例では、Ｒ１＝４Ｍｂｐｓ、Ｒ２＝２Ｍｂｐｓ、Ｒ３＝８００ｋｂｐｓ、及びＲ４＝６Ｍｂｐｓであるとする。
ここでは、説明を容易にするために、伝送レート期間は、予測構造と伝送構造が設定される期間（同一の予測・伝送構造が適用される画像の枚数）と同一であるとして説明するが、伝送レート期間と予測・伝送構造の設定期間は独立した概念であり、別個に設定してもよい。
ピクチャ番号は端子１から入力される映像を構成する画像毎に割り当てられるピクチャ番号である。ピクチャタイプは画像内符号化するＩピクチャと画像間予測符号化するＰピクチャと双方向に画像間予測符号化するＢピクチャがある。ここでは説明を簡単にするためにＩピクチャとＰピクチャを用いて説明するが、ピクチャタイプとしてＰピクチャの代わりにＢピクチャを用いてもよい。
伝送構造には基本階層ピクチャ（Ａ）と補充階層ピクチャ（Ｂ）の２タイプがあり、基本階層ピクチャは基本映像符号化データとして第１送信部１０２に供給され、補充階層ピクチャは補充映像符号化データとして記憶部１０３に供給される。参照ピクチャは画像間予測で利用される画像であり、各画像の参照関係を予測構造と呼ぶ。ここでは参照ピクチャの最大数を２とする。
伝送レート期間Ｔ１及び伝送レート期間Ｔ４では全ての画像が基本階層ピクチャとして符号化される。伝送レート期間Ｔ２では各画像が基本階層ピクチャと補充階層ピクチャとして交互に符号化される。伝送レート期間Ｔ３では各画像が基本階層ピクチャと補充階層ピクチャとして１対２の割合または１対３の割合で交互に符号化される。ここでは、基本階層ピクチャと補充階層ピクチャの割合を１対３まで説明したが、基本階層ピクチャと補充階層ピクチャの割合を１対３０や２対１などにすることもできる。
このように伝送レートに応じて基本階層と補充階層の比率が変えられる。伝送レートが十分に高い（余裕がある）とき、伝送レート期間のすべての各基本階層を基本階層ピクチャとして符号化し、伝送レートが低くなる（余裕がなくなる）につれ、補充階層ピクチャを増やし、基本階層ピクチャの割合を減らす。
ここで、基本階層ピクチャは直前の２つの基本階層ピクチャを参照する。また、補充階層ピクチャは直前の２つの、基本階層ピクチャ及び／又は補充階層ピクチャを参照する。このように、基本階層ピクチャについては基本階層ピクチャのみの参照に制限することで、基本映像符号化データのみでも復号可能となる。一方、補充階層ピクチャについては基本階層ピクチャと補充階層ピクチャの両方の参照を許可することで符号化効率を向上させることができる。
ここでは、伝送レートに応じた伝送構造の設定の例として、伝送レートが４Ｍｂｐｓ以上であれば、全ての画像を基本階層ピクチャで符号化し、伝送レートが１Ｍｂｐｓ以上４Ｍｂｐｓ未満であれば、基本階層ピクチャと補充階層ピクチャを交互に符号化し、伝送レートが１Ｍｂｐｓ未満であれば、基本階層ピクチャと補充階層ピクチャを１対２または１対３の比率で符号化する。なお、全ての画像を基本階層ピクチャで符号化する最低伝送レートを基準伝送レートと呼ぶ。上記の例では４Ｍｂｐｓが基準伝送レートである。伝送レートに余裕がある場合とは、伝送レートが基準伝送レートよりも大きい場合を意味する。
以上のように、伝送レートを所定の伝送レート期間で取得して、伝送レートが大きくなるほど基本階層ピクチャの割合を増加させて、伝送レートが小さくなるほど補充階層ピクチャの割合を増加させるように基本階層ピクチャと補充階層ピクチャの比率を設定することで、伝送レートが小さい場合でも基本階層ピクチャをリアルタイムに伝送することができる。
また、伝送レートに余裕がある伝送レート期間に基本階層ピクチャとともに補充階層ピクチャを伝送し、受信側で基本階層ピクチャと補充階層ピクチャから映像符号化データを再構成することで、補充階層ピクチャの受信前には、リアルタイムで低フレームレートの映像の視聴が実現でき、補充階層ピクチャの受信後は、高フレームレートの映像の視聴を実現することができる。また、基本階層ピクチャと補充階層ピクチャでは重複したピクチャを伝送しないため、伝送効率は低下しない。
ここでは、基本階層符号化データと補充階層符号化データをＵＤＰの別ポートで伝送したが、映像監視局２０００において基本階層符号化データと補充階層符号化データを判別できればよく、この方法に限定されない。例えば、基本階層符号化データと補充階層符号化データにそれぞれ別の識別子を割り当ててＭＰ４ファイルやＭＰＥＧ−２ＴＳで多重化して同一ポートで伝送してもよい。ここで、識別子は映像符号化データ内に付与してもよいし、多重化時に付与してもよい。
ここでは、伝送レート期間および／または予測・伝送構造の設定期間を固定期間として説明したが、可変期間としてもよい。例えば、伝送レートが所定の閾値より小さい場合、または、記憶部１０３に記憶されている補充階層ピクチャの数が所定の閾値より多い場合、伝送レート期間および／または予測・伝送構造の設定期間を短くするように制御してもよい。伝送レートが所定の閾値より小さく、かつ、記憶部１０３に記憶されている補充階層ピクチャの数が所定の閾値より多い場合に、伝送レート期間および／または予測・伝送構造の設定期間を短くするように制御してもよい。
伝送レートが十分に大きい場合は、伝送レート期間および／または予測・伝送構造の設定期間を長めに設定し、伝送レートがしばらく変わらないとして、同じ伝送構造でしばらく符号化を続けてもよいが、伝送レートが小さい場合は、伝送レートが変動する可能性を考慮して、伝送レート期間および／または予測・伝送構造の設定期間を短く設定し、最新の伝送レートを取得して、伝送構造をこまめに更新することが望ましい。また、記憶部１０３に記憶されている補充階層ピクチャの数が多くなると、バッファオーバーフローが起きやすくなるため、伝送レート期間および／または予測・伝送構造の設定期間を短く設定し、最新の伝送レートを取得し、伝送構造を変更することが望ましい。このように伝送レート期間および／または予測・伝送構造の設定期間を可変期間とすることで、伝送レートを適宜更新、あるいは、伝送構造を適宜変更して、補充階層ピクチャの伝送を適切に行うことができる。
また、基本階層ピクチャをＩピクチャとして補充階層ピクチャをＰピクチャとする、より単純な構成を取り、映像の品質向上のために伝送レートに応じてＩピクチャの間隔を調整することもできる。例えば、伝送レートが高くなるほどＩピクチャの間隔を短くして伝送レートが低くなるほどＩピクチャの間隔を長くするように制御する。このようにすることで、より単純な構成で伝送レートが小さい場合でも基本階層ピクチャをリアルタイムに伝送し、伝送レートに余裕がある伝送レート期間に補充階層ピクチャを伝送することもできる。
（送信指示の一例）
次に、図５を参照して送信指示の一例について説明する。ここでは図４に示した予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係を例にして送信指示の一例を説明する。ピクチャ番号、ピクチャタイプ、伝送構造については図４と同じである。「ポートＰＡ送信」はポートＰＡから送信される基本階層ピクチャを示し、「ポートＰＢ送信」はポートＰＢから送信される補充階層ピクチャを示す。なお、ピクチャ番号'はポートＰＢから送信される補充階層ピクチャのピクチャ番号を示す。図４と同様、伝送レートについては、Ｒ１＝４Ｍｂｐｓ、Ｒ２＝２Ｍｂｐｓ、Ｒ３＝８００ｋｂｐｓ、及びＲ４＝６Ｍｂｐｓであるとする。
基本階層ピクチャはポートＰＡからリアルタイムで送信される。また、補充階層ピクチャは伝送レートに余裕がある場合（伝送レートがＲ４の場合）にポートＰＢから伝送レートを超えないように記憶された順で送信される。図５では、伝送レート期間Ｔ４において、記憶部１０３に記憶されている補充階層ピクチャであるピクチャ１１、ピクチャ１３、ピクチャ１５、ピクチャ１７、ピクチャ１９、ピクチャ２１、ピクチャ２２、ピクチャ２４、ピクチャ２５、ピクチャ２７、ピクチャ２８、及びピクチャ２９のうち、ピクチャ１１、ピクチャ１３、ピクチャ１５、ピクチャ１７、ピクチャ１９、ピクチャ２１が伝送されている様子を示している。このように、ある伝送区間において伝送される基本階層ピクチャよりも前の符号化順序と表示順序を有する補充階層ピクチャが伝送される。
符号化データ再構成部２０２は、メモリに記憶しておいた過去の基本階層ピクチャと伝送レート期間Ｔ４において受信した補充階層ピクチャの順序を並べ替えて再構成する。
このようにして、リアルタイムに基本階層ピクチャを視聴しながら、補充階層ピクチャを受信後に、メモリに記憶していた基本階層ピクチャと受信した補充階層ピクチャから映像符号化データを再構成して全てのピクチャからなる映像を視聴することができる。
例えば、防犯システムにおいては、低フレームレートの映像でリアルタイムで監視を行いながら、事後に決定的な瞬間を含む証拠映像として高フレームレートの映像を利用するといった使い方が有効である。また、３Ｇ／ＬＴＥやＷｉＦｉなど複数の伝送路が利用可能である移動体（モバイル）通信において、帯域制限のある３Ｇ／ＬＴＥのエリアでは基本階層ピクチャのみを伝送して伝送量を小さくし、帯域制限のないＷｉＦｉエリアで補充階層ピクチャを伝送するようにすることで、帯域制限のある環境でも概要映像の再生が可能であり、帯域制限のない環境では高フレームレートの映像の再生が可能となる。
［実施の形態１の変形例］
以下、実施の形態１の変形例について、実施の形態１との相違点を説明する。変形例は、実施の形態１とは伝送構造の設定が異なる。実施の形態１ではピクチャ単位で基本映像符号化データと補充映像符号化データを設定したが、変形例ではＧＯＰ単位で基本映像符号化データ（基本階層ＧＯＰ）と補充映像符号化データ（補充階層ＧＯＰ）を設定する。
ここで、基本階層ＧＯＰについては、直前のＧＯＰが基本階層ＧＯＰであれば当該基本階層ＧＯＰをオープンＧＯＰとし、直前のＧＯＰが補充階層ＧＯＰであれば、当該基本階層ＧＯＰをクローズドＧＯＰとする。クローズドＧＯＰでは、当該ＧＯＰ内でピクチャを参照して符号化、復号が可能である。一方、補充階層ＧＯＰについては、常にオープンＧＯＰとする。このように、基本階層ＧＯＰについては直前のＧＯＰが基本階層ＧＯＰである場合のみオープンＧＯＰにすることで、基本映像ＧＯＰのみでも復号可能となる。一方、補充階層ＧＯＰは常にオープンＧＯＰとすることで符号化効率を向上させることができる。
伝送構造の設定をピクチャよりも大きな単位であるＧＯＰとすることで、映像監視局２０００における符号化データ再構成部２０２の基本映像符号化データと補充映像符号化データを合成するクロックを低減することができる。勿論、伝送構造を複数ＧＯＰ単位で設定することもできる。
［実施の形態２］
以下、実施の形態２について説明する。実施の形態１との相違点を中心に説明する。図６は、実施の形態２の予測構造と伝送構造の設定と基本映像符号化データと補充映像符号化データの関係の一例を説明する図である。図６に示すように、実施の形態２では伝送構造が画像内で分割されていることが実施の形態１とは異なる。
伝送構造には基本階層領域（Ａ）と補充階層領域（Ｂ）の２タイプがあり、基本階層領域は基本映像符号化データに符号化されて第１送信部１０２に供給され、補充階層領域は補充映像符号化データに符号化されて記憶部１０３に供給される。
最初に、監視カメラ１０００について説明する。予測伝送構造設定部１００は伝送レート取得部１０５より供給される伝送レートに基づいて予測構造と伝送構造を設定する（Ｓ１００１）。ここで、実施の形態２の伝送構造の設定について説明する。画像は水平方向と垂直方向にそれぞれ４分割されて１６個の分割領域となり、分割領域ごとに基本階層領域または補充階層領域が設定される。
伝送レート期間Ｔ１（伝送レートＲ１）及び伝送レート期間Ｔ４（伝送レートＲ４）では全ての分割領域を基本階層領域に設定する。伝送レート期間Ｔ２（伝送レートＲ２）では第２行と第３行の分割領域を基本階層領域に、第１行と第４行の分割領域を補充階層領域に設定する。伝送レート期間Ｔ３（伝送レートＲ３）では画像の中央部分の４個の分割領域を基本階層領域に、基本階層領域以外の分割領域を補充階層領域に設定する。
映像符号化部１０１は、端子１より入力される映像を設定された伝送構造に基づいて領域分割し、分割領域をタイル（スライスでもよい）単位で基本階層符号化データまたは補充階層符号化データに符号化する（Ｓ１００３）。
ここで、基本階層領域は直前の２つのピクチャの基本階層領域を参照する。また、補充階層領域は直前の２つのピクチャの基本階層領域と補充階層領域を参照する。このように参照関係を決めることで、基本階層領域については補充階層領域に依存することなく基本階層領域のみから正確な映像を復号することができる。
ここでは、基本階層領域と補充階層領域を図６のように設定したが、伝送レートが大きくなるほど基本階層領域が広く（基本階層領域として分割される領域の数が多く）なり、伝送レートが小さくなるほど基本階層領域が狭く（基本階層領域として分割される領域の数が少なく）なるように設定できればこれに限定されない。例えば、特徴領域抽出処理と組み合わせて伝送レートが大きくなるほど特徴領域を広くするようにすることで、特徴領域を伝送レートに合わせて適応的に伝送することができる。
次に、映像監視局２０００について説明する。映像監視局２０００では、映像符号化データを再構成する手法が異なる。ここでは、基本映像符号化データと補充映像符号化データの並び替えは、スライスの最初のマクロブロックの位置を示す情報であるマクロブロックアドレスに基づいて行われるものとするが、ＵＤＰの拡張領域など映像符号化データとは別領域に領域の位置を符号化しておき、領域の位置に基づいて並び替えてもよい。
以上のように、基本階層領域を基本階層符号化データとして伝送し、補充階層領域を補充階層符号化データとして伝送することで、基本階層領域をリアルタイムに伝送しながら、補充階層領域を伝送レートに余裕がある伝送レート期間に伝送することができる。これにより、リアルタイムに基本階層領域を視聴しながら、補充階層符号化データを受信後に基本階層符号化データと補充階層符号化データから映像符号化データを再構成して全ての領域からなる映像を視聴することができる。
［実施の形態３］
以下、実施の形態３について説明する。実施の形態２との相違点を中心に説明する。実施の形態３の伝送構造には基本階層データ（Ａ）と補充階層データ（Ｂ）の２タイプがあり、基本階層データは基本映像符号化データとして第１送信部１０２に供給され、補充階層データは補充映像符号化データとして記憶部１０３に供給される。
予測伝送構造設定部１００は伝送レート取得部１０５より供給される伝送レートに基づいて予測構造と伝送構造を設定する（Ｓ１００１）。ここで、実施の形態３の伝送構造の設定について説明する。映像符号化データをシンタックス的にヘッダ、予測情報データ、及び予測誤差データに分類する。さらに、予測誤差データは低周波予測誤差データと高周波予測誤差データに分類する。ここでは、低周波予測誤差データを直交変換の直流成分に関する情報、高周波予測誤差データを直交変換の交流成分に関する情報とする。
伝送レート期間Ｔ１（伝送レートＲ１）及び伝送レート期間Ｔ４（伝送レートＲ４）ではヘッダ、予測情報データ、及び予測誤差データを基本階層データに設定する。伝送レート期間Ｔ２（伝送レートＲ２）ではヘッダ、予測情報データ、及び低周波予測誤差データを基本階層データに、高周波予測誤差データを補充階層データに設定する。伝送レート期間Ｔ３（伝送レートＲ３）ではヘッダと予測情報データを基本階層データに、予測情報データを補充階層データに設定する。
映像符号化部１０１は、端子１より入力される映像を伝送構造に基づいて基本階層符号化データと補充階層符号化データに符号化する（Ｓ１００３）。
ここでは、映像符号化データをシンタックス的にヘッダ、予測情報データ、及び予測誤差データに分類してそれぞれを基本階層データと補充階層データに設定したが、これに限定されない。例えば、ＡＶＣなどでは画像間予測や直行変換は可変サイズにて行われる。そこで、所定ブロックサイズ以下のブロックを基本階層データに、所定ブロックサイズより大きいブロックを補充階層データに設定するなど（基本階層データと補充階層データを逆に設定してもよい）のように、ブロックサイズに基づいて基本階層データと補充階層データに設定することもできる。ここでのブロックサイズとして、映像の動きの大小に基づいて伝送する映像の品質を制御したい場合には画像間予測のブロックサイズを選択し、予測誤差の大小の優先度に基づいて伝送する映像の品質を制御したい場合には直行変換のブロックサイズを選択しもよい。このようにすることで、基本階層符号化データと補充階層符号化データの比率を伝送する映像の品質の優先度に応じて柔軟に設定することができる。
以上のように、映像符号化データの一部のシンタックスを基本階層符号化データとして伝送し、基本階層領域以外のシンタックスを補充階層符号化データとして伝送することで、リアルタイムに映像の基本的な情報を視聴しながら、補充階層符号化データを受信後に基本階層符号化データと補充階層符号化データから映像符号化データを再構成して映像の詳細な情報を視聴することができる。
［実施の形態３の変形例］
以下、実施の形態３の変形例について説明する。実施の形態３との相違点について説明する。変形例では実施の形態３とは伝送構造の設定が異なる。
第１の変形例として、輝度成分Ｙを基本階層符号化データとし、第１色差成分Ｃｂと第２色差成分Ｃｒを補充階層符号化データとする。以上のように、輝度成分を基本階層符号化データとして伝送し、第１色差成分と第２色差成分を補充階層符号化データとして伝送することで、リアルタイムにモノクロ映像を視聴しながら、補充階層符号化データを受信後に基本階層符号化データと補充階層符号化データから映像符号化データを再構成してカラー映像を視聴することができる。
［実施の形態４］
以下、実施の形態４について、実施の形態１との相違点を中心に説明する。図７は、実施の形態４に係る映像符号化データ送受信システムを説明する図である。図７では、映像符号化データ送信装置の一例である３台の監視カメラ１１００が第２ネットワークを介して映像符号化データ中継装置１２００に接続され、さらに映像符号化データ中継装置１２００が第１ネットワークを介して映像符号化データ受信装置の一例である映像監視局２０００と接続されている。一例として第２ネットワークはＷｉＦｉなどの無線ＬＡＮであり、第１ネットワークはＬＴＥである。映像符号化データ中継装置１２００は、ＬＴＥ中継局の一例として、たとえばスマートフォン内に設置される。
（監視カメラ１１００と映像符号化データ中継装置１２００の構成）
最初に、監視カメラ１０００の構成について説明する。監視カメラ１０００は、映像符号化部１０１と第３送信部１０７を備える。
映像符号化部１０１は、映像符号化データ中継装置１２００の予測伝送構造設定部１２２により設定された伝送構造と予測構造にもとづいて、端子１から入力された映像を符号化して、基本階層に対応する基本映像符号化データと、補充階層に対応する補充映像符号化データとを生成する。映像符号化部１０１は基本映像符号化データと補充映像符号化データを含む映像ストリームを第３送信部１０７に供給する。
第３送信部１０７は、映像符号化部１０１から供給された映像ストリームを第２ネットワークを介して映像符号化データ中継装置１２００に送信する。
次に、映像符号化データ中継装置１２００の構成について説明する。映像符号化データ中継装置１２００は、第２受信部１２０、映像符号化データ解析部１２１、予測伝送構造設定部１２２、第１送信部１０２、記憶部１０３、第２送信部１０４、伝送レート取得部１０５、及び送信制御部１０６を備える。
伝送レート取得部１０５は、第１ネットワークの伝送レートを取得し、取得した伝送レートを送信制御部１０６と予測伝送構造設定部１２２に供給する。
予測伝送構造設定部１２２は、伝送レート取得部１０５から供給される伝送レートにもとづいて映像の伝送構造を設定するとともに、映像の各ピクチャの参照関係を示す予測構造を設定する。
第２受信部１２０は、監視カメラ１１００から映像ストリームを受信し、映像符号化データ解析部１２１に供給する。
映像符号化データ解析部１２１は、予測伝送構造設定部１２２により設定された伝送構造と予測構造にもとづいて、映像ストリームから基本映像符号化データと補充映像符号化データを分離して抽出し、基本映像符号化データを第１送信部に供給し、補充映像符号化データを記憶部１０３に保存する。ここでは、伝送構造と予測構造にもとづいて、映像ストリームから基本映像符号化データと補充映像符号化データを分離するとしたが、予め基本映像符号化データと補充映像符号化データにそれぞれ別の識別子を割り当てて分離することもできる。
第１送信部１０２は、映像符号化データ解析部１２１から供給された基本映像符号化データを第１ネットワークを介して映像監視局２０００に送信する。
送信制御部１０６は、伝送レート取得部１０５から供給される伝送レートにもとづいて、記憶部１０３に保存された補充映像符号化データの送信を制御する。送信制御部１０６が伝送レートにもとづいて補充映像符号化データの送出指示を出した場合、第２送信部１０４は、記憶部１０３に保存された補充映像符号化データを読み出し、補充映像符号化データを第１ネットワークを介して映像監視局２０００に送信する。
実施の形態４では、映像符号化データ中継装置１２００は、監視カメラ１１００によって既に符号化された映像符号化データを受信するため、映像の符号化処理を実行しないが、符号化後の映像データの送信については、実施の形態１の監視カメラ１１００と同じ処理を実行する。映像監視局２０００の構成と動作は実施の形態１と同じである。
映像符号化データ中継装置１２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などにおいてハードウェアとソフトウェアの協働により実現される。映像符号化データ中継装置１２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
（監視カメラ１１００の動作の概要）
次に、監視カメラ１１００の動作の概要について説明する。第２ネットワークから受信される予測構造と伝送構造は映像符号化部１０１に供給される。映像符号化部１０１は受信された予測構造と伝送構造にもとづいて映像符号化データを生成し、第３送信部１０７に供給する。第３送信部１０７は映像符号化部１０１より供給される映像符号化データをリアルタイムで第２ネットワークに送出する。
（映像符号化データ中継装置１２００の動作の概要）
次に、映像符号化データ中継装置１２００の動作の概要について説明する。
予測伝送構造設定部１２２は、伝送レート取得部１０５より供給される伝送レートに基づいて予測構造と伝送構造を設定する。設定された予測構造と伝送構造は第２ネットワークを経由して映像符号化部１０１に供給される。ここで、予測構造と伝送構造の設定は例えばＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）のような仕様に基づいて行われるものとする。また、設定された予測構造と伝送構造は映像符号化データ解析部１２１にも供給される。一方、第２受信部１２０は第２ネットワークを介して第３送信部１０７より送出される映像符号化データを受信する。
映像符号化データ解析部１２１は予測伝送構造設定部１２２により供給される予測構造と伝送構造に基づいて、第２受信部１２０より入力される映像符号化データを基本映像符号化データと補充映像符号化データに分別し、基本映像符号化データを第１送信部１０２に供給し、補充映像符号化データを記憶部１０３に供給する。これ以降の基本映像符号化データと補充映像符号化データの送信処理については実施の形態１と同じであり、基本映像符号化データは第１ネットワークを介してリアルタイムで映像監視局２０００に送信され、補充映像符号化データは第１ネットワークの伝送レートに余裕がある場合に第１ネットワークを介して映像監視局２０００に送信される。
以上のように、実施の形態４では、予め送受信機能を有するスマートフォンなどを映像符号化データ中継装置として利用することで、監視カメラに基本階層と補充階層を識別して伝送する機能を追加する必要がなくなり、従来の監視カメラシステムの機能を容易に拡張することができる。
以上の実施の形態で述べた処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
１００ 予測伝送構造設定部、 １０１ 映像符号化部、 １０２ 第１送信部、 １０３ 記憶部、 １０４ 第２送信部、 １０５ 伝送レート取得部、 １０６ 送信制御部、 １０７ 第３送信部、 １２０ 第２受信部、 １２１ 映像符号化データ解析部、 １２２ 予測伝送構造設定部、 ２００ 受信部、 ２０１ 第１映像復号部、 ２０２ 符号化データ再構成部、 ２０３ 符号化データ保持部、 ２０４ 第２映像復号部、 ２０５ 伝送状況情報生成部、 １０００ 監視カメラ、 １１００ 監視カメラ、 １２００ 映像符号化データ中継装置、 ２０００ 映像監視局。

Claims (15)

  1. ネットワークの伝送レートを取得する伝送レート取得部と、
    基本階層と補充階層を含む伝送構造を設定する伝送構造設定部と、
    基本階層の基本映像符号化データを送信する第１送信部と、
    補充階層の補充映像符号化データを送信する第２送信部と、
    前記伝送レートに応じて前記第２送信部を制御する送信制御部と、
    前記伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析部と
    を備えることを特徴とする映像符号化データ送信装置。
  2. ネットワークの伝送レートを取得する伝送レート取得部と、
    基本階層と補充階層を含む伝送構造を設定する伝送構造設定部と、
    基本階層の基本映像符号化データを送信する第１送信部と、
    補充階層の補充映像符号化データを送信する第２送信部と、
    前記伝送レートに応じて前記第２送信部を制御する送信制御部と
    を備え、
    前記伝送構造設定部は、前記伝送レートが大きくなるほど前記基本階層の割合が増え、前記伝送レートが小さくなるほど前記補充階層の割合が増えるように基本階層と補充階層の比率を設定することを特徴とする映像符号化データ送信装置。
  3. 前記補充階層のピクチャの数または前記伝送レートの少なくとも一方に応じて、前記伝送レートを取得する期間または前記伝送構造を設定する期間を変更することを特徴とする請求項１または２に記載の映像符号化データ送信装置。
  4. 前記伝送構造設定部は、画像の一部の領域を前記基本階層とし、前記基本階層以外の領域を前記補充階層とすることを特徴とする請求項１から３のいずれかに記載の映像符号化データ送信装置。
  5. 前記伝送構造設定部は、映像符号化データの一部のシンタックスを前記基本階層とし、前記基本階層とは異なるシンタックスを前記補充階層とすることを特徴とする請求項１から３のいずれかに記載の映像符号化データ送信装置。
  6. 前記伝送構造設定部は、輝度成分の映像を前記基本階層とし、色差成分の映像を前記補充階層とすることを特徴とする請求項１から３のいずれかに記載の映像符号化データ送信装置。
  7. ネットワークの伝送レートを取得するステップと、
    基本階層と補充階層を含む伝送構造を設定するステップと、
    基本階層の基本映像符号化データを送信するステップと、
    補充階層の補充映像符号化データを送信する送信ステップと、
    前記伝送レートに応じて前記送信ステップを制御する送信制御ステップと、
    前記伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析ステップとを有することを特徴とする映像符号化データ送信方法。
  8. ネットワークの伝送レートを取得するステップと、
    基本階層と補充階層を含む伝送構造を設定するステップと、
    前記伝送構造に基づいて映像を基本階層の基本映像符号化データと補充階層の補充映像符号化データを含む映像符号化データに符号化するステップと、
    基本階層の基本映像符号化データを送信するステップと、
    補充階層の補充映像符号化データを送信する送信ステップと、
    前記伝送レートに応じて前記送信ステップを制御する送信制御ステップと、
    前記伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析ステップと
    をコンピュータに実行させることを特徴とする映像符号化データ送信プログラム。
  9. 映像を符号化して送信する映像符号化データ送信装置と、映像符号化データを受信して再構成する映像符号化データ受信装置とを含む映像符号化データ送受信システムであって、
    前記映像符号化データ送信装置は、
    ネットワークの伝送レートを取得する伝送レート取得部と、
    基本階層と補充階層を含む伝送構造を設定する伝送構造設定部と、
    基本階層の基本映像符号化データを送信する第１送信部と、
    補充階層の補充映像符号化データを送信する第２送信部と、
    前記伝送レートに応じて前記第２送信部を制御する送信制御部と、
    前記伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析部と
    を備え、
    前記映像符号化データ受信装置は、
    前記基本映像符号化データを受信する第１受信部と、
    受信した基本映像符号化データを復号して映像を再生する映像復号部と、
    基本映像符号化データに含まれる基本階層ピクチャよりも前の符号化順序および表示順序を有する補充階層ピクチャを含む前記補充映像符号化データを受信する第２受信部と、
    現在受信された補充映像符号化データよりも前に受信された基本映像符号化データを取得する基本映像符号化データ取得部と、
    前記基本映像符号化データ取得部で取得された基本映像符号化データと前記第２受信部により受信された補充映像符号化データとから映像符号化データを再構成する映像符号化データ再構成部と
    を備えることを特徴とする映像符号化データ送受信システム。
  10. 基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析部と、
    前記映像符号化データ解析部の識別に基づき前記基本映像符号化データと前記補充映像符号化データを判別する識別子を送信する送信部と
    を備えることを特徴とする映像符号化データ送信装置。
  11. 基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析ステップと、
    前記映像符号化データ解析ステップの識別に基づき前記基本映像符号化データと前記補充映像符号化データを判別する識別子を送信するステップと
    を有することを特徴とする映像符号化データ送信方法。
  12. 基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別することで割り当てられた識別子を受信する受信部を備え、
    前記受信部は、前記識別子に基づいて、前記基本映像符号化データと前記補充映像符号化データとを判別することを特徴とする映像符号化データ受信装置。
  13. 基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別することで割り当てられた識別子を受信する受信ステップを有し、
    前記受信ステップは、前記識別子に基づいて、前記基本映像符号化データと前記補充映像符号化データとを判別することを特徴とする映像符号化データ受信方法。
  14. 基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析部と、
    識別した前記基本階層の基本映像符号化データを送信する第１送信部と、
    識別した前記補充階層の補充映像符号化データを送信する第２送信部と、
    を備えることを特徴とする映像符号化データ送信装置。
  15. 基本階層と補充階層を含む伝送構造に基づいて映像符号化データに含まれる基本階層の基本映像符号化データと補充階層の補充映像符号化データとを識別する映像符号化データ解析ステップと、
    識別した前記基本階層の基本映像符号化データを送信する第１送信ステップと、
    識別した前記補充階層の補充映像符号化データを送信する第２送信ステップと、
    を有することを特徴とする映像符号化データ送信方法。
JP2014071975A 2014-03-31 2014-03-31 映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、映像符号化データ受信方法、及び映像符号化データ送受信システム Active JP6354262B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014071975A JP6354262B2 (ja) 2014-03-31 2014-03-31 映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、映像符号化データ受信方法、及び映像符号化データ送受信システム
US14/657,359 US9986303B2 (en) 2014-03-31 2015-03-13 Video image coding data transmitter, video image coding data transmission method, video image coding data receiver, and video image coding data transmission and reception system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014071975A JP6354262B2 (ja) 2014-03-31 2014-03-31 映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、映像符号化データ受信方法、及び映像符号化データ送受信システム

Publications (2)

Publication Number Publication Date
JP2015195474A JP2015195474A (ja) 2015-11-05
JP6354262B2 true JP6354262B2 (ja) 2018-07-11

Family

ID=54192234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014071975A Active JP6354262B2 (ja) 2014-03-31 2014-03-31 映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、映像符号化データ受信方法、及び映像符号化データ送受信システム

Country Status (2)

Country Link
US (1) US9986303B2 (ja)
JP (1) JP6354262B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6238255B2 (ja) * 2016-05-25 2017-11-29 株式会社Ｎｅｘｐｏｉｎｔ 監視カメラシステムによる監視方法及び動画分割装置
US10517021B2 (en) 2016-06-30 2019-12-24 Evolve Cellular Inc. Long term evolution-primary WiFi (LTE-PW)
JP6911922B2 (ja) * 2017-07-19 2021-07-28 日本電気株式会社 データ配信装置、システム、方法およびプログラム
WO2019117645A1 (ko) * 2017-12-14 2019-06-20 한국전자통신연구원 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
KR102262554B1 (ko) 2017-12-14 2021-06-09 한국전자통신연구원 예측 네트워크를 사용하는 영상의 부호화 및 복호화를 위한 방법 및 장치
US10735744B2 (en) * 2018-10-22 2020-08-04 At&T Intellectual Property I, L.P. Adaptive bitrate streaming techniques
JP7438835B2 (ja) * 2020-04-21 2024-02-27 株式会社東芝 サーバ装置、通信システム、プログラムおよび情報処理方法
CN113115051B (zh) * 2021-04-15 2022-11-22 广州融盛科技有限公司 高清视频传输存储装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6496980B1 (en) * 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
JP4343411B2 (ja) * 2000-08-28 2009-10-14 キヤノン株式会社 画像処理方法及び装置と再生方法とプログラム及び記憶媒体
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
CA2480663A1 (en) * 2002-03-28 2003-10-09 British Telecommunications Public Limited Company Synchronisation in multi-modal interfaces
US20130107938A9 (en) * 2003-05-28 2013-05-02 Chad Fogg Method And Apparatus For Scalable Video Decoder Using An Enhancement Stream
JP2005151176A (ja) * 2003-11-14 2005-06-09 Matsushita Electric Ind Co Ltd 画像伝送方法および装置
JP4526294B2 (ja) 2004-04-15 2010-08-18 シャープ株式会社 ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
US7784076B2 (en) * 2004-10-30 2010-08-24 Sharp Laboratories Of America, Inc. Sender-side bandwidth estimation for video transmission with receiver packet buffer
US7974341B2 (en) * 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
FR2916600B1 (fr) * 2007-05-24 2013-11-22 Canon Kk Procede et dispositif de transmission de donnees
JP4695669B2 (ja) 2008-05-19 2011-06-08 株式会社日立製作所 映像配信システム
JP2010087827A (ja) * 2008-09-30 2010-04-15 Sharp Corp 送信装置、受信装置、送信方法、受信方法、プログラム、及び、記録媒体
JP5338394B2 (ja) * 2009-03-10 2013-11-13 日本電気株式会社 映像配信システム、映像配信方法、映像配信装置及び映像配信プログラム
US8566393B2 (en) * 2009-08-10 2013-10-22 Seawell Networks Inc. Methods and systems for scalable video chunking
JP5586420B2 (ja) * 2010-10-26 2014-09-10 株式会社東芝 映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法

Also Published As

Publication number Publication date
US9986303B2 (en) 2018-05-29
US20150281691A1 (en) 2015-10-01
JP2015195474A (ja) 2015-11-05

Similar Documents

Publication Publication Date Title
JP6354262B2 (ja) 映像符号化データ送信装置、映像符号化データ送信方法、映像符号化データ受信装置、映像符号化データ受信方法、及び映像符号化データ送受信システム
JP6610735B2 (ja) 画像処理装置及び画像処理方法
US20220124361A1 (en) Image processing device and method
KR102058759B1 (ko) 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법
JP6860061B2 (ja) 復号装置及び復号方法
RU2581014C1 (ru) Устройство обработки изображения
TW201238356A (en) Adaptive bit rate control based on scenes
JP2004502359A (ja) ビデオ誤り回復方法
JP2016092837A (ja) 映像圧縮装置、映像再生装置および映像配信システム
JP2008193510A (ja) 映像送信装置、映像受信装置、及び映像伝送システム
JP2019083555A (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
JP2017520940A (ja) 階層符号化されたコンテンツを多重化するための方法および装置
JP6193569B2 (ja) 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
JP2010011287A (ja) 映像伝送方法および端末装置
KR100846795B1 (ko) Ｒｇｂ 코덱 기반의 동영상 송수신 방법 및 그 장치
JP4963585B2 (ja) 通信装置及び通信のための制御方法、プログラム、記憶媒体
JP2006229618A (ja) 映像通信システム、映像通信装置、プログラム、及び映像通信方法
KR100713363B1 (ko) 이동통신 시스템에서 엠펙 전송 장치 및 방법
Usman Enhancing the quality of video streaming over unreliable wireless networks
KR20170039916A (ko) 애플리케이션의 구동을 처리하는 클라우드 서버, 미디어 재생 장치 및 컴퓨터 프로그램
JP2013192024A (ja) 映像送信装置およびそのプログラム、ならびに、映像受信装置およびそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160425

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170704

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180403

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180528

R150 Certificate of patent or registration of utility model

Ref document number: 6354262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250