JPWO2017030062A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents
送信装置、送信方法、受信装置および受信方法 Download PDFInfo
- Publication number
- JPWO2017030062A1 JPWO2017030062A1 JP2017535506A JP2017535506A JPWO2017030062A1 JP WO2017030062 A1 JPWO2017030062 A1 JP WO2017030062A1 JP 2017535506 A JP2017535506 A JP 2017535506A JP 2017535506 A JP2017535506 A JP 2017535506A JP WO2017030062 A1 JPWO2017030062 A1 JP WO2017030062A1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- frame rate
- stream
- basic
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 95
- 238000002156 mixing Methods 0.000 claims abstract description 60
- 230000005540 biological transmission Effects 0.000 claims description 57
- 239000000284 extract Substances 0.000 claims description 11
- 239000010410 layer Substances 0.000 description 72
- 239000011229 interlayer Substances 0.000 description 35
- 238000013139 quantization Methods 0.000 description 34
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000013507 mapping Methods 0.000 description 15
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000000903 blocking effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 101100243456 Arabidopsis thaliana PES2 gene Proteins 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 101001073193 Homo sapiens Pescadillo homolog Proteins 0.000 description 2
- 102100035816 Pescadillo homolog Human genes 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置にある。
所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置にある。
基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置にある。
1.実施の形態
2.変形例
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
図3は、送信装置100の構成例を示している。この送信装置100は、プリプロセッサ101と、エンコーダ102と、マルチプレクサ103と、送信部104を有している。プリプロセッサ101は、120fpsの画像データPを入力して、基本フレームレートの画像データQbと、ハイフレームレートの拡張フレームの画像データQeを出力する。
図11は、120fpsの動画像データを処理可能なデコード能力がある受信装置200Aの構成例を示している。この受信装置200Aは、受信部201と、デマルチプレクサ202と、デコーダ203と、ポストプロセッサ204と、ディスプレイプロセッサ205を有している。
なお、上述実施の形態においては、全体のフレームレートが120fpsで基本フレームレートが60fpsの例を示したが、フレームレートの組み合わせは、これに限定されるものではない。例えば、100fpsと50fpsの組み合わせでも同様である。
(1)所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
(2)上記画像符号化部は、
上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、上記基本フレームレートの画像データに予測残差を低減するための予測係数を乗算する
前記(1)に記載の送信装置。
(3)上記拡張ストリームのレイヤに上記予測係数を定義する情報定義部をさらに備える
前記(2)に記載の送信装置。
(4)上記コンテナのレイヤに上記予測係数を定義する情報定義部をさらに備える
前記(2)または(3)に記載の送信装置。
(5)所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。
(6)基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
(7)上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに予測残差を低減するための予測係数が定義されており、
上記処理部は、上記ハイフレームレートの拡張フレームの画像データを得る際に、上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記定義されている予測係数を乗算して参照画像データとする
前記(6)に記載の受信装置。
(8)受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理ステップをさらに有する
受信方法。
(9)所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。
(10)基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。
(11)上記処理部は、
上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データである上記時間的に連続する2個のピクチャ単位の一方のピクチャの画像データを得る処理と、
上記基本フレームレートの画像データに上記ハイフレームレートの拡張フレームの画像データを用いて上記混合処理の逆の処理を施して上記時間的に連続する2個のピクチャ単位の他方のピクチャの画像データを得る処理と、
上記時間的に連続する2個のピクチャ単位の一方のピクチャの画像データと上記時間的に連続する2個のピクチャ単位の他方のピクチャの画像データを合成して上記所定フレームレートの画像データを得る処理を行う
前記(10)に記載の受信装置。
100・・・送信装置
101・・・プリプロセッサ
102・・・エンコーダ
103・・・マルチプレクサ
104・・・送信部
111・・・遅延回路
112・・・演算回路
113・・・ラッチ回路
121・・・ブロック化回路
122・・・減算回路
123・・・動き予測/動き補償回路
124・・・整数変換/量子化回路
125・・・逆量子化/逆整数変換回路
126・・・加算回路
127・・・ループフィルタ
128・・・メモリ
129・・・エントロピー符号化回路
131・・・ブロック化回路
132・・・減算回路
133・・・動き予測/動く補償回路
134・・・レイヤ間予測/レイヤ間補償回路
135,136・・・切り替え回路
137・・・整数変換/量子化回路
138・・・逆量子化/逆整数変換回路
139・・・加算回路
141・・・ループフィルタ
142・・・メモリ
143・・・エントロピー符号化回路
151・・・乗算部
152・・・減算部
153・・・決定ロジック部
200A,200B・・・受信装置
201・・・受信部
202,202B・・・デマルチプレクサ
203,203B・・・デコーダ
204・・・ポストプロセッサ
205,205B・・・ディスプレイプロセッサ
211・・・エントロピー復号化回路
212・・・逆量子化/逆整数変換回路
213・・・動き補償回路
214・・・加算回路
215・・・ループフィルタ
216・・・メモリ
221・・・エントロピー復号化回路
222・・・逆量子化/逆整数変換回路
223・・・動き補償回路
224・・・レイヤ間補償回路
225・・・切り替え回路
226・・・加算回路
227・・・切り替え回路
228・・・ループフィルタ
229・・・メモリ
231・・・乗算部
241・・・演算回路
242・・・スイッチ回路
Claims (11)
- 所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。 - 上記画像符号化部は、
上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を行って拡張ストリームを得る際に、上記基本フレームレートの画像データに予測残差を低減するための予測係数を乗算する
請求項1に記載の送信装置。 - 上記拡張ストリームのレイヤに上記予測係数を定義する情報定義部をさらに備える
請求項2に記載の送信装置。 - 上記コンテナのレイヤに上記予測係数を定義する情報定義部をさらに備える
請求項2に記載の送信装置。 - 所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する2個のピクチャ単位毎で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理ステップと、
上記基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して拡張ストリームを得る画像符号化ステップと、
送信部により、上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有する
送信方法。 - 基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。 - 上記拡張ストリームのレイヤおよび/または上記コンテナのレイヤに予測残差を低減するための予測係数が定義されており、
上記処理部は、上記ハイフレームレートの拡張フレームの画像データを得る際に、上記基本ストリームを処理して得られた上記基本フレームレートの画像データに上記定義されている予測係数を乗算して参照画像データとする
請求項6に記載の受信装置。 - 受信部により、基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに該基本フレームレートの画像データの予測符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに上記基本フレームレートの画像データとの間の予測符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理ステップをさらに有する
受信方法。 - 所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して基本フレームレートの画像データを得ると共に、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出してハイフレームレートの拡張フレームの画像データを得る画像処理部と、
上記基本フレームレートの画像データに符号化処理を施して基本ストリームを得ると共に、上記ハイフレームレートの拡張フレームの画像データに符号化処理を施して拡張ストリームを得る画像符号化部と、
上記基本ストリームおよび上記拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備える
送信装置。 - 基本ストリームおよび拡張ストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記基本ストリームは、所定フレームレートの画像データにおいて時間的に連続する2個のピクチャ単位で混合処理を施して得られた基本フレームレートの画像データに符号化処理を施して得られたものであり、
上記拡張ストリームは、上記時間的に連続する2個のピクチャ単位で一方のピクチャの画像データを取り出して得られたハイフレームレートの拡張フレームの画像データに符号化処理を施して得られたものであり、
上記基本ストリームのみを処理して上記基本フレームレートの画像データを得るか、あるいは上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る処理部をさらに備える
受信装置。 - 上記処理部は、
上記基本ストリームおよび上記拡張ストリームの双方を処理して上記所定フレームレートの画像データを得る場合、
上記基本ストリームに復号化処理を施して上記基本フレームレートの画像データを得ると共に、上記拡張ストリームに復号化処理を施して上記ハイフレームレートの拡張フレームの画像データである上記時間的に連続する2個のピクチャ単位の一方のピクチャの画像データを得る処理と、
上記基本フレームレートの画像データに上記ハイフレームレートの拡張フレームの画像データを用いて上記混合処理の逆の処理を施して上記時間的に連続する2個のピクチャ単位の他方のピクチャの画像データを得る処理と、
上記時間的に連続する2個のピクチャ単位の一方のピクチャの画像データと上記時間的に連続する2個のピクチャ単位の他方のピクチャの画像データを合成して上記所定フレームレートの画像データを得る処理を行う
請求項10に記載の受信装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015161966 | 2015-08-19 | ||
JP2015161966 | 2015-08-19 | ||
PCT/JP2016/073543 WO2017030062A1 (ja) | 2015-08-19 | 2016-08-10 | 送信装置、送信方法、受信装置および受信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017030062A1 true JPWO2017030062A1 (ja) | 2018-06-07 |
JP6760290B2 JP6760290B2 (ja) | 2020-09-23 |
Family
ID=58051729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017535506A Active JP6760290B2 (ja) | 2015-08-19 | 2016-08-10 | 送信装置、送信方法、受信装置および受信方法 |
Country Status (9)
Country | Link |
---|---|
US (3) | US10951915B2 (ja) |
EP (1) | EP3340625A4 (ja) |
JP (1) | JP6760290B2 (ja) |
KR (1) | KR20180042239A (ja) |
CN (1) | CN107925765B (ja) |
AU (1) | AU2016309262B2 (ja) |
CA (1) | CA2995324A1 (ja) |
MX (1) | MX2018001771A (ja) |
WO (1) | WO2017030062A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6871147B2 (ja) * | 2017-12-14 | 2021-05-12 | 日本電信電話株式会社 | 画像生成装置、画像生成方法及び画像生成プログラム |
WO2019167952A1 (ja) * | 2018-03-01 | 2019-09-06 | ソニー株式会社 | 受信装置、受信方法、送信装置および送信方法 |
EP3806467A4 (en) | 2018-05-30 | 2021-04-21 | Sony Corporation | RECEIVING DEVICE, RECEIVING METHOD, SENDING DEVICE AND SENDING METHOD |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088244A (ja) * | 2002-08-23 | 2004-03-18 | Sony Corp | 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム |
JP2006333071A (ja) * | 2005-05-26 | 2006-12-07 | Sony Corp | 情報処理システム、情報処理装置および方法、プログラム、並びにデータ構造 |
JP2007028034A (ja) * | 2005-07-14 | 2007-02-01 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル符号化方法および装置,スケーラブル復号方法および装置,並びにそれらのプログラムおよびその記録媒体 |
JP2009225431A (ja) * | 2008-02-19 | 2009-10-01 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013021557A (ja) * | 2011-07-12 | 2013-01-31 | Kddi Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム |
WO2015076277A1 (ja) * | 2013-11-22 | 2015-05-28 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001077871A1 (en) * | 2000-04-07 | 2001-10-18 | Demografx | Enhanced temporal and resolution layering in advanced television |
EP1944978A1 (en) * | 2007-01-12 | 2008-07-16 | Koninklijke Philips Electronics N.V. | Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal |
US8848787B2 (en) * | 2007-10-15 | 2014-09-30 | Qualcomm Incorporated | Enhancement layer coding for scalable video coding |
KR20130037194A (ko) * | 2011-10-05 | 2013-04-15 | 한국전자통신연구원 | 비디오 부호화/복호화 방법 및 그 장치 |
CN102905200B (zh) * | 2012-08-07 | 2015-01-14 | 上海交通大学 | 一种视频感兴趣区域双流编码传输方法及系统 |
KR20220131366A (ko) * | 2012-10-01 | 2022-09-27 | 지이 비디오 컴프레션, 엘엘씨 | 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩 |
EP2731337B1 (en) * | 2012-10-17 | 2017-07-12 | Dolby Laboratories Licensing Corporation | Systems and methods for transmitting video frames |
WO2014075087A2 (en) * | 2012-11-12 | 2014-05-15 | Moontunes, Inc. | Systems and methods for communicating a live event to users using the internet |
KR102294830B1 (ko) * | 2014-01-03 | 2021-08-31 | 삼성전자주식회사 | 디스플레이 구동 장치 및 이미지 데이터 처리 장치의 동작 방법 |
-
2016
- 2016-08-10 CN CN201680047535.1A patent/CN107925765B/zh active Active
- 2016-08-10 EP EP16837052.6A patent/EP3340625A4/en not_active Ceased
- 2016-08-10 MX MX2018001771A patent/MX2018001771A/es unknown
- 2016-08-10 US US15/750,300 patent/US10951915B2/en active Active
- 2016-08-10 JP JP2017535506A patent/JP6760290B2/ja active Active
- 2016-08-10 WO PCT/JP2016/073543 patent/WO2017030062A1/ja active Application Filing
- 2016-08-10 KR KR1020187004169A patent/KR20180042239A/ko unknown
- 2016-08-10 CA CA2995324A patent/CA2995324A1/en active Pending
- 2016-08-10 AU AU2016309262A patent/AU2016309262B2/en active Active
-
2021
- 2021-01-28 US US17/161,164 patent/US11412254B2/en active Active
-
2022
- 2022-07-06 US US17/858,181 patent/US20220337869A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004088244A (ja) * | 2002-08-23 | 2004-03-18 | Sony Corp | 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム |
JP2006333071A (ja) * | 2005-05-26 | 2006-12-07 | Sony Corp | 情報処理システム、情報処理装置および方法、プログラム、並びにデータ構造 |
JP2007028034A (ja) * | 2005-07-14 | 2007-02-01 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル符号化方法および装置,スケーラブル復号方法および装置,並びにそれらのプログラムおよびその記録媒体 |
JP2009225431A (ja) * | 2008-02-19 | 2009-10-01 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013021557A (ja) * | 2011-07-12 | 2013-01-31 | Kddi Corp | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム |
WO2015076277A1 (ja) * | 2013-11-22 | 2015-05-28 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
Also Published As
Publication number | Publication date |
---|---|
MX2018001771A (es) | 2018-05-16 |
US20180227596A1 (en) | 2018-08-09 |
EP3340625A1 (en) | 2018-06-27 |
EP3340625A4 (en) | 2019-01-23 |
US20210152847A1 (en) | 2021-05-20 |
US10951915B2 (en) | 2021-03-16 |
CN107925765B (zh) | 2022-01-18 |
AU2016309262A1 (en) | 2018-02-01 |
CN107925765A (zh) | 2018-04-17 |
CA2995324A1 (en) | 2017-02-23 |
AU2016309262B2 (en) | 2020-07-30 |
JP6760290B2 (ja) | 2020-09-23 |
KR20180042239A (ko) | 2018-04-25 |
WO2017030062A1 (ja) | 2017-02-23 |
US11412254B2 (en) | 2022-08-09 |
US20220337869A1 (en) | 2022-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6565679B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US11412254B2 (en) | Transmission device, transmission method, reception device and reception method | |
JP6809469B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US11412176B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP2010525658A (ja) | イントラ予測のための適応参照画像データ生成 | |
US10313690B2 (en) | Systems and methods for reducing artifacts in temporal scalable layers of video | |
US20210136421A1 (en) | Systems and methods for reducing artifacts in temporal scalable layers of video | |
US20100329340A1 (en) | Method and apparatus for eliminating encoding delay when a telecine source material is detected | |
US20200092603A1 (en) | Systems and methods for reducing artifacts in temporal scalable layers of video | |
WO2019167952A1 (ja) | 受信装置、受信方法、送信装置および送信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200817 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6760290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |