JP5289959B2 - コンテンツ情報に基づくスケーラビリティ技術 - Google Patents
コンテンツ情報に基づくスケーラビリティ技術 Download PDFInfo
- Publication number
- JP5289959B2 JP5289959B2 JP2008533622A JP2008533622A JP5289959B2 JP 5289959 B2 JP5289959 B2 JP 5289959B2 JP 2008533622 A JP2008533622 A JP 2008533622A JP 2008533622 A JP2008533622 A JP 2008533622A JP 5289959 B2 JP5289959 B2 JP 5289959B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- data group
- encoding
- frame
- complexity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000005516 engineering process Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 244
- 238000013139 quantization Methods 0.000 claims abstract description 47
- 230000033001 locomotion Effects 0.000 claims description 169
- 230000002123 temporal effect Effects 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 41
- 238000000638 solvent extraction Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 abstract description 57
- 239000010410 layer Substances 0.000 description 218
- 230000008569 process Effects 0.000 description 180
- 230000008859 change Effects 0.000 description 48
- 238000010586 diagram Methods 0.000 description 44
- 238000001514 detection method Methods 0.000 description 34
- 230000000007 visual effect Effects 0.000 description 32
- 239000000872 buffer Substances 0.000 description 25
- 238000007906 compression Methods 0.000 description 25
- 230000006835 compression Effects 0.000 description 25
- 230000003044 adaptive effect Effects 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 20
- 238000001914 filtration Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 18
- 230000000750 progressive effect Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 14
- 230000009471 action Effects 0.000 description 9
- 241000023320 Luma <angiosperm> Species 0.000 description 7
- 238000012952 Resampling Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000012856 packing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000005562 fading Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 239000002356 single layer Substances 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 239000002775 capsule Substances 0.000 description 4
- 230000007850 degeneration Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002688 persistence Effects 0.000 description 4
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 description 4
- 230000001364 causal effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000003874 inverse correlation nuclear magnetic resonance spectroscopy Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
- H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
- H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Library & Information Science (AREA)
- Algebra (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
３５Ｕ．Ｓ．Ｃ．§１１９に基づく優先権の主張
本特許出願は、（ａ）“A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS”（リアルタイムストリーミング及びモバイル放送用途に関する映像トランスコーダ）という題名を有する仮特許出願番号６０／７２１，４１６（出願日：２００５年９月２７日）、（ｂ）“A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS”（リアルタイムストリーミング及びモバイル放送用途に関する映像トランスコーダ）という題名を有する仮特許出願番号６０／７８９，３７７（出願日：２００６年４月４日）、（ｃ）“METHOD AND APPARATUS FOR SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED VIDEO”（フィールドに基づく映像に関する動き補償によって補助された空間−時間的デインターレーシングに関する方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４３（出願日：２００５年１０月１７日）、（ｄ）“METHOD AND APPARATUS FOR SHOT DETECTION IN VIDEO STREAMING”（映像ストリーミングにおけるショット検出に関する方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４４（出願日：２００５年１０月１７日）、（ｅ）“A METHOD AND APPARATUS FOR USING AN ADAPTIVE GOP STRUCTURE IN VIDEO STREAMING”（映像ストリーミングにおいて適応型ＧＯＰを用いるための方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４０（出願日：２００５年１０月１７日）、（ｆ）“INVERSE TELECINE ALGORITHM BASED ON STATE MACHINE”(ステートマシンに基づく逆テレシネアルゴリズム)という題名を有する仮特許出願番号６０／７３０，１４５（２００５年１０月２４日）、及び（ｇ）“SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED MULTIMEDIA DATA”（フィールドに基づくマルチメディアデータに関する動き補償によって補助された空間−時間的デインターレーシング）という題名を有する仮特許出願番号６０／７８９，０４８（出願日：２００６年４月３日）に対する優先権を主張するものである。これらの７つのすべての仮特許出願は、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている。
本特許出願は、（ａ）“A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS”（リアルタイムストリーミング及びモバイル放送用途に関する映像トランスコーダ）という題名を有する仮特許出願番号６０／７２１，４１６（出願日：２００５年９月２７日）、（ｂ）“A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS”（リアルタイムストリーミング及びモバイル放送用途に関する映像トランスコーダ）という題名を有する仮特許出願番号６０／７８９，３７７（出願日：２００６年４月４日）、（ｃ）“METHOD AND APPARATUS FOR SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED VIDEO”（フィールドに基づく映像に関する動き補償によって補助された空間−時間的デインターレーシングに関する方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４３（出願日：２００５年１０月１７日）、（ｄ）“METHOD AND APPARATUS FOR SHOT DETECTION IN VIDEO STREAMING”（映像ストリーミングにおけるショット検出に関する方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４４（出願日：２００５年１０月１７日）、（ｅ）“A METHOD AND APPARATUS FOR USING AN ADAPTIVE GOP STRUCTURE IN VIDEO STREAMING”（映像ストリーミングにおいて適応型ＧＯＰを用いるための方法及び装置）という題名を有する仮特許出願番号６０／７２７，６４０（出願日：２００５年１０月１７日）、（ｆ）“INVERSE TELECINE ALGORITHM BASED ON STATE MACHINE”(ステートマシンに基づく逆テレシネアルゴリズム)という題名を有する仮特許出願番号６０／７３０，１４５（２００５年１０月２４日）、及び（ｇ）“SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED MULTIMEDIA DATA”（フィールドに基づくマルチメディアデータに関する動き補償によって補助された空間−時間的デインターレーシング）という題名を有する仮特許出願番号６０／７８９，０４８（出願日：２００６年４月３日）に対する優先権を主張するものである。これらの７つのすべての仮特許出願は、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている。
同時係属特許出願の参照
本特許出願は、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている、“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディア処理に関するコンテンツ分類）という題名を有する米国特許出願番号１１／３７３，５７７（出願日：２００６年３月１０日）に関連するものである。
本出願は、リアルタイムストリーミングを目的とする映像データの映像トランスコーディングに関する装置及び方法に関するものである。本発明は、特に、モバイル放送用途におけるリアルタイムストリーミングに関する映像データのトランスコーディングに関するものである。
本特許出願は、本特許出願の譲受人に対して譲渡されておりさらに本明細書において参照されることによって明示で本明細書に組み入れられている、“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディア処理に関するコンテンツ分類）という題名を有する米国特許出願番号１１／３７３，５７７（出願日：２００６年３月１０日）に関連するものである。
本出願は、リアルタイムストリーミングを目的とする映像データの映像トランスコーディングに関する装置及び方法に関するものである。本発明は、特に、モバイル放送用途におけるリアルタイムストリーミングに関する映像データのトランスコーディングに関するものである。
多くのマルチメディア用途、例えば、無線映像ストリーミング及びビデオテレフォニー、においては、限られた帯域幅資源及び利用可能な帯域幅の可変性に起因して効率的な映像圧縮が有用である。一定の映像コーディング基準、例えば、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ）、Ｈ．２６４（ＩＴＵ）、又は同様の映像コーディング基準、は、無線放送等の用途に非常に適した効率の高いコーディングを提供する。幾つかのマルチメディアデータ、例えば、デジタルテレビ放送、は、一般的には、その他の基準、例えば、ＭＰＥＧ−２、に従ってコーディングされる。従って、１つの基準（例えば、ＭＰＥＧ−２）に従ってコーディングされたマルチメディアデータを無線放送前に他の基準（例えば、Ｈ．２６４）にトランスコーディング又は変換するためにトランスコーダが用いられる。
レートが最適化されたコーデックの向上は、誤り耐性、誤り回復、及びスケーラビリティに関する利点をもたらすことが可能である。さらに、マルチメディアデータ自体から決定された情報の使用は、誤り耐性、誤り回復、及びスケーラビリティを含む、符号化に関するさらなる向上をもたらすことが可能である。従って、ストリーミングマルチメディア情報のモバイル放送を含む多くのマルチメディアデータ用途において使用するためにマルチメディアデータ自体から決定された情報を使用し、スケーラブルであり、誤り耐性を有するマルチメディアデータの非常に効率的な処理及び圧縮を提供するトランスコーダが必要である。
説明及び例示されている本発明のコンテンツに基づくトランスコーディング装置及び方法の各々は、幾つかの側面を有しており、いずれの単一の側面も、望ましい属性を確保する役割を単独で果たしているわけではない。以下では、この開示の適用範囲を限定することなしに、本発明のより顕著な特長が簡単に説明される。当業者は、この説明を検討後に、そして特に「発明を実施するための最良の形態」という題名の部分を読んだ後に、このコンテンツ駆動型トランスコーディングの特長がマルチメディアデータ処理装置及び方法に関する改良点をどのようにして提供するかを理解するであろう。
本明細書において説明される発明上の側面は、様々なマルチメディアデータ符号化方法に関して及び符号器、例えば、トランスコーダにおいて用いられる符号器、の様々なモジュール又は構成要素においてコンテンツ情報を用いることに関するものである。トランスコーダは、コンテンツ情報を用いてマルチメディアデータのトランスコーディングを調整することができる。前記コンテンツ情報は、他のソース、例えば、映像とともに受信されるメタデータ、から受信することができる。前記トランスコーダは、様々な異なる処理動作を通じてコンテンツ情報を生成するように構成することができる。幾つかの側面においては、前記トランスコーダは、前記マルチメディアデータのコンテンツ分類を生成し、前記コンテンツ分類は、１つ以上の符号化プロセスにおいて用いられる。幾つかの側面においては、コンテンツによって駆動されるトランスコーダは、前記マルチメディアデータの空間的及び時間的コンテンツ情報を決定し、チャネル間でのコンテンツを認識した均一な品質の符号化、及びコンテンツ分類に基づく圧縮／ビット割り当てに関して前記コンテンツ情報を使用することができる。
幾つかの側面においては、マルチメディアデータのコンテンツ情報（例えば、メタデータ、コンテンツメトリックス及び／又はコンテンツ分類）が入手又は計算され、前記マルチメディアデータを符号化のために処理する際に用いるために前記トランスコーダの構成要素に提供される。例えば、プリプロセッサは、シーンの変化の検出、逆テレシネ（“ＩＶＴＣ”）、デインターレーシング、動き補償及び雑音抑制（例えば、２Ｄウェーブレット変換）及び空間−時間的雑音の低減、例えば、アーティファクト除去、デリンギング、デブロッキング、及び／又は雑音除去、に関して一定のコンテンツ情報を用いることができる。幾つかの側面においては、プリプロセッサは、標準品位（ＳＤ）からクォータービデオグラフィックスアレイ（ＱＶＧＡ）へのダウンサンプリング時に空間解像度ダウンサンプリング、例えば、適切な“安全”な及び“アクション処理”エリアの決定、に関しても前記コンテンツ情報を用いることができる。
幾つかの側面においては、符号器は、コンテンツ情報を計算するように構成されるコンテンツ分類モジュールを含む。前記符号器は、各ＭＢに関する量子化パラメータ（ＱＰ）を決定する際のビットレート制御（例えば、ビット割り当て）に関して、動き推定、例えば、色動き推定（ＭＥ）を行う、動きベクトル（ＭＶ）予測を行うことに関して、基本層及び拡張層を提供する際のスケーラビリティに関して、及び、例えば適応型イントラリフレッシュ、境界アライメントプロセス、及び拡張層において冗長Ｉフレームデータを提供することを含む予測階層及び誤り耐性方式に影響を与えるためにコンテンツ分類を用いることによる誤り耐性に関して、コンテンツ分類を用いることができる。幾つかの側面においては、前記トランスコーダは、チャネル間において最適なマルチメディアデータ品質を維持するためにデータマルチプレクサと調整しながら前記コンテンツ分類を用いる。幾つかの側面においては、前記符号器は、高速チャネル切り換えを可能にするためにＩフレームが符号化されたデータ内において周期的に現れるように強制するために前記コンテンツ分類情報を用いることができる。該実装は、誤り耐性に関して前記符号化されたデータ内において要求されることがあるＩブロックを利用することもでき、このため、予測階層を通じて（例えば、コンテンツ分類に基づいて）ランダムアクセス切り換えと誤り耐性を有効な形で結合させることによって誤りに対する頑健性（ｒｏｂｕｓｔｎｅｓｓ）を向上させながらコーディング効率を向上させることができる。
一側面においては、マルチメディアデータを処理する方法は、マルチメディアデータのコンテンツを分類することと、前記コンテンツ分類に基づいて第１のグループ及び第２のグループの前記マルチメディアデータを符号化すること、とを具備し、前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループの係数と関連づけられた第１のディファレンシャルリファインメント（ｄｉｆｆｅｒｅｎｔｉａｌ ｒｅｆｉｎｅｍｅｎｔ）を具備する。前記符号化は、前記マルチメディアデータの前記コンテンツ分類に基づいてビットレートを決定することと、前記ビットレートに基づいて前記マルチメディアデータを符号化すること、とを含むことができる。コンテンツを分類することは、前記マルチメディアデータの複雑さを決定することを具備することができ、前記選択されたマルチメディアデータは、前記マルチメディアデータの前記複雑さに基づいて符号化される。前記複雑さは、時間的複雑又は空間的複雑さ、又は時間的複雑さと空間的複雑さを具備することができる。前記符号化は、前記第１のデータグループのみ又は前記第１のデータグループと前記第２のデータグループを復号して単一の結合されたデータグループにすることを可能にするために前記マルチメディアデータを符号化することを含むことができる。前記第１のディファレンシャルリファインメントは、選択された映像フレームと前記第１のデータグループの復号結果得られたフレームデータとの間の差分を示すことができる。前記第１のデータグループは、基本層であることができ、前記第２のデータグループは、拡張層であることができる。さらに、前記方法は、原基本層残留誤り係数又は原拡張層残留誤り係数のうちの１つから前記係数を選択することと、前記係数及び前記原拡張層残留誤り係数に基づいて前記第１のディファレンシャルリファインメントを計算すること、とを含むことができる。符号化することは、前記第１のデータグループ内のマクロブロックヘッダー情報と、動きベクトル情報と、をさらに具備することができる。符号化することは、前記第１のデータグループを第１のステップサイズで量子化することと、前記第２のデータグループを第２のステップサイズで量子化すること、とをさらに具備することができ、前記第１のステップサイズ及び第２のステップサイズは、スケールファクタによって関連づけられる。符号化することは、前記第１のデータグループを符号化する際に用いるために第１の量子化ステップサイズを決定することと、前記第２のデータグループを符号化する際に用いるために第２の量子化ステップサイズを有する第２の量子化パラメータを決定すること、とをさらに含むことができ、前記第１及び第２の量子化パラメータは、選択されたフレームデータのコンテンツ情報に基づいて決定され、前記第１の量子化ステップサイズは、前記第２の量子化ステップサイズよりも粗い。他の側面においては、符号化することは、Ｉフレーム、及びＰフレーム又はその組合せを用いて前記第１のデータグループを符号化することと、Ｉフレーム、Ｐフレーム、及びＢフレーム又はその組合せを用いて前記第２のデータグループを符号化すること、とを含む。
他の側面においては、マルチメディアデータを符号化するための装置は、マルチメディアデータのコンテンツを分類するための手段と、前記コンテンツ情報に基づいて第１のデータグループ及び第２のデータグループの前記マルチメディアデータを符号化するための手段と、を含み、前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループ係数と関連づけられた第１のディファレンシャルリファインメントを具備する。前記符号化する手段は、前記マルチメディアデータの前記コンテンツ分類に基づいてビットレートを決定するための手段と、前記ビットレートに基づいて前記マルチメディアデータを符号化するための手段と、を具備することができる。前記コンテンツ分類手段は、前記マルチメディアデータの複雑さを決定するための手段を含むことができ、前記選択されたマルチメディアデータは、前記マルチメディアデータの前記複雑さに基づいて符号化され、前記複雑さは、時間的複雑さ又は空間的複雑さ、又は時間的複雑さと空間的複雑さを具備する。前記符号化する手段は、前記第１のデータグループのみ又は前記第１のデータグループと第２のデータグループを復号して単一の結合されたデータグループにすることを可能にするための手段を具備することができる。
他の側面においては、装置は、マルチメディアデータのコンテンツを分類し、コンテンツ分類データを提供するように構成されたコンテンツ分類モジュールと、前記コンテンツ分類に基づいて第１のデータグループ及び第２のデータグループの前記マルチメディアデータを符号化するように構成された符号器と、を含み、前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループ係数と関連づけられた第１のディファレンシャルリファインメントを具備する。前記符号器は、前記コンテンツ分類に基づいてビット割り当てを決定するように構成されたビットレート構成要素を含むことができ、前記符号化構成要素は、前記ビット割り当てを用いて前記選択されたマルチメディアデータを符号化するようにさらに構成される。
他の側面においては、機械によって読み取り可能な媒体は、実行時にマルチメディアデータのコンテンツを機械に分類させる命令と、実行時に前記コンテンツ分類に基づいて第１のデータグループ及び第２のデータグループの前記マルチメディアデータを機械に符号化させる命令と、を具備し、前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループ係数と関連づけられた第１のディファレンシャルリファインメントを具備する。
他の側面は、マルチメディアデータのコンテンツを分類し、前記コンテンツ分類に基づいて第１のデータグループ及び第２のデータグループの前記マルチメディアデータを符号化するように構成されたプロセッサであり、前記第１のグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループ係数と関連づけられた第１のディファレンシャルリファインメントを具備する。
該当する場合において、同一のものについては図面全体に渡って同一の参照番号を付すことに注意すること。
以下の発明を実施するための最良の形態は、本開示において説明される一定の側面を対象にしたものである。しかしながら、本発明は、多数の異なる方法で具体化することが可能である。本明細書において「１つの側面」又は「側面」を参照しているときには、該側面と関連して説明される特定の特長、構造、又は特徴が少なくとも１つの側面の中に含まれていることを意味する。本明細書の様々な箇所における「一側面において」、「一側面により」、又は「幾つかの側面において」という表現の出現は、必ずしもすべてが同じ側面に言及しているわけではなく、さらに、その他の側面と別個であるか又は互いに排他的であるわけでもない。さらに、幾つかの側面によって示すことができその他の側面によって示すことができない様々な特長が説明される。同様に、幾つかの側面に関する要求であることができその他の側面に関する要求であることができない様々な要求が説明される。
以下の説明は、例を徹底的に理解できるようにするために提供される詳細を含む。しかしながら、これらの例は、１つの例又は側面におけるプロセス又はデバイスに関するすべての詳細が本明細書において説明されていないか又は例示されていない場合でも実践可能であることが当業者によって理解される。例えば、電気的構成要素は、これらの例を不必要に詳細にして不明確にしないようにするために該構成要素のすべての電気的接続又はすべての電気的要素を示していないブロック図において示すことができる。その他の場合においては、該構成要素、その他の構造及び技術は、これらの例をさらに説明するための詳細さで示すことができる。
本開示は、符号化中のマルチメディアデータのコンテンツ情報を用いた符号化及びトランスコーディング装置及び方法を制御することに関するものである。（マルチメディアデータの）“コンテンツ情報”又は“コンテンツ”は、マルチメディアデータのコンテンツに関連する情報を意味する広義の言葉であり、例えば、メタデータと、マルチメディアデータから計算されたメトリックスと、１つ以上のメトリックスと関連づけられたコンテンツ関連情報、例えばコンテンツ分類と、を含むことができる。コンテンツ情報は、特定の用途に依存して、符号器に提供すること又は符号器によって決定することができる。コンテンツ情報は、シーン変化検出、時間的処理、空間−時間的雑音低減、ダウンサンプリング、量子化のためのビットレートの決定、スケーラビリティ、誤り耐性、放送チャネル間での最適なマルチメディア品質の維持、及び高速チャネル切り換えを含むマルチメディアデータ符号化の数多くの側面に関して用いることができる。トランスコーダは、これらの側面のうちの１つ以上を用いて、マルチメディアデータの処理を調整し、コンテンツ関連の符号化されたマルチメディアデータを生成することができる。トランスコーディングの側面について説明する本明細書内の記述及び図は、符号化に関する側面及び復号に関する側面にも適用可能である。
トランスコーダ装置及び方法は、１つの形式から他の形式へのトランスコーディングに関するものであり、本明細書においては、無線チャネルを通じて幾つかの側面の例示であるモバイルデバイスに送信するためにＭＰＥＧ−２映像を拡張されたスケーラブルなＨ．２６４形式にトランスコーディングすることに関連して具体的に説明される。しかしながら、ＭＰＥＧ−２映像をＨ．２６４形式にトランスコーディングすることについての説明は、本発明の適用範囲を限定することは意図されておらず、本発明の幾つかの側面の単なる典型例であるにすぎない。開示される装置及び方法は、ランダムアクセス及び階層化能力を備えた誤り耐性の高い符号化をサポートする非常に効率的なアーキテクチャを提供し、ＭＰＥＧ−２及びＨ．２６４以外の映像形式のトランスコーディング及び／又は符号化に対しても適用可能である。
本明細書において用いられる“マルチメディアデータ”又は単に“マルチメディア”は、（音声データを含むことができる）映像データ、音声データ、又は映像データと音声データの両方を含む広義の言葉である。本明細書において用いられる“映像データ”又は“映像”は、１つ以上の画像又は関連する一連の画像を含み、テキスト、画像情報及び／又は音声データを内蔵する、フレームに基づく又はフィールドに基づくデータを意味する広義の言葉であり、別記がないかぎりマルチメディアデータを指すために用いることができる（例えば、これらの言葉は、互換可能な形で用いることができる）。
以下では、トランスコーダの様々な構成要素の例及びマルチメディアデータを符号化するためにコンテンツ情報を用いることができるプロセス例が説明される。
図１Ａは、マルチメディアデータ放送システム１００の幾つかの側面のデータフローを示すブロック図である。システム１００において、マルチメディアデータプロバイダ１０６は、符号化されたマルチメディアデータ１０４をトランスコーダ２００に通信する。符号化されたマルチメディアデータ１０４は、トランスコーダ２００によって受信され、トランスコーダ２００は、ブロック１１０においてマルチメディアデータ１０４を処理して生のマルチメディアデータにする。ブロック１１０における処理は、符号化されたマルチメディアデータ１０４を復号及び構文解析し、他の形式に符号化するための準備としてマルチメディアデータをさらに処理する。復号されたマルチメディアデータは、ブロック１１２に提供され、ブロック１１２において、マルチメディアデータは、予め決められたマルチメディア形式又は基準に符号化される。マルチメディアデータが符号化された時点で、ブロック１１４において、例えば無線放送システム（例えば、携帯電話放送ネットワーク、又は他の通信ネットワーク）を介して送信するための準備が行われる。幾つかの側面においては、受信されたマルチメディアデータ１０４は、ＭＰＥＧ−２基準に従って符号化されている。トランスコーディングされたマルチメディアデータ１０４が復号された後は、トランスコーダ２００は、Ｈ．２６４基準に従ってマルチメディアデータを符号化する。
図１Ｂは、図１Ａのブロック１１０及び１１２において処理を行うように構成することができるトランスコーダ１３０のブロック図である。トランスコーダ１３０は、マルチメディアデータを受信し、マルチメディアデータを復号及び構文解析してパケット化されたエレメンタリストリーム（例えば、サブタイトル、音声、メタデータ、“生”映像、ＣＣデータ、及び表示時刻タイムスタンプ）にし、これらのデータを符号化して希望される形式にし、符号化されたデータをさらなる処理又は送信のために提供するように構成することができる。トランスコーダ１３０は、符号化されたデータを２つ以上のデータグループ、例えば、符号化された第１のデータグループ及び符号化された第２のデータグループで提供するように構成することができ、階層符号化と呼ばれる。幾つかの側面例においては、階層符号化方式における様々なデータグループ（又は層）は、第１のデータグループにおいて符号化されたデータの品質のほうが第２のデータグループにおいて符号化されたデータよりも低くなる（例えば、表示されたときにより低い視覚品質レベルを提供する）ように異なる品質レベルで符号化、及び形式化することができる。
図１Ｃは、マルチメディアデータをトランスコーディングするように構成することができ、及び図１Ａのブロック１１０及び１１２において描かれている処理の一部又は全部を行うように構成することができるプロセッサ１４０のブロック図である。プロセッサ１４０は、本明細書において説明される、復号、構文解析、前処理、及び符号化を含むトランスコーディングプロセスのうちの１つ以上を行い、コンテンツ情報を処理に関して用いるモジュール１２４ａ．．．ｎを含むことができる。プロセッサ１４０は、内部メモリ１２２も含み、直接又は他のデバイスを通じて間接的に外部メモリ１２０と通信するように構成することができる。プロセッサ１４０は、プロセッサ１４０の外部の１つ以上のデバイスと通信するように構成された通信モジュール１２６も含み、マルチメディアデータを受信すること及び符号化されたデータ、例えば、第１のデータグループにおいて符号化されたデータ及び第２のデータグループにおいて符号化されたデータ、を提供することを含む。幾つかの側面例においては、階層符号化方式における様々なデータグループ（又は層）は、第１のデータグループにおいて符号化されたデータの品質のほうが第２のデータグループにおいて符号化されたデータよりも低くなる（表示されたときにより低い視覚品質レベルを提供する）ように、異なる品質レベルで符号化し、形式化することができる。
トランスコーダ１３０又は（トランスコーディング用に構成された）プリプロセッサ１４０、その構成要素、及び内蔵されるプロセスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又はその組合せによって実装することができる。例えば、構文解析器、復号器、プリプロセッサ、又は符号器は、独立型構成要素であること、ハードウェア、ファームウェア、ミドルウェアとして他のデバイスの構成要素内に組み込むこと、又はプロセッサにおいて実行されるマイクロコード又はソフトウェア、又はその組合せにおいて実装することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコード内に実装されるときは、動き補償、ショット分類及び符号化プロセスを行うプログラムコード又はコードセグメントは、機械によって読み取り可能な媒体、例えば記憶媒体、に格納することができる。コードセグメントは、手順、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、命令の組合せ、データ構造、又はプログラム文を表すことができる。コードセグメントは、情報、データ、引数、パラメータ、メモリコンテンツを渡す及び／又は受け取ることによって他のコードセグメント又はハードウェア回路に結合させることができる。
トランスコーダアーキテクチャ例
図２は、図１のマルチメディア放送システム１００において示されるトランスコーダ２００に関して用いることができるトランスコーダ例のブロック図である。トランスコーダ２００は、以下においてさらに説明される構文解析器／復号器２０２と、プリプロセッサ２２６と、符号器２２８と、同期化層２４０と、を具備する。トランスコーダ２００は、本明細書において説明されるように、トランスコーディングプロセスの１つ以上の側面に関するマルチメディアデータ１０４のコンテンツ情報を用いるように構成される。コンテンツ情報は、マルチメディアメタデータを通じてトランスコーダ２００の外部のソースから入手すること、又はトランスコーダによって、例えば、プリプロセッサ２２６又は符号器２２８によって計算することができる。図２に示される構成要素は、１つ以上のトランスコーディングプロセスに関してコンテンツ情報を用いるトランスコーダ内に含めることができる構成要素を例示したものである。特定の実装においては、トランスコーダ２００の構成要素のうちの１つ以上は、除外することができ又は追加の構成要素を含めることができる。さらに、本明細書においてはプロセス又はデバイスのすべての詳細を説明することができないにもかかわらず当業者が本発明を実践するのを可能にするためにトランスコーダ及びトランスコーディングプロセスの一部分が説明される。
図２は、図１のマルチメディア放送システム１００において示されるトランスコーダ２００に関して用いることができるトランスコーダ例のブロック図である。トランスコーダ２００は、以下においてさらに説明される構文解析器／復号器２０２と、プリプロセッサ２２６と、符号器２２８と、同期化層２４０と、を具備する。トランスコーダ２００は、本明細書において説明されるように、トランスコーディングプロセスの１つ以上の側面に関するマルチメディアデータ１０４のコンテンツ情報を用いるように構成される。コンテンツ情報は、マルチメディアメタデータを通じてトランスコーダ２００の外部のソースから入手すること、又はトランスコーダによって、例えば、プリプロセッサ２２６又は符号器２２８によって計算することができる。図２に示される構成要素は、１つ以上のトランスコーディングプロセスに関してコンテンツ情報を用いるトランスコーダ内に含めることができる構成要素を例示したものである。特定の実装においては、トランスコーダ２００の構成要素のうちの１つ以上は、除外することができ又は追加の構成要素を含めることができる。さらに、本明細書においてはプロセス又はデバイスのすべての詳細を説明することができないにもかかわらず当業者が本発明を実践するのを可能にするためにトランスコーダ及びトランスコーディングプロセスの一部分が説明される。
図５は、トランスコーダ２００の様々な構成要素の動作及び／又はプロセスの時間的関係を図示したタイミング図である。図５に示されるように、最初に、符号化されたストリーミング映像１０４（符号化されたマルチメディアデータ）、例えば、ＭＰＥＧ−２映像、が、構文解析器２０５（図２）によって任意の時間ゼロ（０）において受信される。次に、映像ストリームは、例えば復号器２１４と組み合わせた構文解析器２０５によって構文解析され５０１、多重分離され５０２、復号される５０３。示されるように、これらのプロセスは、データ処理のストリーム出力をプリプロセッサ２２６に提供するために、わずかなタイミングのオフセットを伴う形で並行して起きることができる（図２）。時間Ｔ１ ５０４において、プリプロセッサ２２６が処理結果の出力を開始する上で十分なデータを復号器２１４から受信した時点で、残りの処理ステップは、性質上順次的になり、前処理後は、時間Ｔｆ ５０８における再符号化が完了するまで第１パス符号化５０５、第２パス符号化５０６、及び再符号化５０７が順に生じる。
本明細書において説明されるトランスコーダ２００は、様々なマルチメディアデータをトランスコーディングするように構成することができ、多くのプロセスは、トランスコーディングされるあらゆる型のマルチメディアデータに適用される。本明細書において提供される例の一部は、ＭＰＥＧ−２データをＨ．２６４データにトランスコーディングすることに特に関するものであるが、これらの例は、本開示を該データに限定することは意味しない。以下において説明される符号化側面は、あらゆる適切なマルチメディアデータ基準を他の適切なマルチメディアデータ基準にトランスコーディングすることに適用することができる。
構文解析器／復号器
再度図２に関して、構文解析器／復号器２０２は、マルチメディアデータ１０４を受信する。構文解析器／復号器２０２は、マルチメディアデータ１０４を受信し、該データを構文解析して映像エレメンタリストリーム（ＥＳ）２０６、音声ＥＳ２０８、表示時刻タイムスタンプ（ＰＴＳ）２１０及びその他のデータ、例えばサブタイトル２１２、にするトランスポートストリーム構文解析器（“構文解析器”）２０５を含む。ＥＳは、１つの型のデータ（映像又は音声）を単一の映像又は音声符号器から搬送する。例えば、映像ＥＳは、シーケンスヘッダー及びすべての小部分を含むデータシーケンスに関する映像データを具備する。パケット化されたエレメンタリストリーム、すなわちＰＥＳ、は、パケット化されている単一のＥＳから成り、典型的には各々が追加されたパケットヘッダーで始まる、ＰＥＳストリームは、１つのソースからの、例えば１つの映像又は音声符号器からの、１つの型のデータのみを含む。ＰＥＳパケットは、トランスポートパケットの固定パケット長に対応しない可変長を有し、トランスポートパケットよりもはるかに長くすることができる。トランスポートパケットがＰＥＳストリームから形成されるときには、ＰＥＳヘッダーは、トランスポートパケットペイロードの始めで、トランスポートパケットヘッダーの直後に配置することができる。残りのＰＥＳパケットコンテンツは、ＰＥＳパケットがすべて用いられるまで後続するトランスポートパケットのペイロードを満たす。最後のトランスポートパケットは、例えばバイト、例えば、バイト＝０ｘＦＦ（すべて１）を詰めることによって、固定長まで満たすことができる。
再度図２に関して、構文解析器／復号器２０２は、マルチメディアデータ１０４を受信する。構文解析器／復号器２０２は、マルチメディアデータ１０４を受信し、該データを構文解析して映像エレメンタリストリーム（ＥＳ）２０６、音声ＥＳ２０８、表示時刻タイムスタンプ（ＰＴＳ）２１０及びその他のデータ、例えばサブタイトル２１２、にするトランスポートストリーム構文解析器（“構文解析器”）２０５を含む。ＥＳは、１つの型のデータ（映像又は音声）を単一の映像又は音声符号器から搬送する。例えば、映像ＥＳは、シーケンスヘッダー及びすべての小部分を含むデータシーケンスに関する映像データを具備する。パケット化されたエレメンタリストリーム、すなわちＰＥＳ、は、パケット化されている単一のＥＳから成り、典型的には各々が追加されたパケットヘッダーで始まる、ＰＥＳストリームは、１つのソースからの、例えば１つの映像又は音声符号器からの、１つの型のデータのみを含む。ＰＥＳパケットは、トランスポートパケットの固定パケット長に対応しない可変長を有し、トランスポートパケットよりもはるかに長くすることができる。トランスポートパケットがＰＥＳストリームから形成されるときには、ＰＥＳヘッダーは、トランスポートパケットペイロードの始めで、トランスポートパケットヘッダーの直後に配置することができる。残りのＰＥＳパケットコンテンツは、ＰＥＳパケットがすべて用いられるまで後続するトランスポートパケットのペイロードを満たす。最後のトランスポートパケットは、例えばバイト、例えば、バイト＝０ｘＦＦ（すべて１）を詰めることによって、固定長まで満たすことができる。
構文解析器２０５は、ここに示される構文解析器／復号器２０２の一部である復号器２１４に映像ＥＳ ２０６を通信する。その他の構成においては、構文解析器２０５及び復号器２１４は、別個の構成要素である。ＰＴＳ２１０は、トランスコーダＰＴＳ生成器２１５に送信され、トランスコーダＰＴＳ生成器２１５は、トランスコーダ２００から放送システムに送信されるデータを手配する際に用いるためにトランスコーダ２００専用の別個の表示時刻タイムスタンプを生成することができる。トランスコーダＰＴＳ生成器２１５は、データ放送の同期化を調整するためにトランスコーダ２００の同期化層２４０にデータを提供するように構成することができる。
図３は、構文解析器２０５が上述される様々なパケット化されたエレメンタリストリームを構文解析するときに従うことができるプロセス３００の一例の流れ図である。プロセス３００は、ブロック３０２において開始し、マルチメディアデータ１０４がコンテンツプロバイダ１０６から受信される（図１）。プロセス３００は、ブロック３０４に進み、構文解析器２０５の初期設定が行われる。初期設定は、独立して生成された取得コマンド３０６によってトリガーすることができる。例えば、構文解析器２０５から独立していて、外部で受信されたＴＶスケジュール及びチャネルラインアップ情報に基づくプロセスが、取得コマンド３０６を生成することができる。さらに、初期設定及び主処理の両方を援助するためにリアルタイムトランスポートストリーム（ＴＳ）バッファ記述子３０８を入力することができる。
ブロック３０４において例示されるように、初期設定は、コマンド構文検証を取得することと、第１パスＰＳＩ／ＰＳＩＰ／ＳＩ（プログラム専用情報／プログラム及びシステム情報プロトコル／システム情報）の処理を行うことと、取得コマンド又はＰＳＩ／ＰＳＩＰ／ＳＩ一貫性検証のいずれかに特に関連する処理を行うことと、各ＰＥＳに関するＰＥＳバッファを割り当てることと、（例えば、希望される取得開始インスタントとのアライメントに関する）タイミングを設定すること、とを含むことができる。ＰＥＳバッファは、構文解析されたＥＳデータを保持し、各構文解析されたＥＳデータを対応する音声復号器２１６、試験符号器２２０、復号器２１４、又はトランスコーダＰＴＳ生成器２１５に通信する。
初期設定後、プロセス３００は、受信されたマルチメディアデータ１０４の主処理のためにブロック３１０に進む。ブロック３１０における処理は、目標パケット識別子（ＰＩＤ）フィルタリングと、連続的ＰＳＩ／ＰＳＩＰ／ＳＩモニタリング及び処理と、着信したマルチメディアデータが適切なＰＥＳバッファ内に渡されるようにするための（例えば、希望される取得継続時間を達成させるための）タイミングプロセスと、を含むことができる。ブロック３１０におけるマルチメディアデータの処理の結果、ＰＥＳバッファ‘読み取り’のプログラム記述子及び表示が生成され、後述されるように復号器２１４とインタフェースする（図２）。
ブロック３１０後、プロセス３００は、ブロック３１４に進み、タイマー割り込みの生成及びＰＥＳバッファの消費に後続するＰＥＳバッファの解放を含む構文解析動作の終了が起きる。ＰＥＳバッファは、記述子内において引用されたプログラムのすべての関連するエレメンタリストリーム、例えば、音声、映像、及びサブタイトルストリーム、に関して存在することが注記される。
再度図２に関して、構文解析器２０５は、トランスコーダ実装に対応するために音声ＥＳ２０８を音声復号器２１６に送信し、符号化されたテキスト２１６を同期化層２４０及び音声情報の復号に提供する。サブタイトル情報２１２は、テキスト符号器２２０に引き渡される。復号器２１４からのクローズドキャプショニング（ＣＣ）データ２１８もテキスト符号器２２０に提供され、テキスト符号器２２０は、サブタイトル情報２１２及びＣＣデータ２１８をトランスコーダ２２０によって生成された形式で符号化する。
構文解析器／復号器２０２は、映像ＥＳ ２０６を受信する復号器２１４も含む。復号器２１４は、映像データと関連づけられたメタデータを生成することができ、符号化された映像のパケット化されたエレメンタリストリームを復号して（例えば、標準定義形式の）生映像２２４にし、映像ＥＳストリーム内の映像クローズドキャプショニングされたデータを処理する。
図４は、復号器２１４によって行うことができる復号プロセス４００の一例を示す流れ図である。プロセス４００は、ブロック４０２における映像エレメンタリストリームデータ２０６の入力から開始する。プロセス４００は、ブロック４０４に進み、復号器が初期設定される。初期設定は、映像シーケンスヘッダー（ＶＳＨ）の検出と、第１パスＶＨＳ、映像シーケンス（ＶＳ）、及び（映像形式、三原色、及びマトリックス係数を含む）ＶＳ表示拡張処理を行うことと、復号されたピクチャ、関連づけられたメタデータ及びクローズドキャプション（ＣＣ）データを各々バッファリングするためのデータバッファを割り当てること、とを含む幾つかのタスクを含むことができる。さらに、構文解析器２０５によって提供された映像ＰＥＳバッファ‘読み取り’情報４０６が入力される（例えば、図３のブロック３１０においてプロセス３００によって生成することができる）。
ブロック４０４において初期設定後は、プロセス４００は、ブロック４０８に進み、映像ＥＳの主処理が復号器２１４によって行われる。主処理は、新しいデータの利用可能性に関して映像ＰＥＳバッファ‘読み取り’情報又は“インタフェース”をポーリングすることと、映像ＥＳを復号することと、ピクチャ境界における画素データを再構築及び格納することと、映像及びａ／ｖを同期化することと、ピクチャ境界におけるメタデータを生成及び保存することと、ピクチャ境界におけるＣＣデータを保存すること、とを含む。主処理４０８の結果ブロック４１０は、シーケンス記述子、復号されたピクチャバッファ記述子、メタデータバッファ記述子、及びＣＣデータバッファ記述子の生成を含む。
主処理４０８後、プロセス４００は、ブロック４１２に進み、終了プロセスを行う。終了プロセスは、予め決められたしきい値を超える特定の継続時間中に新しいデータが発生しないこと、シーケンス終了符号の検出、及び／又は明示の終了信号の検出を含む終了条件を決定することを含むことができる。終了プロセスは、復号されたピクチャ、関連づけられたメタデータ、及びＣＣデータバッファを後述されるプリプロセッサによる消費後に解放することをさらに含むことができる。プロセス４００は、ブロック４１４において終了し、入力として受信される映像ＥＳを待つ状態に入ることができる。
プリプロセッサ
図２、及びより詳細な図６は、１つ以上の前処理動作に関してコンテンツ情報を用いることができるプリプロセッサ２２６のサンプル側面を示す。プリプロセッサ２２６は、メタデータ２２２及び復号された“生”映像データ２２４を構文解析器／復号器２０２から受信する。プリプロセッサ２２６は、映像データ２２４及びメタデータ２２２に関して一定の型の処理を行い、処理されたマルチメディア（例えば、基本層基準フレーム、拡張層基準フレーム、帯域幅情報、コンテンツ情報）及び映像を符号器２２８に提供するように構成することができる。マルチメディアデータの該前処理は、視覚上の鮮明度、エリアシング対策、及びデータの圧縮効率を向上させることができる。一般的には、プリプロセッサ２２６は、構文解析器復号器２０２内の復号器２１４によって提供される映像シーケンスを受信し、該映像シーケンスを符号器２２８によるさらなる処理（例えば、符号化）のためにプログレッシブ映像シーケンスに変換する。幾つかの側面においては、プリプロセッサ２２６は、逆テレシネと、デインターレーシングと、フィルタリング（例えば、アーティファクト除去、デリンギング、デブロッキング、及び雑音除去）と、リサイジング（例えば、標準品位からクォータービデオグラフィックスアレイ（ＱＶＧＡ）への空間解像度ダウンサンプリング）と、ＧＯＰ構造生成（例えば、複雑さマップ生成の計算、シーン変化検出、及びフェード／フラッシュ検出）と、を含む数多くの動作に関して構成することができる。
図２、及びより詳細な図６は、１つ以上の前処理動作に関してコンテンツ情報を用いることができるプリプロセッサ２２６のサンプル側面を示す。プリプロセッサ２２６は、メタデータ２２２及び復号された“生”映像データ２２４を構文解析器／復号器２０２から受信する。プリプロセッサ２２６は、映像データ２２４及びメタデータ２２２に関して一定の型の処理を行い、処理されたマルチメディア（例えば、基本層基準フレーム、拡張層基準フレーム、帯域幅情報、コンテンツ情報）及び映像を符号器２２８に提供するように構成することができる。マルチメディアデータの該前処理は、視覚上の鮮明度、エリアシング対策、及びデータの圧縮効率を向上させることができる。一般的には、プリプロセッサ２２６は、構文解析器復号器２０２内の復号器２１４によって提供される映像シーケンスを受信し、該映像シーケンスを符号器２２８によるさらなる処理（例えば、符号化）のためにプログレッシブ映像シーケンスに変換する。幾つかの側面においては、プリプロセッサ２２６は、逆テレシネと、デインターレーシングと、フィルタリング（例えば、アーティファクト除去、デリンギング、デブロッキング、及び雑音除去）と、リサイジング（例えば、標準品位からクォータービデオグラフィックスアレイ（ＱＶＧＡ）への空間解像度ダウンサンプリング）と、ＧＯＰ構造生成（例えば、複雑さマップ生成の計算、シーン変化検出、及びフェード／フラッシュ検出）と、を含む数多くの動作に関して構成することができる。
プリプロセッサ２２６は、前処理動作のうちの１つ以上に影響を与えるために復号器からのメタデータを用いることができる。メタデータは、マルチメディアデータのコンテンツ（“コンテンツ情報”）に関連する、説明する、又は分類する情報を含むことができ、特に、メタデータは、コンテンツ分類を含むことができる。幾つかの側面においては、メタデータは、符号化動作に関して希望されるコンテンツ情報を含まない。このような場合には、プリプロセッサ２２６は、コンテンツ情報を決定して該コンテンツ情報を前処理動作に関して用いるように構成することができ及び／又はコンテンツ情報をトランスコーダ２００のその他の構成要素、例えば復号器２２８、に提供する。幾つかの側面においては、プリプロセッサ２２６は、ＧＯＰパーティショニングに影響を与え、適切な型のフィルタリングを決定し、及び／又は符号器に通信される符号化パラメータを決定するために該コンテンツ情報を用いることができる。
図６は、プリプロセッサ２２６に含めることができる様々なプロセスブロックの説明例を示し、プリプロセッサ２２６によって行うことができる処理を例示する。この例においては、プリプロセッサ２２６は、メタデータ及び映像２２２、２２４を受信し、（処理された）メタデータ及び映像を具備する出力データ６１４を符号器２２８に提供する。典型的には、受信することができる３つの型の映像が存在する。第１に、受信された映像は、プログレッシブ映像であることができ、この場合は、デインターレーシングは要求されない。第２に、映像データは、テレシネされた映像、２４ｆｐｓムービーシーケンス、この場合は映像、から変換された、インターレーングされた映像であることができる。第３に、映像は、テレシネされない、インターレーシングされた映像であることができる。プリプロセッサ２２６は、後述されるようにこれらの型の映像を処理することができる。
ブロック６０１において、プリプロセッサ２２６は、受信された映像データ２２２、２２４がプログレッシブ映像であるかどうかを決定する。幾つかの場合においては、このことは、メタデータが該情報を含む場合はメタデータから決定すること、又は映像データ自体の処理によって決定することができる。例えば、後述される逆テレシネプロセスは、受信された映像２２２がプログレッシブ映像であるかどうかを決定することができる。受信された映像２２２がプログレッシブ映像である場合は、プロセスはブロック６０７に進み、白色ガウス雑音等の雑音を低減させるためのフィルタリング（又は雑音除去器）動作が映像に関して行われる。ブロック６０１において、映像データ２２２、２２４がプログレッシブ映像でない場合は、プロセスは、位相検出器６０４へのブロック６０４に進む。
位相検出器６０４は、テレシネにおいて発生した映像と標準放送形式で始まった映像を区別する。映像がテレシネされたとする決定が行われた場合は（位相検出器６０６から出る「はい」決定経路）、テレシネされた映像は、逆テレシネ６０６において原形式に戻される。冗長フレームが識別されて除去され、同じ映像フレームから導き出されたフィールドが完全な画像内に再度織り込まれる。再構築されたフィルム画像のシーケンスは、１秒間の１／２４の定期的な間隔で写真記録されたため、ＧＯＰパーティショナ６１２又は復号器２２８において行われた動き推定プロセスは、時間の基礎が不正規であるテレシネされたデータではなく逆テレシネされた画像を用いるほうがより正確である。
一側面においては、位相検出器６０４は、映像フレームを受信後に一定の決定を行う。これらの決定は、（ｉ）現在の映像がテレシネ出力からであり３：２プルダウン位相が図３８に示される５つの位相Ｐ０、Ｐ１、Ｐ２、Ｐ３、及びＰ４のうちの１つであるかどうか、及び（ｉｉ）映像は従来のＮＴＳＣとして生成されたかどうかを含む。その決定は、位相Ｐ５として表される。これらの決定は、図２に示される位相検出器６０４の出力として現れる。“はい”のラベルが付された位相検出器６０４からの経路は、逆テレシネ６０６を作動させ、同じ写真画像から形成されたフィールドを分類して結合させることができるように正確なプルダウン位相が提供されていることを示す。“いいえ”のラベルが付された位相検出器６０４からの経路は、みかけのＮＴＳＣフレームを最適な処理のためにフィールドに分離するためにデインターレーサ６０５を同様に作動させる。異なる型の映像を何時でも受信することができるため、位相検出器６０４は、映像フレームを連続的に解析することができる。一例として、ＮＴＳＣ基準に準拠した映像をコマーシャルとして映像内に挿入することができる。逆テレシネ後、結果的に得られたプログレッシブ映像は、白色ガウス雑音を低減させるために用いることができる雑音除去器（フィルタ）６０７に送られる。
従来のＮＴＳＣ映像が認識されたときには（位相検出器６０１からの「いいえ」経路）、圧縮のためにデインターレーサ６０５に送信される。デインターレーサ６０５は、インターレーシングされたフィールドをプログレッシブ映像に変換し、プログレッシブ映像に関する雑音除去動作を行うことができる。１つのデインターレーシング処理例が以下において説明される。
テレビ等の伝統的なアナログ映像デバイスは、インターレーシングされた方法で映像を提供する。すなわち、該デバイスは、偶数の走査線（偶数フィールド）及び奇数の走査線（奇数フィールド）を提供する。信号サンプリングの観点からは、このことは、以下の式によって表されるパターンでの空間−時間的サブサンプリングに相当する。
ここで、Θは、原フレームピクチャを表し、Ｆは、インターレーシングされたフィールドを表し、（ｘ，ｙ，ｎ）は、画素の水平方向の、垂直方向の、及び時間的位置を表す。
一般性を失うことなしに、本開示全体を通じてｎ＝０は偶数フィールドであると仮定することができ、このため上記の方程式１は以下のように単純化される。
デシメーションは水平次元においては行われないため、サブサンプリングパターンは、次のｎ〜ｙ座標で描くことができる。
デインターレーサの最終目標は、インターレーシングされた映像（フィールドのシーケンス）をインターレーシングされていないプログレッシブフレーム（フレームのシーケンス）に変換することである。換言すると、偶数及び奇数のフィールドを内挿し、全フレームピクチャを“復元”又は生成することである。この動作は、方程式３によって表すことができる。
ここで、Ｆｉは、消失している画素に関するデインターレーシング結果を表す。
図４０は、インターレーシングされたマルチメディアデータからプログレッシブフレームを生成するためにＷｍｅｄフィルタリング及び動き推定を用いるデインターレーサ６０５の側面の一定の側面を示すブロック図である。図４０の上部分は、現在のフィールド、２つの前フィールド（ＰＰフィールド及びＰフィールド）、及び２つの後続フィールド（次のフィールド及び次の次のフィールド）からの情報を用いて生成することができる動き強度マップ４００２を示す。以下においてさらに詳細に説明されるように、動き強度マップ４００２は、現在のフレームを分類するか又は２つ以上の異なる動きレベルに分割することができ、空間−時間的フィルタリングによって生成することができる。幾つかの側面においては、動き強度マップ４００２は、以下の方程式４乃至８を参照しつつ説明されるように、静止エリア、スローモーションエリア、及び高速モーションエリアを識別するために生成される。空間−時間フィルタ、例えば、Ｗｍｅｄフィルタ４００４は、インターレーシングされたマルチメディアデータを動き強度マップに基づいて判定基準を用いてフィルタリングし、空間−時間的な仮のデインターレーシングされたフレームを生成する。幾つかの側面においては、Ｗｍｅｄフィルタリングプロセスは、［−１，１］の水平の近隣エリアと、［−３，３］の垂直の近隣エリアと、図４０に示される５つのフィールド（ＰＰフィールド、Ｐフィールド、現在のフィールド、次のフィールド、次の次のフィールド）によって表される５つの隣接フィールドから成る時間的近隣エリアと、を含み、Ｚ−１は、１つのフィールドの遅延を表す。現在のフィールドに関して、次のフィールド及びＰフィールドは、非パリティフィールドであり、ＰＰフィールド及び次の次のフィールドは、パリティフィールドである。空間−時間的フィルタリングに関して用いられる“近隣エリア”は、フィルタリング動作中に実際に用いられるフィールド及び画素の空間的及び時間的位置を意味し、例えば図６及び７において示されるように「開口」として示すことができる。
デインターレーサ６０５は、Ｗｍｅｄフィルタ４００４によって生成された空間−時間的な仮のデインターレーシングされたフレームをフィルタリングするように構成された雑音除去器（雑音除去フィルタ）４００６を含むこともできる。空間−時間的な仮のデインターレーシングされたフレームの雑音を除去することは、特にソースインターレーシングされたマルチメディアデータシーケンスが白色雑音によって汚染されている場合に、後続する動き探索プロセスをより正確にする。さらに、Ｗｍｅｄピクチャ内の偶数と奇数の行間におけるエリアスを少なくとも部分的に除去することもできる。雑音除去器４００６は、ウェーブレット縮退及びウェーブレットウィーナーフィルタに基づく雑音除去器を含む様々なフィルタとして実装することができる。雑音除去器は、候補のＷｍｅｄフレームが動き補償情報を用いてさらに処理される前に候補のＷｍｅｄフレームから雑音を除去するために用いることができ、Ｗｍｅｄフレーム内に存在する雑音を除去すること及び信号の周波数コンテンツにかかわらず信号の存在を保持することができる。ウェーブレットフィルタを含む様々な型の雑音除去フィルタを用いることができる。ウェーブレットは、空間領域及びスケーリング領域の両方において所定の信号を突き止めるために用いられる１つのクラスの関数である。ウェーブレットに関する基本的な考え方は、ウェーブレット表示の小さい変化が原信号の対応する小さい変化を生み出すように異なるスケール又は解像度において信号を解析することである。
ウェーブレット縮退又はウェーブレットウィーナーフィルタは、雑音除去器として利用することもできる。ウェーブレット縮退は、雑音信号のウェーブレット変換を行い、後続して、大きい係数は影響を受けないようにしながら小さいウェーブレット係数を縮退させてゼロ（又はより小さい値）にすることから成る。最後に、逆変換が行われて推定信号が取得される。
雑音除去フィルタリングは、雑音環境における動き補償精度を向上させる。ウェーブレット縮退雑音除去は、ウェーブレット変換領域の縮退を含むことができ、典型的には、３つのステップ、すなわち、線形順ウェーブレット変換、非線形縮退雑音除去、及び線形逆ウェーブレット変換、を具備する。ウィーナーフィルタは、加法性雑音及びぶれによって劣化された画像を改良するために用いることができるＭＳＥ最適線形フィルタである。該フィルタは、当業において一般的に知られており、例えば、上記の“ウェーブレット縮退による理想的な空間適応”において、及び本明細書において参照されることによってその全体が明示で本明細書に組み入れられている、S.P. Ghael, A. M. Sayeed, and R. G. Baraniuk,“Improvement Wavelet denoising via empirical Wiener filtering,”（経験的ウィーナーフィルタリングによるウェーブレット雑音除去の向上） 、Proceedings of SPIE, vol. 3169, pp. 389−３９９，San Diego, July 1997によって説明されている。
幾つかの側面においては、雑音除去フィルタは、（４，２）双直交立方Ｂスプラインウェーブレットフィルタの側面に基づく。１つの該フィルタは、以下の順及び逆変換によって定義することができる。
及び
雑音除去フィルタの利用は、雑音環境における動き補償精度を向上させることができる。該フィルタの実装は、本明細書において参照されることによってその全体が明示で本明細書に組み入れられている、“Ideal spatial adaptation by wavelet shrinkage,”（ウェーブレット縮退による理想的な空間適応）D.L. Donoho and I.M. Johnstone, Biometrika, vol. 8, pp. 425−455, 1994、においてさらに説明されている。
図４０の下部分は、インターレーシングされたマルチメディアデータの動き情報（例えば、動きベクトル候補、動き推定、動き補償）を決定するための側面を示す。特に、図４０は、選択されたフレームの動き補償された仮のプログレッシブフレームを生成してＷｍｅｄ仮フレームと結合させてその結果得られる、デインターレーシングされた現在のフレーム４０１４として示される、“最終的な”プログレッシブフレームを形成するために用いられる動き推定及び動き補償方式を示す。幾つかの側面においては、インターレーシングされたマルチメディアデータの動きベクトル（“ＭＶ”）候補（又は推定）が、外部の動き推定器からデインターレーサに提供され、双方向動き推定器及び補償器（“ＭＥ／ＭＣ”）４０１８に関する出発点を提供するために用いられる。幾つかの側面においては、ＭＶ候補選択器４０２２は、処理中のブロックのＭＶ候補に関する近隣ブロックに関する以前に決定されたＭＶ、例えば、前の処理されたブロック、例えば、デインターレーシングされた前フレーム４０２０内のブロック例のＭＶ、を使用する。動き補償は、前のデインターレーシングされたフレーム７０及び次の（例えば、将来の）Ｗｍｅｄフレーム４００８に基づいて双方向で行うことができる。現在のＷｍｅｄフレーム４０１０及び動き補償された（“ＭＣ”）現在のフレーム４０１６は、結合器４０１２によってマージ、すなわち結合される。その結果得られたデインターレーシングされた現在のフレーム４０１４、現在はプログレッシブフレーム、は、デインターレーシングされた前フレーム４０２０として用いるためにＭＥ／ＭＣ４０１８に戻され、さらに後続処理のためにデインターレーサ６０５に外部通信される。
インターフィールド補間を具備するデインターレーシング予測方式を、Ｗｍｅｄ＋ＭＣデインターレーシング方式によるイントラフィールド補間から切り離すことが可能である。換言すると、空間−時間的Ｗｍｅｄフィルタリングは、主にイントラフィールド補間目的で用いることができ、インターフィールド補間は、動き補償中に行うことができる。このことは、Ｗｍｅｄ結果のピーク信号・雑音比を小さくするが、不正確なインターフィールド予測モード決定による不良な画素は、Ｗｍｅｄフィルタリングプロセスから除去されるため、動き補償が適用された後の視覚品質のほうが良い。
適切な逆テレシネ又はデインターレーシング処理後は、ブロック６０８において、プログレッシブ映像は、エリアス抑止及びリサンプリング（例えば、リサイジング）に関して処理される。幾つかのリサンプリング側面においては、ピクチャサイズのリサイジングのために多相リサンプラが実装される。ダウンサンプリングの一例においては、原ピクチャとリサイジングされたピクチャの比は、ｐ／ｑであることができ、ｐ及びｑは、相対的に素の整数である。総位相数は、ｐである。幾つかの側面における多相フィルタのカットオフ周波数は、約０．５のリサイジング率に関しては０．６である。リサイジングされたシーケンスの高周波数応答を向上させるために、カットオフ周波数は、リサイジング比とは正確には一致しない。このことは、不可避的に何らかのエリアシングを可能にする。しかしながら、人間の目は、ぶれたエリアスのないピクチャよりも鮮明でエリアスが存在するピクチャを好むことがよく知られている。
図４１は、多相リサンプリング例であり、リサイジング比が３／４である場合の位相を示す。図４１に示されるカットオフ周波数も３／４である。上図においては、原画素は縦軸によって示される。フィルタ波形を表すためにこれらの軸を中心にしたｓｉｎｃ関数も描かれている。選択されたカットオフ周波数は、リサンプリング比とまったく同じであるため、ｓｉｎｃ関数のゼロは、図４１において交差によって示される、リサイジング後の画素の位置と重なり合う。リサイジング後の画素値を見つけるために、貢献度を以下の方程式において示されるように原画素から合計することができる。
ここで、ｆｃは、カットオフ周波数である。上記の１Ｄ多相フィルタは、水平次元及び垂直次元の両方に適用することができる。
他のリサンプリング（リサイジング）側面は、オーバースキャンを説明することである。ＮＴＳＣテレビ信号においては、画像は、４８６本の走査線を有しており、デジタル映像においては、各走査線上に７２０の画素を有することが可能である。しかしながら、テレビ上では、サイズと画面形式との間の不一致に起因して画像全体が見えるわけではない。画像のうちで見えない部分は、オーバースキャンと呼ばれる。
米映画テレビ技術者協会（ＳＭＰＴＥ）では、放送事業者が可能な限り多くのテレビにおいて有用情報を可視エリア内に入れやすいようにするため、セーフアクションエリア（ｓａｆｅ ａｃｔｉｏｎ ａｒｅａ）及びセーフタイトルエリア（ｓａｆｅ ｔｉｔｌｅ ａｒｅａ）と呼ばれる動作フレームの特定の大きさを定めた。ＳＭＰＴＥによって推奨される方法である「テレビシステムに関するセーフアクションエリア及びセーフタイトルエリアテストパターンに関する仕様」に関するＲＰ２７．３−１９８９を参照すること。セーフアクションエリアは、“すべての意味のある動作が行われなければならない”エリアであるとＳＭＰＴＥによって定義されている。セーフタイトルエリアは、“大部分の家庭用テレビ受像機における可視性を保証するためにすべての有用な情報を入れることができる”エリアであると定義されている。
例えば、図２５に関して、セーフアクションエリア２５１０は、画面の中央の９０％を占め、５％のボーダーが全周囲に存在する。セーフタイトルエリア２５０５は、画面の中央の８０％を占め、１０％のボーダーが存在する。次に図２６に関して、セーフタイトルエリアは非常に小さいため、幾つかの放送局では、画像内においてより多くのコンテンツを追加するため、白色の長方形の窓２６１５の内部に存在するセーフアクションエリア内にテキストを入れる。
通常は、オーバースキャン内には黒のボーダーを見ることができる。例えば、図２６において、画像の上側２６２０及び下側２６２５に黒のボーダーが現れる。Ｈ．２６４映像では動き推定の際に境界拡大を用いるため、これらの黒のボーダーはオーバースキャンで除去することができる。拡大された黒のボーダーは、残留物を増大させる可能性がある。控えめなことに、境界は２％だけカットし、次にリサイジングを行うことができる。リサイジング用フィルタは、適宜生成することができる。多相ダウンサンプリング前にオーバースキャンを除去するための打ち切りが行われる。
再度図６に関して、プログレッシブ映像は、ブロック６１０に進み、デブロッカー及びデリンギング動作が行われる。映像圧縮用途においては、２つの型のアーティファクト、“ブロッキング”及び“リンギング”が共通して発生する。ブロッキングアーティファクトは、圧縮アルゴリズムが各フレームをブロック（例えば、８×８のブロック）に分割することが原因で発生する。各ブロックは、幾つかの小さい誤りが存在する状態で再構築され、ブロックのエッジにおける誤りは、近隣ブロックのエッジにおける誤りとコントラストを成すことがしばしばあり、ブロック境界を可視にする。対照的に、リンギングアーティファクトは、画像特徴のエッジの周囲における歪みとして現れる。リンギングアーティファクトは、符号器が高周波ＤＣＴ係数を量子化する際に多くの情報を捨てすぎることが原因で発生する。幾つかの説明例においては、デブロッキング及びデリンギングは両方とも、低域ＦＩＲ（有限インパルス応答）を用いてこれらの可視のアーティファクトを隠すことができる。
デブロッキング処理の一例においては、フレームの境界におけるエッジ及びデブロッキングフィルタプロセスが使用不能になるエッジを除くフレームのすべての４×４ブロックエッジにデブロッキングフィルタを適用することができる。このフィルタリングプロセスは、マクロブロックアドレスの昇順で処理されたフレーム内の全マクロブロックによるフレーム構築プロセスが完了後にマクロブロックに基づいて行わなければならない。各マクロブロックに関して、最初に垂直エッジが左から右にフィルタリングされ、その後に水平エッジが上から下にフィルタリングされる。図３９に示されるように、水平方向及び垂直方向に関して、４つの１６サンプルエッジに対してルマデブロッキングフィルタプロセスが行われ、２つの８サンプルエッジに対して各クロマ成分に関するデブロッキングフィルタプロセスが行われる。以前のマクロブロックに対するデブロッキングプロセス作業によって既に修正されている現在のマクロブロックの左上のサンプル値は、現在のマクロブロックに対するデブロッキングフィルタプロセスへの入力として用いなければならず、現在のマクロブロックのフィルタリング中にさらに修正することができる。垂直エッジのフィルタリング中に修正されたサンプル値は、同じブロックに関する水平エッジのフィルタリング用入力として用いることができる。デブロッキングプロセスは、ルマ成分及びクロマ成分に関して別々に呼び出すことができる。
デリンギング処理の一例においては、エッジ付近のエリアを平滑化するために２Ｄフィルタを適応的に用いることができる。エッジ画素は、ぶれを回避するためのフィルタリングがほとんど又はまったく行われない。
ＧＯＰパーティショナ
デブロッキング及びデリンギング後は、プログレッシブ映像は、ＧＯＰパーティショナ６１２によって処理される。ＧＯＰポジショニングは、ショット変化を検出することと、複雑さマップ（例えば、時間的、空間的帯域幅マップ）を生成することと、適応型ＧＯＰパーティショニングと、を含むことができる。これらの各々が以下において説明される。
デブロッキング及びデリンギング後は、プログレッシブ映像は、ＧＯＰパーティショナ６１２によって処理される。ＧＯＰポジショニングは、ショット変化を検出することと、複雑さマップ（例えば、時間的、空間的帯域幅マップ）を生成することと、適応型ＧＯＰパーティショニングと、を含むことができる。これらの各々が以下において説明される。
Ａ．シーン変化検出
ショット検出は、ピクチャグループ（ＧＯＰ）内のフレームがシーンの変化が生じていることを示すデータを提示したときを決定することに関するものである。一般的には、ＧＯＰ内においては、フレームは、２，３（又はそれ以上の）隣接フレーム内では有意な変化はしていない場合があり、又は、低速の変化又は高速の変化が生じている場合もある。当然のことであるが、これらのシーン変化分類は、必要な場合は、特定の用途に依存してより大きな変化レベルに細分することができる。
ショット検出は、ピクチャグループ（ＧＯＰ）内のフレームがシーンの変化が生じていることを示すデータを提示したときを決定することに関するものである。一般的には、ＧＯＰ内においては、フレームは、２，３（又はそれ以上の）隣接フレーム内では有意な変化はしていない場合があり、又は、低速の変化又は高速の変化が生じている場合もある。当然のことであるが、これらのシーン変化分類は、必要な場合は、特定の用途に依存してより大きな変化レベルに細分することができる。
ショット又はシーンの変化の検出は、映像の効率的な符号化にとって重要である。典型的には、ＧＯＰが有意な変化をしていないときには、ＧＯＰの始めのＩフレームは、幾つかの予測フレームによって後続され、映像の後続する復号及び表示が視覚的に受け入れ可能になるように十分に映像を符号化することができる。しかしながら、突然又はゆっくりにかかわらずシーンが変化中のときには、後続して復号された視覚的に受け入れ可能な結果を生み出すために追加のＩフレーム及びそれよりも予測性が低い符号化（Ｐフレーム及びＢフレーム）が必要になることがある。
既存の符号化システムの性能を向上させるショット検出及び符号化システム及び方法が以下において説明される。該側面は、プリプロセッサ２２６のＧＯＰパーティショナ６１２に実装すること（図７）、又はプリプロセッサとともに又はプリプロセッサなしで動作することができる符号器デバイス内に含めることができる。該側面は、突然のシーン変化が生じているかどうか、シーンがゆっくりと変化しているかどうか、又は映像符号化を特に複雑化するカメラのフラッシュがシーン内に存在するかどうかを決定するために隣接する映像データフレーム間の統計的比較を含む統計値（又はメトリックス）を利用する。これらの統計値は、プリプロセッサから入手して符号化デバイスに送ることができ、又は（例えば、動き補償を行うように構成されたプロセッサによって）符号化デバイス内において生成することができる。結果的に得られた統計値は、シーン変化検出決定に役立つ。トランスコーディングを行うシステムにおいては、適切なプリプロセッサ又は構成可能なプロセッサがしばしば存在する。プリプロセッサがデインターレーシングによって補助された動き補償を行う場合は、動き補償統計値を利用可能であり、直ちに用いることができる。該システムにおいては、ショット検出アルゴリズムは、システムの複雑さをわずかに増大させる可能性がある。
本明細書において説明されるショット検出器例は、前フレーム、現在のフレーム、及び次のフレームからの統計値を利用する必要があるだけであり、従って、非常に低いレーテンシーを有する。ショット検出器は、突然のシーンの変化、クロスフェーディングとその他の低速のシーン変化、及びカメラのフラッシュを含む幾つかの異なる型のショットイベントを区別する。符号器内の異なる戦略を用いて異なる型のショットイベントを決定することによって、符号化効率及び視覚品質が向上される。
シーン変化検出は、映像コーディングシステムがＩフレームを固定された間隔で挿入することによってビットを知的に保存するようにするために用いることができる。幾つかの側面においては、（例えば、メタデータ内に組み込まれた又はプリプロセッサ２２６によって計算された）プリプロセッサによって入手されたコンテンツ情報は、シーン変化検出のために用いることができる。例えば、コンテンツ情報に依存し、後述されるしきい値及びその他の判定基準は、異なる型の映像コンテンツに関して動的に調整することができる。
映像符号化は、通常は、構造化されたピクチャグループ（ＧＯＰ）に対して行われる。ＧＯＰは、通常はイントラコーディングされたフレーム（Ｉフレーム）から開始し、一連のＰ（予測）又はＢ（双方向）フレームが後続する。典型的には、Ｉフレームは、フレームを表示するために要求される全データを保存することができ、Ｂフレームは、（前フレームから変更されたデータを含むだけであるか又は次のフレーム内のデータとは異なる）前フレーム及び後続フレーム内のデータに依存し、Ｐフレームは、前フレームから変化しているデータを含む。共通の使用法においては、符号化された映像においては、Ｉフレームは、Ｐフレーム及びＢフレームとともに散在する。サイズ（例えば、フレームの符号化に用いられるビット数）の点では、Ｉフレームは、典型的には、Ｐフレームよりもはるかに大きく、Ｐフレームは、Ｂフレームよりも大きい。効率的な符号化、送信及び復号処理を行うために、ＧＯＰの長さは、大きなＩフレームからの効率の損失を低減させる上で十分に長く、符号器と復号器との間のミスマッチ、すなわちチャネル損傷、に対処する上で十分に短くすべきである。さらに、Ｐフレーム内のマクロブロック（ＭＢ）は、同じ理由でイントラコーディングすることができる。
シーン変化検出は、映像符号器が適切なＧＯＰ長を決定し、しばしば不要なＩフレームを固定された間隔で挿入する代わりにＧＯＰ長に基づいてＩフレームを挿入するために用いることができる。実際のストリーミング映像システムにおいては、通常は、ビットエラー又はパケット損失によって通信チャネルが損傷される。Ｉフレーム又はＩ ＭＢをどこに配置するかは、復号された映像の品質及び視覚上の経験に有意な影響を与える可能性がある。１つの符号化方式は、共配置されている前ピクチャ又はピクチャ部分からの有意な変化を有するピクチャ又はピクチャ部分に関してイントラコーディングされたフレームを用いることである。通常は、これらの領域は、動き推定では有効に及び効率的に予測することはできず、符号化は、該領域がインターフレームコーディング技術（例えば、Ｂフレーム及びＰフレームを用いた符号化）から免除されている場合により効率的に行うことができる。チャネル損傷の状況においては、これらの領域は、誤り伝播を被る可能性があり、該誤り伝播は、イントラフレーム符号化によって低減又は排除（又はほぼ排除）することができる。
ＧＯＰ映像の一部分は、２つ以上のカテゴリに分類することができ、各領域は、特定の実装に依存する異なるイントラフレーム符号化基準を有することができる。一例として、映像は、３つのカテゴリ、すなわち、突然のシーン変化、クロスフェーディングとその他の低速のシーン変化、及びカメラのフラッシュライト、に分類することができる。
突然のシーンの変化は、通常はカメラの操作に起因する、前フレームとは有意な量だけ異なるフレームを含む。これらのフレームのコンテンツは、前フレームのコンテンツと異なるため、突然のシーン変化のフレームは、Ｉフレームとして符号化すべきである。
クロスフェーディング及びその他の低速のシーンの変化は、通常はコンピュータによるカメラ撮影の処理に起因する、シーンの低速切り換えを含む。２つの異なるシーンを漸次混合することは、人間の目には見やすいように思えるが、映像コーディング上は難題である。動き補償は、これらのフレームのビットレートを有効に低下させることができず、これらのフレームに関してより多くのイントラＭＢを更新することができる。
カメラのフラッシュライト、又はカメラのフラッシュイベントは、フレームのコンテンツがカメラのフラッシュを含むときに発生する。該フラッシュは、継続時間が相対的に短く（例えば、１フレーム）、極端に明るいため、フラッシュを描くフレーム内の画素は、隣接フレーム上の対応するエリアと比較して異常に高い輝度を呈する。カメラのフラッシュライトは、ピクチャの輝度を突然かつ素早く変化させる。通常は、カメラのフラッシュライトの継続時間は、人間の視覚系（ＨＶＳ）の時間的マスキング継続時間よりも短く、典型的には４４ｍｓであると定義されている。人間の目は、これらの短時間の突然の明るさの品質は感じず、このため粗く符号化することができる。フラッシュライトフレームは、動き補償では有効に処理することができず、将来のフレームに関する不良な予測候補であるため、これらのフレームの粗い符号化は、将来のフレームの符号化効率を低下させない。フラッシュライトとして分類されたシーンは、「人工的な」高輝度に起因してその他のフレームを予測するために用いるべきではなく、さらに、その他のフレームも、同じ理由でこれらのフレームを予測するために有効に用いることができない。これらのフレームは、いったん識別された時点で、相対的に大量の処理を要求する可能性があるため取り出すことができる。１つの選択肢は、カメラのフラッシュライトフレームを除去してその代わりにＤＣ係数を符号化することである。該解決方法は単純で、高速計算が可能であり、多くのビットを節約する。
上記のフレームカテゴリのいずれかが検出されたときに、ショットイベントが宣言される。ショット検出は、符号化品質を向上させる上で有用であるだけでなく、映像コンテンツの探索及びインデキシングにおいても役立つことができる。シーン検出プロセスの１つの例示的側面が以下において説明される。この例においては、ショット検出プロセスは、最初に、ショット検出のための処理対象となっている選択されたフレームに関する情報、又はメトリックスを計算する。メトリックスは、映像の双方向動き推定及び補償処理からの情報と、その他の輝度に基づくメトリックスと、を含むことができる。
双方向動き推定／補償を行うためには、現在のフレームのすべての８×８ブロックを、最も近くに隣接するフレームのうちの２つ、過去の１つ、及び将来の１つ、の中のブロックとマッチングさせる双方向動き補償器で映像シーケンスを前処理することができる。動き補償器は、すべてのブロックに関する動きベクトル及び差分メトリックスを生成する。図２９は、現在のフレームＣの画素を過去のフレームＰ及び将来の（又は次の）フレームＮとマッチングさせる例を示し、マッチングされた画素への動きベクトル（過去の動きベクトルＭＶｐ及び将来の動きベクトルＭＶＮ）を描く図である。以下では、双方向動きベクトル生成及び関連する符号化についての一般的説明が図３２を参照しながら一般的に示される。
双方向動き情報、例えば、対応する隣接フレーム内の（最良のマッチングであった）ＭＢを識別する動き情報、を決定後、現在のフレームと次のフレーム及び前フレームとの様々な比較によって（例えば、ＧＯＰパーティショナ６１２内の動き補償器又は他の適切な構成要素によって）追加のメトリックスを生成することができる。動き補償器は、すべてのブロックに関する差分メトリックスを生成することができる。差分メトリックスは、差分二乗和（ＳＳＤ）又は差分絶対値和（ＳＡＤ）であることができる。本明細書においては、一般性を失うことなしに、ＳＡＤが一例として用いられる。
すべてのフレームに関して、ＳＡＤ比、“コントラスト比”とも呼ばれる、は以下のように計算される。
ここで、ＳＡＤＰ及びＳＡＤＮは、前進及び後退差分メトリックスのそれぞれの差分絶対値和である。分母は、「ゼロによる割り算」の誤りを防止するために小さい正数εを含むことに注目すべきである。分子も、分母内の１の影響を均衡化させるためのεを含む。例えば、前フレーム、現在のフレーム、及び次のフレームが同一である場合は、動き探索は、ＳＡＤＰ＝ＳＡＤＮ＝０を生み出すはずである。この場合は、上記計算は、０又は無限大ではなくγ＝１を生成する。
すべてのフレームに関して輝度ヒストグラムを計算することができる。典型的には、マルチメディア画像は、８ビットの輝度深度（例えば、“ビン” 数）を有する。幾つかの側面により輝度ヒストグラムを計算するために用いられる輝度深度は、ヒストグラムを入手するために１６に設定することができる。その他の側面においては、輝度深度は、処理中のデータの型、利用可能な計算能力、又はその他の予め決められた判定基準に依存する適切な数字に設定することができる。幾つかの側面においては、輝度深度は、計算された又は受信されたメトリックス、例えばデータのコンテンツ、に基づいて動的に設定することができる。
以下の方程式は、輝度ヒストグラム差分（ラムダ）の一計算例を示す。
ここで、ＮＰｉは、前フレームに関するｉ番目のビン内のブロック数であり、ＮＣｉは、現在のフレームに関するｉ番目のビン内のブロック数であり、Ｎは、フレーム内の総ブロック数である。前フレーム及び現在のフレームの輝度ヒストグラム差分が完全に異なる（又はばらばらである）場合は、λ＝２である。
この情報を用いて、フレーム差分メトリックス（Ｄ）は、以下のように計算される。
ここで、Ａは、用途別に選択される定数であり、
選択された（現在の）フレームは、フレーム差分メトリックスが方程式９に示される判定基準を満たしている場合は突然のシーン変化として分類される。
ここで、Ａは、用途別に選択される定数であり、Ｔ１は、しきい値である。
一例において、シミュレーションにより、Ａ＝１及びＴ１＝５に設定することは、優れた検出性能を達成させることが示される。現在のフレームが突然のシーン変化フレームである場合は、γＣは大きくすべきであり、γｐは小さくすべきである。比γＣ／γＰは、メトリックスがコンテキストの活動レベルに合わせて正規化されるようにγＣ単独の代わりに用いることができる。
上記判定基準は、輝度ヒストグラム差分（ラムダ）λを非線形で用いることに注目すべきである。図１６は、λ*（２λ＋１）は、凸関数であることを示す。λが小さい（例えば、ゼロに近い）ときは、ほとんどプリエンファシスである。λが大きいほど、より多くのエンファシスが関数によって行われる。このプリエンファシスにより、１．４よりも大きいあらゆるλに関して、しきい値Ｔ１が５に設定されている場合に突然のシーン変化が検出される。
現在のフレームは、シーン強度メトリックスＤが一定数の連続フレームに関して方程式５に示される判定基準を満たしている場合にクロスフェーディング又は低速のシーン変化であると決定される。
ここで、Ｔ１は、上記の同じしきい値であり、Ｔ２は、他のしきい値である。
フラッシュライトイベントは、通常は、輝度ヒストグラムをより明るい側に移動させる。この例示的側面のカメラにおいては、輝度ヒストグラム統計値は、現在のフレームがカメラのフラッシュライトを具備するかどうかを決定するために用いられる。方程式１１及び１２に示されるように、ショット検出プロセスは、現在のフレームマイナスの輝度が前フレームの輝度よりも一定のしきい値Ｔ３だけ大きいかどうか、及び現在のフレームの輝度が次のフレームの輝度よりもしきい値Ｔ３だけ大きいかどうかを決定することができる。
上記の判定基準が満たされない場合は、現在のフレームは、カメラのフラッシュライトを具備するとして分類されない。上記の判定基準が満たされている場合は、以下の方程式において示されるように、ショット検出プロセスは、後退差分メトリックスＳＡＤＰ及び前進差分メトリックスＳＡＤＮが一定のしきい値Ｔ４よりも大きいかどうかを決定する。
ここで、
は、現在のフレームの平均輝度であり、
は、前フレームの平均輝度であり、
は、次のフレームの平均輝度であり、ＳＡＤＰ及びＳＡＤＮは、現在のフレームと関連づけられた前進及び後退差分メトリックスである。
ショット検出プロセスは、現在のフレームの輝度が前フレームの輝度及び次のフレームの輝度よりも大きいかどうかを最初に決定することによってカメラのフラッシュイベントを決定する。より大きくない場合は、フレームはカメラのフラッシュイベントではない。しかしながら、より大きい場合は、フレームはカメラのフラッシュイベントである可能性がある。次に、ショット検出プロセスは、後退差分メトリックスがしきい値Ｔ３よりも大きいかどうか、及び前進差分メトリックスがしきい値Ｔ４よりも大きいかどうかを評価することができる。これらの両方の条件が満たされている場合は、ショット検出プロセスは、現在のフレームがカメラのフラッシュライトを有するとして分類する。判定基準が満たされていない場合は、フレームは、いずれの型のショットイベントとしても分類されず、又は、フレームに関して行うべき符号化を識別するデフォルト分類を与えることができる（例えば、フレームをドロップする、Ｉフレームとして符号化する）。
上記においては、Ｔ１、Ｔ２、Ｔ３、及びＴ４に関する幾つかの典型値が示されている。典型的には、これらのしきい値は、ショット検出の特定の実装の試験を通じて選択される。幾つかの側面においては、しきい値Ｔ１、Ｔ２、Ｔ３、及びＴ４のうちの１つ以上が予め決定され、該値は、符号化デバイス内のショット分類器内に組み入れられる。幾つかの側面においては、しきい値Ｔ１、Ｔ２、Ｔ３、及びＴ４のうちの１つ以上は、ショット分類器に供給された情報（例えば、メタデータ）に基づいて又はショット分類器自体によって計算された情報に基づいて処理中に（例えば、動的に）設定することができる。
ショット検出情報を用いて映像を符号化することは、典型的には符号器内において行われるが、本明細書においては、ショット検出開示を完全にすることを目的として説明される。図３０に関して、符号化プロセス３０１は、ショット検出情報を用いて、フレームシーケンス内の検出されたショットに基づいて映像を符号化することができる。プロセス３０１は、ブロック３０３に進み、現在のフレームが突然のシーン変化として分類されているかどうかを確認する。そのように分類されている場合は、ブロック３０５において、現在のフレームは、Ｉフレームとして符号化することができ、ＧＯＰ境界を決定することができる。そのように分類されていない場合は、プロセス３０１は、ブロック３０７に進む。現在のフレームがブロック３０９においてゆっくりと変化しているシーンの一部として分類されている場合は、現在のフレーム、及びゆっくりと変化しているシーン内のその他のフレームは、予測フレーム（例えば、Ｐフレーム又はＢフレーム）として符号化することができる。次に、プロセス３０１は、ブロック３１１に進み、現在のフレームがカメラのフラッシュを具備するフラッシュライトシーンとして分類されているかどうかを確認する。そのように分類されている場合は、ブロック３１３において、フレームは、特別な処理、例えば、除去又はフレームに関するＤＣ係数の符号化、を目的として識別することができる。そのように分類されていない場合は、現在のフレームの分類は行われておらず、現在のフレームは、その他の判定基準に従って符号化すること、Ｉフレームとして符号化すること、又はドロップすることができる。
上述される側面においては、圧縮すべきフレームと隣接する２つのフレームとの間の差分量は、フレーム差分メトリックスＤによって示される。有意な量の一方向の輝度変化が検出された場合は、フレーム内におけるクロスフェード効果であることを意味する。クロスフェードがより顕著になるほど、Ｂフレームを用いることによってより多くの利得を達成することができる。幾つかの側面においては、以下の方程式において示されるように修正されたフレーム差分メトリックスが用いられる。
ここで、ｄＰ｜ＹＣ−ＹＰ｜及びｄＮ＝｜ＹＣ−ＹＮ｜は、それぞれ、現在のフレームと前フレームとの間のルマ差分、及び現在のフレームと次のフレームとの間のルマ差分であり、Δは、実装に依存することができるため通常の実験において決定することができる定数であり、αは、０乃至１の間の値を有する重み付け変数である。
Ｂ．帯域幅マップ生成
プリプロセッサ２２６（図６）は、マルチメディアデータを符号化するために用いることができる帯域幅マップを生成するように構成することもできる。幾つかの側面においては、符号器２２８（図７）内のコンテンツ分類モジュール７１２が代わりに帯域幅マップを生成する。
プリプロセッサ２２６（図６）は、マルチメディアデータを符号化するために用いることができる帯域幅マップを生成するように構成することもできる。幾つかの側面においては、符号器２２８（図７）内のコンテンツ分類モジュール７１２が代わりに帯域幅マップを生成する。
人間の視覚品質Ｖは、符号化の複雑さＣ及び割り当てられたビットＢ（帯域幅とも呼ばれる）の両方の関数であることができる。図１５は、この関係を示すグラフである。符号化の複雑さメトリックスＣは、人間の視覚の観点から空間周波数及び時間周波数を考慮することが注目されるべきである。人間の目がより感じやすい歪みに関しては、複雑さ値はそれに対応にして高くなる。典型的には、Ｖは、Ｃにおいては単調減少しており、Ｂにおいては単調増加していると仮定することができる。
一定の目視品質を達成するために、符号化対象であって以下の２つの方程式において表される判定基準を満たしているｉ番目のオブジェクト（フレーム又はＭＢ）に帯域幅（Ｂｉ）が割り当てられる。
上記の２つの方程式において、Ｃｉは、ｉ番目のオブジェクトの符号化の複雑さであり、Ｂは、利用可能な総帯域幅であり、Ｖは、オブジェクトに関する達成された視覚品質である。人間の視覚品質は、方程式として公式化するのは困難である。従って、上記の方程式は、正確には定義されていない。しかしながら、３Ｄモデルがすべての変数において連続的であると仮定した場合、帯域幅比（Ｂｉ／Ｂ）は、（Ｃ，Ｖ）対の近隣においては不変であるとして処理することができる。帯域幅比βｉは、以下の方程式において定義される。
これで、ビット割り当ては、以下の方程式において表されるように定義することができる。
ここで、δは、“近隣”を示す。
符号化の複雑さは、空間及び時間の両方において、人間の視覚感度によって影響される。ジロッドの人間の視力モデルは、空間上の複雑さを定義するために用いることができるモデルの一例である。このモデルは、局部空間周波数及び周囲照明を検討する。その結果得られたメトリックスは、Ｄｃｓａｔと呼ばれる。プロセス内の前処理時点において、ピクチャがイントラコーディングされるか又はインターコーディングされるかは不明であり、両方に関する帯域幅比が生成される。ビットは、異なる映像オブジェクトのβＩＮＴＲＡ間の比に従って割り当てられる。イントラコーディングされたピクチャに関しては、帯域幅比は、以下の方程式で表される。
上記方程式において、Ｙは、マクロブロックの平均輝度成分であり、αＩＮＴＲＡは、二乗輝度に関する重み付け係数であり、Ｄｃｓａｔ項が後続し、β０ＩＮＴＲＡは、
を保証するための正規化係数である。例えば、αＩＮＴＲＡに関する値＝４は、良い視覚品質を達成させる。コンテンツ情報（例えば、コンテンツ分類）は、映像の特定のコンテンツに関する希望される良い視覚品質に対応する値にαＩＮＴＲＡを設定するために用いることができる。一例においては、映像コンテンツが“画面上にアナウンサーが映し出される”ニュース放送を具備する場合は、情報画像及び映像の表示可能な部分は、音声部分よりも重要性が低いとみなすことができるため、視覚品質レベルをより低く設定することができ、データを符号化するためにより少ないビットを割り当てることができる。他の例においては、映像コンテンツがスポーツ行事を具備する場合は、コンテンツ情報は、表示された画像のほうが視聴者にとってより重要である可能性があるためより高い視覚品質に対応する値にαＩＮＴＲＡを設定するために用いることができ、従ってデータを符号化するためにより多くのビットを割り当てることができる。
この関係について理解するために、帯域幅は符号化の複雑さと対数的に割り当てられることが注目されるべきである。二乗輝度項Ｙ２は、規模がより大きい係数はより多くのビットを符号化のために用いるということを反映している。対数が負の値になるのを防止するため、括弧内の項に１が加えられる。その他の基を有する対数も使用可能である。
時間的複雑さは、フレーム差分メトリックス、例えば絶対値差分和（ＳＡＤ）、とともに動き量（例えば、動きベクトル）を考慮に入れて２つの連続するフレーム間の差分を測定するフレーム差分メトリックス評価基準によって決定される。
インターコーディングされたピクチャに関するビット割り当ては、空間的及び時間的複雑さを考慮することができる。このことは、以下のように表される。
上記方程式において、ＭＶＰ及びＭＶＮは、現在のＭＢに関する順方向及び逆方向動きベクトルである（図２９参照）。イントラコーディングされた帯域幅式におけるＹ２は、二乗差分和（ＳＳＤ）によって代えられることを注記することができる。上記方程式における‖ＭＶＰ＋ＭＶＮ‖２の役割について理解するために、人間の視覚系の次の特徴に注目すること。すなわち、スムーズで予測可能な動き（小さい‖ＭＶＰ＋ＭＶＮ‖２）が生じるエリアは、目を引き、目によって追跡することができ、典型的には、静止領域よりも多くの歪みを許容することができない。しかしながら、高速の又は予測不能な動き（大きい‖ＭＶＰ＋ＭＶＮ‖２）が生じるエリアは、追跡することができず、有意な量子化を許容することができる。実験では、αＩＮＴＥＲ＝１、γ＝０．００１が良い視覚品質を達成させることを示している。
Ｃ．適応型ＧＯＰパーティショニング
プリプロセッサ２２６によって行うことができる他の処理例においては、図６のＧＯＰパーティショナ６１２は、いっしょにコーディングされたピクチャグループの構成を適応的に変えることができ、ＭＰＥＧ２を用いる例を参照しながら説明される。幾つかのこれまでの映像圧縮基準（例えば、ＭＰＥＧ２）は、正規の構造を課すことはできるがＧＯＰが正規の構造を有することを要求しない。ＭＰＥＧ２シーケンスは、常にＩフレーム、すなわち、以前のピクチャを基準にせずに符号化されているフレーム、から始まる。ＭＰＥＧ２ ＧＯＰ形式は、通常は、Ｉフレームに後続するＰ又は予測ピクチャのＧＯＰ内のスペースを固定することによって符号器において予め手配されている。Ｐフレームは、一部分が以前のＩ又はＰフレームから予測されているピクチャである。開始Ｉフレームと後続するＰフレームとの間のフレームは、Ｂフレームとして符号化される。“Ｂ”フレーム（Ｂは双方向を表す）は、前の及び次のＩ又はＰピクチャを基準として個々に又は同時に用いることができる。Ｉフレームを符号化するために必要なビット数は、平均すると、Ｐフレームを符号化するために必要なビット数を上回り、同様に、Ｐフレームを符号化するために必要なビット数は、平均すると、Ｂフレームに関して要求されるビット数を上回る。スキップされたフレームは、使用される場合は、表示するためのビットは必要ない。
プリプロセッサ２２６によって行うことができる他の処理例においては、図６のＧＯＰパーティショナ６１２は、いっしょにコーディングされたピクチャグループの構成を適応的に変えることができ、ＭＰＥＧ２を用いる例を参照しながら説明される。幾つかのこれまでの映像圧縮基準（例えば、ＭＰＥＧ２）は、正規の構造を課すことはできるがＧＯＰが正規の構造を有することを要求しない。ＭＰＥＧ２シーケンスは、常にＩフレーム、すなわち、以前のピクチャを基準にせずに符号化されているフレーム、から始まる。ＭＰＥＧ２ ＧＯＰ形式は、通常は、Ｉフレームに後続するＰ又は予測ピクチャのＧＯＰ内のスペースを固定することによって符号器において予め手配されている。Ｐフレームは、一部分が以前のＩ又はＰフレームから予測されているピクチャである。開始Ｉフレームと後続するＰフレームとの間のフレームは、Ｂフレームとして符号化される。“Ｂ”フレーム（Ｂは双方向を表す）は、前の及び次のＩ又はＰピクチャを基準として個々に又は同時に用いることができる。Ｉフレームを符号化するために必要なビット数は、平均すると、Ｐフレームを符号化するために必要なビット数を上回り、同様に、Ｐフレームを符号化するために必要なビット数は、平均すると、Ｂフレームに関して要求されるビット数を上回る。スキップされたフレームは、使用される場合は、表示するためのビットは必要ない。
Ｐ及びＢフレームを使用する上での基本概念は、さらにはより最近の圧縮アルゴリズムにおいては、映像を表現するために必要なデータのレートを低くするためにフレームをスキップすることは、時間的冗長性を排除することである。時間的冗長性が高い、すなわちピクチャ間での変化がほとんどない、ときには、以前に復号されたＩ又はＰピクチャはのちにその他のＰ又はＢピクチャを復号するための基準として用いられるため、Ｐ、Ｂ、又はスキップされたピクチャの使用は、映像ストリームを効率的に表現する。
適応型ＧＯＰパーティショニングは、この概念を適応的に用いることに基づく。フレーム間の差分は定量化され、ピクチャをＩ、Ｐ、Ｂ、又はスキップされたフレームによって表す決定は、定量化された差分に関する適切な試験が行われた後に自動的に実施される。適応型構造は、固定型ＧＯＰ構造では入手できない利点を有する。固定された構造は、コンテンツの変化がほとんど起こっていない可能性を無視し、適応型手順は、それよりもはるかに多くのＢフレームを各ＩとＰとの間、又は２つのＰの間に挿入するのを可能にし、それによって、フレームシーケンスを適切に表現するために必要なビット数を少なくする。逆に、映像コンテンツの変化が有意であるときには、予測されたフレームと基準フレームとの間の差分が大きすぎるため、Ｐフレームの効率は大幅に低下される。これらの状態下においては、マッチングオブジェクト（ｍａｔｃｈｉｎｇ ｏｂｊｅｃｔ）が動き探索領域から外れる可能性があり、又はカメラの角度の変化による歪みに起因してマッチングオブジェクト間の類似性が低下する。その時点において、Ｐフレーム又はＩ及びその隣接するＰフレームは、互いにより接近しているものを選択すべきであり、より少ない数のＢフレームを挿入すべきである。固定されたＧＯＰは、その調整を行うことができない。
本明細書において開示されるシステムにおいては、これらの状態は自動的に検知される。ＧＯＰ構造は柔軟であり、これらのコンテンツの変化に適応するように構築される。システムは、距離に関して同じ追加性質を有する、フレーム間の距離の評価基準であると考えることができるフレーム差分メトリックスを評価する。概念上は、フレーム間の距離ｄ１２及びｄ２３を有するフレームＦ１、Ｆ２、及びＦ３が与えられている場合、Ｆ１とＦ３との間の距離は、少なくてもｄ１２＋ｄ２３であるとされる。この距離に関するメトリックスに基づいてフレーム割り当てが行われる。
ＧＯＰパーティショナは、受信されたフレームにピクチャ型を割り当てることによって動作する。ピクチャ型は、各ブロックをコーディングする際に要求される予測方法を示す。
Ｉピクチャは、その他のピクチャを基準にせずにコーディングされる。これらのピクチャは独立型であるため、復号が開始することができるデータストリーム内においてアクセスポイントを提供する。前フレームまでの“距離”がシーン変化しきい値を超える場合は、Ｉ符号化型がフレームに割り当てられる。
Ｐピクチャは、動き補償予測に関して前のＩ又はＰピクチャを用いることができる。これらのピクチャは、予測対象となっているブロックから変位する（ｄｉｓｐｌａｃｅ）ことができる以前のフィールド又はフレーム内のブロックを符号化のための基礎として用いる。基準ブロックが考慮対象ブロックから減じられた後に、残留ブロックは、典型的には空間的冗長性の除去に関する離散コサイン変換を用いて符号化される。フレームとＰフレームになるために割り当てられた最後のフレームとの間の“距離”が、典型的には第１のしきい値よりも小さい第２のしきい値を超える場合は、Ｐ符号化型がフレームに割り当てられる。
Ｂフレームピクチャは、上述されるように、前の及び次のＰ又はＩピクチャを動き補償に関して用いることができる。Ｂピクチャ内のブロックは、前方、後方又は双方向に予測することができ、又は、その他のフレームを基準にせずにイントラコーディングすることが可能である。Ｈ．２６４においては、基準ブロックは、３２のフレームからの３２のブロックの線形的組合せであることができる。フレームをＩ又はＰ型に割り当てることができない場合は、該フレームとその直前のフレームとの間の“距離”が、典型的には第２のしきい値よりも小さい第３のしきい値よりも大きい場合に、Ｂ型として割り当てられる。
フレームが符号化されたＢフレームになるために割り当てることができない場合は、“スキップフレーム”状態に割り当てられる。このフレームは、実質的には前フレームのコピーであるためスキップすることができる。
表示順の点で隣接するフレーム間の差分を定量化するメトリックスを評価することは、行われるこの処理の第１の部分である。このメトリックスは、上述される距離であり、このメトリックスを用いてすべてのフレームの適切な型を評価することができる。従って、Ｉと隣接するＰとの間、又は２つの連続するＰフレーム間のスペースは、可変であることができる。メトリックスの計算は、ブロックに基づく動き補償器によって映像フレームを処理することから開始し、ブロックは、映像圧縮の基本単位であり、通常は１６×１６画素から成るが、８×８、４×４及び８×１６等のその他のブロックサイズも可能である。２つのデインターレーシングされたフィールドから成るフレームに関しては、動き補償は、フィールドごとに行うことができ、基準ブロックの探索は、フレーム内ではなくフィールド内において行われる。現在のフレームの第１のフィールド内のブロックに関しては、後続するフレームのフィールドに順方向基準ブロックが存在し、同様に、現在のフレームの直前のフレームのフィールドにおいて逆方向基準ブロックが存在する。現在のブロックは、組み立てられて補償されたフィールドに入れられる。プロセスは、フレームの第２のフィールドが続く。２つの補償されたフィールドが結合されて、順方向及び逆方向補償フレームを形成する。
逆テレシネにおいて生成されたフレーム６０６に関しては、基準ブロックの探索は、再構築されたフィルムフレームだけであるためフレームのみに基づく。２つの基準ブロック及び２つの差分、前進及び後退、が見つけ出され、さらに順方向及び逆方向補償フレームにも至る。要約すると、動き補償器は、すべてのブロックに関する動きベクトル及び差分メトリックスを生成するが、ブロックは、デインターレーサ６０５の出力が処理される場合はＮＴＳＣフィールドの一部であり、逆テレシネの出力が処理される場合はフィルムフレームの一部である。メトリックスの差分は、考慮中のフィールド又はフレーム内のブロックと、前進差分又は後退差分のいずれを評価中であるかに依存して、前のフィールド又はフレーム又は直後のフィールド又はフレーム内における前記ブロックと最も良くマッチするブロックとの間におけるメトリックスの差分が評価されることに注目すること。この計算には、輝度値のみが含められる。
動き補償ステップは、２組の差分を生成する。これらは、現在の輝度値のブロックと、時間的に現在のフレームの直前及び直後のフレームから取り出された基準ブロックにおける輝度値との間の差分である。各前進差分及び各後退差分の絶対値は、各画素に関して決定され、各々がフレーム全体に関して別々に合計される。フレームを具備するデインターレーシングされたＮＴＳＣフィールドが処理されるときには両フィールドが２つの合計計算の中に含められる。この方法により、前進差分及び後退差分の合計された絶対値ＳＡＤＰ及びＳＡＤＮが見つけ出される。
すべてのフレームに関して、この関係を用いてＳＡＤ比が計算される。
ここで、ＳＡＤＰ及びＳＡＤＮは、前進差分及び後退差分のそれぞれの合計された絶対値である。“ゼロによる割り算”の誤りを防止するために小さい正数が分子εに加えられる。同様のε項が分母に加えられ、ＳＡＤＰ又はＳＡＤＮのいずれかがゼロに近いときにγの感度をさらに低下させる。
代替側面においては、差分は、ＳＳＤ、二乗差分の和、及びＳＡＤ、絶対値差分和、又はＳＡＴＤであることができ、ブロック要素の差分が取られる前に二次元離散コサイン変換を適用することによって画素値ブロックが変換される。これらの和は、アクティブ映像のエリア全体にわたって評価されるが、その他の側面においてはより小さいエリアを用いることができる。
受信された状態の（動き補償されない）すべてのフレームの輝度ヒストグラムも計算される。ヒストグラムは、輝度値ブロックが利用可能な場合に二次元離散コサイン変換を輝度値ブロックに適用した結果である１６×１６の係数配列内のＤＣ係数、すなわち（０，０）係数、に基づいて動作する。同様に、ヒストグラムでは、１６×１６ブロック内の２５６の輝度値の平均値を用いることができる。輝度深度が８ビットである画像に関しては、ビン数は１６に設定される。次のメトリックスは、ヒストグラム差分を評価する。
上記方程式において、ＮＰｉは、ｉ番目のビン内の前フレームからのブロック数であり、Ｎｃｉは、ｉ番目のビン内に属する現在のフレームからのブロック数であり、Ｎは、フレーム内の総ブロック数である。
これらの中間結果が組み立てられて現在のフレームの差分メトリックスが以下のように形成される。
ここで、γＣは、現在のフレームに基づくＳＡＤ比であり、γＰは、前フレームに基づくＳＡＤ比である。シーンがスムーズな動きを有し、そのルマヒストグラムがほんのわずかに変化する場合は、Ｄはほぼ１に等しい。現在のフレームが突然のシーン変化を表示する場合は、γＣは大きくなり、γＰは小さくすべきである。メトリックスがコンテキストの活動レベルに合わせて正規化されるようにするためγＣ単独の代わりに比
が用いられる。
図４２は、圧縮型をフレームに割り当てるプロセスを示す。方程式１９において定義される現在のフレームの差分Ｄが、フレーム割り当てに関して行われる決定のための基礎である。決定ブロック４２０２が示すように、考慮中のフレームがシーケンス内の第１のフレームである場合は、はいと記された決定経路をたどってブロック４２０６に進み、それによってフレームはＩフレームである宣言する。ブロック４２０８において、累積されたフレーム差分がゼロに設定され、プロセスは（ブロック４２１０において）開始ブロックに戻る。考慮中のフレームがシーケンス内の第１のフレームでない場合は、決定が行われたブロック４２０２からいいえと記された経路をたどり、テストブロック４２０４において、現在のフレーム差分がシーン変化しきい値に照らして試験される。現在のフレームの差分がそのしきい値よりも大きい場合は、はいと記された決定経路をたどってブロック４２０６に進み、Ｉフレームの割り当てが再度行われる。
現在のフレームの差分が、シーン変化しきい値よりも小さい場合は、いいえ経路をたどってブロック４２１２に進み、現在のフレームの差分が累積フレーム差分に加えられる。流れ図をさらにたどり決定ブロック４２１４において、累積されたフレーム差分が、一般的にはシーン変化しきい値よりも小さいしきい値ｔと比較される。累積されたフレーム差分がｔよりも大きい場合は、制御はブロック４１２６に移行し、フレームはＰフレームになるために割り当てられ、ステップ４２１８において累積されたフレーム差分がゼロに設定される。累積されたフレーム差分がｔよりも小さい場合は、制御は、ブロック４２１４からブロック４２２０に移行する。ブロック４２２０において、現在のフレームの差分がｔよりも小さいτと比較される。現在のフレームの差分がτよりも小さい場合は、該フレームは、ブロック４２２２においてスキップすることが割り当てられ、プロセスが戻る。現在のフレームの差分がτよりも大きい場合は、該フレームは、ブロック４２２６においてＢフレームとなることが割り当てられる。
符号器
再度図２に関して、トランスコーダ２００は、処理されたメタデータ及び生映像をプリプロセッサ２２６から受信する符号器２２８を含む。メタデータは、ソース映像１０４において最初に受け取られた情報と、プリプロセッサ２２６によって計算された情報と、を含むことができる。符号器２２８は、第１パス符号器２３０と、第２パス符号器２３２と、再符号器２３４と、を含む。符号器２２８は、第２パス符号器２３２から、プリプロセッサ２２６と同様に第１パス符号器２３０、及び再符号器２３４に情報（例えば、メタデータ、誤り耐性情報、コンテンツ情報、符号化されたビットレート情報、基本層及び拡張層のバランス情報、及び量子化情報）を提供することができるトランスコーダ制御２３１からの入力を受信する。符号器２２８は、プリプロセッサ２２６から受信されたコンテンツ情報及び／又は符号器２２８自体によって、例えば、コンテンツ分類モジュール７１２（図７）によって生成されるコンテンツ情報を用いて、受信された映像を符号化する。
再度図２に関して、トランスコーダ２００は、処理されたメタデータ及び生映像をプリプロセッサ２２６から受信する符号器２２８を含む。メタデータは、ソース映像１０４において最初に受け取られた情報と、プリプロセッサ２２６によって計算された情報と、を含むことができる。符号器２２８は、第１パス符号器２３０と、第２パス符号器２３２と、再符号器２３４と、を含む。符号器２２８は、第２パス符号器２３２から、プリプロセッサ２２６と同様に第１パス符号器２３０、及び再符号器２３４に情報（例えば、メタデータ、誤り耐性情報、コンテンツ情報、符号化されたビットレート情報、基本層及び拡張層のバランス情報、及び量子化情報）を提供することができるトランスコーダ制御２３１からの入力を受信する。符号器２２８は、プリプロセッサ２２６から受信されたコンテンツ情報及び／又は符号器２２８自体によって、例えば、コンテンツ分類モジュール７１２（図７）によって生成されるコンテンツ情報を用いて、受信された映像を符号化する。
図７は、図２に示される符号器２２８に関して用いることができる典型的な２パス符号器に含めることができる機能モジュールのブロック図である。図７には機能モジュールの様々な側面が示されるが、図７及び本明細書における説明は、符号器内に組み込むことができる全機能に必ずしも対処しているわけではない。従って、以下においては、機能モジュールの一定の側面は、後述される基本層及び拡張層の符号化に関する解説に沿って説明される。
基本層及び拡張層の符号化
符号器２２８は、ＳＮＲスケーラブル符号器であることができ、ＳＮＲスケーラブル符号器は、プリプロセッサ２２６からの生映像及びメタデータを符号化し、本明細書においては基本層とも呼ばれる第１の符号化データグループ、及び本明細書においては拡張層とも呼ばれる１つ以上の追加の符号化データグループに分けることができる。符号化アルゴリズムは、基本層係数及び拡張層係数を生成し、これらの係数は、復号時に、両層が復号に関して利用可能なときに復号器において結合することができる。両層が利用可能でないときには、基本層の符号化は、基本層を単一層として復号することを可能にする。
符号器２２８は、ＳＮＲスケーラブル符号器であることができ、ＳＮＲスケーラブル符号器は、プリプロセッサ２２６からの生映像及びメタデータを符号化し、本明細書においては基本層とも呼ばれる第１の符号化データグループ、及び本明細書においては拡張層とも呼ばれる１つ以上の追加の符号化データグループに分けることができる。符号化アルゴリズムは、基本層係数及び拡張層係数を生成し、これらの係数は、復号時に、両層が復号に関して利用可能なときに復号器において結合することができる。両層が利用可能でないときには、基本層の符号化は、基本層を単一層として復号することを可能にする。
該多層符号化プロセスの一側面が、図３１を参照しながら説明される。ブロック３２１において、完全にイントラコーディングされたマクロブロック（イントラコーディングされたＭＢ）によってＩフレームが符号化される。Ｈ．２６４においては、Ｉフレーム内のイントラコーディングされたＭＢは、有意な量のコーディング利得を提供する完全に利用された空間予測によって符号化される。２つのサブモード、すなわち、イントラ４×４及びイントラ１６×１６が存在する。基本層が空間予測によって提供されたコーディング利得を利用する場合は、基本層は、拡張層を符号化及び復号する前に符号化及び復号する必要がある。Ｉフレームの２パス符号化及び復号が用いられる。基本層において、基本層量子化パラメータＱＰｂは、粗い量子化ステップサイズを変換係数に提供する。拡張層では、原フレームと再構築された基本層フレームとの間の画素に関する差分が符号化される。拡張層は、より微細な量子化ステップサイズを提供する量子化パラメータＱＰｅを用いる。符号化手段、例えば図２の符号器２２８、は、ブロック３２１において符号化を行う。
ブロック３２３において、符号器は、処理中のＧＯＰ内のＰ及び／又はＢフレームに関する基本層データ及び拡張層データを符号化する。符号化手段、例えば符号器２２８は、ブロック３２３において符号化を行うことができる。ブロック３２５において、符号化プロセスは、符号化すべきさらなるＰ又はＢフレームが存在するかどうか確認する。符号化手段、例えばＳＮＲスケーラブル符号器２２８は、３２５において動作することができる。より多くのＰ又はＢフレームが残っている場合は、ＧＯＰ内の全フレームの符号化が終了するまでステップ３２３が繰り返される。Ｐ及びＢフレームは、インターコーディングされたマクロブロック（インターコーディングされたＭＢ）から成るが、Ｐ及びＢフレーム内には後述されるようにイントラコーディングされたＭＢが存在することができる。
復号器が基本層データと拡張層データを区別するようにするために、符号器２２８は、ブロック３２７においてオーバーヘッド情報を符号化する。オーバーヘッド情報の型は、例えば、層数を識別するデータ、層を基本層として識別するデータ、層を拡張層として識別するデータ、層間の関係を識別するデータ（例えば、層２は、基本層１に関する拡張層であり、層３は、拡張層２に関する拡張層である）、又は層を一連の拡張層における最後の拡張層として識別するデータを含む。オーバーヘッド情報は、関係する基本層及び／又は拡張層データと結びつけられたヘッダー内に含めること、又は別個のデータメッセージ内に含めることができる。符号化手段、例えば図２の符号器２２８、は、ブロック３２７においてプロセスを実行することができる。
単層復号を有するようにするためには、２つの層の係数を逆量子化前に結合させなければならない。従って、これらの２つの層の係数は、対話形式で生成しなければならない。その他の場合は、有意な量のオーバーヘッドを導入する可能性がある。オーバーヘッドが増大する１つの理由は、基本層符号化及び拡張層符号化が異なる時間的基準を用いることが可能なためである。基本層及び拡張層の係数を生成するためにはアルゴリズムが必要であり、これらの係数は、両層が利用可能なときに逆量子化前に復号器において結合させることができる。同時に、アルゴリズムは、拡張層が利用可能でないときに又は復号器が例えば電力節約等の理由で拡張層を復号しないことに決定したときに受け入れ可能な基本層映像に対応すべきである。以下では、該プロセスの一例の詳細が、直下における標準的な予測コーディングに関する概要を示しつつ説明される。
Ｐフレーム（又はインターコーディングされたセクション）は、現在のピクチャ内の領域と基準ピクチャ内の最もマッチングしている予測領域との間の時間的冗長性を利用することができる。基準フレーム内の最もマッチングする予測領域の位置は、動きベクトルで符号化することができる。現在の領域フレームと最もマッチングしている基準予測領域との間の差は、残留誤り（又は予測誤り）と呼ばれる。
図３２は、例えばＭＰＥＧ−４でのＰフレーム構築プロセス例を示す。プロセス３３１は、図３１のブロック３２３において生じる可能性があるプロセス例をより詳細に示す。プロセス３３１は、５×５マクロブロックから成る現在のピクチャ３３３を含み、ここで、この例におけるマクロブロック数は任意である。マクロブロックは、１６×１６画素から成る。画素は、８ビット輝度値（Ｙ）及び２つの８ビット色差値（Ｃｒ及びＣｂ）によって定義することができる。ＭＰＥＧにおいては、Ｙ、Ｃｒ及びＣｂ成分は、４：２：０：形式で格納することができ、Ｃｒ及びＣｂ成分は、Ｘ方向及びＹ方向に２だけダウンサンプリングされる。従って、各マクロブロックは、２５６のＹ成分、６４のＣｒ成分及び６４のＣｂ成分から成ることになる。現在のピクチャ３３３のマクロブロック３３５は、現在のピクチャ３３３とは異なる時点において基準ピクチャ３３７から予測される。Ｙ、Ｃｒ及びＣｂ値の点で符号化中の現在のマクロブロック３３５に最も近い最もマッチングしているマクロブロック３３９の位置を突き止めるための探索が基準ピクチャ３３７において行われる。基準ピクチャ３３７内の最もマッチングしているマクロブロック３３９の位置は、動きベクトル３４１において符号化される。基準ピクチャ３３７は、復号器が現在のピクチャ３３３の構築前に再構築していることになるＩフレーム又はＰフレームであることができる。最もマッチングしているマクロブロック３３９が現在のマクロブロック３３５から減じられ（Ｙ、Ｃｒ及びＣｂ成分の各々に関する差分が計算され）その結果残留誤り３４３が発生する。残留誤り３４３は、２Ｄ離散コサイン変換（ＤＣＴ）３４５によって符号化され、次に量子化される３４７。量子化３４７は、例えば、より少ないビットを高周波数係数に割り当てより多くのビットを低周波数係数に割り当てることによって空間圧縮を提供するために行うことができる。残留誤り３４３の量子化された係数は、動きベクトル３４１及び基準ピクチャ３３３識別情報とともに、現在のマクロブロック３３５を表す符号化された情報である。符号化され情報は、将来用いるためにメモリに格納するか又は例えば誤り訂正又は画像拡張を目的として作業を行うこと、又はネットワーク３４９を通じて送信することができる。
残留誤り３４３の符号化された量子化された係数は、符号化された動きベクトル３４１とともに、後続する動き推定及び補償に関する基準フレームの一部として用いるために符号器内において現在のマクロブロック３３５を再構築するために用いることができる。符号器は、このＰフレーム再構築に関して復号器の手順をエミュレーションすることができる。復号器のエミュレーションは、符号器及び復号器の両方が同じ基準ピクチャに関して作業をすることになる。本明細書においては、再構築プロセスは、符号器内において行われるか、さらなるインターコーディングのために行われるか、又は復号器において行われるかに関わらず提示される。Ｐフレームの再構築は、基準フレーム（又は参照中のピクチャ又はフレームの一部分）が再構築された後に開始することができる。符号化された量子化された係数は、逆量子化３５１され、次に、２Ｄ逆ＤＣＴ、又はＩＤＣＴ ３５３が行われ、その結果復号された又は再構築された残留誤り３５５が生じる。符号化された動きベクトル３４１は、復号され、既に再構築されている基準ピクチャ３３７内の既に再構築されている最もマッチングしているマクロブロック３５７を突き止めるために用いられる。次に、再構築された残留誤り３５５が再構築された最もマッチングするマクロブロック３５７に加えられて再構築されたマクロブロック３５９が形成される。再構築されたマクロブロック３５９は、メモリに格納すること、独立して又はその他の再構築されたマクロブロックとともにピクチャ内に表示すること、又は画像エンハンスメントのためにさらに処理することができる。
Ｂフレーム（双方向予測でコーディングされたセクション）は、現在のピクチャ内の領域、前フレーム内の最もマッチングしている予測領域及び後続ピクチャ内の最もマッチングしている予測領域の間における時間的冗長性を利用することができる。後続する最もマッチングしている予測領域及び前の最もマッチングしている予測領域が結合されて、結合された双方向の予測された領域が形成される。現在のピクチャ領域と最もマッチングしている結合された双方向予測領域との間の差分が残留誤り（又は予測誤り）である。後続する基準ピクチャ内の最もマッチングしている予測領域及び前基準ピクチャ内の最もマッチングしている予測領域の位置は、２つの動きベクトルで符号化することができる。
図３３は、符号器２２８によって行うことができる基本層及び拡張層の係数の符号化に関する符号器プロセス例を示す。基本層及び拡張層が符号化されてＳＮＲスケーラブルビットストリームが提供される。図３３は、図３１のステップ３２３において行われるようなインターＭＢ残留誤り係数符号化例を示す。しかしながら、イントラＭＢ係数を符号化するために同様の方法を用いることも可能ある。符号化手段、例えば図２の符号器構成要素２２８、は、図３３に示されるプロセス及び図３２のステップ３２３を実行することができる。（符号化される）原映像データ４０６（映像データは、この例においてはルマ及びクロマ情報を具備する）は、基本層の最もマッチングしているマクロブロックループ３０２及び拡張層の最もマッチングしているマクロブロックループ３６５に入力される。両ループ３６３及び３６５の目的は、加算器３６７及び３６９においてそれぞれ計算される残留誤りを最小にすることである。ループ３６３及び３６５は、示されるように並行して、又は順次で実行することができる。ループ３６３及び３６５は、最もマッチングしているマクロブロックと原データ３６１との間の残留誤りを最小にする最もマッチングしているマクロブロックを識別するために、基準フレームを含むバッファ３７１及び３７３をそれぞれ探索するための論理を含む（バッファ３７１及び３７３は、同じバッファであることができる）。基本層ループ３６３は一般的には拡張層ループ３６５よりも粗い量子化ステップサイズ（より高いＱＰ値）を利用するため、ループ３６３及びループ３６５の残留誤りは異なることになる。変換ブロック３７５及び３７７は、各ループの残留誤りを変換する。
次に、変換された係数は、選択器３７９において構文解析されて基本層係数および拡張層係数になる。選択器３７９の構文解析は、後述されるように幾つかの形態をとることができる。構文解析技術の１つの共通する特長は、拡張層係数Ｃ’ｅｎｈは、基本層係数Ｃ’ｂａｓｅのディファレンシャルリファインメントになるような形で計算されることである。基本層のリファインメントになるような形で拡張層を計算することは、復号器がそれ自体によって基本層係数を復号して画像の妥当な表現を有すること、又は基本層係数と拡張層係数を結合して画像のリファインメントされた表現を有することを可能にする。次に、選択器３７９によって選択された係数が量子器３８１および３８３によって量子化される。（量子化器３８１及び３８３によってそれぞれ計算された）量子化された係数
は、メモリに格納するか又はネットワークを通じて復号器に送信することができる。
復号器内のマクロブロックの再構築とマッチングさせるために、逆量子化器３８５は、基本層残留誤り係数を逆量子化する。逆量子化された残留誤り係数は、逆変換され３８７、バッファ３７１内で見つけ出された最もマッチングするマクロブロックに追加され３８９、その結果復号器内において再構築されるものとマッチングする再構築されたマクロブロックが得られる。量子化器３８３、逆量子化器３９１、逆変換器３９３、加算器３９７及びバッファ３７３は、基本層ループ３６３において行われたのと同様の計算を拡張ループ３６５において行う。さらに、加算器３９３は、拡張層の再構築において用いられた逆量子化された拡張層係数及び基本層係数を結合させるために用いられる。拡張層量子化器及び逆量子化器は、一般的には、基本層よりも微細な量子化器ステップサイズ（より低いＱＰ）を利用する。
図３４、３５及び３６は、図３３の選択器３７９において採用することができる基本層係数及び拡張層係数の選択器プロセスの例を示す。図２の符号器２２８等の選択する手段は、図３４、３５及び３５において描かれるプロセスを実行することができる。図３４を一例として用いて、変換された係数は、構文解析され、以下の方程式において示されるように基本層係数及び拡張層係数に分けられる。
ここで、“ｍｉｎ”関数は、２つの引数の数学上の最小値又は最小の大きさであることができる。方程式２５は、ブロック４０１として描かれ、方程式２６は、図３４の加算器５１０として描かれている。方程式２６において、Ｑｂは、基本層量子化器３８１を表し、Ｑｂ −１は、基本層の逆量子化器３８５を表す。方程式２６は、拡張層係数を、方程式２５を用いて計算された基本層係数のディファレンシャルリファインメントに変換する。
図３５は、基本層及び拡張層係数選択器３７９の他の例を示す。この例においては、ブロック４０５に含まれている方程式（．）は、以下を表す。
加算器４０７は、以下の２つの方程式において示されるように拡張層係数を計算する。
ここで、Ｃ’ｂａｓｅは、方程式２７によって与えられる。
図３６は、基本層及び拡張層選択器３７９の他の例を示す。この例においては、基本層係数は不変であり、拡張層は、量子化／逆量子化された基本層係数と原拡張層係数との間の差に等しい。
基本層及び拡張層の残留誤り係数に加えて、復号器は、ＭＢがどのように
符号化されているかを識別する情報が必要である。符号化手段、例えば図２の符号器構成要素２２８、は、イントラコーディング及びインターコーディングされた部分のマップ、例えば、マクロブロック（又はサブマクロブロック）がイントラコーディング又はインターコーディングされているとして識別され（さらに、例えば、順方向、逆方向又は双方向を含むいずれの型のインターコーディングであるか及びインターコーディングされた部分がいずれのフレームを基準にしているかも識別する）ＭＢマップ、を含むことができるオーバーヘッド情報を符号化することができる。一側面例においては、ＭＢマップ及び基本層係数は、基本層において符号化され、拡張層係数は、拡張層において符号化される。
符号化されているかを識別する情報が必要である。符号化手段、例えば図２の符号器構成要素２２８、は、イントラコーディング及びインターコーディングされた部分のマップ、例えば、マクロブロック（又はサブマクロブロック）がイントラコーディング又はインターコーディングされているとして識別され（さらに、例えば、順方向、逆方向又は双方向を含むいずれの型のインターコーディングであるか及びインターコーディングされた部分がいずれのフレームを基準にしているかも識別する）ＭＢマップ、を含むことができるオーバーヘッド情報を符号化することができる。一側面例においては、ＭＢマップ及び基本層係数は、基本層において符号化され、拡張層係数は、拡張層において符号化される。
Ｐフレーム及びＢフレームは、インターＭＢと同様にイントラコーディングされたＭＢも含むことができる。ハイブリッド映像符号器は、Ｐ又はＢフレーム内の一定のマクロブロックをイントラコーディングされたＭＢとして符号化することを決定するためにレート歪み（ＲＤ）最適化を用いるのが一般的である。イントラコーディングされたＭＢが拡張層インターＭＢに依存しない単層復号を有するために、近隣のインターＭＢは、基本層イントラコーディングされたＭＢの空間予測に関しては用いられない。計算の複雑さが拡張層復号に関して常に不変であるようにするために、基本層のＰ又はＢフレーム内のイントラコーディングされたＭＢに関して、拡張層におけるリファインメントをスキップをことが可能である。
Ｐ又はＢフレーム内のイントラコーディングされたＭＢは、インターＭＢよりも多くのビットを要求する。この理由により、Ｐ又はＢフレーム内のイントラコーディングされたＭＢは、より高いＱＰで基本層品質のみで符号化可能である。このことは、映像品質のある程度の劣化をもたらすことになるが、この劣化は、上述されるように基本層及び拡張層においてインターＭＢ係数を用いてのちのフレーム内においてリファインメントされる場合は目立たないはずである。２つの理由がこの劣化を目立たなくする。第１の理由は、人間の視覚系（ＨＶＳ）の特徴であり、他方の理由は、インターＭＢがイントラＭＢをリファインメントすることである。第１のフレームから第２のフレームに位置を変化させるオブジェクトの場合は、第１のフレーム内の幾つかの画素は、第２のフレームでは見ることができず（カバーされる情報）、第２のフレーム内の幾つかの画素は、初めて見ることができる（カバーされない情報）。人間の目は、カバーされない及びカバーされる視覚情報に対して敏感でない。このため、カバーされていない情報に関しては、より低い品質で符号化されるにもかかわらず、目は違いを見分けることができない。同じ情報が後続するＰフレーム内にとどまっている場合は、拡張層はより低いＱＰを有するため拡張層における後続Ｐフレームがその情報をリファインメントできる確率が高くなる。
Ｐ又はＢフレームにおいてイントラコーディングされたＭＢを導入する他の共通技術は、イントラリフレッシュと呼ばれる。この場合は、幾つかのＭＢは、標準Ｒ−Ｄ最適化ではインターコーディングされたＭＢであることが要求されるが、イントラコーディングされたＭＢとしてコーディングされる。基本層に含められているこれらのイントラコーディングされたＭＢは、ＱＰｂ又はＱＰｅのいずれかによって符号化することができる。ＱＰｅが基本層に関して用いられる場合は、ＱＰｂ又はＱＰｅのいずれかで符号化することができる。ＱＰｅが基本層に関して用いられる場合は、拡張層においてはリファインメントは不要である。ＱＰｂが基本層に関して用いられる場合は、リファインメントが必要な場合があり、その他の場合は、拡張層において品質低下に気づくことが可能になる。インターコーディングは、コーディング効率という意味ではイントラコーディングよりも効率的であるため、拡張層におけるこれらのリファインメントは、インターコーディングされる。この方法により、基本層係数は、拡張層に関して用いられない。従って、品質は、拡張層において新たな動作を導入せずに向上される。
拡張層では、提供する高い圧縮品質に起因してＢフレームが一般的に用いられる。しかしながら、Ｂフレームは、ＰフレームのイントラコーディングされたＭＢを基準にしなければならないことがある。Ｂフレームの画素が拡張層品質で符号化される場合は、上述されるように、ＰフレームのイントラコーディングされたＭＢの品質がより低いことに起因してあまりにも多いビットを要求する可能性がある。上述されるように、ＨＶＳの品質を利用することによって、Ｐフレームのより低い品質のイントラコーディングされたＭＢを基準にするときにはＢフレームＭＢをより低い品質で符号化することができる。
Ｐ又はＢフレーム内のイントラコーディングされたＭＢの１つの極端な事例は、符号化中の映像内におけるシーンの変化の存在に起因してＰ又はＢフレーム内の全ＭＢがイントラモードで符号化されるときである。この場合は、フレーム全体を基本層品質でコーディングすることができ、拡張層におけるリファインメントは行われない。Ｂフレームにおいてシーンの変化が生じた場合で、Ｂフレームは拡張層でしか符号化されないと仮定した場合は、Ｂフレームは、基本層品質で符号化するか又は単純にドロップすることが可能である。Ｐフレームにおいてシーンの変化が生じた場合は、変更は必要でなく、Ｐフレームをドロップするか又は基本層品質で符号化することができる。“SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING”（２層符号化及び単層復号を有するスケーラブルな映像コーディング）という題名を有し、本特許出願の譲受人によって所有され、本明細書において参照されることによってその全体が本明細書に組み入れられている、同時係属米国特許出願番号［Ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ／ｒｅｆ． ｎｏ． ０５００７８］において、スケーラブル層符号化がさらに説明されている。
符号器第１パス部分
図７は、図２の符号器２２８の説明例を示す。示されているブロックは、符号器２２８内に含めることができる様々な符号器処理を示す。この例においては、符号器２２８は、区分線７０４上方の第１パス部分７０６と、線７０４下方の第２パス部分７０６（図２の第２パス符号器２３２及び再符号器２３４の機能を含む）と、を含む。
図７は、図２の符号器２２８の説明例を示す。示されているブロックは、符号器２２８内に含めることができる様々な符号器処理を示す。この例においては、符号器２２８は、区分線７０４上方の第１パス部分７０６と、線７０４下方の第２パス部分７０６（図２の第２パス符号器２３２及び再符号器２３４の機能を含む）と、を含む。
符号器２２８は、メタデータ及び生映像をプリプロセッサ２２６から受信する。メタデータは、プリプロセッサ２２６によって受信された又は計算されたメタデータを含み、映像のコンテンツ情報に関連するメタデータを含む。符号器２２８の第１パス部分７０２は、機能に関して後述される第１パス符号化７０２に含めることができる典型的プロセスを示す。当業者が知ることになるように、該機能は様々な形態で（例えば、ハードウェア、ソフトウェア、ファームウェア、又はその組合せ内に）実装することができる。
図７は、適応型イントラリフレッシュ（ＡＩＲ）モジュールを示す。ＡＩＲモジュール７１０は、メタデータに基づいてＩフレームをインスタンス化するＩフレームインスタンス化モジュール７０８に入力を提供する。第１パス部分７０２は、メタデータ及び映像を受信し、映像に関連するコンテンツ情報を決定するように構成されたコンテンツ分類モジュール７１２を含むことも可能である。コンテンツ情報は、メタデータ及び映像も受信するレート制御ビット割り当てモジュール７１４に提供することができる。制御ビット割り当てモジュール７１４は、レートビット制御情報を決定し、該情報をモード決定モジュール７１５に提供する。コンテンツ情報及び映像は、イントラモデル（歪み）モジュール７１６に提供することができ、イントラモデル（歪み）モジュール７１６は、イントラコーディング歪み情報をモード決定モジュール７１５及び基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８に提供する。基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８にインターコーディング歪み情報を提供する動き推定（歪み）モジュール７２０に映像及びメタデータが提供される。基本層及び拡張層に関するスケーラビリティレート−歪みモジュール７１８は、モード決定モジュール７１５に提供される動き推定モジュール７２０及びイントラモデル歪みモジュール７１６からの歪み推定を用いてスケーラビリティレート−歪み情報を決定する。モード決定モジュール７１５は、スライス／ＭＢ順序設定（ｏｒｄｅｒｉｎｇ）モジュール７２２からの入力も受け取る。スライス／ＭＢ順序設定モジュール７２２は、（第２パス部分７０６に示される）誤り耐性モジュール７４０から入力を受け取り、映像の独立して符号化可能な部分（スライス）を誤り耐性に関するアクセスユニット境界とアライメントさせることに関する情報をモード決定モジュール７１５に提供する。モード決定モジュール７１５は、入力に基づいて符号化モード情報を決定し、“最良の”コーディングモードを第２パス部分７０６に提供する。該第１パス部分７０２符号化の幾つかの例に関するさらなる例示的説明が以下に示される。
上述されるように、コンテンツ分類モジュール７１２は、プリプロセッサ２２６によって供給されたメタデータ及び生映像を受信する。幾つかの例においては、プリプロセッサ２２６は、マルチメディアデータからコンテンツ情報を計算し、該コンテンツ情報を（例えば、メタデータ内の）コンテンツ分類モジュール７１２に提供し、コンテンツ分類モジュール７１２は、コンテンツ情報を用いてマルチメディアデータに関するコンテンツ分類を決定することができる。幾つかのその他の側面においては、コンテンツ分類モジュール７１２は、マルチメディアデータから様々なコンテンツ情報を決定するように構成され、さらにコンテンツ情報を決定するように構成することもできる。
コンテンツ分類モジュール７１２は、異なる型のコンテンツを有する映像に関する異なるコンテンツ分類を決定するように構成することができる。異なるコンテンツ分類は、マルチメディアデータを符号化する側面、例えば、量子化パラメータを決定するためのビットレート（例えば、ビット割り当て）を決定する、動き推定、スケーラビリティ、誤り耐性を決定する、チャネル間での最適なマルチメディアデータ品質を維持する、及び高速チャネル切り換え方式（例えば、Ｉフレームが高速チャネル切り換えを許容するように定期的に強制する）に関して用いられる異なるパラメータを得ることが可能になる。一例により、符号器２２８は、コンテンツ分類に基づいてレート−歪み（Ｒ−Ｄ）最適化及びビットレート割り当てを決定するように構成される。コンテンツ分類を決定することは、コンテンツ分類に基づいて希望されるビットレートに対応する所定の品質レベルにマルチメディアデータを圧縮することを可能にする。さらに、マルチメディアデータのコンテンツを分類する（例えば、人間の視覚系に基づいてコンテンツ分類を決定する）ことによって、その結果受信デバイスのディスプレイ上において得られる通信されたマルチメディアデータの知覚品質（ｐｅｒｃｅｐｔｉｖｅ ｑｕａｌｉｔｙ）は、映像コンテンツに依存して作られる。
コンテンツ分類モジュール７１２がコンテンツを分類するために行う手順の一例として、図９は、コンテンツ分類モジュール７１２が動作する際に従うことができる典型的プロセスを例示するプロセス９００を示す。示されるように、プロセス９００は、入力ブロック９０２において開始し、コンテンツ分類モジュール７１２は、生のマルチメディアデータ及びメタデータを受信する。次に、プロセス９００は、ブロック９０４に進み、コンテンツ分類モジュール７１２は、マルチメディアデータの空間情報及び時間情報を決定する。幾つかの側面においては、空間情報及び時間情報は、空間的マスキング及び時間的マスキング（例えば、フィルタリング）によって決定される。空間情報及び時間情報は、シーン変化データ及び動きベクトル（ＭＶ）平滑化を含むメタデータに基づいて決定することができる。次に、プロセス９００は、ブロック９１２に進み、空間的複雑さ、時間的複雑さ、及び感度の推定を行う。次に、プロセス９００はブロック９１６に進み、ブロック９０４及び９１２において、決定された空間データ、時間データ及び感度データの結果に基づいてマルチメディアデータのコンテンツが分類される。さらにブロック９１６において、特定のレート−歪み（Ｒ−Ｄ）曲線を選択することができ及び／又はＲ−Ｄ曲線データを更新することができる。次に、プロセス９００は、出力ブロック９１８に進み、出力は、複雑さ−歪みマップ又は空間的活動及び時間的活動（例えば、コンテンツ分類）を示す値及び／又は選択されたＲ−Ｄ曲線を含むことができる。再度図７に関して、コンテンツ分類モジュール７１２は、上述される、レート制御ビット割り当てモジュール７１４、イントラモデル（歪み）モジュール７１６、及びＩフレームインスタンス化モジュール７０８に出力を提供する。
コンテンツ情報
コンテンツ分類モジュール７１２は、以下においてさらに説明される、空間的複雑さ、時間的複雑さ、コントラスト比値、標準偏差、及びフレーム差分メトリックスを含む様々なコンテンツ関連メトリックスを含む様々なコンテンツ情報をマルチメディアデータから計算するように構成することができる。
コンテンツ分類モジュール７１２は、以下においてさらに説明される、空間的複雑さ、時間的複雑さ、コントラスト比値、標準偏差、及びフレーム差分メトリックスを含む様々なコンテンツ関連メトリックスを含む様々なコンテンツ情報をマルチメディアデータから計算するように構成することができる。
コンテンツ分類モジュール７１２は、マルチメディアデータの空間的複雑さ及び時間的複雑さを決定するように、及びテクスチャ値を空間的複雑さと、動き値を時間的複雑さと関連づけるように構成することができる。コンテンツ分類モジュール７１２は、符号化中のマルチメディアデータのコンテンツに関連する前処理されたコンテンツ情報をプリプロセッサ２２６から受信し、又は代替として、プリプロセッサ２２６は、コンテンツ情報を計算するように構成することができる。上述されるように、コンテンツ情報は、例えば、１つ以上のＤｃａｓｔ値と、コントラスト比値と、動きベクトル（ＭＶ）と、絶対値差分和（ＳＡＤ）と、を含むことができる。
一般的には、マルチメディアデータは、１つ以上の画像シーケンス、又はフレームシーケンスを含む。各フレームは、処理のために画素ブロックに分割することができる。空間的複雑さは、フレーム内における空間的詳細レベルの評価基準について一般的に説明する広義の用語である。主に無地（ｐｌａｉｎ）の又は変化しない又は変化が小さい輝度及び色差エリアを有するシーンは、小さい空間的複雑さを有することになる。空間的複雑さは、映像データのテクスチャと関連づけられる。空間的複雑さは、この側面においては、Ｄｃｓａｔと呼ばれる人間の視覚感度メトリックスに基づき、前記人間の視覚感度メトリックスは、局所空間周波数及び周囲照明の関数として各ブロックに関して計算される。当業者は、ビジュアル画像の空間周波数パターン及び照明とコントラストに関する特徴を用いて人間の視覚系を利用するための技術を認識している。人間の視覚系の遠近法上の制限を利用するための幾つかの感度メトリックスが知られており、本明細書において説明される方法とともに用いることが可能である。
時間的複雑さは、フレームシーケンス内のフレーム間で基準とされるマルチメディアデータにおける動きレベルの評価基準を一般的に説明するために用いられる広義の用語である。動きがほとんど又はまったくないシーン（例えば、映像データのフレームシーケンス）は、時間的複雑さが小さい。時間的複雑さは、各マクロブロックに関して計算することができ、Ｄｃｓａｔ値、動きベクトル及び１つのフレームと他のフレーム（例えば、基準フレーム）との間の絶対画素差分和に基づくことができる。
フレーム差分メトリックスは、動き量（例えば、動きベクトル又はＭＶ）及び予測子と現在のマクロブロックとの間の絶対値差分和（ＳＡＤ）として表される残留エネルギーを考慮した２つの連続フレーム間の差分の評価基準となる。フレーム差分は、双方向又は単一方向の予測効率の評価基準も提供する。
動きが補償されたデインターレーシングを行うことが可能なプリプロセッサから受信された動き情報に基づいたフレーム差分メトリックスの一例は以下のとおりである。デインターレーサは、双方向動き推定を行い、従って、双方向動きベクトル及びＳＡＤ情報を利用可能である。各マクロブロックに関してＳＡＤ＿ＭＶによって表されるフレーム差分は、以下のように導き出すことができる。
ここで、
であり、ＳＡＤＮは、逆方向基準フレームから計算されたＳＡＤであり、ＳＡＤＰは、順方向基準フレームから計算されたＳＡＤである。
フレーム差分を推定する他の手法が方程式６乃至８を参照しながら上述されている。ＳＡＤ比（又はコントラスト比）γは、方程式６において上述のように計算することができる。すべてのフレームの輝度ヒストグラムも決定することができ、ヒストグラム差分λは、方程式７を用いて計算される。フレーム差分メトリックスＤは、方程式８に示されるように計算することができる。
一例においては、コントラスト比及びフレーム差分メトリックスは、映像コンテンツ分類を入手するために次の方法で利用され、所定の映像シーケンス内の特徴を信頼できる形で予測可能である。本明細書においては符号器２２８において生じる状況が説明されているが、プリプロセッサ２２６は、コンテンツ分類（又はその他のコンテンツ情報）を決定し、メタデータを介してコンテンツ分類を符号器２２８に渡すように構成することもできる。以下の例において説明されるプロセスは、Ｒ−Ｄ曲線に基づく解析から得られた分類と同様に、コンテンツを８つの可能なクラスに分類する。分類プロセスは、シーンの複雑さ及び各スーパーフレーム内でのシーン変化発生数に依存して各スーパーフレームに関して０乃至１の範囲内の値を出力する。プリプロセッサ内のコンテンツ分類モジュールは、フレームコントラスト及びフレーム差分値からコンテンツ分類メトリックスを入手するために各スーパーフレームに関して以下のステップ（１）乃至（５）を実行することができる。
１．平均フレームコントラスト及びフレームコントラスト偏差をマクロブロックコントラスト値から計算する。
２．シミュレーションから得られた値を用いてフレームコントラスト及びフレーム差分値、それぞれ４０及び５、を正規化する。
３．例えば一般化された方程式を用いてコンテンツ分類メトリックスを計算する。
ここで、ＣＣＷ１、ＣＣＷ２、ＣＣＷ３及びＣＣＷ４は、重み付け係数である。この例においては、値は、ＣＣＷ１に関しては０．２、ＣＣＷ２に関しては０．９、ＣＣＷ３に関しては０．１、ＣＣＷ４に関しては−０．００００９が選択される。
４．スーパーフレーム内でのシーン変化数を決定する。一般的には、スーパーフレームは、特定の期間において表示することができるピクチャ又はフレームのグループを意味する。典型的には、期間は１秒である。幾つかの側面においては、スーパーフレームは、（３０／ｆｐｓ映像の場合は）３０フレームを具備する。その他の側面においては、スーパーフレームは、２４フレーム（２４／ｆｐｓ映像）を具備する。シーン変化数に依存して、以下の事例のうちの１つが実行される。
（ａ）シーン変化なし：スーパーフレーム内においてシーン変化がないときには、メトリックスは、以下の方程式において示されるようにフレーム差分値のみに完全に依存する。
（ｂ）単一のシーン変化：スーパーフレーム内において単一のシーン変化フレームが観察されたときには、以下のようにデフォルト方程式を用いてメトリックスが計算される。
（ｃ）２つのシーン変化：所定のスーパーフレーム内において多くて２つのシーン変化が存在することが観察されたときには、以下の方程式において示されるように、最初のスーパーフレームは後のスーパーフレームによって素早くリフレッシュされるため、最後のスーパーフレームは、最初のスーパーフレームよりも大きい重みが与えられる。
（ｄ）３つ以上のシーン変化：所定のスーパーフレームが３つ以上のＩフレーム（例えばＮ）を有することが観察される場合は、以下の方程式において示されるように、最後のＩフレームはより大きい重みが与えられ、その他のすべてのＩフレームは０．０５の重みが与えられる。
５．フレーム差分平均が０．０５よりも小さいときに動きが少ないシーンの場合はメトリックスに関して補正を用いることができる。（ＣＣＯＦＦＳＥＴ）０．３３のオフセットがＣＣＭｅｔｒｉｃに加えられる。
コンテンツ分類モジュール７１２は、Ｄｃｓａｔ値、動きベクトル及び／又は絶対値差分和を用いて、マクロブロッに関する空間的複雑さ（又は指定された映像データ量）を決定する。時間的複雑さは、フレーム差分メトリックスの評価基準（動きベクトルを有する動き量、及びフレーム間の絶対値差分和を考慮した２つの連続フレーム間の差分）によって決定される。
幾つかの側面においては、コンテンツ分類モジュール７１２は、帯域幅マップを生成するように構成することができる。例えば、帯域幅マップ生成は、プリプロセッサ２２６が帯域幅マップを生成しない場合にコンテンツ分類モジュール７１２によって行うことができる。
テクスチャ値及び動き値の決定
マルチメディアデータ内の各マクロブロックに関して、コンテンツ分類モジュール７１２は、テクスチャ値を空間的複雑さと、動き値を時間的複雑さと関連づける。テクスチャ値は、マルチメディアデータの輝度値と関連し、低いテクスチャ値は、データの近隣画素の輝度値の変化が小さいことを示し、高いテクスチャ値は、データの近隣画素の輝度値の変化が大きいことを示す。
マルチメディアデータ内の各マクロブロックに関して、コンテンツ分類モジュール７１２は、テクスチャ値を空間的複雑さと、動き値を時間的複雑さと関連づける。テクスチャ値は、マルチメディアデータの輝度値と関連し、低いテクスチャ値は、データの近隣画素の輝度値の変化が小さいことを示し、高いテクスチャ値は、データの近隣画素の輝度値の変化が大きいことを示す。
テクスチャ値及び動き値が計算された時点で、コンテンツ分類モジュール７１２は、動き情報及びテクスチャ情報の両方を考慮することによってコンテンツ分類を決定する。コンテンツ分類モジュール７１２は、分類中である映像データに関するテクスチャを、マクロブロックの輝度値の複雑さを一般的に示す相対的テクスチャ値、例えば、“低”テクスチャ、“中”テクスチャ、又は“高”テクスチャ、と関連づける。さらに、コンテンツ分類モジュール７１２は、分類中の映像データに関して計算された動き値を、マクロブロックの動き量を一般的に示す相対的動き値、例えば、“少ない”動き、“中度の”動き、又は“多い”動き、と関連づける。代替側面においては、動き及びテクスチャに関してより少ない又はより多いカテゴリを用いることができる。次に、関連づけられたテクスチャ値及び動き値を考慮することによってコンテンツ分類メトリックスが決定される。
図８は、テクスチャ値及び動き値がコンテンツ分類とどのように関連づけられているかを示す分類チャート例を示す。当業者は、該分類チャートを例えばルックアップテーブル又はデータベース内に実装するための数多く方法に精通する。分類チャートは、映像データコンテンツに関する予め決められた評価に基づいて生成される。映像データ分類を決定するために、（“ｘ軸”上の）“低”、“中”、又は“高”のテクスチャ値が、（“ｙ軸”上の）“少ない”、“中度の”、又は“多い”の動き値と相互参照される。交差ブロックにおいて示されるコンテンツ分類が映像データに割り当てられる。例えば、“高”のテクスチャ値及び“中度の”動き値は、７の分類になる。図８は、この例においては、８つの異なるコンテンツ分類と関連づけられている相対的なテクスチャ値及び動き値の様々な組合せを示す。幾つかのその他の側面においては、より多い又はより少ない分類を用いることができる。“CONTENT CLASSIFICATION FOR MULTIMEDIA PROCESSING”（マルチメディアデータ処理に関するコンテンツ分類）という題名を有し、本特許出願の譲受人に譲渡され、本明細書において参照されることによって明示で本明細書に組み入れられている、同時係属米国特許出願番号１１／３７３，５７７（出願日：２００６年３月１０日）において、コンテンツ分類の例示的側面のさらなる説明が開示されている。
レート制御ビット割り当て
本明細書において説明されるように、マルチメディアデータコンテンツ分類は、映像の知覚品質を一定に維持しながらビット管理を有効に向上させるために符号化アルゴリズムにおいて用いることができる。例えば、分類メトリックスは、シーン変化検出、ビットレート割り当て制御、及びフレームレートアップコンバージョン（ＦＲＵＣ）に関するアルゴリズムにおいて用いることができる。映像データ通信においては圧縮器／伸長器（コーデック）システム及びデジタル信号処理アルゴリズムが共通して用いられ、帯域幅を保全するように構成することができるが、品質と帯域幅保全との間には相反する関係がある。最良のコーデックは、映像の品質低下を最小にしながら最大の帯域幅保全を提供する。
本明細書において説明されるように、マルチメディアデータコンテンツ分類は、映像の知覚品質を一定に維持しながらビット管理を有効に向上させるために符号化アルゴリズムにおいて用いることができる。例えば、分類メトリックスは、シーン変化検出、ビットレート割り当て制御、及びフレームレートアップコンバージョン（ＦＲＵＣ）に関するアルゴリズムにおいて用いることができる。映像データ通信においては圧縮器／伸長器（コーデック）システム及びデジタル信号処理アルゴリズムが共通して用いられ、帯域幅を保全するように構成することができるが、品質と帯域幅保全との間には相反する関係がある。最良のコーデックは、映像の品質低下を最小にしながら最大の帯域幅保全を提供する。
一説明例においては、レート制御ビット割り当てモジュール７１４は、コンテンツ分類を用いてビットレート（例えば、マルチメディアデータを符号化するために割り当てられるビット数）を決定し、符号器２２８のその他のプロセス及び構成要素によって用いるためにビットレートをメモリに格納する。映像データの分類から決定されたビットレートは、一貫した品質レベルでマルチメディアデータを提供する一方で帯域幅の保全を援助することができる。一側面においては、異なるビットレートを８つの異なるコンテンツ分類の各々と関連づけることができ、そのビットレートがマルチメディアデータを符号化するために用いられる。その結果得られる効果は、マルチメディアデータの異なるコンテンツ分類に異なるビット数が符号化のために割り当てられるが、知覚品質は、ディスプレイ上で見たときには類似している又は一貫していることである。
一般的には、より高いコンテンツ分類を有するマルチメディアデータは、より多いレベルの動き及び／又はより高いレベルのテクスチャを示しており、符号化時により多くのビットが割り当てられる。より低い分類（テクスチャがより低く動きがより小さいことを示す）を有するマルチメディアデータは、より少ないビットが割り当てられる。特定のコンテンツ分類のマルチメディアデータに関しては、ビットレートは、マルチメディアデータを見るための選択された目標知覚品質レベルに基づいて決定することができる。マルチメディアデータ品質を決定することは、人間がマルチメディアデータを見て等級を付けることによって決定することができる。幾つかの代替側面においては、マルチメディアデータ品質の推定は、例えば信号・雑音比アルゴリズムを用いた自動試験システムによって行うことができる。一側面においては、各特定の品質レベルを達成するために必要な一組の標準品質レベル（例えば、５つ）及び対応するビットレートが、各コンテンツ分類のマルチメディアデータに関して予め決定される。一組の品質レベルを決定するために、特定のコンテンツ分類のマルチメディアデータは、マルチメディアデータが一定のビットレートを用いて符号化されるときにマルチメディアデータの目で知覚された品質の数値による表示を提供する平均意見点数（ＭＯＳ）を生成することによって評価することができる。ＭＯＳは、１乃至５の範囲内の単一の数として表すことができ、１は、最低の知覚品質であり、５は、最高の知覚品質である。その他の側面においては、ＭＯＳは、５つよりも多い又は少ない品質レベルを有することができ、各品質レベルに関して異なる記述を用いることができる。
マルチメディアデータ品質を決定することは、人間がマルチメディアデータを見て等級を付けることによって決定することができる。幾つかの代替側面においては、マルチメディアデータ品質の推定は、例えば信号・雑音比アルゴリズムを用いた自動試験システムによって行うことができる。一側面においては、各特定の品質レベルを達成するために必要な一組の標準品質レベル（例えば、５つ）及び対応するビットレートが、各コンテンツ分類のマルチメディアデータに関して予め決定される。
一定のコンテンツ分類のマルチメディアデータに関する目で知覚された品質レベルとビットレートとの間の関係を知ることは、目標の（例えば、希望される）品質レベルを選択することによって決定することができる。ビットレートを決定するために用いられる目標品質レベルは、予め選択する、ユーザーが選択する、ユーザーからの又は他のプロセスからの入力を要する自動プロセス又は半自動プロセスを通じて選択する、又は予め決められた判定基準に基づいて符号化デバイス又はシステムによって動的に選択することができる。目標品質レベルは、例えば、符号化アプリケーションの型、又はマルチメディアデータを受信するクライアントデバイスの型に基づいて選択することができる。
図７の説明例においては、レート制御ビット割り当てモジュール７１４は、コンテンツ分類モジュール７１２から両方のデータを受信し、プリプロセッサ２２６から直接メタデータを受信する。レート制御ビット割り当てモジュール７１４は、符号器２２８の第１パス部分に常駐し、レート制御微調整７３８は、第２パス部分７０６に常駐する。この２パスレート制御側面は、第１パス（レート制御ビット割り当てモジュール７１４）が（例えば、２５６ｋｂｐｓ）の長期平均ビットレートを目標とする）１つのスーパーフレームルックアヘッドによるコンテキスト適応型ビット割り当てを行い、ピークレートを制限し、第２パス（レート制御微調整モジュール７３８）は、２層スケーラビリティに関して第１パスの結果をリファインメントし、レート適応化を行う。レート制御は、４つのレベル、すなわち、（１）ＧＯＰレベル−Ｉ、Ｐ、Ｂ、及びＦフレームのビット分布がＧＯＰ内部において一様にならないように制御する、（２）スーパーフレームレベル−最大のスーパーフレームサイズに関する厳格な限度を制御する、（３）フレームレベル−コンテンツ情報（例えば、コンテンツ分類）に基づく、マルチメディアデータフレームの空間的及び時間的複雑さに従ってビット要求を制御する、及び（４）マクロブロックレベル−コンテンツ情報（例えば、コンテンツ分類）に基づく、空間的及び時間的複雑さマップに基づいてマクロブロックのビット割り当てを制御する、に対して作用する。
レート制御モジュール７１４の動作の典型的流れ図が図１０に示される。図１０に示されるように、プロセス１０００は、入力ブロック１００２において開始する。レート制御モジュール７１４は、様々な入力を受信し、図７にはこれらの様々な入力がすべて示されているわけではない。例えば、入力情報は、プリプロセッサ２２６からのメタデータと、目標ビットレートと、符号器バッファサイズ（又は、同等として、レート制御に関する最大遅延時間）と、初期レート制御遅延と、フレームレート情報と、を含むことができる。さらなる入力情報は、ピクチャグループ（ＧＯＰ）レベルにおける入力を含むことができ、例えば、最大スーパーフレームサイズ、ＧＯＰの長さ及びＰ／Ｂフレーム分布（シーン変化情報を含む）、希望される基本層及び拡張層の手配、将来の３０フレームに関するＧＯＰ内のピクチャに関する複雑さ−歪みメトリックスを含む。その他の入力情報は、ピクチャレベルにおける入力を含み、（コンテンツ分類モジュール７１２から受信された）現在のピクチャに関する複雑さ−歪みマップと、量子化パラメータ（ＱＰ）と、（スライディングウィンドーにわたって当てはめられた）過去の３０フレームのビット細分化と、を含む。最後に、マクロブロック（ＭＢ）レベルにおける入力情報は、例えば、基準ピクチャ内の共配置されたマクロブロック（ＭＢ）の平均絶対値差分（ＭＡＤ）と、（スキップされたかどうかにかかわらず）量子化後のマクロブロックのコーディングされたブロックパターン（ＣＢＰ）と、を含む。
ブロック１００２における入力後、プロセス１０００は、ビットストリームを符号化するための初期設定に関するブロック１００４に進む。同時並行して、バッファ初期設定１００６が行われる。次に、ブロック１００８において示されるようにＧＯＰが初期設定され、ＧＯＰビット割り当て１０１０が初期設定の一部として受信される。ＧＯＰ初期設定後は、流れはブロック１０１２に進み、スライスが初期設定される。この初期設定は、ブロック１０１４によって示されるようにヘッダービットの更新を含む。ブロック１００４、１００８及び１０１２の初期設定が行われた後は、ブロック１０１６によって示されるように基本単位又はマクロブロック（ＭＢ）に関するレート制御（ＲＣ）が行われる。ブロック１０１６におけるマクロブロックのレート制御決定の一環として、符号器２２８内のインタフェースを介して入力が受信される。これらの入力は、マクロブロック（ＭＢ）ビット割り当て１０１８と、二次モデルパラメータの更新１０２０と、メジアンからのメジアン絶対偏差（“ＭＡＤ”、頑健な分散推定値）パラメータの更新１０２２と、を含むことができる。次に、プロセス１０００は、１つのピクチャ１０２４を符号化後の動作の実行のためにブロック１０２４に進む。この手順は、ブロック１０２６によって示されるようにバッファパラメータの更新を受信することを含む。次に、プロセス１０００は、出力ブロック１０２８に進み、レート制御モジュール７１４は、図７に示されるようにモード決定モジュール７１５によって用いられる各マクロブロックＭＢに関する量子化パラメータＱＰを出力する。
動き推定
動き推定モジュール７２０は、メタデータ及び生映像の入力をプリプロセッサ２２６から受信し、ブロックサイズ、動きベクトル歪みメトリックス、及び基準フレーム識別子を含むことができる出力をモード決定モジュール７１５に提供する。図１１は、動き推定モジュール７２０の典型的動作を示す。示されるように、プロセス１１００は、入力１１０２から開始する。フレームレベルにおいて、モジュール７２０は、基準フレームＩＤ及び動きベクトルの入力を受信する。マクロブロックレベルにおいて、入力１１０２は、入力画素及び基準フレーム画素を含む。プロセス１１００は、ステップ１１０４に続き、色動き推定（ＭＥ）及び動きベクトル予測が行われる。このプロセスを実行するために、ＭＰＥＧ−２動きベクトル、ルマ動きベクトルＭＶ １１０６、動きベクトル平滑化１１０８、及び非因果動きベクトル１１１０を含む様々な入力が受信される。次に、プロセス１１００は、ブロック１１１２に進み、動きベクトル探索アルゴリズム又は方法、例えばヘキサゴナル又はダイヤモンド探索方法、が実行される。ブロック１１１２におけるプロセスへの入力は、ブロック１１１４によって示されるように絶対値差分和（ＳＡＤ）、二乗差分和（ＳＳＤ）、及び／又はその他のメトリックスを含むことができる。動きベクトル探索が行われた時点で、プロセス１１００は、終了ブロック１１１６に進み、終了処理が行われる。次に、プロセス１００は、出力ブロック１１１８において終了し、ブロックサイズ、動きベクトル（ＭＶ）、歪みメトリックス、及び基準フレーム識別子の出力を生み出す。
動き推定モジュール７２０は、メタデータ及び生映像の入力をプリプロセッサ２２６から受信し、ブロックサイズ、動きベクトル歪みメトリックス、及び基準フレーム識別子を含むことができる出力をモード決定モジュール７１５に提供する。図１１は、動き推定モジュール７２０の典型的動作を示す。示されるように、プロセス１１００は、入力１１０２から開始する。フレームレベルにおいて、モジュール７２０は、基準フレームＩＤ及び動きベクトルの入力を受信する。マクロブロックレベルにおいて、入力１１０２は、入力画素及び基準フレーム画素を含む。プロセス１１００は、ステップ１１０４に続き、色動き推定（ＭＥ）及び動きベクトル予測が行われる。このプロセスを実行するために、ＭＰＥＧ−２動きベクトル、ルマ動きベクトルＭＶ １１０６、動きベクトル平滑化１１０８、及び非因果動きベクトル１１１０を含む様々な入力が受信される。次に、プロセス１１００は、ブロック１１１２に進み、動きベクトル探索アルゴリズム又は方法、例えばヘキサゴナル又はダイヤモンド探索方法、が実行される。ブロック１１１２におけるプロセスへの入力は、ブロック１１１４によって示されるように絶対値差分和（ＳＡＤ）、二乗差分和（ＳＳＤ）、及び／又はその他のメトリックスを含むことができる。動きベクトル探索が行われた時点で、プロセス１１００は、終了ブロック１１１６に進み、終了処理が行われる。次に、プロセス１００は、出力ブロック１１１８において終了し、ブロックサイズ、動きベクトル（ＭＶ）、歪みメトリックス、及び基準フレーム識別子の出力を生み出す。
基本層及び拡張層に関するスケーラビリティＲ−Ｄ
図１３は、スケーラビリティＲ−Ｄモジュール７１８によって実行することができるスケーラビリティプロセス１３００の典型的流れ図を示す。プロセス１３００は、開始ブロック１３０２において開始し、ブロック１３０４に進み、スケーラビリティＲ−Ｄモジュール７１８は、動き推定モジュール７２０から入力を受信し、動き推定を行う。動き推定は、ブロック１３０６によって示されるように基本層基準フレーム、拡張層基準フレーム、及びコーディング対象となる原フレームの入力に依存する。該情報は、ＧＯＰパーティショナ６１２によって計算し、例えばメタデータを介してスケーラビリティＲ−Ｄモジュール７１８に通信することができる。プロセス１３００は、ブロック１３０８に進み、データ基本層及び拡張層データのスケーラビリティ情報を決定する。次に、ブロック１３１０において示されるように基本層符号化が行われ、その後にブロック１３１２における拡張層符号化が続く。拡張層の符号化は、ブロック１３１４によって示されるように、層間予測に関する基本層コーディング結果を入力して用いることができ、従って、基本層符号化後に一時的に実行される。この件は、“SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING”（２層符号化及び単層復号を有するスケーラブルな映像コーディング）という題名を有する同時係属米国特許出願番号［Ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ／ｒｅｆ． ｎｏ． ０５００７８］においてさらに説明されている。符号化が完了後は、プロセス１３００は、ブロック１３１６において終了する。
図１３は、スケーラビリティＲ−Ｄモジュール７１８によって実行することができるスケーラビリティプロセス１３００の典型的流れ図を示す。プロセス１３００は、開始ブロック１３０２において開始し、ブロック１３０４に進み、スケーラビリティＲ−Ｄモジュール７１８は、動き推定モジュール７２０から入力を受信し、動き推定を行う。動き推定は、ブロック１３０６によって示されるように基本層基準フレーム、拡張層基準フレーム、及びコーディング対象となる原フレームの入力に依存する。該情報は、ＧＯＰパーティショナ６１２によって計算し、例えばメタデータを介してスケーラビリティＲ−Ｄモジュール７１８に通信することができる。プロセス１３００は、ブロック１３０８に進み、データ基本層及び拡張層データのスケーラビリティ情報を決定する。次に、ブロック１３１０において示されるように基本層符号化が行われ、その後にブロック１３１２における拡張層符号化が続く。拡張層の符号化は、ブロック１３１４によって示されるように、層間予測に関する基本層コーディング結果を入力して用いることができ、従って、基本層符号化後に一時的に実行される。この件は、“SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING”（２層符号化及び単層復号を有するスケーラブルな映像コーディング）という題名を有する同時係属米国特許出願番号［Ａｔｔｏｒｎｅｙ ｄｏｃｋｅｔ／ｒｅｆ． ｎｏ． ０５００７８］においてさらに説明されている。符号化が完了後は、プロセス１３００は、ブロック１３１６において終了する。
スライス／マクロブロック順序設定
第１パス部分７０２は、スライス／マクロブロック順序設定モジュール７２２も含み、スライス／マクロブロック順序設定モジュール７２２は、第２パス部分において誤り耐性モジュール７４０から入力を受信し、スライスアライメント情報をモード決定モジュール７１５に提供する。スライスは、独立して復号可能な（エントロピー復号）コーディングされた映像データの塊である。アクセスユニット（ＡＵ）は、正確に１つの主のコーディングされたピクチャを常に含む一組のＮＡＬユニットを各々具備するコーディングされた映像フレームである。主のコーディングされたピクチャに加えて、アクセスユニットは、１つ以上の冗長なコーディングされたピクチャ又コーディングされたピクチャのスライス又はスライスデータパーティションを含まないその他のＮＡＬユニットを内蔵することもできる。アクセスユニットの復号の結果、復号されたピクチャが常に得られる。
第１パス部分７０２は、スライス／マクロブロック順序設定モジュール７２２も含み、スライス／マクロブロック順序設定モジュール７２２は、第２パス部分において誤り耐性モジュール７４０から入力を受信し、スライスアライメント情報をモード決定モジュール７１５に提供する。スライスは、独立して復号可能な（エントロピー復号）コーディングされた映像データの塊である。アクセスユニット（ＡＵ）は、正確に１つの主のコーディングされたピクチャを常に含む一組のＮＡＬユニットを各々具備するコーディングされた映像フレームである。主のコーディングされたピクチャに加えて、アクセスユニットは、１つ以上の冗長なコーディングされたピクチャ又コーディングされたピクチャのスライス又はスライスデータパーティションを含まないその他のＮＡＬユニットを内蔵することもできる。アクセスユニットの復号の結果、復号されたピクチャが常に得られる。
フレームは、最高の時間ダイバーシティを提供する物理層パケットの時分割多重化ブロック（ＴＤＭカプセルと呼ばれる）であることができる。スーパーフレームは、１つの時間単位（例えば、１ｓｅｃ）に対応し、４つのフレームを含む。時間領域においてスライス及びＡＵ境界をフレーム境界にアライメントさせることは、壊れたデータの最も効率的な分離及び局在化が得られる。深いフェード中には、ＴＤＭカプセル内の隣接データのほとんどが誤りによる影響を受ける。時間的ダイバーシティに起因して、残りのＴＤＭカプセルは、無傷の状態になる確率が非常に高い。壊れていないデータは、影響を受けたＴＤＭカプセルから失われたデータを復元する及び隠すために利用することができる。データシンボルが変調する周波数副搬送波における分離を通じて周波数ダイバーシティが達成される周波数領域多重化（ＦＤＭ）に対しても同様の論理が適用される。さらに、無線ネットワークにおいてしばしば適用される（送信機アンテナ及び受信機アンテナにおける分離を通じての）空間ダイバーシティ及びその他の形態のダイバーシティに対しても同様の論理が適用される。
スライス及びＡＵをフレームにアライメントさせるために、アウターコード（ＦＥＣ）コードブロック生成及びＭＡＣ層カプセル化も同様にアライメントすべきである。図２０は、スライス及びＡＵにおけるコーディングされた映像データ又は映像ビットストリームの構成を示す。コーディングされた映像は、階層化された映像コーディングが適用される１つ以上のビットストリーム、例えば、基本層ビットストリーム及び拡張層ビットストリーム、において構築することができる。
映像ビットストリームは、図２０においてフレームＩ’２００５、フレーム３’２０１０及びフレームＭ’２０１５によって示されるＡＵを具備する。ＡＵは、スライス１ ２０２０、スライス２ ２０２５、及びスライスＮ ２０３０によって示されるように、データスライスを具備する。スライスの各始まりは、開始符号によって識別され、ネットワーク適応化に提供される。一般的には、Ｉフレーム又はイントラコーディングされたＡＵは大きく、Ｐフレーム又は順方向の予測されたフレームが後続し、Ｂフレームが後続する。ＡＵを複数のスライスにコーディングすることは、スライス間での空間予測が制限されていること及びスライスヘッダーもオーバーヘッドの一因であることに起因して、コーディングされたビットレートの点で有意なオーバーヘッドコストを発生させる。スライス境界は再同期化地点であり、ＰＬＰが破壊されているときはＰＬＰ内のスライスに誤りが限定され、他方、ＰＬＰが複数のスライス又は複数のスライスの一部を含む場合は、誤りはＰＬＰ内の全スライス又はスライスの一部分に対して影響を及ぼすことになるため、隣接する物理層パケットをスライスに制限することは誤りを制御する。
Ｉフレームは典型的に大きく、例えば数十キロビット程度であるため、複数のスライスに起因するオーバーヘッドは、Ｉフレームのサイズ全体又は総ビットレートの大きな割合ではない。さらに、イントラコーディングされたＡＵ内により多くのスライスを有することは、より良い及びより頻繁な再同期化及びより効率的な空間的誤りの隠蔽を可能にする。さらに、Ｐ及びＢフレームは、Ｉフレームから予測されるため、Ｉフレームは、映像ビットストリームにおいて最も重要な情報を搬送する。Ｉフレームは、チャネル取得に関するランダムアクセスポイントとしての働きもする。
次に図２１に関して、Ｉフレームをフレーム境界に慎重にアライメントさせ、Ｉ ＡＵを有するスライスを同じくフレーム境界に慎重にアライメントさせることは、最も効率的な誤り制御、誤り保護を可能にする（フレーム１ ２１０５に属する１つのスライスが失われた場合、フレーム２ ２１１０はフレーム１ ２１０５から有意な時間だけ分離されているので無傷の状態である確率が高いため、再同期化及び誤り隠蔽を通じて誤りからの回復を行うことができる）。
Ｐフレームは、典型的には、数キロビット程度の大きさが設定されているため、Ｐフレームのスライス及び整数のＰフレーム数をフレーム境界にアライメントさせることは、（Ｉフレームに関する理由と同様の理由で）悪影響を及ぼすような効率損失のない誤り耐性を可能にする。該側面においては時間的誤り隠蔽を採用することができる。代替として、連続するＰフレームが異なるフレームで到着するように分散させることは、Ｐフレーム間における追加の時間的ダイバーシティを提供し、このことは、時間的隠蔽が以前に再構築されたＩ又はＰフレームからの動きベクトル及びデータに基づくことに起因して可能になる。Ｂフレームは、極端に小さい（数百ビット）から中程度（数千ビット）であることができる。従って、整悪影響を及ぼす効率損失なしで誤り耐性を達成させるためには整数のＢフレームをフレーム境界にアライメントさせることが望ましい。
モード決定モジュール
図１２は、モード決定モジュール７１５の幾つかの動作例を示す。示されるように、プロセス１２００は、入力ブロック１２０２において開始する。一説明例においては、モード決定モジュール７１５に入力される様々な情報は、スライス型と、Ｉｎｔｒａ４×４ｃｏｓｔと、Ｉｎｔｒａ１６×１６ｃｏｓｔと、ＩｎｔｒａＵＶ８×８ｃｏｓｔと、ＩｎｔｒａＹ １６×１６ Ｍｏｄｅと、ＩｎｔｒａＵＶ Ｍｏｄｅと、動きベクトルデータ（ＭＶＤ）と、量子化パラメータ（ＱＰ）と、ＳｐＰｒｅｄＭＢ４×４Ｙと、ＳｐＰｒｅｄＭＢ１６×１６Ｙと、ＳｐＰｒｅｄＭＢ８×８Ｕと、ＳｐＰｒｅｄＭＢ８×８Ｖと、レート歪みフラッグと、生ＹＭＢ画素と、生ＵＭＢ画素と、生ＶＭＢ画素と、を含む。次に、プロセス１２００は、ブロック１２０４符号化初期設定に進み、ブロック１２０４符号化初期設定は、ブロック１２０６によって示されるように符号器初期設定を指示する入力信号又はインタフェースによって開始させることができる。初期設定は、許容されたモード（スキップ、指示を含む）を設定することと、モード重みを設定することと（要求される場合であり、デフォルトは、全モードに関して等しい重みになる）、バッファを設定すること、とを含むことができる。初期設定後は、プロセス１２００は、ブロック１２０８に進み、モード決定に関する主処理が行われ、各々の許容されたモードに関するマクロブロック（ＭＢ）モードコストの計算、重み付け係数による各ＭＢモードコストの重み付け、及び最低ＭＢモードコストモードを選択することを含む。これらの動作に関わる入力は、ブロック１２１０及び１２１２によって示されるように、動き推定（例えば、ＭＶＤ及び予測）と、空間的予測（例えば、すべてのイントラコスト及び予測）と、を含む。モード決定モジュール７１５には、特に圧縮率を向上させるブロック１２１４のエントロピー符号化がインタフェースされている。次に、プロセス１２００は、ブロック１２１６に進み、符号器第２パス部分７０６に情報を渡すようにバッファが更新される。最後に、プロセス１２００は、ブロック１２１８に進み、“最良の”符号化モードを符号器第２パス部分７０６に通信することができる。
図１２は、モード決定モジュール７１５の幾つかの動作例を示す。示されるように、プロセス１２００は、入力ブロック１２０２において開始する。一説明例においては、モード決定モジュール７１５に入力される様々な情報は、スライス型と、Ｉｎｔｒａ４×４ｃｏｓｔと、Ｉｎｔｒａ１６×１６ｃｏｓｔと、ＩｎｔｒａＵＶ８×８ｃｏｓｔと、ＩｎｔｒａＹ １６×１６ Ｍｏｄｅと、ＩｎｔｒａＵＶ Ｍｏｄｅと、動きベクトルデータ（ＭＶＤ）と、量子化パラメータ（ＱＰ）と、ＳｐＰｒｅｄＭＢ４×４Ｙと、ＳｐＰｒｅｄＭＢ１６×１６Ｙと、ＳｐＰｒｅｄＭＢ８×８Ｕと、ＳｐＰｒｅｄＭＢ８×８Ｖと、レート歪みフラッグと、生ＹＭＢ画素と、生ＵＭＢ画素と、生ＶＭＢ画素と、を含む。次に、プロセス１２００は、ブロック１２０４符号化初期設定に進み、ブロック１２０４符号化初期設定は、ブロック１２０６によって示されるように符号器初期設定を指示する入力信号又はインタフェースによって開始させることができる。初期設定は、許容されたモード（スキップ、指示を含む）を設定することと、モード重みを設定することと（要求される場合であり、デフォルトは、全モードに関して等しい重みになる）、バッファを設定すること、とを含むことができる。初期設定後は、プロセス１２００は、ブロック１２０８に進み、モード決定に関する主処理が行われ、各々の許容されたモードに関するマクロブロック（ＭＢ）モードコストの計算、重み付け係数による各ＭＢモードコストの重み付け、及び最低ＭＢモードコストモードを選択することを含む。これらの動作に関わる入力は、ブロック１２１０及び１２１２によって示されるように、動き推定（例えば、ＭＶＤ及び予測）と、空間的予測（例えば、すべてのイントラコスト及び予測）と、を含む。モード決定モジュール７１５には、特に圧縮率を向上させるブロック１２１４のエントロピー符号化がインタフェースされている。次に、プロセス１２００は、ブロック１２１６に進み、符号器第２パス部分７０６に情報を渡すようにバッファが更新される。最後に、プロセス１２００は、ブロック１２１８に進み、“最良の”符号化モードを符号器第２パス部分７０６に通信することができる。
符号器第２パス部分
再度図７に関して、符号器２２８の第２パス部分７０６は、符号化の第２パスを行うための第２パス符号器モジュール２３２を含む。第２パス符号器２３２は、モード決定モジュール７１５から出力を受信する。第２パス符号器２３２は、ＭＣ／変換量子化モジュール７２６と、ジグザグ（ＺＺ）／エントロピー符号器７２８と、を含む。第２パス符号器２３２の結果は、スケーラビリティモジュール７３０及びビットストリームパッキングモジュール７３１に出力され、該モジュールは、符号化された基本層及び拡張層を（図２に示される）同期化層２４０を介してトランスコーダ２００による送信のために出力する。図２に示されるように、第２パス符号器２３２及び再符号器２３４からの基本層及び拡張層が同期化層２４０によってアセンブルされ、基本層と、拡張層と、データＰＥＳ２４４（例えば、ＣＣ及びその他のテキストデータ）と、音声ＰＥＳ２４６と、を含むパケット化されたＰＥＳ２４２になることが注記される。音声符号器２３６は、復号された音声情報２１８を受信し、代わりに、情報を符号化して符号化された情報２３８を同期化層２４０に出力する。
再度図７に関して、符号器２２８の第２パス部分７０６は、符号化の第２パスを行うための第２パス符号器モジュール２３２を含む。第２パス符号器２３２は、モード決定モジュール７１５から出力を受信する。第２パス符号器２３２は、ＭＣ／変換量子化モジュール７２６と、ジグザグ（ＺＺ）／エントロピー符号器７２８と、を含む。第２パス符号器２３２の結果は、スケーラビリティモジュール７３０及びビットストリームパッキングモジュール７３１に出力され、該モジュールは、符号化された基本層及び拡張層を（図２に示される）同期化層２４０を介してトランスコーダ２００による送信のために出力する。図２に示されるように、第２パス符号器２３２及び再符号器２３４からの基本層及び拡張層が同期化層２４０によってアセンブルされ、基本層と、拡張層と、データＰＥＳ２４４（例えば、ＣＣ及びその他のテキストデータ）と、音声ＰＥＳ２４６と、を含むパケット化されたＰＥＳ２４２になることが注記される。音声符号器２３６は、復号された音声情報２１８を受信し、代わりに、情報を符号化して符号化された情報２３８を同期化層２４０に出力する。
再符号器
再度図７に関して、符号器第２パス部分７０６は、図２の再符号器２３４に対応する再符号器２３４も含む。再符号器２３４は、第１パス部分７０２の出力も受信し、ＭＣ／変換量子化７２６及びＺＺ／エントロピーコーディング７２８部分を含む。さらに、スケーラビリティモジュール７３０は、再符号器２３４に出力する。再符号器２３４は、再符号化の結果得られた基本層及び拡張層を、シンクロナイザ（例えば、図２に示される同期化層２４０）への送信のためにビットストリームパッキングモジュール７３１に出力する。図７の符号器２２８例は、（例えば、圧縮効率を向上させるために）第２パス符号化を微調整するのを援助するために第２パス符号器２３２内のＭＣ／変換量子化モジュール２３４及び再符号器２３４内のＺＺ／エントロピーモジュール７３６の両方にビットストリームパッキングフィードバックを提供するレート制御微調整モジュール７３８も含む。
再度図７に関して、符号器第２パス部分７０６は、図２の再符号器２３４に対応する再符号器２３４も含む。再符号器２３４は、第１パス部分７０２の出力も受信し、ＭＣ／変換量子化７２６及びＺＺ／エントロピーコーディング７２８部分を含む。さらに、スケーラビリティモジュール７３０は、再符号器２３４に出力する。再符号器２３４は、再符号化の結果得られた基本層及び拡張層を、シンクロナイザ（例えば、図２に示される同期化層２４０）への送信のためにビットストリームパッキングモジュール７３１に出力する。図７の符号器２２８例は、（例えば、圧縮効率を向上させるために）第２パス符号化を微調整するのを援助するために第２パス符号器２３２内のＭＣ／変換量子化モジュール２３４及び再符号器２３４内のＺＺ／エントロピーモジュール７３６の両方にビットストリームパッキングフィードバックを提供するレート制御微調整モジュール７３８も含む。
誤り耐性モジュール
図７に示される符号器２２８例は、第２パス部分７０６内の誤り耐性モジュール７４０も含む。誤り耐性モジュール７４０は、ビットストリームパッキングモジュール７３１及びスライス／ＭＢ順序設定モジュール７２２と通信する。誤り耐性モジュール７４０は、プリプロセッサ２２８からメタデータを受信し、誤り耐性方式、例えば、スライス及びアクセスユニットをフレーム境界にアライメントさせること、予測階層及び選択的イントラリフレッシュ、を選択する。誤り耐性方式の選択は、メタデータ内で受信された情報、又はビットストリームパッキングモジュール７３１及びスライス／ＭＢ順序設定モジュール７２２から誤り耐性モジュールに通信された情報に基づくことができる。誤り耐性モジュール７４０は、選択された誤り耐性プロセスを実装するために第１パス部分７０２内のスライス／マクロブロック（ＭＢ）順序設定モジュールに情報を提供する。誤りが発生しやすい環境を通じての映像送信は、より明瞭でより少ない誤りを含むデータを視聴者に提示することができる誤り耐性戦略及びアルゴリズムを採用することができる。以下の誤り耐性に関する説明は、個々の既存の又は将来の用途、トランスポート及び物理層又はその他の技術、又はその組合せに対して適用することができる。有効な誤り頑健性アルゴリズムは、ＯＳＩ層間での誤りが発生しやすい性質及び誤り保護能力に関する理解を、通信システムの望ましい性質、例えば低レーテンシー及び高スループットと関連して統合したものである。誤り耐性処理は、マルチメディアデータのコンテンツ情報、例えば、マルチメディアデータのコンテンツ分類に基づくことができる。主な利点の１つは、フェーディング及びマルチパスチャネルに関する誤りからの回復力である。後述される誤り耐性手法は、符号器２２８内に（特に、誤り耐性モジュール７４０及びスライス／ＭＢ順序設定モジュール７２２内に）組み込むことができるプロセスに特に関連するものであり、誤りが発生しやすい環境におけるデータ通信に一般的に拡大することができる。
図７に示される符号器２２８例は、第２パス部分７０６内の誤り耐性モジュール７４０も含む。誤り耐性モジュール７４０は、ビットストリームパッキングモジュール７３１及びスライス／ＭＢ順序設定モジュール７２２と通信する。誤り耐性モジュール７４０は、プリプロセッサ２２８からメタデータを受信し、誤り耐性方式、例えば、スライス及びアクセスユニットをフレーム境界にアライメントさせること、予測階層及び選択的イントラリフレッシュ、を選択する。誤り耐性方式の選択は、メタデータ内で受信された情報、又はビットストリームパッキングモジュール７３１及びスライス／ＭＢ順序設定モジュール７２２から誤り耐性モジュールに通信された情報に基づくことができる。誤り耐性モジュール７４０は、選択された誤り耐性プロセスを実装するために第１パス部分７０２内のスライス／マクロブロック（ＭＢ）順序設定モジュールに情報を提供する。誤りが発生しやすい環境を通じての映像送信は、より明瞭でより少ない誤りを含むデータを視聴者に提示することができる誤り耐性戦略及びアルゴリズムを採用することができる。以下の誤り耐性に関する説明は、個々の既存の又は将来の用途、トランスポート及び物理層又はその他の技術、又はその組合せに対して適用することができる。有効な誤り頑健性アルゴリズムは、ＯＳＩ層間での誤りが発生しやすい性質及び誤り保護能力に関する理解を、通信システムの望ましい性質、例えば低レーテンシー及び高スループットと関連して統合したものである。誤り耐性処理は、マルチメディアデータのコンテンツ情報、例えば、マルチメディアデータのコンテンツ分類に基づくことができる。主な利点の１つは、フェーディング及びマルチパスチャネルに関する誤りからの回復力である。後述される誤り耐性手法は、符号器２２８内に（特に、誤り耐性モジュール７４０及びスライス／ＭＢ順序設定モジュール７２２内に）組み込むことができるプロセスに特に関連するものであり、誤りが発生しやすい環境におけるデータ通信に一般的に拡大することができる。
誤り耐性
予測に基づくハイブリッド圧縮システムに関して、イントラコーディングされたフレームは、時間的な予測なしで独立してコーディングされる。インターコーディングされたフレームは、過去のフレーム（Ｐフレーム）及び将来のフレーム（Ｂフレーム）から時間的に予測することができる。最良の予測子（ｐｒｅｄｉｃｔｏｒ）は、基準フレーム（１つ以上）内での探索プロセスを通じて識別することができ、最良のマッチを識別するためにＳＡＤ等の歪み評価基準が用いられる。現在のフレームの予測コーディングされた領域は、様々なサイズ及び形状のブロック（１６×１６、３２×３２、８×４等）又は例えばセグメンテーションを通じてオブジェクトとして識別された画素グループであることができる。
予測に基づくハイブリッド圧縮システムに関して、イントラコーディングされたフレームは、時間的な予測なしで独立してコーディングされる。インターコーディングされたフレームは、過去のフレーム（Ｐフレーム）及び将来のフレーム（Ｂフレーム）から時間的に予測することができる。最良の予測子（ｐｒｅｄｉｃｔｏｒ）は、基準フレーム（１つ以上）内での探索プロセスを通じて識別することができ、最良のマッチを識別するためにＳＡＤ等の歪み評価基準が用いられる。現在のフレームの予測コーディングされた領域は、様々なサイズ及び形状のブロック（１６×１６、３２×３２、８×４等）又は例えばセグメンテーションを通じてオブジェクトとして識別された画素グループであることができる。
時間的予測は、典型的には数多くのフレーム（例えば、１０乃至数１０のフレーム）にわたって拡大し、フレームがＩフレームとしてコーディングされたときに終了され、ＧＯＰは、典型的にはＩフレーム周波数によって定義される。最高のコーディング効率を達成させるためには、例えばＧＯＰはシーンであり、ＧＯＰ境界がシーンの境界とアライメントされ、シーン変化フレームがＩフレームとしてコーディングされる。動きが少ないシーケンスは、相対的に静止した背景を具備し、動きは、一般的には前景オブジェクトに制限される。該少ない動きのシーケンスのコンテンツ例は、最も視聴されているコンテンツの３０％超がこの性質を有するニュース番組及び天気予報番組を含む。動きが少ないシーケンスにおいては、領域のほとんどがインターコーディングされ、予測されたフレームは、中間の予測されたフレームを通じてＩフレームを再参照する。
図２２に関して、Ｉフレーム内のイントラコーディングされたブロック２２０５は、コーディングされたフレーム（又はＡＵ）Ｐ１内のインターコーディングされたブロック２２１０に関する予測子である。この例においては、これらのブロックの領域は、背景の静止部分である。イントラコーディングされたブロック２２０５の誤りに対する感度は、その“重要度”がより高いことも意味する“優れた”予測子であるため、連続的な時間的予測を通じて上昇する。さらに、イントラコーディングされたブロック２２０５は、予測チェーンと呼ばれるこの時間的予測チェーンのおかげで、ディスプレイ内により長い時間（図内の例におけるシーンの継続時間）持続する。
予測階層は、この重要度レベル又は持続性評価基準に基づいて生成され、親（イントラコーディングされたブロック２２０５）が最上部、子供が最下部に位置するブロックツリーであると定義される。Ｐ１内のインターコーディングされたブロック２１５は、予測階層の第２のレベル上にあり、以下同様であることに注目すること。葉は、予測チェーンを終了させるブロックである。
予測階層は、コンテンツの種類（ニュースだけでなく、例えば音楽及びスポーツ）に関わりなく映像シーケンスに関して生成することができ、予測に基づく映像（及びデータ）圧縮全般に適用可能である（このことは、本特許出願において説明される全発明に適用される）。予測階層が構築された時点で、後述される誤り耐性アルゴリズム、例えば適応型イントラリフレッシュ、は、より効果的に適用することができる。重要度評価基準は、例えば隠蔽動作及び適応型イントラリフレッシュを適用してコーディングされたビットストリームの誤り耐性を向上させることを通じての所定のブロックの誤りからの回復能力に基づくことができる。重要度評価基準に関する推定は、ブロックが持続性メトリックスとも呼ばれる予測子として用いられる回数に基づくことができる。持続性メトリックスは、予測誤りの伝播を抑止することによってコーディング効率を向上させるためにも用いられる。持続性メトリックスは、より高い重要度を有するブロックに関するビット割り当ても増大させる。
適応型イントラリフレッシュ
適応型イントラリフレッシュは、マルチメディアデータのコンテンツ情報に基づくことができる誤り耐性技術である。イントラリフレッシュプロセスにおいては、幾つかのＭＢは、標準的なＲ−Ｄ最適化がインターコーディングされたＭＢであることを要求するにもかかわらずイントラコーディングされる。ＡＩＲは、イントラコーディングされたＭＢをＰ又はＢフレーム内に導入するために動き重み付きイントラリフレッシュを採用する。これらのイントラコーディングされたＭＢは、基本層内に含まれ、ＱＰｂ又はＱＰｅのいずれかによって符号化することができる。ＱＰｅが基本層に関して用いられる場合は、拡張層ではリファインメントは行われるべきではない。ＱＰｂが基本層に関して用いられる場合は、リファインメントが適しており、リファインメントが行われない場合は、拡張層において品質低下が顕著になる。インターコーディングは、コーディング効率の点でイントラコーディングよりも効率的であるため、拡張層におけるこれらのリファインメントは、インターコーディングされる。この方法により、基本層係数は拡張層に関しては用いられず、拡張層においては新たな動作を導入せずに品質が向上される。
幾つかの側面においては、適応型イントラリフレッシュは、動き重み付きの代わりに又は動き重み付きに加えてマルチメディアデータのコンテンツ情報（例えば、コンテンツ分類）に基づくことができる。例えば、コンテンツ分類が相対的に高い（例えば、シーンが大きい空間的及び時間的複雑さを有する）場合は、適応型イントラリフレッシュは、相対的により多くのイントラコーディングされたＭＢをＰ又はＢフレーム内に導入することができる。代替として、コンテンツ分類が相対的に低い（動きがより少なく、小さい空間的及び／又は時間的複雑さを有するシーンであることを示す）場合は、適応型イントラリフラッシュは、より少ないイントラコーディングされたＭＢをＰ又はＢフレーム内に導入することができる。誤り耐性を向上させるための該メトリックス及び方法は、無線マルチメディア通信の状況のみではなく、（例えば、グラフィックスレンダリングにおける）データ圧縮及びマルチメディア処理全般に関しても適用することができる。
チャネルスイッチフレーム
本明細書において定義されるチャネルスイッチフレーム（ＣＳＦ）は、高速チャネル取得及び放送マルチプレックス内のストリーム間での高速チャネル変更を目的として放送ストリーム内の該当位置に挿入されたランダムアクセスフレームを表す広義の用語である。チャネルスイッチフレームは、主フレームが誤りを有する状態で送信された場合に用いることができる冗長データを提供するため、誤り頑健性も向上させる。典型的には、Ｉフレーム又はプログレッシブＩフレーム、例えば、Ｈ．２６４内のプログレッシブ復号器リフレッシュフレームがランダムアクセスポイントとして機能する。しかしながら、頻繁なＩフレーム（又はシーン継続時間よりも短い、短いＧＯＰ）は、圧縮効率の有意な低下に至る。イントラコーディングされたブロックは誤り耐性に関して用いることができるため、ランダムアクセス及び誤り耐性を予測階層を通じて実効的に結合させることで誤り頑健性を向上させる一方でコーディング効率を向上させることができる。
本明細書において定義されるチャネルスイッチフレーム（ＣＳＦ）は、高速チャネル取得及び放送マルチプレックス内のストリーム間での高速チャネル変更を目的として放送ストリーム内の該当位置に挿入されたランダムアクセスフレームを表す広義の用語である。チャネルスイッチフレームは、主フレームが誤りを有する状態で送信された場合に用いることができる冗長データを提供するため、誤り頑健性も向上させる。典型的には、Ｉフレーム又はプログレッシブＩフレーム、例えば、Ｈ．２６４内のプログレッシブ復号器リフレッシュフレームがランダムアクセスポイントとして機能する。しかしながら、頻繁なＩフレーム（又はシーン継続時間よりも短い、短いＧＯＰ）は、圧縮効率の有意な低下に至る。イントラコーディングされたブロックは誤り耐性に関して用いることができるため、ランダムアクセス及び誤り耐性を予測階層を通じて実効的に結合させることで誤り頑健性を向上させる一方でコーディング効率を向上させることができる。
ランダムアクセス切り換え及び誤り頑健性の向上は、協調して達成させることができ、コンテンツ分類等のコンテンツ情報に基づくことができる。少ない動きのシーケンスに関しては、予測チェーンは長く、スーパーフレーム又はシーンを再構築するのに必要な情報の有意な部分は、そのシーンの開始時に生じたＩフレームに内蔵されている。チャネルの誤りはバースト性になる傾向があり、フェードが著しくＦＥＣ及びチャネルコーディングが失敗したときには、隠蔽することができない大きな残留誤りが存在する。この状態は少ない動き（従って低ビットレート）のシーケンスの場合に特に激しく、その理由は、コーディングされたデータ量が映像ビットストリーム内において良好な時間ダイバーシティを提供する上で十分でないこと及びこれらのシーケンスはすべてのビットが再構築に役立つようにする圧縮可能性が高いシーケンスであることである。多い動きのシーケンスは、コンテンツの性質に起因して誤りに対する頑健性がより高く、すべてのフレーム内のより多くの新しい情報が、独立して復号可能であって誤り耐性が本質的により高いコーディングされたイントラブロック数を増加させる。予測階層に基づく適応型イントラリフレッシュは、多い動きのシーケンスに関して高い性能を達成させ、少ない動きのシーケンスに関しては性能の向上はそれほどではない。従って、少ない動きのシーケンスに関しては、Ｉフレームのうちのほとんどを含むチャネルスイッチフレームが優れたダイバーシティ源である。誤りがスーパーフレームに悪影響を与えた場合は、後続フレーム内での復号は、予測に起因する失われた情報を復元させるＣＳＦから開始し、誤り耐性が達成される。
多い動きのシーケンス、例えば相対的に高いコンテンツ分類（例えば、６乃至８）を有するシーケンス、の場合は、ＣＳＦは、ＳＦ内において持続するブロック−優れた予測子であるブロックから成ることができる。ＣＳＦのその他のすべての領域は、イントラブロックで終了されることを意味する短い予測チェーンを有するブロックであるためコーディングする必要がない。従って、ＣＳＦは、誤り発生時に予測に起因する失われた情報から回復する働きを依然として行う。少ない動きのシーケンスに関するＣＳＦは、Ｉフレームの大きさと同等であり、より大きな量子化を通じてより低いビットレートでコーディングすることができ、多い動きのシーケンスに関するＣＳＦは、対応するＩフレームよりもはるかに小さい。
予測階層に基づく誤り耐性は、スケーラビリティに関して適切に機能し、効率の高い階層化コーディングを達成することができる。物理層技術における階層的変調をサポートするスケーラビリティは、特定の帯域幅比による映像ビットストリームのデータパーティショニングを要求することがある。これらの帯域幅比は、（例えば、最低のオーバーヘッドを有する）最適なスケーラビリティに関する常に理想的な比であるわけではない。幾つかの側面においては、１：１の帯域幅比を有する２層スケーラビリティが用いられる。映像ビットストリームを等しい大きさの２層にパーティショニングすることは、少ない動きのシーケンスに関しては効率的でない場合がある。少ない動きのシーケンスの場合は、すべてのヘッダー情報及びメタデータ情報を含む基本層は、拡張層よりも大きい。しかしながら、少ない動きのシーケンスに関するＣＳＦのほうが大きいため、拡張層内の残りの帯域幅内に適切に納まる。
多い動きのシーケンスは、１：１までのデータパーティショニングを最低のオーバーヘッドで達成することができる十分な残存情報を有する。さらに、該シーケンスに関するチャネル切り換えフレームは、 多い動きのシーケンスに関するほうがはるかに小さい。従って、予測階層に基づく誤り耐性は、多い動きのシーケンスに関するスケーラビリティに関しても同様に適切に機能する。これらのアルゴリズムに関する説明に基づき、中度動きクリップに関して上述される概念を拡大させることが可能であり、提案される概念は、映像コーディング全般に関して適用される。
マルチプレクサ
幾つかの符号器側面においては、符号器によって生成されて符号化されたビットを放送用に準備するために用いられる複数のマルチメディアストリームを符号化するためにマルチプレクサを用いることができる。例えば、図２に示される符号器２２８の例示的側面においては、同期化層２４０は、マルチプレクサを具備する。マルチプレクサは、ビットレート割り当て制御を提供するために実装することができる。推定される複雑さをマルチプレクサに提供することができ、マルチプレクサは、多重化された映像チャネルの集合に関して予想される符号化の複雑さに従ってこれらの多重化された映像チャネルに関して利用可能な帯域幅を割り当てることができ、多重化された映像ストリームの集合に関する帯域幅が相対的に一定である場合でも特定のチャネルの品質を相対的に一定に維持するのを可能にする。このことは、チャネルの集合内のチャネルが、相対的に一定のビットレート及び可変の視覚品質ではなく、可変のビットレート及び相対的に一定の視覚品質を有するようにする。
幾つかの符号器側面においては、符号器によって生成されて符号化されたビットを放送用に準備するために用いられる複数のマルチメディアストリームを符号化するためにマルチプレクサを用いることができる。例えば、図２に示される符号器２２８の例示的側面においては、同期化層２４０は、マルチプレクサを具備する。マルチプレクサは、ビットレート割り当て制御を提供するために実装することができる。推定される複雑さをマルチプレクサに提供することができ、マルチプレクサは、多重化された映像チャネルの集合に関して予想される符号化の複雑さに従ってこれらの多重化された映像チャネルに関して利用可能な帯域幅を割り当てることができ、多重化された映像ストリームの集合に関する帯域幅が相対的に一定である場合でも特定のチャネルの品質を相対的に一定に維持するのを可能にする。このことは、チャネルの集合内のチャネルが、相対的に一定のビットレート及び可変の視覚品質ではなく、可変のビットレート及び相対的に一定の視覚品質を有するようにする。
図１８は、複数のマルチメディアストリーム又はチャネル１８０２を符号化するシステムを示すブロック図である。マルチメディアストリーム１８０２は、マルチプレクサ（ＭＵＸ）１８０６と通信状態にある各々の符号器１８０４によって符号化され、マルチプレクサ（ＭＵＸ）１８０６は、送信媒体１８０８と通信状態にある。例えば、マルチメディアストリーム１８０２は、様々なコンテンツチャネル、例えば、ニュースチャネル、スポーツチャネル、映画チャネル等に対応することができる。符号器１８０４は、システムに関して規定された符号化形式に従ってマルチメディアストリーム１８０２を符号化する。開示される技術の原理及び利点は、映像ストリームの符号化に関して説明されている一方で、例えば音声ストリームを含むマルチメディアストリームに対しても一般的に適用可能である。符号化されたマルチメディアストリームは、マルチプレクサ１８０６に提供され、マルチプレクサ１８０６は、様々な符号化されたマルチメディアストリームを結合させて結合されたストリームを送信のために送信媒体１８０８に送信する。
送信媒体１８０８は、様々な媒体、例えば、限定することなしに、デジタル衛星通信、例えば、ＤｉｒｅｃｔＴＶ（登録商標）、デジタルケーブル、有線及び無線のインターネット通信、光ネットワーク、携帯電話ネットワーク等に対応することができる。送信媒体１８０８は、例えば、無線周波数（ＲＦ）への変調を含むことができる。典型的には、スペクトル上の制約等に起因して、送信媒体は、制限された帯域幅を有し、マルチプレクサ１８０６から送信媒体へのデータは、相対的に一定のビットレート（ＣＢＲ）で維持される。
従来のシステムにおいては、マルチプレクサ１８０６の出力部において一定のビットレート（ＣＢＲ）を使用することは、マルチプレクサ１８０６に入力される符号化されたマルチメディア又は映像ストリームもＣＢＲであることを要求することがある。背景技術において説明されるように、映像コンテンツを符号化時におけるＣＢＲの使用は、結果的に可変の視覚品質が得られる可能性があり、典型的には望ましくない。
例示されるシステムにおいては、符号器１８０４のうちの２つ以上は、入力データの予想される符号化上の複雑さを通信する。符号器１８０４のうちの１つ以上は、それに応答して、適応されたビットレート制御をマルチプレクサ１８０６から受信する。このことは、相対的に複雑な映像を符号化することを予想する符号器１８０４がこれらの映像フレームに関するより高いビットレート又はより高い帯域幅（１フレーム当たりより多くのビット）を疑似可変ビットレートの形で受信することを可能にする。このことは、マルチメディアストリーム１８０２を一貫した視覚品質で符号化するのを可能にする。相対的に複雑な映像を符号化する特定の符号器１８０４によって用いられる余分の帯域幅は、本来であれば符号器が一定のビットレートで動作するために実装された場合にその他の映像ストリーム１８０４を符号化するために用いられていたことになるビットから得られる。このことは、マルチプレクサ１８０６の出力を一定のビットレート（ＣＢＲ）に維持する。
個々のマルチメディアストリーム１８０２は、相対的に“バースト性”を有する可能性がある、すなわち使用される帯域幅が変動する可能性がある一方で、複数の映像ストリームの累積和は、それよりもバースト性が低くなることができる。複雑さがより小さい映像を符号化中のチャネルからのビットレートは、例えばマルチプレクサ１８０６によって、相対的に複雑な映像を符号化中のチャネルに再割り当てすることができ、このことは、結合された映像ストリーム全体の視覚品質を向上させることができる。
符号器１８０４は、符号化してひとつに多重化すべき一組の映像フレームの複雑さの表示をマルチプレクサ１８０６に提供する。マルチプレクサ１８０６の出力は、送信媒体１８０８に関して規定されるビットレートよりも高くない出力を提供すべきである。複雑さの表示は、上述されるコンテンツ分類に基づき、選択されたレベルの品質を提供することができる。マルチプレクサ１００６は、複雑さの表示を解析し、割り当てられたビット数又は帯域幅を様々な符号器１００４に提供し、符号器１８０４は、この情報を用いて組内の映像フレームを符号化する。このことは、一組の映像フレームを個々に可変ビットレートにし、その一方でグループとして一定のビットレートを達成するのを可能にする。
コンテンツ分類は、品質に基づくマルチメディアの圧縮全般をあらゆる一般的圧縮器に関して可能にする際に用いることができる。本明細書において説明されるコンテンツ分類及び方法及び装置は、品質に基づく及び／又はコンテンツに基づくマルチメディアデータ処理の際に用いることができる。一例は、一般的圧縮器に関するマルチメディア全般の圧縮において使用することである。他の例は、伸長器又は復号器又はポストプロセッサにおける伸長又は復号、例えば、補間、リサンプリング、拡張、回復及び提示動作、における使用である。
次に図１９に関して、典型的映像通信システムは、通信ネットワークによって接続された映像符号器及び映像復号器からなる映像圧縮システムを含む。無線ネットワークは、通信チャネルが経路損失に加えて移動シナリオにおける対数正規フェーディング又はシャドーイング及び多経路フェーディングを呈する１つのクラスの誤りが発生しやすいネットワークである。チャネル上の誤りに対処してアプリケーション層データに関して信頼できる通信を提供するため、ＲＦ変調器は、インターリーバーを含む順方向誤り訂正と、畳み込み又はターボ符号化等のチャネルコーディングと、を含む。
映像圧縮は、ソース映像における冗長性を低下させ、コーディングされた映像データの各ビットにおいて搬送される情報量を増大させる。このことは、コーディングされた映像のうちの小さい部分さえも失われたときに品質上の影響を増大させる。映像圧縮システムに内在する空間的及び時間的予測は、損失を悪化させて誤りを伝搬させ、その結果、再構築された映像内において可視のアーティファクトを発生させる。映像符号器における誤り耐性アルゴリズム及び映像復号器における誤り回復アルゴリズムは、映像圧縮システムの誤り頑健性を向上させる。
典型的には、映像圧縮システムは、基礎となるネットワークにとらわれない。しかしながら、誤りが発生しやすいネットワークにおいては、アプリケーション層における誤り保護アルゴリズムをリンク／物理層におけるＦＥＣ及びチャネルコーディングと統合するか又は整合させることが非常に望ましく、システムの誤り性能を向上させる際に最も高い効率を提供する。
図１４は、フレームを符号化するために符号器２２８において発生する可能性があるレート−歪みデータフローの一例を示す。プロセス１４００は、開始１４０２において開始し、決定ブロック１４０４に進み、決定ブロック１４０４において、シーン変化検出器入力１４１０を（例えば、メタデータを介して）プリプロセッサ２２６から受信し、誤り耐性入力１４０６が取得される。選択されたフレームがＩフレームであることを情報が示す場合は、プロセスは、フレームをイントラ符号化する。選択されたフレームがＰ又はＢフレームであることを情報が示す場合は、プロセスは、イントラコーディング及び動き推定（インター）コーディングを用いてフレームを符号化する。
ブロック１４０４の条件に関して肯定的な状態が生じた後に、プロセス１４００は、準備ブロック１４１４に進み、レートＲは、Ｒ−Ｄ曲線に基づく希望される目標品質である値 Ｒ＝Ｒｑｕａｌに設定される。この設定は、Ｒ−Ｄ曲線を具備するデータブロック１４１６から受信される。次に、プロセス１４００は、ブロック１４１８に進み、ブロック１４２０のコンテンツ分類プロセスからの画像／映像活動情報（例えば、コンテンツ分類）に基づいてレート制御ビット割り当て｛Ｑｐｉ｝が行われる。
レート制御ビット割り当てブロック１４１８は、ブロック１４２２において動き推定のために用いられる。動き推定１４２２は、プリプロセッサ１４１２からメタデータの入力を、ブロック１４２４から動きベクトル平滑化（ＭＰＥＧ−２＋履歴）を、ブロック１４２６から複数の基準フレーム（因果＋非因果マクロブロックＭＢ）を受信することもできる。次に、プロセス１４００は、ブロック１４２８に進み、レート制御ビット割り当て（Ｑｐｉ）に関してイントラコーディングされたモードに関するレート計算が決定される。次に、プロセス１４００はブロック１４３０に進み、モード及び量子化パラメータが決定される。ブロック１４３０のモード決定は、ブロック１４２２の入力、誤り耐性１４０６入力、及びブロック１４３２において決定されるスケーラビリティＲ−Ｄに基づいて行われる。モードが決定された時点で、フローはブロック１４３２に進む。ブロック１４３０から１４３２への流れは、データが符号器の第１パス部分から第２パス部分に渡されるときに発生することが注記される。
ブロック１４３２において、変換及び量子化が符号器２２８の第２のパスによって行われる。変換／量子化プロセスは、ブロック１４４４によって示されるように調整又は微調整される。この変換／量子化プロセスは、レート制御微調整モジュール（図７）による影響を受ける可能性がある。次に、プロセス１４００は、ジグザグソーティング及びエントロピーコーディングを行って符号化された基本層を生成するためにブロック１４３４に進む。ジグザグソーティングは、量子化されたデータを符号化のために効率的な形式で準備する。エントロピーコーディングは、一連のビット符号を用いて一組の可能なシンボルを表す圧縮技術である。図３１乃至３６を参照して前述されるように、変換／量子化ブロック１４３２の拡張層の結果は加算器１４３６にも送信され、加算器１４３６は、基本層を減じてその結果を拡張層に関するＺＺ／エントロピーコーダー１４３８に送信する。追記すると、拡張層は、真のレートのコンテンツ分類１４２０を更新するために及びレート制御によって用いられるビットレートの長期及び短期の履歴を決定する動作のためにフィードバックされる（ライン１４４０の真のレートの更新を参照）。
図１７Ａは、入手されている、受信されている、又はその他の方法でアクセス可能であるマルチメディアデータを処理する例を示す流れ図である。プロセス１７００が開始し、ブロック１７０２において、マルチメディアデータのコンテンツを分類する。一説明例においては、コンテンツ分類は、分類手段、例えば、図７のコンテンツ分類モジュール７１２、によって行うことができる。プロセス１７００は、ブロック１７０４に進み、コンテンツ分類に基づいて第１のデータグループ及び第２のデータグループのマルチメディアデータを符号化する。この符号化は、第１のデータグループが係数を具備し、第２のデータグループが第１のデータグループの係数と関連づけられた第１のディファレンシャルリファインメントを具備するような形で行われる。この符号化は、本明細書において説明される符号化手段、例えば、図７の符号器２２８、によって行うことができる。
図１７Ｂは、図１７Ａに示されるプロセスを実行することができるマルチメディア符号化システム１７１０のブロック図である。幾つかの側面においては、マルチメディア符号化システム１７１０は、トランスコーダ、例えばトランスコーダ２００、であることができる。その他の側面においては、符号化システム１７１０は、トランスコーダの一部分を具備することができる。マルチメディア符号化システム１７１０は、マルチメディアデータのコンテンツを分類するための手段、マルチメディアデータコンテンツ分類モジュール１７１２を含む。コンテンツを分類するための手段は、例えば、プリプロセッサ（例えば、プリプロセッサ２２６）又は符号器（例えば、符号器２２８）内の分類モジュールであることができる。符号化システム１７１０は、マルチメディアデータを符号化するための手段である、マルチメディアデータ符号化モジュール１７１４を含むこともでき、該モジュールは、コンテンツ分類に基づいて第１のデータグループ及び第２のデータグループのマルチメディアデータを符号化するように構成することができる。この符号化は、第１のデータグループが係数を具備し、第２のデータグループが第１のデータグループ係数と関連づけられた第１のディファレンシャルリファインメントを具備するような形で行われる。その他のトランスコーダ構成要素、例えば本明細書において説明されるトランスコーダ構成要素、も符号化システム１７１０内に含めることができる。
図２３、２４、２７及び２８は、本明細書において説明される側面を具体化するマルチメディアデータ符号化方法の典型例を示すプロセス流れ図である。図２３は、コンテンツ情報に基づいてマルチメディアデータを符号化するプロセス２３００を示すプロセス流れ図である。ブロック２３０５において、プロセス２３００は、符号化されたマルチメディアデータを受信し、ブロック２３１０において、プロセス２３００は、マルチメディアデータを復号する。ブロック２３１５において、プロセス２３００は、復号されたマルチメディアデータと関連づけられたコンテンツ情報を決定する。ブロック２３２０において、プロセス２３００は、コンテンツ情報に基づいてマルチメディアデータを符号化する。
図２４は、コンテンツ情報レベルに基づいてデータ境界をアライメントさせるためにマルチメディアデータを符号化するプロセス２４００を示すプロセス流れ図である。ブロック２４０５において、プロセス２４００は、マルチメディアデータと関連づけられたコンテンツ情報を入手し、このことは、例えばプリプロセッサ２２６又は図７に示されるコンテンツ分類モジュール７１２によって行うことができる。ブロック２４１０において、プロセス２４００は、コンテンツ情報に基づいてデータ境界をアライメントさせるためにマルチメディアデータを符号化する。例えば、スライス境界及びアクセスユニット境界は、符号化中のマルチメディアデータのコンテンツ分類に基づいてフレーム境界とアライメントされる。符号化されたデータは、後続する処理及び／又はモバイルデバイスへの送信のために利用可能であり、プロセス２４００が終了する。
図２７は、コンテンツ情報に基づいて適応型イントラリフレッシュ方式を用いてデータを符号化するプロセス２７００を示すプロセス流れ図である。プロセス２７００が開始するときには、マルチメディアデータが入手されている。ブロック２７０５において、プロセス２７００は、マルチメディアデータのコンテンツ情報を入手する。コンテンツ情報を入手することは、例えば、プリプロセッサ２２６又は上述されるコンテンツ分類モジュール７１２によって行うことができる。プロセス２７００は、ブロック２７１０に進み、適応型イントラリフレッシュ誤り耐性方式を用いてマルチメディアデータを符号化し、適応型イントラリフレッシュ誤り耐性方式は、コンテンツ情報に基づく。ブロック２７１０の機能は、符号器２２８によって行うことができる。符号化されたデータは、後続する処理及び送信に関して利用可能になり、プロセス２７００が終了する。
図２８は、マルチメディアコンテンツ情報に基づいて冗長Ｉフレームを用いてマルチメディアデータを符号化するプロセスを示すプロセス流れ図である。プロセス２８００が開始する時点で、マルチメディアデータを処理に関して利用可能である。ブロック２８０５において、プロセス２８００は、マルチメディアデータのコンテンツ情報を入手する。上述されるように、このことは、例えば、プリプロセッサ２２６及び／又は符号器２２８によって行うことができる。ブロック２８１０において、プロセス２８００は、コンテンツ情報に基づいて１つ以上の追加のＩフレームを符号化されたデータ内に挿入するためにマルチメディアデータを符号化する。この符号化は、誤り耐性方式と関連して上述されるように符号器２２８によって行うことができ、採用された誤り耐性方式に依存して基本層又は拡張層内にＩフレームを挿入する。ブロック２８１０後は、符号化されたデータは、後続する処理及び／又はモバイルデバイスへの送信に関して利用可能である。
本明細書において説明される方法は、当業者によって知られる様々な通信ハードウェア、プロセッサ及びシステムにおいて実装できることが注目されるべきである。例えば、クライアントが本明細書において説明されるように動作するための一般要件は、クライアントが、コンテンツ及び情報を表示するためのディスプレイと、クライアントの動作を制御するためのプロセッサと、クライアントの動作に関連するデータ及びプログラムを格納するためのメモリと、を有することである。一側面においては、クライアントは、携帯電話である。他の側面においては、クライアントは、通信能力を有するハンドヘルドコンピュータである。さらに他の側面においては、クライアントは、通信能力を有するパソコンである。さらに、様々な側面を実装するためにＧＰＳ受信機等のハードウェアをクライアント内に組み入れることができる。本明細書において開示される側面に関連して説明される様々な例示的な論理、論理ブロック、モジュール、及び回路は、本明細書において説明されている機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェア構成品、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、代替として、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。さらに、プロセッサは、計算装置の組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと関連する1つ以上のマイクロプロセッサ、又はその他のあらゆる該コンフィギュレーションとの組合せ、として実装することもできる。
本明細書において開示される側面に関連して説明される様々な例示的な論理、論理ブロック、モジュール、及び回路は、本明細書において説明される機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラミング可能な論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェア構成品、又はそのあらゆる組合せ、とともに実装又は実行することができる。汎用プロセッサはマイクロプロセッサであることができるが、代替として、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。さらに、プロセッサは、計算装置の組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと関連する1つ以上のマイクロプロセッサ、又はその他のあらゆる該コンフィギュレーションとの組合せ、として実装することもできる。
開示される方法及び装置は、１つの形式で符号化された映像データを、符号化が映像データのコンテンツに基づいており符号化が誤りに対する耐性を有する他の形式に符号化された映像データにトランスコーディングすることを提供する。本明細書において開示される例に関連して説明される方法又はアルゴリズムは、ハードウェア内において直接具体化させること、プロセッサによって実行されるソフトウェアモジュール内において具体化させること、又はこれらの２つの組合せにおいて具体化させることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ、又は当業において既知であるその他のあらゆる形態の記憶媒体に常駐することができる。１つの典型的な記憶媒体をプロセッサに結合させ、プロセッサが記憶媒体から情報を読み出すようにすること及び記憶媒体に情報を書き込むようにすることができる。代替として、記憶媒体は、プロセッサと一体化させることができる。プロセッサ及び記憶媒体は、ＡＳＩＣ内に常駐することができる。ＡＳＩＣは、ユーザー端末内に常駐することができる。代替として、プロセッサ及び記憶媒体は、ユーザー端末内において個別構成要素として常駐することができる。
上述される例は、単なる典型例であるにすぎず、当業者は、本明細書において開示される発明概念から逸脱せずに上述される例を数多く利用すること及び逸脱することができる。これらの例に対する様々な修正は、当業者にとっては容易に明確になるであろう。本明細書において定められている一般原理は、本発明において説明される斬新な側面の精神及び適用範囲を逸脱しない形で例えば瞬時メッセージ送信サービス又は一般的な無線データ通信用途におけるその他の例に対しても適用可能である。以上のように、本開示の適用範囲は、本明細書において示される例に限定されることを意図するものではなく、本明細書において開示される原理及び斬新な特長に一致する限りにおいて最も広範な適用範囲が認められるべきである。本明細書において用いられている“典型的な”という表現は、“1つの例、事例、又は実例”を示すことのみを目的とするものである。このため、本明細書において“典型的な”例として説明されているいずれの例も、その他の例よりも好ましい又は有利であるとは必ずしも解釈すべきではない。従って、本明細書において説明される斬新な側面は、以下の請求項の適用範囲のみによって定義されるべきである。
Claims (39)
- マルチメディアデータを符号化する方法であって、
前記マルチメディアデータの複雑さを決定することと、
前記マルチメディアデータの複雑さに基づいて、前記マルチメディアデータのコンテンツを分類することと、
前記コンテンツ分類に基づいて、前記マルチメディアデータを第１のデータグループ及び第２のデータグループに分割することであって、前記分割は、帯域幅比にしたがって規定され、前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループの係数と関連づけられた第１のディファレンシャルリファインメントを具備することと、
前記分割に基づいて、前記第１のデータグループ及び前記第２のデータグループにおける前記マルチメディアデータを符号化することであって、前記第２のデータグループに対する前記第１のデータグループのデータの量は、前記帯域幅比に対応することと、
を具備する、方法。 - 前記符号化することは、前記マルチメディアデータの前記コンテンツ分類に基づいてビットレートを決定することと、前記ビットレートに基づいて前記マルチメディアデータを符号化すること、とを具備する請求項１に記載の方法。
- 前記複雑さは、時間的複雑さ又は空間的複雑さを具備する請求項１に記載の方法。
- 前記複雑さは、時間的複雑さ及び空間的複雑さを具備する請求項１に記載の方法。
- 符号化することは、前記第１のデータグループのみの復号又は前記第１のデータグループ及び前記第２のデータグループの単一の結合されたデータグループへの復号を可能にするために前記マルチメディアデータを符号化することを具備する請求項１に記載の方法。
- 前記第１のディファレンシャルリファインメントは、選択された映像フレームと前記第１のデータグループの符号化の結果得られたフレームデータとの間の差分を示す請求項１に記載の方法。
- 前記第１のデータグループは、基本層であり、前記第２のデータグループは、拡張層である請求項１に記載の方法。
- 基本層の残留誤り係数又は拡張層の残留誤り係数のうちの１つから前記係数を選択することと、
前記係数及び前記拡張層の残留誤り係数に基づいて前記第１のディファレンシャルリファインメントを計算することと、をさらに具備する請求項７に記載の方法。 - 符号化することは、前記第１のデータグループ内のマクロブロックヘッダー情報及び動きベクトル情報を符号化することをさらに具備する請求項１に記載の方法。
- 符号化することは、前記第１のデータグループを第１のステップサイズで量子化することと、前記第２のデータグループを第２のステップサイズで量子化すること、とをさらに具備し、前記第１のステップサイズ及び第２のステップサイズは、スケールファクタによって関連づけられる請求項１に記載の方法。
- 符号化することは、前記第１のデータグループを符号化する際に用いるために第１の量子化ステップサイズを有する第１の量子化パラメータを決定することと、前記第２のデータグループを符号化する際に用いるために第２量子化ステップサイズを有する第２の量子化パラメータを決定すること、とをさらに具備し、前記第１及び第２の量子化パラメータは、選択されたフレームデータのコンテンツ分類に基づいて決定され、前記第１の量子化ステップサイズは、前記第２の量子化ステップサイズよりも粗い請求項１に記載の方法。
- 符号化することは、Ｉフレーム、及びＰフレーム又はその組合せを用いて前記第１のデータグループを符号化することと、Ｉフレーム、Ｐフレーム、及びＢフレーム又はその組合せを用いて前記第２のデータグループを符号化すること、とを具備する請求項１に記載の方法。
- マルチメディアデータを符号化するための装置であって、
前記マルチメディアデータの複雑さを決定するための手段と、
前記マルチメディアデータの複雑さに基づいて、前記マルチメディアデータのコンテンツを分類するための手段と、
前記コンテンツ分類に基づいて、前記マルチメディアデータを第１のデータグループ及び第２のデータグループに分割するための手段であって、前記分割は、帯域幅比にしたがって規定され、前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループの係数と関連づけられた第１のディファレンシャルリファインメントを具備する手段と、
前記分割に基づいて、前記第１のデータグループ及び前記第２のデータグループにおける前記マルチメディアデータを符号化するための手段であって、前記第２のデータグループに対する前記第１のデータグループのデータの量は、前記帯域幅比に対応する手段と、
を具備し、
前記手段の少なくとも１つは、前記装置のハードウェアによって少なくとも部分的に実現され、前記分類するための手段、前記分割するための手段、前記符号化するための手段の少なくとも一部は、ハードウェアによって実現される装置。 - 前記符号化するための手段は、前記マルチメディアデータの前記コンテンツ分類に基づいてビットレートを決定するための手段と、前記ビットレートに基づいて前記マルチメディアデータを符号化するための手段と、を具備する請求項１３に記載の装置。
- 前記複雑さは、時間的複雑さ又は空間的複雑さを具備する請求項１３に記載の装置。
- 前記複雑さは、時間的複雑さ及び空間的複雑さを具備する請求項１３に記載の装置。
- 前記符号化するための手段は、前記第１のデータグループのみの復号又は前記第１のデータグループ及び前記第２のデータグループの単一の結合されたデータグループへの復号を可能にするために前記マルチメディアデータを符号化するための手段を具備する請求項１３に記載の装置。
- 前記第１のディファレンシャルリファインメントは、選択された映像フレームと前記第１のデータグループの符号化の結果得られたフレームデータとの間の差分を示す請求項１３記載の装置。
- 前記第１のデータグループは、基本層であり、前記第２のデータグループは、拡張層である請求項１３に記載の装置。
- 前記符号化するための手段は、前記第１のデータグループ内のマクロブロックヘッダー情報及び動きベクトル情報を符号化するための手段を具備する請求項１３に記載の装置。
- 前記符号化するための手段は、前記第１のデータグループを第１のステップサイズで量子化するための手段と、前記第２のデータグループを第２のステップサイズで量子化するための手段と、をさらに具備し、前記第１のステップサイズ及び第２のステップサイズは、スケールファクタによって関連づけられる請求項１３に記載の装置。
- 前記復号するための手段は、前記第１のデータグループを符号化する際に用いるために第１の量子化ステップサイズを有する第１の量子化パラメータを決定するための手段と、前記第２のデータグループを符号化する際に用いるために第２の量子化ステップサイズを有する第２の量子化パラメータを決定するための手段と、を具備し、前記第１及び第２の量子化パラメータは、選択されたフレームデータのコンテンツ分類に基づいて決定され、前記第１の量子化ステップサイズは、前記第２の量子化ステップサイズよりも粗い請求項１３に記載の装置。
- 前記符号化するための手段は、
Ｉフレーム及びＰフレームを用いて前記第１のデータグループを符号化するための手段と、
Ｉフレーム、Ｐフレーム、及びＢフレームを用いて前記第２のデータグループを符号化するための手段と、を具備する請求項１３に記載の装置。 - 前記符号化するための手段は、
基本層の残留誤り係数又は拡張層の残留誤り係数のうちの１つから前記係数を選択するための手段と、
前記係数及び前記拡張層の残留誤り係数に基づいて前記第１のディファレンシャルリファインメントを計算するための手段と、を具備する請求項２１に記載の装置。 - マルチメディアデータを符号化するように構成された装置であって、
前記マルチメディアデータの複雑さを決定し、前記マルチメディアデータの複雑さに基づいて、前記マルチメディアデータのコンテンツを分類し、コンテンツ分類データを提供するように構成されたコンテンツ分類モジュールと、
前記コンテンツ分類に基づいて、前記マルチメディアデータを第１のデータグループ及び第２のデータグループに分割する分割器であって、前記分割は、帯域幅比にしたがって規定され、前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループの係数と関連づけられた第１のディファレンシャルリファインメントを具備する分割器と、
前記分割に基づいて、前記第１のデータグループ及び前記第２のデータグループにおける前記マルチメディアデータを符号化するように構成された符号器であって、前記第２のデータグループに対する前記第１のデータグループのデータの量は、前記帯域幅比に対応する符号器と、
を具備する装置。 - 前記符号器は、前記コンテンツ分類に基づいてビット割り当てを決定するように構成されたビットレート構成要素を具備し、前記符号化構成要素は、前記ビット割り当てを用いて前記選択されたマルチメディアデータを符号化するようにさらに構成される請求項２５に記載の装置。
- 前記複雑さは、時間的複雑さ又は空間的複雑さを具備する請求項２５に記載の装置。
- 前記複雑さは、時間的複雑さ及び空間的複雑さを具備する請求項２５に記載の装置。
- 符号化することは、前記第１のデータグループのみの復号又は前記第１のデータグループ及び前記第２のデータグループの単一の結合されたデータグループへの復号を可能にするために前記マルチメディアデータを符号化することを具備する請求項２５に記載の装置。
- 前記第１のディファレンシャルリファインメントは、選択された映像フレームと前記第１のデータグループの符号化の結果得られたフレームデータとの間の差分を示す請求項２５に記載の装置。
- 前記第１のデータグループは、基本層であり、前記第２のデータグループは、拡張層である請求項２５に記載の装置。
- プロセッサによって実行されたときに、前記プロセッサに、
前記マルチメディアデータの複雑さを決定することと、
前記マルチメディアデータの複雑さに基づいて、前記マルチメディアデータのコンテンツを分類することと、
前記コンテンツ分類に基づいて、前記マルチメディアデータを第１のデータグループ及び第２のデータグループに分割することであって、前記分割は、帯域幅比にしたがって規定され、前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループの係数と関連づけられた第１のディファレンシャルリファインメントを具備することと、
前記分割に基づいて、前記第１のデータグループ及び前記第２のデータグループにおける前記マルチメディアデータを符号化することであって、前記第２のデータグループに対する前記第１のデータグループのデータの量は、前記帯域幅比に対応することと、を行わせる命令を具備する、機械によって読み取り可能な記憶媒体。 - 符号化するための前記命令は、前記コンテンツ分類に基づいてビット割り当てを決定するための命令を具備し、前記符号化構成要素は、前記ビット割り当てを用いて前記選択されたマルチメディアデータを符号化するようにさらに構成される請求項３２に記載の機械によって読み取り可能な媒体。
- 前記複雑さは、時間的複雑さ又は空間的複雑さを具備する請求項３２に記載の機械によって読み取り可能な媒体。
- 前記複雑さは、時間的複雑さ及び空間的複雑さを具備する請求項３２に記載の機械によって読み取り可能な媒体。
- プロセッサであって、
前記マルチメディアデータの複雑さを決定することと、
前記マルチメディアデータの複雑さに基づいて、前記マルチメディアデータのコンテンツを分類することと、
前記コンテンツ分類に基づいて、前記マルチメディアデータを第１のデータグループ及び第２のデータグループに分割することであって、前記分割は、帯域幅比にしたがって規定され、
前記第１のデータグループは、係数を具備し、前記第２のデータグループは、前記第１のデータグループの係数と関連づけられた第１のディファレンシャルリファインメントを具備することと、
前記分割に基づいて、前記第１のデータグループ及び前記第２のデータグループにおける前記マルチメディアデータを符号化することであって、前記第２のデータグループに対する前記第１のデータグループのデータの量は、前記帯域幅比に対応することと、を行うように構成されたプロセッサ。 - 前記プロセッサは、前記コンテンツ分類に基づいてビット割り当てを決定するようにさらに構成され、前記符号化構成要素は、前記ビット割り当てを用いて前記選択されたマルチメディアデータを符号化するようにさらに構成される請求項３６に記載のプロセッサ。
- 前記複雑さは、時間的複雑さ又は空間的複雑さを具備する請求項３６に記載のプロセッサ。
- 前記複雑さは、時間的複雑さ及び空間的複雑さを具備する請求項３６に記載のプロセッサ。
Applications Claiming Priority (15)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US72141605P | 2005-09-27 | 2005-09-27 | |
| US60/721,416 | 2005-09-27 | ||
| US72764005P | 2005-10-17 | 2005-10-17 | |
| US72764305P | 2005-10-17 | 2005-10-17 | |
| US72764405P | 2005-10-17 | 2005-10-17 | |
| US60/727,640 | 2005-10-17 | ||
| US60/727,644 | 2005-10-17 | ||
| US60/727,643 | 2005-10-17 | ||
| US73014505P | 2005-10-24 | 2005-10-24 | |
| US60/730,145 | 2005-10-24 | ||
| US78904806P | 2006-04-03 | 2006-04-03 | |
| US60/789,048 | 2006-04-03 | ||
| US78937706P | 2006-04-04 | 2006-04-04 | |
| US60/789,377 | 2006-04-04 | ||
| PCT/US2006/037948 WO2007038701A1 (en) | 2005-09-27 | 2006-09-27 | Scalability techniques based on content information |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013034669A Division JP2013157994A (ja) | 2005-09-27 | 2013-02-25 | コンテンツ情報に基づくスケーラビリティ技術 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009510932A JP2009510932A (ja) | 2009-03-12 |
| JP5289959B2 true JP5289959B2 (ja) | 2013-09-11 |
Family
ID=37719458
Family Applications (9)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008533639A Expired - Fee Related JP5139303B2 (ja) | 2005-09-27 | 2006-09-27 | 冗長データ符号化方法及びデバイス |
| JP2008533622A Expired - Fee Related JP5289959B2 (ja) | 2005-09-27 | 2006-09-27 | コンテンツ情報に基づくスケーラビリティ技術 |
| JP2008533640A Withdrawn JP2009510937A (ja) | 2005-09-27 | 2006-09-27 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2008533623A Active JP5149188B2 (ja) | 2005-09-27 | 2006-09-27 | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| JP2012028725A Expired - Fee Related JP5562989B2 (ja) | 2005-09-27 | 2012-02-13 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012028724A Active JP5677992B2 (ja) | 2005-09-27 | 2012-02-13 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012113427A Pending JP2012199961A (ja) | 2005-09-27 | 2012-05-17 | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| JP2013034669A Pending JP2013157994A (ja) | 2005-09-27 | 2013-02-25 | コンテンツ情報に基づくスケーラビリティ技術 |
| JP2013128473A Pending JP2013232935A (ja) | 2005-09-27 | 2013-06-19 | 時間領域境界とのデータアライメントに関する方法及び装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008533639A Expired - Fee Related JP5139303B2 (ja) | 2005-09-27 | 2006-09-27 | 冗長データ符号化方法及びデバイス |
Family Applications After (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008533640A Withdrawn JP2009510937A (ja) | 2005-09-27 | 2006-09-27 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2008533623A Active JP5149188B2 (ja) | 2005-09-27 | 2006-09-27 | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| JP2012028725A Expired - Fee Related JP5562989B2 (ja) | 2005-09-27 | 2012-02-13 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012028724A Active JP5677992B2 (ja) | 2005-09-27 | 2012-02-13 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012113427A Pending JP2012199961A (ja) | 2005-09-27 | 2012-05-17 | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| JP2013034669A Pending JP2013157994A (ja) | 2005-09-27 | 2013-02-25 | コンテンツ情報に基づくスケーラビリティ技術 |
| JP2013128473A Pending JP2013232935A (ja) | 2005-09-27 | 2013-06-19 | 時間領域境界とのデータアライメントに関する方法及び装置 |
Country Status (14)
| Country | Link |
|---|---|
| US (6) | US8879857B2 (ja) |
| EP (9) | EP2227019B1 (ja) |
| JP (9) | JP5139303B2 (ja) |
| KR (7) | KR101242292B1 (ja) |
| CN (2) | CN101982977B (ja) |
| AR (3) | AR056100A1 (ja) |
| AT (1) | ATE524926T1 (ja) |
| AU (1) | AU2006294509B2 (ja) |
| BR (1) | BRPI0616426A2 (ja) |
| CA (2) | CA2805916A1 (ja) |
| IL (1) | IL190457A0 (ja) |
| NO (1) | NO20081605L (ja) |
| TW (4) | TWI376952B (ja) |
| WO (4) | WO2007038702A1 (ja) |
Families Citing this family (453)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6307487B1 (en) | 1998-09-23 | 2001-10-23 | Digital Fountain, Inc. | Information additive code generator and decoder for communication systems |
| US7068729B2 (en) * | 2001-12-21 | 2006-06-27 | Digital Fountain, Inc. | Multi-stage code generator and decoder for communication systems |
| US7425545B2 (en) | 2001-07-25 | 2008-09-16 | Isis Pharmaceuticals, Inc. | Modulation of C-reactive protein expression |
| DE10218812A1 (de) * | 2002-04-26 | 2003-11-20 | Siemens Ag | Generische Datenstrombeschreibung |
| US9240810B2 (en) * | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
| EP2357732B1 (en) | 2002-10-05 | 2022-04-06 | QUALCOMM Incorporated | Systematic encoding and decoding of chain reaction codes |
| US8155178B2 (en) | 2007-10-30 | 2012-04-10 | Sony Corporation | 16k mode interleaver in a digital video broadcasting (DVB) standard |
| JP4414904B2 (ja) * | 2004-04-16 | 2010-02-17 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
| CN101019326B (zh) * | 2004-05-07 | 2013-02-27 | 数字方敦股份有限公司 | 文件下载和流系统 |
| US7801383B2 (en) * | 2004-05-15 | 2010-09-21 | Microsoft Corporation | Embedded scalar quantizers with arbitrary dead-zone ratios |
| KR20070033364A (ko) * | 2004-05-25 | 2007-03-26 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | 디지털 비디오 데이터 인코딩 방법 및 장치 |
| EP1774779A2 (en) | 2004-07-01 | 2007-04-18 | QUALCOMM Incorporated | Method and apparatus for using frame rate up conversion techniques in scalable video coding |
| EP1772017A2 (en) | 2004-07-20 | 2007-04-11 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| US7512182B2 (en) * | 2004-08-30 | 2009-03-31 | General Instrument Corporation | Method and apparatus for performing motion compensated temporal filtering in video encoding |
| US7271749B2 (en) * | 2004-09-14 | 2007-09-18 | Hewlett-Packard Development Company, L.P. | Context-based denoiser that simultaneously updates probabilities for multiple contexts |
| US8868555B2 (en) * | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
| US8780957B2 (en) * | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| JP5318561B2 (ja) * | 2005-03-10 | 2013-10-16 | クゥアルコム・インコーポレイテッド | マルチメディア処理のためのコンテンツ分類 |
| KR101012624B1 (ko) | 2005-05-11 | 2011-02-09 | 퀄컴 인코포레이티드 | 통합 에러 은폐 프레임워크를 위한 방법 및 장치 |
| US8422546B2 (en) | 2005-05-25 | 2013-04-16 | Microsoft Corporation | Adaptive video encoding using a perceptual model |
| US8879857B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| KR20070038396A (ko) * | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| US8948260B2 (en) * | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US20070206117A1 (en) * | 2005-10-17 | 2007-09-06 | Qualcomm Incorporated | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video |
| US20070171280A1 (en) * | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
| US7734053B2 (en) * | 2005-12-06 | 2010-06-08 | Fujitsu Limited | Encoding apparatus, encoding method, and computer product |
| JP2007174196A (ja) * | 2005-12-21 | 2007-07-05 | Toshiba Corp | 情報処理装置、制御方法およびプログラム |
| US7693219B2 (en) * | 2006-01-04 | 2010-04-06 | Freescale Semiconductor, Inc. | System and method for fast motion estimation |
| US7965774B2 (en) * | 2006-01-06 | 2011-06-21 | International Business Machines Corporation | Method for visual signal extrapolation or interpolation |
| US9270414B2 (en) * | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
| FR2898757A1 (fr) * | 2006-03-14 | 2007-09-21 | Canon Kk | Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US9131164B2 (en) * | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US8130828B2 (en) * | 2006-04-07 | 2012-03-06 | Microsoft Corporation | Adjusting quantization to preserve non-zero AC coefficients |
| US8059721B2 (en) | 2006-04-07 | 2011-11-15 | Microsoft Corporation | Estimating sample-domain distortion in the transform domain with rounding compensation |
| US7995649B2 (en) * | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
| US8503536B2 (en) * | 2006-04-07 | 2013-08-06 | Microsoft Corporation | Quantization adjustments for DC shift artifacts |
| US7974340B2 (en) * | 2006-04-07 | 2011-07-05 | Microsoft Corporation | Adaptive B-picture quantization control |
| US20070237237A1 (en) * | 2006-04-07 | 2007-10-11 | Microsoft Corporation | Gradient slope detection for video compression |
| US8548063B2 (en) * | 2006-04-13 | 2013-10-01 | Broadcom Corporation | Video receiver providing video attributes with video data |
| US8711925B2 (en) | 2006-05-05 | 2014-04-29 | Microsoft Corporation | Flexible quantization |
| US7971129B2 (en) | 2006-05-10 | 2011-06-28 | Digital Fountain, Inc. | Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems |
| US9386064B2 (en) * | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
| US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
| US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
| US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
| US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
| US20100211690A1 (en) * | 2009-02-13 | 2010-08-19 | Digital Fountain, Inc. | Block partitioning for a data stream |
| US9178535B2 (en) * | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
| US7659897B1 (en) * | 2006-06-30 | 2010-02-09 | Nvidia Corporation | System, method, and computer program product for video benchmarking |
| KR100841317B1 (ko) * | 2006-07-14 | 2008-06-26 | 엘지전자 주식회사 | 텔레비젼의 시스템 구동과 관련된 소프트웨어를 송수신하는 방법 및 그 장치 |
| KR20080008137A (ko) * | 2006-07-19 | 2008-01-23 | 삼성전자주식회사 | 영상 복원 장치 및 방법 |
| KR20080032947A (ko) * | 2006-10-12 | 2008-04-16 | 삼성전자주식회사 | 디지털 방송 데이터 처리 방법 및 장치 |
| US9872045B2 (en) * | 2006-10-16 | 2018-01-16 | Conversant Wireless Licensing S.A R.L. | Method, electronic device, system, computer program product and circuit assembly for reducing error in video coding |
| WO2008050220A1 (en) * | 2006-10-25 | 2008-05-02 | Nokia Corporation | Layered coded streaming control for unicast/mbms interaction |
| US20080107108A1 (en) * | 2006-11-03 | 2008-05-08 | Nokia Corporation | System and method for enabling fast switching between psse channels |
| US20080144505A1 (en) * | 2006-11-03 | 2008-06-19 | Michael Anthony Isnardi | Method and Apparatus for Bitrate Reduction |
| US20080115175A1 (en) * | 2006-11-13 | 2008-05-15 | Rodriguez Arturo A | System and method for signaling characteristics of pictures' interdependencies |
| US8875199B2 (en) * | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
| US8155207B2 (en) | 2008-01-09 | 2012-04-10 | Cisco Technology, Inc. | Processing and managing pictures at the concatenation of two video streams |
| US9961372B2 (en) * | 2006-12-08 | 2018-05-01 | Nxp Usa, Inc. | Adaptive disabling of deblock filtering based on a content characteristic of video information |
| US9445128B2 (en) | 2006-12-08 | 2016-09-13 | Freescale Semiconductor, Inc. | System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers |
| US8892761B1 (en) | 2008-04-04 | 2014-11-18 | Quickplay Media Inc. | Progressive download playback |
| US9124650B2 (en) * | 2006-12-13 | 2015-09-01 | Quickplay Media Inc. | Digital rights management in a mobile environment |
| US8995815B2 (en) | 2006-12-13 | 2015-03-31 | Quickplay Media Inc. | Mobile media pause and resume |
| US9571902B2 (en) | 2006-12-13 | 2017-02-14 | Quickplay Media Inc. | Time synchronizing of distinct video and data feeds that are delivered in a single mobile IP data network compatible stream |
| US8243638B2 (en) | 2007-01-08 | 2012-08-14 | Hellosoft, Inc. | Passive listening in wireless communication |
| US9760146B2 (en) * | 2007-01-08 | 2017-09-12 | Imagination Technologies Limited | Conditional activation and deactivation of a microprocessor |
| US8184943B2 (en) * | 2007-01-08 | 2012-05-22 | Apple Inc. | Transport controls for a media device |
| US8238278B2 (en) | 2007-01-08 | 2012-08-07 | Hellosoft, Inc. | Hardware-based beacon processing |
| US7792141B2 (en) * | 2007-01-08 | 2010-09-07 | Hellosoft, Inc. | Hardware-centric medium access control (MAC) device |
| US20080174662A1 (en) * | 2007-01-23 | 2008-07-24 | Won-Gue Choi | System and method for digital type wireless monitoring |
| US20080181298A1 (en) * | 2007-01-26 | 2008-07-31 | Apple Computer, Inc. | Hybrid scalable coding |
| US8238424B2 (en) | 2007-02-09 | 2012-08-07 | Microsoft Corporation | Complexity-based adaptive preprocessing for multiple-pass video compression |
| US8553757B2 (en) * | 2007-02-14 | 2013-10-08 | Microsoft Corporation | Forward error correction for media transmission |
| JP4847890B2 (ja) * | 2007-02-16 | 2011-12-28 | パナソニック株式会社 | 符号化方式変換装置 |
| US8767834B2 (en) * | 2007-03-09 | 2014-07-01 | Sharp Laboratories Of America, Inc. | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
| US8498335B2 (en) * | 2007-03-26 | 2013-07-30 | Microsoft Corporation | Adaptive deadzone size adjustment in quantization |
| US8566695B2 (en) | 2007-03-30 | 2013-10-22 | Sandisk Technologies Inc. | Controlling access to digital content |
| CN101543078B (zh) * | 2007-03-30 | 2011-10-05 | 索尼株式会社 | 信息处理设备和方法 |
| US8243797B2 (en) * | 2007-03-30 | 2012-08-14 | Microsoft Corporation | Regions of interest for quality adjustments |
| US8442337B2 (en) | 2007-04-18 | 2013-05-14 | Microsoft Corporation | Encoding adjustments for animation content |
| US8582647B2 (en) * | 2007-04-23 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for quality controlled encoding |
| WO2008137432A2 (en) * | 2007-05-01 | 2008-11-13 | Dyyno | Sharing of information and formatting information for transmission over a communication network |
| CN101690200B (zh) * | 2007-05-04 | 2012-06-20 | 韩国电子通信研究院 | 用于在数字多媒体广播系统中提供高质量多媒体服务的方法和设备 |
| US8396082B2 (en) * | 2007-06-05 | 2013-03-12 | Core Wireless Licensing S.A.R.L. | Time-interleaved simulcast for tune-in reduction |
| US8331438B2 (en) * | 2007-06-05 | 2012-12-11 | Microsoft Corporation | Adaptive selection of picture-level quantization parameters for predicted video pictures |
| JP2009010586A (ja) * | 2007-06-27 | 2009-01-15 | Fujitsu Microelectronics Ltd | トランスコーダおよびトランスコード方法 |
| US9426522B2 (en) * | 2007-07-10 | 2016-08-23 | Qualcomm Incorporated | Early rendering for fast channel switching |
| US8804845B2 (en) * | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
| US8958486B2 (en) * | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
| US9426479B2 (en) * | 2007-08-09 | 2016-08-23 | Cisco Technology, Inc. | Preserving captioning through video transcoding |
| JP2009055416A (ja) * | 2007-08-28 | 2009-03-12 | Nec Corp | 映像再符号化方法、映像再符号化装置及び映像再符号化プログラム |
| US8023562B2 (en) * | 2007-09-07 | 2011-09-20 | Vanguard Software Solutions, Inc. | Real-time video coding/decoding |
| AU2008298602A1 (en) * | 2007-09-12 | 2009-03-19 | Digital Fountain, Inc. | Generating and communicating source identification information to enable reliable communications |
| MY162861A (en) * | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
| JP5524063B2 (ja) * | 2007-09-28 | 2014-06-18 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオ情報処理 |
| JP5341095B2 (ja) | 2007-10-05 | 2013-11-13 | ドルビー ラボラトリーズ ライセンシング コーポレイション | メディア・コンテンツに信頼性よく対応するメディア・フィンガープリント |
| EP2213097A2 (en) * | 2007-10-16 | 2010-08-04 | Cisco Technology, Inc. | Conveyance of concatenation properties and picture orderness in a video stream |
| KR100939435B1 (ko) * | 2007-10-29 | 2010-01-28 | 에스케이 텔레콤주식회사 | 영상 분석 장치 및 방법 |
| US8514939B2 (en) * | 2007-10-31 | 2013-08-20 | Broadcom Corporation | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing |
| WO2009067155A2 (en) * | 2007-11-16 | 2009-05-28 | Thomson Licensing | System and method for encoding video |
| KR20090050994A (ko) | 2007-11-16 | 2009-05-20 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
| KR20100096220A (ko) * | 2007-12-03 | 2010-09-01 | 노키아 코포레이션 | 패킷 생성 장치, 인코딩 신호의 동기화 장치, 패킷 생성 방법 및 인코딩 신호의 동기화 방법 |
| US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
| US8218086B2 (en) * | 2007-12-11 | 2012-07-10 | Ericsson Television Inc. | Flash detection |
| FR2925819A1 (fr) * | 2007-12-21 | 2009-06-26 | Thomson Licensing Sas | Procede de codage double passe par macrobloc |
| US8594191B2 (en) * | 2008-01-03 | 2013-11-26 | Broadcom Corporation | Video processing system and transcoder for use with layered video coding and methods for use therewith |
| US8750390B2 (en) * | 2008-01-10 | 2014-06-10 | Microsoft Corporation | Filtering and dithering as pre-processing before encoding |
| US8363734B2 (en) * | 2008-01-12 | 2013-01-29 | Huaya Microelectronics | Multi-directional comb filtering in a digital video decoder |
| TWI357263B (en) | 2008-02-22 | 2012-01-21 | Novatek Microelectronics Corp | Method and related device for converting transport |
| US8045810B2 (en) | 2008-02-28 | 2011-10-25 | Research In Motion Limited | Method and system for decoding encoded images and reducing the size of said images |
| WO2009114054A1 (en) * | 2008-03-10 | 2009-09-17 | Thomson Licensing | Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality |
| US8276182B2 (en) * | 2008-03-13 | 2012-09-25 | Microsoft Corporation | Television content from multiple sources |
| EP2107811A1 (en) * | 2008-03-31 | 2009-10-07 | British Telecmmunications public limited campany | Encoder |
| US8189933B2 (en) * | 2008-03-31 | 2012-05-29 | Microsoft Corporation | Classifying and controlling encoding quality for textured, dark smooth and smooth video content |
| FR2929736A1 (fr) * | 2008-04-02 | 2009-10-09 | Thomson Licensing Sas | Procede de detection de changement de scene dans une sequence d'images video. |
| US20090262838A1 (en) * | 2008-04-21 | 2009-10-22 | Qualcomm Incorporated | Method and apparatus for encoding transmission data blocks for enhanced switching performance |
| US8249142B2 (en) * | 2008-04-24 | 2012-08-21 | Motorola Mobility Llc | Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques |
| US8325800B2 (en) | 2008-05-07 | 2012-12-04 | Microsoft Corporation | Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers |
| US8379851B2 (en) | 2008-05-12 | 2013-02-19 | Microsoft Corporation | Optimized client side rate control and indexed file layout for streaming media |
| US8179983B2 (en) * | 2008-05-20 | 2012-05-15 | Broadcom Corporation | Video processing system with layered video coding for fast channel change and methods for use therewith |
| US7860996B2 (en) | 2008-05-30 | 2010-12-28 | Microsoft Corporation | Media streaming with seamless ad insertion |
| US8897359B2 (en) | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| US8886022B2 (en) | 2008-06-12 | 2014-11-11 | Cisco Technology, Inc. | Picture interdependencies signals in context of MMCO to assist stream manipulation |
| US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
| US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
| US8705631B2 (en) * | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
| DE102008029102A1 (de) * | 2008-06-20 | 2009-12-24 | Micronas Gmbh | Audio- und/oder Video-Datenverarbeitungsvorrichtung, Kommunikations- oder Datennetz zum Umkodieren von Audio- und/oder Video-Daten bzw. Verfahren zum Dekodieren von Audio- und/oder Video-Daten |
| WO2009157707A2 (en) * | 2008-06-24 | 2009-12-30 | Samsung Electronics Co,. Ltd. | Image processing method and apparatus |
| WO2009157713A2 (en) * | 2008-06-24 | 2009-12-30 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| US20090315980A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., | Image processing method and apparatus |
| KR20100002032A (ko) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | 영상 생성 방법, 영상 처리 방법, 및 그 장치 |
| US20090323822A1 (en) * | 2008-06-25 | 2009-12-31 | Rodriguez Arturo A | Support for blocking trick mode operations |
| US8724705B2 (en) * | 2008-06-26 | 2014-05-13 | Telefonaktiebolaget Lm Ericsson (Publ) | Detecting repetition in digital video |
| JP4996554B2 (ja) * | 2008-06-30 | 2012-08-08 | 株式会社東芝 | 画像高画質化装置、方法およびプログラム |
| TWI425440B (zh) * | 2008-07-03 | 2014-02-01 | Nvidia Corp | 複合多重樣本/超樣本抗頻疊 |
| JP4986243B2 (ja) * | 2008-07-04 | 2012-07-25 | Ｋｄｄｉ株式会社 | メディアストリームの階層数を制御する送信装置、方法及びプログラム |
| US20100232521A1 (en) * | 2008-07-10 | 2010-09-16 | Pierre Hagendorf | Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding |
| US8108361B2 (en) * | 2008-07-31 | 2012-01-31 | Microsoft Corporation | Efficient column based data encoding for large-scale data storage |
| US9571856B2 (en) * | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
| WO2010025458A1 (en) * | 2008-08-31 | 2010-03-04 | Mitsubishi Digital Electronics America, Inc. | Transforming 3d video content to match viewer position |
| US8509315B1 (en) * | 2008-09-23 | 2013-08-13 | Viasat, Inc. | Maintaining synchronization of compressed data and associated metadata |
| US8457194B2 (en) * | 2008-09-29 | 2013-06-04 | Microsoft Corporation | Processing real-time video |
| US8913668B2 (en) * | 2008-09-29 | 2014-12-16 | Microsoft Corporation | Perceptual mechanism for the selection of residues in video coders |
| JP5201408B2 (ja) * | 2008-09-30 | 2013-06-05 | ソニー株式会社 | フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 |
| US8265140B2 (en) * | 2008-09-30 | 2012-09-11 | Microsoft Corporation | Fine-grained client-side control of scalable media delivery |
| WO2010038212A2 (en) * | 2008-10-01 | 2010-04-08 | Nxp B.V. | Embedded video compression for hybrid contents |
| KR20100046584A (ko) * | 2008-10-27 | 2010-05-07 | 삼성전자주식회사 | 영상 디코딩 방법, 영상 출력 방법, 영상 처리 방법 및 그 장치 |
| US8787447B2 (en) * | 2008-10-30 | 2014-07-22 | Vixs Systems, Inc | Video transcoding system with drastic scene change detection and method for use therewith |
| US9407925B2 (en) * | 2008-10-30 | 2016-08-02 | Vixs Systems, Inc. | Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith |
| KR101279573B1 (ko) | 2008-10-31 | 2013-06-27 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| EP3122043B1 (en) * | 2008-11-04 | 2018-01-17 | Telefonaktiebolaget LM Ericsson (publ) | Method and system for determining a quality value of a video stream |
| US8259814B2 (en) * | 2008-11-12 | 2012-09-04 | Cisco Technology, Inc. | Processing of a video program having plural processed representations of a single video signal for reconstruction and output |
| US8374462B2 (en) * | 2008-11-14 | 2013-02-12 | Seiko Epson Corporation | Content-aware image and video resizing by anchor point sampling and mapping |
| US20100128181A1 (en) * | 2008-11-25 | 2010-05-27 | Advanced Micro Devices, Inc. | Seam Based Scaling of Video Content |
| WO2010064396A1 (ja) * | 2008-12-03 | 2010-06-10 | 株式会社日立製作所 | 動画像復号化方法および動画像符号化方法 |
| US8051223B1 (en) * | 2008-12-09 | 2011-11-01 | Calos Fund Limited Liability Company | System and method for managing memory using multi-state buffer representations |
| US8542732B1 (en) * | 2008-12-23 | 2013-09-24 | Elemental Technologies, Inc. | Video encoder using GPU |
| US20100161779A1 (en) * | 2008-12-24 | 2010-06-24 | Verizon Services Organization Inc | System and method for providing quality-referenced multimedia |
| TW201026065A (en) * | 2008-12-26 | 2010-07-01 | Ind Tech Res Inst | Method for packing bitstream of scalable video coding |
| US8903191B2 (en) * | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
| KR20100084115A (ko) * | 2009-01-15 | 2010-07-23 | 한국전자통신연구원 | 방송 서비스 제공 방법 및 장치 |
| CN102301715B (zh) | 2009-01-29 | 2015-12-16 | 杜比实验室特许公司 | 视频编码方法、视频装置和编码系统 |
| KR101675555B1 (ko) * | 2009-01-30 | 2016-11-11 | 톰슨 라이센싱 | 깊이 맵의 코딩 |
| KR20100094709A (ko) * | 2009-02-19 | 2010-08-27 | (주)휴맥스 | 부호화/복호화 방법 및 장치 |
| US20100218232A1 (en) * | 2009-02-25 | 2010-08-26 | Cisco Technology, Inc. | Signalling of auxiliary information that assists processing of video according to various formats |
| US20100254453A1 (en) * | 2009-04-02 | 2010-10-07 | Qualcomm Incorporated | Inverse telecine techniques |
| US8687685B2 (en) | 2009-04-14 | 2014-04-01 | Qualcomm Incorporated | Efficient transcoding of B-frames to P-frames |
| WO2010123909A1 (en) | 2009-04-20 | 2010-10-28 | Dolby Laboratories Licensing Corporation | Directed interpolation and data post-processing |
| US8346984B2 (en) * | 2009-05-05 | 2013-01-01 | Jeffrey Huang | Apparatus and method for intelligent analysis of device compatibility and adaptive processing of multimedia data |
| US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
| US20100309987A1 (en) * | 2009-06-05 | 2010-12-09 | Apple Inc. | Image acquisition and encoding system |
| US8345070B2 (en) * | 2009-06-10 | 2013-01-01 | Himax Media Solutions, Inc. | Apparatus and method for frame rate up conversion |
| TWI400942B (zh) * | 2009-06-17 | 2013-07-01 | Himax Media Solutions Inc | 畫面速率轉換之裝置及方法 |
| US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
| US8942215B2 (en) | 2010-07-15 | 2015-01-27 | Dejero Labs Inc. | System and method for transmission of data from a wireless mobile device over a multipath wireless router |
| US9756468B2 (en) | 2009-07-08 | 2017-09-05 | Dejero Labs Inc. | System and method for providing data services on vehicles |
| US10165286B2 (en) * | 2009-07-08 | 2018-12-25 | Dejero Labs Inc. | System and method for automatic encoder adjustment based on transport data |
| KR101487686B1 (ko) | 2009-08-14 | 2015-01-30 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| TWI392373B (zh) * | 2009-09-04 | 2013-04-01 | Nat Univ Chung Cheng | The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity |
| CN102025892A (zh) * | 2009-09-16 | 2011-04-20 | 索尼株式会社 | 镜头转换检测方法及装置 |
| US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
| KR101418101B1 (ko) | 2009-09-23 | 2014-07-16 | 에스케이 텔레콤주식회사 | 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치 |
| US8340191B2 (en) * | 2009-09-25 | 2012-12-25 | General Instrument Corporation | Transcoder from first MPEG stream to second MPEG stream |
| JP2011109469A (ja) * | 2009-11-18 | 2011-06-02 | Canon Inc | コンテンツ受信装置及びコンテンツ受信装置の制御方法 |
| EP2507787A4 (en) | 2009-11-30 | 2013-07-17 | Semiconductor Energy Lab | Liquid crystal display device, control method therefor and electronic device therefor |
| TW201121335A (en) * | 2009-12-02 | 2011-06-16 | Sunplus Core Technology Co Ltd | Method and apparatus for adaptively determining compression modes to compress frames |
| KR101902933B1 (ko) * | 2009-12-16 | 2018-10-01 | 한국전자통신연구원 | 영상 부호화/복호화 장치 및 방법 |
| US8638851B2 (en) * | 2009-12-23 | 2014-01-28 | Apple Inc. | Joint bandwidth detection algorithm for real-time communication |
| US8526488B2 (en) | 2010-02-09 | 2013-09-03 | Vanguard Software Solutions, Inc. | Video sequence encoding system and algorithms |
| US8768140B2 (en) | 2010-02-15 | 2014-07-01 | Panasonic Corporation | Data processing unit and data encoding device |
| AU2011221678B2 (en) | 2010-03-05 | 2014-08-14 | Samsung Electronics Co., Ltd. | Method and apparatus for generating and reproducing adaptive stream based on file format, and recording medium thereof |
| JP2011199414A (ja) * | 2010-03-17 | 2011-10-06 | Toshiba Corp | 素材収録装置及び素材収録方法 |
| TW201134223A (en) * | 2010-03-29 | 2011-10-01 | Univ Nat Taiwan | Perceptual video encoding system and circuit thereof |
| US20120281759A1 (en) * | 2010-03-31 | 2012-11-08 | Lidong Xu | Power efficient motion estimation techniques for video encoding |
| JP5553663B2 (ja) * | 2010-03-31 | 2014-07-16 | 日立コンシューマエレクトロニクス株式会社 | 映像送信装置、映像受信装置、映像伝送システム |
| KR102129404B1 (ko) | 2010-04-13 | 2020-07-02 | 지이 비디오 컴프레션, 엘엘씨 | 이미지들의 멀티-트리 서브-디비젼을 이용한 비디오 코딩 |
| PL2559240T3 (pl) | 2010-04-13 | 2020-01-31 | Ge Video Compression, Llc | Predykcja międzypłaszczyznowa |
| KR102166519B1 (ko) | 2010-04-13 | 2020-10-16 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 영역 병합 |
| CN106060557B (zh) * | 2010-04-13 | 2019-10-11 | Ge视频压缩有限责任公司 | 编解码器及方法、数组重建方法、数据存储介质及方法 |
| US20110255594A1 (en) * | 2010-04-15 | 2011-10-20 | Soyeb Nagori | Rate Control in Video Coding |
| US20110255596A1 (en) * | 2010-04-15 | 2011-10-20 | Himax Technologies Limited | Frame rate up conversion system and method |
| US9179154B2 (en) | 2010-05-06 | 2015-11-03 | Nippon Telegraph And Telephone Corporation | Video encoding control method and apparatus |
| TWI428024B (zh) * | 2010-05-06 | 2014-02-21 | Himax Media Solutions Inc | 提升圖框速率的系統與方法 |
| CA2798012A1 (en) * | 2010-05-07 | 2011-11-10 | Nippon Telegraph And Telephone Corporation | Video encoding to prevent decoder buffer underflow by re-encoding selected pictures in a video sequence using a retry count or a retry point |
| KR101391661B1 (ko) | 2010-05-12 | 2014-05-07 | 니폰덴신뎅와 가부시키가이샤 | 동화상 부호화 제어 방법, 동화상 부호화 장치 및 동화상 부호화 프로그램 |
| US9225961B2 (en) | 2010-05-13 | 2015-12-29 | Qualcomm Incorporated | Frame packing for asymmetric stereo video |
| US9693110B2 (en) | 2010-06-03 | 2017-06-27 | Cox Communications, Inc | Dynamic content stream management |
| JP5625512B2 (ja) * | 2010-06-09 | 2014-11-19 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、および記録媒体 |
| EP2395505A1 (en) * | 2010-06-11 | 2011-12-14 | Thomson Licensing | Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer |
| US8917774B2 (en) * | 2010-06-30 | 2014-12-23 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion |
| US9591374B2 (en) | 2010-06-30 | 2017-03-07 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies |
| US10326978B2 (en) | 2010-06-30 | 2019-06-18 | Warner Bros. Entertainment Inc. | Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning |
| US8755432B2 (en) | 2010-06-30 | 2014-06-17 | Warner Bros. Entertainment Inc. | Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues |
| US8930562B2 (en) | 2010-07-20 | 2015-01-06 | Qualcomm Incorporated | Arranging sub-track fragments for streaming video data |
| US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
| US9357229B2 (en) | 2010-07-28 | 2016-05-31 | Qualcomm Incorporated | Coding motion vectors in video coding |
| US9456015B2 (en) | 2010-08-10 | 2016-09-27 | Qualcomm Incorporated | Representation groups for network streaming of coded multimedia data |
| US8533166B1 (en) * | 2010-08-20 | 2013-09-10 | Brevity Ventures LLC | Methods and systems for encoding/decoding files and transmission thereof |
| US20120057633A1 (en) * | 2010-09-02 | 2012-03-08 | Fang Shi | Video Classification Systems and Methods |
| RU2010144450A (ru) * | 2010-10-29 | 2012-05-10 | ЭлЭсАй Корпорейшн (US) | Оценка движения для видео транскодера |
| US9432678B2 (en) * | 2010-10-30 | 2016-08-30 | Hewlett-Packard Development Company, L.P. | Adapting a video stream |
| US9066102B2 (en) | 2010-11-17 | 2015-06-23 | Qualcomm Incorporated | Reference picture list construction for generalized P/B frames in video coding |
| US8559763B2 (en) * | 2010-12-14 | 2013-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model |
| US9547911B2 (en) | 2010-12-14 | 2017-01-17 | The United States Of America, As Represented By The Secretary Of The Navy | Velocity estimation from imagery using symmetric displaced frame difference equation |
| US9832540B2 (en) * | 2010-12-15 | 2017-11-28 | Hulu, LLC | Method and apparatus for hybrid transcoding of a media program |
| US8842723B2 (en) * | 2011-01-03 | 2014-09-23 | Apple Inc. | Video coding system using implied reference frames |
| GB2487200A (en) | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
| US9307262B2 (en) * | 2011-01-13 | 2016-04-05 | Texas Instruments Incorporated | Methods and systems for facilitating multimedia data encoding utilizing configured buffer information |
| ES2967302T3 (es) | 2011-01-14 | 2024-04-29 | Sun Patent Trust | Aparato de codificación y decodificación de imágenes |
| EP2666289A1 (en) * | 2011-01-21 | 2013-11-27 | Thomson Licensing | System and method for enhanced remote transcoding using content profiling |
| US8548057B2 (en) | 2011-01-25 | 2013-10-01 | Microsoft Corporation | Video coding redundancy reduction |
| EP2668785A4 (en) * | 2011-01-28 | 2015-11-11 | Eye Io Llc | CODING VIDEO DATA STREAMS BASED ON A SCENE TYPE |
| WO2012103326A2 (en) * | 2011-01-28 | 2012-08-02 | Eye IO, LLC | Adaptive bit rate control based on scenes |
| US10165274B2 (en) * | 2011-01-28 | 2018-12-25 | Eye IO, LLC | Encoding of video stream based on scene type |
| US8751565B1 (en) | 2011-02-08 | 2014-06-10 | Google Inc. | Components for web-based configurable pipeline media processing |
| AU2012214332B2 (en) * | 2011-02-11 | 2015-05-21 | Interdigital Patent Holdings, Inc. | Method and apparatus for distribution and reception of content |
| US9866877B2 (en) * | 2011-03-08 | 2018-01-09 | Cox Communications, Inc. | Transparent scalable video coding |
| GB2488829A (en) * | 2011-03-10 | 2012-09-12 | Canon Kk | Encoding and decoding image data |
| GB2488830B (en) * | 2011-03-10 | 2015-07-29 | Canon Kk | Method and device for encoding image data and method and device for decoding image data |
| US8644383B2 (en) * | 2011-03-10 | 2014-02-04 | Microsoft Corporation | Mean absolute difference prediction for video encoding rate control |
| US20120260185A1 (en) * | 2011-04-11 | 2012-10-11 | Google Inc. | Path length selector |
| US8620933B2 (en) | 2011-04-11 | 2013-12-31 | Google Inc. | Illustrating cross channel conversion paths |
| US8510326B2 (en) | 2011-04-11 | 2013-08-13 | Google Inc. | Priority dimensional data conversion path reporting |
| KR101894420B1 (ko) * | 2011-04-15 | 2018-09-03 | 에스케이플래닛 주식회사 | 적응적 비디오 트랜스코딩 방법 및 시스템 |
| US8681866B1 (en) | 2011-04-28 | 2014-03-25 | Google Inc. | Method and apparatus for encoding video by downsampling frame resolution |
| US20120281748A1 (en) * | 2011-05-02 | 2012-11-08 | Futurewei Technologies, Inc. | Rate Control for Cloud Transcoding |
| US9106787B1 (en) | 2011-05-09 | 2015-08-11 | Google Inc. | Apparatus and method for media transmission bandwidth control using bandwidth estimation |
| EP3879834B1 (en) | 2011-05-31 | 2024-05-01 | JVCKENWOOD Corporation | Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program |
| GB2491589B (en) | 2011-06-06 | 2015-12-16 | Canon Kk | Method and device for encoding a sequence of images and method and device for decoding a sequence of image |
| KR20120138319A (ko) | 2011-06-14 | 2012-12-26 | 삼성전자주식회사 | 멀티미디어 데이터 특징 정보를 이용하여 멀티미디어 서비스 데이터 패킷을 송신하는 방법 및 장치 |
| WO2012173439A2 (ko) | 2011-06-15 | 2012-12-20 | 한국전자통신연구원 | 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치 |
| EP2536143B1 (en) * | 2011-06-16 | 2015-01-14 | Axis AB | Method and a digital video encoder system for encoding digital video data |
| PT3229474T (pt) | 2011-06-30 | 2019-02-04 | Ericsson Telefon Ab L M | Sinalização de imagem de referência |
| US9369723B2 (en) * | 2011-07-14 | 2016-06-14 | Comcast Cable Communications, Llc | Preserving image quality in temporally compressed video streams |
| US8655907B2 (en) | 2011-07-18 | 2014-02-18 | Google Inc. | Multi-channel conversion path position reporting |
| KR20130011994A (ko) * | 2011-07-22 | 2013-01-30 | 삼성전자주식회사 | 송신 장치, 수신 장치 및 그 송수신 방법 |
| US8959450B2 (en) | 2011-08-22 | 2015-02-17 | Google Inc. | Path explorer visualization |
| US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
| US9131245B2 (en) * | 2011-09-23 | 2015-09-08 | Qualcomm Incorporated | Reference picture list construction for video coding |
| US9456212B2 (en) * | 2011-09-30 | 2016-09-27 | Broadcom Corporation | Video coding sub-block sizing based on infrastructure capabilities and current conditions |
| WO2013048521A1 (en) * | 2011-10-01 | 2013-04-04 | Intel Corporation | Systems, methods and computer program products for integrated post-processing and pre-processing in video transcoding |
| US20130083859A1 (en) * | 2011-10-04 | 2013-04-04 | General Instrument Corporation | Method to match input and output timestamps in a video encoder and advertisement inserter |
| EP2777258B1 (en) | 2011-11-04 | 2017-01-11 | Huawei Technologies Co., Ltd. | Binarization of prediction residuals for lossless video coding |
| US9432704B2 (en) * | 2011-11-06 | 2016-08-30 | Akamai Technologies Inc. | Segmented parallel encoding with frame-aware, variable-size chunking |
| JP2013102295A (ja) * | 2011-11-07 | 2013-05-23 | Canon Inc | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム |
| JP2013102297A (ja) * | 2011-11-07 | 2013-05-23 | Canon Inc | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム |
| US10277915B2 (en) | 2011-11-07 | 2019-04-30 | Qualcomm Incorporated | Signaling quantization matrices for video coding |
| JP5871628B2 (ja) | 2011-11-07 | 2016-03-01 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| KR20130050149A (ko) | 2011-11-07 | 2013-05-15 | 오수미 | 인터 모드에서의 예측 블록 생성 방법 |
| US8693551B2 (en) | 2011-11-16 | 2014-04-08 | Vanguard Software Solutions, Inc. | Optimal angular intra prediction for block-based video coding |
| US9277230B2 (en) * | 2011-11-23 | 2016-03-01 | Qualcomm Incorporated | Display mode-based video encoding in wireless display devices |
| TWI448125B (zh) * | 2011-11-25 | 2014-08-01 | Ind Tech Res Inst | 多媒體檔案分享方法及系統 |
| US9589540B2 (en) | 2011-12-05 | 2017-03-07 | Microsoft Technology Licensing, Llc | Adaptive control of display refresh rate based on video frame rate and power efficiency |
| US9008177B2 (en) | 2011-12-12 | 2015-04-14 | Qualcomm Incorporated | Selective mirroring of media output |
| EP2795899A4 (en) * | 2011-12-23 | 2016-01-27 | Intel Corp | CONTENTSADAPTIVE HIGHLY PRECISE MACROBLOCK RATES CONTROL |
| CN115086767A (zh) * | 2012-01-19 | 2022-09-20 | Vid拓展公司 | 使用移动设备接收多媒体内容的方法及该移动设备 |
| US9538200B2 (en) | 2012-01-19 | 2017-01-03 | Qualcomm Incorporated | Signaling of deblocking filter parameters in video coding |
| WO2013109460A1 (en) | 2012-01-19 | 2013-07-25 | Vid Scale, Inc. | Method and apparatus for signaling and construction of video coding reference picture lists |
| US20130208809A1 (en) * | 2012-02-14 | 2013-08-15 | Microsoft Corporation | Multi-layer rate control |
| US9386267B1 (en) * | 2012-02-14 | 2016-07-05 | Arris Enterprises, Inc. | Cooperative transcoding to multiple streams |
| US9241167B2 (en) * | 2012-02-17 | 2016-01-19 | Microsoft Technology Licensing, Llc | Metadata assisted video decoding |
| WO2013129822A1 (ko) * | 2012-02-27 | 2013-09-06 | 세종대학교산학협력단 | 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법 |
| KR20130098122A (ko) | 2012-02-27 | 2013-09-04 | 세종대학교산학협력단 | 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법 |
| TWI617180B (zh) * | 2012-03-20 | 2018-03-01 | 三星電子股份有限公司 | 基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置 |
| US9031378B2 (en) * | 2012-04-03 | 2015-05-12 | Via Technologies, Inc. | Method of managing multiple wireless video traffic and electronic device thereof |
| WO2013150838A1 (ja) * | 2012-04-05 | 2013-10-10 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| PL3716621T3 (pl) * | 2012-04-12 | 2022-01-24 | Jvckenwood Corporation | Urządzenie do kodowania ruchomych obrazów, sposób kodowania ruchomych obrazów, program kodujący ruchome obrazy oraz urządzenie do dekodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, program dekodujący ruchome obrazy |
| US9071842B2 (en) * | 2012-04-19 | 2015-06-30 | Vixs Systems Inc. | Detection of video feature based on variance metric |
| US20130279882A1 (en) | 2012-04-23 | 2013-10-24 | Apple Inc. | Coding of Video and Audio with Initialization Fragments |
| US9042441B2 (en) | 2012-04-25 | 2015-05-26 | At&T Intellectual Property I, Lp | Apparatus and method for media streaming |
| US9185429B1 (en) | 2012-04-30 | 2015-11-10 | Google Inc. | Video encoding and decoding using un-equal error protection |
| US20150036744A1 (en) * | 2012-05-02 | 2015-02-05 | Sony Corporation | Image processing apparatus and image processing method |
| EP2670151A1 (en) * | 2012-05-28 | 2013-12-04 | Tektronix Inc. | Heuristic method for drop frame detection in digital baseband video |
| US9532080B2 (en) | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
| CN104641651B (zh) * | 2012-06-12 | 2019-11-19 | 相干逻辑公司 | 用于编码和交付视频内容的分布式体系结构 |
| US9749645B2 (en) | 2012-06-22 | 2017-08-29 | Microsoft Technology Licensing, Llc | Coded-block-flag coding and derivation |
| US8949240B2 (en) * | 2012-07-03 | 2015-02-03 | General Instrument Corporation | System for correlating metadata |
| US9516309B2 (en) | 2012-07-09 | 2016-12-06 | Qualcomm Incorporated | Adaptive difference domain spatial and temporal reference reconstruction and smoothing |
| US9277212B2 (en) | 2012-07-09 | 2016-03-01 | Qualcomm Incorporated | Intra mode extensions for difference domain intra prediction |
| US9030571B2 (en) * | 2012-07-11 | 2015-05-12 | Google Inc. | Abstract camera pipeline for uniform cross-device control of image capture and processing |
| WO2014012219A1 (en) * | 2012-07-17 | 2014-01-23 | Thomson Licensing | Video quality assessment at a bitstream level |
| US9357195B2 (en) | 2012-08-16 | 2016-05-31 | Qualcomm Incorporated | Inter-view predicted motion vector for 3D video |
| EP2901693A4 (en) * | 2012-09-28 | 2016-04-27 | Intel Corp | BETWEEN SHIFTS INTRA-PREDICTION MODE |
| WO2014049398A1 (en) * | 2012-09-28 | 2014-04-03 | Nokia Corporation | Apparatus displaying animated image combined with tactile output |
| US9979960B2 (en) | 2012-10-01 | 2018-05-22 | Microsoft Technology Licensing, Llc | Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions |
| US9355613B2 (en) | 2012-10-09 | 2016-05-31 | Mediatek Inc. | Data processing apparatus for transmitting/receiving compression-related indication information via display interface and related data processing method |
| JP5969695B2 (ja) | 2012-10-12 | 2016-08-17 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 映像復号化方法 |
| US9661340B2 (en) * | 2012-10-22 | 2017-05-23 | Microsoft Technology Licensing, Llc | Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats |
| US10708335B2 (en) | 2012-11-16 | 2020-07-07 | Time Warner Cable Enterprises Llc | Situation-dependent dynamic bit rate encoding and distribution of content |
| US9106922B2 (en) | 2012-12-19 | 2015-08-11 | Vanguard Software Solutions, Inc. | Motion estimation engine for video encoding |
| TWI669950B (zh) * | 2012-12-21 | 2019-08-21 | 日商新力股份有限公司 | 影像處理裝置及方法 |
| TWI478554B (zh) * | 2013-01-08 | 2015-03-21 | Altek Semiconductor Corp | 影像雜訊消除方法及其產生移動向量資料結構之方法 |
| US9172740B1 (en) | 2013-01-15 | 2015-10-27 | Google Inc. | Adjustable buffer remote access |
| CN109089122B (zh) * | 2013-01-18 | 2022-08-05 | 弗劳恩霍夫应用研究促进协会 | 一种前向纠错数据生成器和前向纠错解码器 |
| US9311692B1 (en) | 2013-01-25 | 2016-04-12 | Google Inc. | Scalable buffer remote access |
| US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
| US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
| US9350990B2 (en) | 2013-02-28 | 2016-05-24 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
| US9743097B2 (en) * | 2013-03-01 | 2017-08-22 | Qualcomm Incorporated | Spatial motion vector scaling for scalable video coding |
| US9607003B2 (en) | 2013-03-14 | 2017-03-28 | Massachusetts Institute Of Technology | Network coded storage with multi-resolution codes |
| GB2513112B (en) * | 2013-04-08 | 2020-01-08 | Snell Advanced Media Ltd | Video sequence processing |
| US9462283B2 (en) * | 2013-04-18 | 2016-10-04 | Spotlight Technologies Ltd. | Efficient compression of Bayer images |
| US9436877B2 (en) * | 2013-04-19 | 2016-09-06 | Polaris Sensor Technologies, Inc. | Pedestrian right of way monitoring and reporting system and method |
| US9191705B1 (en) * | 2013-05-01 | 2015-11-17 | Google Inc. | Managing media quality |
| US9710894B2 (en) * | 2013-06-04 | 2017-07-18 | Nvidia Corporation | System and method for enhanced multi-sample anti-aliasing |
| DE102013211571B4 (de) | 2013-06-19 | 2016-02-11 | Opticom Dipl.-Ing. Michael Keyhl Gmbh | Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate |
| US9578342B2 (en) * | 2013-06-24 | 2017-02-21 | Dialogic Corporation | Rate control algorithm for scalable video encoding with disposable P-frames |
| US9501360B2 (en) | 2013-07-01 | 2016-11-22 | International Business Machines Corporation | Rebuilding data while reading data in a dispersed storage network |
| US10133635B2 (en) | 2013-07-01 | 2018-11-20 | International Business Machines Corporation | Low-width vault in distributed storage system |
| KR101586367B1 (ko) * | 2013-08-07 | 2016-01-18 | 주식회사 더블유코퍼레이션 | 단일 소스를 통한 다채널 대체광고 처리 및 스케줄 관리 방법 |
| US9992501B2 (en) | 2013-09-10 | 2018-06-05 | Kt Corporation | Method and apparatus for encoding/decoding scalable video signal |
| US10178398B2 (en) * | 2013-10-11 | 2019-01-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and arrangement for video transcoding using mode or motion or in-loop filter information |
| ITMI20131710A1 (it) | 2013-10-15 | 2015-04-16 | Sky Italia S R L | "sistema di cloud encoding" |
| US9609338B2 (en) | 2013-10-25 | 2017-03-28 | Microsoft Technology Licensing, Llc | Layered video encoding and decoding |
| US20150117515A1 (en) * | 2013-10-25 | 2015-04-30 | Microsoft Corporation | Layered Encoding Using Spatial and Temporal Analysis |
| GB2521352B (en) | 2013-12-16 | 2015-11-04 | Imagination Tech Ltd | Encoder configuration |
| US9967558B1 (en) | 2013-12-17 | 2018-05-08 | Google Llc | Adaptive motion search control for variable block size partitions in video coding |
| US20150189222A1 (en) * | 2013-12-30 | 2015-07-02 | Google Inc. | Content-adaptive chunking for distributed transcoding |
| CN111417013B (zh) * | 2014-01-09 | 2021-12-10 | 三星电子株式会社 | 多媒体传输系统中发送和接收数据相关信息的方法和装置 |
| JP6344800B2 (ja) * | 2014-01-09 | 2018-06-20 | 株式会社日立国際電気 | 画像処理装置及び動画像伝送方法 |
| US20150215621A1 (en) * | 2014-01-30 | 2015-07-30 | Qualcomm Incorporated | Rate control using complexity in video coding |
| US20160360199A1 (en) * | 2014-02-10 | 2016-12-08 | Interdigital Patent Holdings, Inc. | Inverse telecine filter |
| WO2015134835A1 (en) * | 2014-03-07 | 2015-09-11 | Remote Media, Llc | Virtual file system and method with bi-directional media file synchronization |
| US9596521B2 (en) | 2014-03-13 | 2017-03-14 | Verance Corporation | Interactive content acquisition using embedded codes |
| US9992500B2 (en) * | 2014-03-18 | 2018-06-05 | Intel Corporation | Techniques for evaluating compressed motion video quality |
| KR102249147B1 (ko) * | 2014-03-29 | 2021-05-07 | 삼성전자주식회사 | 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조 |
| US10560514B2 (en) * | 2014-03-29 | 2020-02-11 | Samsung Electronics Co., Ltd. | Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof |
| US9414100B2 (en) | 2014-03-31 | 2016-08-09 | Arris Enterprises, Inc. | Adaptive streaming transcoder synchronization |
| WO2015168893A1 (zh) * | 2014-05-08 | 2015-11-12 | 华为终端有限公司 | 一种视频质量检测的方法及装置 |
| US9794313B2 (en) | 2014-05-09 | 2017-10-17 | Cisco Technology, Inc. | Methods and systems to facilitate synchronization of multiple media streams |
| US9392272B1 (en) * | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
| US10664687B2 (en) | 2014-06-12 | 2020-05-26 | Microsoft Technology Licensing, Llc | Rule-based video importance analysis |
| US9787986B2 (en) * | 2014-06-30 | 2017-10-10 | Intel Corporation | Techniques for parallel video transcoding |
| CN110636238B (zh) * | 2014-06-30 | 2022-01-28 | 索尼公司 | 信息处理装置和方法 |
| CN106796625B (zh) | 2014-08-20 | 2019-09-24 | 凡瑞斯公司 | 使用预测图案的多样性的水印检测 |
| JP6497874B2 (ja) * | 2014-08-28 | 2019-04-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR102190233B1 (ko) * | 2014-10-06 | 2020-12-11 | 삼성전자주식회사 | 영상 처리 장치 및 이의 영상 처리 방법 |
| DE102014220428A1 (de) * | 2014-10-08 | 2016-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Einstellen von Datenraten in einem Videokamerasystem |
| US10264269B2 (en) | 2014-10-13 | 2019-04-16 | Apple Inc. | Metadata hints to support best effort decoding for green MPEG applications |
| JP2016092837A (ja) * | 2014-10-30 | 2016-05-23 | 株式会社東芝 | 映像圧縮装置、映像再生装置および映像配信システム |
| US9311735B1 (en) * | 2014-11-21 | 2016-04-12 | Adobe Systems Incorporated | Cloud based content aware fill for images |
| FR3030977B1 (fr) * | 2014-12-19 | 2017-01-27 | Sagemcom Broadband Sas | Procede d'annonce de services dans un reseau de communication |
| US11356709B2 (en) | 2015-01-05 | 2022-06-07 | Arris Enterprises Llc | Using motion compensated temporal filter (MCTF) statistics for scene change detection when a fade, dissolve or cut occurs |
| US9854201B2 (en) | 2015-01-16 | 2017-12-26 | Microsoft Technology Licensing, Llc | Dynamically updating quality to higher chroma sampling rate |
| US9749646B2 (en) | 2015-01-16 | 2017-08-29 | Microsoft Technology Licensing, Llc | Encoding/decoding of high chroma resolution details |
| KR102553320B1 (ko) * | 2015-03-05 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| KR102553316B1 (ko) | 2015-03-06 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| KR101754527B1 (ko) * | 2015-03-09 | 2017-07-06 | 한국항공우주연구원 | 패킷 부호화 장치 및 방법 |
| US9936203B2 (en) * | 2015-04-13 | 2018-04-03 | Qualcomm Incorporated | Complex region detection for display stream compression |
| US10244255B2 (en) | 2015-04-13 | 2019-03-26 | Qualcomm Incorporated | Rate-constrained fallback mode for display stream compression |
| US10356428B2 (en) | 2015-04-13 | 2019-07-16 | Qualcomm Incorporated | Quantization parameter (QP) update classification for display stream compression (DSC) |
| US10284849B2 (en) | 2015-04-13 | 2019-05-07 | Qualcomm Incorporated | Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure |
| KR102553322B1 (ko) * | 2015-04-20 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| US10735773B2 (en) * | 2015-06-04 | 2020-08-04 | Apple Inc. | Video coding techniques for high quality coding of low motion content |
| WO2016209132A1 (en) * | 2015-06-25 | 2016-12-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and system for encoding an input video stream into a compressed output video stream with parallel encoding |
| US9955191B2 (en) | 2015-07-01 | 2018-04-24 | At&T Intellectual Property I, L.P. | Method and apparatus for managing bandwidth in providing communication services |
| US10133934B2 (en) * | 2015-09-30 | 2018-11-20 | Apple Inc. | Systems and methods for post processing time-lapse videos |
| KR101780444B1 (ko) * | 2015-10-29 | 2017-09-21 | 삼성에스디에스 주식회사 | 영상 신호의 노이즈 제거 방법 |
| CN105306934A (zh) * | 2015-11-10 | 2016-02-03 | 深圳市云宙多媒体技术有限公司 | 一种低复杂度片源的编码方法及系统 |
| RU2610686C1 (ru) * | 2015-11-17 | 2017-02-14 | федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный университет имени С.А. Есенина" | Способ адаптивной передачи информации по каналу связи в реальном времени и система для его осуществления |
| GB2544800A (en) * | 2015-11-27 | 2017-05-31 | V-Nova Ltd | Adaptive bit rate ratio control |
| CN105898531A (zh) * | 2015-12-07 | 2016-08-24 | 乐视云计算有限公司 | 视频缓存文件的封装方法和系统 |
| US10136134B2 (en) * | 2015-12-14 | 2018-11-20 | Arris Enterprises Llc | Method to encode video with close multiple scene changes |
| US10652298B2 (en) * | 2015-12-17 | 2020-05-12 | Intel Corporation | Media streaming through section change detection markers |
| US10368074B2 (en) | 2016-03-18 | 2019-07-30 | Microsoft Technology Licensing, Llc | Opportunistic frame dropping for variable-frame-rate encoding |
| JP6168671B1 (ja) * | 2016-03-24 | 2017-07-26 | 株式会社日立国際電気 | 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法 |
| US10958695B2 (en) * | 2016-06-21 | 2021-03-23 | Google Llc | Methods, systems, and media for recommending content based on network conditions |
| US10491963B1 (en) * | 2016-06-28 | 2019-11-26 | Amazon Technologies, Inc. | Use video codecs to deliver images |
| US10440366B2 (en) * | 2016-07-01 | 2019-10-08 | Intel Corporation | Method and system of video coding using content based metadata |
| US10686969B2 (en) * | 2016-07-08 | 2020-06-16 | NETFLIX Inc. | Detecting shot changes in a video |
| WO2018012366A1 (ja) * | 2016-07-13 | 2018-01-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 復号装置、符号化装置、復号方法及び符号化方法 |
| KR102361314B1 (ko) | 2016-07-19 | 2022-02-10 | 한국전자통신연구원 | 360도 가상현실 방송 서비스 제공 방법 및 장치 |
| WO2018016879A1 (ko) * | 2016-07-19 | 2018-01-25 | 한국전자통신연구원 | 360도 가상현실 방송 서비스 제공 방법 및 장치 |
| US10367865B2 (en) * | 2016-07-28 | 2019-07-30 | Verizon Digital Media Services Inc. | Encodingless transmuxing |
| CN109479136A (zh) * | 2016-08-04 | 2019-03-15 | 深圳市大疆创新科技有限公司 | 用于比特率控制的系统和方法 |
| US10708666B2 (en) * | 2016-08-29 | 2020-07-07 | Qualcomm Incorporated | Terrestrial broadcast television services over a cellular broadcast system |
| US10368080B2 (en) | 2016-10-21 | 2019-07-30 | Microsoft Technology Licensing, Llc | Selective upsampling or refresh of chroma sample values |
| US10558750B2 (en) | 2016-11-18 | 2020-02-11 | Salesforce.Com, Inc. | Spatial attention model for image captioning |
| CN108109592B (zh) | 2016-11-25 | 2022-01-25 | 株式会社半导体能源研究所 | 显示装置及其工作方法 |
| US10121337B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Gaze controlled bit rate |
| US10123020B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Block level update rate control based on gaze sensing |
| US10715814B2 (en) * | 2017-02-23 | 2020-07-14 | Netflix, Inc. | Techniques for optimizing encoding parameters for different shot sequences |
| US10199270B2 (en) | 2017-05-25 | 2019-02-05 | Globalfoundries Inc. | Multi-directional self-aligned multiple patterning |
| US10701364B2 (en) * | 2017-10-26 | 2020-06-30 | Google Llc | Golden-frame group structure design using stillness detection |
| KR102480310B1 (ko) * | 2017-11-06 | 2022-12-23 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US10798399B1 (en) * | 2017-12-11 | 2020-10-06 | Amazon Technologies, Inc. | Adaptive video compression |
| CN108875525A (zh) * | 2018-01-04 | 2018-11-23 | 北京旷视科技有限公司 | 行为预测方法、装置、系统和存储介质 |
| WO2019148117A1 (en) * | 2018-01-29 | 2019-08-01 | Vid Scale, Inc. | Frame-rate up conversion with low complexity |
| CN108460523B (zh) * | 2018-02-12 | 2020-08-21 | 阿里巴巴集团控股有限公司 | 一种风控规则生成方法和装置 |
| US10593257B2 (en) | 2018-03-15 | 2020-03-17 | Samsung Display Co., Ltd. | Stress profile compression |
| TW201942870A (zh) | 2018-04-03 | 2019-11-01 | 香港商科科串流股份有限公司 | 位元率優化系統及方法 |
| PL3777455T3 (pl) | 2018-04-05 | 2022-03-21 | Telefonaktiebolaget Lm Ericsson (Publ) | Wielostopniowe informacje sterujące łącza bocznego |
| EP3550834A1 (en) * | 2018-04-06 | 2019-10-09 | Comcast Cable Communications LLC | Encoding of video cross-fades using weighted inter-prediction |
| KR102495915B1 (ko) * | 2018-04-30 | 2023-02-03 | 삼성전자 주식회사 | 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버 |
| US10630748B1 (en) * | 2018-05-01 | 2020-04-21 | Amazon Technologies, Inc. | Video-based encoder alignment |
| US10630990B1 (en) | 2018-05-01 | 2020-04-21 | Amazon Technologies, Inc. | Encoder output responsive to quality metric information |
| US10958987B1 (en) | 2018-05-01 | 2021-03-23 | Amazon Technologies, Inc. | Matching based on video data |
| US10522108B2 (en) * | 2018-05-23 | 2019-12-31 | Qualcomm Incorporated | Optimized histogram reads for efficient display post processing and improved power gains |
| WO2020086452A1 (en) * | 2018-10-22 | 2020-04-30 | Radiant Communications Corporation | Low-latency video internet streaming for management and transmission of multiple data streams |
| US11272185B2 (en) * | 2018-10-31 | 2022-03-08 | Ati Technologies Ulc | Hierarchical measurement of spatial activity for text/edge detection |
| CN109286825B (zh) * | 2018-12-14 | 2021-04-30 | 北京百度网讯科技有限公司 | 用于处理视频的方法和装置 |
| US11166028B2 (en) * | 2019-02-01 | 2021-11-02 | Comcast Cable Communications, Llc | Methods and systems for providing variable bitrate content |
| US11019374B2 (en) | 2019-02-04 | 2021-05-25 | Netflix, Inc. | Techniques for efficiently performing subsequence-based encoding for a media title |
| WO2020185471A1 (en) * | 2019-03-08 | 2020-09-17 | Beijing Dajia Internet Information Technology Co., Ltd. | Video coding for handling different picture sizes |
| CN112492308A (zh) | 2019-03-11 | 2021-03-12 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| CN113711589B (zh) | 2019-04-01 | 2022-10-25 | 北京字节跳动网络技术有限公司 | 帧间编解码模式中的二分之一像素插值滤波器 |
| US11276419B2 (en) | 2019-07-30 | 2022-03-15 | International Business Machines Corporation | Synchronized sound generation from videos |
| KR102635319B1 (ko) | 2019-08-20 | 2024-02-07 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 프로세싱에서 대안적 보간 필터들의 선택적 사용 |
| KR20210022841A (ko) | 2019-08-21 | 2021-03-04 | (주)코위 | 멀티플렉서와 ｐｓｉｐ 생성기를 이용한 다중 출력 인코더 |
| US11132944B2 (en) | 2019-09-18 | 2021-09-28 | Samsung Display Co., Ltd. | Unbiased iterative compression on additive data using dither |
| JP7370047B2 (ja) | 2019-10-29 | 2023-10-27 | 株式会社ニッキ | エンジンの失火診断検出方法 |
| CN112788198B (zh) * | 2019-11-11 | 2024-04-23 | 株式会社理光 | 摄影装置、传送系统及方法、记录介质和计算机装置 |
| EP3829169B1 (en) * | 2019-11-29 | 2021-10-13 | Axis AB | Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions |
| US11843772B2 (en) * | 2019-12-06 | 2023-12-12 | Ati Technologies Ulc | Video encode pre-analysis bit budgeting based on context and features |
| US11284074B2 (en) * | 2019-12-20 | 2022-03-22 | Intel Corporation | Cross-channel look ahead rate control for multi-channel video encoding |
| JP2021103875A (ja) * | 2019-12-25 | 2021-07-15 | キヤノン株式会社 | 画像符号化装置及び画像復号装置、並びにそれらの制御方法及びプログラム、及び、撮像装置 |
| US11962781B2 (en) * | 2020-02-13 | 2024-04-16 | Ssimwave Inc. | Video encoding complexity measure system |
| CN113411584A (zh) * | 2020-03-17 | 2021-09-17 | 北京三星通信技术研究有限公司 | 视频编解码的方法和装置 |
| TWI747236B (zh) * | 2020-04-17 | 2021-11-21 | 倚天酷碁股份有限公司 | 音源訊號調整方法及電子裝置 |
| CN111680548A (zh) * | 2020-04-27 | 2020-09-18 | 哈尔滨工程大学 | 一种小波在线去噪的无失真边界延拓方法 |
| CN111310744B (zh) * | 2020-05-11 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 图像识别方法、视频播放方法、相关设备及介质 |
| US11388415B2 (en) * | 2020-05-12 | 2022-07-12 | Tencent America LLC | Substitutional end-to-end video coding |
| WO2022073596A1 (en) * | 2020-10-07 | 2022-04-14 | Telefonaktiebolaget Lm Ericsson (Publ) | A system and method to minimize repetitive flashes in streaming media content |
| EP3985974B1 (en) | 2020-10-13 | 2023-05-10 | Axis AB | An image processing device, a camera and a method for encoding a sequence of video images |
| WO2023276809A1 (en) * | 2021-06-29 | 2023-01-05 | Sharp Kabushiki Kaisha | Systems and methods for compressing feature data in coding of multi-dimensional data |
| US20230215255A1 (en) * | 2022-01-04 | 2023-07-06 | Google Llc | Batch Size Adjustment Using Latency-Critical Event Recognition |
| US20240073423A1 (en) * | 2022-08-24 | 2024-02-29 | Synamedia Vividtec Holdings, Inc. | Content-Adaptive Encoder Configuration |
| CN116260973B (zh) * | 2023-03-31 | 2024-03-19 | 北京百度网讯科技有限公司 | 一种时域滤波方法、装置、电子设备及存储介质 |
Family Cites Families (292)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US674474A (en) * | 1901-02-04 | 1901-05-21 | Henry D Schutte | Placket-closure. |
| EP0102267B1 (en) | 1982-07-21 | 1988-01-20 | Mathys Marthinus Venter | Implement for depositing an agricultural material in the soil |
| FR2646047B1 (fr) | 1989-04-13 | 1995-08-04 | Telediffusion Fse | Procede et installation de codage et de transmission d'images animees sous forme numerique a bas debit |
| JP2909239B2 (ja) * | 1991-03-27 | 1999-06-23 | 株式会社東芝 | 高能率符号化記録再生装置 |
| JP3189292B2 (ja) | 1991-05-09 | 2001-07-16 | 松下電器産業株式会社 | 走査線補間装置 |
| JP2861518B2 (ja) * | 1991-09-03 | 1999-02-24 | 日本電気株式会社 | 適応多重化方式 |
| KR0121328B1 (ko) | 1991-12-13 | 1997-11-17 | 사또오 후미오 | 디지탈 신호 기록 재생 장치 |
| IT1252546B (it) | 1991-12-18 | 1995-06-19 | Alcatel Italia | Metodo e sistema per adattare il ciclo di frequenza di refresh alla complessita' dell'immagine |
| JPH05344492A (ja) | 1992-06-11 | 1993-12-24 | Ricoh Co Ltd | フレーム間予測符号化方式 |
| US5289276A (en) * | 1992-06-19 | 1994-02-22 | General Electric Company | Method and apparatus for conveying compressed video data over a noisy communication channel |
| JP2611607B2 (ja) | 1992-06-29 | 1997-05-21 | 日本ビクター株式会社 | シーンチェンジ検出装置 |
| FR2700090B1 (fr) | 1992-12-30 | 1995-01-27 | Thomson Csf | Procédé de désentrelacement de trames d'une séquence d'images animées. |
| JP2979900B2 (ja) | 1993-05-26 | 1999-11-15 | 日本ビクター株式会社 | 記録媒体 |
| EP0627853B1 (en) | 1993-06-03 | 2000-11-15 | Matsushita Electric Industrial Co., Ltd. | Picture reproduction apparatus and picture decoding apparatus |
| NZ268644A (en) | 1993-07-19 | 1997-02-24 | British Telecomm | Identifying errors in video image |
| CA2127151A1 (en) | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| US5991502A (en) | 1993-10-04 | 1999-11-23 | Matsushita Electric Industrial Co., Ltd. | Optical recording device which calculates distances between I-frames and records I-frame addresses in a sector |
| AU681185B2 (en) | 1993-10-22 | 1997-08-21 | Sony Corporation | apparatus and method for recording and reproducing digital video data |
| JP3173257B2 (ja) | 1993-11-09 | 2001-06-04 | 松下電器産業株式会社 | 符号化方法と符号化装置 |
| JP2734953B2 (ja) * | 1993-12-16 | 1998-04-02 | 日本電気株式会社 | Ｃｄｍａ受信装置 |
| US5642294A (en) | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
| JP2839132B2 (ja) | 1993-12-17 | 1998-12-16 | 日本電信電話株式会社 | 映像カット点検出方法及び装置 |
| US5446491A (en) | 1993-12-21 | 1995-08-29 | Hitachi, Ltd. | Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals |
| JP3149303B2 (ja) | 1993-12-29 | 2001-03-26 | 松下電器産業株式会社 | デジタル画像符号化方法及びデジタル画像復号化方法 |
| US5592226A (en) | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| US6798834B1 (en) | 1996-08-15 | 2004-09-28 | Mitsubishi Denki Kabushiki Kaisha | Image coding apparatus with segment classification and segmentation-type motion prediction circuit |
| US6091460A (en) | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
| KR100213015B1 (ko) | 1994-03-31 | 1999-08-02 | 윤종용 | 양자화 방법 및 회로 |
| JPH0846969A (ja) * | 1994-07-26 | 1996-02-16 | Mitsubishi Electric Corp | 映像信号符号化方式 |
| US5508752A (en) * | 1994-04-12 | 1996-04-16 | Lg Electronics Inc. | Partial response trellis decoder for high definition television (HDTV) system |
| JPH07298272A (ja) * | 1994-04-28 | 1995-11-10 | Canon Inc | 映像符号化装置 |
| US5706386A (en) | 1994-05-24 | 1998-01-06 | Sony Corporation | Image information recording method and apparatus, image information reproducing method and apparatus and editing method and system |
| ATE369700T1 (de) | 1994-06-17 | 2007-08-15 | Snell & Wilcox Ltd | Videokompression |
| US5521644A (en) | 1994-06-30 | 1996-05-28 | Eastman Kodak Company | Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields |
| KR100213018B1 (ko) | 1994-07-30 | 1999-08-02 | 윤종용 | 동화상 부호화장치 |
| JP3755155B2 (ja) | 1994-09-30 | 2006-03-15 | ソニー株式会社 | 画像符号化装置 |
| JPH0918782A (ja) | 1995-06-29 | 1997-01-17 | Sony Corp | 映像信号処理方法及び装置 |
| MY115648A (en) * | 1995-08-23 | 2003-08-30 | Sony Corp | Encoding/decoding fields of predetermined field polarity apparatus and method |
| JPH0974566A (ja) | 1995-09-04 | 1997-03-18 | Sony Corp | 圧縮符号化装置及び圧縮符号化データの記録装置 |
| EP0847199B1 (en) | 1995-09-29 | 1999-04-28 | Matsushita Electric Industrial Co., Ltd. | Method, disc and device for encoding seamless-connection of telecine-converted video data |
| JPH09130732A (ja) | 1995-11-01 | 1997-05-16 | Matsushita Electric Ind Co Ltd | シーンチェンジ検出方法および動画像編集装置 |
| US5835163A (en) | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
| US5682204A (en) | 1995-12-26 | 1997-10-28 | C Cube Microsystems, Inc. | Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level |
| US5929902A (en) | 1996-02-28 | 1999-07-27 | C-Cube Microsystems | Method and apparatus for inverse telecine processing by fitting 3:2 pull-down patterns |
| US5821991A (en) | 1996-02-28 | 1998-10-13 | C-Cube Microsystems, Inc. | Method and apparatus for inverse telecine process by correlating vectors of pixel differences |
| US6157674A (en) | 1996-03-21 | 2000-12-05 | Sony Corporation | Audio and video data transmitting apparatus, system, and method thereof |
| GB9607645D0 (en) | 1996-04-12 | 1996-06-12 | Snell & Wilcox Ltd | Processing of video signals prior to compression |
| JPH09284770A (ja) | 1996-04-13 | 1997-10-31 | Sony Corp | 画像符号化装置および方法 |
| JPH1013826A (ja) | 1996-06-21 | 1998-01-16 | Sony Corp | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体 |
| US7095874B2 (en) | 1996-07-02 | 2006-08-22 | Wistaria Trading, Inc. | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US6643506B1 (en) * | 1996-08-07 | 2003-11-04 | Telxon Corporation | Wireless software upgrades with version control |
| US5793895A (en) | 1996-08-28 | 1998-08-11 | International Business Machines Corporation | Intelligent error resilient video encoder |
| KR100389893B1 (ko) | 1996-11-09 | 2003-09-19 | 삼성전자주식회사 | 영상 특성 분류법을 이용한 영상 부호화 장치 |
| FR2756399B1 (fr) | 1996-11-28 | 1999-06-25 | Thomson Multimedia Sa | Procede et dispositif de compression video pour images de synthese |
| JPH10313463A (ja) | 1997-03-12 | 1998-11-24 | Matsushita Electric Ind Co Ltd | 映像信号符号化方法及び符号化装置 |
| WO1998041027A1 (en) * | 1997-03-12 | 1998-09-17 | Matsushita Electric Industrial Co., Ltd. | Video signal coding method and coding device |
| US6333950B1 (en) | 1997-04-18 | 2001-12-25 | Canon Kabushiki Kaisha | Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded |
| JP3679606B2 (ja) | 1997-04-18 | 2005-08-03 | キヤノン株式会社 | 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体 |
| JP3588970B2 (ja) | 1997-04-30 | 2004-11-17 | ソニー株式会社 | 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法 |
| FR2764156B1 (fr) | 1997-05-27 | 1999-11-05 | Thomson Broadcast Systems | Dispositif de pretraitement pour codage mpeg ii |
| US5864369A (en) | 1997-06-16 | 1999-01-26 | Ati International Srl | Method and apparatus for providing interlaced video on a progressive display |
| US6012091A (en) | 1997-06-30 | 2000-01-04 | At&T Corporation | Video telecommunications server and method of providing video fast forward and reverse |
| KR100226722B1 (ko) | 1997-07-30 | 1999-10-15 | 구자홍 | 동영상 움직임 벡터 추정 방법 |
| US5978029A (en) | 1997-10-10 | 1999-11-02 | International Business Machines Corporation | Real-time encoding of video sequence employing two encoders and statistical analysis |
| US6574211B2 (en) | 1997-11-03 | 2003-06-03 | Qualcomm Incorporated | Method and apparatus for high rate packet data transmission |
| US5956026A (en) | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
| US6115499A (en) | 1998-01-14 | 2000-09-05 | C-Cube Semiconductor Ii, Inc. | Repeat field detection using checkerboard pattern |
| US6175650B1 (en) | 1998-01-26 | 2001-01-16 | Xerox Corporation | Adaptive quantization compatible with the JPEG baseline sequential mode |
| WO1999043157A1 (en) | 1998-02-19 | 1999-08-26 | Motorola Inc. | System and method for non-causal encoding of video information for improved streaming thereof |
| JP3649370B2 (ja) | 1998-02-25 | 2005-05-18 | 日本ビクター株式会社 | 動き補償符号化装置及び動き補償符号化方法 |
| JP3738939B2 (ja) | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| DE69830471T2 (de) | 1998-03-09 | 2006-08-10 | Sony Deutschland Gmbh | Interpolator mit einem gewichteten Medianfilter |
| US6895048B2 (en) | 1998-03-20 | 2005-05-17 | International Business Machines Corporation | Adaptive encoding of a sequence of still frames or partially still frames within motion video |
| US6538688B1 (en) | 1998-07-02 | 2003-03-25 | Terran Interactive | Method and apparatus for performing an automated inverse telecine process |
| JP2000032474A (ja) | 1998-07-08 | 2000-01-28 | Sharp Corp | 動画像符号化装置 |
| JP2000059774A (ja) | 1998-08-06 | 2000-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化制御装置 |
| US6580829B1 (en) | 1998-09-25 | 2003-06-17 | Sarnoff Corporation | Detecting and coding flash frames in video data |
| AU5793199A (en) | 1998-09-29 | 2000-04-17 | General Instrument Corporation | Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder |
| JP3921841B2 (ja) | 1998-10-16 | 2007-05-30 | ソニー株式会社 | 信号処理装置および方法、ならびに、記録装置、再生装置および記録再生装置 |
| JP2000209553A (ja) | 1998-11-13 | 2000-07-28 | Victor Co Of Japan Ltd | 情報信号記録装置及び再生装置 |
| US6297848B1 (en) | 1998-11-25 | 2001-10-02 | Sharp Laboratories Of America, Inc. | Low-delay conversion of 3:2 pulldown video to progressive format with field averaging |
| JP3260713B2 (ja) | 1998-12-21 | 2002-02-25 | 日本電気株式会社 | 無線基地局のプログラムダウンロード方式 |
| US6618507B1 (en) | 1999-01-25 | 2003-09-09 | Mitsubishi Electric Research Laboratories, Inc | Methods of feature extraction of video sequences |
| JP3588564B2 (ja) | 1999-03-31 | 2004-11-10 | 株式会社東芝 | 映像データ記録装置 |
| JP3591712B2 (ja) | 1999-04-02 | 2004-11-24 | 松下電器産業株式会社 | 動画送信装置及び動画受信装置 |
| DE60031905T2 (de) * | 1999-04-02 | 2007-04-12 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtungen zur Übertragung und Empfang von bewegten Bildern sowie Aufzeichnungsmedium für bewegte Bilder |
| JP2000295626A (ja) | 1999-04-08 | 2000-10-20 | Mitsubishi Electric Corp | 多段画像符号化装置 |
| US6325805B1 (en) * | 1999-04-23 | 2001-12-04 | Sdgi Holdings, Inc. | Shape memory alloy staple |
| JP4287538B2 (ja) * | 1999-04-30 | 2009-07-01 | パナソニック株式会社 | 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム |
| KR20010071706A (ko) | 1999-04-30 | 2001-07-31 | 요트.게.아. 롤페즈 | 비-프레임 부호화 모드의 선택을 갖는 비디오 부호화 방법 |
| GB2352350B (en) * | 1999-07-19 | 2003-11-05 | Nokia Mobile Phones Ltd | Video coding |
| JP3669619B2 (ja) * | 1999-09-06 | 2005-07-13 | 富士通株式会社 | 無線端末装置のソフトウェア更新方法及びその装置 |
| DE19951324C2 (de) * | 1999-10-20 | 2003-07-17 | Atotech Deutschland Gmbh | Verfahren und Vorrichtung zum elektrolytischen Behandeln von elektrisch leitfähigen Oberflächen von gegeneinander vereinzelten Platten- und Folienmaterialstücken sowie Anwendung des Verfahrens |
| US6370672B1 (en) | 1999-11-01 | 2002-04-09 | Lsi Logic Corporation | Determining the received data rate in a variable rate communications system |
| GB2359918A (en) | 2000-03-01 | 2001-09-05 | Sony Uk Ltd | Audio and/or video generation apparatus having a metadata generator |
| US6639943B1 (en) | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
| JP2001169251A (ja) | 1999-12-03 | 2001-06-22 | Sony Corp | 記録装置および方法、ならびに、再生装置および方法 |
| US7093028B1 (en) | 1999-12-15 | 2006-08-15 | Microsoft Corporation | User and content aware object-based data stream transmission methods and arrangements |
| US7116717B1 (en) * | 1999-12-15 | 2006-10-03 | Bigband Networks, Inc. | Method and system for scalable representation, storage, transmission and reconstruction of media streams |
| US6449002B1 (en) | 1999-12-21 | 2002-09-10 | Thomson Licensing S.A. | Truncated metric for NTSC interference rejection in the ATSC-HDTV trellis decoder |
| JP2001045494A (ja) | 2000-01-01 | 2001-02-16 | Mitsubishi Electric Corp | 画像符号化装置 |
| US6912528B2 (en) | 2000-01-18 | 2005-06-28 | Gregg S. Homer | Rechargeable media distribution and play system |
| JP2001204026A (ja) | 2000-01-21 | 2001-07-27 | Sony Corp | 画像情報変換装置及び方法 |
| IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
| US6600836B1 (en) | 2000-01-28 | 2003-07-29 | Qualcomm, Incorporated | Quality based image compression |
| JP2003522486A (ja) | 2000-02-01 | 2003-07-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Ｐフレームに対する２ステップ動き推定を伴なうビデオ符号化 |
| US6574279B1 (en) | 2000-02-02 | 2003-06-03 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoding using syntactic and semantic clues |
| US6490320B1 (en) | 2000-02-02 | 2002-12-03 | Mitsubishi Electric Research Laboratories Inc. | Adaptable bitstream video delivery system |
| US6542546B1 (en) | 2000-02-02 | 2003-04-01 | Mitsubishi Electric Research Laboratories, Inc. | Adaptable compressed bitstream transcoder |
| JP3960451B2 (ja) | 2000-03-06 | 2007-08-15 | Ｋｄｄｉ株式会社 | シーン特性検出型動画像符号化装置 |
| SE0000766L (sv) | 2000-03-08 | 2001-06-25 | Sem Ab | Krets för tändförställning, varvtalsbegränsning och förhindrande av baklängesgång i magnettändsystem |
| EP1177691B1 (en) | 2000-03-13 | 2011-01-26 | Sony Corporation | Method and apparatus for generating compact transcoding hints metadata |
| US20020154705A1 (en) | 2000-03-22 | 2002-10-24 | Walton Jay R. | High efficiency high performance communications system employing multi-carrier modulation |
| JP2003530786A (ja) | 2000-04-07 | 2003-10-14 | スネル アンド ウィルコックス リミテッド | ビデオ信号処理方法 |
| US6867814B2 (en) | 2000-04-18 | 2005-03-15 | Silicon Image, Inc. | Method, system and article of manufacture for identifying the source type and quality level of a video sequence |
| US6507618B1 (en) | 2000-04-25 | 2003-01-14 | Hewlett-Packard Company | Compressed video signal including independently coded regions |
| EP1152621A1 (en) | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
| JP4517453B2 (ja) | 2000-05-30 | 2010-08-04 | ソニー株式会社 | 画像情報変換装置及び方法並びに符号化装置及び方法 |
| JP2001346214A (ja) | 2000-06-05 | 2001-12-14 | Sony Corp | 画像情報変換装置及び方法 |
| US6647061B1 (en) | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
| KR100708091B1 (ko) | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
| JP2002010259A (ja) | 2000-06-21 | 2002-01-11 | Mitsubishi Electric Corp | 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体 |
| CA2352729A1 (en) | 2000-07-13 | 2002-01-13 | Creoscitex Corporation Ltd. | Blazed micro-mechanical light modulator and array thereof |
| US20040125877A1 (en) | 2000-07-17 | 2004-07-01 | Shin-Fu Chang | Method and system for indexing and content-based adaptive streaming of digital video content |
| JP4517475B2 (ja) | 2000-07-26 | 2010-08-04 | ソニー株式会社 | 画像情報変換装置及び方法並びに符号化装置及び方法 |
| KR20020010171A (ko) | 2000-07-27 | 2002-02-04 | 오길록 | 블록 정합 움직임 추정을 위한 적응적 예측 방향성 탐색방법 |
| FI120125B (fi) * | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
| JP2002064817A (ja) | 2000-08-21 | 2002-02-28 | Kddi Research & Development Laboratories Inc | オブジェクトスケーラブル符号化装置 |
| JP3903703B2 (ja) | 2000-09-01 | 2007-04-11 | 株式会社日立製作所 | 順次走査変換回路 |
| JP2002094994A (ja) | 2000-09-19 | 2002-03-29 | Nec Corp | 動画再生処理装置および動画再生処理方法 |
| US7038736B2 (en) * | 2000-09-21 | 2006-05-02 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
| WO2002025925A2 (en) | 2000-09-22 | 2002-03-28 | Koninklijke Philips Electronics Nv | Hybrid temporal-snr fine granular scalability video coding |
| JP2002101416A (ja) | 2000-09-25 | 2002-04-05 | Fujitsu Ltd | 画像制御装置 |
| JP2002125227A (ja) | 2000-10-11 | 2002-04-26 | Sony Corp | 画像情報変換装置及び方法 |
| US7095814B2 (en) | 2000-10-11 | 2006-08-22 | Electronics And Telecommunications Research Institute | Apparatus and method for very high performance space-time array reception processing using chip-level beamforming and fading rate adaptation |
| ATE330427T1 (de) | 2000-11-23 | 2006-07-15 | Koninkl Philips Electronics Nv | Videodekodierungsverfahren und entsprechender dekodierer |
| EP1209624A1 (en) | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
| US7203238B2 (en) | 2000-12-11 | 2007-04-10 | Sony Corporation | 3:2 Pull-down detection |
| US7058130B2 (en) | 2000-12-11 | 2006-06-06 | Sony Corporation | Scene change detection |
| US6934335B2 (en) | 2000-12-11 | 2005-08-23 | Sony Corporation | Video encoder with embedded scene change and 3:2 pull-down detections |
| US6744474B2 (en) | 2000-12-13 | 2004-06-01 | Thomson Licensing S.A. | Recursive metric for NTSC interference rejection in the ATSC-HDTV trellis decoder |
| US6807234B2 (en) | 2000-12-19 | 2004-10-19 | Intel Corporation | Method and apparatus for constellation mapping and bitloading in multi-carrier transceivers, such as DMT-based DSL transceivers |
| GB2372394B (en) | 2000-12-22 | 2004-09-22 | Matsushita Electric Ind Co Ltd | Interpolation apparatus and video signal processing apparatus including the same |
| CA2330854A1 (en) | 2001-01-11 | 2002-07-11 | Jaldi Semiconductor Corp. | A system and method for detecting a non-video source in video signals |
| US6987728B2 (en) | 2001-01-23 | 2006-01-17 | Sharp Laboratories Of America, Inc. | Bandwidth allocation system |
| JP4336051B2 (ja) | 2001-01-31 | 2009-09-30 | 株式会社エヌ・ティ・ティ・ドコモ | 無線通信端末、発呼制限方法及びプログラム |
| US6721361B1 (en) | 2001-02-23 | 2004-04-13 | Yesvideo.Com | Video processing system including advanced scene break detection methods for fades, dissolves and flashes |
| US7110452B2 (en) | 2001-03-05 | 2006-09-19 | Intervideo, Inc. | Systems and methods for detecting scene changes in a video data stream |
| KR100783396B1 (ko) | 2001-04-19 | 2007-12-10 | 엘지전자 주식회사 | 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법 |
| US6947598B2 (en) | 2001-04-20 | 2005-09-20 | Front Porch Digital Inc. | Methods and apparatus for generating, including and using information relating to archived audio/video data |
| US7072975B2 (en) | 2001-04-24 | 2006-07-04 | Wideray Corporation | Apparatus and method for communicating information to portable computing devices |
| US20020163964A1 (en) | 2001-05-02 | 2002-11-07 | Nichols James B. | Apparatus and method for compressing video |
| US6909745B1 (en) | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
| KR100803115B1 (ko) | 2001-06-07 | 2008-02-14 | 엘지전자 주식회사 | 적응 안테나 어레이가 구비된 wｃｄｍａ 시스템에서의 신호 처리 방법 이를 위한 시스템 |
| KR100393066B1 (ko) * | 2001-06-11 | 2003-07-31 | 삼성전자주식회사 | 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법 |
| JP2002051336A (ja) | 2001-06-15 | 2002-02-15 | Sharp Corp | 画像符号化装置及び画像復号装置 |
| US7483581B2 (en) | 2001-07-02 | 2009-01-27 | Qualcomm Incorporated | Apparatus and method for encoding digital image data in a lossless manner |
| JP2003037844A (ja) | 2001-07-23 | 2003-02-07 | Sharp Corp | 動画像符号化装置 |
| JP3820937B2 (ja) | 2001-08-06 | 2006-09-13 | 株式会社島津製作所 | Ｘ線検査装置 |
| KR100440953B1 (ko) | 2001-08-18 | 2004-07-21 | 삼성전자주식회사 | 영상 압축 비트 스트림의 트랜스코딩 방법 |
| US6959044B1 (en) | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
| US7359466B2 (en) | 2001-08-24 | 2008-04-15 | Lucent Technologies Inc. | Signal detection by a receiver in a multiple antenna time-dispersive system |
| US6784942B2 (en) | 2001-10-05 | 2004-08-31 | Genesis Microchip, Inc. | Motion adaptive de-interlacing method and apparatus |
| TW536918B (en) | 2001-11-01 | 2003-06-11 | Aiptek Int Inc | Method to increase the temporal resolution of continuous image series |
| WO2003041326A2 (en) | 2001-11-09 | 2003-05-15 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding method and apparatus |
| JP2003209837A (ja) | 2001-11-09 | 2003-07-25 | Matsushita Electric Ind Co Ltd | 動画像符号化方法及び動画像符号化装置 |
| US6847680B2 (en) | 2001-12-17 | 2005-01-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting talking heads in a compressed video |
| US20030118097A1 (en) | 2001-12-21 | 2003-06-26 | Koninklijke Philips Electronics N.V. | System for realization of complexity scalability in a layered video coding framework |
| KR100446083B1 (ko) | 2002-01-02 | 2004-08-30 | 삼성전자주식회사 | 움직임 추정 및 모드 결정 장치 및 방법 |
| US20030142762A1 (en) | 2002-01-11 | 2003-07-31 | Burke Joseph P. | Wireless receiver method and apparatus using space-cover-time equalization |
| US7139551B2 (en) | 2002-01-19 | 2006-11-21 | Sasken Communication Technologies Ltd. | System and method for automatically downloading software applications to a remote terminal |
| JP2003224847A (ja) | 2002-01-29 | 2003-08-08 | Sony Corp | 画像符号化装置とその方法、および、画像復号化装置とその方法 |
| US6700935B2 (en) | 2002-02-08 | 2004-03-02 | Sony Electronics, Inc. | Stream based bitrate transcoder for MPEG coded video |
| US6996186B2 (en) | 2002-02-22 | 2006-02-07 | International Business Machines Corporation | Programmable horizontal filter with noise reduction and image scaling for video encoding system |
| KR100850705B1 (ko) | 2002-03-09 | 2008-08-06 | 삼성전자주식회사 | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 |
| ES2355083T3 (es) | 2002-03-27 | 2011-03-22 | British Telecommunications Public Limited Company | Codificación y transmisión de vídeo. |
| US20030185302A1 (en) | 2002-04-02 | 2003-10-02 | Abrams Thomas Algie | Camera and/or camera converter |
| CA2380105A1 (en) | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
| KR100468726B1 (ko) | 2002-04-18 | 2005-01-29 | 삼성전자주식회사 | 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법 |
| US6985635B2 (en) | 2002-04-22 | 2006-01-10 | Koninklijke Philips Electronics N.V. | System and method for providing a single-layer video encoded bitstreams suitable for reduced-complexity decoding |
| JP4135395B2 (ja) | 2002-04-26 | 2008-08-20 | 日本電気株式会社 | 符号化パケット伝送受信方法およびその装置ならびにプログラム |
| JP3926203B2 (ja) | 2002-05-15 | 2007-06-06 | シャープ株式会社 | コンテンツ表示装置、コンテンツ表示プログラム、該プログラムを記録した記録媒体、およびコンテンツ表示方法 |
| KR100850706B1 (ko) | 2002-05-22 | 2008-08-06 | 삼성전자주식회사 | 적응적 동영상 부호화 및 복호화 방법과 그 장치 |
| US6536688B1 (en) * | 2002-05-24 | 2003-03-25 | Success & Tech Industrial Co., Ltd. | Two-piece hand grip structure of pistol nozzle with flow regulating control knob |
| FR2840495B1 (fr) | 2002-05-29 | 2004-07-30 | Canon Kk | Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage |
| US7436890B2 (en) * | 2002-06-05 | 2008-10-14 | Kddi R&D Laboratories, Inc. | Quantization control system for video coding |
| JP2004023288A (ja) | 2002-06-13 | 2004-01-22 | Kddi R & D Laboratories Inc | 動画像符号化のための前処理方式 |
| CN1231055C (zh) | 2002-06-10 | 2005-12-07 | 成都威斯达芯片有限责任公司 | 电视中传送电影场景的数字检测装置 |
| KR100553082B1 (ko) | 2002-06-20 | 2006-02-15 | 엘지전자 주식회사 | 이동통신 단말기의 무선 데이터 다운로드 이어받기 장치및 방법 |
| US7167507B2 (en) | 2002-07-01 | 2007-01-23 | Lucent Technologies Inc. | Equalizer and method for performing equalization in a wireless communications system |
| US7136417B2 (en) | 2002-07-15 | 2006-11-14 | Scientific-Atlanta, Inc. | Chroma conversion optimization |
| MXPA05000678A (es) | 2002-07-16 | 2005-03-31 | Thomson Licensing Sa | Intercalado de estratos de mejora y de base para un disco de video digital de alta definicion. |
| KR100500196B1 (ko) | 2002-07-20 | 2005-07-12 | 학교법인 한국정보통신학원 | 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법 |
| US7089313B2 (en) | 2002-07-25 | 2006-08-08 | Matsushita Electric Industrial Co., Ltd. | Protocol independent communication system for mobile devices |
| WO2004019336A1 (en) | 2002-08-21 | 2004-03-04 | Thomson Licensing S.A. | Watermarking digital data at a user device |
| US20040045038A1 (en) * | 2002-08-29 | 2004-03-04 | Duff John F. | System and method for the synchronized activation of external devices in association with video programs |
| US6904081B2 (en) | 2002-08-30 | 2005-06-07 | Motorola, Inc. | Spread spectrum receiver apparatus and method |
| GB0222562D0 (en) | 2002-09-28 | 2002-11-06 | Koninkl Philips Electronics Nv | Method and apparatus for encoding image and or audio data |
| AU2003272933A1 (en) * | 2002-10-10 | 2004-05-04 | Fa. M Inc. | Process for the production of resin compositions |
| JP4294933B2 (ja) | 2002-10-16 | 2009-07-15 | 富士通株式会社 | マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置 |
| JP2006504175A (ja) | 2002-10-22 | 2006-02-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | フォールバックを用いる画像処理装置 |
| KR100501933B1 (ko) | 2002-11-21 | 2005-07-18 | 삼성전자주식회사 | 멀티미디어 데이터 암호화 압축방법 및 장치 |
| EP1570674A1 (en) | 2002-11-22 | 2005-09-07 | Koninklijke Philips Electronics N.V. | Transcoder for a variable length coded data stream |
| BR0307197A (pt) | 2002-11-25 | 2005-08-23 | Matsushita Electric Ind Co Ltd | Método de compensação de movimento, método de codificação de imagem e método de decodificação de imagem |
| KR20040046320A (ko) | 2002-11-27 | 2004-06-05 | 엘지전자 주식회사 | 동영상 부호화 방법 |
| EP1574070A1 (en) | 2002-12-10 | 2005-09-14 | Koninklijke Philips Electronics N.V. | A unified metric for digital video processing (umdvp) |
| WO2004057460A2 (en) | 2002-12-20 | 2004-07-08 | Koninklijke Philips Electronics N.V. | Segment-based motion estimation |
| US7154555B2 (en) | 2003-01-10 | 2006-12-26 | Realnetworks, Inc. | Automatic deinterlacing and inverse telecine |
| US7039855B2 (en) | 2003-01-22 | 2006-05-02 | Lsi Logic Corporation | Decision function generator for a Viterbi decoder |
| BRPI0406991A (pt) | 2003-01-28 | 2006-01-10 | Thomson Licensing | Difusão alternada de modo robusto |
| JP2004248124A (ja) | 2003-02-17 | 2004-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 階層的画像符号化装置および階層的画像復号装置 |
| KR20040079084A (ko) | 2003-03-06 | 2004-09-14 | 삼성전자주식회사 | 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치 |
| US7062260B2 (en) | 2003-03-27 | 2006-06-13 | Nokia Corporation | Fetching application and driver for extension device from network |
| US7075581B1 (en) * | 2003-06-03 | 2006-07-11 | Zoran Corporation | Interlaced-to-progressive scan conversion based on film source detection |
| KR100518580B1 (ko) | 2003-06-10 | 2005-10-04 | 삼성전자주식회사 | 인버스 텔레시네 변환장치 및 변환방법 |
| JP4789265B2 (ja) | 2003-06-16 | 2011-10-12 | トムソン ライセンシング | 圧縮ビデオの高速チャンネル変更を可能にする復号化方法および装置 |
| WO2004114671A2 (en) | 2003-06-19 | 2004-12-29 | Thomson Licensing S.A. | Method and apparatus for low-complexity spatial scalable decoding |
| KR100505694B1 (ko) * | 2003-07-09 | 2005-08-02 | 삼성전자주식회사 | 직접 계산 방식에 의한 코드화 직교 주파수 분할 다중화수신기의 채널 상태 평가 장치 및 그 방법 |
| US7406123B2 (en) | 2003-07-10 | 2008-07-29 | Mitsubishi Electric Research Laboratories, Inc. | Visual complexity measure for playing videos adaptively |
| GB0316387D0 (en) * | 2003-07-12 | 2003-08-13 | Ncr Int Inc | Software updates |
| KR100994197B1 (ko) | 2003-07-14 | 2010-11-12 | 인터디지탈 테크날러지 코포레이션 | 클러스터 다중 경로 간섭 억제 회로를 갖는 고성능 무선수신기 |
| US7356073B2 (en) | 2003-09-10 | 2008-04-08 | Nokia Corporation | Method and apparatus providing an advanced MIMO receiver that includes a signal-plus-residual-interference (SPRI) detector |
| US7332120B2 (en) | 2003-09-30 | 2008-02-19 | Salflex Polymers Ltd. | Method for molding running board with step plate |
| US20050076057A1 (en) | 2003-10-03 | 2005-04-07 | Puneet Sharma | Method and system for transferring video and audio files to portable computing devices |
| US7840112B2 (en) | 2003-10-08 | 2010-11-23 | Intel Corporation | Gradually degrading multimedia recordings |
| JP2005123732A (ja) * | 2003-10-14 | 2005-05-12 | Matsushita Electric Ind Co Ltd | デブロックフィルタ処理装置およびデブロックフィルタ処理方法 |
| KR20050037293A (ko) | 2003-10-18 | 2005-04-21 | 삼성전자주식회사 | 영상신호의 아티팩트 억제장치 및 그 방법 |
| US7780886B2 (en) | 2003-10-21 | 2010-08-24 | Certainteed Corporation | Insulation product having directional facing layer thereon and method of making the same |
| JP4423263B2 (ja) | 2003-10-30 | 2010-03-03 | パナソニック株式会社 | 携帯端末向け伝送方法及び装置 |
| US9351013B2 (en) * | 2003-11-13 | 2016-05-24 | Qualcomm Incorporated | Selective and/or scalable complexity control for video codecs |
| US7420618B2 (en) * | 2003-12-23 | 2008-09-02 | Genesis Microchip Inc. | Single chip multi-function display controller and method of use thereof |
| AU2005206954A1 (en) | 2004-01-21 | 2005-08-04 | Qualcomm Incorporated | Application-based value billing in a wireless subscriber network |
| US7320444B2 (en) | 2004-01-21 | 2008-01-22 | Fujifilm Corporation | Recording tape cartridge |
| US7529426B2 (en) | 2004-01-30 | 2009-05-05 | Broadcom Corporation | Correlation function for signal detection, match filters, and 3:2 pulldown detection |
| US20050168656A1 (en) | 2004-01-30 | 2005-08-04 | Wyman Richard H. | Method and system for quantized historical motion for motion detection in motion adaptive deinterlacer |
| US7557861B2 (en) | 2004-01-30 | 2009-07-07 | Broadcom Corporation | Reverse pull-down video using corrective techniques |
| WO2005074147A1 (en) | 2004-01-30 | 2005-08-11 | Universite Laval | Multi-user adaptive array receiver and method |
| US7483077B2 (en) | 2004-01-30 | 2009-01-27 | Broadcom Corporation | Method and system for control of a multi-field deinterlacer including providing visually pleasing start-up and shut-down |
| US7324583B2 (en) | 2004-02-13 | 2008-01-29 | Nokia Corporation | Chip-level or symbol-level equalizer structure for multiple transmit and receiver antenna configurations |
| KR100596705B1 (ko) | 2004-03-04 | 2006-07-04 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템 |
| KR100586883B1 (ko) | 2004-03-04 | 2006-06-08 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법 |
| US7339980B2 (en) | 2004-03-05 | 2008-03-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Successive interference cancellation in a generalized RAKE receiver architecture |
| US20050201478A1 (en) | 2004-03-10 | 2005-09-15 | Holger Claussen | Modulation in a mobile telecommunications system |
| US20050222961A1 (en) | 2004-04-05 | 2005-10-06 | Philippe Staib | System and method of facilitating contactless payment transactions across different payment systems using a common mobile device acting as a stored value device |
| US20050231635A1 (en) | 2004-04-16 | 2005-10-20 | Lin Ken K | Automated inverse telecine process |
| EP1592250A1 (en) | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Film-mode detection in video sequences |
| US7991053B2 (en) | 2004-05-04 | 2011-08-02 | Qualcomm Incorporated | Method and apparatus to enable acquisition of media in streaming applications |
| US7430336B2 (en) | 2004-05-06 | 2008-09-30 | Qualcomm Incorporated | Method and apparatus for image enhancement for low bit rate video compression |
| DE102004026433A1 (de) | 2004-05-29 | 2005-12-22 | Schott Ag | Nanoglaspulver und deren Verwendung |
| WO2005117540A2 (en) * | 2004-06-01 | 2005-12-15 | Exxonmobil Upstream Research Company | Kalman filter approach to processing electromagnetic data |
| US7536626B2 (en) * | 2004-06-18 | 2009-05-19 | Qualcomm Incorporated | Power control using erasure techniques |
| EP1615447B1 (en) | 2004-07-09 | 2016-03-09 | STMicroelectronics Srl | Method and system for delivery of coded information streams, related network and computer program product therefor |
| JP4145275B2 (ja) | 2004-07-27 | 2008-09-03 | 富士通株式会社 | 動きベクトル検出・補償装置 |
| KR20060011281A (ko) | 2004-07-30 | 2006-02-03 | 한종기 | 트랜스코더에 적용되는 해상도 변환장치 및 방법 |
| JP2006074684A (ja) | 2004-09-06 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像処理方法及び装置 |
| US7474701B2 (en) * | 2004-09-23 | 2009-01-06 | International Business Machines Corporation | Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames |
| US7528887B2 (en) | 2004-10-08 | 2009-05-05 | Broadcom Corporation | System and method for performing inverse telecine deinterlacing of video by bypassing data present in vertical blanking intervals |
| US7660987B2 (en) * | 2004-10-29 | 2010-02-09 | Baylis Stephen W | Method of establishing a secure e-mail transmission link |
| KR100592882B1 (ko) | 2004-12-13 | 2006-06-26 | 한국전자통신연구원 | 세션 초기화 프로토콜(ｓｉｐ) 기능이 없는 이동 단말에인터넷 프로토콜 멀티미디어 서브시스템을 통한 세션초기화 프로토콜 기반 인스턴스 메시징 서비스 제공방법,시스템 및 이를 위한 인스턴스 메시징 프록시 서버 |
| US20060153294A1 (en) * | 2005-01-12 | 2006-07-13 | Nokia Corporation | Inter-layer coefficient coding for scalable video coding |
| US8780957B2 (en) * | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US20060166739A1 (en) | 2005-01-25 | 2006-07-27 | Jeng-Tay Lin | Operating method for a wireless recreation system |
| KR20060088461A (ko) | 2005-02-01 | 2006-08-04 | 엘지전자 주식회사 | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 |
| US7995656B2 (en) | 2005-03-10 | 2011-08-09 | Qualcomm Incorporated | Scalable video coding with two layer encoding and single layer decoding |
| US8175123B2 (en) | 2005-03-10 | 2012-05-08 | Qualcomm Incorporated | Collection window positioning using time tracking information |
| US8693540B2 (en) | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
| US7929776B2 (en) | 2005-03-10 | 2011-04-19 | Qualcomm, Incorporated | Method and apparatus for error recovery using intra-slice resynchronization points |
| EP1869896B1 (en) | 2005-03-10 | 2010-01-20 | QUALCOMM Incorporated | A decoder architecture for optimized error management in streaming multimedia |
| JP5318561B2 (ja) | 2005-03-10 | 2013-10-16 | クゥアルコム・インコーポレイテッド | マルチメディア処理のためのコンテンツ分類 |
| CN101160975B (zh) | 2005-04-14 | 2012-05-30 | 汤姆森特许公司 | 空间可缩放视频编码和解码的切片自适应运动向量编码的方法和装置 |
| US20060239347A1 (en) | 2005-04-25 | 2006-10-26 | Ashish Koul | Method and system for scene change detection in a video encoder |
| US20060271990A1 (en) | 2005-05-18 | 2006-11-30 | Rodriguez Arturo A | Higher picture rate HD encoding and transmission with legacy HD backward compatibility |
| KR100716998B1 (ko) * | 2005-05-24 | 2007-05-10 | 삼성전자주식회사 | 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체 |
| US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
| AT502881B1 (de) | 2005-10-05 | 2007-08-15 | Pirker Wolfgang Ddr | Zahnimplantat |
| US9521584B2 (en) | 2005-10-17 | 2016-12-13 | Qualcomm Incorporated | Method and apparatus for managing data flow through a mesh network |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US20070206117A1 (en) | 2005-10-17 | 2007-09-06 | Qualcomm Incorporated | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US7916784B2 (en) * | 2005-10-20 | 2011-03-29 | Broadcom Corporation | Method and system for inverse telecine and field pairing |
| US7433982B2 (en) | 2005-10-21 | 2008-10-07 | Microsoft Corporation | Transferable component that effectuates plug-and-play |
| US20070171280A1 (en) | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
| JP4984503B2 (ja) | 2005-11-28 | 2012-07-25 | 富士通株式会社 | 携帯端末装置およびソフトウェアインストール方法 |
| US7587569B2 (en) | 2005-12-19 | 2009-09-08 | Yahoo! Inc. | System and method for removing a storage server in a distributed column chunk data store |
| US7705913B2 (en) * | 2005-12-20 | 2010-04-27 | Lsi Corporation | Unified approach to film mode detection |
| KR101153562B1 (ko) * | 2006-01-26 | 2012-06-11 | 삼성전기주식회사 | 압전 방식의 잉크젯 프린트헤드 및 그 제조방법 |
| US7835904B2 (en) | 2006-03-03 | 2010-11-16 | Microsoft Corp. | Perceptual, scalable audio compression |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP4929819B2 (ja) | 2006-04-27 | 2012-05-09 | 富士通株式会社 | 映像信号の変換装置及び方法 |
| EP3484154A1 (en) * | 2006-10-25 | 2019-05-15 | GE Video Compression, LLC | Quality scalable coding |
| FR2925980B1 (fr) | 2007-12-28 | 2010-06-04 | St Microelectronics Sa | Plot de contact electrique |
| JP5412739B2 (ja) | 2008-03-26 | 2014-02-12 | 富士通株式会社 | 光増幅装置 |
-
2006
- 2006-09-26 US US11/528,307 patent/US8879857B2/en not_active Expired - Fee Related
- 2006-09-26 US US11/528,139 patent/US8879635B2/en not_active Expired - Fee Related
- 2006-09-26 US US11/528,141 patent/US8879856B2/en active Active
- 2006-09-26 US US11/528,140 patent/US9113147B2/en not_active Expired - Fee Related
- 2006-09-27 WO PCT/US2006/037949 patent/WO2007038702A1/en active Application Filing
- 2006-09-27 EP EP10166125.4A patent/EP2227019B1/en not_active Not-in-force
- 2006-09-27 CN CN201010579114.8A patent/CN101982977B/zh active Active
- 2006-09-27 EP EP06815755A patent/EP1938621A2/en not_active Ceased
- 2006-09-27 TW TW095135898A patent/TWI376952B/zh active
- 2006-09-27 WO PCT/US2006/037994 patent/WO2007038725A2/en active Application Filing
- 2006-09-27 EP EP06815732A patent/EP1941741B1/en active Active
- 2006-09-27 EP EP10181339A patent/EP2293570A1/en not_active Withdrawn
- 2006-09-27 WO PCT/US2006/037993 patent/WO2007038724A1/en active Application Filing
- 2006-09-27 KR KR1020107014583A patent/KR101242292B1/ko not_active IP Right Cessation
- 2006-09-27 CA CA2805916A patent/CA2805916A1/en not_active Abandoned
- 2006-09-27 CN CN201210162458.8A patent/CN102724498B/zh not_active Expired - Fee Related
- 2006-09-27 EP EP10179387A patent/EP2302932A1/en not_active Withdrawn
- 2006-09-27 EP EP15169041.9A patent/EP2945363B1/en active Active
- 2006-09-27 EP EP06815754A patent/EP1932362A1/en not_active Ceased
- 2006-09-27 KR KR1020127021981A patent/KR101326443B1/ko not_active IP Right Cessation
- 2006-09-27 KR KR1020087010083A patent/KR100988753B1/ko active IP Right Grant
- 2006-09-27 JP JP2008533639A patent/JP5139303B2/ja not_active Expired - Fee Related
- 2006-09-27 TW TW095135900A patent/TWI341097B/zh not_active IP Right Cessation
- 2006-09-27 TW TW095135901A patent/TWI350108B/zh not_active IP Right Cessation
- 2006-09-27 WO PCT/US2006/037948 patent/WO2007038701A1/en active Application Filing
- 2006-09-27 TW TW095135902A patent/TWI348866B/zh active
- 2006-09-27 KR KR1020087010084A patent/KR100968106B1/ko not_active IP Right Cessation
- 2006-09-27 EP EP10182837A patent/EP2293539A3/en not_active Ceased
- 2006-09-27 JP JP2008533622A patent/JP5289959B2/ja not_active Expired - Fee Related
- 2006-09-27 EP EP06804241A patent/EP1929784B1/en active Active
- 2006-09-27 KR KR1020087010079A patent/KR100989534B1/ko active IP Right Grant
- 2006-09-27 AT AT06804241T patent/ATE524926T1/de not_active IP Right Cessation
- 2006-09-27 KR KR1020107019260A patent/KR101197508B1/ko not_active IP Right Cessation
- 2006-09-27 CA CA2623929A patent/CA2623929C/en not_active Expired - Fee Related
- 2006-09-27 BR BRPI0616426-9A patent/BRPI0616426A2/pt not_active IP Right Cessation
- 2006-09-27 JP JP2008533640A patent/JP2009510937A/ja not_active Withdrawn
- 2006-09-27 AU AU2006294509A patent/AU2006294509B2/en not_active Expired - Fee Related
- 2006-09-27 JP JP2008533623A patent/JP5149188B2/ja active Active
- 2006-09-27 KR KR1020087010082A patent/KR20080066717A/ko not_active Application Discontinuation
- 2006-09-28 AR ARP060104256A patent/AR056100A1/es active IP Right Grant
- 2006-09-28 AR ARP060104258A patent/AR056102A1/es active IP Right Grant
- 2006-09-28 AR ARP060104255A patent/AR055665A1/es active IP Right Grant
-
2008
- 2008-03-26 IL IL190457A patent/IL190457A0/en unknown
- 2008-04-01 NO NO20081605A patent/NO20081605L/no not_active Application Discontinuation
-
2009
- 2009-08-14 US US12/541,780 patent/US9088776B2/en not_active Expired - Fee Related
-
2012
- 2012-02-13 JP JP2012028725A patent/JP5562989B2/ja not_active Expired - Fee Related
- 2012-02-13 JP JP2012028724A patent/JP5677992B2/ja active Active
- 2012-05-17 JP JP2012113427A patent/JP2012199961A/ja active Pending
-
2013
- 2013-02-06 US US13/760,233 patent/US9071822B2/en active Active
- 2013-02-25 JP JP2013034669A patent/JP2013157994A/ja active Pending
- 2013-06-19 JP JP2013128473A patent/JP2013232935A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5289959B2 (ja) | コンテンツ情報に基づくスケーラビリティ技術 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110418 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110425 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110512 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110519 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110620 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110627 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120411 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120418 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120517 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120524 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120618 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120713 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130225 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130605 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5289959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |