KR20050105271A - 비디오 인코딩 - Google Patents
비디오 인코딩 Download PDFInfo
- Publication number
- KR20050105271A KR20050105271A KR1020057016398A KR20057016398A KR20050105271A KR 20050105271 A KR20050105271 A KR 20050105271A KR 1020057016398 A KR1020057016398 A KR 1020057016398A KR 20057016398 A KR20057016398 A KR 20057016398A KR 20050105271 A KR20050105271 A KR 20050105271A
- Authority
- KR
- South Korea
- Prior art keywords
- picture
- video
- video encoding
- encoding
- parameter
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims abstract description 47
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 230000004044 response Effects 0.000 claims abstract description 32
- 238000013139 quantization Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 2
- 230000008878 coupling Effects 0.000 claims 1
- 238000010168 coupling process Methods 0.000 claims 1
- 238000005859 coupling reaction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 14
- 238000007906 compression Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 229920000134 Metallised film Polymers 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Abstract
본 발명은 비디오 분석 프로세서(101) 및 비디오 인코더(103)를 포함하는 비디오 인코딩 장치(100)에 관한 것이다. 비디오 분석 프로세서(101)는 화상을 복수의 화상 영역들로 분할하는 세그먼테이션 프로세서(109)를 포함한다. 화상 특징 프로세서(111)는 상기 영역들 중 한 영역에 대한 텍스쳐 레벨과 같은 화상 특징을 결정하고 이에 응답하여 비디오 인코딩 선택기(113)는 이 영역에 대한 비디오 인코딩 파라미터를 선택한다. 비디오 인코딩 파라미터는 비디오 인코더(103)에 공급되며, 이 비디오 인코더 내의 비디오 인코드 프로세서(119)는 비디오 분석 프로세서(101)에 의해 외부 분석에 의해 결정되는 비디오 인코딩 파라미터를 사용하여 화상을 인코딩한다. 인코딩된 화상은 다시 비디오 분석 프로세서(101)에 공급되고 이 프로세스는 원하는 인코딩 수행성능이 달성될 때까지 반복된다. 이 장치는 특히 H.264 인코딩에 적합하고 외부 분석을 기초로 인코딩 파라미터들의 선택으로부터 수행성능을 개선시킨다.
Description
본 발명은 비디오 인코딩 장치 및 비디오 인코딩 방법에 관한 것이며, 특히 비디오 인코딩용 비디오 인코딩 파라미터들에 관한 것이다.
최근 몇년, 디지털 저장 장치의 사용 및 비디오 신호들의 분배가 확산되고 있다. 디지털 비디오 신호들을 전송하는데 필요로 되는 대역폭을 감소시키기 위하여, 디지털 비디오 신호의 데이터율을 실질적으로 감소시킬 수 있는 비디오 데이터 압축을 포함하여 효율적으로 디지털 비디오 인코딩을 사용하는 것이 널리 알려져 있다.
호환성을 위하여, 비디오 인코딩 표준들은 많은 전문가 및 소비자 애플리케이션들에서 디지털 비디오의 적응을 용이하게 하는 역할을 한다. 대부분의 영향있는 표준들은 통상적으로, 표준화 국제기구/국제 전자기술 위원회(ISO/IEC: the International Organization for Standardization/the International Electrotechnical Committee))의 MPEG(동화상 전문가 그룹(Motion Picture Experts Group)) 또는 국제 통신 조합(ITU-T: International Telecommunications Union))에 의해 개발되어 왔다. 권장된 ITU-T 표준들은 통상, 실시간 통시들(예를 들어, 화상회의)을 목적으로 하는 반면에, 대부분의 MPEG 표준들은 저장(예를 들어, DVD(Digital Versatile Disc) 및 방송(예를 들어, DVB(Digital Video Broadcast) 표준)에 최적화된다.
현재, 가장 폭넓게 사용되는 비디오 압축 기술들 중 한 가지 기술은 MPEG-2((동화상 전문가 그룹)표준으로 알려져 있다. MPE-2는 블럭 기반으로 한 압축 방식인데, 이 방식으로 프레임은 8개의 수직 및 8개의 수평 픽셀들을 각각 포함하는 복수의 블록들로 분할된다. 휘도 데이터의 압축을 위하여, 각 블록은 상당수의 변환된 데이터 값들을 제로로 감소시키는 양자화보다 앞서 이산 코사인 변환(DCT:discrete cosine transform)에 의해서 개별적으로 압축된다. 색도 데이터 압축을 위하여, 색도 량은 통상 다운 샘플링에 의해 가장 먼저 감소되어, 각 4개의 휘도 블록들에 대해서, 2개의 색도 블록들을 얻도록 (4:2:0 포맷)하는데, 이는 DCT 및 양자화를 사용하여 유사하게 압축된다. 단지 인트라-프레임 압축을 기초로 한 프레임들은 인트라 프레임들(I-프레임들)로 알려진다.
인트라-프레임 압축 이외에도, MPEG-2는 인터-프레임 압축을 사용하여 데이터율을 더욱 감소시킨다. 인터-프레임 압축은 이전 I-프레임들을 기초로 예측된 프레임들(P-프레임들)의 발생을 포함한다. 게다가, I 및 P 프레임들은 전형적으로 양방향 예측 프레임들(B-프레임들)에 의해 개입되는데, 여기서 압축은 단지 B-프레임 및 주변 I- 및 P-프레임들 간의 차들을 전송함으로써 달성된다. 게다가, MPEG-2는 모션 추정을 사용하는데, 여기서 상이한 위치들의 후속 프레임들에서 발견되는 하나의 프레임의 매크로블록들의 영상은 단지 모션 벡터의 사용에 의해 통신된다.
이들 압축 기술들에 따라서, 표준 TV 스튜디오 방송 품질 레벨의 비디오 신호들은 약 2-4Mbps의 데이터율들로 전송될 수 있다.
최근에, H.26L로서 알려진 새로운 ITU-T 표준이 출현했다. H.26L은 MPEG-2와 같은 기존 표준들과 비교하여 우수한 코딩 효율로 폭넓게 인식되고 있다. H.26L의 이득이 일반적으로 화상 크기에 비례하여 감소하지만, 이의 광범위한 응용들의 가능성은 의심할 여지가 없다. 이 가능성은 JVT(Joint Video Team) 포럼의 포메이션을 통해서 인식되어 왔는데, 이 JVT는 새로운 조인트 ITU-T/MPET 표준으로서 H.26L을 완성하는 역할을 한다. 새로운 표준은 H.264 또는 MPEG-4 AVC(고급 비디오 코딩: Advanced Video Coding)으로서 알려져 있다. 게다가, H.264-기반으로 한 해결책들은 DVB 및 DVD 포럼들과 같은 다른 표준화 기구들에서 고려된다.
H.264 표준은 MPEG-2와 같은 정립된 표준들로부터 알려진 블록-기반으로한 움직임 보상된 하이브리드 코딩의 동일한 원리들을 사용한다. 그러므로, H.264 신택스는 화상-, 슬라이스-, 및 매크로-블록 헤더들과 같은 통상적인 헤더들의 계층 및 모션 벡터들, 블록-변환 계수들, 양자화기 스케일 등과 같은 데이터로 구성된다. 그러나, H.264 표준은 비디오 데이터의 내용을 표시하는 비디오 코딩층(VCL: Video Coding Layer) 및 데이터를 포맷하여 헤더 정보를 제공하는 네트워크 적응층(NAL: Network Adaptation Layer)을 분할시킨다.
게다가, H.264는 인코딩 파라미터들의 선택을 크게 증가시킨다. 예를 들어, 이것은 16×16 매크로-블록들을 더욱 정교하게 구획 및 조정하여, 예를 들어, 움직임 보상 프로세스가 4×4 크기만큼 작은 매크로-블록의 세그먼테이션들에 대해 수행될 수 있도록 한다. 또한, 샘플 블록의 움직임 보상된 예측을 위한 선택 프로세스는 단지 인접 화상들 대신에 복수의 저장된 사전-디코딩된 화상들을 포함할 수 있다. 단일 프레임 내의 인트라 코딩으로도, 동일한 프레임으로부터 사전-디코딩된 샘플들을 사용하여 블록 예측을 형성할 수 있다. 또한, 움직임 보상 다음의 이 결과의 예측 에러는 통상적인 8×8 크기 대신에 4×4 블록 크기를 기초로 변환되고 양자화될 수 있다.
H.264 표준은 복수의 가능한 코딩 판정들 및 파라미터들을 확장시키면서, 비디오 데이터의 동일한 글로벌 구조를 사용한다는 점에서 MPEG-2 비디오 인코딩 신택의 슈퍼세트(superset)가 고려될 수 있다. 다양한 코딩을 갖는 것의 결과는 비트율 및 화상 품질 간에 양호한 트레이드-오프가 달성될 수 있다는 것이다. 그러나, H.264 표준은 블록-기반으로 한 코딩의 전형적인 아티팩트들(artefacts)을 크게 감소시키지만, 이는 또한 다른 아티팩트들을 두드러지게 할 수 있다는 것이 통상적으로 알려져 왔다.
H.264 표준이 각종 코딩 파라미터들의 가능한 값들의 수를 증가시켜, 인코딩 프로세스를 개선하는 잠재성을 증가시키지만, 또한 비디오 인코딩 파라미터들의 선택에 대한 감도도 증가시킨다. 다른 표준들과 유사하게, H.264는 비디오 인코딩 파라미터들을 선택하는 표준 절차를 규정하지 않지만, 리퍼런스 구현방식을 통해서 코딩 효율, 비디오 품질 및 실시성(practicality of implementation) 간의 적절한 트레이드-오프를 달성하도록 비디오 인코딩 파라미터들을 선택하는데 사용될 수 있는 복수의 기준을 설명한다.
그러나, 설명된 기준은 항상 코딩 파라미터들의 최적 또는 적절한 선택으로 귀결되지는 않는다. 예를 들어, 이 기준은 비디오 신호의 특징들에 최적 또는 바람직한 비디오 인코딩 파라미터들의 선택으로 귀결될 수 없거나, 이 기준은 현재 애플리케이션에 적합하지 않은 인코딩된 신호의 특징을 얻는 것에 기초할 수 있다.
따라서, 비디오 인코딩을 위한 개선된 시스템이 유리하고, 특히, 비디오 인코딩을 개선시키기 위하여 H.264와 같은 표준들의 출현 가능성들을 이용하는 개선된 비디오 인코딩 시스템이 유리하다. 구체적으로, 인코딩 파라미터들의 개선된 선택을 허용하는 비디오 인코딩 시스템이 바람직하다.
도1은 본 발명의 실시예를 따른 비디오 인코딩 장치의 블록도.
도2는 본 발명의 바람직한 실시예를 따른 비디오 인코딩 방법을 도시한 도면.
따라서, 본 발명은 단독으로 또는 어떤 조합으로 상술된 단점들중 한 가지 이상의 단점을 완화, 경감 또는 제거하고자 하는 것이다.
본 발명의 제1 양상을 따르면, 비디오 인코딩 장치로서, 인코딩을 위하여 화상을 수신하는 수단, 상기 화상을 복수의 영역들로 분할하는 수단, 복수의 화상 영역들 중 적어도 한 화상 영역에 대한 화상 특징을 결정하는 수단, 및 화상 특징에 응답하여 상기 적어도 하나의 화상 영역에 대한 비디오 인코딩 파라미터를 선택하는 수단을 포함하는 상기 비디오 인코딩 장치; 및 비디오 인코더로서, 인코딩을 위한 화상을 수신하는 수단, 비디오 분석 프로세서로부터 비디오 인코딩 파라미터를 수신하는 수단, 및 적어도 하나의 화상 영역에 대한 상기 비디오 인코딩 파라미터를 사용하여 상기 화상을 인코딩하는 수단을 포함하는, 상기 비디오 인코더를 포함한다.
본 발명은 외부 화상 및 비디오 분석에 응답하여 선택될 비디오 인코더용 하나 이상의 비디오 인코딩 파라미터들을 고려한다. 선택된 비디오 인코딩 파라미터는 하나 이상의 화상들에 대하여 사용될 수 있다. 외부 분석은 화상이 임의의 적절한 기준 또는 알고리즘에 따라서 상이한 화상 영역들로 분할되는 것을 허용하고, 비디오 인코더에서 수행되는 어떤 프로세스와 무관할 수 있다. 이는 효율적인 자원 사용 및 프로세싱 구획화를 허용하고 비디오 인코딩 파라미터가 단지 국부 공간 픽셀 분석(local spatial pixel analysis) 외에 파라미터들에 응답하여 결정되는 것을 허용한다. 이는 비디오 인코딩 파라미터의 개선된 선택을 허용하여 감소된 인코딩 데이터율 및/또는 개선된 인코딩된 비디오 품질을 허용한다.
게다가, 본 발명은 비디오 분석 프로세서에 의해 수행되는 외부 비디오 분석을 고려하여 상이한 영역들에서 비디오 인코딩 파라미터 선택을 위한 상이한 기준을 사용한다. 적어도 하나의 화상 영역에서 비디오 인코딩 파라미터들의 선택을 위한 기준은 이 영역의 특징들에 응답하여 선택될 수 있다. 이는 개별적인 영역의 특징들에 따라서 사용될 예를 들어 비트율 및 비디오 품질 간의 상이한 트레이드-오프들을 고려한다. 예를 들어, 이동 물체에 대한 비디오 인코딩 파라미터들은 주어진 품질 대 데이터율 트레이드-오프에 따라서 선택될 수 있는 반면에, 상이한 품질 대 데이터율 트레이드-오프는 배경 물체들에 대해서 사용될 수 있다. 그러므로, 본 발명은 상이한 영역들에서 상이한 상대 비디오 품질 레벨들을 허용한다. 이는 상이한 물체들의 상대 인지 중요도가 변할수 있는 상이한 애플리케이션들에 유용할 수 있다. 화상 자체는 인코딩된 신호일 수 있다.
본 발명은 개선된 비디오 인코딩을 허용하고 구체적으로 감소된 인코딩된 데이터율, 개선된 비디오 품질 및/또는 인코딩된 비디오 신호의 특징들 간의 개선된, 가변 및/또는 유연한 트레이드-오프를 허용할 수 있다. 본 발명은 구현하는데 적합한 복잡도가 낮고 유연성 있는 비디오 인코딩 장치를 허용한다.
본 발명의 특징을 따르면, 화상을 분할하는 수단은 화상의 세그먼테이션에 의해 복수의 화상 영역들을 결정하도록 동작될 수 있다. 이는 화상을 화상 영역들로 분할하는 적절한 접근법을 제공하는데, 이 화상 영역 각각에서 동일한 비디오 인코딩 파라미터가 유용하게 사용될 수 있다. 이 화상은 임의의 적절한 알고리즘 또는 기준에 따라서 상이한 영역들로 세그먼팅될 수 있다. 화상 세그먼테이션은 픽셀 값들로부터 및/또는 이들 값들에 대한 수학적인 계산들로부터 도출될 수 있는 특징들의 유사성을 기초로, 전체 화상을 반복적으로 분할하거나 화상 내의 픽셀들의 그룹들을 병합함으로써 수행될 수 있다. 이는 특정 컬러, 스펙트럼 특징들, 등을 갖는 영역들을 분할할 수 있게 한다. 화상들의 시퀀스에서, 예를 들어 움직임 보상을 위하여 사용되는 바와 같은 임의의 정합 기준 또는 알고리즘을 사용하여, 각 화상의 세그먼테이션을 개별적으로 수행하거나 한 화상을 연속적인 화상들로 세그먼테이션한 결과들을 투사 및 리파인(refine)할 수 있다.
본 발명의 다른 특징을 따르면, 화상의 세그먼테이션은 비디오 신호의 프레임들 간의 물체를 추적하는 것을 포함한다. 이는 화상 영역들로 분할을 용이하게 하며 및/또는 화상들간의 일치성(consistence) 및 상관성(correlation)을 증가시킨다. 예를 들어, 동일한 비디오 인코딩 파라미터들은 연속적인 화상들에서 동일한 물체에 대해 사용되어, 이 물체의 비디오 인코딩에서 일치성을 허용하고 인코딩된 화상의 잡음을 감소시킨다.
본 발명의 다른 특징을 따르면, 화상을 분할하는 수단은 화상 특징에 포함되지 않은 화상 특징들에 응답하여 복수의 화상 영역들을 분할하도록 동작될 수 있다. 따라서, 영역들의 유연한 선택은 비디오 인코딩 파라미터를 선택하는 기준과 무관하게 행해질 수 있다.이는 비디오 인코딩을 개선시키고 특히 비디오 품질을 개선 및/또는 인코딩된 신호의 데이터율을 감소시킨다. 예를 들어, 화상은 예를 들어, 복수의 이동 물체들 및 배경 물체들이 결정되도록 상이한 물체들의 이동 특징에 응답하여 복수의 영역들로 분할될 수 있다. 그러나, 각 영역 또는 물체의 비디오 인코딩 파라미터는 영역들 또는 블록들의 다른 특징에 응답하여 선택될 수 있고 이 선택 기준은 상이한 블록들에 대해 다르게 될 수 있다. 예를 들어, 비디오 인코딩 파라미터들은 이동 물체들에 대한 제1 품질 레벨 및 배경 물체들에 대한 두번째 높은 품질 레벨을 달성하도록 선택될 수 있고, 특정 인코딩 파라미터들은 개별적인 물체들의 주어진 화상 특징들(가령 고 주파수 컨텐트의 레벨)에 대한 적절한 품질 레벨을 달성하도록 선택될 수 있다.
본 발명의 다른 특징을 따르면, 화상을 분할하는 수단은 화상 특징들을 갖는 화상 영역으로서 적어도 하나의 화상 영역을 결정하도록 동작 가능하고, 비디오 인코딩 파라미터들에 대한 감도를 높힌다. 이것은 감응 영역들이 임의의 적절한 기준 또는 알고리즘에 따라서 결정되도록 하고 상대적으로 더 높은 품질 요구조건에 대해서, 이들 영역들에 대한 비디오 인코딩 파라미터들을 선택하도록 사용된다. 이는 인코딩된 비디오 신호의 비디오 품질을 개선시킨다.
본 발명의 다른 특징을 따르면, 화상을 분할하는 수단은 세그먼테이션 기준에 응답하여 복수의 세그먼트들로 화상을 분할하여 복수의 세그먼트들을 그룹화함으로써 적어도 제1 화상 여역을 결정하도록 동작될 수 있다. 이는 개별적인 세그먼트들을 그룹화함으로써 화상 영역들을 결정하는 방식을 복잡도를 낮추면서 효율적이 되도록 한다. 화상 영역은 화상에서 복수의 분할된 영역들을 포함할 수 있다.
본 발명의 다른 특징을 따르면, 복수의 세그먼트들로의 이 분할은 세그먼테이션 기준에 응답하고 그룹화는 복수의 세그먼트들의 비디오 인코딩 특징들에 응답한다. 이 세그먼테이션 기준은 특히, 동일한 비디오 인코딩 파라미터들로 유용하게 인코딩될 수 있는 영역들을 결정하는데 적합할 수 있다. 예를 들어, 화상 영역은 화상에서 이동 물체들에 대응하는 모든 세그먼트들을 그룹화함으로써 형성될 수 있다. 이것은 화상 영역들에 대한 비디오 인코딩 파라미터들을 선택하는데 효율적이며 복잡도를 낮추도록 하고 비디오 인코더 및 비디오 분석 프로세서 간의 인터페이스를 효율적이 되게 한다. 세그먼테이션 기준은 예를 들어 컬러 특징, 텍스쳐링 특징 및/또는 평활 또는 균일 특징과 같은 화상 특징들에 관계될 수 있다.
본 발명의 다른 특징을 따르면, 화상 특징은 텍스쳐 특징을 포함한다. 이는 주어진 텍스쳐 특징에 적합한 인코딩을 제공하도록 비디오 인코딩 파라미터를 선택하도록 한다. 특히, 이는 고 균일성의 에어리어들의 텍스쳐 특징들에 비디오 인코딩 파라미터들이 적응되도록 함으로써, H.264 또는 MPEG-4 AVC 비디오 인코더들과 같은 알려진 인코더들에서 통상적으로 만나는 "플래스티피케이션(plastification)" 또는 텍스쳐의 부분적인 스미어링(smearing)이 감소될 수 있다.
본 발명의 다른 특징을 따르면, 비디오 인코딩 장치는 비디오 인코더로부터 비디오 분석 프로세서로 인코딩된 화상을 결합시키는 수단을 더 포함하고 인코딩되는 화상에 응답하여 화상 특징을 발생시키도록 동작될 수 있다. 이는 비디오 인코딩 파라미터의 선택을 개선시키고 비디오 인코딩의 비디오 품질을 개선시키고 및/또는 데이터율을 감소시킨다. 화상 특징은 인코딩된 화상의 특징에 응답하여, 특히 비디오 인코딩과 관련된 특징에 응답하여 결정될 수 있다. 예를 들어, 비디오 인코딩 아티팩트들 및/또는 에러들이 결정되고 화상 특징을 결정시 사용될 수 있다. 예를 들어, 화상 특징은 영역 내의 인코딩된 신호의 품질 레벨과 관계될 수 있고 소망 품질 레벨을 더욱 근접하게 얻도록 비디오 인코딩 파라미터를 수정을 초래한다. 따라서, 비디오 인코딩 파라미터의 반복적인 비디오 인코딩 및 선택이 구현될 수 있다. 이 반복들은 예를 들어 주어진 인코딩된 비디오 품질 레벨이 달성될 때까지 1회 이상 반복될 수 있다.
본 발명의 다른 특징을 따르면, 비디오 인코딩 장치는 적어도 하나의 화상에 대한 비디오 인코딩 파라미터들 반복적으로 선택하고 적어도 하나의 화상 영역에 대한 비디오 인코딩 파라미터를 사용하여 상기 화상을 인코딩함으로써 화상을 인코딩하도록 동작될 수 있다. 이것은 비디오 인코딩에 의해 개선된 비디오 품질 및/또는 감소된 데이터율을 달성하도록 한다. 비디오 인코딩 파라미터의 반복적인 비디오 인코딩 및 선택이 구현될 수 있다.이 반복들은 예를 들어 주어진 인코딩된 비디오 품질 레벨이 달성될 때까지 1회 이상 반복될 수 있다.
본 발명의 다른 특징을 따르면, 비디오 인코딩 파라미터는 양자화 파라미터, 인코딩 블록형 파라미터, 인터 프레임 예측 모드 파라미터, 리퍼런스 화상 선택 파라미터 및/또는 역블록화 필터링 파라미터를 포함한다. 이들 파라미터들은 특히 화상 영역의 특징에 비디오 인코딩을 적응시키는데 적합하게 된다.
본 발명의 다른 특징을 따르면, 비디오 인코더는 H.264(또는 H.26L 또는 MPEG-4 AVC) 표준에 따라서 비디오 신호를 인코딩하도록 동작될 수 있다. 따라서, 본 발명은 개선된 H.264(또는 H.26L 또는 MPEG-4 AVC) 비디오 인코더 장치를 실행시킨다.
본 발명의 제2 양상을 따르면, 비디오 분석 프로세서 및 비디오 인코더를 갖는 비디오 인코딩 장치를 위한 비디오 인코딩 방법이 제공되는데, 이 방법은 비디오 분석 프로세서에서, 인코딩을 위하여 화상을 수신하는 단계, 상기 화상을 복수의 화상 영역들로 분할하는 단계, 상기 복수의 화상 영역들 중 적어도 하나의 화상 영역에 대한 화상 특징을 결정하는 단계, 상기 화상 영역의 화상 특징에 응답하여 상기 화상 영역에 대한 비디오 인코딩 파라미터를 선택하는 단계 및 상기 비디오 인코딩 파라미터를 상기 비디오 인코더에 공급하는 단계를 포함하고; 비디오 인코더에서, 인코딩을 위하여 상기 화상을 수신하는 단계, 상기 비디오 분석 프로세서로부터 상기 비디오 인코딩 파라미터를 수신하는 단계 및 각 화상 영역에 대한 상기 비디오 인코딩 파라미터들을 사용하여 상기 화상을 인코딩하는 단계를 포함한다.
본 발명의 특징을 따르면, 상기 방법은 상기 비디오 분석 프로세서에서, 상기 비디오 인코더로부터 상기 인코딩된 화상을 수신하는 단계, 상기 인코딩된 화상을 복수의 인코딩된 화상 영역들로 분할하는 단계, 상기 복수의 인코딩된 화상 영역들 중 적어도 하나의 인코딩된 화상 영역에 대한 인코딩된 화상 특징을 결정하는 단계, 상기 인코딩된 화상 영역의 상기 인코딩된 화상 특징에 응답하여 상기 인코딩된 화상 영역에 대한 제2 비디오 인코딩 파라미터를 선택하는 단계, 및 상기 비디오 인코더에 상기 제2 비디오 인코딩 파라미터를 공급하는 단계를 포함하고; 비디오 인코더에서, 상기 비디오 분석 프로세서로부터 상기 제2 비디오 인코딩 파라미터를 수신하는 단계 및 각 화상 영역에 대하여 상기 제2 비디오 인코딩 파라미터들을 사용하여 상기 화상을 인코딩하는 단계를 포함한다.
이는 상기 화상의 인코딩에 의해 비디오 품질을 개선 및/또는 데이터율을 감소시킨다. 비디오 인코딩 파라미터들의 반복적인 비디오 인코딩 및 선택이 구현될 수 있다. 이 반복들은 예를 들어 주어진 인코딩된 비디오 품질 레벨이 달성될 때까지 1회 이상 반복될 수 있다.
본 발명의 이들 및 다른 양상들, 특징들 및 장점들이 이하에 서술된 실시예(들)과 관련하여 명백하게 될 것이다.
본 발명의 실시예가 단지 예로서 첨부한 도면들을 참조하여 설명될 것이다.
이하의 설명은 H.26L, H.264 또는 MPEG-4 AVC 비디오 인코딩 표준들에 따른 비디오 인코딩에 적용될 수 있는 본 발명의 실시예에 초점을 둔 것이다. 그러나, 본 발명은 이 애플리케이션에만 제한되는 것이 아니라 많은 다른 비디오 인코딩 알고리즘들, 명세들 또는 표준들에 적용될 수 있다는 것을 인지할 것이다.
도1은 본 발명의 실시예를 따른 비디오 인코딩 장치(100)의 블록도이다.
비디오 인코딩 장치(100)는 비디오 분석 프로세서(101) 및 비디오 인코더(103)를 포함한다. 비디오 분석 프로세서(101) 및 비디오 인코더(103)는 외부 비디오 소스(105)에 결합되고, 이 소스로부터 인코딩될 비디오 신호가 수신된다. 비디오 분석 프로세서(101)는 비디오 소스(105)에 결합되는 프로세서 수신기(107)를 포함한다. 프로세서 수신기(107)는 인코딩될 비디오 신호를 수신한다. 비디오 신호는 인코딩될 복수의 화상들을 포함한다. 바람직한 실시예에서, 프로세서 수신기(107)는 화상의 비디오 분석 동안 화상을 저장하는 버퍼를 포함한다. 이 수신기는 화상을 복수의 화상 영역들로 분할하도록 동작될 수 있는 세그먼테이션 프로세서(109)에 결합된다. 이 화상은 임의의 적절한 알고리즘 또는 기준에 응답하여 2개 이상의 화상 영역들로 분할되고, 특히 이 화상은 주어진 기준이 부합되는 단일 화상 영역을 선택함으로써 2개의 화상 영역들로 분할될 수 있다.
세그먼테이션 프로세서(109)는 화상 특징 프로세서(111)에 결합된다. 화상 특징 프로세서(111)는 세그먼테이션 프로세서(109)에 의해 결정된 하나, 그 이상 또는 전체 화상 영역들에 관계된 데이터를 공급받는다. 응답시, 이 화상 특징 프로세서(111)는 복수의 화상 영역들중 적어도 한 화상 영역에 대한 화상 특징을 결정한다. 이 화상 특징은 바람직한 실시예에서 화상 영역의 비디오 인코딩의 수행성능에 영향을 미칠 수 있는 화상 영역의 특징을 표시한다. 예를 들어, 화상 특징은 화상 영역에 포함되는 화상의 공간 주파수 특징을 표시할 수 있다. 특히, 화상 특징은 화상 영역이 상대적으로 적은 량의 고주파수를 갖는 균일한 영상을 포함하거나 상대적으로 많은 량의 고주파수 성분들을 갖는 영상을 포함하는 지를 표시할 수 있다.
화상 특징 프로세서(111)는 화상 특징에 응답하여 적어도 하나의 화상 영역에 대한 비디오 인코딩 파라미터를 선택하도록 동작될 수 있는 비디오 인코딩 선택기(113)에 결합된다. 비디오 인코딩 선택기(113)는 바람직하게 화상 영역에 대하여 결정된 바와 같은 특징들을 갖는 영상의 인코딩에 특히 적합한 비디오 인코딩 파라미터를 선택한다. 일부 실시예들에서, 비디오 인코딩 파라미터는 상이한 비디오 인코딩 파라미터들의 그룹을 포함 및/또는 비디오 인코딩 파라미터를 위한 허용가능한 값들의 리스트를 포함할 수 있다. 그러므로, 어떤 경우들에, 특정 파라미터 값은 하나 이상의 비디오 인코딩 파라미터(들)에 대하여 선택될 수 있는 반면에, 다른 실시예에서, 허용가능한 값들의 범위를 갖는 비디오 파라미터가 선택될 수 있다. 따라서, 비디오 인코딩 파라미터는 결과적인 비디오 인코딩을 위한 인코딩 파라미터들의 선택을 위한 제약 또는 제한을 제공한다. 따라서, 바람직한 실시예에서, 비디오 인코딩 선택기(113)는 비디오 인코더(103)의 동작을 제어하거나 영향을 미친다.
비디오 인코더(103)는 비디오 분석 프로세서(101)로부터 비디오 인코딩 파라미터를 수신하기 위한 인터페이스(115)를 포함한다. 이 인터페이스(115)는 이에 따라서 비디오 인코딩 선택기(113)에 결합된다. 비디오 분석 프로세서(101)와 비디오 인코더(103) 간의 정보의 교환을 위한 프로토콜 및 인터페이스는 애플리케이션에 좌우되고 당업자는 특정 실시예에 적합하도록 선택될 수 있다.
비디오 인코더(103)는 비디오 소스(105)에 결합되고 이로부터 인코딩을 위한 화상을 수신하도록 동작될 수 있는 인코더 수신기(117)를 더 포함한다. 인코더 수신기(117) 및 인터페이스(115)는 적어도 하나의 화상 영역에 대한 비디오 인코딩 파라미터를 사용하여 화상을 인코딩하도록 동작될 수 있는 비디오 인코드 프로세서(119)에 결합된다. 따라서, 비디오 인코드 프로세서(119)는 비디오 분석 프로세서(101)에 의해 결정된 비디오 인코딩 파라미터를 사용하여 비디오 소스로부터 수신된 화상을 인코딩한다. 따라서, 비디오 인코딩은 비디오 분석 프로세서(101)의 프로세싱에 무관할 수 있는 비디오 분석 프로세서(101)의 외부 분석을 기초로 최적화될 수 있다. 바람직한 실시예에서, 비디오 인코드 프로세서(119)는 H.264 비디오 인코더이다.
바람직한 실시예에서, 비디오 인코드 프로세서(119)로부터 인코딩된 비디오 신호는 비디오 분석 프로세서(101)에 다시 결합된다. 특히, 비디오 인코드 프로세서(119)의 출력은 도1에 도시된 바와 같이 프로세서 수신기(107)에 결합될 수 있다. 이 피드백 결합은 비디오 분석 프로세서(101)가 화상 특징을 결정하고, 따라서, 인코딩된 신호를 기초로 비디오 인코딩 파라미터를 결정하도록 한다. 따라서, 비디오 인코딩 파라미터를 선택하고 이 화상을 인코딩하는 프로세스는 반복될 수 있다. 이는 비디오 인코딩의 품질 및/또는 효율을 개선시킨다. 화상 특징 및 비디오 인코딩 파라미터는 상이한 반복들에서 상이하게 될 수 있다.
그러므로, 바람직한 실시예에 따르면, H.264 코딩 파라미터들의 적응성은 공간 로컬 픽셀 분석으로 제한되는 것이 아니라 또한 세그먼테이션과 같은 화상 및 비디오 분석의 외부 방법을 포함할 수 있다. 그러므로, 보다 높은 레벨의 데이터 분류가 사용될 수 있고 특히, 보다 높은 레벨 분류 및 반복 접근법이 화상 화상들의 식별을 용이하게 할 수 있으며, 여기서 인코딩 아티팩트들이 나타나거나 특히 왜곡될 수 있다. 게다가 또는 대안적으로, 이들 아티팩트들을 감소시키기 위하여 인코딩 파라미터 적응성을 용이하게 할 수 있다.
도2는 본 발명의 바람직한 실시예를 따른 비디오 인코딩 방법을 도시한 것이다. 이 방법은 도1의 비디오 인코딩 장치에 적용될 수 있고 이와 관련하여 서술될 것이다. 서술된 실시예에서, 단계들(201 내지 209)는 비디오 분석 프로세서(101)에서 수행되고 단계들(211 내지 219)는 비디오 인코더(103)에 수행된다.
단계(201)에서, 프로세서 수신기(107)는 외부 비디오 소스(105)로부터 인코딩용 화상을 수신한다.
단계(203)가 단계(201)의 다음에 오는데, 여기서, 화상은 세그먼테이션 프로세서(109)에 공급되어, 복수의 화상 영역들로 분할된다. 간단한 실시예에서, 단일 화상 영역이 기준에 따라 선택될 수 있고, 상기 화상은 선택된 화상 영역 및 화상의 나머지를 포함하는 화상 영역에 존재하는 단지 두 개의 화상 영역들로 분할된다. 그러나, 바람직한 실시예에서, 상기 화상은 몇 개의 화상 영역들로 분할된다.
바람직한 실시예에서, 상기 화상은 화상의 세그먼테이션에 의해 화상 영역들로 분할된다. 바람직한 실시예에서, 화상 세그먼테이션은 공통의 특징(예를 들어, 컬러)에 기초한 픽셀들의 공간적인 그룹화의 프로세스를 포함한다. 화상 및 비디오 세그먼테이션에 대한 몇 가지 방법들이 존재하며, 각각의 유효성은 일반적으로 애플리케이션에 따를 것이다. 화상의 세그먼테이션을 위한 임의의 알려진 방법 또는 알고리즘이 본 발명을 손상시키지 않고 사용될 수 있다는 것을 인식할 것이다. 화상 또는 비디오 세그먼테이션의 도입은 E.스테인 바하(E. Steinbach), P. 에이서트(P. Eisert), B. 지로드(B. Girod)의 "움직임 기반의 분석 및3-D 신 모델들을 사용하는 이미지 시퀀스들의 세그먼테이션 (Motion-based Analysis and Segmentation of Image Sequences using 3-D Scene Models)", 신호 처리(Signal Processing): 특별 이슈(Special Issue): 컨텐트 기반의 처리 및 조정을 위한 비디오 시퀀스 세그먼테이션(Video Sequence Segmentation for Content-based Processing and Manipulation), vol.66, no.2, pp/233-248, 1998에서 확인될 수 있다.
화상 세그먼테이션은 전체 화상을 반복적으로 분할하거나, 픽셀들 및/또는 이러한 값들에 대한 수학적인 계산들로부터 유도될 수 있는 특징들의 유사성에 기초하여 화상 내의 픽셀들의 그룹들을 통합함으로써 수행될 수 있다. 이것은 어떤 색, 스펙트럼 특징 등을 가지는 영역들을 격리시키는 것을 가능하게 한다. 화상들의 시퀀스에서, 각각의 화상의 세그먼테이션을 별도로 수행하는 것, 또는 예를 들어, 움직임 보상을 위해 사용된 것과 같은 임의의 정합 기준 또는 알고리즘을 사용하여, 연속적인 화상들에 대해 한 화상의 세그먼테이션의 결과들을 투사하여 리파인하는 것이 가능하다.
이 방식으로 얻어진 화상 세그먼트는 일반적으로, 임의의 수의 픽셀들을 포함할 수 있고, 이것은 세그먼트 경계들이 임의의 기하학적 형태를 가질 수 있다는 것을 의미한다. 그러나, 블럭 기반의(H.264) 코딩 파라미터들 및 결정들의 적응을 위하여, 각각의 세그먼트는 결국 복수의 픽셀 블럭들 또는 하나 이상의 화상 슬라이스들(picture slices)을 포함할 것이다. 이 경우에, 불규칙한 세그먼트 경계들의 필요로 되는 재형성(reshaping)은 임의의 적절한 알고리즘 또는 기준에 기초하여 인접 세그먼트들 사이에서 픽셀들을 재할당함으로써 달성될 수 있다. 예를 들어, 어떤 블럭이 자신의 영역의 50% 이상이 최초 세그먼트와 중복되는 경우, 어떤 세그먼트에 포함될 것이라는 것을 의미하는 주요 기준이 사용될 수 있다. 대안으로, 세그먼테이션 프로세스 그 자체는 시작에서부터 픽셀들의 블럭-형태의 그룹들을 사용하여 동작하도록 제한될 수 있다.
바람직한 실시예에서, 세그먼테이션은 색 또는 균일성(또는 평활성)의 레벨과 같은 공통 특징에 응답하여 물체를 검출하는 단계, 및 그 결과로서 한 화상에서 다른 화상로 이 물체를 추적하는 것을 포함한다. 이것은 간소화된 세그먼테이션을 제공하며, 동일한 비디오 인코딩 파라미터들로 인코딩되는데 적합한 영역들의 식별을 용이하게 한다. 또한, 일부 실시예에서, 상이한 파라미터들은 영역에 대한 비디오 인코딩 파라미터를 결정하는데 사용된 화상 특징보다 세그먼테이션을 위해 사용될 수 있다. 예를 들어, 세그먼테이션은 유사한 컬러 콘텐트를 갖는 화상 에어리어들을 함께 그룹화할 수 있다. 따라서, 예를 들어, 비디오 신호가 풋볼 경기로 이루어지는 경우, 세그먼테이션은 두드러진 녹색 에어리어를 식별하고 이들을 함께 그룹화하는 것을 포함한다. 그러나, 결과적인 화상 영역에 대한 비디오 인코딩 파라미터는 녹색의 두드러짐(predominance)을 기초로 하는 것이 아니라, 이러한 에어리어들의 상세한 레벨 또는 텍스쳐에 응답하여 선택될 수 있다. 이것은 잔디에 주로 대응하는 화상의 에어리어들이 고 텍스쳐 에어리어를 효율적으로 인코딩하는데 적합한 파라미터들을 사용하여 식별되어 인코딩되도록 한다. 또한, 예를 들어, 선수들의 풋볼 셔츠들이 하나의 화상으로 식별되어 결과 화상들에서 이동 추정를 통하여 추적된다. 일례로서, 최초 화상이 세그먼팅되고, 얻어진 세그먼트들은 새로운 화상이 다시 독립적으로 세그먼팅될 때까지, 그 후의 화상들에 걸쳐 추적될 수 있다. 세그먼트 추적은 바람직하게는 알려진 이동 추정 기술들을 사용함으로써 수행된다.
바람직한 실시예에서, 화상 영역들은 비디오 인코딩 파라미터들의 유사한 선택들에 적합한 복수의 화상 에어리어들을 포함할 수 있다. 따라서, 화상 영역은 복수의 세그먼트들의 그룹화에 의해 형성될 수 있다. 예를 들어, 비디오 신호가 풋볼 경기에 대응하는 경우, 눈에 띄는 녹색을 갖는 모든 영역들은 하나의 화상 영역으로서 함께 그룹화될 수 있다. 다른 예로서, 팀들 중 하나의 셔츠들의 색에 대응하는 눈에 띄는 색을 갖는 모든 세그먼트들은 하나의 화상 영역으로 함께 그룹화될 수 있다.
화상 세그먼트들은 반드시 물리적인 물체들에 대응할 필요는 없다. 예를 들어, 두 개의 인접 세그먼트들은 상이한 물체들을 나타낼 수 있지만, 둘 모두 고도로 텍스쳐화될 수 있다. 이 경우에, 세그먼트 둘 모두는 비디오 인코딩 파라미터의 동일한 선택에 적합할 수 있다. 또한, 반복 방법이 구현되는 경우, 세그먼테이션은 H.264 비디오 인코딩으로부터 이용 가능한 코딩 통계들을 포함하거나, 오로지 이 통계들을 기초로 할 수 있다. 예를 들어, 두 개의 상이한 세그먼트들에서의 이동 데이터의 유사성은 이러한 두 개의 세그먼트들을 더 큰 세그먼트로 클러스터링(clustering)하기 위한 모티베이션(motivation)일 수 있다.
일부 실시예들에서, 화상이 분할되어 비디오 인코딩 파라미터들의 선택에 특히 민감한 하나 이상의 영역들이 결정되도록 한다. 예를 들어, H.264가 MPEG-2 비디오 인코딩의 일부 전형적인 아티팩트(artefact)들을 상당히 감소시킬 수 있지만, 이것은 또한 다른 아티팩트들을 초래할 수 있다는 것이 통상적으로 인정된다. 하나의 이와 같은 아티팩트는 텍스쳐의 부분적인 제거이며, 이것은 일부 화상 에어리어들의 플라스틱과 같은 외형을 발생시킨다. 이것은 고선명 TV와 같은 더 큰 화상 포맷들에 대해 특히 현저하다.
눈에 띄게 높은 주파수 특징으로 이루어지는 텍스쳐의 제거에 대한 가능한 설명은 H.264에서 16x16 매크로-블럭이 4x4 블럭 변환을 사용하여 변환될 수 있다는 것이다. 대조적으로, MPEG-2는 동일한 목적을 위하여 8x8 DCT 변환을 사용한다. 따라서, 더 작은 변환 블럭들을 사용함으로써, H.264는 (예를 들어 계수 웨이팅 또는 양자화로 인해) 연속적인 비디오 인코딩 동안 억제되기 더 쉬운 적은 수의 고 주파수 계수들을 남겨둔 채로, 신호 에너지를 더 큰 수의 저 주파수 계수들로 압축한다. 따라서, 일 실시예에서, 화상의 세그먼테이션은 고 레벨들의 텍스쳐를 갖는 에어리어들이 화상 영역으로서 식별되어 함께 그룹화되도록 될 수 있다. 그후, 비디오 인코딩 파라미터들이 고 텍스쳐 이미지들에 대한 고 품질의 인코딩을 보장하기 위하여 선택될 수 있다. 특히, 비디오 인코딩 파라미터는 MPEG-2 비디오 인코딩 파라미터들에 대응하도록 선택될 수 있는데, 그 이유는 이것들이 텍스쳐 정보의 상당히 낮은 손실을 발생시키는 것으로 알려져 있기 때문이다.
단계(205)가 단계(203) 다음에 오는데, 여기서, 복수의 화상 영역들 중 하나 이상의 화상 영역에 대한 화상 특징이 결정된다. 임의의 적절한 화상 특징이 본 발명을 손상시키기 않고 사용될 수 있다. 바람직하게는, 화상 특징은 화상 영역의 비디오 인코딩의 성능과 관련되는 하나 이상의 특징들을 포함한다. 예를 들어, 화상 특징은 화상 영역에 대한 공간적인 주파수 분포의 표시일 수 있다. 특히, 균일성 또는 평활성의 레벨이 결정될 수 있고, 바람직하게는, 화상 특징은 텍스쳐 특징을 포함한다. 텍스쳐 특징은 화상 영역 내의 블럭들에 대해 수행된 이산 코사인 변환(DCT)으로부터 결정될 수 있다. 더 높은 주파수 계수들에서 에너지의 집중이 높으면 높을수록, 텍스쳐 레벨이 더 높은 것으로 간주될 수 있다. 다른 화상 특징은 이동 추정 파라미터일 수 있고, 이것은 화상 영역에 관련된 오프젝트의 화상 내의 관련 속도를 나타낸다.
단계(207)가 단계(205) 다음에 오는데, 여기서, 비디오 인코딩 선택기(113)는 화상 영역의 화상 특징에 대응하는 화상 영역에 대한 비디오 인코딩 파라미터를 선택한다. 바람직한 실시예에서, 인코딩 블럭 유형 파라미터는 텍스쳐 특징들에 응답하여 선택된다. 따라서, 텍스쳐 특징이 고 레벨의 텍스쳐를 나타내는 경우, 큰 블럭이 선택되며, 낮은 텍스쳐 레벨이 표시되는 경우, 더 낮은 블럭 크기가 선택될 수 있다. 이것은 텍스쳐 정보의 감소된 손실을 제공하므로, 플래스티피케이션(plastification) 또는 텍스쳐 스미어링 효과(texture smearing effect)를 감소시킨다.
비디오 인코딩 파라미터는 부가적으로 또는 대안으로 다음을 포함하는 다른 파라미터를 포함할 수 있다:
양자화 파라미터: 양자화 파라미터는 비디오 인코딩 선택기(113)에 의해 선택될 수 있다. 예를 들어, 그 임계값 이하에서 인코딩 DCT를 따르는 모든 계수들이 0으로 설정되는 양자화 임계값이 설정될 수 있다. 임계값이 더 낮으면, 비트율이 감소되지만, 화상 품질이 또한 감소된다. 이동하는 물체 비디오 품질 레벨이 정지한 물체의 비디오 품질 레벨보다 인간의 지각(perception)에 덜 지각하므로, 양자화 임계값은 화상 특징의 증가된 이동 표시에 대해 감소될 수 있다.
인터 프레임 예측 모드 파라미터(inter frame prediction parameter): 예를 들어, 비디오 인코딩 파라미터는 인터 또는 인트라 프레임 예측 간을 선택하도록 설정, 및/또는 예측 블럭 크기가 화상 특징에 응답하여 설정될 수 있다.
리퍼런스 화상 선택 파라미터: 예를 들어, 보간법(interpolation) 또는 이동 추정을 위한 하나 이상의 화상 사용자가 화상 특징에 응답하여 선택될 수 있다. 대안으로 또는 부가적으로, 현재 화상의 인코딩에 대한 기준으로서 사용될 수 있는 화상들에 대한 제한이 선택될 수 있다.
역블록화 필터링 파리미터: 예를 들어, 역블록화 필터의 활성화 및/또는 필터링의 강도는 비디오 인코딩 선택기(113)에 의해 설정될 수 있다.
특정 예로서, 주어진 임계값 위의 텍스쳐 레벨을 포함한 화상 특징은 MPEG-2 비디오 인코딩에서 사용된 파라미터들과 밀접하게 관련되는 파라미터 값들을 포함하는 비디오 인코딩 파라미터가 선택되도록 할 수 있다. 따라서, 비디오 인코딩 파라미터는 MPEG-2 인코딩에 이용 가능한 파라미터 값들에 대응하는 파라미터 값들을 포함할 수 있다. 예를 들어, 인터 예측은 H.264 인코딩에 대하여 그것이 8x8 블럭들만을 사용하도록 제한될 수 있다. 비디오 인코딩 파라미터는 또한 가장 최근에 디코딩된 화상들만을 기초로 하도록 예측을 제한할 수 있다. 부가적으로, 변환 크기가 예측 블럭 크기[8]에 정합하는 것을 보장하기 위하여 적응형 블럭 변환(ABT: Adaptive Block Transformation)가 사용될 수 있다.
이것은 MPEG-2 인코딩에 대한 양호한 근사치를 발생시키는데, 그 이유는 MPEG-2가 단지 가장 최근에 디코딩된 화상들 및 8x8 변환(DCT)만을 사용하는 반면, 16x16 블럭들에 기초하여 인터 예측을 수행하기 때문이다. MPEG-2와 호환 가능한 파라미터들의 선택에 의하여, 특정 화상 영역에 대하여 MPEG-2와 동일한 비디오 인코딩 성능이 달성될 수 있다. 따라서, MPEG-2가 종래의 H.264 인코딩에 비하여 바람직한 성능을 제공할 것으로 예상되는 화상 영역이 결정될 수 있다. 그 특정 화상 영역에 대하여, H.264 인코더의 성능은 MPEG-2와 유사하거나 동일한 인코딩 파라미터들을 사용하도록 제어될 수 있다. 이 방식으로, MPEG-2 인코딩의 바람직한 성능이 H.264 인코더로부터 달성될 수 있다.
단계(209)가 단계(207)의 다음에 오는데, 여기서, 비디오 인코딩 파라미터가 비디오 인코더(103) 및 특히 인터페이스(115)에 제공된다.
단계(211 내지 219)는 비디오 인코더(103)에서 수행된다. 단계(211)에서, 인코더 수신기(117)는 외부 비디오 소스(105)로부터 인코딩될 화상을 수신한다. 도2는 단계(209) 다음의 단계(211)를 도시한 것이지만, 전형적으로 단계들(201 및 211)은 동시에 실행된다. 특히, 인코더 수신기(117)는 비디오 분석 프로세서(101)가 비디오 인코딩 파라미터를 결정할 때까지, 화상을 저장하는 버퍼를 포함할 수 있다.
단계(213)에서, 인터페이스(115)는 비디오 인코딩 선택기(113)로부터 비디오 인코딩 파라미터를 수신한다. 전형적으로, 단계(209 및 213)는 동시에 행해진다.
단계(215)에서, 비디오 인코드 프로세서(119)는 각각의 화상 영역에 대한 비디오 인코딩 파라미터를 사용하여 화상을 인코딩한다. 비디오 인코딩은 바람직한 실시예에서, H.264를 따르며, 비디오 인코더는 H.264 비디오 인코더이다. 그러나, 인코딩 프로세스는 수신된 비디오 인코딩 파라미터, 및 비디오 분석 프로세서(101)에 의해 제어된다. 특히, 비디오 인코딩 파라미터는 비디오 인코드 프로세서(119)가 인코딩을 수행하는 시간 사이를 선택할 수 있는 복수의 가능한 파라미터 선택들을 포함할 수 있다.
바람직한 실시예에서, 인코딩된 비디오 신호는 프로세서 수신기(107)로 피드백되고, 비디오 분석 프로세서(101)는 인코딩된 비디오 신호에 기초하여 다른 분석을 수행한다. 그러므로, 단계(217)에서, 비디오 인코더(103)는 반복 프로세스가 종료되었는지를 결정한다. 그러한 경우, 인코딩된 화상은 단계(219)에서 출력된다.
반복이 종료되지 않은 경우, 상기 방법은 단계(201)로 복귀하고, 단계(201 내지 209)가 반복되지만, 이 시간은 외부 화상 소스로부터 수신된 원래 화상 보다는 오히려 인코딩된 화상을 기초로 한다. 따라서, 제2 반복에서, 프로세서 수신기(107)는 단계(201)에서 비디오 인코더로부터 인코딩된 화상을 수신하고, 세그먼테이션 프로세서(109)는 단계(203)에서 인코딩된 화상을 복수의 인코딩된 화상 영역들로 분할하고, 화상 특징 프로세서(111)는 단계(205)에서 복수의 인코딩된 화상 영역들 중 하나 이상의 인코딩된 화상 영역에 대한 인코딩된 화상 특징을 결정하고, 비디오 인코딩 선택기(113)는 단계(207)에서 인코딩된 화상 영역의 인코딩된 화상 특징에 응답하여 인코딩된 화상 영역에 대한 제2 비디오 인코딩 파라미터를 선택하여, 단계(209)에서 상기 제2 비디오 인코딩 파라미터를 비디오 인코더에 제공한다.
이러한 제2 반복에서, 화상 특징 및 비디오 파라미터 선택은 인코딩된 신호의 특징들을 기초로 할 수 있고, 특히 비디오 인코딩 특징들, 통계 및 에러들에 응답하여 결정될 수 있다. 이것은 많은 경우들에서 프로세스를 용이하게 한다. 예를 들어, 텍스쳐 레벨은 주어진 화상 영역 내의 매크로-블럭들의 인코딩의 DCT 계수들의 계수값으로부터 직접 결정될 수 있다. 따라서, 반복은 비디오 인코딩을 개선되도록 하며, 희망하는 비디오 인코딩 성능을 달성하도록 하기 위하여 비디오 인코딩 파라미터들이 미세 조정되도록 한다.
제2 비디오 인코딩 파라미터는 그 후에 비디오 인코더(103)에 제공되며, 화상은 제2 비디오 인코딩 파라미터를 사용하여 재-인코딩된다.
상기 프로세스는 재-인코딩된 비디오 신호를 프로세서 수신기(107)로 제공하여 서술된 단계들을 반복함으로써 더 반복될 수 있다. 상기 프로세스는 바람직한 회수만큼 반복될 수 있다. 예를 들어, 상기 프로세스는 주어진 품질 레벨이 달성되거나, 주어진 계산 자원 또는 시간이 사용될 때까지 반복될 수 있다.
반복 인코딩의 제안된 개념은 특히 오프-라인 멀티-패스 인코딩에 적합하다. 본 출원에서, 입력 비디오 신호는 복수의 반복들로 인코딩되며, 여기서 각각의 반복 이후에 얻어진 코딩 통계는 다음 반복에 대한 코딩 파라미터들을 조정하는데 사용된다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 임의의 적절한 형태로 구현될 수 있다. 그러나, 바람직하게는, 본 발명은 하나 이상의 데이터 프로세서들 및 또는 디지털 신호 프로세서들 상에서 실행되는 컴퓨터 소프트웨어로서 구현된다. 본 발명의 실시예의 구성요소들 및 성분들은 임의의 적절한 방식으로 물리적으로, 기능적으로 그리고 논리적으로 구현될 수 있다.
본 발명이 바람직한 실시예와 관련하여 설명되었을지라도, 본 발명은 본원에 설명된 특정 형태에 한정되지 않는다. 오히려, 본 발명의 범위는 단지 첨부된 청구항들에 의해서 한정된다. 청구항들에서, "포함하다"라는 용어는 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 또한, 개별적으로 목록화된, 복수의 수단들, 요소들 또는 방법 단계들은 예를 들어, 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 부가적으로, 개별적인 특징들이 상이한 청구항들에서 포함될 수 있을지라도, 이들은 유용하게 결합될 수 있고, 상이한 청구항들에 포함되는 것은 특징들의 결합이 실행 가능하지 않고/않거나 유용하지 않다는 것을 나타내지는 않는다. 또한, 단수의 참조들이 복수를 배제하지는 않는다. 그러므로, 단수표현, "제1", "제2" 등에 대한 참조들이 복수를 배제하지 않는다.
Claims (20)
- 비디오 인코딩 장치(100)에 있어서,-비디오 분석 프로세서(101)로서,-인코딩을 위하여 화상을 수신하는 수단(107),-상기 화상을 복수의 화상 영역들로 분할하는 수단(109),-상기 복수의 화상 영역들 중 적어도 한 화상 영역에 대한 화상 특징을 결정하는 수단(111), 및-상기 화상 특징에 응답하여 상기 적어도 하나의 화상 영역에 대한 비디오 인코딩 파라미터를 선택하는 수단(113)을 포함하는, 상기 비디오 분석 프로세서(101); 및-비디오 인코더(103)로서,-인코딩을 위한 상기 화상을 수신하는 수단(117),-상기 비디오 분석 프로세서로부터 상기 비디오 인코딩 파라미터를 수신하는 수단(115), 및-상기 적어도 하나의 화상 영역에 대한 상기 비디오 인코딩 파라미터를 사용하여 상기 화상을 인코딩하는 수단(119)을 포함하는, 상기 비디오 인코더(103)를 포함하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 화상을 분할하는 수단(109)은 상기 화상의 세그먼테이션에 의해 상기 복수의 화상 영역들을 결정하도록 동작 가능한, 비디오 인코딩 장치.
- 제2항에 있어서,상기 화상의 세그먼테이션은 비디오 신호의 화상들 사이에서 물체를 추적하는 것을 포함하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 화상을 분할하는 수단(109)은 상기 화상 특징에 포함되지 않는 화상 특성들에 응답하여 상기 복수의 화상 영역들을 분할하도록 동작 가능한, 비디오 인코딩 장치.
- 제1항에 있어서,상기 화상을 분할하는 수단(109)은 비디오 인코딩 파라미터들에 높은 감도를 발생시키는 화상 특징을 갖는 화상 영역으로서 상기 적어도 하나의 화상 영역을 결정하도록 동작 가능한, 비디오 인코딩 장치.
- 제1항에 있어서,상기 화상을 분할하는 상기 수단(109)은 세그먼테이션 기준에 응답하여 복수의 세그먼트들로 상기 화상을 분할하고 복수의 세그먼트들을 그룹화함으로써 상기 적어도 제1 화상 영역을 결정하도록 동작 가능한, 비디오 인코딩 장치.
- 제6항에 있어서,상기 복수의 세그먼트들로의 상기 분할은 세그먼테이션 기준에 응답하고 상기 그룹화는 상기 복수의 세그먼트들의 비디오 인코딩 특징들에 응답하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 화상 특징은 텍스쳐 특징을 포함하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 비디오 인코더로부터 상기 인코딩된 화상을 상기 비디오 분석 프로세서(101)에 결합시키는 수단을 더 포함하고, 상기 비디오 분석 프로세서(101)는 상기 인코딩된 화상에 응답하여 상기 화상 특징을 발생하도록 동작 가능한, 비디오 인코딩 장치.
- 제9항에 있어서,상기 비디오 인코딩 장치(100)는 상기 적어도 하나의 화상에 대하여 비디오 인코딩 파라미터를 반복적으로 선택하고 상기 적어도 하나의 화상 영역에 대한 상기 비디오 인코딩 파라미터를 사용하여 상기 화상을 인코딩함으로써 상기 화상을 인코딩하도록 동작 가능한, 비디오 인코딩 장치.
- 제1항에 있어서,상기 비디오 인코딩 파라미터는 양자화 파라미터를 포함하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 비디오 인코딩 파라미터는 인코딩 블록형 파라미터를 포함하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 비디오 인코딩 파라미터는 인터 프레임 예측 모드 파라미터를 포함하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 비디오 인코딩 파라미터는 리퍼런스 화상 선택 파라미터를 포함하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 비디오 인코딩 파라미터는 역블록화 필터링 파라미터(de-blocking filtering parameter)를 포함하는, 비디오 인코딩 장치.
- 제1항에 있어서,상기 비디오 인코더(119)는 H.26L 표준에 따라서 상기 비디오 신호를 인코딩하도록 동작 가능한, 비디오 인코딩 장치.
- 비디오 분석 프로세서(101) 및 비디오 인코더(103)를 갖는 비디오 인코딩 장치(100)를 위한 비디오 인코딩 방법(200)으로서,-상기 비디오 분석 프로세서(101)에서,-인코딩을 위하여 화상을 수신하는 단계(201),-상기 화상을 복수의 화상 영역들로 분할하는 단계(203),-상기 복수의 화상 영역들 중 적어도 하나의 화상 영역에 대한 화상 특징을 결정하는 단계(205),-상기 화상 영역의 상기 화상 특징에 응답하여 상기 화상 영역에 대한 비디오 인코딩 파라미터를 선택하는 단계(207), 및-상기 비디오 인코딩 파라미터를 상기 비디오 인코더에 공급하는 단계(209)를 포함하고;-상기 비디오 인코더(103)에서,-인코딩을 위하여 상기 화상을 수신하는 단계(211),-상기 비디오 분석 프로세서로부터 상기 비디오 인코딩 파라미터를 수신하는 단계(213), 및- 각 화상 영역에 대한 상기 비디오 인코딩 파라미터들을 사용하여 상기 화상을 인코딩하는 단계(215)를 포함하는, 비디오 인코딩 방법.
- 제17항에 있어서,-상기 비디오 분석 프로세서에서,-상기 비디오 인코더로부터 상기 인코딩된 화상을 수신하는 단계,-상기 인코딩된 화상을 복수의 인코딩된 화상 영역들로 분할하는 단계,-상기 복수의 인코딩된 화상 영역들 중 적어도 하나의 인코딩된 화상 영역에 대한 인코딩된 화상 특징을 결정하는 단계,-상기 인코딩된 화상 영역의 상기 인코딩된 화상 특징에 응답하여 상기 인코딩된 화상 영역에 대한 제2 비디오 인코딩 파라미터를 선택하는 단계, 및-상기 제2 비디오 인코딩 파라미터를 상기 비디오 인코더로 공급하는 단계를 포함하며,-상기 비디오 인코더에서,-상기 비디오 분석 프로세서로부터 상기 제2 비디오 인코딩 파라미터를 수신하는 단계, 및-각 화상 영역에 대한 상기 제2 비디오 인코딩 파라미터들을 사용하여 상기 화상을 인코딩하는 단계를 포함하는, 비디오 인코딩 방법.
- 제18항에 따른 방법을 실행하는 컴퓨터 프로그램.
- 제19에 청구된 바와 같은 컴퓨터 프로그램을 포함하는 기록 캐리어.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP03100521.8 | 2003-03-03 | ||
| EP03100521 | 2003-03-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050105271A true KR20050105271A (ko) | 2005-11-03 |
Family
ID=32946914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020057016398A KR20050105271A (ko) | 2003-03-03 | 2004-02-25 | 비디오 인코딩 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20060204115A1 (ko) |
| EP (1) | EP1602242A2 (ko) |
| JP (1) | JP2006519564A (ko) |
| KR (1) | KR20050105271A (ko) |
| CN (1) | CN1757240A (ko) |
| WO (1) | WO2004080050A2 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101374851B1 (ko) * | 2006-01-10 | 2014-03-14 | 톰슨 라이센싱 | 4:4:4 코딩의 병렬 구현을 위한 방법 및 장치 |
| KR101377833B1 (ko) * | 2006-08-30 | 2014-03-26 | 톰슨 라이센싱 | 분석적이고 경험적인 하이브리드 인코딩 왜곡 모델링을 위한 방법 및 장치 |
| KR101378079B1 (ko) * | 2006-04-20 | 2014-03-28 | 톰슨 라이센싱 | 중복 비디오 코딩을 위한 방법 및 장치 |
| KR101380580B1 (ko) * | 2006-08-02 | 2014-04-02 | 톰슨 라이센싱 | 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치 |
| KR20150129096A (ko) * | 2012-08-13 | 2015-11-19 | 구루로직 마이크로시스템스 오이 | 인코더 및 방법 |
| US10333547B2 (en) | 2012-08-13 | 2019-06-25 | Gurologic Microsystems Oy | Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6977659B2 (en) | 2001-10-11 | 2005-12-20 | At & T Corp. | Texture replacement in video sequences and images |
| US7606435B1 (en) * | 2002-02-21 | 2009-10-20 | At&T Intellectual Property Ii, L.P. | System and method for encoding and decoding using texture replacement |
| US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| US9578345B2 (en) * | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
| US9743078B2 (en) * | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
| JP4533081B2 (ja) * | 2004-10-12 | 2010-08-25 | キヤノン株式会社 | 画像符号化装置及びその方法 |
| JP4335779B2 (ja) * | 2004-10-28 | 2009-09-30 | 富士通マイクロエレクトロニクス株式会社 | 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法 |
| JP4877449B2 (ja) * | 2004-11-04 | 2012-02-15 | カシオ計算機株式会社 | 動画像符号化装置および動画像符号化処理プログラム |
| US8135068B1 (en) * | 2005-07-19 | 2012-03-13 | Maxim Integrated Products, Inc. | Method and/or architecture for motion estimation using integrated information from camera ISP |
| US7859574B1 (en) * | 2005-07-19 | 2010-12-28 | Maxim Integrated Products, Inc. | Integrated camera image signal processor and video encoder |
| US7733380B1 (en) * | 2005-07-19 | 2010-06-08 | Maxim Integrated Products, Inc. | Method and/or architecture for controlling encoding parameters using integrated information from camera ISP |
| WO2007034383A2 (en) | 2005-09-19 | 2007-03-29 | Koninklijke Philips Electronics N.V. | Image coding |
| JP4666255B2 (ja) * | 2005-12-27 | 2011-04-06 | 日本電気株式会社 | 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置 |
| BRPI0713916A2 (pt) * | 2006-07-10 | 2012-11-06 | Thomson Licensing | métodos e aparelhagens para desempenho aperfeiçoado junto a um codificador de vìdeo com múltiplas passagens |
| KR101514359B1 (ko) * | 2007-06-12 | 2015-04-22 | 톰슨 라이센싱 | 슬라이스 데이터에 관한 다중 과정 비디오 구문 구조를 지원하는 방법 및 장치 |
| CN102413330B (zh) * | 2007-06-12 | 2014-05-14 | 浙江大学 | 一种纹理自适应视频编解码系统 |
| CN102325257A (zh) * | 2007-07-20 | 2012-01-18 | 富士胶片株式会社 | 图像处理设备和图像处理方法 |
| JP2009049979A (ja) * | 2007-07-20 | 2009-03-05 | Fujifilm Corp | 画像処理装置、画像処理方法、画像処理システム、及びプログラム |
| WO2009063554A1 (ja) * | 2007-11-13 | 2009-05-22 | Fujitsu Limited | 符号化装置および復号装置 |
| JP5269088B2 (ja) * | 2007-11-16 | 2013-08-21 | トムソン ライセンシング | ビデオをエンコードするシステムおよび方法 |
| WO2010036772A2 (en) * | 2008-09-26 | 2010-04-01 | Dolby Laboratories Licensing Corporation | Complexity allocation for video and image coding applications |
| US8902985B2 (en) | 2009-06-22 | 2014-12-02 | Panasonic Intellectual Property Corporation Of America | Image coding method and image coding apparatus for determining coding conditions based on spatial-activity value |
| JP5705833B2 (ja) | 2010-04-13 | 2015-04-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法および画像復号化方法 |
| AU2011201336B2 (en) * | 2011-03-23 | 2013-09-05 | Canon Kabushiki Kaisha | Modulo embedding of video parameters |
| US9179156B2 (en) * | 2011-11-10 | 2015-11-03 | Intel Corporation | Memory controller for video analytics and encoding |
| US8751800B1 (en) | 2011-12-12 | 2014-06-10 | Google Inc. | DRM provider interoperability |
| US9197888B2 (en) | 2012-03-13 | 2015-11-24 | Dolby Laboratories Licensing Corporation | Overlapped rate control for video splicing applications |
| US9258389B2 (en) * | 2012-08-13 | 2016-02-09 | Gurulogic Microsystems Oy | Encoder and method |
| GB2505169B (en) * | 2012-08-13 | 2016-03-16 | Gurulogic Microsystems Oy | decoder and method |
| US10412414B2 (en) | 2012-08-13 | 2019-09-10 | Gurulogic Microsystems Oy | Decoder and method for decoding encoded input data containing a plurality of blocks or packets |
| CA2942336A1 (en) | 2014-03-10 | 2015-09-17 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
| US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| JP6340567B2 (ja) * | 2014-05-30 | 2018-06-13 | 株式会社アクセル | 動画再生方法及び動画再生システム |
| KR102437698B1 (ko) * | 2015-08-11 | 2022-08-30 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 이미지 인코딩 방법 |
| CN105357524B (zh) * | 2015-12-02 | 2020-04-28 | 广东中星微电子有限公司 | 一种视频编码方法及装置 |
| US11830225B2 (en) | 2018-05-30 | 2023-11-28 | Ati Technologies Ulc | Graphics rendering with encoder feedback |
| US11823421B2 (en) * | 2019-03-14 | 2023-11-21 | Nokia Technologies Oy | Signalling of metadata for volumetric video |
| CN113453001A (zh) * | 2020-03-24 | 2021-09-28 | 合肥君正科技有限公司 | 一种利用isp信息自适应分配qp提高h264编码效率的方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6956573B1 (en) * | 1996-11-15 | 2005-10-18 | Sarnoff Corporation | Method and apparatus for efficiently representing storing and accessing video information |
| WO1998035501A2 (en) * | 1997-02-06 | 1998-08-13 | Koninklijke Philips Electronics N.V. | Image segmentation and object tracking method and corresponding system |
| US6404813B1 (en) * | 1997-03-27 | 2002-06-11 | At&T Corp. | Bidirectionally predicted pictures or video object planes for efficient and flexible video coding |
| US6539124B2 (en) * | 1999-02-03 | 2003-03-25 | Sarnoff Corporation | Quantizer selection based on region complexities derived using a rate distortion model |
| US6600786B1 (en) * | 1999-04-17 | 2003-07-29 | Pulsent Corporation | Method and apparatus for efficient video processing |
| US6618439B1 (en) * | 1999-07-06 | 2003-09-09 | Industrial Technology Research Institute | Fast motion-compensated video frame interpolator |
| GB2357650A (en) * | 1999-12-23 | 2001-06-27 | Mitsubishi Electric Inf Tech | Method for tracking an area of interest in a video image, and for transmitting said area |
| GB2371434A (en) * | 2001-01-19 | 2002-07-24 | Motorola Inc | Encoding and transmitting video data |
| US7627171B2 (en) * | 2003-07-03 | 2009-12-01 | Videoiq, Inc. | Methods and systems for detecting objects of interest in spatio-temporal signals |
-
2004
- 2004-02-25 WO PCT/IB2004/050144 patent/WO2004080050A2/en active Application Filing
- 2004-02-25 KR KR1020057016398A patent/KR20050105271A/ko not_active Application Discontinuation
- 2004-02-25 CN CNA200480005851XA patent/CN1757240A/zh active Pending
- 2004-02-25 US US10/547,322 patent/US20060204115A1/en not_active Abandoned
- 2004-02-25 JP JP2006506638A patent/JP2006519564A/ja not_active Withdrawn
- 2004-02-25 EP EP04714403A patent/EP1602242A2/en not_active Withdrawn
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101374851B1 (ko) * | 2006-01-10 | 2014-03-14 | 톰슨 라이센싱 | 4:4:4 코딩의 병렬 구현을 위한 방법 및 장치 |
| US9445113B2 (en) | 2006-01-10 | 2016-09-13 | Thomson Licensing | Methods and apparatus for parallel implementations of 4:4:4 coding |
| KR101378079B1 (ko) * | 2006-04-20 | 2014-03-28 | 톰슨 라이센싱 | 중복 비디오 코딩을 위한 방법 및 장치 |
| KR101380580B1 (ko) * | 2006-08-02 | 2014-04-02 | 톰슨 라이센싱 | 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치 |
| KR101377833B1 (ko) * | 2006-08-30 | 2014-03-26 | 톰슨 라이센싱 | 분석적이고 경험적인 하이브리드 인코딩 왜곡 모델링을 위한 방법 및 장치 |
| KR20150129096A (ko) * | 2012-08-13 | 2015-11-19 | 구루로직 마이크로시스템스 오이 | 인코더 및 방법 |
| US10333547B2 (en) | 2012-08-13 | 2019-06-25 | Gurologic Microsystems Oy | Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1757240A (zh) | 2006-04-05 |
| WO2004080050A3 (en) | 2004-12-29 |
| US20060204115A1 (en) | 2006-09-14 |
| EP1602242A2 (en) | 2005-12-07 |
| JP2006519564A (ja) | 2006-08-24 |
| WO2004080050A2 (en) | 2004-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20050105271A (ko) | 비디오 인코딩 | |
| JP6863669B2 (ja) | 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法 | |
| JP2006519565A (ja) | ビデオ符号化 | |
| US10013746B2 (en) | High dynamic range video tone mapping | |
| US20070140349A1 (en) | Video encoding method and apparatus | |
| US8406297B2 (en) | System and method for bit-allocation in video coding | |
| US8363728B2 (en) | Block based codec friendly edge detection and transform selection | |
| US11743475B2 (en) | Advanced video coding method, system, apparatus, and storage medium | |
| CN1695381A (zh) | 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强 | |
| WO1999016012A1 (en) | Compression encoder bit allocation utilizing colormetric-adaptive weighting as in flesh-tone weighting | |
| CA2886995C (en) | Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components | |
| CN110996102B (zh) | 抑制p/b帧中帧内块呼吸效应的视频编码方法及装置 | |
| WO2005094083A1 (en) | A video encoder and method of video encoding | |
| US20070223578A1 (en) | Motion Estimation and Segmentation for Video Data | |
| JP4532607B2 (ja) | ブロック・ベースのコード化システムにおいてコード化モードを選択するための装置および方法 | |
| CN107409211A (zh) | 一种视频编解码方法及装置 | |
| KR20060085003A (ko) | Ｈ．２６４／ａｖｃ에서의 시방향 에러은닉 방법 | |
| Davies | A Modified Rate-Distortion Optimisation Strategy for Hybrid Wavelet Video Coding | |
| WO2016193949A1 (en) | Advanced video coding method, system, apparatus and storage medium | |
| US20060239344A1 (en) | Method and system for rate control in a video encoder | |
| WO1999059342A1 (en) | Method and system for mpeg-2 encoding with frame partitioning | |
| WO2010066037A1 (en) | Systems and methods for deblocking sequential images by determining pixel intensities based on local statistical measures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |