KR20100074250A - 비디오 압축용 루프내 충실도 향상 - Google Patents

비디오 압축용 루프내 충실도 향상 Download PDF

Info

Publication number
KR20100074250A
KR20100074250A KR1020107009894A KR20107009894A KR20100074250A KR 20100074250 A KR20100074250 A KR 20100074250A KR 1020107009894 A KR1020107009894 A KR 1020107009894A KR 20107009894 A KR20107009894 A KR 20107009894A KR 20100074250 A KR20100074250 A KR 20100074250A
Authority
KR
South Korea
Prior art keywords
block
fidelity enhancement
video frame
information
fidelity
Prior art date
Application number
KR1020107009894A
Other languages
English (en)
Other versions
KR101169447B1 (ko
Inventor
쇼우 민 레이
위 원 황
šœ 구오
Original Assignee
미디어텍 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 인크. filed Critical 미디어텍 인크.
Publication of KR20100074250A publication Critical patent/KR20100074250A/ko
Application granted granted Critical
Publication of KR101169447B1 publication Critical patent/KR101169447B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

비디오 프레임을 수신하고 부호화 처리들을 수행하여 부호화된 비트스트림을 생성하는 부호기는, 4진-트리 파티션을 사용하여 비디오 프레임에 대해 충실도 향상 기법을 수행하며, 4진-트리 파티션 구조에 연관된 매개변수를 포함하는 충실도 향상 정보를 생성하는 충실도 향상 블록; 및 충실도 향상 블록에 연결되어, 충실도 향성 정보를 부호화하고, 부호화된 충실도 향상 정보를 부호화된 비트스트림 속에 삽입하는 엔트로피 부호화 블록을 구비한다.

Description

비디오 압축용 루프내 충실도 향상{In-loop fidelity enhancement for video compression}
본 발명은 2007년 IEEE 국제 영상처리 학술대회(2007 IEEE International Conference on Image Processing) (ICIP2007)의 논문집에 있는 Stephen Wittmann 및 Thomas Wedi의 논문인 "Transmission of post-filter hints for video coding schemes"와 유럽 특허출원공개 EP 1 841 230 A1를 인용하며, 그것들은 여기에 참조로서 포함된다.
차세대 비디오 부호화 방법들은 가능한 한 많이 데이터를 압축함으로써 최대 효율을 달성하는 것을 목표로 한다. 데이터가 상당히 압축될 수 있다면 높은 품질의 비디오가 스트림화될 수 있고 대역 제한된 네트워크들을 통해 전달될 수 있다. H.264/AVC 부호화 표준은 비디오 부호화 표준의 일 예이다. H.264 표준은 블록 움직임 보상을 변환 부호화와 결합시킨다. 변환 부호화는 프레임 내의 공간적 용장성을 제거하는 반면, 블록 움직임 보상은 프레임들 사이의 용장성을 제거한다.
비디오 부호화는 다음 4 부분에서 수행된다: 예측, 변환, 양자화 및 엔트로피 부호화. 부호화 측에서, 예측(prediction)은 동일한 프레임의 화소들을 참조하는 인트라(intra) 예측과, 선행 프레임의 화소들을 참조하는 인터(inter) 예측으로 구성될 수 있다. 변환(transformation)은 예측 잔차들(prediction residues)의 에너지를 저 주파수 대역들 쪽으로 밀집시키기 위해 예측 잔차들을 계수들로 바꾼다. 양자화(quantization)는 프레임을 표현할 수 있는 비트 수를 더욱 줄이기 위해 더 작은 비트-깊이 수의 표현으로 라운딩하는 값에 의해 프레임의 변환 계수들을 분할한다. 최종 단계인 엔트로피 부호화는 양자화된 변환 계수들 및 다른 매개변수들의 무손실 표현에 관계한다. 복호화 측은 이 동작들의 역을 수행하여 재구성된 화소들을 생성한다. 복호화 및 부호화 처리들 둘 다는 한 프레임의 부호화된/복호화된 매크로블록들이 재구성된 다음 다음 프레임의 부호화 정보를 생성하기 위해 예측 유닛에 다시 입력되는 폐루프를 포함한다. 다음 프레임들의 예측을 위해 원본 프레임보다는 재구성된 프레임을 사용하는 것은 프레임들 사이의 흔들림(drift)을 방지한다.
H.264 표준은 인트라 예측 및 인터 예측 둘 다를 이용하고, 블록 기반 부호화를 수행한다. 한 프레임을 매크로블록들로 분할하는 것과 각 매크로블록을 개별적으로 부호화하는 것은 블록 가장자리들에서 아티팩트들이 만들어지게 할 수 있다, 즉 이웃하는 블록들의 부호화 모드들 또는 움직임 벡터들이 보통은 다르므로 블록들 간에는 시각적인 분리가 존재한다. 이들 아티팩트를 없애기 위해, 대부분의 블록-기반 부호화 기법들은 닫힌 부호화 루프 내에 디블록킹(deblocking) 필터를 구비한다. 이 디블록킹 필터는 블록 가장자리들에서의 아티팩트들을 완화할 수 있지만, 블록들 내의 양자화 에러들을 제거할 수는 없다. 큰 양자화 값을 이용하여 높은 충실도(fidelity)로 부호화가 수행될 때, 디블록킹 필터 단독으로는 충분하지 않다.
위너(Wiener) 필터가 잡음 있는 부호화된 신호를 원본 신호에 더 가깝게 되게 하기 위해 부호화된 신호로부터 잡음 성분들을 제거하는 동작을 한다. 신호 s가 전형적인 시스템에 입력될 때, 그 신호는 어느 정도 교란되어 원본 신호 s와는 다른 신호 s'가 될 것이다. 이것은 부가 잡음의 결과이다. 위너 필터의 목적은 이들 두 신호 사이의 평균자승에러를 최소화시켜 결과적인 필터링된 신호 s^ 교란된 신호 s'보다 원본 신호 s에 더 가깝게 되도록 하는 것이다. 위너 필터는 자기상관(auto-correlation) 매트릭들과 필터 계수들을 사용하여 상호상관(corss correlation) 매트릭들을 생성하는 동작을 한다.
유럽공개특허공보 EP 1 841 230 A1은 부호기 측 및 복호기 측 둘 다에서 구현된 위너 필터를 교시한다. 이 위너 필터는 그러므로 상호상관 매트릭, 이 매트릭에 연관된 부호기 매개변수들을 먼저 생성하고, 이 매개변수들을 비트스트림에 삽입하고 그것들을 복호화를 위해 복호기에 송신하여, 복호기에서는 복호화된 프레임에서 양자화 에러들을 감소하여 더 높은 충실도를 확보하는데 사용될 수 있다.
본 발명은 부호기 측 및 복호기 측 둘 다에서 구현되는 복수 개의 충실도 향상 방법들과 장치를 도입하여 전술한 유럽공개특허에 제공된 시스템에 대해 개선하고자 한다.
비디오 프레임을 수신하고 부호화 처리들을 수행하여 부호화된 비트스트림을 생성하는 부호기는, 4진 트리(quad-tree) 파티션을 옵션으로 이용하여 처리된 데이터에 제1 충실도 향상 기법을 수행하고, 제1 충실도 향상 기법에 연관된 적어도 하나의 매개변수를 포함하는 충실도 향상 정보를 생성하는 충실도 향상 블록; 및 충실도 향상 블록에 결합되어, 충실도 향상 정보를 부호화하고, 부호화된 충실도 향상 정보를 비트스트림에 삽입하는 엔트로피 부호화 블록을 포함한다.
비디오 프레임을 부호화하는 제1 방법은, 비디오 프레임을 수신하는 단계; 4진-트리 파티션 방법을 사용하여 현재 프레임을 구획하는 방법을 결정하는 단계; 결정 결과에 따라 현재 프레임을 구획한 다음, 현재 프레임에 대해 위너 필터링을 수행하여 위너 필터링 매개변수들을 생성하는 단계; 및 위너 필터링 매개변수들로써 비디오 프레임을 부호화하여 부호화된 비트스트림을 생성하는 단계를 포함한다.
비디오 프레임을 부호화하는 제2 방법은, 비디오 프레임을 수신하는 단계; 처리된 데이터에 대해 충실도 향상을 수행하여 충실도 향상 정보를 생성하는 단계; 수신된 비트스트림을 부호화하여 부호화된 비트스트림을 생성하는 단계; 충실도 향상 정보를 부호화하고, 부호화된 충실도 향상 정보를 부호화된 비트스트림의 꼬리(tail)에 삽입하는 단계; 및 비트스트림에서 충실도 향상 정보의 위치를 가리키는 포인터를 생성하고, 그 포인터를 부호화된 비트스트림의 헤더에 위치시키는 단계를 포함한다.
본 발명의 이러한 및 다른 목적들은 다양한 그림들 및 도면들로 도시되는 다음의 바람직한 실시예의 상세한 설명을 읽고 난 후에는 이 기술분야의 통상의 기술자들에게는 의심 없이 명백하게 될 것이다.
본 발명은 부호기 측에 복수 개의 충실도 향상 기법들을 제공함으로써 위너 필터링을 부호기 측에서 사용하고 관련된 필터링 정보를 부호화된 비트스트림에 삽입하는 아이디어를 확장하는데, 관련된 정보는 부호화된 비트스트림에 유사하게 삽입될 수 있다. 본 발명은 또한 위너 필터링과 같은 충실도 향상을 4진-트리 파티션에 따라 분할된 프레임에 대해 수행하고 계산 결과들을 재사용하기도 하는 방법을 제공한다. 끝으로, 본 발명은 FE 정보의 위치를 나타내기 위해 비트스트림의 헤더에 포인터를 제공함으로써 FE 정보가 비트스트림의 헤더에 삽입되지 않은 경우에도 FE 정보에 즉시 액세스하는 복호기용 수단을 제공한다.
도 1는 본 발명의 제1 실시예에 따른 부호기의 도면이다.
도 2는 본 발명의 제1 실시예에 따른 복호기의 도면이다.
도 3는 본 발명의 제2 실시예에 따른 부호기의 도면이다.
도 4는 본 발명의 제2 실시예에 따른 복호기의 도면이다.
도 5는 본 발명의 제3 실시예에 따른 부호기의 도면이다.
도 6는 본 발명의 제3 실시예에 따른 복호기의 도면이다.
도 7는 본 발명의 제4 실시예에 따른 부호기의 도면이다.
도 8는 본 발명의 제4 실시예에 따른 복호기의 도면이다.
도 9는 다중-레벨 4진-트리 파티션을 도시하는 도면이다.
본 발명은 위너 필터링을 부호기에서 확장하여 복수 개의 충실도 향상 방법들을 제공하고, 이 충실도 향상 방법들에 관련한 정보가 부호화되고 비트스트림에 삽입되게 하는 것을 목표로 한다. 이런 식으로, 복호기가 수신된 비트스트림을 복호화할 때, 삽입된 충실도 향상 정보는 처리된 데이터에 대한 충실도 향상을 수행하기 위해 복호기 측에서 검색되고 사용된다. 이것은 부호기 측 및 복호기 측 둘 다에서 충실도 향상 블록의 많은 상이한 배치(placements)와 처리된 데이터에 대해 많은 상이한 기법들이 수행될 때, 양자화 에러들의 감소를 가능하게 할 뿐만 아니라, 복원된 비디오 프레임의 전체 품질의 증가를 보장하기도 한다.
충실도 향상 방법들을 비디오 부호기들 및 복호기들에 적용하는 목적은, 에러들을 말소함으로써 충실도를 향상하는 것인데; 충실도 향상 방법의 예들로는, 칼만(Kalman) 필터링, 노이즈 감소, 디블러링(deblurring), 위너 필터링, 회귀(regression), 정규화(regularization), 및 DC 오프셋(0차)과 같은 각종 불일치 모델링, 가중 예측(1차, 예컨대, ax+b), 공간적 예측, 예를 들면, 고차 예측(예컨대, av2+bv+c), 라인 필터링(ax+b, ay+b), 곡선 필터링(av2+bv+c, ay2+by+c), 평면 필터링(ax+by+c), 및 표면 필터링(ax2+bxy+cy2+dx+ey+f)이 있지만, 이것들로 한정되지는 않는다.
이들 충실도 향상 기법은 부호기의 다수의 스테이지들에서 처리된 데이터에 대해 수행될 수 있음에 주목해야 한다. 다음의 개시내용은 4개의 예시적인 실시예를 제공하지만, 본 발명의 범위는 이들 4개의 실시예에 한정되지는 않을 것이다. 더욱이, 하나를 넘는 충실도 향상 블록이 부호기에 (그리고 복호기에서 상응하는 위치에) 위치되는 변형예들 역시 본 발명의 범위 내에 든다.
부호기에서 사용될 수 있는 복수 개의 충실도 향상 방법들을 제공하는 것뿐만 아니라, 본 발명은 상기 충실도 향상 기법들을 수행하는 복수 개의 방도들과 새로운 비트스트림 신택스를 추가로 제공한다.
위너 필터링을 슬라이스 및 블록 레벨에서 수행하는 것이 통상적이다. 본 발명은 그러나 처리된 데이터에 4진-트리 파티션 방법을 사용하여 충실도 향상을 수행한다. 4진-트리 파티션을 사용하여 비디오 프레임을 분할함으로써, 충실도 향상은 비용 함수를 최소화하는 그런 방식으로 수행될 수 있다. 일부 프레임들에서는, 예를 들면, 최소의 양자화 에러들이 프레임의 절반에 존재하고, 그러므로 조금 작은 범위의 계산들이 요구된다. 프레임의 다른 절반에서는, 역으로, 더 많은 수의 양자화 에러들이 존재하고, 그러므로 더 넓은 범위의 계산들이 양자화 에러들을 최소화하기 위해 요구된다. 그러한 경우, 더 많은 양자화 에러를 가지는 프레임 절반을 다른 프레임 절반보다는 작은 영역들로 분할하는 것이 이치에 맞다. 4진-트리 파티션은 그러므로 비용함수 분석을 사용하여 프레임을 구획하는 최선의 방식을 결정함으로써 적응적 충실도 향상 방법을 제공한다.
도 9는 4진-트리 파티션을 가지는 비디오 프레임(900)의 일 예이다. 비디오 프레임(900)의 처리된 데이터는 충실도 향상 블록, 예를 들면, 위너 필터에 제공되고, 충실도 향상 블록은 먼저 비용함수 비교에 기초하여 4진-트리 파티션 구조를 결정한다. 충실도 향상 블록은 최소 비용을 가지는 4진-트리 파티션 구조를 결정하기 위하여, 하향식(top-down) 분할 알고리즘, 상향식(bottom-up) 병합 알고리즘, 또는 어떤 종류의 순서를 채용하여, 각각의 후보 4진-트리 파티션 구조에 상응하는 비용함수를 순차적으로 계산할 수 있다. 비용함수의 일 예는 레이트 왜곡 함수(J=D+λr)이다. 하향식 분할 알고리즘의 경우, 비디오 프레임(900)은 4개의 제1레벨 부분들로 먼저 분할되며, 미분할 프레임에 상응하는 비용함수와, 4개의 제1레벨 부분들(분할된 프레임)에 상응하는 비용함수가 비교되고, 파티션은 더 작은 비용함수를 가지는 것을 따른다. 후자의 비용함수가 더 작다면, 제1레벨 부분들의 각각은 4개의 제2레벨 부분들로 추가 분할되고, 미분할 및 분할된 제1 레벨 부분에 상응하는 비용함수들은 제1레벨 부분을 분할하는 것이 필요한지를 결정하기 위해 비교된다. 도 9의 비디오 프레임(900)은 2개의 제1레벨 부분들을 프레임의 왼쪽 아래와 오른쪽 상단에서 보이는데, 그것들은 제2레벨 부분들로 추가 분할되지는 않지만, 다른 2개의 제1레벨 부분들은 추가 분할된다. 마찬가지로, 제2레벨 부분의 각각은 제3레벨 부분들로 분할되고 비용함수들이 비교되고, 이 하향식 분할 알고리즘은 소정의 파티션 레벨에 도달될 때 종료된다.
상향식 병합 알고리즘의 경우, 충실도 향상 블록은 가장 작은 부분들의, 예를 들면, 제3레벨 부분들에 대해 비용함수를 계산하는 것으로 시작하며, 4개의 제3레벨 부분들에 상응하는 비용함수는 이들 4개의 제3레벨 부분으로 구성된 더 큰 영역에 상응하는 비용함수와 비교된다. 4개의 제3레벨 부분들은 제2레벨 부분의 비용함수가 더 낮다면 제2레벨 함수로 병합된다. 4개의 제2레벨 부분들 역시 비용함수 비교 후에 제1레벨 부분으로 병합될 수 있다. 충실도 향상 블록에 의해 최종적으로 결정된 4진-트리 파티션 구조는 엔트로피 부호화 스테이지에서 비트스트림에 삽입될 것인 충실도 향상 정보 중의 하나가 될 수 있다.
충실도 향상을 4진-트리 파티션으로 수행할 때, 더 작은 영역에 대한 각각의 계산 결과는 상기 더 작은 영역을 담고 있는 더 큰 영역에 의해 충분히 재사용될 수 있다. 그런 재사용 방법은 상향식 병합 및 하향식 분할 알고리즘들 둘 다에 적용될 수 있다. 더 작은 영역들에 대응하는 계산 결과들은 먼저 계산될 수 있고, 그런 다음 이들 계산 결과는 더 큰 영역의 계산을 위해 재사용될 수 있다. 충실도 향상을 위해 위너 필터를 사용하는 실시예에서, 상호상관 및 자기상관 매트릭들을 포함하는 필터 매개변수들이 생성된다. 어떤 파티션 방법들, 이를테면 4진-트리 파티션 방법들이 수행될 때, 필터링된 프레임의 어떤 영역들은 그 영역의 크기에 따라서는 재-필터링될 것이다. 본 발명은 그러므로 이 위너 필터링을 위한 재사용 방법을 제공하는데 이 방법에서 더 작은 영역을 위한 상호상관 및 자기상관 매트릭들은 더 작은 영역으로 구성된 더 큰 영역에 대해 필터링이 수행될 때 더 큰 영역을 위해 재사용된다. 이것은 계산 시간을 절약한다.
충실도 향상 매개변수들은 보통은 부호화되고 부호화된 비트스트림의 꼬리에 삽입된다. 비트스트림의 꼬리에 충실도 향상 매개변수들을 제공하는 것은 비트스트림의 꼬리가 복호화되기까지 복호기가 충실도 향상을 수행하는 것을 시작할 수 없다는 것을 의미하므로, 일부 기존의 방법들은 헤더에 충실도 향상 정보를 위치시킨다. 이 방법은 그러나 비트스트림의 재-연쇄화(re-catenation)를 필요로 한다. 본 발명은 그러므로 비트스트림의 꼬리에 충실도 향상 정보를 여전히 삽입하지만, 비트스트림에서 충실도 향상 정보의 위치를 가리키는 포인터를 헤더 속에 위치시킨다. 예를 들면, 이 포인터는 헤더 및 꼬리 사이의 비트 수에 관한 정보를 줄 수 있다. 이것은 포인터(해더 속의)가 복호화되자마자 복호기가 충실도 향상 정보를 탐색하는 것을 허용하고, 그러므로 충실도 향상 매개변수들을 얻기 전에 복호기가 전체 비트스트림을 복호화했을 경우보다 훨씬 복호기는 빨리 충실도 향상 수행을 시작할 수 있다. 충실도 향상 매개변수들이 비트스트림의 꼬리에 삽입되어야 할 필요는 없고 포인터는 비트스트림 내의 어느 지점에 저장되는 임의의 정보일 수 있는데, 포인터는 부호기에 의해 변형될 수 있기 때문이고, 그러므로 적응적 포인터이다.
이들 방법 중의 적어도 하나 또는 모두는 위에서 상술한 충실도 향상 블록에 의해 사용될 수 있다. 다음의 도면들은 충실도 향상 블록의 각종 위치들을 도시할 것이고, 추가로 충실도 향상 블록의 동작을 설명할 것이다.
도 1을 참조한다. 도 1은 충실도 향상(FE) 블록(160)을 포함하는 부호기(100)의 도면이다. 부호기(100)는 인트라 예측 블록(110), 인터(ME/MC) 예측 블록(120), 감산기(132), 변환 블록(134), 양자화 블록(136), 역변환 블록(142), 역양자화 블록(138), 재구성부(170), 디블록킹 유닛(140), 참조 프레임 버퍼(130) 및 엔트로피 부호화부(180)를 포함한다. 충실도 향상 블록(160) 외에, 부호기(100)의 다른 구성요소들은 당업자에게 잘 알려진 것이고, 그러므로 이들 구성요소의 기능 및 동작은 여기서는 상세하게 설명되지 않을 것이다. 충실도 향상 블록(160)은 참조 프레임 버퍼(130)로부터 하나 이상의 참조 프레임들의 처리된 데이터를 수신하며, 참조 프레임의 처리된 데이터 및 현재 프레임의 데이터 사이의 불일치를 줄이고, 보상 처리된 데이터를 예측을 위해 인터(ME/MC) 예측 블록에 제공한다. 충실도 향상 블록(160)은 위에 열거된 충실도 향상 방법들 중의 적어도 하나를 블록, 슬라이스 또는 4진-트리 레벨에서 수행할 수 있다. 충실도 향상 블록(160)은 충실도 향상을 수행하고 FE 관련 매개변수들을 생성할 때 위에 열거된 방법들 중의 하나 이상을 사용할 수도 있다. 바꾸어 말하면, 도 1에 개시된 바와 같은 FE 블록(160)은 위너 필터링을 수행할 때 자기상관 및 상호상관 매트릭들을 재사용할 수 있고, 생성된 FE 정보는 부호화된 비트스트림의 꼬리 속에 삽입될 수 있는 반면 부호화된 비트스트림의 헤더에 있는 적응적 포인터를 이용하여 비트스트림에서 충실도 향상 정보의 위치를 복호기에 알려줄 수 있다.
도 2를 참조한다. 도 2는 본 발명의 제1 실시예에 따른 복호기(200)의 도면이다. 복호기(200) 역시 부호기(100)의 FE 블록(160)에 대한 대응 위치에 충실도 향상 블록(270)을 구비한다. 이것은 부호기(100)에 의해 생성된 충실도 향상 정보가 복호기(200)에 의해 최적으로 사용될 수 있는 것을 보장한다. 복호기(200)는 엔트로피 복호화부(240), 인트라 예측 블록(210), 움직임 보상(MP) 부(220), 참조 프레임 버퍼(230), 역양자화 블록(256), 역변환 블록(242), 재구성부(250) 및 디블록킹 유닛(260)을 더 포함한다. 이를 유닛들의 기능 및 동작은 당업자에게 잘 알려진 것이므로, 관련된 세부 설명은 간결함을 위해 여기서는 포함되지 않는다. 엔트로피 복호화부(240)는 수신된 비트스트림으로부터 잔차 및 충실도 향상 정보와 같은 정보를 검색한다. 일부 실시예들에서, 엔트로피 복호화부(240)는 헤더를 복호화하는 중에 수신된 비트스트림에서 충실도 향상 정보의 위치를 가리키는 포인터를 얻는다. 그러면 충실도 향상 블록(270)은 엔트로피 복호화부(240)로부터 충실도 향상 정보를 수신하고 참조 프레임 버퍼에 저장된 하나 이상의 참조 프레임들의 처리된 데이터에 대하 충실도 향상을 실행한다. 일부 실시예들에서, 충실도 향상 정보는 특정 4진-트리 파티션 구조를 나타내는 정보를 포함하고, 충실도 향상 블록은 특정 4진-트리 파티션 구조에 따라서 필터링 또는 불일치 모델링을 수행한다.
도 3 및 도 4를 참조한다. 도 3과 도 4는 본 발명의 제2 실시예에 따른 부호기(300) 및 복호기(400) 각각의 도면이다. 부호기(300)와 복호기(400) 각각은 FE 블록(160, 270)을 구비한다. 디블록킹 유닛(140) 뒤에 위치된 부호기(300)의 FE 블록(160)은 현재 프레임의 처리된 데이터와 현재 프레임의 원본 데이터(즉, 미처리 데이터) 사이의 에러들을 감소시키는데 사용되고, 보상 처리된 데이터를 생성한다. FE 블록(160)으로부터의 보상 처리된 데이터는 참조 프레임 버퍼(130)에 저장된다. 도 3 및 4에 보인 각 블록의 동작 및 기능은 도 1 및 2에 보인 개별 블록들과 동일하고, 그러므로 모든 번호들은 동일하게 유지되었다는 것에 주목해야 한다.
도 5~8을 참조한다. 도 5~8은 본 발명의 제3 실시예에 따른 부호기(500), 본 발명의 제3 실시예에 따른 복호기(600), 본 발명의 제4 실시예에 따른 부호기(700), 및 본 발명의 제4 실시예에 따른 복호기(800) 각각의 도면이다. 각 실시예와의 차이는 FE 블록의 위치이다. 각 도면에서 FE 블록은 위너 필터링을 포함한 충실도 향상 기법들을 수행할 수 있다. 일부 실시예들에서, 4진-트리 파티션이 채용되고, 재사용 방법은 계산 시간을 더 줄일 수 있다. 예를 들면, 위너 필터링이 더 작은 영역에 대해 수행된 다음 상기 더 작은 영역을 포함하는 더 큰 영역에 대해 수행될 때, 이미 생성된 상호 및 자기 상관 매트릭들은 필터링을 위해 다시 사용될 수 있다. 더욱이, 각각의 개시된 부호기는 비트스트림에서 충실도 향상 정보의 위치를 나타내기 위해 부호화된 비트스트림의 헤더에 있는 적응적 포인터를 사용할 수 있다. 제3 실시예에서, 도 5에 보인 바와 같이, FE 블록(160)은 현재 프레임의 처리된 데이터에 대해 충실도 향상을 수행하여 변환 블록(134), 양자화 블록(136), 역양자화 블록(138), 및 역변환 블록(142) 처리들에 의해 도입된 에러들을 줄인다. 제4 실시예에서, 도 7에 보인 바와 같이, FE 블록(160)은 현재 프레임의 처리된 데이터에 대해 충실도 향상을 수행하여 양자화 블록(136) 및 역양자화 블록(138) 처리들에 의해 도입된 에러들을 줄인다.
개시된 FE 블록이 위의 도면들에서 개시된 단일 위치로 한정되지 않고, 복수 개의 위치들에 복수 개의 FE 블록들을 포함하는 부호기 및 복호기 역시 본 발명의 범위 내에 있다는 것이 당업자에게는 명백할 것이다. 부호기 및 복호기의 각각의 FE 블록에 대해 상이한 충실도 향상 방법들을 수행하는 것도 가능하다. FE 블록들이 위에서 개시된 방법들 모두(FE 정보의 위치를 가리키는 포인터, 4진-트리 파티션, 4진-트리 파티션의 계산 결과의 재사용 등)를 수행하는 것은 필요하지 않고, 위에 개시된 충실도 향상 기법들 중의 일부 또는 하나만을 수행하는 FE 블록 역시 본 발명의 범위 내에 속한다는 것도 이해될 것이다.
본 발명은 부호기 측에 복수 개의 충실도 향상 기법들을 제공함으로써 위너 필터링을 부호기 측에서 사용하고 관련된 필터링 정보를 부호화된 비트스트림에 삽입하는 아이디어를 확장하는데, 관련된 정보는 부호화된 비트스트림에 유사하게 삽입될 수 있다. 본 발명은 또한 위너 필터링과 같은 충실도 향상을 4진-트리 파티션에 따라 분할된 프레임에 대해 수행하고 계산 결과들을 재사용하기도 하는 방법을 제공한다. 끝으로, 본 발명은 FE 정보의 위치를 나타내기 위해 비트스트림의 헤더에 포인터를 제공함으로써 FE 정보가 비트스트림의 헤더에 삽입되지 않은 경우에도 FE 정보에 즉시 액세스하는 복호기용 수단을 제공한다.
이 기술분야의 숙련된 자들은 장치 및 방법의 수많은 변형과 개조가 본 발명의 가르침을 담은 채로 만들어질 수 있다는 것을 쉽사리 알아차릴 것이다. 따라서, 위의 개시내용은 첨부의 청구항들의 범위의 경계에 의해서만 제한되어야 할 것이다.
110: 인트라 예측 블록 120: 인터(ME/MC) 예측 블록
130: 참조 프레임 버퍼 132: 감산기
134: 변환 블록 136: 양자화 블록
138: 역양자화 블록 140: 디 블록킹 유닛
142: 역변환 블록 160: 충실도 향상(FE) 블록
170: 재구성(REC)부 180: 엔트로피 부호화부

Claims (26)

  1. 비디오 프레임을 수신하고 부호화 처리들을 수행하여 부호화된 비트스트림을 생성하는 부호기에 있어서,
    4진 트리(quad-tree) 파티션을 이용하여 처리된 데이터에 대해 충실도 향상 기법을 수행하고, 4진-트리 파티션 구조에 연관된 적어도 하나의 매개변수를 포함하는 충실도 향상 정보를 생성하는 충실도 향상 블록; 및
    충실도 향상 블록에 결합되어, 충실도 향상 정보를 부호화하고, 부호화된 충실도 향상 정보를 부호화된 비트스트림에 삽입하는 엔트로피 부호화 블록을 포함하는 부호기.
  2. 제1항에 있어서, 충실도 향상 기법은 위너 필터링, 칼만 필터링, 노이즈 감소, 디블러링, 회귀, 및 정규화를 포함하는 것을 특징으로 하는 부호기.
  3. 제1항에 있어서, 충실도 향상 블록은 위너 필터링을 수행하며, 비디오 프레임의 더 작은 영역에 대해 자기상관 및 상호상관 매트릭들을 생성하고, 더 큰 영역이 더 작은 영역을 포함할 때 비디오 프레임의 더 큰 영역을 위한 자기상관 및 상호상관 매트릭들을 재사용하는 것을 특징으로 하는 부호기.
  4. 제1항에 있어서, 충실도 향상 기법은 DC 오프셋 보상, 가중 예측, 및 공간적 예측을 포함하는 불일치 모델링 기법인 것을 특징으로 하는 부호기.
  5. 제1항에 있어서,
    비디오 프레임에 대해 예측을 수행하여 예측 잔차들 및 예측 정보를 생성하는 예측 블록;
    예측 블록에 연결되어, 예측 잔차들에 대해 변환 및 앙자화 처리들을 수행하는 변환 및 양자화 블록; 및
    변환 및 양자화 블록과 예측 블록 사이에 연결되어, 예측 잔차들, 변환 및 양자화 블록으로부터의 정보에 따라서 비디오 프레임을 재구성하는 재구성 루프를 더 포함하며,
    엔트로피 부호화 블록은 변환 및 양자화 블록에 연결되고, 충실도 향상 블록은 재구성 루프 내에 있는 것을 특징으로 하는 부호기.
  6. 제5항에 있어서, 재구성 루프는,
    디블록킹을 수행하여 충실도 향상 블록을 위해 처리된 데이터를 생성하는 디블록킹 유닛을 더 포함하는 것을 특징으로 하는 부호기.
  7. 제5항에 있어서, 재구성 루프는,
    참조 프레임의 처리된 데이터를 버퍼링하는 참조 프레임 버퍼를 더 포함하며,
    충실도 향상 블록은 참조 프레임 버퍼로부터 검색된 처리된 데이터에 대해 충실도 향상을 수행하는 것을 특징으로 하는 부호기.
  8. 제5항에 있어서, 재구성 루프는,
    변환 및 양자화 블록 블록에 연결되어, 역 양자화 및 변환 처리들을 수행하여 처리된 데이터를 생성하는 역 양자화 및 변환 블록을 더 포함하며,
    충실도 향상 블록은 역 양자화 및 변환 블록으로부터 처리된 데이터를 수신하는 것을 특징으로 하는 부호기.
  9. 제5항에 있어서, 재구성 루프는,
    변환 및 양자화 블록 블록에 연결되어, 역 양자화 처리를 수행하여 처리된 데이터를 생성하는 역 양자화 블록을 더 포함하며,
    충실도 향상 블록은 역 양자화 블록으로부터 처리된 데이터를 수신하는 것을 특징으로 하는 부호기.
  10. 제1항에 있어서, 부호화된 충실도 향상 정보는 부호화된 비트스트림에 삽입되고, 부호화된 비트스트림의 헤더는 부호화된 비트스트림에서 충실도 향상 정보의 위치를 가리키는 포인터를 포함하는 것을 특징으로 하는 부호기.
  11. 비디오 프레임을 부호화하는 방법에 있어서,
    비디오 프레임을 수신하는 단계;
    4진-트리 파티션를 사용하여 비디오 프레임을 구획(partition)하는 방법을 결정하는 단계;
    결정 결과에 따라서 비디오 프레임을 구획하고, 비디오 프레임에 대해 충실도 향상을 수행하여 충실도 향상 매개변수들을 생성하는 단계; 및
    비디오 프레임을 충실도 향상 매개변수들과 함께 부호화하여 부호화된 비트스트림을 생성하는 단계를 포함하는 방법.
  12. 제11항에 있어서, 4진-트리 파티션 방법을 사용하여 비디오 프레임의 파티션 방법을 결정하는 단계는,
    하향식 분할 알고리즘 또는 상향식 병합 알고리즘을 이용하고 비용함수 결과를 비교하여 비디오 프레임의 파티션 방법을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 제11항에 있어서, 비디오 프레임의 더 작은 영역을 위한 계산 결과들은 더 큰 영역이 더 작은 영역을 포함할 때 비디오 프레임의 더 큰 영역을 위해 재사용되는 것을 특징으로 하는 방법.
  14. 비디오 프레임을 부호화하는 방법에 있어서,
    비디오 프레임을 수신하는 단계;
    처리된 데이터에 대해 충실도 향상을 수행하여 충실도 향상 정보를 생성하는 단계;
    비디오 프레임을 부호화하여 부호화된 비트스트림을 생성하는 단계;
    충실도 향상 정보를 부호화하고, 부호화된 충실도 향상 정보를 부호화된 비트스트림에 삽입하는 단계; 및
    부호화된 비트스트림에서 충실도 향상 정보의 위치를 가리키는 포인터를 생성하는 단계를 포함하는 방법.
  15. 제14항에 있어서, 충실도 향상은 필터링 및 불일치 모델링을 포함하는 것을 특징으로 하는 방법.
  16. 비트스트림을 복호화하는 방법에 있어서,
    비트스트림을 수신하는 단계;
    비트스트림 내의 헤더로부터 비트스트림에서 충실도 향상 정보의 위치를 가리키는 포인터를 검색하는 단계;
    복호화 처리들에 의해 비디오 프레임을 구성하는 단계; 및
    충실도 향상 정보를 사용하여 처리된 데이터에 대해 충실도 향상을 수행하는 단계를 포함하는 방법.
  17. 제16항에 있어서, 충실도 향상은 필터링 및 불일치 모델링을 포함하는 것을 특징으로 하는 방법.
  18. 비트스트림을 수신하여 비디오 프레임을 생성하는 복호기에 있어서,
    비트스트림을 복호화하여 잔차들 및 충실도 향상 정보를 생성하는 엔트로피 복호화부로서, 충실도 향상 정보는 4진-트리 파티션 구조에 연관된 적어도 하나의 매개변수를 포함하는 엔트로피 복호화부; 및
    엔트로피 복호화부에 연결되어, 잔차들로부터 비디오 프레임을 재구성하는 재구성 루프를 포함하며, 재구성 루프는,
    충실도 향상 정보를 엔트로피 복호화부로부터 수신하고, 충실도 향상 정보로부터 도출된 4진-트리 파티션 구조에 따라 충실도 향상을 수행하는 충실도 향상 블록을 포함하는 복호기.
  19. 비디오 프레임을 수신하고 부호화 처리들을 수행하여 부호화된 비트스트림을 생성하는 부호기에 있어서,
    비디오 프레임에 대해 예측을 수행하여 예측 잔차들 및 예측 정보를 생성하는 예측 블록;
    예측 블록에 연결되어, 예측 잔차들에 대해 변환 및 양자화 처리들을 수행하는 변환 및 양자화 블록;
    변환 및 양자화 블록과 예측 블록 사이에 연결되어, 예측 잔차들과 변환 및 양자화 블록으로부터의 정보에 따라서 비디오 프레임을 재구성하는 재구성 루프; 및
    잔차들과 불일치 모델링 정보를 부호화된 비트스트림 속에 부호화하는 엔트로피 부호화 블록을 포함하며, 재구성 루프는,
    참조 프레임 버퍼; 및
    처리된 데이터에 대해 불일치 모델링 기법을 수행하고, 불일치 모델링 정보를 생성하는 불일치 모델링 블록을 포함하는 부호기.
  20. 제19항에 있어서, 불일치 모델링 기법은 DC 오프셋 보상, 가중 예측, 및 공간적 예측을 포함하는 것을 특징으로 하는 부호기.
  21. 제19항에 있어서, 불일치 모델링 블록은 참조 프레임의 처리된 데이터를 참조 프레임 버퍼로부터 수신하고 불일치 모델링을 수행하여 참조 프레임 및 비디오 프레임 사이의 에러들을 줄이는 것을 특징으로 하는 부호기.
  22. 제19항에 있어서, 불일치 모델링 블록은 비디오 프레임의 처리된 데이터를 수신하며, 불일치 모델링을 수행하여 비디오 프레임의 미처리된 데이터 및 처리된 데이터 사이의 에러들을 줄이고, 보상 처리된 데이터를 참조 프레임 버퍼에 저장하는 것을 특징으로 하는 부호기.
  23. 비트스트림을 수신하여 비디오 프레임을 생성하는 복호기에 있어서,
    비트스트림을 복호화하여 잔차들 및 불일치 모델링 정보를 생성하는 엔트로피 복호화부; 및
    엔트로피 복호화부에 연결되어, 잔차들로부터 비디오 프레임을 재구성하는 재구성 루프를 포함하며, 재구성 루프는,
    불일치 모델링 정보를 엔트로피 복호화부로부터 수신하고, 불일치 모델링 정보에 따라 처리된 데이터에 대해 불일치 모델링 기법을 적용하는 불일치 모델링 블록을 포함하는 복호기.
  24. 제23항에 있어서, 불일치 모델링 기법은 DC 오프셋 보상, 가중 예측, 및 공간적 예측을 포함하는 것을 특징으로 하는 복호기.
  25. 제23항에 있어서, 재구성 루프는 참조 프레임 버퍼를 더 포함하고, 불일치 모델링 블록은 참조 프레임의 처리된 데이터를 참조 프레임 버퍼로부터 수신하고 불일치 모델링 정보에 따라 불일치 모델링을 수행하는 것을 특징으로 하는 복호기.
  26. 제23항에 있어서, 재구성 루프는 참조 프레임 버퍼를 더 포함하고, 불일치 모델링 블록은 비디오 프레임의 처리된 데이터를 수신하며, 불일치 모델링 정보에 따라 불일치 모델링을 수행하고, 보상 처리된 데이터를 참조 프레임 버퍼에 저장하는 것을 특징으로 하는 복호기.
KR1020107009894A 2007-12-13 2008-12-12 비디오 압축용 루프내 충실도 향상 KR101169447B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US1330507P 2007-12-13 2007-12-13
US61/013,305 2007-12-13
US5482008P 2008-05-21 2008-05-21
US61/054,820 2008-05-21
US12/203,933 US20090154567A1 (en) 2007-12-13 2008-09-04 In-loop fidelity enhancement for video compression
US12/203,933 2008-09-04
PCT/CN2008/073480 WO2009074117A1 (en) 2007-12-13 2008-12-12 In-loop fidelity enhancement for video compression

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020127007472A Division KR101224554B1 (ko) 2007-12-13 2008-12-12 비디오 압축용 루프내 충실도 향상

Publications (2)

Publication Number Publication Date
KR20100074250A true KR20100074250A (ko) 2010-07-01
KR101169447B1 KR101169447B1 (ko) 2012-08-03

Family

ID=40753228

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127007472A KR101224554B1 (ko) 2007-12-13 2008-12-12 비디오 압축용 루프내 충실도 향상
KR1020107009894A KR101169447B1 (ko) 2007-12-13 2008-12-12 비디오 압축용 루프내 충실도 향상

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020127007472A KR101224554B1 (ko) 2007-12-13 2008-12-12 비디오 압축용 루프내 충실도 향상

Country Status (6)

Country Link
US (2) US20090154567A1 (ko)
EP (2) EP2229780A4 (ko)
JP (1) JP5312468B2 (ko)
KR (2) KR101224554B1 (ko)
CN (2) CN101459847B (ko)
WO (1) WO2009074117A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5526032B2 (ja) * 2007-10-16 2014-06-18 トムソン ライセンシング ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号する方法および装置
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8195001B2 (en) 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
EP2237557A1 (en) * 2009-04-03 2010-10-06 Panasonic Corporation Coding for filter coefficients
US8761268B2 (en) * 2009-04-06 2014-06-24 Intel Corporation Selective local adaptive wiener filter for video coding and decoding
KR101527085B1 (ko) * 2009-06-30 2015-06-10 한국전자통신연구원 인트라 부호화/복호화 방법 및 장치
KR102109244B1 (ko) * 2009-07-01 2020-05-11 인터디지털 브이씨 홀딩스 인코포레이티드 비디오 인코더 및 디코더용 대형 블록에 대한 인트라 예측을 시그널링하기 위한 방법 및 장치
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US8259819B2 (en) * 2009-12-10 2012-09-04 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for improving video quality by utilizing a unified loop filter
EP2360925A1 (en) * 2010-01-20 2011-08-24 Siemens Aktiengesellschaft Method for reducing noise for coding of noisy images or image sequences
KR101743482B1 (ko) * 2010-01-22 2017-06-07 삼성전자주식회사 영역 기반의 부호화/복호화 장치 및 방법
CN102792690B (zh) * 2010-03-09 2016-06-15 汤姆森特许公司 基于分类环路滤波器的方法和装置
WO2011126759A1 (en) * 2010-04-09 2011-10-13 Sony Corporation Optimal separable adaptive loop filter
ES2659189T3 (es) * 2010-04-13 2018-03-14 Ge Video Compression, Llc Herencia en subdivisión de árbol múltiple de matriz de muestras
CN106412606B (zh) 2010-04-13 2020-03-27 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法
KR102360005B1 (ko) 2010-04-13 2022-02-08 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
FI3955579T3 (fi) 2010-04-13 2023-08-16 Ge Video Compression Llc Videokoodaus käyttäen kuvien monipuurakenteen alaosioita
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
EP2596633B1 (en) * 2010-07-20 2016-11-23 Nokia Technologies Oy A media streaming apparatus
WO2012013327A1 (en) * 2010-07-26 2012-02-02 Panasonic Corporation Quantized prediction error signal for three-input-wiener-filter
US9813738B2 (en) * 2010-10-05 2017-11-07 Hfi Innovation Inc. Method and apparatus of adaptive loop filtering
KR20240034886A (ko) * 2010-10-08 2024-03-14 지이 비디오 컴프레션, 엘엘씨 블록 분할 및 블록 병합을 지원하는 픽처 코딩
KR101503611B1 (ko) 2010-11-23 2015-03-18 엘지전자 주식회사 영상 부호화 및 복호화 방법과 이를 이용한 장치
JP5875236B2 (ja) 2011-03-09 2016-03-02 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CA2823902C (en) 2011-04-21 2018-03-27 Mediatek Inc. Method and apparatus for improved in-loop filtering
WO2012167712A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding
CN107105305B (zh) 2011-06-24 2020-04-03 Lg 电子株式会社 图像信息编码和解码方法
KR101955374B1 (ko) * 2011-06-30 2019-05-31 에스케이 텔레콤주식회사 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
JP5810700B2 (ja) * 2011-07-19 2015-11-11 ソニー株式会社 画像処理装置及び画像処理方法
KR20130034566A (ko) 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
US9204171B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9148663B2 (en) 2011-09-28 2015-09-29 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9204148B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
KR20130058584A (ko) * 2011-11-25 2013-06-04 삼성전자주식회사 복호화기의 버퍼 관리를 위한 영상 부호화 방법 및 장치, 그 영상 복호화 방법 및 장치
EP2860973B1 (en) 2012-06-08 2020-03-04 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding and decoding device
CA2838209C (en) * 2012-06-27 2018-12-04 Toru Matsunobu Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
WO2014078068A1 (en) 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
CN104885467B (zh) 2013-01-30 2018-08-17 英特尔公司 用于下一代视频编码的内容自适应参数变换
JP5429418B2 (ja) * 2013-02-15 2014-02-26 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
JP5573995B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
JP5573996B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5573997B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
WO2015100522A1 (en) 2013-12-30 2015-07-09 Mediatek Singapore Pte. Ltd. Methods for inter-component residual prediction
CN103780913B (zh) * 2014-01-24 2017-01-04 西安空间无线电技术研究所 一种基于误差隐藏的数据压缩方法
KR20170075754A (ko) * 2014-10-29 2017-07-03 엘지전자 주식회사 비디오 신호의 인코딩， 디코딩 방법 및 그 장치
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10382795B2 (en) 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
US10404806B2 (en) * 2015-09-01 2019-09-03 Yen4Ken, Inc. Methods and systems for segmenting multimedia content
CN115643399A (zh) * 2017-08-22 2023-01-24 松下电器（美国）知识产权公司 图像编码器和图像解码器
CN114913249A (zh) * 2021-02-08 2022-08-16 华为技术有限公司 编码、解码方法和相关设备

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0309669B1 (de) * 1987-09-30 1992-12-30 Siemens Aktiengesellschaft Verfahren zur szenenmodellgestützten Bilddatenreduktion für digitale Fernsehsignale
FR2648979B1 (fr) * 1989-06-27 1996-09-06 Thomson Consumer Electronics Procede de segmentation du champ de mouvement d'une image et son application au codage d'images video
JPH03145392A (ja) * 1989-10-31 1991-06-20 Nec Corp 動き補償フレーム間符号化・復号化方法とその符号化装置・復号化装置
EP0525408A3 (en) * 1991-07-01 1993-12-22 Eastman Kodak Co Method for multiframe wiener restoration of noisy and blurred image sequences
KR100287214B1 (ko) 1994-11-30 2001-04-16 윤종용 동영상 부호화방법 및 장치
JP2000511366A (ja) * 1995-10-25 2000-08-29 サーノフ コーポレイション ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
GB2319421B (en) * 1996-11-15 1999-02-10 Daewoo Electronics Co Ltd Method and apparatus for target tracking
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
US7239755B1 (en) * 1997-07-30 2007-07-03 Lg Electronics Inc. Method of reducing a blocking artifact when coding moving picture
US6125147A (en) * 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
CN1230786C (zh) * 1998-08-10 2005-12-07 Dac国际公司 数字静止图象编码方法、设备和压缩比特流解码方法
US6888566B2 (en) * 1999-12-14 2005-05-03 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
KR20030076869A (ko) * 2002-03-23 2003-09-29 엘지전자 주식회사 텔레비전의 필터장치
US7609767B2 (en) * 2002-05-03 2009-10-27 Microsoft Corporation Signaling for fading compensation
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
US20040258162A1 (en) * 2003-06-20 2004-12-23 Stephen Gordon Systems and methods for encoding and decoding video data in parallel
KR100705619B1 (ko) * 2003-07-22 2007-04-11 비오이 하이디스 테크놀로지 주식회사 액정표시장치의 구동 방법 및 그 회로
CN1322472C (zh) * 2003-09-08 2007-06-20 中国人民解放军第一军医大学 基于小波变换的预测四叉树图像压缩及解压方法
CN1846444B (zh) * 2003-09-17 2011-01-26 汤姆森许可贸易公司 自适应参考画面产生
KR20050031653A (ko) * 2003-09-30 2005-04-06 대한민국(전남대학교총장) 디지털 텔레비젼 수신기의 디씨 옵셋 보정기
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
US20080225946A1 (en) * 2004-02-27 2008-09-18 Peng Yin Error Concealment Technique Using Weighted Prediction
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
JP4501675B2 (ja) * 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
KR100703746B1 (ko) * 2005-01-21 2007-04-05 삼성전자주식회사 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
JP2008536450A (ja) * 2005-04-13 2008-09-04 トムソン ライセンシング ビデオ復号化のための方法および装置
JP4726047B2 (ja) * 2005-04-26 2011-07-20 Ｋｄｄｉ株式会社 画像符号化装置
US20060285590A1 (en) * 2005-06-21 2006-12-21 Docomo Communications Laboratories Usa, Inc. Nonlinear, prediction filter for hybrid video compression
WO2007044556A2 (en) * 2005-10-07 2007-04-19 Innovation Management Sciences, L.L.C. Method and apparatus for scalable video decoder using an enhancement stream
JP5047990B2 (ja) * 2006-01-10 2012-10-10 トムソン ライセンシング ４：４：４符号化の並列な実現方法及び装置
EP1982517A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US8189934B2 (en) * 2006-03-27 2012-05-29 Panasonic Corporation Image coding apparatus and image decoding apparatus
KR101261526B1 (ko) * 2006-07-04 2013-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
CN100417191C (zh) * 2006-09-01 2008-09-03 上海大学 一种图像组合降噪方法
JP5666293B2 (ja) * 2007-04-12 2015-02-12 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビデオ・エンコーディング、およびデコーディングのためのスキップ／ダイレクトモードのコンテクストに依存するマージのための方法と装置
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9161041B2 (en) 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US9432670B2 (en) 2011-01-09 2016-08-30 Mediatek Inc. Apparatus and method of efficient sample adaptive offset

Also Published As

Publication number Publication date
CN101998121B (zh) 2014-07-09
CN101459847A (zh) 2009-06-17
US10327010B2 (en) 2019-06-18
WO2009074117A1 (en) 2009-06-18
EP2229780A4 (en) 2015-08-05
EP2229780A1 (en) 2010-09-22
CN101998121A (zh) 2011-03-30
JP2011503979A (ja) 2011-01-27
KR101169447B1 (ko) 2012-08-03
CN101459847B (zh) 2011-01-19
KR20120051748A (ko) 2012-05-22
EP3383048A1 (en) 2018-10-03
US20090154567A1 (en) 2009-06-18
EP3383048B1 (en) 2021-09-22
KR101224554B1 (ko) 2013-01-23
JP5312468B2 (ja) 2013-10-09
US20150146782A1 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
KR101169447B1 (ko) 비디오 압축용 루프내 충실도 향상
CN107682698B (zh) 用于编码和解码图像信息的方法、装置以及解码器可读存储介质
KR102287414B1 (ko) 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터
US20110222608A1 (en) Localized in-loop filtering with multiple filters in hybrid video coding
CN113785569B (zh) 视频编码的非线性适应性环路滤波方法和装置
US8285064B2 (en) Method for processing images and the corresponding electronic device
KR20090095014A (ko) 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
KR102293097B1 (ko) 비디오 코딩을 위한 디바이스들 및 방법들
KR20110015399A (ko) 동영상 부호화 장치 및 그 방법
CN114930817A (zh) 量化相关参数的传讯技术
WO2011126759A1 (en) Optimal separable adaptive loop filter
CN105357538B (zh) 自适应环路滤波方法和装置
KR20210134555A (ko) 인트라 예측 기반의 영상 부호화 또는 복호화 장치 및 방법
KR20090098214A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20110086521A (ko) 영역 기반의 부호화/복호화 장치 및 방법
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치
KR102292504B1 (ko) 적응적 밴드 오프셋 구간을 이용한 인-루프 필터링 방법 및 장치, 그리고 적응적 밴드 오프셋 구간을 이용한 부호화 및 복호화 장치
KR20190109373A (ko) 영상 부호화/복호화 장치 및 방법
KR101802304B1 (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치
KR20130070195A (ko) 문맥 기반의 샘플 적응적 오프셋 필터 방향 추론 및 적응적 선택에 대한 비디오 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150707

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160712

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170712

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180712

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190711

Year of fee payment: 8