KR100803569B1 - 비디오 코더의 루프/포스트 필터링 방법 - Google Patents
비디오 코더의 루프/포스트 필터링 방법 Download PDFInfo
- Publication number
- KR100803569B1 KR100803569B1 KR1020000049020A KR20000049020A KR100803569B1 KR 100803569 B1 KR100803569 B1 KR 100803569B1 KR 1020000049020 A KR1020000049020 A KR 1020000049020A KR 20000049020 A KR20000049020 A KR 20000049020A KR 100803569 B1 KR100803569 B1 KR 100803569B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- loop
- block
- pixels
- normalization parameter
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명의 목적은 동영상의 블록화 및 링 현상(ringing effects)을 제거하기 위한 루프 및 포스트 필터를 구현함에 있어서 실시간 처리가 용이하도록 계산량을 줄이고도 일정 수준의 화질을 보장하는 기술에 관한 것이다. 이러한 본 발명은, 가변길이 코딩된 M×M 크기의 블록에 포함된 화소에 대하여 움직임 보상을 수행하는 단계와; 정수로 이루어진 정규화 매개 변수를 포함하는 룩업테이블을 참조하여 상기 M×M 크기의 블록에 대한 블록화 현상 및 링 현상 중 적어도 하나를 보상한 복원 영상을 구하는 단계를 포함하며, 상기 보상한 복원 영상을 구하는 단계는 적어도 매크로 블록 타입 정보를 포함한 동영상 압축에 관계된 정보 및 인접화소와의 상관정보를 이용하여 현재 처리될 화소에 대해 적응적으로 필터링을 수행하는 것을 특징으로 한다.
Description
도 1은 본 발명에 의한 비디오 코더의 루프/포스트 필터링 방법의 신호 흐름도.
도 2는 본 발명에 의한 포스트 필터의 예시도.
도 3 내지 도 8은 통상의 필터링 방식과 본 발명에 의한 필터링 방식의 실험 결과를 나타낸 그래프.
***도면의 주요 부분에 대한 부호의 설명***
1 : 현재 매크로 블록 2 : 상위 매크로 블록
본 발명은 ITU-T 주관하에 개발되고 있는 동영상 비디오 코더에서 발생하는 블록화 현상을 제거하기 위한 루프(Loop) 및 포스트(Post) 필터링 기술에 관한 것으로, 특히 실시간 처리가 용이하도록 계산량을 줄이고 화질을 개선하는데 적당하도록한 비디오 코더의 루프/포스트 필터링 방법에 관한 것이다.
1997년 이후 차세대 동영상 압축 방식은 기존의 다른 압축 표준 방식에 비하여 성능면에서 우월성이 입증되었다. 기존의 다른 압축 표준 방식과의 주요 차이점은 동영상 압축 방식이 4×4 블록 기반의 변화 및 부호화를 사용하고, 변환 블록 크기의 움직임 추정 및 보상을 실시하며, 그리고 한 개의 가변길이코드(VLC: Variable Length Code)를 사용한다는 점에 있다.
상기의 설명에서와 같이 통상의 동영상 압축 방식은 기존의 다른 압축 표준화 방식에 비하여 성능면에서 우수하지만, 부호화단에서의 계산량이 많고 4×4 블록 크기를 기반으로 하는 변환방식을 채택하고 있으므로 기존의 표준화 방식보다 블록화 현상이 두드러져 보이는 단점이 있다.
이러한 블록화 현상을 제거하기 위한 필터링 방식에는 엔코더 및 디코더의 내부에서 처리하는 루프(Loop) 필터링 방식, 디코더 다음단에서 처리하는 포스트(Post) 필터링 방식, 그리고 그 두 방식을 혼합한 형태의 필터링 방식을 들 수 있다.
일반적으로, 루프 필터링 방식으로 블록화 현상을 제거하면 입력 영상과 움직임 영상의 차이 값에 영향을 미쳐 부호화율이 특정한 경우에 높아지게 된다. 이와 더불어, 비디오 코더 내부에 설치되어 있으므로 부호화부의 복잡성을 증가시키게 된다.
이때, 루프 필터의 복잡성은 필터 탭 수 및 알고리즘의 구현 가능성에 따라 결정되므로, 이상적인 루프 필터는 작은 탭 수를 가지며, 알고리즘이 단순한 방식으로 구현된 루프필터라고 할 수 있다. 반면에, 포스트 필터의 장점 및 단점은 루프 필터 장점 및 단점의 역이라 할 수 있다.
그런데, 종래의 동영상 압축 표준화를 위한 테스트 모델에서는 엔코더가 상당히 복잡하게 구성되어 있으며, 이 테스트 모델의 기본 구성에 첨부되어 있는 블록화 제거 루프 필터는 7 탭(7 tap) 필터로 구성되어 있고, 필터와 연계되어 있는 계산량이 상당히 많아 전체 시스템의 복잡도가 엔코더단에 치우치게 되고, 이로 인하여 실시간 처리에 많은 어려움이 있었다.
따라서, 본 발명의 목적은 압축 동영상의 블록화 및 링 현상(ringing effects) 등을 제거하기 위한 루프/포스트 필터를 구현함에 있어서 실시간 처리가 용이하도록 계산량을 줄이고도 일정 수준의 화질을 보장하는 비디오 코더의 루프/포스트 필터링 방법을 제공함에 있다.
본 발명의 제1특징은 동영상 압축 복호화 단에서 여러 정보들을 이용하여 압 축 영상의 각 화소에 대해 적응적으로 부가 함수를 설정하는데 있다.
본 발명의 제2특징은 실시간 처리가 가능하도록 인접 화소와의 관계 정도(correlation)를 추정하는데 있다.
본 발명의 제3특징은 부호화 및 복호화 단에서 화소의 위치 및 매크로 블록의 부호화 형태에 따라 블록화 및 링 현상을 제거하는데 있다.
본 발명의 목적을 달성하기 위한 비디오 코더의 루프/포스트 필터링 방법은, 가변길이 코딩된 M×M 크기의 블록에 포함된 화소에 대하여 움직임 보상을 수행하는 단계와; 정수로 이루어진 정규화 매개 변수를 포함하는 룩업테이블을 참조하여 상기 M×M 크기의 블록에 대한 블록화 현상 및 링 현상 중 적어도 하나를 보상한 복원 영상을 구하는 단계를 포함하며, 상기 보상한 복원 영상을 구하는 단계는 적어도 매크로 블록 타입 정보를 포함한 동영상 압축에 관계된 정보 및 인접화소와의 상관정보를 이용하여 현재 처리될 화소에 대해 적응적으로 필터링을 수행하는 것을 특징으로 하는 것으로, 이와 같이 이루어진 본 발명의 작용을 첨부한 도 1 내지 도 4를 참조하여 상세히 설명하면 다음과 같다.
통상의 동영상 압축 방식에서는 부호화부에서 공간적, 시간적 과잉 정보를 제거하는 기법을 사용하여 시 공간적으로 압축된 정보와 복호화에 필요한 부가 정보를 전송한다. 복호화부는 부호화부의 역순으로 구성되어 있다.
먼저, 화소 사이의 상관성(correlation)을 복호화단에서 이용 가능한 양자화 변수(QP), 매크로블록 타입(mtype)으로부터 원 영상을 예측하여 실시간 처리기법으로 블록화, 링 현상 제거하는 과정에 대하여 설명한다.
원 영상 f가 압축된 형태로 전송될 때, 복호화단에서 재 구성된 영상은 다음 과 같은 식으로 표현할 수 있다.
상기 (식1)에서 g,f,n은 스캐닝 순서로 재 배열된 MM×1 크기의 압축 영상, 원 영상 그리고 양자화 오차의 열 벡터를 의미한다. 상기 (식1)을 화소 단위의 처리를 위하여 각 화소의 관계를 표현하는 식으로 다음과 같이 표현할 수 있다.
원 화소에 대한 신뢰도와 각 화소에 대한 1차원 평탄화(smoothing) 함수를 정규화 기법과 같이 이용할 때 다음과 같은 부가 함수를 정의할 수 있다. 우선 수평 방향을 고려한다.
상기 (식4)의 각 함수들 우측항의 첫째 항들은 화소 에 대한 인접 화소와의 불규칙을 나타내고, 둘째 항들은 원 화소에 대한 신뢰도를 나타낸다. 또한, 은 각 함수에 정의된 불규칙 항과 신뢰도 항의 비율을 나타내는 일종의 정규화 매개 변수들을 의미한다. 상기와 같은 방식으로 동 영상의 각 화소마다 부가 함수가 정의되며, 수직 방향으로의 함수 정의는 상기 (식4)의 변수 j 대신 i를 변화시 켜 정의한다.
블록화 및 링 현상을 제거한 복원 영상을 구하기 위해 각 화소마다 정의된 상기 (식4) 형태의 부가함수에 미분을 취하면 다음과 같은 결과를 얻게 된다.
상기 (식5)에서,
상기 (식5),(식6)으로부터 수평 방향으로 복원될 화소 f(i,j)를 다음과 같이 구할 수 있다.
상기 (식7)의 정규화 매개 변수는 0과 1 사이의 값을 가지므로 이 (식7)은 다음과 같이 정의할 수 있다.
상기 (식8)을 살펴보면, 압축 영상의 블록화 제거 영상은 (i,j)번째 영상을 기준으로 좌,우 두 개의 화소값 및 정규화 매개 변수에 의해 결정된다. 좌,우 두 개의 화소값은 부호화 및 블록화부에서 이용 가능한 값이므로, 복원 영상을 얻기 위해서는 두 개의 정규화 매개 변수값을 설정하면 된다. 이를 위해 set theoretic 이론을 화소 단위의 복원 방식에 적용하면 정규화 계수들은 다음과 같이 표현할 수 있다.
상기 (식9)의 은 블록 경계 및 블록 내부의 화소간의 불균일 정도가 다르기 때문에 화소의 위치에 의해 결정되는 적응 매개 변수이며, QP는 f(i,j)가 속한 매크로 블록의 양자화 매개 변수이다. 일반적으로, 상기 적응 매개 변수는 통계적으로 결정된다.
상기 (식8) 및 (식9)을 이용하여 블록화 현상을 제거한 복원 영상을 얻을 수 있으나, 정규화 매개 변수의 값이 플로팅 포인트(floating-point) 연산을 요구하므로, 계산량 측면에서 문제가 될 수 있다. 따라서, 정수 연산을 위해 상기 (식8) 및 (식9)를 다음과 같이 변형시킨다.
그리고,
본 발명의 알고리즘은 정규화 매개 변수를 상기 (식11)을 사용하여 정수 형태로 생성한 후 룩업테이블 형태로 저장하여 사용된다. 그러므로, 블록화 필터 식인 상기 (식10)은 f(i,j) 및 주변의 두 화소의 위치 및 양자화 매개 변수값을 알면 구할 수 있는 형태가 된다.
참고로, 상기 룩업테이블을 구성하기 위한 메모리의 용량은 8bits ×31(양자화 매개 변수 종류 수) ×2(사용된 적응 매개 변수 종류)×256(화소간의 차이 종류) = 127kbits가 필요하다.
한편, 상기와 같은 필터를 루프 및 포스트 필터로 사용하는 방법에 대하여 설명하면 다음과 같다.
상기의 설명에서와 같은 루프 필터는 비디오 코덱의 계산량 부담을 줄이기 위해 효율적으로 사용된다. 먼저 부호화된 각 매크로 블록의 타입을 보고, 현재 처리될 화소를 포함하고 있는 매크로 블록 타입이 부호화된 매크로 블록(intra 또는 inter macro block)으로 판명되면 상기 (식10) 및 (식11)을 블록 경계 영역의 화소값에 대해서만 적용한다. 이때, 상기 (식11)의 적응 매개 변수는 다음과 같다.
상기의 설명에서와 같은 포스트 필터는 비디오 코덱 디코더 후단에 설치되며, 도 2에서와 같이 현재 처리 영상의 매크로 블록인 현재 매크로블록(1) 타입과 상부에 위치한 상부 매크로 블록(2)이 카피 매크로 블록이면, 이전의 복원 영상의 정보를 사용하고, 그렇지 않으면 상기 (식10) 및 (식11)을 사용하여 구하여 진다. 즉,
또한, 상기 (식11)의 정규화 매개 변수의 적응 매개 변수는 다음과 같이 결정된다.
참고로, 도 3 내지 도 8은 통상의 필터링 방식(예: TML4)과 본 발명에 의한 필터링 방식의 실험 결과를 나타낸 그래프로서, 실시간 처리가 용이하고 화질이 향상되었음을 알 수 있다.
이상에서 상세히 설명한 바와 같이 본 발명은, 동영상 압축 기법이 사용되는 디지털 영상기기에서, 이용 가능한 여러 정보들을 근거로 압축 영상의 각 화소에 대해 적응적으로 부가 함수를 설정하고, 실시간 처리가 가능하도록 인접 화소와의 관계 정도를 추정하며, 화소의 위치 및 매크로 블록의 부호화 형태에 따라 블록화 및 링 현상을 제거함으로써, 저비트율 또는 고속 처리가 요망되는 압축 영상의 화질 개선에 기여할 수 있는 효과가 있다.
Claims (16)
- 가변길이 코딩된 M×M 크기의 블록에 포함된 화소에 대하여 움직임 보상을 수행하는 단계와;정수로 이루어진 정규화 매개 변수를 포함하는 룩업테이블을 참조하여 상기 M×M 크기의 블록에 대한 블록화 현상 및 링 현상 중 적어도 하나를 보상한 복원 영상을 구하는 단계를 포함하며,상기 보상한 복원 영상을 구하는 단계는 적어도 매크로 블록 타입 정보를 포함한 동영상 압축에 관계된 정보 및 인접화소와의 상관정보를 이용하여 현재 처리될 화소에 대해 적응적으로 필터링을 수행하는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
- 삭제
- 제10항에 있어서,상기 루프 필터는 현재 처리될 화소를 포함하는 매크로 블록의 타입이 부호화된 매크로 블록이면 블록 경계 영역의 화소에 대해서만 상기 필터식을 적용하는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
- 제10항에 있어서,상기 포스트 필터는 현재 처리될 화소를 포함하는 블록과 상기 현재 처리될 화소를 포함하는 블록 상부에 위치한 상부 매크로 블록의 타입이 카피 매크로 블록이면 이전의 복원 영상정보를 사용하고, 카피 매크로 블록이 아니면 상기 필터식을 적용하는 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
- 제6항에 있어서,상기 정규화 매개 변수의 계수 식에서 QP는 화소 f(i,j)가 속한 매크로 블록의 양자화 매개 변수인 것을 특징으로 하는 비디오 코더의 루프/포스트 필터링 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020000049020A KR100803569B1 (ko) | 2000-08-23 | 2000-08-23 | 비디오 코더의 루프/포스트 필터링 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020000049020A KR100803569B1 (ko) | 2000-08-23 | 2000-08-23 | 비디오 코더의 루프/포스트 필터링 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20020015885A KR20020015885A (ko) | 2002-03-02 |
KR100803569B1 true KR100803569B1 (ko) | 2008-02-15 |
Family
ID=19684764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020000049020A KR100803569B1 (ko) | 2000-08-23 | 2000-08-23 | 비디오 코더의 루프/포스트 필터링 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100803569B1 (ko) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100714853B1 (ko) * | 2004-10-21 | 2007-05-04 | 주식회사 렛스비전 | 동영상 압축 시스템에서 루프 필터와 포스트 필터의적응적인 통합 적용장치 |
-
2000
- 2000-08-23 KR KR1020000049020A patent/KR100803569B1/ko not_active IP Right Cessation
Non-Patent Citations (2)
Title |
---|
Image Processing, 1999, ICIP 99. Procedings, 1999 International Conference on Vol. 2, 24-28 Oct. 1999, P899-903 * |
Image Processing, 1999. ICIP 99. Proceedings. 1999 International Conference on Vol. 2, 24-28 Oct. 1999, P899 - 903 * |
Also Published As
Publication number | Publication date |
---|---|
KR20020015885A (ko) | 2002-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100525785B1 (ko) | 이미지 화소 필터링 방법 | |
KR101045199B1 (ko) | 화소 데이터의 적응형 잡음 필터링을 위한 방법 및 장치 | |
JP3678481B2 (ja) | 映像データ後処理方法 | |
KR100335055B1 (ko) | 압축 영상신호의 블럭현상 및 링현상 제거방법 | |
KR0141082B1 (ko) | 적응에지부 강화필터를 지닌 영상신호 부호화 및 복호화장치 | |
TW201304555A (zh) | 用於編碼數位視訊資料之方法及數位視訊編碼器系統 | |
KR101345294B1 (ko) | 영상의 양자화 장치 및 방법 | |
KR100803569B1 (ko) | 비디오 코더의 루프/포스트 필터링 방법 | |
KR100626235B1 (ko) | 이미지 화소 필터링 방법 | |
KR100687845B1 (ko) | 이미지 화소 필터링 방법 | |
KR100721022B1 (ko) | 블록 경계 영역 필터링 방법 | |
KR100626234B1 (ko) | 이미지 화소 필터링 방법 | |
KR100987922B1 (ko) | 선택적 참조영상을 이용한 움직임 보상기법을 적용한 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 참조영상 결정방법 | |
KR20060091436A (ko) | 동영상 표준 부호화 방식의 성능 향상을 위한 잔여신호 필터링 방법 | |
KR100304897B1 (ko) | 압축 영상신호의 고속 실시간 처리를 위한 블럭현상 및 링현상 제거방법 | |
KR100505319B1 (ko) | 필터링 강도 선택 방법 | |
US20060181650A1 (en) | Encoding method and device | |
KR100748512B1 (ko) | 블록 경계 영역 필터링 방법 | |
KR100674027B1 (ko) | 이미지 화소 필터링 방법 | |
KR100523551B1 (ko) | 이미지 화소 필터링 방법 | |
KR100505320B1 (ko) | 필터링 강도 선택 방법 | |
JPH08331565A (ja) | 画像符号化方法とその装置 | |
KR100464000B1 (ko) | 비디오 코더의 블록화 현상 제거 방법 | |
CN117478874A (zh) | 一种高压缩率视频关键帧编码方法及解码方法 | |
KR100203698B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E801 | Decision on dismissal of amendment | ||
J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE AMENDMENT REQUESTED 20070808 Effective date: 20071226 Free format text: TRIAL NUMBER: 2007102000049; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE AMENDMENT REQUESTED 20070808 Effective date: 20071226 |
|
S901 | Examination by remand of revocation | ||
GRNO | Decision to grant (after opposition) | ||
GRNT | Written decision to grant | ||
G170 | Publication of correction | ||
LAPS | Lapse due to unpaid annual fee |