KR20160065787A - 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 - Google Patents

인트라 예측을 이용한 부호화 및 복호화 장치와 방법 Download PDF

Info

Publication number
KR20160065787A
KR20160065787A KR1020160061642A KR20160061642A KR20160065787A KR 20160065787 A KR20160065787 A KR 20160065787A KR 1020160061642 A KR1020160061642 A KR 1020160061642A KR 20160061642 A KR20160061642 A KR 20160061642A KR 20160065787 A KR20160065787 A KR 20160065787A
Authority
KR
South Korea
Prior art keywords
filtering
block
reference pixels
unit
intra
Prior art date
Application number
KR1020160061642A
Other languages
English (en)
Other versions
KR101713250B1 (ko
Inventor
송진한
임정연
최윤식
김용구
최영호
강지홍
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020160061642A priority Critical patent/KR101713250B1/ko
Publication of KR20160065787A publication Critical patent/KR20160065787A/ko
Application granted granted Critical
Publication of KR101713250B1 publication Critical patent/KR101713250B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 인트라 예측을 이용한 영상 복호화 장치에 관한 것으로, 부호화 데이터로부터, 필터링 정보 및 복호화할 대상블록의 변환 및 양자화된 잔여블록을 추출하는 부호화 데이터 추출부; 상기 필터링 정보에 근거하여 상기 대상블록의 주변블록들 내의 참조 화소들을 적응적으로 필터링하고, 적응적으로 필터링된 참조 화소들을 이용하여 상기 대상블록에 대한 예측블록을 생성하는 인트라 예측부; 상기 변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 잔여블록을 복원하는 잔여 데이터 복호화부; 및 상기 예측블록과 상기 복원된 잔여블록을 가산하여 상기 대상블록을 복원하는 가산기를 포함한다.

Description

인트라 예측을 이용한 부호화 및 복호화 장치와 방법{Apparatus and Method for Encoding and Decoding Using Intra Prediction}
본 발명은 인트라 예측을 이용한 부호화 및 복호화 장치와 방법에 관한 것이다. 더욱 상세하게는, 부호화 또는 복호화 대상블록의 인접블록에 포함된 참조화소들의 참조화소 특성을 결정한 후, 그 결정에 근거하여 적응적 필터링 기반의 인트라 예측과 통상적인 인트라 예측 중 어느 하나를 수행함으로써, 필터링 수행 여부를 나타내는 요구되는 비트량을 감소시켜 부호화 효율을 향상시키기 위한 부호화 및 복호화 장치와 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최신 압축 표준인 H.264/AVC의 인트라 부호화에서는 인접 화소 간의 높은 상관성을 이용한 예측을 통하여 그 부호화 성능을 높이고 있다.
H.264/AVC의 인트라 예측은 4x4 단위의 블록에 대하여, 도 1(A)에서 보는 바와 같이, 총 9가지의 예측모드를 제공하고 있으며, 16x16 단위의 블록에 대해서는, 도 1(B)에서 보는 바와 같이, 4가지의 예측 모드를 사용하고 있다.
한편, H.264/AVC는 8x8 단위의 블록에 대해서 4x4 단위 블록과 마찬가지로 9가지의 인트라 예측모드를 제공하고 있으며, 예측에 사용할 주변 블록의 참조 화소에 대해 먼저 고주파 성분 제거를 위한 필터를 적용하여 참조 화소들을 평탄화 시킨 후 예측을 수행한다[참조문헌 1]. 이러한 필터링 과정은 부근의 화소가 인트라 예측에 좀 더 적절한 값으로 변화되어 대상블록에 대한 인트라 예측 오차를 감소시킬 수 있다.
하지만, 이러한 참조 화소에 대한 고주파 성분 제거 필터링은 원본 화소 간에 실제로 존재하는 교류성분을 감쇠시키기 때문에 예측할 블록 데이터의 세부 묘사를 제공하기 어렵고, 경우에 따라서는 필터링을 적용하지 않는 경우에 비해 상대적으로 예측 성능 또는 효율이 떨어질 수 있다는 단점이 있다.
이러한 단점을 해결하기 위해, 차세대 동영상 압축 부/복호화 장치의 표준을 제정하기 위한 모임인 HEVC에서 Fraunhofer Heinrich Hertz Institute(이하 HHI)에 의해 적응적 필터링 기법이 제안되었다[참조문헌 2].
HHI가 제안한 적응적 필터링 방법은 인트라 예측을 수행할 각 블록에 대해 고주파 성분 제거 필터링을 적용하는 경우와 적용하지 않은 경우에 대한 예측오차를 비교해 보고, 더 작은 예측오차를 가지는 경우를 실제 부호화에 적용함으로써 예측 오차 감소시키고 있다.
하지만, 필터링 적용 여부에 대한 인덱싱을 위해 매 예측블록 단위로 복호화 장치에 추가 정보량이 요구되어, 적응적 필터링에 의한 예측 오차의 감쇠 효과가 크게 나타나지 않는 영상에 대해서는 오히려 압축 효율이 저하될 가능성이 존재한다.
[참조 문헌]
1. Telecommunication Standardization sector of ITU, ““ITU-T Recommendation H.264, Series H: Audiovisual and Multimedia Systems, Advanced video coding for generic audiovisual services””, ITU-T Recommendation H.264, pp.132-133, Nov 2007.
2. Martin Winken, Sebastian Boßße, ““Description of video coding technology proposal by Fraunhofer HHI””, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, CfP response proposal JCTVC-A116,Apr 2010
이러한 문제를 해결하기 위해, 본 발명은 부호화 또는 복호화 대상블록의 인접블록에 포함된 참조화소들의 참조화소특성을 결정한 후, 그 결정에 근거하여 적응적 필터링 기반의 인트라 예측과 통상적인 인트라 예측 중 어느 하나를 수행함으로써, 필터링 수행 여부를 나타내는 요구되는 비트량을 감소시켜 부호화 효율을 향상시키기 위한 부호화 및 복호화 장치와 방법을 제공함을 목적으로 한다.
본 발명의 일 측면은, 부호화 데이터로부터, 필터링 정보 및 복호화할 대상블록의 변환 및 양자화된 잔여블록을 추출하는 부호화 데이터 추출부; 상기 필터링 정보에 근거하여 상기 대상블록의 주변블록들 내의 참조 화소들을 적응적으로 필터링하고, 적응적으로 필터링된 참조 화소들을 이용하여 상기 대상블록에 대한 예측블록을 생성하는 인트라 예측부; 상기 변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 잔여블록을 복원하는 잔여 데이터 복호화부; 및 상기 예측블록과 상기 복원된 잔여블록을 가산하여 상기 대상블록을 복원하는 가산기를 포함하는 것을 특징으로 하는 인트라 예측을 이용한 영상 복호화 장치를 제공한다.
여기서, 상기 인트라 예측부는, 상기 주변블록들 내의 상기 참조 화소들 중 하나 이상을 이용하여 참조 화소 특성값을 연산하고, 적어도 상기 필터링 정보 및 상기 참조 화소 특성값에 기반하여, 상기 참조 화소들에 적용할 필터링 타입을 결정하며, 상기 결정된 필터링 타입에 따라 상기 참조 화소들을 적응적으로 필터링하고, 상기 인트라 예측 모드에 대한 정보에 따라, 상기 적응적으로 필터링된 참조 화소들로부터 상기 대상블록을 예측할 수 있다.
상기 인트라 예측부는, 상기 필터링 타입이 제1타입일 때 고주파 필터링된 참조 화소들로부터 상기 대상블록을 예측하고, 상기 필터링 타입이 제2타입일 때 고주파 필터링되지 않은 참조 화소들로부터 상기 대상블록을 예측할 수 있다.
또한, 상기 인트라 예측부는, 상기 참조 화소들 중 적어도 하나가 이용가능하지 않은 경우, 기결정된 연산에 의해 계산된 값을 이용가능하지 않는 참조 화소의 값으로 설정할 수 있다.
한편, 상기 대상블록은 32x32의 크기일 수 있다.
부호화 대상블록의 인접블록에 포함된 참조화소들의 특성을 결정하고, 결정된 참조화소 특성을 기반으로, 적응적 필터링 기반의 인트라 예측을 수행할지 아니면 통상적인 인트라 예측을 수행할지 여부를 결정하여 부호화를 수행하므로, 적응적 필터링에 의해 발생하는 추가적인 정보의 발생 빈도를 감소시킬 수 있다. 이를 통해 보다 높은 압축 부호화 효율을 제공하고, 적응적 필터링 유무에 대한 판단 기준의 강약을 조절하여 비디오 압축 부호기의 능률적인 율-왜곡 조절 요소를 제공하며, 나아가 적응적 필터링이 생략되는 경우 반복적인 필터링 및 인트라 예측 과정으로 인해 발생하는 부호화 및 복호화 프로세스의 복잡도를 감소시킬 수 있다.
도 1은 인트라 예측모드를 설명하기 위한 도면,
도 2는 본 발명의 실시예에 따른 부호화 장치를 나타내는 블록도,
도 3은 본 발명의 실시예에 따른 부호화 장치의 인트라 예측부의 구성을 나타내는 블록도,
도 4는 본 발명의 일 실시예에 따른 참조화소 특성 추출부(320)의 구성을 나타내는 도면,
도 5는 윤곽선 검출을 위해 인접블록에서 소벨 마스크가 적용되는 영역을 도시한 도면,
도 6은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부의 구성을 나타내는 블록도,
도 7은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부를 설명하기 위한 예시도면,
도 8은 본 발명의 실시예에 따른 부호화 방법을 나타내는 순서도,
도 9는 본 발명의 실시예에 따른 복호화 장치의 구성을 나타내는 블록도,
도 10은 본 발명의 실시예에 따른 복호화 장치의 인트라 예측부의 구성을 나타내는 블록도,
도 11은 본 발명의 실시예에 따른 복호화 방법을 나타내는 순서도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 2는 본 발명의 실시예에 따른 부호화 장치를 나타내는 블록도이다.
본 발명의 실시예에 따른 부호화 장치는, 도 2에서 보는 바와 같이, 인트라 예측부(210), 참조픽처 메모리(220), 잔여데이터 부호화부(230), 잔여데이터 복호화부(240), 엔트로피 부호화부(250) 및 부호화데이터 생성부(260) 등을 포함할 수 있다.
여기서 부호화 장치는, 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
부호화하고자 하는 영상 입력은 블록 단위로 입력될 수 있는데, 매크로블록이 될 수 있다. 본 발명의 실시예에서는, 설명의 편의를 위해 H.264/AVC 표준과 동일한방법으로 매크로블록을 16×16 형태로 정의하였으나, 보다 일반적으로 매크로블록의 형태는 M×N 일 수 있으며, 특히 M과 N은 각각 16보다 클 수 있고, M과 N은 서로 다른 정수 혹은 동일한 정수일 수 있다.
인트라 예측부(210)는, 현재블록과 공간적으로 주변에 위치하는 인접블록에서 사용 가능한 참조 화소값을 이용해 현재블록의 인트라 예측블록을 생성한다. 이 경우, 사용 가능한 인트라 예측모드에 대해 각각 현재블록과 인트라 예측블록간의 에러값을 연산하고, 최소의 에러값을 갖는 인트라 예측모드를 적용하여 인트라 예측블록을 생성한다. 또한, 최소의 에러값을 갖는 인트라 예측모드를 부호화함으로써 인트라 예측모드에 대한 정보를 부호화데이터 생성부(260)에 제공한다.
특히, 본 발명의 실시예에 따른 인트라 예측부(210)는, 인트라 예측블록을 생성함에 앞서서, 부호화를 수행해야 할 대상블록의 인접블록에 포함된 참조화소들을 참조픽처 메모리(220)으로부터 추출하여 참조화소 특성을 결정한다. 그리고, 결정된 참조화소 특성을 토대로 적응적 필터링 기반의 인트라 예측을 수행할지 아니면 통상적인 인트라 예측을 수행할지 여부를 결정하고, 그 결정에 근거하여 어느 하나의 예측 방법을 이용하여 부호화 대상블록에 대한 인트라 예측블록을 생성한다. 적응적 필터링 기반의 인트라 예측이란, 인접블록에 포함된 참조화소에 대해 고주파 제거 필터링을 수행한 후 인트라 예측을 수행한 결과와 고주파 제거 필터링을 수행하지 않고 인트라 예측을 수행한 결과 중 비용이 적게 소비되는 결과를 출력하는 인트라 예측 방법을 의미한다. 여기서 인트라 예측 결과를 출력함에 있어서, 인트라 예측에 고주파 제거 필터링이 적용되었는지 여부를 나타내는 필터링 정보도 함께 출력한다.
인트라 예측부(210)에 대한 보다 상세한 설명은 도 3 내지 도 7을 참조하여 후술하기로 한다.
인트라 예측부(210)에서 출력된 결과(인트라 예측블록)는 부호화 대상블록과 감산되어 잔여블록으로생성되고, 생성된 잔여블록은 잔여데이터 부호화부(230)로 출력된다.
잔여데이터 부호화부(230)는 잔여블록을 변환 및 양자화 연산한 후, 부호화된 잔여블록을 생성한다. 이 경우, 변환 방식은 하다마드 변환(Hadamard Transform), 이산 코사인 변환 (Discrete Cosine Transform) 등과 같은 공간 영역의 신호를 주파수 영역의 신호로 변환하는 다양한 방법이 이용될 수 있으며, 양자화 방식은 데드존(Dead Zone)을 포함하는 균일 양자화(Uniform Quantization), 양자화 매트릭스(Quantization Matrix) 등과 같은 다양한 양자화 기법이 이용될 수 있다.
본 발명의 일 실시예에 따르면, 변환블록은 예측블록의 크기를 초과하지 않는 크기를 가질 수 있다. 예를 들어, 예측블록의 크기가 16×16 이라면 16×16을 초과하지 않는 16×16, 16×8, 8×16, 8×8, 8×4, 4×8, 4×4 등의 변환블록이 사용될 수 있다. 만약, 예측블록의 크기가 8×8 이라면 8×8을 초과하지 않는 8×8, 8×4, 4×8, 4×4 등의 변환블록이 사용될 수 있다. 예측블록의 크기가 4×4 라면, 4×4 변환블록만이 사용될 수 있다. 또한, 상기 변환블록의 크기는 율-왜곡(Rate-Distortion) 최적화 기준으로 선택될 수 있다. 이처럼 변환블록의 크기가 예측블록의 크기를 초과하지 않는 경우에는 잔여데이터 부호화부(230)는 변환블록의 크기와 동일한 서브블록들로 잔여블록을 분할한 후 순차적으로 서브블록들을 변환 및 양자화한다.
본 발명의 다른 실시예에 따르면, 변환블록은 예측블록의 크기를 초과하는 크기를 가질 수도 있다. 예를 들어, 예측블록의 크기가 16×16 인 경우, 32×16, 16×32, 32×32, 64×32, 32×64, 64×64 등의 변환블록이 사용될 수 있다. 이와 같이 변환블록의 크기가 예측블록의 크기보다 큰 경우, 잔여데이터 부호화부(230)는 공간적으로 서로 인접한 복수의 잔여블록들을 결합하여 변환블록의 크기와 동일한, 결합된 잔여 블록을 생성한 후 변환 및 양자화한다.
잔여데이터 복호화부(240)는 잔여데이터 부호화부(220)에 의해 변환 및 양자화 된 잔여블록을 역양자화 및 역변환함으로써 잔여블록을 복원한다. 역양자화와 역변환은 잔여데이터 부호화부(230)가 수행한 변환 과정과 양자화 과정을 역으로 수행하며 다양한 방법으로 구현될 수 있다. 예를 들어, 잔여데이터 부호화부(230)와 잔여데이터 복호화부(240)가 사전에 공유하는 동일한 과정의 변환 및 역변환 또는 양자화 및 역양자화를 사용할 수 있고, 또는 잔여데이터 복호화부(240)는 잔여데이터 부호화부(230)의 변환 및 양자화 과정에 의해 발생되어 전달되는 변환 및 양자화 과정에 관한 정보(예를 들어, 변환 크기, 변환 모양, 양자화 타입 등의 정보)를 이용하여 잔여데이터 부호화부(230)의 변환 및 양자화 과정을 역으로 수행함으로써, 역양자화 및 역변환을 수행할 수 있다.
잔여데이터 복호화부(240)를 통해 출력된 잔여블록은 인트라 예측부(210)를 통해 복원된 예측블록과 가산되어 복원블록으로 생성되어 참조픽처 메모리(220)에 저장되며, 저장된 복원블록은 이후에 부호화해야 할 대상블록을 부호화하기 위한 참조픽처로 이용된다.
엔트로피 부호화부(250)는 잔여데이터 부호화부(230)로부터 출력되는 잔여블록을 엔트로피 부호화하여 출력한다. 본 발명의 실시예에는 도시하지 않았으나, 필요에 따라 엔트로피 부호화부(250)는 잔여블록뿐만 아니라, 부호화된 비트열을 복호화하는데 필요한 다양한 정보들을 부호화 할 수 있다. 여기서 부호화된 비트열을 복호화하는데 필요한 다양한 정보들은, 매크로블록 타입에 대한 정보, 인트라 예측모드에 대한 정보, 변환 및 양자화 타입에 대한 정보, 인트라 예측에 사용된 참조화소들에 고주파 제거 필터링이 수행되었는지 여부를 나타내는 필터링 정보 등을 포함할 수 있다.
엔트로피 부호화부(250)는 문맥 적응형 가변장 길이 부호화(CAVLC: Context Adaptive Variable Length Coding), 문맥 적응형 이진 산술 부호화 (CABAC: Context Adaptive Binary Arithmetic Coding) 등 다양한 방법의 엔트로피 부호화 방법을 사용할 수 있다.
부호화데이터 생성부(260)는 엔트로피 부호화된 잔여블록, 매크로블록 타입에 대한 정보 및 인트라 예측모드에 대한 정보 등을 정렬하여 부호화 데이터로 출력한다. 또한, 부화화데이터 생성부(260)는 인트라 예측부(210)가 적응적 필터링 기반의 인트라 예측을 수행한 경우, 필터링이 수행되었는지 여부를 나타내는 필터링 정보도 함께 부호화 데이터로서 출력한다. 하지만, 인트라 예측부(210)가 적응적 필터링 기반의 인트라 예측을 수행하지 않은 경우에는, 부호화 데이터에 필터링 정보가 포함되지 않는다.
이하에서는 본 발명의 실시예에 따른 인트라 예측부(210)의 보다 상세한 구성을 도 3 내지 도 7을 참조하여 설명한다.
도 3은 본 발명의 실시예에 따른 인트라 예측부의 구성을 나타내는 블록도이다.
본 발명의 실시예에 따른 인트라 예측부(210)는 참조화소 설정부(310), 참조화소 특성 추출부(320), 제1 인트라 예측부(330) 및 제2 인트라 예측부(340) 등을 포함할 수 있다.
참조화소 설정부(310)는 부호화 대상블록에 인접한 인접블록들의 화소(참조화소)들을 참조픽처 메모리(220)에서 추출한다. 현재 부호화를 수행할 대상블록의 인접블록들은 블록 단위의 부호화 및 복호화 과정이 모두 끝나고, 현재블록을 부호화 할 때 해당 블록의 화소 값이 참조 가능한 상태이어야 한다. 하지만, 부호화 수행 과정에 따라 인접블록의 화소 값이 사용 불가능한 경우도 발생하는데, 이러한 인접블록의 불가용 화소들은 참조화소 설정부(310)에서 처리된다. 즉, 참조화소 설정부(310)는 인접한 블록들의 화소 값들이 존재하는지의 여부를 확인하고, 참조가 불가능한 인접 화소들이 있는 경우, 해당 참조 값들을 임의의 연산에 의해 산출된 값으로 채운다.
참조화소 특성 추출부(320)는 참조화소 설정부(310)에서 처리된 참조화소 값들을 입력받아, 참조화소들의 특성을 결정하고, 그 결정 결과에 근거하여 참조화소 값들을 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부(330)로 전달할지 아니면 통상적인 인트라 예측을 수행하는 제2 인트라 예측부(340)로 전달할지 여부를 결정한다.
여기서, 참조화소들의 특성이란 참조화소들의 통계적 특성이나 또는 참조화소들이 구성하는 영상 내의 특성 등을 포함할 수 있고, 본 발명의 실시예에서는 통계적 특성으로서 분산을, 영상 내의 특성으로서 윤곽선 존재 여부를 이용하였다. 그러나 이는 하나의 실시예에 지나지 않으며, 적응적 필터링 기반의 인트라 예측과 통상적인 인트라 예측 중 어느 것이 부호화 효율 및 성능이 우수한지를 판단할 수 있는 특성이라면, 본 발명의 범주에 포함되는 것으로 해석하여야 할 것이다.
도 4는 본 발명의 일 실시예에 따른 참조화소 특성 추출부(320)의 구성을 나타내는 도면인데, 도 4를 참조하면, 참조화소 특성 추출부(320)는 통계적 특성 추출부(410), 윤곽선 검출부(420) 및 필터링 결정부(430)를 포함할 수 있다.
통계적 특성 추출부(410)는 참조화소들의 분산을 연산하고, 분산이 기 설정된 임계값 이하인지 여부를 판단한다. 여기서, 임계값은 다양한 방법에 의해 결정될 수 있는데, 그 한 예로서, 하기의 수학식 1을 이용할 수 있다.
Figure pat00001
여기서, T는 임계값을 나타내며, Qstep은 양자화 구간의 폭을 나타낸다. 또한,
Figure pat00002
는 x보다 작은 정수 중 가장 큰 정보를 의미한다.
윤곽선 검출부(420)는 부호화 대상블록의 인접블록에 포함된 참조화소들을 이용하여 인접블록에 윤곽선이 존재하는지 여부를 검출한다.
윤곽선(Edge)는 영상 내에서 영역의 경계를 나타내는 특징으로서, 밝기의 불연속점에 해당한다. 따라서, 편미분 연산 또는 미분 연산을 이용하거나 또는 미분 연산의 역할을 수행하는 마스크(오퍼레이터)를 이용한 영상 밝기의 기울기(Gradient) 변화를 구하면 윤곽선을 검출할 수 있다. 마스크를 이용한 윤곽선 검출 방법으로서 대표적인 방법은 소벨 마스크(Sobel Mask)를 이용하는 것인데, 이외에도 로버트 마스크(Roberts Mask), 라플라시안 마스크(Laplacian Mask), 캐니 마스크(Canny Mask) 등의 방법이 존재한다.
본 발명의 실시예에서는 소벨 마스크를 이용하여 윤곽선을 검출하는 방법을 사용하였으나, 이에 한정된 것은 아니며, 영상의 윤곽선을 검출하는 다양한 방법들도 본 발명의 범주에 포함되는 것으로 해석하여야 할 것이다.
소벨 마스크를 이용한 윤곽선 추출 방법은 하기의 마스크를 영상에 적용하여 윤곽선을 검출하게 된다.
Figure pat00003
영상은 이차원으로 구성되어 있으므로, 수직방향(y축방향)의 영상 밝기의 기울기(Gradient)와 수평방향(x축방향)의 밝기 기울기를 구하여야 하는데, 좌측 마스크는 수직방향의 기울기를 구하기 위한 것이며, 우측 마스크는 수평방향의 기울기를 구하기 위한 것이다.
위 두 마스크를 인접블록에 적용하여 기울기의 크기를 산출하게 되는데, 도 5는 소벨 마스크가 적용되는 영역을 도시한 것으로 예측에 사용되는 블록의 크기에 따라 윤곽선을 추출할 인접 영역의 크기가 변할 수 있다.
기울기의 크기는, 좌측 마스크와 우측 마스크 각각에 영상의 각 화소값을 곱하여 산출되는 행렬의 중앙 원소값(행렬의 (2,2)원소)을 각각 Gy와 Gx로 하여, 하기의 수학식 2에 의해 연산할 수 있다.
Figure pat00004
위 기울기 크기 값이 기 설정된 임계값 T보다 크면 해당 영역에 윤곽선이 존재하는 것으로 판단할 수 있다.
필터링 결정부(430)는 통계적 특성 추출부(410)에서 분산이 기 설정된 임계값 이하인 것으로 판단하거나 윤곽선 검출부에서 윤곽선이 존재하는 것으로 검출한 경우 적응적 필터링을 적용하지 않는 것으로 결정하고, 참조화소들을통상적인 인트라 예측을 수행하는 제2 인트라 예측부(340)로 전달한다. 그러나, 그렇지 않은 경우, 즉, 분산이 기 설정된 임계값보다 크고 윤곽선도 검출되지 않는 경우에는, 적응적 필터링을 적용하는 것으로 결정하고 참조화소들을적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부(330)로 전달한다.
참조화소들의 분산이 0에 가까울 정도로 작은 경우에는, 고주파 제거 필터링을 수행한 참조화소들은 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들과매우 유사한 값을 갖는다. 따라서, 이러한 경우에는 적응적 필터링에 기반한 인트라 예측을 수행하지 않으므로써 필터링 수행 여부를 나타내는 인덱스 비트를 사용하지 않게 되고, 이를 통해 부호화 효율을 향상시키게 된다.
또한, 부호화를 수행할 대상블록에 인접한 인접블록에 윤곽선이 존재하는 경우, 참조화소들에 필터링을 적용하면 윤곽선이 흐릿해져 큰 오차가 유발될 수 있다. 따라서, 이러한 경우에도 적응적 필터링에 기반한 인트라 예측을 사용하지 않는 것으로 결정함으로써 부호화 성능을 향상시킬 수 있고, 또한 필터링 수행 여부를 나타내는 인덱스 비트를 사용하지 않게 됨으로써 부호화 효율을 향상시킬 수 있게 된다.
한편, 본 발명의 실시예에서는 참조화소들의 통계적 특성과 윤곽선의 존부를 모두 이용하여 참조화소 특성을 결정하는 것으로 설명하였으나, 이에 한정되는 것은 아니며, 이 중 어느 한 방법만 이용하여 참조화소 특성을 결정할 수도 있을 것이다.
다시 도 3을 참조하면, 제1 인트라 예측부(330)는, 참조화소 특성 추출부(320)가 적응적 필터링을 적용하기로 결정한 경우, 적응적 필터링 기반의 인트라 예측을 수행한다.
도 6은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부의 구성을 나타내는 블록도인데, 도 6을 참조하면, 제1 인트라 예측부는 저주파 통과 필터부(LPF:Low Pass Filter)(610), 인트라 예측 수행부(620, 630) 및 비용 산출부(640) 등을포함할 수 있다.
저주파 통과 필터부(610)는 참조화소들에서 고주파 성분을 제거하여 인트라 예측 수행부(620)로 전달하고, 인트라 예측 수행부(620)는 고주파 성분이 제거된 참조화소 값들을 이용하여 인트라 예측을 수행한 후 그 결과를 비용 산출부(640)로 전달한다.
인트라 예측 수행부(630)는 고주파 제거 필터링이 수행되지 않은 원래의 참조화소 값들을 이용하여 인트라 예측을 수행하고 그 결과를 비용 산출부로 전달한다.
비용 산출부(640)는 인트라 예측 수행부(620)에 의해 수행된 결과(즉, 고주파 제거 필터링이 수행된 참조화소를 이용한 인트라 예측 결과)를 이용하여 데이터를 부호화하는 데에 소요되는 비용과 인트라 예측 수행부(630)에 의해 수행된 결과(즉, 고주파 제거 필터링이 수행되지 않은 참조화소를 이용한 인트라 예측 결과)를 이용하여 데이터를 부호화하는 데에 소요되는 비용을 산출하고, 비용이 적게 소비되는 결과를 출력한다. 여기서, 비용은 율-왜곡이나 또는 데이터를 부호화하는 데에 소요되는 비트량을 이용하여 구할 수 있다.
한편, 비용 산출부(640)는, 인트라 예측 결과를 출력할 때, 고주파 제거 필터링이 수행되었는지 여부를 나타내는 필터링 정보도 함께 출력한다.
도 7은 본 발명의 실시예에 따른 적응적 필터링 기반의 인트라 예측을 수행하는 제1 인트라 예측부를 설명하기 위한 예시도면이다.
인트라 예측을 수행 할 크기 n x m의 블록과 복원된 참조 화소는 다음과 같이 표현할 수 있다.
nxm 크기의 배열로 이루어진 부호화 대상블록 O는,
Figure pat00005
대상블록 O을 예측한 n x m 배열의 예측블록 P는,
Figure pat00006
현재의 예측 블록 P에 대한 참조 화소로써 이전 블록의 복원된 화소 값들이 사용된다. 도 7은 참조가 가능한 복원된 참조 화소들의 한 실례를 보여주고 있다.
보다 구체적인 설명을 위해 복원된 좌측의 화소값들을 다음과 같은 벡터로 표현한다.
Figure pat00007
또한, 복원된 상단의 화소값들은 다음과 같이 표현한다.
Figure pat00008
그리고, 좌측 상단의 복원된 화소값은 a라 정의한다. 현재블록 이전에 부호화되고 복호화가 완료된 경우, l, t, a의 각 화소들은 ‘available’로 표시한다.
적응적 필터링을 수행하는 경우, 원본 블록 O에 대한 인트라 예측을 수행하기 전, 인트라 예측에 사용되는 참조 화소들을 평탄화시키는 길이 k의 저주파 통과필터를 다음과 같이 정의한다.
Figure pat00009
위의 필터 계수는 참조화소 벡터 lt에 수학식 3과 같은 컨볼루션 연산을 적용하여 평탄화된 참조화소 벡터를 생성한다.
Figure pat00010
이 때, g 1 , g 2 의 첫 번째와 마지막 원소(t=0, t=n-1 또는 t=m-1)에 대한 연산에서는 f의 값이 예외적으로 변경될 수 있다.
도 6의 저주파 통과 필터부(610)는 수학식 2에 의해 원래의 참조화소들에 대해 고주파 제거 필터링을 수행하게 된다. 그리고 인트라 예측 수행부(620)는 저주파 통과 필터부(610)에서 출력된 참조화소 벡터 g 1 , g 2 를 이용하여 인트라 예측을 수행하게 된다.
한편, 인트라 예측 수행부(630)는 고주파 제거 필터링이 수행되지 않은 원래의 참조화소 벡터 l, t 를 이용하여 인트라 예측을 수행하게 된다.
그리고, 비용 산출부(640)는 참조화소 벡터 g 1 , g 2 를 이용한 인트라 예측 결과를 사용하여 부호화할 때의 비용과 원래의 참조화소 벡터 l, t 를 이용한 인트라 예측 결과를 사용하여 부호화할 때의 비용을 비교하여 비용이 적게 소비되는 인트라 예측 결과를 출력하게 된다. 또한, 비용 산출부(640)가 출력하는 인트라 예측 결과가 고주파 제거 필터링을 수행한 참조화소를 이용한 것인지 아닌지를 나타내는 필터링 정보를 함께 출력한다.
다시 도 3을 참조하면, 제2 인트라 예측부(340)는, 참조화소 특성 추출부가 적응적 필터링을 적용하지 않기로 결정한 경우, 고주파 제거 필터링이 수행되지 않은 참조화소, 즉, 원래의 참조화소 벡터 l, t 를 이용하여 인트라 예측을 수행하여 그 결과를 출력한다. 이 경우, 제2 인트라 예측부는 적응적 필터링 방식을 사용하지 않으므로, 인트라 예측에 고주파 제거 필터링이 사용되었는지 여부를 나타내는 필터링 정보를 출력할 필요가 없다.
이상에서 설명한 본 발명의 실시예에 따르면, 참조화소 특성 추출부(320)가 적응적 필터링을 적용하기로 결정한 경우에는 인트라 예측에 고주파 제거 필터링이 사용되었는지 여부를 나타내는 필터링 정보가 요구되지만, 참조화소 특성 추출부(320)가 적응적 필터링을 적용하지 않기로 결정한 경우에는 필터링 정보가 요구되지 않으므로, 필터링 수행 여부를 나타내기 위해 요구되는 비트량을 감소시킬 수 있게 된다.
도 8은 본 발명의 실시예에 따른 부호화 방법을 나타내는 순서도이다.
부호화를 수행할 대상블록에 인접한 인접블록에 포함된 적어도 하나 이상의 참조화소들을 추출하여 참조화소 특성을 결정한다(S810). 여기서 참조화소 특성은 분산과 같은 참조화소들의 통계적 특성이나 윤곽선의 존부와 같은 참조화소들이 구성하는 영상의 영상 내 특성 등을 포함할 수 있다.
참조화소 특성이 결정되면, 참조화소 특성을 토대로 인트라 예측에 적응적 필터링을 적용할지 여부를 결정한다(S820). 예컨대, 참조화소들의 분산이 기 설정된 임계값보다 작거나 또는 인접블록에 윤곽선이 존재하는 경우 등에는 적응적 필터링을 적용하지 않는 것으로 결정할 수 있고, 그렇지 않은 경우에는 적응적 필터링을 적용하는 것으로 결정할 수 있다.
적응적 필터링을 적용하지 않기로 결정된 경우에는, 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을 이용하여 인트라 예측을 수행하고 그 결과를 출력한다(S830).
그러나 적응적 필터링을 적용하기로 결정된 경우에는, 적응적 필터링에 기반한 인트라 예측을 수행한다.
즉, 참조화소들에 대해 고주파 제거 필터링을 수행하고 필터링이 수행된 참조화소들을 이용하여 인트라 예측을 수행한다(S840, S850). 또한, 고주파 제거 필터링이 수행되지 않은 참조화소들을 이용하여 인트라 예측을 수행한다(S860). 그리고, S840 및 S850에 의해 수행된 인트라 예측 결과를 이용하여 부호화하였을 때의 비용과 S860에 의해 수행된 인트라 예측 결과를 이용하여 부호화하였을 때의 비용을 산출한 후, 비용이 적게 소비되는 인트라 예측 결과를 출력한다. 이때, 출력되는 인트라 예측 결과가 고주파 제거 필터링을 수행한 참조화소를 이용한 것인지 여부를 나타내는 필터링 정보도 함께 출력한다(S870).
이하에서는 도 9 내지 도 10을 참조하여 본 발명의 실시예에 따른 복호화 장치에 대해 설명한다.
도 9는 본 발명의 실시예에 따른 복호화 장치의 구성을 나타내는 블록도이다.
본 발명의 실시예에 따른 복호화 장치는 부호화데이터 추출부(910), 엔트로피 복호화부(920), 잔여데이터 복호화부(930) 및 인트라 예측부(940) 등을 포함할 수 있다.
여기서, 복호화 장치는, 도 2을 통해 전술한 부호화 장치와 같이, 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
부호화데이터 추출부(910)는 입력받은 부호화된 데이터를 추출 및 분석하여, 잔여블록에 대한 데이터를 엔트로피 복호화부(920)으로 전달하고, 그 외의 예측을 위해 필요한 데이터, 예컨대, 매크로블록 모드및 부호화된 예측정보(인트라 예측모드에 대한 정보 등) 등을 인트라 예측부(940)로 전달한다.
엔트로피 복호화부(920)는 부호화데이터 추출부(910)으로부터 입력받은 잔여블록에 대해 엔트로피 복호화를 수행해 양자화된 잔여블록을 생성한다. 본 발명의 실시예에는 도시하지 않았으나, 필요에 따라 엔트로피 복호화부(920)는 잔여블록뿐만 아니라, 부호화된 데이터를 복호화하는데 필요한 다양한 정보들을 복호화할 수 있다. 여기서, 부호화된 데이터를 복호화하는데 필요한 다양한 정보들은 블록 타입에 대한 정보, 인트라 예측모드에 대한 정보, 변환 및 양자화 타입에 대한 정보 등의 다양한 정보들을 포함할 수 있다. 엔트로피 복호화부(1220)은 본 발명의 실시예가 적용된 부호화 장치의 엔트로피 부호화부(440)에 사용되는 엔트로피 부호화 방법에 따라 다양한 방법으로 정의될 수 있다.
잔여데이터 복호화부(930)는 본 발명의 실시예에 따른 부호화 장치의 잔여데이터 복호화부(240)와 동일한 과정을 수행하여 잔여블록을 복원한다. 즉, 엔트로피 복호화부로부터 전달받은 양자화된 잔여블록을 역양자화한 후 이를 역변환함으로써 잔여블록을 복원한다.
인트라 예측부(940)는 부호화데이터 추출부에서 추출된 인트라 예측모드 정보를 근거로 인트라 예측을 수행하여 인트라 예측블록을 생성한다.
특히, 본 발명의 실시예에 따른 인트라 예측부(940)는 복호화를 수행해야 할 대상블록의 인접블록에 포함된 참조화소들을 이용하여 참조화소 특성을 결정하고, 참조화소 특성을 토대로 부호화 장치가 적응적 필터링을 적용한 인트라 예측을 수행하였는지 여부를 결정한다. 적응적 필터링이 적용된 것으로 결정된 경우에는, 부호화 장치로부터 수신한 부호화 데이터에 필터링 정보가 포함되어 있을 것이므로, 부호화 데이터에서 필터링 정보를 추출한다. 그리고, 추출된 필터링 정보에 근거하여 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행하거나 또는 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을 이용하여 인트라 예측을 수행하고 그 결과를 출력한다. 그러나 적응적 필터링이 적용되지 않은 것으로 결정된 경우에는, 부호화 데이터에 필터링 정보가 존재하지 않을 것이므로, 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을이용하여 인트라 예측을 수행하고 그 결과를 출력한다.
인트라 예측부(940)에서 출력되는 결과(인트라 예측블록)는 잔여데이터 복호화부(930)에서 복원된 잔여블록과 가산되어 원래 영상의 블록으로 복원된다.
도 10은 본 발명의 실시예에 따른 인트라 예측부(940)의 구성을 나타내는 블록도이다.
도 10에서 보는 바와 같이, 본 발명의 실시예에 따른 인트라 예측부(940)는 참조화소 설정부(1010), 참조화소 특성 추출부(1020), 제3 인트라 예측부(1030) 및 제4 인트라 예측부(1040)를 포함할 수 있다.
참조화소 설정부(1010)는 복호화 대상블록에 인접한 인접블록들의 화소(참조화소)들을 참조픽처 메모리에서 추출한다.
참조화소 특성 추출부(1020)는 참조화소 설정부(1010)로부터 전달된 참조화소 값들을 입력받아, 참조화소들의 특성을 결정하고 참조화소 특성에 근거하여 적응적 필터링을 적용할지 여부를 결정한다. 그리고 그 결정 결과에 근거하여 참조화소 값들을 제3 인트라 예측부(1030)와 제4 인트라 예측부(1040) 중 어느 하나로 전달한다. 여기서, 참조화소들의 특성이란 참조화소들의 통계적 특성이나 또는 참조화소들이 구성하는 영상 내의 특성 등을 포함할 수 있다.
참조화소 설정부(1010)와 참조화소 특성 추출부(1020)는 각각 본 발명의 실시예에 따른 부호화 장치의 참조화소 설정부(310) 및 참조화소 특성 추출부(320)와 그 기능이 동일하므로, 중복 설명을 피하기 위해 더 이상의 상세한 설명은 생략한다.
제3 인트라 예측부(1030)는, 참조화소 특성 추출부(1020)가 적응적 필터링을 적용하는 것으로 결정한 경우, 부호화데이터에서 필터링 정보를 추출한다. 그리고, 추출된 필터링 정보가 고주파 제거 필터링을 수행하는 것을 지시하는 경우에는 참조화소들에 대해 고주파 제거 필터링을 수행하고, 고주파 제거 필터링이 수행된 참조화소들을 이용하여 인트라 예측을 수행한다. 그러나, 추출된 필터링 정보가 고주파 제거 필터링을 수행하지 않는 것을 지시하는 경우에는 고주파 제거 필터링을 수행하지 않고 원래의 참조화소들을 이용하여 인트라 예측을 수행하고 그 결과를 출력한다.
제4 인트라 예측부(1040)는, 참조화소 특성 추출부(1020)가 적응적 필터링을 적용하지 않는 것으로 결정하는 경우, 고주파 제거 필터링을 수행하지 않은 원래의 참조화소를 이용하여 인트라 예측을 수행하고 그 결과를 출력한다.
복호화 장치의 참조화소 특성 추출부(1020)는 부호화 장치의 참조화소 특성 추출부(320)과 그 구성이 동일하다.
따라서, 복호화 장치의 참조화소 특성 추출부(1020)가 적응적 필터링을 적용하는 것으로 결정한 경우에는, 부호화 장치의 참조화소 특성 추출부(320)도 적응적 필터링을 적용하는 것으로 결정할 것이므로, 부호화 장치가 출력하는 부호화데이터에는 필터링 정보가 포함되어 있게 된다. 따라서, 제3 인트라 예측부(1030)는 부호화 데이터에서 필터링 정보를 추출하고, 그 필터링 정보에 근거하여 인트라 예측을 수행하는 것이다.
한편, 복호화 장치의 참조화소 특성 추출부(1020)가 적응적 필터링을 적용하지 않는 것으로 결정한 경우에는, 부호화 장치의 참조화소 특성 추출부(320)도 적응적 필터링을 적용하지 않는 것으로 결정할 것이므로, 부호화 장치에서 출력되는 부호화데이터에는 필터링 정보가 포함되어 있지 않다. 따라서, 이 때에는 제4 인트라 예측부(1040)가 필터링 정보에 대한 고려없이 바로 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을 이용하여 인트라 예측을 수행하게 된다.
도 11은 본 발명의 실시예에 따른 복호화 방법을 나타내는 순서도이다.
복호화를 수행할 대상블록의 인접블록에 포함된 적어도 하나 이상의 참조화소들을 추출하여 참조화소 특성을 결정한다(S1110). 여기서 참조화소 특성은 분산과 같은 참조화소들의 통계적 특성이나 윤곽선의 존부와 같은 참조화소들이 구성하는 영상 내 특성 등을 포함할 수 있다.
참조화소 특성이 결정되면, 참조화소 특성에 근거하여 적응적 필터링을 적용할지 여부를 결정한다(S1120). 예컨대, 참조화소들의 분산이 기 설정된 임계값 이하이거나 인접블록 내에 윤곽선이 존재하는 경우에는 적응적 필터링을 적용하지 않는 것으로 결정하고, 그렇지 않은 경우에는 적응적 필터링을 적용하는 것으로 결정할 수 있다.
S1120에서 적응적 필터링을 적용하지 않는 것으로 결정한 경우, 고주파 제거 필터링을 수행하지 않은 원래의 참조화소들을 이용하여 인트라 예측을 수행하고 그 결과를 출력한다(S1130).
그러나 S1120에서 적응적 필터링을 적용하는 것으로 결정한 경우에는, 부호화데이터에서 필터링 정보를 추출하고(S1140), 추출된 필터링 정보를 확인한다(S1150). 확인 결과, 필터링 정보가 고주파 제거 필터링을 수행할 것을 지시하는 경우에는 고주파 제거 필터링을 수행한 참조화소를 이용하여 인트라 예측을 수행하고 그 결과를 출력한다(S1160). 그러나, 필터링 정보가 고주파 제거 필터링을 수행하지 않을 것을 지시하는 경우에는 고주파 제거 필터링을 수행하지 않은 참조화소를 이용하여 인트라 예측을 수행하고 그 결과를 출력한다(S1170).
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 인트라 예측에서의 적응적 필터링에 의해 발생하는 추가적인 필터 적용에 대한 인덱스 신호의 발생 빈도를 효과적으로 감소시켜 높은 압축 부호화 효율을 제공하고, 적응적 필터링 유무에 대한 판단 기준의 강약을 조절하여 비디오 압축 부호기의 능률적인 율-왜곡 조절 요소를 제공하며, 나아가 적응적 필터링이 생략되는 경우 반복적인 필터링 및 인트라 예측 과정으로 인해 발생하는 부호화 및 복호화 프로세스의 복잡도를 감소시킬 수 있으므로, 매우 유용한 발명이다.
310: 참조화소 설정부 320: 참조화소 특성 추출부
330: 제1 인트라 예측부 340: 제2 인트라 예측부
410: 통계적 특성 추출부 420: 윤곽선 검출부
430: 필터링 결정부

Claims (6)

  1. 인트라 예측을 이용한 복호화 장치에 있어서,
    부호화 데이터로부터, 필터링 정보 및 복호화할 대상블록의 변환 및 양자화된 잔여블록을 추출하는 부호화 데이터 추출부;
    상기 필터링 정보에 근거하여 상기 대상블록의 주변블록들 내의 참조 화소들을 적응적으로 필터링하고, 적응적으로 필터링된 참조 화소들을 이용하여 상기 대상블록에 대한 예측블록을 생성하는 인트라 예측부;
    상기 변환 및 양자화된 잔여블록을 역양자화 및 역변환함으로써 잔여블록을 복원하는 잔여 데이터 복호화부; 및
    상기 예측블록과 상기 복원된 잔여블록을 가산하여 상기 대상블록을 복원하는 가산기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  2. 제1항에 있어서, 상기 인트라 예측부는,
    상기 주변블록들 내의 상기 참조 화소들 중 하나 이상을 이용하여 참조 화소 특성값을 연산하고,
    적어도 상기 필터링 정보 및 상기 참조 화소 특성값에 기반하여, 상기 참조 화소들에 적용할 필터링 타입을 결정하며,
    상기 결정된 필터링 타입에 따라 상기 참조 화소들을 적응적으로 필터링하고,
    상기 인트라 예측 모드에 대한 정보에 따라, 상기 적응적으로 필터링된 참조 화소들로부터 상기 대상블록을 예측하는 것을 특징으로 하는 영상 복호화 장치.
  3. 제2항에 있어서, 상기 인트라 예측부는,
    상기 필터링 타입이 제1타입일 때 고주파 필터링된 참조 화소들로부터 상기 대상블록을 예측하고,
    상기 필터링 타입이 제2타입일 때 고주파 필터링되지 않은 참조 화소들로부터 상기 대상블록을 예측하는 것을 특징으로 하는 영상 복호화 장치.
  4. 제1항에 있어서,
    상기 대상블록은 32x32의 크기를 가지는 것을 특징으로 하는 영상 복호화 장치.
  5. 제2항에 있어서,
    상기 참조 화소 특성값은 상기 참조 화소들의 분산인 것을 특징으로 하는 영상 복호화 장치.
  6. 제1항에 있어서, 상기 인트라 예측부는,
    상기 참조 화소들 중 적어도 하나가 이용가능하지 않은 경우, 기결정된 연산에 의해 계산된 값을 이용가능하지 않는 참조 화소의 값으로 설정하는 것을 특징으로 하는 영상 복호화 장치.
KR1020160061642A 2016-05-19 2016-05-19 인트라 예측을 이용한 부호화 및 복호화 장치와 방법 KR101713250B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160061642A KR101713250B1 (ko) 2016-05-19 2016-05-19 인트라 예측을 이용한 부호화 및 복호화 장치와 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160061642A KR101713250B1 (ko) 2016-05-19 2016-05-19 인트라 예측을 이용한 부호화 및 복호화 장치와 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100083026A Division KR101663764B1 (ko) 2010-08-26 2010-08-26 인트라 예측을 이용한 부호화 및 복호화 장치와 방법

Publications (2)

Publication Number Publication Date
KR20160065787A true KR20160065787A (ko) 2016-06-09
KR101713250B1 KR101713250B1 (ko) 2017-03-08

Family

ID=56138989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160061642A KR101713250B1 (ko) 2016-05-19 2016-05-19 인트라 예측을 이용한 부호화 및 복호화 장치와 방법

Country Status (1)

Country Link
KR (1) KR101713250B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567860A (en) * 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding
US11184609B2 (en) 2017-01-02 2021-11-23 Electronics And Telecommunications Research Institute Image encoding/decoding method, apparatus, and recording medium for storing bitstream

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111247799B (zh) 2017-10-18 2022-08-09 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Samsung’s Response to the Call for Proposals on Video Compression Technology, joint collaborative team on viedo coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, JCTVC-A124 (2010.04.23.)* *
Text of ISO/IEC FDIS 14496-10: Information Technology - Coding of audio-visual objects - Part 10: Advanced Video Coding, ISO/IEC JTC 1/SC 29/WG 11 (2003.03.31.)* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184609B2 (en) 2017-01-02 2021-11-23 Electronics And Telecommunications Research Institute Image encoding/decoding method, apparatus, and recording medium for storing bitstream
US11689716B2 (en) 2017-01-02 2023-06-27 Lx Semicon Co., Ltd Image encoding/decoding method, apparatus, and recording medium for storing bitstream
GB2567860A (en) * 2017-10-27 2019-05-01 Sony Corp Image data encoding and decoding

Also Published As

Publication number Publication date
KR101713250B1 (ko) 2017-03-08

Similar Documents

Publication Publication Date Title
KR101663764B1 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101302660B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
KR101834541B1 (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
KR101418101B1 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
KR101763113B1 (ko) 노이즈성분을 위한 공간영역에서의 영상 부호화/복호화 방법 및 장치
WO2010041534A1 (ja) 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
KR20100035104A (ko) 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법
JP4829019B2 (ja) 通信端末装置
KR101713250B1 (ko) 인트라 예측을 이용한 부호화 및 복호화 장치와 방법
KR101418098B1 (ko) 영상 부호화/복호화 장치 및 방법
KR101539045B1 (ko) 양자화 계수 결정 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101943058B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101369174B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
WO2012118569A1 (en) Visually optimized quantization
KR101575634B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101544379B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101369161B1 (ko) 예측 방향 전환 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101070173B1 (ko) 동영상 압축 효율을 높이기 위한 변환블록의 부호화 장치와 방법
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101575638B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101534014B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 4