KR20120008321A - 서브샘플링을 이용한 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 부호화/복호화 장치 및 방법에 관한 것으로서, 서브샘플링 기반의 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치에 관한 것이다. 본 발명에서는 영상의 일부 영역에 대한 부호화 및 복호화를 수행하고, 이 정보를 바탕으로 인접한 블록에 대한 적응적인 스캐닝 순서를 생성하는 동영상 부호화/복호화 장치 및 방법에 관한 것이다.
영상 부호화 장치는 확장된 템플릿 매칭부를 포함하는 인트라 예측부, 인터 예측부, 예측 부호화 이후의 차분 신호에 대하여 서브 샘플링을 수행하는 서브 샘플러, 서브 샘플링 된 차분 신호를 이산 여현 변환 부호화하는 이산 여현 부호화부, 이산 여현 부호화된 신호를 양자화 하는 양자화부, 양자화된 계수 값을 이용하여 스캐닝 패턴을 추출하는 계수 값 패턴 추출부, 계수 값 패턴 추출부의 정보를 이용하여 양자화된 계수 값을 정렬하는 계수 값 정렬부, 정렬된 계수 값을 엔트로피 부호화하는 엔트로피 부호화부, 양자화된 신호를 역 양자화하는 역 양자화부, 역 양자화된 신호를 역 이산 여현 부호화하는 역 이산 변환 부호화 부, 역 이산 여현 변환 부호화된 신호를 업 샘플링하는 업 샘플러를 포함한다.

Description

서브샘플링을 이용한 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치 {Adaptive Scanning and Extended Template Matching Apparatus and Method Using Subsampling}

본 발명은 영상 부호화/복호화 장치 및 방법에 관한 것으로서, 보다 상세하게는 서브샘플링을 이용하여 적응적 스캐닝 및 확장된 템플릿 매칭을 수행하는 영상 부호화/복호화 장치 및 방법에 관한 것이다.

H.264/AVC 는 고성능의 압축 효율을 갖는 비디오 압축 표준 기술이다. H.264/AVC 에서는 영상 내의 상관성을 제거하기 위한 화면 내 예측 기술, 영상 간의 상관성을 제거하기 위한 화면 간 예측 기술을 통하여 원본 신호를 예측 부호화할 수 있다.

H.264/AVC의 부호화기는 원본 신호와 예측 신호의 차이 값인 차분 값에 대하여 이산 여현 변환 부호화와 양자화를 수행한다. 그리고 양자화된 신호는 지그재그 스캐닝 방법으로 정렬된 후 엔트로피 부호화 된다.

이 과정에 있어 지그재그 스캐닝 과정은 양자화된 신호가 효과적으로 엔트로피 부호화 될 수 있도록 정렬하는 기술인데, 지그재그 순서의 고정 순서를 이용하고 있다. 그러나 차분 신호의 특성에 따라 일부 블록에서는 이러한 지그재그 스캐닝이 최적의 스캐닝 순서가 되지 않으며, 이는 부호화 성능을 떨어트릴 수 있다.

따라서, 보다 높은 압축 효율을 제공할 수 있는 영상 부호화/복호화 장치 및 방법이 필요하다.

본 발명이 해결하고자 하는 과제는 서브 샘플링 통하여 부호화 하려는 매크로블록 내의 블록에 대하여 최적의 스캐닝 순서를 결정해주는 방법 및 장치를 제공하고자 하는 것이다.

또한, 매크로블록 내에서 서브 샘플링을 통하여 일부 블록을 먼저 부호화 한 후, 해당 블록 정보와 매크로블록 주변의 픽셀 정보를 동시에 이용하여 화면 내 템플릿 매칭을 수행하는 장치 및 방법을 제공하고자 하는 것이다.

본 발명의 해결 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 부호화 장치는 입력되는 차분 신호의 매크로블록을 이산 여현 변환 부의 블록 크기에 맞춰 여러 개의 서브 블록으로 만드는 서브 샘플러와, 서브 샘플링된 블록을 이산 여현 변환하는 이산 여현 변환 부와, 이산 여현 변환 된 블록을 양자화하는 양자화 부와, 양자화된 블록의 계수 값들을 이용하여 재정렬에 사용할 스캐닝 패턴을 생성하는 계수 값 패턴 추출부와, 추출된 적응적 스캐닝 패턴 또는 기존의 지그재그 스캐닝 패턴으로 블록의 계수 값을 정렬하는 재정렬부와, 서브 샘플링된 신호를 다시 업 샘플링하는 업 샘플러를 포함한다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 복호화 장치는 입력되는 비트스트림을 복호화하는 엔트로피 복호화부와, 엔트로피 복호화된 계수 값을 적응적 스캐닝 패턴 또는 지그재그 스캐닝 패턴을 이용하여 블록 내의 계수 값을 재정렬하는 재정렬부와, 계수 값이 재정렬된 블록에서 계수 값을 이용하여 스캐닝 패턴을 추출하는 계수 값 패턴 추출부와, 재정렬된 계수 값을 갖는 블록에 대하여 역 양자화하는 역 양자화부와, 역 양자화된 블록을 역 이산 여현 변환하는 역 이산 여현 변환부와, 역 이산 여현 변환된 블록을 다시 업 샘플링하는 업 샘플러부를 포함한다.

상기 다른 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 부호화 장치는 입력되는 차분 신호의 매크로블록을 이산 여현 변환 부의 블록 크기에 맞춰 여러 개의 서브 블록으로 만드는 서브 샘플러와, 서브 샘플링된 블록을 이산 여현 변환하는 이산 여현 변환 부와, 이산 여현 변환 된 블록을 양자화하는 양자화 부와, 양자화된 블록의 계수 값들을 이용하여 재정렬에 사용할 스캐닝 패턴을 생성하는 계수 값 패턴 추출부와, 추출된 적응적 스캐닝 패턴 또는 기존의 지그재그 스캐닝 패턴으로 블록의 계수 값을 정렬하는 재정렬부와, 서브 샘플링된 신호를 다시 업 샘플링하는 업 샘플러, 매크로블록의 주변 픽셀 값과 매크로블록 내부에서 서브 샘플링된 후 이미 부호화된 픽셀 값을 동시에 이용하여 템플릿 매칭을 수행하는 확장된 템플릿 매칭부를 포함한다.

상기 다른 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 복호화 장치는 입력되는 비트스트림을 복호화하는 엔트로피 복호화부와, 엔트로피 복호화된 계수 값을 적응적 스캐닝 패턴 또는 지그재그 스캐닝 패턴을 이용하여 블록 내의 계수 값을 재정렬하는 재정렬부와, 계수 값이 재정렬된 블록에서 계수 값을 이용하여 스캐닝 패턴을 추출하는 계수 값 패턴 추출부와, 재정렬된 계수 값을 갖는 블록에 대하여 역 양자화하는 역 양자화부와, 역 양자화된 블록을 역 이산 여현 변환하는 역 이산 여현 변환부와, 역 이산 여현 변환된 블록을 다시 업 샘플링하는 업 샘플러부와, 매크로블록의 주변의 복원된 픽셀 값과 매크로블록 내에서 서브 샘플링된 후 복호화된 일부 블록의 픽셀 값을 동시에 이용하여 템플릿 매칭을 수행하는 확장된 템플릿 매칭부를 포함한다.

본 발명의 실시예에 따른 서브샘플링을 이용한 적응적 스캐닝 및 템플릿 매칭 방법 및 장치는 매크로블록 내에서 엔트로피 부호화를 수행하는 블록 단위의 계수 값들에 대하여 적응적인 스캐닝 순서를 할당하여 엔트로피 부호화의 성능을 향상 시키게 한다.

템플릿 매칭 과정에 있어서는 주변 픽셀 값에 부가적으로 매크로블록 내의 값을 포함시킴으로써 보다 더 정확한 템플릿 매칭을 가능하게 한다.

도 1은 본 발명의 제1 실시예에 따른 영상 부호화 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 제1 실시예에 따른 영상 부호화 장치에서 서브 샘플러의 동작을 나타내는 도면이다.
도 3은 본 발명의 제1 실시예에 따른 영상 부호화 장치에서 계수 값 패턴 추출부의 구성을 나타내는 도면이다.
도 3a는 본 발명의 제1 실시예에 따른 영상 부호화 장치에서 계수 값 패턴 추출부의 동작 예를 나타내는 도면이다.
도 4는 본 발명의 제1 실시예에 따른 영상 부호화 장치에서 계수 값 패턴 추출부의 구성을 나타내는 도면이다.
도 5는 본 발명의 제1 실시예에 따른 영상 부호화 장치에서 재정렬부의 구성을 나타내는 도면이다.
도 6은 본 발명의 제1 실시예에 따른 영상 복호화 장치의 구성을 나타내는 도면이다.
도 7은 본 발명의 제1 실시예에 따른 영상 복호화 장치에서 업 샘플러의 동작을 나타내는 도면이다.
도 8은 본 발명의 제2 실시예에 따른 영상 부호화 장치의 구성을 나태는 도면이다.
도 9는 본 발명의 제2 실시예에 따른 영상 부호화 장치에서 템플릿 매칭 단계에서 사용하는 참조 픽셀의 예를 나타내는 도면이다.
도 10은 본 발명의 제2 실시예에 따른 영상 복호화 장치의 구성을 나타내는 도면이다.
도 11은 본 발명의 제 3 실시예에 따른 다시점 비디오에서 계수 값 패턴을 사용하는 동작 예를 나타내는 도면이다.
도 12는 본 발명의 제 4 실시예에 따른 스케일러블 비디오에서 계수 값 패턴을 사용하는 동작 예를 나타내는 도면이다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 따른 서브샘플링을 이용한 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치에 대하여 상세히 설명한다.

도 1은 본 발명의 제1 실시예로 영상 부호화 장치의 구성을 나타내는 도면이다.

도 1을 참조하면 영상 부호화 장치는 서브 샘플러(100), 이산 여현 변환 부호화부(110), 양자화부(120), 계수 값 패턴 추출부(130), 재정렬부(140), 업 샘플러부(160)를 포함한다.

서브 샘플러(100)는 화면 내 예측 또는 화면 간 예측 이후 생성된 차분 신호의 매크로블록에 대하여 이산 여현 변환 부호화부(110)에서 사용하는 기본 블록의 크기대로 서브 샘플링을 수행한다.

예를 들어, 입력되는 매크로블록이 16×16 픽셀이고, 이산 여현 변환 부호화부의 기본 블록의 단위가 4×4 픽셀이면, 서브 샘플러는 매크로블록의 차분 신호에 대하여 16개의 4×4 블록으로 서브 샘플링 한다.

이산 여현 변환 부호화부(110)는 서브 샘플링된 블록을 입력으로 받아 이산 여현 변환 부호화를 수행한다. 이러한 이산 여현 변환 부호화부는 기존의 이산 여현 변환 부호화 또는 H.264/AVC의 정수 변환 부호화 등이 이용될 수 있다.

양자화부(120)는 이산 여현 변환 부호화된 서브 샘플링 블록에 대하여 정해진 양자화 파라미터에 따라 양자화를 수행하는 역할을 한다.

계수 값 패턴 추출부(130)는 양자화된 서브 샘플링 블록 내의 신호 값을 이용하여 재정렬부(140)에서 사용하기 위한 스캐닝 정보를 생성하는 역할을 수행한다.

예를 들어, 16×16 크기의 매크로블록이 4×4 크기를 갖는 16개의 블록으로 서브 샘플링된 경우에 첫 번째 4×4 블록은 이전 블록의 정보가 없기 때문에 기존의 H.264/AVC에서 사용하는 지그재그 스캐닝을 그대로 이용하여 재정렬부(140)에 의해 계수 값이 재정렬된다. 이때, 첫 번째 4×4 블록 내의 양자화된 계수 값 정보를 이용하여 계수 값 패턴 정렬부는 다음 4×4 블록을 위한 스캐닝 정보를 추출한다. 매크로블록의 두 번째 블록부터는 이전 블록 또는 매크로블록 내에서 가장 인접하는 블록에서 추출된 스캐닝 정보를 이용하여 재정렬부(140)에서 계수 값을 재정렬한다.

재정렬부(140)는 서브샘플링된 블록 내의 양자화된 계수 값을 엔트로피 부호화에 효과적이도록 정렬하는 역할을 한다.

예를 들어, 매크로블록의 첫 번째 서브샘플링된 블록을 제외한 나머지 블록들은 계수 값 패턴 추출부(130)에서 이전 블록에서 구해진 스캐닝 순서(150)를 받아서 해당 스캐닝 순서에 따라 계수 값을 정렬하는 역할을 수행한다. 매크로블록에서 첫 번째로 서브샘플링된 블록은 기존의 H.264/AVC의 지그재그 스캐닝 방법에 따라 계수 값이 재정렬된다.

업 샘플러(160)는 부호화기에서 부호화하는 매크로블록을 복원화는 과정에서 역 양자화와 역 이산 여현 변환 된 신호 값을 다시 업 샘플링하는 역할을 수행한다. 이러한 업 샘플러의 동작은 부호화기의 서브 샘플러(100)의 동작의 역 과정과 정확히 일치되어 수행된다.

도 2는 본 발명의 제1 실시예에 따른 영상 부호화 장치내의 서브 샘플러(100)를 나타내는 도면이다.

도 2를 참조하면 서브 샘플러(100, 210)는 N×N 크기의 매크로블록을 입력으로 한다. 입력 된 N×N 크기의 매크로블록은 이산 여현 변환 부호화부 (110)에서 사용하는 블록의 크기인 T에 따라 적응적으로 서브 샘플링을 수행한다.

도 3은 본 발명의 제1 실시예에 따른 영상 부호화 장치내의 계수 값 패턴 추출부(130)의 동작을 나타내는 도면이다.

도 3을 참조하면 계수 값 패턴 추출부(130)는 양자화된 계수 값 입력부(300), 절대 값 적용부(310), 스캐닝 순서 생성부(320)를 포함한다.

양자화된 계수 값 입력부(300)는 영상 부호화 장치에서 양자화부(120)의 출력 값을 입력으로 받는 역할을 수행한다.

절대 값 적용부(310)는 입력되는 블록 내의 계수 값들에 대하여 절대 값 연산을 수행하여 양수의 계수 값으로 만드는 역할을 수행한다.

스캐닝 순서 생성부(320)는 절대 값 적용부(310)을 거쳐 양수로 변경된 블록 내의 계수 값을 이용하여 다음 서브 샘플링된 블록을 위한 스캐닝 순서를 생성하는 역할을 수행한다.

도 3a는 본 발명의 제1 실시예에 따른 계수 값 패턴 추출부의 동작 예를 나타내는 도면이다.

양자화된 서브 샘플링 블록(340)은 절대 값 적용부(310)에 의하여 각 픽셀 값 단위로 양수로 변경된다. 이렇게 모든 계수 값들이 양수로 변경된 후 스캐닝 순서 생성부(320)에 의하여 적응적인 스캐닝 순서(360)가 결정된다.

도 4는 본 발명의 제1 실시예에 따른 스캐닝 순서 생성부(320)의 구성을 나타내는 도면이다.

도 4를 참조하면, 스캐닝 순서 생성부(320)는 픽셀 단위 스캐닝 순서 생성부(410), 공간 주파수 계산부(420), 스캐닝 순서 그룹(430)을 포함한다.

서브 샘플링된 블록은 절대 값 적용부(310)을 거친 후 스캐닝 순서 생성부(320)에 입력된다. 스캐닝 순서 생성부(320)는 서브 샘플링된 블록의 픽셀의 절대 값을 크기를 기준으로 하여 스캐닝 순서를 결정하는 방식과, 블록 내의 주파수 특성에 따라 미리 정해진 스캐닝 순서 중 하나를 이용하는 방식을 갖는다. 픽셀 단위의 절대 값의 크기에 따라서 스캐닝 순서를 결정하도록 설정된 경우에는 입력 값들이 픽셀 단위 스캐닝 순서 생성부(410)로 입력된다. 픽셀 단위 스캐닝 순서 생성부(410)는 양수의 픽셀 값들의 크기에 따른 스캐닝 순서를 생성하는 역할을 한다.

블록 내의 주파수 특성에 따라 스캐닝 순서를 생성하도록 설정된 경우에는 서브 샘플된 블록이 우선 공간 주파수 계산부(420)로 입력된다. 공간 주파수 계산부(420)에서는 서브 샘플링된 입력 블록에 대하여 공간 주파수를 계산하고, 해당 값에 따라 미리 정의된 다수의 스캐닝 순서가 저장되어 있는 스캐닝 순서 그룹(430)에서 단일의 스캐닝 순서가 출력된다.

도 5는 본 발명의 제1 실시예에 따른 재정렬부(140)의 구성을 나타내는 도면이다.

도 5를 참조하면, 재정렬부(140)는 첫 번째 블록 판단부(500), 지그재그 스캐닝 재정렬부(510), 적응적 스캐닝 재정렬부(520)를 포함한다.

첫 번째 블록 판단부(500)는 입력되는 서브 샘플링 블록이 매크로블록에서 첫 번째 블록인지를 판단하는 역할을 한다.

지그재그 스캐닝 재정렬부(510)는 입력되는 서브 샘플링 블록의 계수 값들을 지그재그 스캐닝 순서대로 재정렬하는 역할을 한다.

적응적 스캐닝 재정렬부(520)는 입력되는 서브 샘플링 블록의 계수 값들을 이전 블록에서 구해진 적응적 스캐닝 순서대로 재정렬하는 역할을 한다.

도 6은 본 발명의 제1 실시예에 따른 영상 복호화 장치의 구성을 나타내는 도면이다.

도 6를 참조하면, 영상 복호화 장치는 엔트로피 복호화기(610), 재정렬부(620), 계수 값 패턴 추출부(630), 업 샘플러(650)를 포함한다.

엔트로피 복호화기(610)는 NAL 에서 비트스트림을 읽어와 엔트로피 복호화하는 역할을 한다.

재정렬부(620)는 엔트로피 복호화기(610)에서 순차적으로 복호화된 계수 값에 대하여 부호화기에서 재정렬했던 패턴과 동일하게 복호화기에서 계수 값을 원래 위치로 재정렬하는 역할을 한다. 복호화기의 이러한 재정렬부(620)는 도 5에서 설명한 부호화기의 재정렬부(140)와 동일하게 동작한다. 매크로블록의 첫 번째 서브 샘플링된 블록인 경우에는 지그재그 스캐닝 순서에 따라 계수 값의 재정렬이 이루어지며, 나머지 서브 샘플링된 블록은 이전 블록들에 의하여 구해지는 적응적 스캐닝 순서에 따라 계수 값의 재정렬이 이루어진다.

계수 값 패턴 추출부(630)는 도 4에서 설명한 부호화기의 계수 값 패턴 추출부(130)와 동일한 기능을 수행한다. 복호화기에서 엔트로피 복호화부(610)와 재정렬부(620)를 거친 서브 샘플링 블록은 픽셀 단위 스캐닝 순서 생성부(410) 또는 공간 주파수 계산부(420)와 스캐닝 순서 그룹(430)에 의하여 다음 블록들에서 쓰여진 스캐닝 순서를 구하게 된다. 현재 블록에서 이렇게 추출된 계수 값 정렬의 패턴 정보(640)는 재정렬부(620)으로 전송되어, 다음 블록의 계수 값 재정렬 과정에 사용된다.

업 샘플러(650)는 서브 샘플링된 블록들에 대하여 다시 매크로블록 단위의 복원을 위하여 업 샘플링하는 역할을 수행한다.

도 7은 본 발명의 제1 실시예에 따른 업 샘플러의 구성을 나타내는 도면이다.

업 샘플러(650, 710)는 입력으로 역 양자화와 역 이산 여현 변환 과정이 완료된 서브 샘플링 블록들(700)을 받는다. 이러한 서브 샘플링 블록들은 기본적으로 역 이산 여현 변환 블록의 크기인 T와 동일한 크기를 갖는다. 이러한 서브 샘플링된 블록은 업 샘플러(710)에 의하여 업샘플링되고 복원된 차분 신호 매크로블록(720)에서 알맞은 위치로 저장된다. 이러한 과정은 부호화기에서 서브 샘플링되는 방식과 정확히 역 과정으로 수행된다.

도 8은 본 발명의 제2 실시예로 서브 샘플링 기반의 템플릿 매칭을 이용하는 영상 부호화 장치의 구성을 나타내는 도면이다.

도 8을 참조하면 영상 부호화 장치는 서브 샘플러(800), 이산 여현 변환 부호화부(810), 양자화부(820), 계수 값 패턴 추출부(830), 재정렬부(840), 업 샘플러부(850), 템플릿 매칭부(860)을 포함한다. 서브 샘플러(800), 이산 여현 변환 부호화부(810), 양자화부(820), 계수 값 패턴 추출부(830), 재정렬부(840), 업 샘플러부(850)은 도 1에서 설명한 것과 동일하게 동작한다.

템플릿 매칭부(860)는 화면 내 예측 모드에서 부호화하려는 매크로블록의 주변 픽셀 값과 서브 샘플링 된 후 부호화되고 다시 복원된 매크로블록 내의 픽셀 값을 동시에 이용하여 동일 프레임에서 템플릿 매칭을 수행하는 역할을 한다.

도 9는 본 발명의 제2 실시예에 따른 템플릿 매칭에 이용하는 픽셀 값들에 대하여 나타내는 도면이다.

기존의 템플릿 매칭은 부호화하는 매크로블록의 주변의 이미 부호화된 픽셀 값들에 대해서 정해진 크기(M) 만큼의 영역 값들을 이용하였다. 다운 샘플링 기반의 템플릿 매칭에서는 기존의 매크로블록 주변의 이미 부호화된 픽셀들(900)과 매크로블록 내부에서 서브 샘플링된 후 이미 부호화된 픽셀들(910)을 동시에 이용한다.

도 10은 본 발명의 제2 실시예에 따른 서브 샘플링 기반의 템플릿 매칭을 이용하는 영상 복호화 장치를 나타내는 도면이다. 0

도 10를 참조하면, 영상 복호화 장치는 엔트로피 복호화기(1000), 재정렬부(1010), 계수 값 패턴 추출부(1020), 업 샘플러(1030), 템플릿 매칭부(1040)를 포함한다. 도 10의 엔트로피 복호화기(1000), 재정렬부(1010), 계수 값 패턴 추출부(1020), 업 샘플러(1030)는 도 6의 엔트로피 복호화기(610), 재정렬부(620), 계수 값 패턴 추출부(630), 업 샘플러(650)와 동일한 동작을 수행한다.

템플릿 매칭부(1040)는 도 8의 부호화기에서 사용하는 템플릿 매칭부(860)와 동일한 동작을 수행한다.

도 11은 본 발명의 제 3 실시예에 따른 다시점 비디오에서 계수 값 패턴을 사용하는 동작 예를 나타내는 도면이다.

도 11을 참조하면, 시점 1의 비디오는 시점 0의 비디오를 참조하여 부호화를 수행한다. 먼저 시점 0의 블록(1100)의 부호화를 수행한다. 이후 상기 도 3의 방법과 유사하게 스캐닝 순서를 생성한다. 생성된 스캐닝 순서는 시점 1의 블록(1110)의 스캐닝 순서로 사용될 수 있다. 시점 1에서 참조하는 시점 0의 대상 블록은 일반적으로 같은 공간적 좌표 또는 현재 블록의 움직임 벡터에 해당하는 시점 간의 참조 블록이 사용될 수 있다. 즉, 스테레오 영상 또는 다시점의 비디오 환경에서 시점 간 참조를 사용하는 경우에는 서브 샘플링 기술을 제외하고 시점간의 스캐닝 순서를 참조할 수 있다.

도 12는 본 발명의 제 4 실시예에 따른 스케일러블 비디오에서 계수 값 패턴을 사용하는 동작 예를 나타내는 도면이다.

도 12를 참조하면, 향상 계층의 비디오는 기본 계층의 비디오에 대한 부호화 정보를 이용하여 부호화를 수행한다. 먼저 기본 계층의 블록(1200)의 부호화를 수행한다. 이후 상기 도 3과 유사한 방법으로 스캐닝 순서를 생성한다. 생성된 스캐닝 순서는 향상 계층의 블록(1220)의 스캐닝 순서로 사용될 수 있다. 이 때, 기본 계층과 향상 계층의 해상도가 다른 공간적 스케일러블 기술이 사용되는 경우, 기본 계층의 양자화되고 절대 값이 취해진 계수 값에 대해서 업 샘플링이 적용된다. 업 샘플러(1210)는 기본 계층의 계수 값을 입력으로 하여 향상 계층의 블록 크기와 동일한 크기로 업 샘플링을 수행한다. 예를 들어, 기본 계층의 해상도와 향상 계층의 해상도가 동일한 화질 스케일러블 기술에서는 업 샘플러 없이 기본 계층의 스캐닝 순서를 그대로 향상 계층 블록에 적용할 수 있다. 향상 계층에서 참조하는 기본 계층의 대상 블록은 일반적으로 기본 계층에서 같은 공간적 좌표를 사용한다. 즉, 스케일러블 기술에서는 서브 샘플링 대신 업 샘플링 기술을 이용하여 계층 간 스캐닝 순서를 참조하여 부호화를 수행할 수 있다.

본 발명의 실시예에 따른 영상 부호화/복호화 장치는 서브 샘플링을 기반으로 적응적 스캐닝과 확장된 템플릿 매칭을 수행한다. 적응적 스캐닝에서는 매크로블록을 서브 샘플링한 후 서브 샘플링된 블록들의 계수 값의 특성에 따라 최적의 스캐닝 순서를 추출하고, 이렇게 추출된 정보를 매크로블록 내의 다른 서브 블록들에서 사용함으로써 부호화 효율을 높일 수 있다.

서브 샘플링 기반의 확장된 템플릿 매칭은 기존의 템플릿 매칭이 부호화하는 매크로블록의 주변 픽셀 값들을 이용하여 화면 내 프레임에서 움직임 예측을 수행하는 것에 비해, 매크로블록 내부에서 서브 샘플링 된 후 먼저 부호화된 픽셀 값들을 동시에 이용함으로써 현재 매크로블록과 보다 유사한 블록에 대하여 움직임을 예측할 수 있다. 따라서, 기존의 템플릿 매칭 보다 부호화 효율을 높일 수 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

없음

Claims (1)

1. 입력된 영상에 대해서 영상을 분할하기 위한 서브 샘플러;
   상기 분할된 영상에 대한 부호화를 위한 이산 여현 변환 부호화부 및 양자화부;
   상기 부호화된 계수로부터 새로운 스캐닝 순서를 생성하는 계수 값 패턴 추출부;
   상기에서 구한 새로운 스캐닝 순서를 이용하여 현재 블록의 계수 값을 재정렬하는 재정렬부;
   상기 부호화 및 복호화된 이전 블록을 예측 시에 사용하기 위한 업 샘플러부;
   상기 업 샘플링된 블록 정보를 이용하여 현재 블록에 대한 예측을 수행하는 템플릿 매칭부를 포함하는 영상 부호화 장치;

Images