KR101199861B1

KR101199861B1 - 부호화/복호화 장치 및 그 방법과 이를 구현하기 위한 프로그램이 기록된 기록매체

Info

Publication number: KR101199861B1
Application number: KR1020100102986A
Authority: KR
Inventors: 장의선; 최기호; 이기훈
Original assignee: 한양대학교 산학협력단
Priority date: 2010-10-21
Filing date: 2010-10-21
Publication date: 2012-11-09
Also published as: KR20120041502A

Abstract

부호화/복호화 장치 및 그 방법과 이를 구현하기 위한 프로그램이 기록된 기록매체가 개시된다. 복호화 장치에 구비되는 통합 모듈은, 가중치 및 인덱스의 곱셈 연산에 따른 텀스가 저장된 테이블 저장소; 입력되는 양자화된 변환계수값(Quantized DCT Coefficient)에 상응하는 텀스를 상기 테이블 저장소에서 추출하여 추출텀스 저장소에 저장하는 추출기; 및 상기 추출텀스 저장소에 저장된 하나 이상의 텀스(terms)를 동일 위치의 텀(term)별로 합산하여 복호화된 픽셀값(Reconstruction value)을 생성하는 덧셈기를 포함할 수 있다. 본 발명에 의해, 부호화 및 복호화 과정에서의 연산량 및 연산 복잡도를 최소화할 수 있고, 신속한 변환이 가능하다.

Description

부호화/복호화 장치 및 그 방법과 이를 구현하기 위한 프로그램이 기록된 기록매체{Device for encoding/decoding motion image, method therefor and recording medium storing a program to implement thereof}

본 발명은 부호화/복호화 장치 및 그 방법과 이를 구현하기 위한 프로그램이 기록된 기록매체에 관한 것이다.

현재의 통신 환경은 유무선 연동, 방송망과 통신망의 융합 등의 서비스를 가능하게 하는 광대역 통합망(BcN)이 사용되는 등 다양한 통신망이 융합되고 있으며, 이러한 추세는 더욱 가속화될 것이다.

다양한 통신망에서 디지털 융합(Digital Convergence)의 추세에 따라 범용 미디어 통신에 대한 많은 연구가 진행되고 있으며, 멀티미디어 단말기의 다양화에 따른 영상 이미지의 크기 변환 기법들도 다양하게 연구되고 있다.

이러한 영상 이미지의 크기 변환 기법들 중 이산여현변환(DCT)을 이용한 방법이 우수한 성능을 나타내고 있으며, MPEG-1, MPEG-2, MPEG-4, H.263 등의 동영상 코덱에서도 이산여현변환(DCT)이 이용되고 있어 호환성이 우수한 장점이 있다.

이산여현변환(DCT)은 입력된 아날로그 오리지널 영상을 수학적으로 정의된 이산여현변환 과정을 거쳐 저주파와 고주파의 주파수 성분으로 분해하는 변환기술이다.

도 1은 종래기술에 따른 역양자화부 및 이산여현 역변환부를 포함하는 복호화 장치의 구성을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 복호화 장치(100)는 양자화된 변환 계수(Quantized DCT Coefficients)를 역양자화하여 변환 계수(DCT coefficients)를 출력하는 역양자화부(IQ, Inverse Quantization)(110)와 변환 계수를 이산여현 역변환하여 복호 영상(Pixel Value)을 생성하여 출력하는 이산여현 역변환부(IDCT, Inverse Discrete Cosine Transform)(120)를 포함한다.

이하, 종래기술에 따른 이산여현변환(DCT)/이산여현역변환(IDCT) 방식들에 관해 간략히 설명한다.

먼저, 종래기술에 따른 NxN 2D-DCT/IDCT의 수학적 정의를 설명한다. 참고로, 하기 수학식 1은 이산여현 역변환(IDCT)에 관한 수학적 정의를 나타내고, 하기 수학식 2는 이산여현변환(DCT)에 관한 수학적 정의를 나타낸다.

여기서,

이다.

여기서,

위 수학식들에서 x 및 y는 픽셀 도메인에서의 x좌표와 y좌표를 의미하며, f(x,y)는 샘플 도메인의 좌표 (x, y)에 해당하는 픽셀 값을 의미한다. u 및 v는 주파수 도메인에서의 u좌표 및 v좌표를 의미하며, F(u,v)는 DCT 도메인의 좌표 (u, v)에 해당하는 계수값을 의미한다. N은 사이즈를 의미하며, 예를 들어 N이 8인 경우 가로x세로 8x8이 되어 총 64개의 픽셀을 대상으로 IDCT/DCT가 수행된다. C(u) 및 C(v)는 각각 스케일링 팩터(scaling factor)를 의미한다.

위 수학식 1을 이용하여 IDCT를 수행할 때, 이미지 또는 영상 압축 표준으로 많이 쓰이는 값인 N=8(즉, 8x8 블록)을 가정하면 필요한 연산량은 곱셈 연산 4096번, 덧셈 연산 4032번이 된다.

그러나, 이는 실제 시스템에서 사용하기에는 방대한　연산량이므로, 실제 구현에서는 상술한 수학식 1 및 2에 따른 수학적 정의에 의한 접근보다 행-열 분해법 (Row-Column Decomposition)을 이용한 IDCT/DCT가 주로 이용된다. 행-열 분해법에 의할 때, 행방향으로 열의 수만큼 1차 DCT/IDCT가 수행되고, 열방향으로 행의 수만큼 1차 IDCT/DCT가 수행된다. 따라서, 8x8 블록의 경우 행 방향으로 8번 수행되고, 열 방향으로 8번 수행되어 총 16번의 1차 DCT/IDCT가 수행된다.

도 2는 행-열 분해법(Row-Column Decomposition)에서 일반적으로 사용되는 첸(Chen)의 알고리즘을 나타낸 도면이다.

첸(Chen)의 알고리즘은 2D-DCT/IDCT를 수행하기 위해 행의 방향으로 열의 개수만큼 1차원 DCT/IDCT를 수행한 후, 열의 방향으로 행의 개수만큼 1차원 DCT/IDCT를 수행한다. 이와 같이, 행과 열의 방향으로 1차 DCT/IDCT를 모두 거친 값이 2차원 DCT/IDCT 결과 값이 된다.

첸(Chen)의 알고리즘에 따를 때, N=8(즉, 8x8 블록)을 처리하기 위해 필요한 2D-DCT/IDCT 연산량은 곱셈 연산 256번, 덧셈 연산 416번으로, 상술한 수학적 정의에 의한 접근 방식보다 현저히 감소된다.

그러나, 첸의 알고리즘을 이용하는 경우에도 기존의 DCT/IDCT에 비해 연산량이 감소된 것일 뿐, DCT/IDCT 연산이 필요치 않는 입력값들이 여전히 연산에 포함된다는 문제점이 존재한다.

상술한 바와 같이, 종래의 이산여현변환(DCT)/이산여현역변환(IDCT) 방식들은 변환 과정에서 많은 연산량이 요구된다는 문제점이 있다. 이로 인하여, 시간 지연현상, 발열 현상이 변환 장치에서 야기되며, 또한 많은 에너지가 소모된다.

또한, 연산량을 감소시킨 것으로 인정되는 행-열 분해법(Row-Column Decomposition)의 경우에도, 버터플라이(butterfly) 구조를 이용하기 위해 연산이 필요하지 않는 입력값 '0(zero)'이 DCT/IDCT 계산에 포함된다는 문제점이 존재한다. 이로 인해, 불필요한 연산 복잡도가 증가되는 문제점이 발생된다.

본 발명은 이산여현변환(DCT)/이산여현역변환(IDCT) 방식이 적용되는 다양한 데이터 압축/복원 기술에 범용적으로 적용할 수 있는 동영상 부호화/복호화 장치 및 그 방법과 이를 구현하기 위한 프로그램이 기록된 기록매체를 제공하기 위한 것이다. 예를 들어, 본 발명은 JPEG 등의 이미지 코딩 기술, MPEG 시리즈와 H.26X 시리즈 등의 동영상 압축/복원 기술, MPEG 기술과 Dolby 기술 등의 음성 압축/복원 기술 등에 범용적으로 적용될 수 있다.

본 발명은 연산에 포함될 필요가 없는 입력값 '0(zero)'의 존재를 조기에 감지하여 연산에서 제외시킬 수 있고, 테이블 참조 방식을 적용하여 곱셈 연산을 필요로 하지 않아 연산량 및 연산 복잡도를 최소화할 수 있고, 신속한 변환이 가능한 동영상 부호화/복호화 장치 및 그 방법과 이를 구현하기 위한 프로그램이 기록된 기록매체를 제공하기 위한 것이다. 즉, 모든 가능한 0이 아닌 양자화 계수(non-zero quantized coefficient)들의 입력들에 대하여 역양자화(IQ, Inverse Quantization)와 IDCT(Inverse Discrete Cosine Transform) 연산을 실행한 후 얻게 될 복원값(reconstructed value)들에 대한 테이블이 미리 보유함으로써, 임의의 입력값이 들어오면 구비한 테이블을 참조하여 직관적으로 출력값을 얻을 수 있다. 따라서 인코딩 및 디코딩 과정에서 곱셈 연산이 존재하지 않기 때문에, 기존의 DCT/IDCT에서 많은 문제점으로 지적되었던 곱셈 연산 복잡도를 줄일 수 있을 뿐 아니라 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)을 하나의 모듈에서 통합적으로 처리할 수 있다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 복호화 장치에 구비되는 통합 모듈에 있어서, 가중치 및 인덱스의 곱셈 연산에 따른 텀스가 저장된 테이블 저장소; 입력되는 양자화된 변환계수값(Quantized DCT Coefficient)에 상응하는 텀스를 상기 테이블 저장소에서 추출하여 추출텀스 저장소에 저장하는 추출기; 및 상기 추출텀스 저장소에 저장된 하나 이상의 텀스(terms)를 동일 위치의 텀(term)별로 합산하여 복호화된 픽셀값(Reconstruction value)을 생성하는 덧셈기를 포함하는 통합 모듈이 제공된다.

통합 모듈은 입력되는 양자화된 변환계수값(Quantized DCT Coefficient)들 중 0(zero)이 아닌 양자화된 변환계수값만을 상기 추출기로 제공하는 분석기를 더 포함할 수 있다.

상기 분석기는 N x N 매크로블록 내의 모든 양자화된 변환계수들의 입력이 완료된 후, 상기 추출기로 분석 완료를 통지하고, 상기 추출기는 상기 덧셈기로 합산 처리를 지시할 수 있다.

입력되는 양자화된 변환계수값이 0(zero)인 경우, 추출텀스 저장소에 저장되는 텀스는 0의 값만을 가지는 것을 특징으로 한다.

상기 분석기는 N x N 매크로블록 내의 모든 양자화된 변환계수들의 개수와 상기 테이블 저장소에서의 텀스 추출 횟수가 일치하면 상기 덧셈기로 합산 처리를 지시하되, 상기 N은 임의의 자연수이다.

상기 테이블 저장소에 저장되는 텀스는 수학식,

에 의해 결정될 수 있다. 여기서, 여기서, 상기 f(x,y)는 샘플 도메인의 좌표 (x, y)에 해당하는 픽셀 값이고, K_i는 m(임의의 자연수)개의 0이 아닌 계수들 중 i번째 양자화된 변환계수이며,

는 K_i의 컬럼 벡터(column vector)이고, T_i(0) 내지 T(N²-1)는 텀스이며, N은 매크로블록의 크기에 상응하는 임의의 자연수일 수 있다.

상기 텀스는 입력되는 매크로블록 내에서 상기 입력되는 양자화된 변환계수값의 위치 정보 및 상기 양자화된 변환계수값의 내용에 부합되도록 미리 산출된 텀들의 집합일 수 있다.

본 발명의 다른 측면에 따르면, 복호화 장치의 통합 모듈에서 수행되는 복호화된 픽셀값 생성 방법에 있어서, (a) 입력되는 양자화된 변환계수값(Quantized DCT Coefficient)에 상응하는 텀스를 가중치 및 인덱스의 곱셈 연산에 따른 텀스가 저장된 테이블 저장소에서 추출하여 추출텀스 저장소에 저장하는 단계; 및 (b) 상기 추출텀스 저장소에 저장된 하나 이상의 텀스(terms)를 동일 위치의 텀(term)별로 합산하여 복호화된 픽셀값(Reconstruction value)을 생성하는 단계를 포함하는 복호화된 픽셀값 생성 방법이 제공된다.

입력되는 양자화된 변환계수값(Quantized DCT Coefficient)들 중 0(zero)이 아닌 양자화된 변환계수값만을 선택적으로 출력하는 단계가 상기 단계 (a)에 선행하여 수행될 수 있다.

상기 단계 (b)는 N x N 매크로블록 내의 모든 양자화된 변환계수들의 입력이 완료된 후 수행될 수 있다.

상기 단계 (b)는, N x N 매크로블록 내의 모든 양자화된 변환계수들의 개수와 상기 단계 (a)에 의한 텀스 추출 횟수가 일치하면 수행되되, 상기 N은 임의의 자연수일 수 있다.

상기 테이블 저장소에 저장되는 텀스는 수학식,

에 의해 결정되며, 여기서, 상기 f(x,y)는 샘플 도메인의 좌표 (x, y)에 해당하는 픽셀 값이고, K_i는 m(임의의 자연수)개의 0이 아닌 계수들 중 i번째 양자화된 변환계수이며,

입력되는 양자화된 변환계수값이 0(zero)인 경우, 추출텀스 저장소에 저장되는 텀스는 0의 값만을 가질 수 있다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

본 발명의 실시예에 따르면, 이산여현변환(DCT)/이산여현역변환(IDCT) 방식이 적용되는 다양한 데이터 압축/복원 기술에 범용적으로 적용할 수 있는 동영상 부호화/복호화 장치 및 그 방법과 이를 구현하기 위한 프로그램이 기록된 기록매체를 제공될 수 있다. 예를 들어, JPEG 등의 이미지 코딩 기술, MPEG 시리즈와 H.26X 시리즈 등의 동영상 압축/복원 기술, MPEG 기술과 Dolby 기술 등의 음성 압축/복원 기술 등에 범용적으로 적용될 수 있다.

또한, 연산에 포함될 필요가 없는 입력값 '0(zero)'의 존재를 조기에 감지하여 연산에서 제외시킬 수 있고, 테이블 참조 방식을 적용하여 곱셈 연산을 필요로 하지 않아 연산량 및 연산 복잡도를 최소화할 수 있고, 신속한 변환이 가능해진다. 또한, 역양자화(IQ) 및 역 이산 코사인 변환(IDCT)이 하나의 모듈에서 통합적으로 처리될 수 있다.

또한, 정확한 계산값을 미리 보유함으로써 많은 고속 DCT/IDCT 알고리즘에서 야기되는 미스매치(mis-match)에 의한 화질 열화가 야기되지 않는 효과도 있다.

도 1은 종래기술에 따른 역양자화부 및 이산여현 역변환부를 포함하는 영상 복호화 장치의 구성을 개략적으로 나타낸 도면.
도 2는 행-열 분해법(Row-Column Decomposition)에서 일반적으로 사용되는 첸(Chen)의 알고리즘을 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 복호화기에 포함되는 역양자화기 및 이산여현 역변환기가 통합된 통합 모듈의 구성을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 통합모듈의 동작 개념을 나타낸 도면.
도 5는 본 발명의 일 실시예에 따른 통합 모듈의 복호화된 픽셀값 생성 방법을 나타낸 순서도.
도 6은 본 발명의 다른 실시예에 따른 통합 모듈의 복호화된 픽셀값 생성 방법을 나타낸 순서도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "…부", "…기", "…유닛", "…모듈", "…블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 명세서에서는 복호화기에 포함되는 역양자화기 및 이산여현 역변환기가 통합된 통합 모듈을 중심으로 설명하지만, 이하의 설명을 통해 당업자는 부호화기에 포함되는 양자화기 및 이산여현 변환기가 통합된 통합 모듈도 동일한 기술적 사상에 의해 구현될 수 있음을 쉽게 이해할 수 있을 것이다.

도 3은 본 발명의 일 실시예에 따른 복호화기에 포함되는 역양자화기 및 이산여현 역변환기가 통합된 통합 모듈의 구성을 나타낸 도면이고, 도 4는 본 발명의 일 실시예에 따른 통합모듈의 동작 개념을 나타낸 도면이다.

이하에서 설명되는 바와 같이, 본 실시예에 따른 역양자화기 및 이산여현 역변환기의 기능이 통합된 통합 모듈(300)은 입력되는 양자화된 변환계수들(Quantized DCT Coefficients) 중 0(zero)의 값을 가지는 양자화된 변환계수는 복호화된 픽셀값(Pixel Values, Reconstruction Values)을 생성하기 위한 연산에 포함시키지 않고, 0이 아닌 값을 가지는 양자화된 변환계수에 대해서만 연산을 수행하되 곱셈 연산을 메모리 액세스 형태로 변경하여 덧셈 연산만으로 결과값을 생성하여 출력하는 특징을 가진다.

물론, 이후 도 6을 참조하여 설명하는 바와 같이, 0의 값을 가지는 양자화된 변환계수도 연산에 포함할 수 있으나, 0의 값을 가지는 양자화된 변환계수에 상응하는 테이블에 포함되는 텀스(terms)들이 모두 0의 값을 가지므로 복호화된 픽셀값을 생성하기 위한 합산 과정에서 아무런 영향을 미치지 않게 된다.

도 3을 참조하면, 통합 모듈(300)은 분석기(310), 추출기(320), 테이블 저장소(330), 추출텀스 저장소(340) 및 덧셈기(350)를 포함할 수 있다. 각 구성 요소는 하드웨어 구성으로 구현될 수도 있으며, 하나 이상의 구성 요소는 소프트웨어 알고리즘의 형태로 구현될 수도 있다.

분석기(310)는 복호화된 픽셀값을 생성하기 위한 입력 정보로서 미리 설정된 N x N 매크로블록(MB, Macro Block) 사이즈(예를 들어, 8 x 8 매크로블록) 내의 양자화된 변환계수들을 순차적으로 입력받고, 입력된 양자화된 변환계수가 0(zero)인지 아닌지를 판단한다.

만일 입력된 양자화된 변환계수가 0이라면, 분석기(310)는 해당 입력값(즉, 양자화된 변환계수, 이하 동일함)에 대한 연산을 생략하여 보다 빠른 처리가 가능하도록 하기 위해 해당 입력값을 추출기(320)로 제공하지 않고, 다음으로 입력되는 양자화된 변환계수가 0인지 여부의 판단 처리를 할 수 있다. 물론, 입력된 양자화된 변환계수가 0이 아닌 경우라면 연산에 포함하기 위해 추출기(320)로 해당 입력값을 전달한다. 이때, N x N 매크로블록 내의 위치에 대한 정보도 함께 추출기(320)로 제공할 수 있다.

다른 실시예로서, 입력된 양자화된 변환계수가 0인 경우에도 분석기(310)는 연산에 포함하기 위해 해당 입력값을 추출기(320)로 전달할 수 있다. 그러나 0의 값을 가지는 양자화된 변환계수에 상응하는 테이블에 포함되는 텀스(terms)들이 모두 0의 값을 가지므로 복호화된 픽셀값을 생성하기 위한 합산 과정에서 아무런 영향을 미치지 않는다.

추출기(320)는 분석기(310)로부터 제공된 입력값의 N x N 매크로블록내의 위치 정보에 상응하는 텀스(terms)들을 테이블 저장소(330)에서 추출하여 추출텀스 저장소(340)에 저장한다. 해당 텀스들은 N x N 매크로블록내의 변환계수들의 수량 및 입력값의 위치 정보에 각각 부합되도록 테이블 저장소(330)에 저장된다.

예를 들어, 8 x 8 매크로블록인 경우 64개의 텀스가 도 4에 예시된 바와 같이 입력값의 8 x 8 매크로블록의 위치 정보(즉, 64개) 및 실제 입력값의 내용에 각각 부합되는 정보로서 테이블 저장소(330)에 저장된다. 다만, 테이블 저장소(330)에 저장되는 텀스들의 배열 형태는 예를 들어, 1차원 구조의 테이블, 2차원 구조의 테이블 등으로 다양할 수 있으며, 이에 제한되지도 않음은 당연하다.

덧셈기(350)는 추출기(320)에 의해 입력값에 상응하도록 테이블 저장소(330)에서 각각 추출되어 추출텀스 저장소(340)에 저장된 텀스들을 각 위치별로 합산하여 복호화된 픽셀값을 생성하여 출력한다.

덧셈기(350)는 N x N 매크로블록내의 모든 양자화된 변환계수에 대한 텀스 추출이 완료되어 추출텀스 저장소(340)에 저장된 시점에서 합산 처리를 수행한다. 덧셈기(350)의 합산 처리후 추출텀스 저장소(340)에 저장된 텀스들은 후속하는 매크로블록의 처리를 위해 덧셈기(350) 또는 추출기(320)에 의해 삭제처리될 것이다.

매크로블록내의 모든 양자화된 변환계수에 대한 텀스 추출이 완료되었는지 여부는 분석기(310)가 모든 양자화된 변환계수들에 대해 0인지 여부를 확인한 후, 추출기(320)로 모든 양자화된 변환계수들에 대한 분석이 완료되었음을 통지하면, 추출기(320)가 이를 덧셈기(350)로 통지함으로써 합산 처리가 이루어지도록 할 수 있다. 물론, 추출기(320)가 분석기(310)로부터 분석 완료 통지와 함께 마지막 양자화된 변환계수를 제공받은 경우, 추출기(320)는 마지막 양자화된 변환계수에 상응하는 텀스 추출 및 저장 이후에 덧셈기(350)로 분석 완료 통지를 제공할 수도 있다.

이하, 복호화된 픽셀값을 생성하기 위해 테이블 저장소(330)에 미리 저장되는 테이블의 구성 방식에 대해 설명하기로 한다.

본 실시예에 따른 테이블 기반의 통합 모듈(300)은 종래기술에 따른 DCT/IDCT 연산 과정 등에서 연산량을 감소시키기 위한 행-열 분해법과는 달리 일반적으로 사용되지 않았던 수학적 정의로부터 접근된 연산 방법을 적용한다. 이하에서, 테이블 기반의 통합 모듈(300)을 설명함에 있어 역양자화(IQ) 및 이산여현 역변환(IDCT)을 중심으로 설명하지만, 동일한 기술적 사상이 양자화 및 이산여현 변환의 경우에도에도 동일하게 적용될 수 있다.

앞서 설명한 수학식 1은 이산여현 역변환(IDCT)에 관한 수학적 정의를 나타낸 것이다. 수학식 1에서 보이는 바와 같이, 해당 수식에서 곱셈과 덧셈 연산이 함께 요구되고 있다. 다만, 입력 계수의 값 F(u,v)와 관계없이, 출력값인 각 픽셀 값(x,y)를 구하기 위해 2/N, C(u), C(v) 및

에 대해서는 동일한 연산 과정이 수행되고 또한 각 픽셀값의 좌표 (x,y)에 의해 결정되는 일정한 값들이 사용됨을 확인할 수 있다.

하기 수학식 3은 이와 같은 IDCT의 성격을 반영하여 IDCT 수식을 변형한 것이다.

여기서,

수학식 3은 이산여현 역변환(IDCT)을 거친 픽셀값 f(x,y)를 구하기 위해 동일한 값을 거치는 부분과 입력값으로 작용하는 F(u,v)로 나누어 표시한 것이다.

함수 A(x,y,u,v)는 수학식 3에 정의된 바와 같이 곱셈 연산을 묶은 함수(또는, 기하학적 의미로서 변환(transform)을 위한 기저함수)로서, (x,y,u,v)의 값이 동일하다면 픽셀 또는 입력 계수값에 무관하게 동일한 값으로 연산되는 함수이며, 그 결과값은 가중치라 명칭될 수 있다.

그리고, F(u,v)의 값은 [-2ⁿ⁺², 2ⁿ⁺²-1]의 범위를 가지는 값으로, 여기서 n은 하나의 픽셀값을 나타내기 위해 필요한 비트수를 의미한다. 예를 들어, 하나의 픽셀값을 표현하기 위해 8비트가 사용된다고 가정하면 픽셀값 범위는 0 ~ 255가 되고, 이때 DCT 계수의 범위는 (-2¹⁰, 2¹⁰-1)인 -1024 ~ 1023이 된다.

따라서, 본 실시예에 따른 테이블 기반 통합 모듈(300)은 모든 x,y,u,v에 대하여 가중치인 A(x,y,u,v)와 입력값인 F(u,v)가 곱셈 연산된 텀스를 테이블 등의 형태로 미리 테이블 저장소(330)에 저장함으로써, 역양자화 및 이산여현 역변환을 위해 필요한 곱셈 연산을 메모리 액세스로 대체할 수 있다.

하기 수학식 4는 테이블 기반 IDCT를 테이블을 이용하여 만든 IDCT 수학식이다.

여기서, index()는 x, y, F(u,v) 3개의 입력값에 따른 인덱스를 계산하는 함수이며, 계산된 테이블 인덱스를 이용하여 테이블 저장소(330)에 접근된다. Table(a)는 테이블 저장소(330)에 저장된 테이블들(즉, 각 테이블을 구성하는 텀스들) 중 a 인덱스에 상응하도록 저장된 테이블을 출력하는 함수이다. 다만, 함수 index() 및 Table()의 디자인은 구현 방식에 따라 다양할 수 있다.

상술한 수학식 4에 의해 모든 곱셈 연산이 메모리 액세스 형태로 변경되어졌음을 확인할 수 있고, 따라서 IDCT를 위해 필요한 총 연산량은 N²개의 덧셈 연산이 된다.

앞서 설명한 바와 같이, 상술한 수학식 3을 참조할 때, 입력값 F(u,v) 또는 DCT 연산의 경우 f(x,y)가 0이라면 부분 계산값이 0이 되며, 결과적으로 입력값 F(u,v)가 0인 경우라면 덧셈 연산이 불필요하다는 결론을 도출할 수 있다. 이를 바탕으로 테이블 인덱스 및 테이블 정보부(250)에 저장되는 부분값들의 집합(예를 들어, 테이블)을 디자인하면 IDCT 연산량을 덧셈 연산 N²개보다 추가적으로 감소시킬 수 있게 된다.

하기 수학식 5는 복호화기에서의 역양자화 단계를 수식으로 나타낸 것이다.

여기서, Q(u,v)는 양자화된 변환계수(quantized DCT coefficient)를 나타내고, F(u,v)는 DCT 도메인의 계수(DCT coefficient)이며, Qs는 비례상수를 나타낸다.

전술한 수학식 3과 수학식 5를 참조하면, 두 수학식에 존재하는 역양자화된 변환계수인 F(u,v)만이 이산여현 역변환에서의 가변성인 입력값이다. 또한 역양자화 단계에서는 양자화된 변환계수 Q(u,v)만이 가변성을 가진다.

이러한 특성을 고려하여 수학식 3과 수학식 5를 결합한 하기의 수학식 6이 도출될 수 있다. 즉, 하기 수학식 6과 같이, 수학식 3에 명시한 A(x,y,u,v) x F(u,v)에서 F(u,v)를 Qs x Q(u,v)로 치환하고 A(x,y,u,v) x Qs x Q(u,v)의 테이블을 형성함으로써, 역양자화와 이산여현 역변환 과정을 통합할 수 있다.

여기서, A_x,y(u,v)는 A(x,y,u,v)와 Qs가 병합된 것이다.

입력되는 매크로블록이 8x8 블록인 경우를 가정하면 수학식 6은 하기 수학식 7과 같이 매트릭스 형태인 Y=AQ 형태로 나타낼 수 있다.

수학식 7에서 f(x,y)는 A의 로우 벡터(row vector)와 컬럼 벡터(column vector)간의 내적으로 나타낼 수 있다. 이를 전개하면 수학식 8과 같다.

수학식 8을 참조하면, 모든 곱셈 연산에는 Q(u,v)가 항상 참여하는 것을 알 수 있으며, 이는 Q(u,v)가 0(zero)인 항은 f(x,y)에 영향이 없으므로 실행할 필요가 없음을 의미한다.

따라서, Q(u,v)가 0인 항들을 모두 제외하고 DCT 계수 Q(u,v)가 0이 아닌 항들만 모아 정리하면 수학식 9와 같이 표현된다.

수학식 9에서 K_i는 m(임의의 자연수)개의 0이 아닌 계수들 중 i번째 양자화된 변환계수를 의미하며

는 K_i의 컬럼 벡터(column vector)를 의미한다.

전술한 수학식 9에 의해 본 실시예에서 제시하는 역양자화와 이산여현 역변환의 통합이 가능함이 증명된다.

수학식 9에서 여전히 존재하는 곱셈 연산들을 제거하기 위하여 테이블 저장소(330)에 저장된 테이블을 참조하는 형식을 취하면 수학식 9와 같이 기술될 수 있다.

수학식 10은 테이블 저장소(330)에 미리 저장된 테이블(즉, T_i(0) T_i(1) ... T_i(63)]^T의 텀스를 포함하는 테이블)을 참조하는 형식을 통하여 곱셈을 제거한 테이블 기반의 통합 모듈(300)이 구현됨을 나타낸다.

도 4에는 통합모듈의 동작 개념이 도시되어 있다. 즉, 도 4는 양자화 계수(QP)가 16일 때의 동작 예를 나타내고 있다.

영상을 복호화하는 단계에서 양자화된 변환계수들을 입력받게 되고, 분석기(310)는 0인 양자화된 변환계수들은 계산에서 제외하기 위해 출력을 생략하며, 실질적으로 의미가 있는 2와 7 같은 양자화된 변환계수들만을 추출기(320)로 출력한다.

추출기(320)는 테이블 저장소(330)에 미리 저장된 테이블을 참조하여, 위치정보 2(또는 (2,0))에 해당되는 양자화된 변환계수 2에 대한 텀스를 추출하여 추출텀스 저장소(340)에 저장하고, 또한 위치정보 28(또는 (4,3))에 해당되는 양자화된 변환계수 7에 대한 텀스를 추출하여 추출텀스 저장소(340)에 저장한다. 테이블 저장소(330)에는 모든 가능한 양자화된 변환계수에 대해 역양자화 및 이산여현 역변환 후에 복원되는 데이터들이 저장된다.

이후, 덧셈기(350)는 0이 아닌 양자화된 변환계수들 각각에 대한 추출텀스 저장소(340)에 저장된 N²개의 텀스들을 각 위치별로 합산 처리하여 복호화된 픽셀값을 생성하여 출력한다.

이하, 행-열 분해법에서 가장 일반적으로 사용되는 첸(Chen)의 알고리즘과 본 발명의 실시예들로 제시한 테이블 기반 통합 모듈(300)을 각각 디코더(Decoder)에 적용시켜 측정 비교한 시간 복잡도 실험에 관하여 설명한다.

일반적으로 복호화 성능을 평가하기 위해서 연산 복잡도(operation complexity)가 많이 사용되지만, 알고리즘 특성상 시퀀스(Sequence), 양자 파라미터(QP, Quantization Parameter)에 따라 연산 복잡도가 달라지므로 시간 복잡도를 이용하여 상호간의 알고리즘 성능을 평가하였다. 이는, 부호화기에 적용되는 통합 모듈에 대해서도 동일하게 적용될 수 있다.

MPEG-4 Simple profile의 디코더(Decoder)에서는 첸(Chen)의 알고리즘이 IDCT 기술로 쓰이고 있기 때문에 본 실험에서는 MPEG-4 SP reference S/W에서 사용하는 IDCT모듈을 사용하였다. 참고로, MPEG-4 Simple profile 디코더의 테스트 환경은 하기 표 1과 같다.

Test environment for the MPEG-4 SP decoder

Test sequences	Akiyo, Foreman, Mobile, Pedestrian, Riverbed, Rush-hour, and Sunflower
Sequence resolution	CIF (352ㅧ288), and HD (1920ㅧ1080)
Total frames to be coded	CIF (300 frames), and HD (250 frames)
Profile	Simple profile
Quantization parameter	5, 16, and 25

이에 따른 실험결과는 하기 표 2와 같다.

The IQ-IDCT running time comparison

Sequence	QP	Time (ms)		Speedup rate (%)
Sequence	QP	MPEG-4	통합모듈	Speedup rate (%)
akiyo	5	901,942	559,605	37.96
	16	328,615	195,185	40.60
	25	282,078	156,027	44.69
foreman	5	2,949,468	2,114,152	28.32
	16	804,208	519,990	35.34
	25	483,000	290,341	39.89
mobile	5	6,169,879	5,553,646	9.99
	16	3,060,901	2,017,542	34.09
	25	1,799,292	1,101,870	38.76
CIF Average				34.40
pedestrian	5	38,583,914	21,902,309	43.23
	16	13,897,594	7,493,061	46.08
	25	11,334,754	6,472,382	42.90
riverbed	5	70,478,743	49,930,241	29.16
	16	31,987,476	20,521,864	35.84
	25	24,357,448	13,738,910	43.59
rush_hour	5	23,217,263	15,109,147	34.92
	16	5,727,311	3,731,149	34.85
	25	4,919,064	2,884,327	41.36
sunflower	5	18,334,807	11,614,519	36.65
	16	5,720,118	2,946,800	48.48
	25	4,941,466	2,606,189	47.26
HD Average				39.13
Total Average				36.76

표 2에서 보여지는 바와 같이, CIF급 영상의 경우 MPEG-4에 비해 평균 34.4% 가량 시간이 단축되는 결과를 확인하였으며, HD급의 경우 MPEG-4 대비 약 36.7% 가량 시간이 단축되는 결과를 확인하였다. 본 실시예에 따를 때, CIF급 보다 HD급 영상에서 더 우수한 결과를 나타냄에 특히 주목할만 하다.

도 5는 본 발명의 일 실시예에 따른 통합 모듈의 복호화된 픽셀값 생성 방법을 나타낸 순서도이다. 도 5에 예시된 순서도는 입력된 양자화된 변환계수가 0(zero)인 경우 복호화된 픽셀값 생성을 위한 연산에서 제외하는 방법에 따른 것이다.

도 5를 참조하면, 단계 510에서 통합 모듈(300)은 N x N 매크로블록 중 어느 하나의 양자화된 변환계수값(Quantized DCT coefficient)을 입력받는다.

단계 520에서 통합 모듈(300)은 입력된 양자화된 변환계수값이 0인지 여부를 판단한다.

만일 입력된 양자화된 변환계수값이 0인 경우라면 단계 540으로 진행한다.

그러나 만일 입력된 양자화된 변환계수값이 0이 아닌 경우라면 단계 530으로 진행하여, 통합 모듈(300)은 테이블 저장소(330)에서 해당 입력값에 상응하도록 저장된 테이블(즉, 상응하는 텀스)을 추출하여 추출텀스 저장소(340)에 저장한다.

이후, 단계 540에서 통합 모듈(300)은 N x N 매크로블록에 포함된 모든 양자화된 변환계수값이 입력되었는지 여부를 판단한다.

만일 모든 양자화된 변환계수값이 입력되었다면, 단계 560으로 진행하여 통합 모듈(300)은 추출텀스 저장소(340)에 저장된 텀스들을 각 위치별로 합산하여 복호화된 픽셀값을 생성하고, 생성된 복호화된 픽셀값을 출력한다.

그러나, 단계 540의 판단결과 매크로블록에 포함된 모든 양자화된 변환계수값이 입력되지 않은 상태라면, 통합 모듈(300)은 매크로블록에 포함된 후속하는 양자화된 변환계수값을 입력받고 단계 520으로 다시 진행한다.

도 6은 본 발명의 다른 실시예에 따른 통합 모듈의 복호화된 픽셀값 생성 방법을 나타낸 순서도이다.

도 6에 예시된 순서도는 입력된 양자화된 변환계수가 0(zero)인 경우에도 복호화된 픽셀값 생성을 위한 연산에 포함시키는 방법에 따른 것이다. 그러나, 0의 값을 가지는 양자화된 변환계수에 상응하는 테이블에 포함되는 텀스(terms)들이 모두 0의 값을 가지므로 복호화된 픽셀값을 생성하기 위한 합산 과정에서 아무런 영향을 미치지 않는다.

도 6을 참조하면, 통합 모듈(300)은 단계 510에서 N x N 매크로블록 중 어느 하나의 양자화된 변환계수값(Quantized DCT coefficient)을 입력받고, 단계 530으로 진행하여 테이블 저장소(330)에서 해당 입력값에 상응하도록 저장된 테이블(즉, 상응하는 텀스)을 추출하여 추출텀스 저장소(340)에 저장한다.

매크로블록내의 모든 양자화된 변환계수에 대한 텀스 추출이 완료되었는지 여부는 추출기(320)가 지정된 크기의 매크로블록에 포함되는 양자화된 변환계수들의 개수에 해당하는 횟수만큼 테이블 저장소(330)에서 텀스 추출 작업이 수행되었는지 여부로서 판단할 수 있을 것이다. 만일 지정된 횟수만큼의 텀스 추출 작업이 완료되었다면, 추출기(320)가 이를 덧셈기(350)로 통지함으로써 합산 처리가 이루어지도록 할 수 있다.

그러나, 단계 540의 판단결과 매크로블록에 포함된 모든 양자화된 변환계수값이 입력되지 않은 상태라면, 통합 모듈(300)은 매크로블록에 포함된 후속하는 양자화된 변환계수값을 입력받고 단계 530으로 다시 진행한다.

상술한 통합모듈의 복호화된 픽셀값 생성 방법은 복호화기에 내장된 소프트웨어 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 자명하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

300 : 통합 모듈
310 : 분석기
320 : 추출기
330 : 테이블 저장소
340 : 추출텀스 저장소
350 : 덧셈기

Claims

복호화 장치에 구비되는 통합 모듈에 있어서,
입력 가능한 각각의 양자화된 변환계수값(Quantized DCT Coefficient)이 역양자화(Inverse Quantization) 및 역이산여현변환(Inverse Discrete Cosine Transform) 수행된 결과값에 해당하는 텀스가 각각 저장된 테이블 저장소;
입력되는 양자화된 변환계수값에 상응하는 텀스를 상기 테이블 저장소에서 추출하여 추출텀스 저장소에 저장하는 추출기; 및
상기 추출텀스 저장소에 저장된 하나 이상의 텀스(terms)를 동일 위치의 텀(term)별로 합산한 결과값인 복호화된 픽셀값(Reconstruction value)을 생성하는 덧셈기를 포함하는 통합 모듈.
제1항에 있어서,
입력되는 양자화된 변환계수값(Quantized DCT Coefficient)들 중 0(zero)이 아닌 양자화된 변환계수값만을 상기 추출기로 제공하는 분석기를 더 포함하는 통합 모듈.
제2항에 있어서,
상기 분석기는 N x N 매크로블록 내의 모든 양자화된 변환계수들의 입력이 완료된 후, 상기 추출기로 분석 완료를 통지하고, 상기 추출기는 상기 덧셈기로 합산 처리를 지시하는 것을 특징으로 하는 통합 모듈.
제1항에 있어서,
입력되는 양자화된 변환계수값이 0(zero)인 경우, 추출텀스 저장소에 저장되는 텀스는 0의 값만을 가지는 것을 특징으로 하는 통합 모듈.
제2항에 있어서,
상기 분석기는 N x N 매크로블록 내의 모든 양자화된 변환계수들의 개수와 상기 테이블 저장소에서의 텀스 추출 횟수가 일치하면 상기 덧셈기로 합산 처리를 지시하되,
상기 N은 임의의 자연수인 것을 특징으로 하는 통합 모듈.
제1항에 있어서,
상기 테이블 저장소에 저장되는 텀스는 하기 수학식에 의해 결정되는 것을 특징으로 하는 통합 모듈.

여기서, 상기 f(x,y)는 샘플 도메인의 좌표 (x, y)에 해당하는 픽셀 값이고, K_i는 m(임의의 자연수)개의 0이 아닌 계수들 중 i번째 양자화된 변환계수이며,
는 K_i의 컬럼 벡터(column vector)이고, T_i(0) 내지 T(N²-1)는 텀스이며, N은 매크로블록의 크기에 상응하는 임의의 자연수임.
제1항에 있어서,
상기 텀스는 입력되는 매크로블록 내에서 상기 입력되는 양자화된 변환계수값의 위치 정보 및 상기 양자화된 변환계수값의 내용에 부합되도록 미리 산출된 텀들의 집합인 것을 특징으로 하는 통합 모듈.
복호화 장치의 통합 모듈에서 수행되는 복호화된 픽셀값 생성 방법에 있어서,
(a) 입력되는 양자화된 변환계수값(Quantized DCT Coefficient)에 상응하는 텀스를 가중치 및 인덱스의 곱셈 연산에 따른 텀스가 저장된 테이블 저장소에서 추출하여 추출텀스 저장소에 저장하는 단계; 및
(b) 상기 추출텀스 저장소에 저장된 하나 이상의 텀스(terms)를 동일 위치의 텀(term)별로 합산하여 복호화된 픽셀값(Reconstruction value)을 생성하는 단계를 포함하되,
상기 텀스는 입력 가능한 각각의 양자화된 변환계수값이 역양자화(Inverse Quantization) 및 역이산여현변환(Inverse Discrete Cosine Transform) 수행된 결과값에 해당하는 것을 특징으로 하는 복호화된 픽셀값 생성 방법.
제8항에 있어서,
입력되는 양자화된 변환계수값(Quantized DCT Coefficient)들 중 0(zero)이 아닌 양자화된 변환계수값만을 선택적으로 출력하는 단계가 상기 단계 (a)에 선행하여 수행되는 것을 특징으로 하는 복호화된 픽셀값 생성 방법.
제9항에 있어서,
상기 단계 (b)는 N x N 매크로블록 내의 모든 양자화된 변환계수들의 입력이 완료된 후 수행되는 것을 특징으로 하는 복호화된 픽셀값 생성 방법.
삭제
삭제
삭제
삭제
삭제