KR100832872B1 - 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치 - Google Patents

기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치 Download PDF

Info

Publication number
KR100832872B1
KR100832872B1 KR1020060136577A KR20060136577A KR100832872B1 KR 100832872 B1 KR100832872 B1 KR 100832872B1 KR 1020060136577 A KR1020060136577 A KR 1020060136577A KR 20060136577 A KR20060136577 A KR 20060136577A KR 100832872 B1 KR100832872 B1 KR 100832872B1
Authority
KR
South Korea
Prior art keywords
image
geometric transformation
geometric
encoding
unit
Prior art date
Application number
KR1020060136577A
Other languages
English (en)
Inventor
강현수
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020060136577A priority Critical patent/KR100832872B1/ko
Application granted granted Critical
Publication of KR100832872B1 publication Critical patent/KR100832872B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

영상 부호화 효율을 향상시키기 위하여 부호화기로 입력되는 영상에 적용 가능한 기하학적 변환들을 미리 정의하고, 정의된 각각의 기하학적 변환에 의해 변환된 영상에 대해 부호화를 각각 수행한 후, 부호화 효율 측면에서 가장 우수하다고 판단되는 기하학적 변환을 선정하고, 그 기하학적 변환에 의해 변환되어 압축된 비트열(bitstream)을 전송 또는 저장함으로써 부호화 효율을 개선하는 장치 및 방법이 개시된다. 압축된 비트열을 복호하기 위해서는 어떤 기하학적 변환이 적용되었는지 알리기 위해서 영상 압축 표준 비트열에 일반적으로 존재하는 사용자데이터필드(user data field)를 활용하거나, 이 정보를 위한 별도의 데이터 필드를 할당하여 사용할 수 있다.

Description

기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및 장치 {method and apparatus for image coding efficiency improvement using geometric transformation}
도 1은 종래의 동영상 부호화기의 개략적인 블록도이다.
도 2는 일반적인 동영상 부호화기에서 QCIF(176x144)영상을 매크로블록으로 분할하는 예를 보여주기 위한 도면이다.
도 3은 일반적인 동영상 부호와기에서 현재 블록(X)과 현재 블록의 부호화에 사용되는 주변 블록(A, B, C, D)으로 분할된 예를 보여주기 위한 도면이다.
도 4는 도 2의 QCIF 영상을 x축(수평방향)에 대해 대칭 이동을 수행하였을 때의 99개의 매크로블록으로 분할된 예를 보여주기 위한 도면이다.
도 5는 본 발명에 따른 동영상 부호화기의 구성을 보여주기 위한 블록도이다.
도 6은 본 발명의 기하학적변환부에서 최적 기하학적 변환을 선정하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 기하학적 변환을 이용한 영상 부호화 효율 향상 방법이 적용된 정지영상부호기의 일 실시예를 보여주기 위한 블록도이다.
도 8은 본 발명에 따른 기하학적 변환을 이용하여 압축된 정지영상의 복호기의 일 실시예를 보여주기 위한 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
10 : DCT변환부 20 : 양자화부
30 : 엔트로피부호화부 40 : 역양자화부
50 : 역변환부 60 : 움직임예측부
70A: 제 1 기하학적 변환부 70B: 제 2 기하학적 변환부
본 발명은 영상 부호화 효율 향상 방법 및 장치에 관한 것으로, 부호화기로 입력되는 영상에 적용 가능한 기하학적 변환들을 미리 정의하고, 정의된 각각의 기하학적 변환에 의해 변환된 영상에 대해 부호화를 각각 수행한 후, 부호화 효율 측면에서 가장 우수하다고 판단되는 기하학적 변환을 선정하고, 그 기하학적 변환에 의해 변환되어 압축된 비트열(bitstream)을 전송 또는 저장함으로써 부호화 효율을 개선하는 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및 장치에 관한 것이다.
개인용 컴퓨터, 휴대폰과 같은 통신 장비 보급의 확대와 유무선 통신 기술 발달에 따른 인터넷 사용자의 증가와 함께, 유무선 인터넷 사용자들의 서비스 요구 사항이 증가하고 있다. 특히 화상 회의와 같은 실시간 비디오 서비스, 주문형 비디오 서비스(Video On Demand; VOD) 등과 같은 유무선 통신 매체를 이용한 동영상 멀티미디어 서비스에 대한 서비스 보급 및 이용 요구가 날로 증가하고 있다.
동영상 멀티미디어 콘텐츠는 지정된 사양을 만족하는 단말기의 종류에 무관하게 플레이될 수 있어야 하기 때문에 표준 부호화 방식을 사용하여야 하고, 동영상 멀티미디어 콘텐츠의 특성상 데이터양이 방대하기 때문에 동일한 값을 갖는 부분을 압축하여야 한다. 이를 위하여 동영상 멀티미디어 콘텐츠를 유무선 단말기로 전송하기 전 압축 및 부호화하기 위한 압축 부호화기가 사용된다.
현재 동영상 압축 부호화기의 성능 즉, 압축률과 결과 동영상의 품질은 부호화기에 적용되는 각종 파라미터에 의해 좌우된다. 이 파라미터의 설정에 의해 부호화된 비트스트림의 비트율(콘텐츠의 크기)과 복호화된 영상의 화질이 크게 차이가 나게 된다. 일반적으로, 이러한 파라미터의 최적화를 위해서는 (비트)율-왜곡 최적화 방법(rate-distortion optimization)을 사용하는데, 여기에서 비트율의 척도는 부호화된 비트스트림의 초당 비트수, 왜곡은 SAD(sum of absolute difference), PSNR
(peak signal to noise ration) 등 수치적으로 계산된 값을 사용한다.
종래의 동영상 압축 부호화기는 도 1에서 보는 바와 같이, 입력된 현재 영상과 움직임 예측부(6)에서 얻어진 예측 영상(prediction frame)과의 차 영상(frame difference)을 변환하는 DCT변환부(1), DCT변환부(1)로부터 입력된 변환계수(transform coefficient)를 데이터 압축을 위하여 양자화하는 양자화부(2), 양자화된 변환계수들을 엔트로피부호화(Entropy Coding)하는 엔트로피부호화부(3), 역양자화부(4) 및 역변환부(5)로 구성된다.
이러한 동영상 부호화 장치에서 역양자화부(4) 및 역변환부(5)를 통해 복원된 차 영상은 움직임 예측부(6)의 입력으로 사용되어 다음 영상에 대한 예측 영상을 얻는데 사용된다. 여기서 움직임 예측부(6)는 입력을 통해 들어온 현재 영상과 참조 영상을 이용하여 움직임 벡터 추정을 수행함으로써 예측 영상을 찾는다. 움직임 예측부(6)에 의해 추정된 움직임 벡터는 엔트로피부호화부(3)에 입력되어 변환계수와 함께 엔트로피부호화된다. 엔트로피부호화부(3)로부터 출력된 영상 정보 비트스트림은 수신단으로 전송되거나, 다른 신호들과 다중화하기 위하여 다중화기로 전송된다.
일반적인 영상 부호화기에서는 전체 영상 단위로 부호화하는 대신에 한장의 영상을 일정한 크기의 블록(예컨대, 가로방향으로
Figure 112008003280319-pat00039
화소, 세로 방향으로
Figure 112008003280319-pat00040
화소(통상적으로
Figure 112008003280319-pat00041
*
Figure 112008003280319-pat00042
으로 표시))의 화소(picture element 또는 pixel)의 집합 단위로 부호화를 수행하는데, 대체로 블록의 크기는 16*16또는 8*8이다. 16*16 크기의 블록을 '매크로블록(macroblock)' 이라고 부르며, 8*8 크기의 블록을 그냥 '블록(block)'이라고 부른다. 또한 블록은 '매크로블록'과 '블록'의 통칭으로 사용되기도 한다.
한 장의 영상을 이루는 매크로블록은 주사방식순서대로(raster scanning order : 좌측에서 우측으로, 상단에서 하단으로)부호화된다. 도 2는 매크로 블록의 분할 예로서, 176x188 크기의 영상이 99개의 매크로블록으로 분할되어 번호가 부여되고 작은 번호를 가진 매크로블록부터 차례대로 부호화된다.
부호화되는 매크로블록의 순서는 영상 압축에 있어서 중요한 의미를 갖는다. 영상 부호기는 압축 효율을 높이기 위하여 부호화하고 있는 현재 블록의 움직임 벡터나 밝기값을 예측하기 위해서 주변 블록을 활용하게 되는데, 주변 블록의 움직임 벡터와 밝기값으로부터 현재 블록의 움직임 벡터와 밝기값을 정확히 예측할 수 있을 때 부호화 효율을 증가하게 되며, 반대의 경우에는 부호화 효율이 감소하게 된다. 따라서 주변 블록의 정보는 현재 블록의 정보를 압축하는데 매우 중요한 역할을 하게 된다.
즉, 일반적인 영상 부호기 표준에서, 도 3에서 보는 바와 같이, 현재 블록(X)의 효과적인 압축을 위해 사용되는 주변 블록(A, B, C, D)의 정의를 보면, 움직임벡터의 예측은 A, B, C를 사용하며, C가 유효하지 않은 경우에는 D가 사용된다. 현재 블록 X의 영상내 예측(밝기값 예측)에는 A와 B가 사용된다.
종래의 동영상 또는 정지영상 압축 부호기는 입력되는 영상에 대해 기하학적인 변환없이 그대로 압축 부호기에 입력되고 압축된다. 종래의 동영상 또는 정지영상 압축 부호기는 현재 블록의 정보를 압축하는데 주변 블록의 정보를 전혀 활용하지 않음으로서 부호화 효율이 저하되는 문제점이 있었다.
본 발명은 이와 같은 문제점을 개선하기 위하여 발명된 것으로, 기하학적 변환없는 원 영상에 대한 압축뿐만 아니라 원 영상에 기하학적 변환을 가한 영상들에 대한 압축도 함께 수행해 본 후, 가장 우수한 부호화 효율을 갖는다고 판단되는 기하학적 변환을 선정하고 이에 상응하는 압축 비트열을 전송 또는 저장함으로써 부호화 효율을 개선하기 위한 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및 장치를 제공하는 데 그 목적이 있다.
상기의 목적을 수행하기 위한 본 발명에 따른 방법은
ⅰ)영상 X를 입력받아 초기화하며, 정의된 N개의 기하학적 변환중 어느 하나의 기하학적 변환을 실행하는 기하학적 변환단계;
ⅱ)상기 실행된 기하학적 변환에 대한 영상 부호화를 수행하여 부호화된 영상
Figure 112006097726911-pat00001
에 대한 부호화 효율을 측정하는 부호화 효율 측정단계;
ⅲ)상기 ⅰ단계 기하학적 변환단계와 ⅱ단계의 부호화 효율 측정단계에서 수행된 기학학적 변환을 제외한 나머지 N-1개의 기하학적 변환 및 부호화 효율 측정을 순차적으로 실행하여 N개의 부호화 결과를 획득하는 단계; 및
ⅳ)상기 ⅱ단계 및 ⅲ단계에서 측정된 N개의 부호화 결과중 비트발생량에 대해 SNR (signal to noise ratio)이 가장 큰 우수한 부호화 효율을 갖는 변환
Figure 112006097726911-pat00002
을 선정하는 단계를 포함한다.
또한, 본 발명에 따른 장치는 입력된 현재 영상에 대하여 최적으로 선택된 기하학적 변환을 수행하는 제 1 기하학적 변환부(70A);
입력된 현재 영상에 대한 예측 영상을 출력하기 위한 움직임 예측부(60);
움직임 예측부(60)의 출력단에 접속되어 예측 영상에 대한 기하학적 변환을 수행하는 제 2 기하학적 변환부(70B);
제 1 기하학적 변환부A(70A) 및 제 2 기하학적 변환부(70B)에서 출력된 기하학적 변환이 적용된 현재 영상 및 예측 영상과의 차 영상(frame difference)을 입력받아 이산적 코사인 함수를 사용하여 시간축의 화상 신호를 주파수축으로 변환하는 DCT변환부(10);
DCT변환부(10)로부터 입력된 변환계수를 데이터 압축을 위하여 양자화하는 양자화부(20);
양자화부(20)의 출력측에 접속되어 양자화된 변환계수들을 엔트로피 부호화하여 수신단으로 전송되거나, 다른 신호들과 다중화하기 위하여 다중화기로 전송되기 위한 압축 비트 스트림을 출력하는 엔트로피부호화부(30); 및
양자화부(20)의 출력측에 접속되어 양자화된 변환계수를 역양자화하고, 역변환하여 복원시켜 상기 움직임 예측부(60)에 입력시키기 위한 역양자화부(40) 및 역변환부(50)를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다.
도 4는 도 2의 QCIF 영상을 x축(수평방향)에 대해 대칭 이동을 수행하였을 때의 99개의 매크로블록으로 분할된 예를 보여주기 위한 도면이고, 도 5는 본 발명에 따른 동영상 부호화기의 구성을 보여주기 위한 블록도이다.
도 6은 본 발명의 기하학적변환부에서 최적 기하학적 변환을 선정하는 방법을 설명하기 위한 흐름도이고, 도 7은 본 발명에 따른 기하학적 변환을 이용한 영상 부호화 효율 향상 방법이 적용된 정지영상부호기의 일 실시예를 보여주기 위한 블록도이며, 도 8은 본 발명에 따른 기하학적 변환을 이용하여 압축된 정지영상의 복호기의 일 실시예를 보여주기 위한 블록도이다.
본 발명에 따른 기하학적 변환을 이용한 영상 부호화 효율 향상 방법은 입력 영상을 x축 또는 y축에 대한 대칭 이동과 같은 기하학적 변환을 수행한 후의 영상 을 부호기의 입력영상으로 사용하더라도 복호기는 수행한 기하학적 변환의 역변환을 수행함으로써 원래 모양의 영상을 얻을 수 있음에 착안된다.
여기서, 원영상에 대한 압축 결과와 원영상에 기하학적 변환을 가한 영상에 대한 압축 결과는 동일하지 않은데, 이것은 기하학적 변환을 가하게 되면 매크로블록 번호에 변화가 발생하고 이에 따라 현재 블록의 부호화시 참조하는 주변 블록에 변화가 발생하여 부호화 효율이 달라지게 된다.
도 4는 도 2에 보여진 영상에 x축(가로방향)에 대한 기하학적 변환인 대칭 이동 변환을 적용한 결과이다. 도 4의 기하학적 변환이 적용된 영상이 영상 부호기에 입력되면 부호화되는 매크로블록의 순서는 88, 89, ... 98, 77, 78, ..., 0, 1, ..., 10가 된다. 이 순서는 원영상을 부호기 입력으로 하였을 때와 큰 차이를 가지게 된다. 예를 들어, 78번 매크로블록의 부호시 사용되는 부호화된 주변 매크로블록 A, B, C는 각각 77, 89, 90번 블록인 반면, 원영상을 압축하는 경우(도 2) 78번 매크로블록의 부호시 사용되는 부호화된 주변 매크로블록 A, B, C는 각각 77, 67, 68번이다. 뿐만 아니라, H.264의 경우 영상내블록 예측 (intra block prediction)에 사용되는 주변 블록도 변화가 있는데, 도 2의 경우 77과 67이 사용되지만 도 4의 경우에는 77과 89를 사용하게 된다. 따라서 이러한 주변 블록의 변화는 현재 블록에 대한 예측 성능에 영향을 미침에 따라 결과적으로는 부호화 효율이 달라지게 된다.
본 발명은 예측 성능의 차이에 따른 부호화 효율의 차이를 감안하여 다양한 기하학적 변환을 수행하고 이에 대한 부호화 효율을 측정하고, 가장 우수하다고 판 단되는 기하학적 변환을 수행한 비트열을 어떤 기하학적 변환이 수행되었는지에 대한 부가적인 데이터를 첨가하여 전송 또는 저장함으로써 부호화 효율을 향상시키는 것이다.
기하학적 변환은 전체 영상에 적용되므로 전체 데이터량에 비해 추가해야 할 데이터가 무시할 수 있을 정도이다. 예를 들어, 8개 기하학적 변환을 정의하였다면, 3 비트면 이 변환들 중 어느 변환이 사용되었는지를 표현하는데 충분하며, 이는 한 장의 영상을 부호화하였을 때 발생하는 비트량과 비교할 때 매우 적은 량이므로 무시할 수 있다.
본 발명에서 사용하는 기하학적 변환 8가지는 하기의 <수학식 1> ~ <수학식 8>로 정의된다. <수학식>들에서
Figure 112008003280319-pat00043
은 원영상이며,
Figure 112008003280319-pat00044
과
Figure 112008003280319-pat00045
은 각각 영상의 좌표를 나타내는 x방향과 y방향의 인덱스,
Figure 112008003280319-pat00046
와
Figure 112008003280319-pat00047
는 각각 영상의 폭과 높이,
Figure 112008003280319-pat00048
,
Figure 112008003280319-pat00049
는 변환,
Figure 112008003280319-pat00050
는 변환
Figure 112008003280319-pat00051
에 의해 변환된 영상을 의미한다.
[수학식1] 동일변환(identity)
Figure 112006097726911-pat00006
[수학식2] 세로축에 대칭 이동
Figure 112006097726911-pat00007
[수학식3] 가로축에 대칭 이동
Figure 112006097726911-pat00008
[수학식4] 첫 번째 대각선에 대한 대칭 이동
Figure 112006097726911-pat00009
[수학식5] 두 번째 대각선에 대한 대칭 이동
Figure 112006097726911-pat00010
[수학식6] +90도 회전 이동
Figure 112006097726911-pat00011
[수학식7] +180도 회전 이동
Figure 112006097726911-pat00012
[수학식8] -90도 회전 이동
Figure 112008003280319-pat00052
상기의 8개의 수학식 외에도 가능한 기하학적 변환을 추가할 수 있으나, 본 발명에서는 8개의 변환 L1 , L2 ..... L7 를 중심으로 설명한다. 또한, 본 발명에 따른 기하학적 변환은 JPEG과 JPEG2000과 같은 정지영상 부호기의 입력 영상에도 적용 가능하나 이하에서는 동영상 부호기의 입력 영상을 중심으로 설명하기로 한다.
본 발명에 따른 동영상 부호화기는 도 5에서 보는 바와 같이, 영상을 입력받아 영상을 압축하기 전에 현재 영상에 대한 기하학적 변환을 적용하기 위한 제 1 기하학적 변환부(70A)과 제 2 기하학적 변환부(70B)가 포함된다. 입력된 현재 영상은 제 1 기하학적 변환부(70A) 및 예측 영상(prediction frame)을 출력하기 위한 움직임 예측부(60)에 입력된다. 제 1 기하학적 변환부(70A)는 원영상에 대한 기하학적 변환을 적용하고, 움직임 예측부(60)에서 예측 영상을 입력받은 제 2 기하학적 변환부(70B)는 입력영상이 기하학적 변환을 거치므로 이와 동일한 기하학적 변환을 예측 영상에도 적용한다.
제 1 기하학적 변환부(70A)에서 출력된 기하학적 변환을 적용된 현재 영상과 기하학적 변환부B(70B)에서 출력된 기하학적 변환을 적용된 예측 영상(prediction frame)과의 차 영상(frame difference)을 입력받아 이산적 코사인 함수를 사용하여 시간축의 화상 신호를 주파수축으로 변환하는 DCT변환부(10)가 기하학적 변환부A(70A)과 기하학적 변환부B(70B)의 출력측에 접속된다. DCT변환부(10)의 출력측에는 DCT변환부(10)로부터 입력된 변환계수(transform coefficient)를 데이터 압축을 위하여 양자화하는 양자화부(20)가 접속된다.
양자화부(20)의 출력측에는 양자화된 변환계수들을 엔트로피부호화(Entropy Coding)하여 압축 비트열을 출력하는 엔트로피부호화부(30) 및 양자화된 변환계수를 역양자화하고, 역변환하여 복원시켜 움직임 예측부(60)에 입력시키기 위한 역양자화부(40) 및 역변환부(50)가 접속된다.
역양자화부(40) 및 역변환부(50)는 양자화된 변환계수를 역양자화하고, 역변환하여 복원된 차 영상을 움직임 예측부(60)에 입력시켜 다음 영상에 대한 예측 영상을 얻는데 사용된다. 움직임 예측부(60)는 입력을 통해 들어온 현재 영상과 참조 영상을 이용하여 움직임 벡터 추정을 수행함으로써 예측 영상을 찾는다.
또한, 움직임 예측부(60)에 의해 추정된 움직임 벡터는 엔트로피부호화 부(30)에 입력되어 변환계수와 함께 엔트로피부호화된다. 엔트로피부호화부(30)로부터 출력된 영상 정보 비트스트림은 수신단으로 전송되거나, 다른 신호들과 다중화하기 위하여 다중화기로 전송된다.
이와 같은 본 발명에 따른 부호화기와 종래의 부호기와의 차이점은 영상을 압축하기 전에 원영상에 대한 기하학적 변환을 적용하고, 기하학적 변환이 적용된 영상에 대한 압축을 수행한다는 점이다.
본 발명에서 사용되는 기하학적 변환은 매 프레임마다 다를 수 있으며, 적용되는 기하학적 변환은 수학식에서 기술된 L1 , L2 ..... L7 변환중 부호화 효율을 가장 높일 수 있는 변환으로 선정된다.
도 7은 본 발명에 따른 기하학적변환부에서 최적 기하학적 변환을 선정하는 방법을 나타내는 흐름도로써 영상 X를 입력받아 변환부를 초기화하며(S1), 상기 [수학식1]~[수학식 8]에서 정의된 기하학적 변환을 실행한다(S2). 만약 [수학식1]에서 정의된 동일변환(identity)
Figure 112006097726911-pat00014
을 실행하였다면, [수학식1]에서 정의된 동일변환(identity)에 대한 영상 부호화를 수행하여 부호화된 영상
Figure 112006097726911-pat00015
에 대한 부호화 효율을 측정하는 방법으로 정의된 [수학식1]~[수학식 8]까지의 모든 기하학적 변환을 수행한다.(S3~S6)
그러므로, N개의 기하학적 변환을 적용하여 N개의 부호화 결과를 얻고 가장 우수한 부호화 효율을 갖는 변환
Figure 112006097726911-pat00016
을 선정하는 것이다(S7). 도 6에서 부호화효율
Figure 112006097726911-pat00017
는 비트발생량과 화질의 관점에서의 효율을 의미한다. 예를 들어, 같은 비트발생량에 대해 SNR (signal to noise ratio)가 클 수록 부호화효율이 큰 값을 가지게 된다. 도 6은 N번의 부호화를 수행하게 되므로 계산량에 있어서 증가를 가져오지만, 부호화 효율 향상을 항상 보장할 수 있다는 장점이 있다.
본 발명은 JPEG, JPEG2000 등과 같은 정지영상 부호화에도 적용 가능하다. 입력영상에 대한 기하학적 변환을 수행하고 정지영상 부호화한 후 가장 우수하다고 판단되는 기하학적 변환을 결정하고 이에 상응하는 압축 비트열과 사용된 기하학적 변환에 대한 정보를 같이 전송 또는 저장한다. 도 7은 정지영상 부호기에 적용된 본 발명의 실시예로서 입력 영상에 대한 기하학적 변환을 수행한 결과 영상에 대해 영상 부호를 수행한다. 도 8은 도 7에서 압축된 비트열의 복호기의 실시예로서 압축 비트열을 복원한 후, 원래 모양대로의 디스플레이를 위해 부호기에서 수행된 기하학적 변환의 역변환을 수행하게 된다.
본 발명을 따르는 부호 결과의 복호를 위해서는 선정된 기하학적 변환을 복호기에 알려야 한다. 전술된 8가지 변환 L1 , L2 ..... L7 중 하나를 적용했음을 알리기 위해서는 고작 3비트의 데이터만을 추가하면 된다. 이 3비트는 표준 부호기의 경우, 프레임 레벨에서의 사용자 데이터 필드에 삽입함으로써 표준 규격과 완벽히 호환되도록 부호화할 수 있다.
본 발명의 기하학적 변환을 이용한 부호화 방법 및 장치는 표준 부호기 규격을 그대로 따르면서 적용할 수 있으며, 각 프레임에 적용된 기하학적 변환에 대한 정보를 소수의 비트로 표현해 줌으로 부호화 효율을 향상시킬 수 있으며, JPEG, JPEG2000과 같은 정지영상 압축 부호 방식뿐만 아니라 MPEG-1/2/4, H.264 등과 같은 동영상 압축 부호 방식에도 널리 적용될 수 있는 범용성이 뛰어난 특징이 있다. 이상에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하였으나, 본 발명은 이에 한정되는 것이 아니며 본 발명의 기술적 사상의 범위내에서 당업자에 의해 그 개량이나 변형이 가능하다.

Claims (4)

  1. ⅰ)영상 X를 입력받아 초기화하며, 정의된 N개의 기하학적 변환중 어느 하나의 기하학적 변환을 실행하는 기하학적 변환단계;
    ⅱ)상기 실행된 기하학적 변환에 대한 영상 부호화를 수행하여 부호화된 영상
    Figure 112008003280319-pat00018
    에 대한 부호화 효율을 측정하는 부호화 효율 측정단계;
    ⅲ)상기 ⅰ단계 기하학적 변환단계와 ⅱ단계의 부호화 효율 측정단계에서 수행된 기학학적 변환을 제외한 나머지 N-1개의 기하학적 변환 및 부호화 효율 측정을 순차적으로 실행하여 N개의 부호화 결과를 획득하는 단계; 및
    ⅳ)상기 ⅱ단계 및 ⅲ단계에서 측정된 N개의 부호화 결과중 비트발생량에 대해 SNR (signal to noise ratio)이 가장 큰 우수한 부호화 효율을 갖는 변환
    Figure 112008003280319-pat00019
    을 선정하는 단계를 포함하는 기하학적 변환을 이용한 영상 부호화 효율 향상 방법.
  2. 제 1 항에서, 상기 ⅰ단계 및 ⅲ단계에서 수행하는 기하학적 변환은 하기의 <식1>로부터 <식8>까지로 정의되는 것을 특징으로 하는 기하학적 변환을 이용한 영상 부호화 효율 향상 방법.
    <식1> 동일변환(identity)
    Figure 112008003280319-pat00053
    <식2> 세로축에 대칭 이동
    Figure 112008003280319-pat00054
    <식3> 가로축에 대칭 이동
    Figure 112008003280319-pat00055
    <식4> 첫 번째 대각선에 대한 대칭 이동
    Figure 112008003280319-pat00056
    <식5> 두 번째 대각선에 대한 대칭 이동
    Figure 112008003280319-pat00057
    <식6> +90도 회전 이동
    Figure 112008003280319-pat00058
    <식7> +180도 회전 이동
    Figure 112008003280319-pat00059
    <식8> -90도 회전 이동
    Figure 112008003280319-pat00060
    상기 <식1>~<식8>에서
    Figure 112008003280319-pat00061
    은 원래의 영상,
    Figure 112008003280319-pat00062
    과
    Figure 112008003280319-pat00063
    은 각각 영상의 좌표를 나타내는 x방향과 y방향의 인덱스,
    Figure 112008003280319-pat00064
    와
    Figure 112008003280319-pat00065
    는 각각 영상의 폭과 높이,
    Figure 112008003280319-pat00066
    ,
    Figure 112008003280319-pat00067
    는 변환을 의미함.
  3. 입력된 현재 영상에 대하여 최적으로 선택된 기하학적 변환을 수행하는 제 1 기하학적 변환부(70A);
    입력된 현재 영상에 대한 예측 영상을 출력하기 위한 움직임 예측부(60);
    상기 움직임 예측부(60)의 출력단에 접속되어 예측 영상에 대한 기하학적 변환을 수행하는 제 2 기하학적 변환부(70B);
    상기 제 1 기하학적 변환부A(70A) 및 제 2 기하학적 변환부(70B)에서 출력된 기하학적 변환이 적용된 현재 영상 및 예측 영상과의 차 영상(frame difference)을 입력받아 이산적 코사인 함수를 사용하여 시간축의 화상 신호를 주파수축으로 변환하는 DCT변환부(10);
    상기 DCT변환부(10)로부터 입력된 변환계수를 데이터 압축을 위하여 양자화하는 양자화부(20);
    상기 양자화부(20)의 출력측에 접속되어 양자화된 변환계수들을 엔트로피 부호화하여 수신단으로 전송되거나, 다른 신호들과 다중화하기 위하여 다중화기로 전송되기 위한 압축 비트 스트림을 출력하는 엔트로피부호화부(30); 및
    상기 양자화부(20)의 출력측에 접속되어 양자화된 변환계수를 역양자화하고, 역변환하여 복원시켜 상기 움직임 예측부(60)에 입력시키기 위한 역양자화부(40) 및 역변환부(50)를 포함하는 기하학적 변환을 이용한 영상 부호화 장치.
  4. 제 3항에 있어서, 상기 제 1 기하학적 변환부A(70A) 및 제 2 기하학적 변환부(70B)에서 적용된 기하학적 변환에 대한 정보는 상기 엔트로피부호화부(30)에서 출력된 압축 비트 스트림의 사용자데이터필드(user data field)에 삽입하여 전송 또는 저장하는 것을 특징으로 하는 기하학적 변환을 이용한 영상 부호화 장치.
KR1020060136577A 2006-12-28 2006-12-28 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치 KR100832872B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060136577A KR100832872B1 (ko) 2006-12-28 2006-12-28 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060136577A KR100832872B1 (ko) 2006-12-28 2006-12-28 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치

Publications (1)

Publication Number Publication Date
KR100832872B1 true KR100832872B1 (ko) 2008-05-28

Family

ID=39665401

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060136577A KR100832872B1 (ko) 2006-12-28 2006-12-28 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치

Country Status (1)

Country Link
KR (1) KR100832872B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086747A1 (ko) * 2015-11-20 2017-05-26 한국전자통신연구원 기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치
WO2017086748A1 (ko) * 2015-11-20 2017-05-26 한국전자통신연구원 기하 변환 영상을 이용하는 영상의 부호화/복호화 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020031028A (ko) * 2000-10-20 2002-04-26 윤종용 오리엔테이션 보간 노드의 부호화 장치 및 방법
JP2004364333A (ja) 2004-08-06 2004-12-24 Sharp Corp 画像符号化装置
US20060072663A1 (en) 2002-11-26 2006-04-06 British Telecommunications Public Limited Company Method and system for estimating global motion in video sequences

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020031028A (ko) * 2000-10-20 2002-04-26 윤종용 오리엔테이션 보간 노드의 부호화 장치 및 방법
US20060072663A1 (en) 2002-11-26 2006-04-06 British Telecommunications Public Limited Company Method and system for estimating global motion in video sequences
JP2004364333A (ja) 2004-08-06 2004-12-24 Sharp Corp 画像符号化装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086747A1 (ko) * 2015-11-20 2017-05-26 한국전자통신연구원 기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치
WO2017086748A1 (ko) * 2015-11-20 2017-05-26 한국전자통신연구원 기하 변환 영상을 이용하는 영상의 부호화/복호화 방법 및 장치
US10944962B2 (en) 2015-11-20 2021-03-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image by using geometrically changed image
US11412209B2 (en) 2015-11-20 2022-08-09 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture
US11425370B2 (en) 2015-11-20 2022-08-23 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture
US11516463B2 (en) 2015-11-20 2022-11-29 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image by using geometrically changed image
US11758128B2 (en) 2015-11-20 2023-09-12 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image using geometrically modified picture

Similar Documents

Publication Publication Date Title
KR101196429B1 (ko) 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법
KR100324610B1 (ko) 화상예측 복호화장치 및 방법
KR101538704B1 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
US9641844B2 (en) Method and apparatus for selecting a prediction mode, and image encoding/decoding method and apparatus using same
KR101461497B1 (ko) 예측 모드를 이용한 영상 부호화 장치 및 복호화 장치
US20080049837A1 (en) Image Processing Apparatus, Program for Same, and Method of Same
CN100555332C (zh) 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置
US8165411B2 (en) Method of and apparatus for encoding/decoding data
WO2012042646A1 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
US8295623B2 (en) Encoding and decoding with elimination of one or more predetermined predictors
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
JP2005110083A (ja) データ処理装置およびその方法と符号化装置
JPH06189290A (ja) １ｄ／２ｄ ｄｃｔを用いた映像信号符号化装置
EP1603343A2 (en) Method and apparatus for spatial predictive encoding and/or decoding of video data
KR101086724B1 (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
KR101911587B1 (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
KR100832872B1 (ko) 기하학적 변환을 이용한 영상 부호화 효율 향상 방법 및장치
KR100566290B1 (ko) 스캔 테이블을 이용한 영상 주사방법과 그를 적용한 이산코사인 변환 장치
KR20100009718A (ko) 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템
KR100586103B1 (ko) 동영상 부호화 방법
KR100351568B1 (ko) 움직임 보상 예측 블록의 경계 방향성을 고려한 고압축장치 및 그 방법
KR20110087871A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR100627493B1 (ko) 동영상 부호화기 및 이를 이용한 부호화 방법
KR20120138426A (ko) 교차 삽입법을 이용한 향상된 움직임 백터 예측 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130520

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140512

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150511

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee