KR100510138B1 - 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치 - Google Patents

참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치 Download PDF

Info

Publication number
KR100510138B1
KR100510138B1 KR10-2003-0028038A KR20030028038A KR100510138B1 KR 100510138 B1 KR100510138 B1 KR 100510138B1 KR 20030028038 A KR20030028038 A KR 20030028038A KR 100510138 B1 KR100510138 B1 KR 100510138B1
Authority
KR
South Korea
Prior art keywords
picture
tag information
reference picture
pictures
determining
Prior art date
Application number
KR10-2003-0028038A
Other languages
English (en)
Other versions
KR20040094097A (ko
Inventor
하형석
김소영
이남숙
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2003-0028038A priority Critical patent/KR100510138B1/ko
Priority to US10/828,417 priority patent/US7646811B2/en
Publication of KR20040094097A publication Critical patent/KR20040094097A/ko
Application granted granted Critical
Publication of KR100510138B1 publication Critical patent/KR100510138B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Abstract

참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치가 개시된다.
본 발명에 따라, 현재 픽처를 구성하는 블럭의 참조 픽처를 결정하는 방법은 (a) 복수개의 픽처에 대해 각각 그 픽처를 기술하는 태그 정보를 마련하는 단계; 및 (b) 상기 태그 정보를 참조하여 상기 복수개의 픽처 중 어느 하나를 상기 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 한다. 이에 의해, 압축 효율이 양호하면서도 부호화 및 복호화시 계산의 복잡성을 낮출 수 있다.

Description

참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치{Method for selecting reference picture, motion compensation method thereof and apparatus thereof}
본 발명은 동영상 데이터를 부호화하거나 복호화함에 있어서 참조 픽처에 관한 것으로, 보다 상세하게는 현재 픽처를 구성하는 블럭에 대해 참조 픽처를 결정하는 방법, 그 움직임 보상 방법 및 그 장치에 관한 것이다.
동영상 데이터를 부호화하고 복호화하기 위해 마련된 H.264 표준에 따르면, 픽처에 포함된 복수개의 매크로 블록, 또는 매크로 블록을 이분할하거나 사분할하여 얻어진 서브 블록 단위로 부호화 또는 복호화를 수행한다. 부호화 및 복호화는 예측(prediction)을 기반으로 이루어진다. 예측은 시간 축을 기준으로 과거 픽처를 참조하거나 과거 픽처와 미래 픽처를 모두 참조하는 방식으로 수행된다. 현재 픽처를 부호화하거나 복호화하는데 참조되는 픽처는 참조 픽처라고 한다.
H.264 표준에 따르면, 각각의 매크로 블록 및/또는 서브 블록은 복수개의 참조 픽처를 참조할 수 있는 다중 참조 방식을 기반으로 하며, 이 때 참조 픽처는 다음과 같은 방법으로 결정된다. 즉, 최근에 부호화된 1 개 이상 16 개 이하의 픽처를 저장해두고, 움직임 예측을 수행할 때 저장된 모든 참조 픽처들을 각각 사용해본 다음 가장 좋은 성능을 발휘하는 픽처를 현재 블록의 참조 픽처로 결정한다. 따라서, 종래 하나의 참조 픽처만을 사용하던 방식에 비해 압축 효율이 보다 향상되거나 화질이 개선된다.
그러나, 현재 픽처를 부호화함에 있어 복수개의 참조 픽처를 사용하기 위해서는 복수개의 참조 픽처를 저장해두어야 하므로 메모리 부담이 커지며, 복수개의 참조 픽처마다 움직임 예측을 수행해본 다음 최적의 참조 픽처를 선택해야 하므로 계산량이 현저히 늘어나게 된다. 특히, 실시간 부호화 및 복호화를 실현하는데 어려움이 있을 수 있다.
따라서, 본 발명이 이루고자 하는 기술적 과제는 복수개의 참조 픽처를 사용함으로써 압축 효율이 높거나 화질이 개선되면서도 계산량을 줄일 수 있도록 참조 픽처를 결정하는 방법 및 그 장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는 압축 효율이 높거나 화질이 개선되면서도 계산량을 줄일 수 있도록 결정된 참조 픽처를 사용하여 움직임 보상을 수행하는 방법 및 그 장치를 제공하는 것이다.
상기 기술적 과제는 본 발명에 따라, 현재 픽처를 구성하는 블럭의 참조 픽처를 결정하는 방법에 있어서, (a) 복수개의 픽처에 대해 각각 그 픽처를 기술하는 태그 정보를 마련하는 단계; 및 (b) 상기 태그 정보를 참조하여 상기 복수개의 픽처 중 어느 하나를 상기 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법에 의해 달성된다.
상기 (b)단계는 (b1) 상기 태그 정보를 기초로 상기 픽처 중 적어도 하나에 우선권을 부여하는 단계; (b2) 우선권이 부여된 픽처를 먼저 사용하여 상기 블럭에 대한 움직임 예측을 수행하는 단계; 및 (b3) 수행된 움직임 예측 결과, 소정 기준에 만족되는 픽처가 발견되면 그 픽처를 상기 참조 픽처로 결정하는 단계를 포함하는 것이 바람직하다.
또한, 상기 기술적 과제는 참조 픽처를 결정하는 방법에 있어서, (a) 현재 픽처의 일부를 구성하는 블럭에 대해 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 결정하는 단계; 및 (b) 결정된 참조 픽처를 모니터링하여 얻어진 결과를 바탕으로 상기 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 결정하는 단계를 포함하는 것을 특징으로 하는 방법에 의해서도 달성된다.
또한, 상기 기술적 과제는 현재 픽처를 구성하는 블럭에 대해 다중 참조 방식에 따라 참조 픽처를 결정하는 방법에 있어서, (a) 상기 현재 픽처를 기준으로 최근 픽처를 사용하여 움직임 예측을 수행하는 단계; (b) 수행된 움직임 예측 결과, 소정 기준값이 소정 임계값 이하이면 상기 최근 픽처를 참조 픽처로 결정하는 단계; 및 (c) 수행된 움직임 예측 결과, 소정 기준값이 소정 임계값 초과이면 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 상기 참조 픽처를 결정하는 단계를 포함하는 것을 특징으로 하는 방법에 의해서도 달성된다.
상기 (c)단계는 (c11) 상기 참조 인덱스 리스트가 가리키는 복수개의 픽처에 대해 움직임 예측을 수행하는 단계; 및 (c12) 상기 (c11)단계에서 수행된 움직임 예측 결과에 따라 상기 참조 픽처를 결정하는 단계를 포함하고, 상기 (c12)단계는 나머지 오차가 소정 임계값 이하인 픽처가 발견되면 그 픽처를 상기 참조 픽처로 결정하는 단계를 포함하거나, (c21) 태그 정보를 기초로 상기 참조 인덱스 리스트에 포함된 복수개의 픽처 중 적어도 하나에 우선권을 부여하는 단계; (c22) 우선권이 부여된 픽처를 먼저 사용하여 상기 블럭에 대한 움직임 예측을 수행하는 단계; 및 (c23) 수행된 움직임 예측 결과에 따라 상기 참조 픽처를 결정하는 단계를 포함하고, 상기 (c21)단계는 상기 현재 픽처를 구성하는 소정 갯수의 블럭에 대해 결정된 참조 픽처의 태그 정보를 모니터링하여, 다수를 차지하는 태그 정보와 동일한 태그 정보를 갖는 픽처에 우선권을 부여하는 단계를 포함하는 것이 바람직하다.
또한, 상기 (c)단계는 상기 참조 인덱스 리스트를 마련하는 단계를 포함하고, 상기 참조 인덱스 리스트를 마련하는 단계는 상기 최근 픽처는 상기 현재 픽처를 구성하는 다수의 블럭의 참조 픽처로 사용된 경우 상기 참조 인덱스 리스트에 포함시키는 단계; 상기 최근 픽처가 상기 현재 픽처를 구성하는 다수의 블럭의 참조 픽처로 사용되지 않은 경우, 상기 최근 픽처를 위한 태그 정보가 할당되면 상기 최근 픽처를 상기 참조 인덱스 리스트에 포함시키는 단계; 및 상기 최근 픽처가 상기 현재 픽처를 구성하는 다수의 블럭의 참조 픽처로 사용되지 않고 상기 최근 픽처를 위한 태그 정보가 할당되지 않으면 상기 최근 픽처는 상기 참조 인덱스 리스트에 포함시키지 않고 버리는 단계를 포함하거나, 상기 현재 픽처에 대해 큰 움직임이 존재하는 픽처임을 알리는 태그 정보를 가진 픽처를 상기 참조 인덱스 리스트에 포함시키는 단계; 및 상기 현재 픽처에 대해 글로벌 채인지가 존재하는 픽처임을 알리는 태그 정보를 가진 픽처를 상기 참조 인덱스 리스트에 올리는 단계를 포함하는 것이 바람직하다.
또한, 상기 기술적 과제는 움직임 보상을 수행하는 방법에 있어서, (a) 현재 픽처의 일부를 구성하는 블럭에 대해 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 결정하고, 결정된 참조 픽처에 첨부된 태그 정보를 모니터링하여 얻어진 결과를 바탕으로 상기 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 결정하는 방식으로 얻어진 참조 픽처를 읽어들이는 단계; 및 (b) 읽어들인 참조 픽처와 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 방법에 의해서도 달성된다.
한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 동영상 데이터를 부호화하는 장치에 있어서, 참조 인덱스 리스트 및 상기 참조 인덱스 리스트가 가리키는, 적어도 일부에는 태그 정보가 첨부되어 있는 복수개의 픽처를 저장하는 메모리부; 현재 픽처의 일부를 구성하는 블럭에 대해 상기 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 결정하고, 결정된 참조 픽처에 첨부된 태그 정보를 모니터링하여 얻어진 결과를 바탕으로 상기 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 결정하며, 결정된 참조 픽처로부터 상기 블럭에 대한 움직임 벡터를 산출하는 움직임 예측부; 및 상기 움직임 예측부에 의해 산출된 움직임 벡터와 대응하는 참조 픽처를 사용하여 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 장치에 의해서도 달성된다.
상기 움직임 예측부는 상기 참조 인덱스 리스트가 가리키는 복수개의 픽처 중, 다수를 차지하는 참조 픽처의 태그 정보와 동일하거나 관련된 태그 정보를 갖는 픽처에 우선권을 부여하고, 우선권이 부여된 픽처를 먼저 사용하여 움직임 예측을 수행한 다음, 수행된 움직임 예측 결과를 바탕으로 참조 픽처를 결정하는 것이 바람직하다.
한편, 본 발명의 다른 분야에 따르면, 상기 기술적 과제는 부호화된 동영상 데이터가 담긴 비트스트림을 복호화하는 장치에 있어서, 상기 동영상 데이터를 구성하는 현재 픽처의 일부를 구성하는 블럭에 대해 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 선택하고, 결정된 참조 픽처에 첨부된 태그 정보를 모니터링하여 얻어진 결과를 바탕으로 상기 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 선택하는 방식으로 결정된 참조 픽처를 저장하는 메모리부; 상기 비트스트림으로부터 추출된 움직임 벡터를 복호화하는 움직임 벡터 복호화부; 및 상기 메모리부로부터 읽어들인 참조 픽처와 상기 움직임 벡터 복호화부로부터 제공된 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 장치에 의해서도 달성된다.
상기 메모리부는 상기 참조 인덱스 리스트가 가리키는 복수개의 픽처 중, 다수를 차지하는 참조 픽처의 태그 정보와 동일하거나 관련된 태그 정보를 갖는 픽처에 우선권을 부여하고, 우선권이 부여된 픽처를 먼저 사용하여 움직임 예측을 수행한 다음, 수행된 움직임 예측 결과를 바탕으로 참조 픽처를 선택하는 방식으로 얻어진 상기 참조 픽처를 저장하는 것이 바람직하다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
본 발명에 따른 부호화 장치는 동영상 데이터를 부호화한다. 동영상 데이터는 시간축 상에 나열되는 복수개의 프레임 또는 필드 구조를 갖는 픽처로 구성되며, 픽처는 복수개의 블록으로 구성된다. 프레임은 순차 주사 방식에 의해 얻어진 순차 주사 프레임 또는 비월 주사 방식에 의해 얻어진 비월 주사 프레임이다. 필드는 비월 주사 프레임을 구성하는 탑 필드 또는 바텀 필드이다. 블럭은 매크로 블록, 매크로 블록을 수직 또는 수평 방향으로 이분할 또는 사분할하여 얻어진 서브 블록을 포함한다.
도 1은 본 발명의 바람직한 실시예에 따른 부호화 장치의 블럭도이다.
도 1을 참조하면, 부호화 장치는 현재 픽처를 부호화함에 있어 복수개의 과거 픽처 및/또는 미래 픽처를 참조할 수 있는 다중 참조(multiple reference) 방식을 채용한 장치로서, 부호화 제어부(100), 제1 소스 부호화부(200), 제2 소스 부호화부(700)를 가진다. 나아가, 제1 소스 복호화부(300), 메모리부(400), 움직임 보상부(motion compensator)(500), 및 움직임 예측부(motion estimater)(600)를 구비한다. 여기서, 메모리부(400)는 본 발명에 따른 참조 인덱스 리스트 및 그 참조 인덱스 리스트가 가리키는 복수개의 픽처를 저장하고 있다. 움직임 보상부(510)는 본 발명에 따라 움직임 보상을 수행하며, 움직임 예측부(600)는 본 발명에 따라 참조 픽처를 결정하고 결정된 참조 픽처를 사용하여 움직임 예측을 수행한다.
영상 데이터가 입력되면 부호화 제어부(100)는 입력 영상에 대해 움직임 보상을 수행할지 여부에 따른 코딩-타입(인트라 코딩/인터 코딩)을 결정하여 대응하는 제어 신호를 제1 스위치(S1)로 출력한다. 움직임 보상을 수행할 경우에는, 즉 인터 코딩할 경우에는 이전 및/또는 이후에 입력된 영상 데이터가 필요하므로 제1 스위치(S1)는 닫히게 되고, 움직임 보상을 수행하지 않을 경우, 즉 인트라 코딩할 경우에는 이전 또는 이후에 입력된 영상 데이터가 필요하지 않으므로 제1 스위치(S1)는 열리게 된다. 제1 스위치(S1)가 닫히면 입력 영상과 이전 및/또는 이후 영상으부터 얻어진 차 영상 데이터가 제1 소스 부호화부(200)로 입력되고 제1 스위치(S1)가 열리면 입력 영상만이 제1 소스 부호화부(200)로 입력된다.
본 실시예에서, 제1 스위치(S1)가 열린 경우 제1 소스 부호화부(200)로 입력되는 동영상 데이터는 I-픽처이다. 제1 스위치(S1)가 닫힌 경우 제1 소스 부호화부(200)로 입력되는 영상 데이터는 P-픽처 또는 B-픽처이다. 즉, 부호화 대상이 되는 동영상 데이터는 복수개의 픽처들로 이루어진다. I 픽처는 다른 픽처를 참조하지 않고 얻어지는 인트라(intra) 픽처를 가리키고, B 픽처는 두 개의 서로 다른 픽처를 참조하여 얻어지는 양방향(bi-predictive) 픽처를 가리킨다. P 픽처는 I 픽처만을 참조하여 얻어지는 예측(predictive) 픽처를 가리킨다. 다만, 본 실시예에서 부호화는 블록 단위로 수행된다. 따라서, 이하에서 언급하는 블록은 픽처를 구성하는 복수개의 매크로 블록, 또는 매크로 블록을 수평 또는 수직 방향으로 이분할 또는 사분할하여 얻어진 서브 블록을 가리킨다.
제1 소스 부호화부(200)는 픽처를 변환(transform)하여 변환 계수들(transform coefficients)을 얻고, 다시 소정 양자화(Quantization) 스텝에 따라 양자화하여 양자화된 변환 계수들을 출력한다. 사용되는 변환의 예로는 IT(Integer Transform), DCT(Discrete Cosine Transform), 웨이블릿 변환(Wavelet transform)을 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.
한편, 제1 소스 부호화부(200)로 입력되어 부호화된 픽처는 이후 또는 이전에 입력된 블럭의 움직임 보상을 위한 참조 픽처로 사용될 수 있으므로 제1 소스 복호화부(300)에 의해 제1 소스 부호화부(200)의 역과정인 역양자화와 역변환을 거친 후 메모리부(400)에 저장된다. 메모리부(400)에는 참조 인덱스 리스트 및 그 참조 인덱스 리스트가 가리키는 복수개의 픽처가 저장되어 있다. 저장된 복수개의 픽처 중 적어도 일부에는, 본 실시예에서는 최근 픽처를 제외한 나머지 픽처에 태그 정보가 첨부되어 있다. 대안적으로, 참조 인덱스 리스트가 가리키는 모든 픽처에 태그 정보가 첨부될 수 있다. 움직임 예측부(600)는 본 발명에 따라 메모리부(400)에 저장된 참조 인덱스 리스트 및 복수개의 픽처를 참조하여 참조 픽처를 결정한다. 참조 픽처의 결정에 대한 보다 상세한 설명은 후술한다. 또한, 움직임 예측부(600)는 결정된 참조 픽처를 기초로 움직임 벡터(Motion Vector)를 산출한다. 움직임 벡터는 복수개의 과거 및/또는 미래의 픽처를 참조하여 산출된다.
움직임 보상부(500)는 움직임 예측부(600)에 의해 산출된 움직임 벡터가 가리키는 참조 픽처를 메모리부(400)로부터 읽어들인 다음, 참조 픽처와 움직임 벡터를 기초로 움직임 보상을 수행하고, 그 결과 얻어진 움직임 보상값을 출력한다. 움직임 보상값은 제1 소스 복호화부(300)에서 출력된 데이터에 더해져서, 입력된 영상 데이터를 구성하는 픽처로 복원된 다음 움직임 예측 또는 움직임 보상에 사용되기 위해 메모리부(400)에 저장된다.
제2 소스 부호화부(700)는 제1 소스 부호화부(200)로부터 출력되는 양자화된 변환 계수들을 입력받고, 움직임 예측부(600)로부터 출력되는 움직임 벡터를 입력받으며, 부호화 제어부(100)에서 제공되는 코딩 타입 정보, 양자화 스텝 정보, 등 기타 복호화에 필요한 정보들을 입력받아 각각 부호화한 다음 멀티플렉싱하여 비트스트림을 출력한다. 본 실시예에서 제2 소스 부호화부(700)는 엔트로피 부호화를 수행한다.
도 2는 본 발명의 바람직한 실시예에 따른 복호화 장치의 블록도이다.
도 2를 참조하면, 복호화 장치는 도 1의 부호화 장치에 의해 부호화된 동영상 데이터가 담긴 비트스트림을 복호화하는 장치로서, 비트스트림을 디먹싱하는 디먹싱부(110), 제2 소스 복호화부(710) 및 제1 소스 복호화부(210)을 구비한다. 또한, 코딩 타입 정보를 복호화하는 코딩 타입 정보 복호화부(120) 및 움직임 벡터를 복호화하는 움직임 벡터 복호화부(130)를 가진다. 나아가, 메모리부(410) 및 움직임 보상부(510)를 구비한다.
디먹싱부(110)는 수신된 비트스트림을 디먹싱하여, 부호화되고 양자화된 변환 계수들, 움직임 벡터 정보, 코딩 타입 정보를 출력한다. 제2 소스 복호화부(710)는 부호화된 변환 계수들을 엔트로피 복호화하여 양자화된 변환 계수들을 출력한다. 제1 소스 복호화부(210)는 양자화된 변환 계수들을 제1 소스 복호화한다. 즉, 도 1의 제1 소스 부호화부(200)의 역과정을 수행한다. 예를 들어, 제1 소스 부호화부(200)가 DCT를 수행하였다면 제1 소스 복호화부(210)는 IDCT(Inverse Discrete Cosine Transform)를 수행한다. 마찬가지로, 제1 소스 부호화부(200)가 웨이블릿 변환을 수행하였다면 제1 소스 복호화부(210)는 웨이블릿 역변환을 수행한다. 이에, 동영상 데이터를 구성하는 픽처가 복원된다. 복원된 픽처는 움직임 보상을 위해 메모리부(410)에 저장된다.
한편, 코딩 타입 정보 복호화부(120)는 코딩 타입을 복호화하여 코딩 타입을 알아낸다. 코딩 타입이 움직임 보상이 필요한 인터 타입일 경우 제3 스위치(S3)를 닫아 제1 소스 복호화부(210)로부터 출력된 데이터에 움직임 보상부(510)로부터 출력된 움직임 보상값이 더해져서 복원된 픽처를 얻을 수 있게 해준다. 움직임 벡터 복호화부(130)는 움직임 벡터를 복호화하고, 움직임 보상부(510)는 복호화된 움직임 벡터가 가리키는 참조 픽처를 사용하여 생성된 움직임 보상값을 출력한다.
특히, 움직임 보상부(510)는 움직임 보상을 수행함에 있어서, 본 발명에 따라 결정된 참조 픽처를 사용한다. 본 발명에 따라 결정된 참조 픽처는 메모리부(410)에 저장되어 있다. 즉, 메모리부(410)에는 현재 픽처의 일부를 구성하는 블럭에 대해 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 선택하고, 결정된 참조 픽처에 첨부된 태그 정보를 모니터링하여 얻어진 결과를 바탕으로 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 선택하는 방식으로 결정된 참조 픽처가 저장되어 있다. 참조 픽처의 결정에 관한 보다 상세한 설명은 후술한다.
도 3은 본 발명에 따른 다중 참조(Multiple reference) 방식을 설명하기 위한 참고도이다.
도 3을 참조하면, 동영상 데이터는 복수개의 픽처들로 구성된다. 다중 참조 방식이란, 현재 픽처를 부호화하거나 복호화함에 있어서 과거 및/또는 미래 픽처 중 복수개의 픽처를 참조하는 방식을 말한다. 일 예로, 화살표는 부호화/복호화시 필요한 픽처들, 즉 참조를 위한 종속 관계를 보여준다. 현재 픽처는 참조 인덱스 리스트가 가리키는 복수개의 픽처 중 다수의 픽처를 참조함을 알 수 있다.
도 4는 본 발명에 따른 참조 픽처 결정 및 그 움직임 보상을 위한 단위가 되는 블럭들을 보여주는 참고도이다.
도 4를 참조하면, 픽처는 복수개의 블록들로 구성된다. 블록은 본 실시예에 따른 16×16 매크로 블록(MB)은 물론, 매크로 블록을 수평 방향으로 이분할하여 얻어진 서브 블록(sub_MB)인 16×8 블록, 매크로 블록을 수직 방향으로 이분할하여 얻어진 서브 블록인 8×16 블록, 매크로 블록을 수평 및 수직 방향으로 각각 이분할하여 얻어진 서브 블록인 8×8 블록, 이를 다시 수평 또는 수직 방향으로 이분할하여 얻어진 서브 블록인 8×4 블록 또는 4×8 블록, 수평 및 수직 방향으로 각각 이분할하여 얻어진 서브 블록인 4×4 블록을 포함한다.
도 5는 도 1의 부호화 장치에서 수행되는 참조 픽처의 결정 및 도 2의 복호화 장치에서 사용되는 참조 픽처의 결정을 개략적으로 설명하기 위한 참고도이다.
도 5를 참조하면, 본 발명에 따른 참조 픽처의 결정은 복수개의 픽처 중 어느 하나를 참조 픽처로 결정하는 다중 참조 방식을 기반으로 하며, 특히 참조 픽처를 결정함에 있어서 각 픽처에 대응하도록 마련된 태그 정보를 참조한다. 태그 정보란 참조 픽처를 결정하기 위해 유용한 정보를 의미한다. 태그 정보를 참조함으로써 참조 인덱스 리스트가 가리키는 복수개의 픽처 모두에 대해 움직임 예측을 수행해보지 않고서도 적합한 참조 픽처를 찾아낼 수 있게 된다.
태그 정보를 사용하는 이유는 다음에 근거한다.
완만한 움직임이 나타나는 대부분의 비디오 시퀀스(video sequence)들에서는 디스플레이 순서로 보았을 때 시간 축 상에서 최근에 존재하는 픽처(most recent picture prior to the current one on the time axis in display order)가 가장 적합한 참조 픽처가 된다. 비디오 시퀀스란 물리적 또는 논리적으로 구분되는 동영상 데이터 단위를 말한다. 그러나, 현재 픽처와 최근 픽처 사이에 1) 큰 움직임이 있거나 2) 현재 픽처에 글로벌 채인지가 존재하는 경우 최근 픽처는 현재 픽처의 참조 픽처로 적합하지 않다. 1) 큰 움직임이 있는 경우란 예를 들어 물체나 사람과 같은 픽처 엘리먼트의 매우 급격한 동작이 존재하거나, 그 모양이 급격히 변화하거나, 갑작스러운 픽처 엘리먼트의 출현 또는 사라짐이 존재하는 경우를 말한다. 2) 글로벌 채인지란 현재 픽처의 내용(content)이나 모습이 전체적으로 크게 바뀌는 경우를 말한다. 장면이 전환되는 씬 채인지(scene change), 밝기가 변경되는 밝기 채인지(illumination change), 색상이 변경되는 컬러 채인지(color change), 패이딩(fading) 등이 있다. 다중 참조 방식의 유용성은 1) 또는 2)의 경우에 보다 확실히 나타난다.
종래 참조 픽처를 결정하고 관리하는 과정이나 움직임 예측을 수행하는 과정에서 참조 픽처를 결정함에 있어 유용하게 쓰일 수 있는 다양한 종류의 정보들이 생성되나 그와 같은 정보들은 참조 픽처를 결정하거나 관리하는 과정에 쓰이지 않고 버려졌었다. 따라서, 본 발명에서는 이와 같은 정보를 태그 정보로서 저장해두고 이들을 참조하여 참조 픽처를 결정함으로써, 참조 인덱스 리스트가 가리키는 복수개의 픽처에 대해 모두 움직임 예측을 수행해보지 않고서도 적합한 픽처를 참조 픽처로 선택할 수 있게 되므로 부호화 장치에서 계산량과 처리시간이 줄어들며 복호화 장치에 추가 부담을 주지 않는다.
도 6은 본 발명의 바람직한 실시예에 따른 참조 인덱스 리스트의 데이터 구조를 보여준다.
도 6을 참조하면, 참조 인덱스 리스트는 도 1의 부호화 장치의 메모리부(400) 또는 도 2의 복호화 장치의 메모리부(410)에 저장되는 것으로, 복수개의 픽처 식별자와 복수개의 태그 정보를 포함한다. 픽처 식별자와 태그 정보는 서로 대응되도록 마련된다. 픽처 식별자는 각각 대응하는 픽처를 가리킨다. 태그 정보는 대응하는 픽처 식별자가 가리키는 픽처의, 디스플레이 순서로 보았을 때 시간 축 상에서 그 다음에 존재하는 픽처에 대한 변화, 다시 말해, 태그 정보가 덧붙여지는 시점에서 현재 픽처에 대한 그 픽처의 변화, 예를 들면 큰 움직임이 있음을 알려주거나 글로벌 채인지가 존재함을 알려준다.
본 실시예에서 참조 인덱스 리스트는 단기적으로 참조되는 단기 참조 인덱스(short-term index)와 장기적으로 참조되는 장기 참조 인덱스(long-term index)를 가진다. 단기 참조 인덱스와 장기 참조 인덱스의 구분은 참조 인덱스 리스트에 올라와 있는 기간, 즉 수명을 기준으로 구분된다. 본 실시예에서 태그 정보는 장기 참조 인덱스가 가리키는 픽처에만 덧붙여진다. 장기 참조 인덱스가 가리킬 수 있는 픽처의 갯수 및 단기 참조 인덱스가 가리킬 수 있는 픽처의 갯수는 미리 결정된다. 장기 참조 인덱스와 단기 참조 인덱스의 보다 구체적인 의미는 H.264 표준에서 가리키는 그것과 동일하므로 상세한 설명은 생략한다.
도 7은 본 발명의 바람직한 실시예에 따른 태그 정보를 보여준다.
도 7을 참조하면, 본 실시예에 따른 태그 정보는 큰 움직임(big motion)이 있거나 글로벌 채인지(global change)를 알려준다. 큰 움직임의 예로는 물체나 사람과 같은 픽처 엘리먼트의 매우 급격한 동작(element abrupt motion), 픽처 엘리먼트의 갑작스런 출현(sudden entrance) 또는 갑작스런 사라짐(sudden exit), 화면 가려짐(occlusion) 등이 있다. 글로벌 채인지로는 장면이 전환되는 씬 채인지(scene change), 색상이 변경되는 컬러 채인지(color change), 밝기가 변경되는 밝기 채인지(illumination change), 패이딩(fading) 등이 있다.
본 실시예에서 참조 인덱스 리스트에 픽처가 추가되는 방식은 다음과 같다.
현재 픽처의 첫번째 참조 픽처로 사용된 최근 픽처는, 현재 픽처의 움직임 예측이 완료된 후, 다음과 같이 그 거취가 결정된다. 만약, 최근 픽처가 현재 픽처를 구성하는 다수의 블럭에 대한 참조 픽처로 사용되었다면 참조 인덱스 리스트에, 즉 단기 참조 인덱스에 추가된다. 추가된 최근 픽처는 미리 결정된 단기 수명 기간 동안 참조 인덱스 리스트에 남아 있게 된다. 만약, 최근 픽처가 현재 픽처의 다수의 블럭에서 참조 픽처로 사용되지 않은 경우, 그 최근 픽처에 태그 정보가 지정될 수 있는지 여부를 판단하여 지정될 수 있다고 판단되면 태그 정보를 덧붙인다. 본 실시예에서는 현재 픽처에 대해 최근 픽처에 큰 움직임이나 글로벌 채인지가 존재하는지 여부를 검사하여 큰 움직임이나 글로벌 채인지가 존재하면 이를 알리는 태그 정보를 덧붙인다. 태그 정보가 덧붙여진 최근 픽처는 참조 인덱스 리스트의 장기 참조 인덱스에 추가된다. 태그 정보가 할당되지 않으면 최근 픽처는 참조 인덱스 리스트에 추가되지 않고 버려진다. 참조 인덱스 리스트에 픽처가 추가되는 방식은 이와 같은 방식 이외에도 다양하게 결정될 수 있다.
본 실시예에서 참조 인덱스 리스트로부터 픽처가 제거되는 방식은 다음과 같다.
최근 픽처를 참조 픽처로 사용하는 다수의 블럭을 갖는 픽처가 참조 인덱스 리스트에 추가되면 최근 픽처는 제거된다. 또한, 참조 인덱스 리스트에 존재하는 픽처의 갯수가 미리 결정된 수를 초과하면 소정 기준에 따라 먼저 제거할 픽처를 선정한다. 예를 들면, 1) 시간 축 상에서 가장 먼 픽처부터 제거하거나, 2) 참조된 횟수가 가장 적은 픽처부터 제거하거나, 3) 참조된 시기가 가장 오래된 픽처부터 제거하거나, 4) 태그 정보를 기초로 선택된 소정 픽처부터 제거하거나(씬 채인지를 가진 픽처는 오래 남겨두거나), 1), 2), 3) 및 4) 중 복수개가 우선순위를 가지고 중복 적용될 수 있다. 참조 인덱스 리스트로부터 픽처를 제거하는 방식 또한 이와 같은 방식 이외에도 다양하게 결정될 수 있다.
상기와 같은 구성을 바탕으로 본 발명의 바람직한 실시예에 따라 참조 픽처를 결정하는 방법을 설명하면 다음과 같다.
도 8은 본 발명의 일 실시예에 따라 참조 픽처를 결정하는 방법을 설명하기 위한 플로우챠트이다.
도 8을 참조하면, 먼저 현재 블럭을 기준으로 디스플레이 순서로 시간 축 상에서 최근에 존재하는 픽처를 사용하여 움직임 예측을 수행한다(801단계). 수행된 움직임 예측의 결과가 소정 기준에 만족되면(802단계), 최근 픽처를 현재 블럭의 참조 픽처로 결정한다(803단계). 여기서, 움직임 예측의 수행 결과를 판단하는 기준은 다양하게 변경될 수 있다. 일 예로, 움직임 예측을 수행한 결과, 나머지 오차(residue error)가 소정 임계값 이하이면 최근 픽처를 참조 픽처로 결정한다. 실제로, 현재 픽처가 완만한 움직임이 나타나는 비디오 시퀀스를 구성하는 픽처인 경우 최근 픽처를 사용한 움직임 예측 결과가 각 블럭마다 만족스럽게, 예를 들면 나머지 오차가 소정 임계값 이하로 나타난다. 이와 같은 경우, 최근 픽처를 참조 픽처로 사용하여 움직임 예측을 진행한다.
그러나, 수행된 움직임 예측의 결과가 소정 기준에 미치지 못하면(802단계), 예를 들어 나머지 오차가 소정 임계값 이상이면, 참조 인덱스 리스트에 존재하는 다른 픽처들을 사용하여 참조 픽처를 결정한다(804단계). 참조 인덱스 리스트에 존재하는 복수개의 다른 픽처를 사용하여 참조 픽처를 결정하는 방법은 다양하게 존재한다.
도 9는 도 8의 804단계의 실시예를 설명하기 위한 플로우챠트이다.
도 9를 참조하면, 먼저, 픽처 또는 슬라이스를 구성하는 일부 블럭에 대해 참조 인덱스 리스트 내의 모든 픽처를 각각 한 번씩 사용하여 움직임 예측을 수행한다(901단계). 슬라이스는 시작 코드를 갖는 일련의 데이터 열 중의 최소 단위로 복수개의 매크로 블록으로 구성된다. 통상 하나의 픽처에는 복수개의 슬라이스가 들어있다. 일부 블럭은 다양하게 선택될 수 있다. 본 예에서 픽처 또는 슬라이스의 앞부분에 소정 갯수의 블럭들이 선택된다. 다음으로, 수행된 움직임 예측의 결과를 바탕으로 가장 좋은 결과를 보여주는 픽처를 참조 픽처로 결정한다(902단계). 예를 들면, 나머지 오차가 가장 적은 픽처를 선택하거나 압축율이 가장 좋은 픽처를 참조 픽처로 선택한다. 다음으로, 선택된 참조 픽처들을 모니터링하여(903단계) 참조 인덱스 리스트에 존재하는 복수개의 픽처에 대해 우선권을 부여한다(904단계). 가령, 픽처/슬라이스의 일부 블럭, 즉 앞부분에 위치하는 블럭들의 참조 픽처의 다수가 태그 정보로서 씬 채인지를 가지고 있는 것이 관찰되면, 씬 채인지(및 관련된 태그 정보인 글로벌 채인지)를 가진 픽처에 우선권이 부여된다. 씬 채인지를 가진 픽처와 나머지 글로벌 채인지를 가진 픽처에는 각각 차등적으로 우선권을 부여할 수 있다. 다른 예로, 일부 블럭에서 한번이라도 선택된 픽처에 우선권을 부여할 수도 있다. 선택된 횟수에 따라 차등적으로 우선권이 부여될 수도 있다. 우선권을 부여함으로써 참조 인덱스 리스트에 존재하는 복수개의 픽처가 순서가 매겨진다. 동일한 우선권이 부여된 참조 픽처에 대해서는 디스플레이 순서에 있어서 시간 축 상의 최근 픽처가 더 높은 우선권을 가지는 것으로 보아 순서를 매길 수 있다. 우선권은 참조 인덱스 리스트의 일부 픽처에만 주어진다. 우선권을 부여하기 위해 각 태그 정보들의 관계를 정의하고 그 순위를 정해둘 수 있다.
우선권이 부여된 픽처가 복수개 존재하면(905단계), 픽처/슬라이스를 구성하는 다른 일부 블럭에 대해, 우선권이 부여된 픽처를 먼저 사용하여 움직임 예측을 수행한다(905단계). 동일한 우선권이 부여된 픽처가 복수개 존재하면 최근 픽처부터 움직임 예측을 수행한다. 수행된 움직임 예측 결과를 바탕으로 소정 기준에 맞는 픽처가 발견되면 그 픽처를 참조 픽처로 결정한다(906단계). 일 예로, 나머지 오차가 소정 임계값 이하이거나 압축율이 소정 임계값 이하인 픽처가 발견되면 그 픽처를 참조 픽처로 결정한다. 소정 기준에 맞는 픽처가 발견되면 나머지 픽처에 대해서는 물론 우선권이 부여된 픽처에 대해서도 움직임 예측을 수행할 필요가 없어진다.
한편, 우선권이 부여된 픽처 모두에 대해 반드시 움직임 예측을 수행할 필요가 있는 것은 아니다. 우선권이 부여된 픽처의 일부에 대해서만 움직임 예측을 수행해보고 그 중 소정 기준에 가장 근접한 픽처를 참조 픽처로 선택할 수 있다. 고화질보다는 고속처리가 우선시되는 경우를 예로 들 수 있다. 우선권이 부여되지 않은 픽처에 대해 움직임 예측을 수행할지 여부 또한 선택적이다. 가령, 소정 기준에 맞는 픽처를 발견하는 것이 가장 우선시되는 경우, 그와 같은 픽처가 우선권이 부여된 픽처에서 발견되지 않으면 나머지 픽처에 대해서도 움직임 예측을 수행한 다음 그 기준에 가장 가까운 픽처를 참조 픽처로 결정할 수 있다. 우선권이 부여된 픽처를 모두 사용하여 움직임 예측을 수행하였음에도 불구하고 소정 기준을 만족하는 픽처가 발견되지 않는 경우 나머지 픽처에 대해서 더 이상 움직임 예측을 수행하지 않고 우선권이 부여된 픽처 중 기준에 가장 근접한 픽처를 참조 픽처로 결정하는 것도 가능하다.
우선권이 부여된 픽처가 한 개이면(905단계), 다른 일부 블럭에 대해 움직임 예측을 수행하지 않고 곧바로 그 픽처를 참조 픽처로 결정하도록 한다(908단계). 여기서, 다른 일부 블럭이란 현재 픽처를 구성하고 901 단계에서 참조 픽처가 결정되지 않은 블럭을 의미한다.
가령, 모니터링 결과(903단계), 다수의 블럭들이 하나의 참조 픽처만을 선택하고 있음이 드러나면 그 픽처에만 우선권을 부여한 다음(904단계), 다른 일부 블럭에 대해 움직임 예측을 수행하지 않고 곧바로 그 픽처를 참조 픽처로 결정하도록 한다(908단계). 다수란 예를 들어 100%, 80%, 50% 등을 말한다. 나아가, 904단계에서 그 참조 픽처가 소정 태그 정보, 예를 들면 글로벌 채인지를 나타내는 태그 정보를 가지고 있어야 하는 조건을 추가하고 추가된 조건을 만족시키는 태그 정보가 덧붙여져 있는 경우에 한 해 그 픽처 하나에만 우선권을 부여할 수 있다.
한편, 도 1의 부호화 장치는 위와 같이 결정된 참조 픽처를 사용하여 움직임 벡터를 산출하는 움직임 예측을 수행하고, 산출된 움직임 벡터와 위와 같이 결정된 참조 픽처를 사용하여 움직임 보상을 수행한다. 즉, 도 1의 움직임 예측부(600)는 위와 같인 결정된 참조 픽처를 사용하여 움직임 벡터를 산출하고, 및 움직임 보상부(500)는 산출된 움직임 벡터와 위와 같이 결정된 참조 픽처를 사용하여 움직임 보상을 수행한다.
나아가, 도 2의 복호화 장치는 위와 같이 결정된 참조 픽처와, 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행한다. 즉, 도 2의 움직임 보상부(510)는 움직임 벡터와 위와 같이 결정된 참조 픽처를 사용하여 움직임 보상을 수행한다.
한편, 전술한 참조 픽처 결정 방법 및 이를 바탕으로 한 움직임 보상 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 참조 픽처 결정 방법 및 그 움직임 보상 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.
전술한 바와 같이 본 발명에 따르면, 압축 효율이 양호하면서도 부호화 및 복호화시 계산의 복잡성을 낮출 수 있다. 즉, 본 발명은 현재 블록의 움직임 예측을 수행할 때 참작해야 할 픽처의 갯수를 대폭 줄임으로써 낮은 계산량과 단축된 처리 시간 안에 효과적으로 참조 픽처를 선택하여 사용할 수 있다. 나아가, 본 발명에 따르면 현재 블럭의 움직임 예측을 수행할 때 더 좋은 결과를 얻을 수 있는 참조 인덱스 리스트를 구성할 수 있다. 다시 말해, 현재 처리 중인 비디오 시퀀스 안에서 참조 픽처로 선정되었을 때 보다 압축 효율을 높여 줄 수 있는 픽처들 중에서 참조 픽처를 결정할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 부호화 장치의 블럭도,
도 2는 본 발명의 바람직한 실시예에 따른 복호화 장치의 블록도,
도 3은 본 발명에 따른 다중 참조(Multiple reference) 방식을 설명하기 위한 참고도,
도 4는 본 발명에 따른 참조 픽처 결정 및 그 움직임 보상을 위한 단위가 되는 블럭들을 보여주는 참고도,
도 5는 도 1의 부호화 장치에서 수행되는 참조 픽처의 결정 및 도 2의 복호화 장치에서 사용되는 참조 픽처의 결정을 개략적으로 설명하기 위한 참고도,
도 6은 본 발명의 바람직한 실시예에 따른 참조 인덱스 리스트의 데이터 구조도,
도 7은 본 발명의 바람직한 실시예에 따른 태그 정보를 보여주는 참고도,
도 8은 본 발명의 일 실시예에 따라 참조 픽처를 결정하는 방법을 설명하기 위한 플로우챠트,
도 9는 도 8의 804단계의 실시예를 설명하기 위한 플로우챠트이다.

Claims (30)

  1. 현재 픽처를 구성하는 블럭의 참조 픽처를 결정하는 방법에 있어서,
    (a) 복수개의 픽처에 대해 각각 그 픽처를 기술하는 태그 정보를 마련하는 단계; 및
    (b) 상기 태그 정보를 참조하여 상기 복수개의 픽처 중 어느 하나를 상기 블럭의 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 (b)단계는
    (b1) 상기 태그 정보를 기초로 상기 픽처 중 적어도 하나에 우선권을 부여하는 단계;
    (b2) 우선권이 부여된 픽처를 먼저 사용하여 상기 블럭에 대한 움직임 예측을 수행하는 단계; 및
    (b3) 수행된 움직임 예측 결과, 소정 기준에 만족되는 픽처가 발견되면 그 픽처를 상기 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 (b1)단계는
    상기 현재 픽처를 구성하는 소정 갯수의 블럭에 대해 결정된 참조 픽처의 태그 정보를 모니터링하여, 다수를 차지하는 태그 정보와 동일하거나 관련된 태그 정보를 갖는 픽처에 우선권을 부여하는 단계를 포함하는 것을 특징으로 하는 방법.
  4. 제2항에 있어서
    상기 (b1)단계는
    상기 현재 픽처 또는 상기 현재 픽처를 구성하는 슬라이스의 소정 부분에 위치하는 블럭에 대해 결정된 참조 픽처를 모니터링하여, 다수를 차지하는 태그 정보와 동일하거나 관련된 태그 정보를 갖는 픽처에 우선권을 부여하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제2항에 있어서,
    상기 (b2)단계는
    동일한 우선권이 부여된 픽처가 복수개 존재하면 상기 현재 픽처를 기준으로 최근 픽처를 먼저 사용하여 움직임 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제2항에 있어서,
    상기 (b3)단계는
    나머지 오차가 소정 임계값 이하인 픽처가 발견되면 그 픽처를 상기 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 태그 정보는 대응하는 픽처에 현재 픽처에 대해 큰 움직임이 있음을 알려주거나 글로벌 채인지가 존재함을 알려주는 것을 특징으로 하는 방법.
  8. 참조 픽처를 결정하는 방법에 있어서,
    (a) 현재 픽처의 일부를 구성하는 블럭에 대해 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 결정하는 단계; 및
    (b) 결정된 참조 픽처를 모니터링하여 얻어진 결과를 바탕으로 상기 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 (a)단계는
    상기 현재 픽처 또는 상기 현재 픽처의 슬라이스의 앞부분에 위치하는 블럭에 대해 참조 픽처를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 제8항에 있어서,
    상기 (b)단계는
    다수를 차지하는 참조 픽처가 글로벌 채인지 또는 큰 움직임을 나타내는 태그 정보를 가지고 있으면 그 픽처를 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제8항에 있어서,
    상기 (b)단계는
    (b1) 상기 참조 인덱스 리스트가 가리키는 복수개의 픽처 중, 다수를 차지하는 참조 픽처의 태그 정보와 동일하거나 관련된 태그 정보를 갖는 픽처에 우선권을 부여하는 단계;
    (b2) 우선권이 부여된 픽처를 먼저 사용하여 움직임 예측을 수행하는 단계; 및
    (b3) 수행된 움직임 예측 결과를 바탕으로 참조 픽처를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 (b2)단계는
    동일한 우선권이 부여된 픽처가 복수개 존재하면 상기 현재 픽처를 기준으로 최근의 픽처를 먼저 사용하여 움직임 예측을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 (b3)단계는
    나머지 오차가 소정 임계값 이하인 픽처가 발견되면 그 픽처를 상기 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 현재 픽처를 구성하는 블럭에 대해 다중 참조 방식에 따라 참조 픽처를 결정하는 방법에 있어서,
    (a) 상기 현재 픽처를 기준으로 최근 픽처를 사용하여 움직임 예측을 수행하는 단계;
    (b) 수행된 움직임 예측 결과, 소정 기준값이 소정 임계값 이하이면 상기 최근 픽처를 참조 픽처로 결정하는 단계; 및
    (c) 수행된 움직임 예측 결과, 소정 기준값이 소정 임계값 초과이면 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 상기 참조 픽처를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 제14항에 있어서,
    상기 (c)단계는
    (c11) 상기 참조 인덱스 리스트가 가리키는 복수개의 픽처에 대해 움직임 예측을 수행하는 단계; 및
    (c12) 상기 (c11)단계에서 수행된 움직임 예측 결과에 따라 상기 참조 픽처를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 제15항에 있어서,
    상기 (c12)단계는
    나머지 오차가 소정 임계값 이하인 픽처가 발견되면 그 픽처를 상기 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  17. 제14항에 있어서,
    상기 (c)단계는
    (c21) 태그 정보를 기초로 상기 참조 인덱스 리스트에 포함된 복수개의 픽처 중 적어도 하나에 우선권을 부여하는 단계;
    (c22) 우선권이 부여된 픽처를 먼저 사용하여 상기 블럭에 대한 움직임 예측을 수행하는 단계; 및
    (c23) 수행된 움직임 예측 결과에 따라 상기 참조 픽처를 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 (c21)단계는
    상기 현재 픽처를 구성하는 소정 갯수의 블럭에 대해 결정된 참조 픽처의 태그 정보를 모니터링하여, 다수를 차지하는 태그 정보와 동일한 태그 정보를 갖는 픽처에 우선권을 부여하는 단계를 포함하는 것을 특징으로 하는 방법.
  19. 제17항에 있어서
    상기 (c21)단계는
    상기 현재 픽처 또는 상기 현재 픽처의 슬라이스의 소정 부분에 위치하는 블럭에 대해 결정된 참조 픽처를 모니터링하여, 다수를 차지하는 태그 정보와 동일한 태그 정보를 갖는 픽처에 우선권을 부여하는 단계를 포함하는 것을 특징으로 하는 방법.
  20. 제17항에 있어서,
    상기 (c23)단계는
    나머지 오차가 소정 임계값 이하인 픽처를 상기 참조 픽처로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
  21. 제14항에 있어서,
    상기 (c)단계는
    상기 참조 인덱스 리스트를 마련하는 단계를 포함하는 것을 특징으로 하는 방법.
  22. 제21항에 있어서,
    상기 참조 인덱스 리스트를 마련하는 단계는
    상기 최근 픽처는 상기 현재 픽처를 구성하는 다수의 블럭의 참조 픽처로 사용된 경우 상기 참조 인덱스 리스트에 포함시키는 단계;
    상기 최근 픽처가 상기 현재 픽처를 구성하는 다수의 블럭의 참조 픽처로 사용되지 않은 경우, 상기 최근 픽처를 위한 태그 정보가 할당되면 상기 최근 픽처를 상기 참조 인덱스 리스트에 포함시키는 단계; 및
    상기 최근 픽처가 상기 현재 픽처를 구성하는 다수의 블럭의 참조 픽처로 사용되지 않고 상기 최근 픽처를 위한 태그 정보가 할당되지 않으면 상기 최근 픽처는 상기 참조 인덱스 리스트에 포함시키지 않고 버리는 단계를 포함하는 것을 특징으로 하는 방법.
  23. 제22항에 있어서,
    상기 참조 인덱스 리스트를 마련하는 단계는
    상기 현재 픽처에 대해 큰 움직임이 존재하는 픽처임을 알리는 태그 정보를 가진 픽처를 상기 참조 인덱스 리스트에 포함시키는 단계; 및
    상기 현재 픽처에 대해 글로벌 채인지가 존재하는 픽처임을 알리는 태그 정보를 가진 픽처를 상기 참조 인덱스 리스트에 포함시키는 단계를 포함하는 것을 특징으로 하는 방법.
  24. 움직임 보상을 수행하는 방법에 있어서,
    (a) 현재 픽처의 일부를 구성하는 블럭에 대해 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 결정하고, 결정된 참조 픽처에 첨부된 태그 정보를 모니터링하여 얻어진 결과를 바탕으로 상기 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 결정하는 방식으로 얻어진 참조 픽처를 읽어들이는 단계; 및
    (b) 읽어들인 참조 픽처와 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  25. 제24항에 있어서,
    상기 (a)단계는
    다수를 차지하는 참조 픽처가 글로벌 채인지 또는 큰 움직임을 나타내는 태그 정보를 가지고 있으면 그 픽처를 참조 픽처로 결정하는 방식으로 얻어진 상기 참조 픽처를 읽어들이는 단계를 포함하는 것을 특징으로 하는 방법.
  26. 제24항에 있어서,
    상기 (a)단계는
    상기 참조 인덱스 리스트가 가리키는 복수개의 픽처 중, 다수를 차지하는 참조 픽처의 태그 정보와 동일하거나 관련된 태그 정보를 갖는 픽처에 우선권을 부여하고, 우선권이 부여된 픽처를 먼저 사용하여 움직임 예측을 수행한 다음, 수행된 움직임 예측 결과를 바탕으로 참조 픽처를 결정하는 방식으로 얻어진 상기 참조 픽처를 읽어들이는 단계를 포함하는 것을 특징으로 하는 방법.
  27. 동영상 데이터를 부호화하는 장치에 있어서,
    참조 인덱스 리스트 및 상기 참조 인덱스 리스트가 가리키는, 적어도 일부에는 태그 정보가 첨부되어 있는 복수개의 픽처를 저장하는 메모리부;
    현재 픽처의 일부를 구성하는 블럭에 대해 상기 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 결정하고, 결정된 참조 픽처에 첨부된 태그 정보를 모니터링하여 얻어진 결과를 바탕으로 상기 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 결정하며, 결정된 참조 픽처로부터 상기 블럭에 대한 움직임 벡터를 산출하는 움직임 예측부; 및
    상기 움직임 예측부에 의해 산출된 움직임 벡터와 대응하는 참조 픽처를 사용하여 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 장치.
  28. 제27항에 있어서,
    상기 움직임 예측부는
    상기 참조 인덱스 리스트가 가리키는 복수개의 픽처 중, 다수를 차지하는 참조 픽처의 태그 정보와 동일하거나 관련된 태그 정보를 갖는 픽처에 우선권을 부여하고, 우선권이 부여된 픽처를 먼저 사용하여 움직임 예측을 수행한 다음, 수행된 움직임 예측 결과를 바탕으로 참조 픽처를 결정하는 것을 특징으로 하는 장치.
  29. 부호화된 동영상 데이터가 담긴 비트스트림을 복호화하는 장치에 있어서,
    상기 동영상 데이터를 구성하는 현재 픽처의 일부를 구성하는 블럭에 대해 참조 인덱스 리스트가 가리키는 복수개의 픽처를 사용하여 움직임 예측을 수행한 다음 그 결과를 바탕으로 참조 픽처를 선택하고, 결정된 참조 픽처에 첨부된 태그 정보를 모니터링하여 얻어진 결과를 바탕으로 상기 현재 픽처의 다른 일부를 구성하는 블럭에 대해 참조 픽처를 선택하는 방식으로 결정된 참조 픽처를 저장하는 메모리부;
    상기 비트스트림으로부터 추출된 움직임 벡터를 복호화하는 움직임 벡터 복호화부; 및
    상기 메모리부로부터 읽어들인 참조 픽처와 상기 움직임 벡터 복호화부로부터 제공된 대응하는 움직임 벡터를 사용하여 움직임 보상을 수행하는 움직임 보상부를 포함하는 것을 특징으로 하는 장치.
  30. 제29항에 있어서,
    상기 메모리부는
    상기 참조 인덱스 리스트가 가리키는 복수개의 픽처 중, 다수를 차지하는 참조 픽처의 태그 정보와 동일하거나 관련된 태그 정보를 갖는 픽처에 우선권을 부여하고, 우선권이 부여된 픽처를 먼저 사용하여 움직임 예측을 수행한 다음, 수행된 움직임 예측 결과를 바탕으로 참조 픽처를 선택하는 방식으로 얻어진 상기 참조 픽처를 저장하는 것을 특징으로 하는 장치.
KR10-2003-0028038A 2003-05-01 2003-05-01 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치 KR100510138B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2003-0028038A KR100510138B1 (ko) 2003-05-01 2003-05-01 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
US10/828,417 US7646811B2 (en) 2003-05-01 2004-04-21 Method of determining reference picture, method of compensating for motion and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0028038A KR100510138B1 (ko) 2003-05-01 2003-05-01 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20040094097A KR20040094097A (ko) 2004-11-09
KR100510138B1 true KR100510138B1 (ko) 2005-08-26

Family

ID=33308381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0028038A KR100510138B1 (ko) 2003-05-01 2003-05-01 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치

Country Status (2)

Country Link
US (1) US7646811B2 (ko)
KR (1) KR100510138B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4166781B2 (ja) * 2005-12-09 2008-10-15 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
US9137537B2 (en) * 2006-02-01 2015-09-15 Flextronics Ap, Llc Dynamic reference frame decision method and system
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
KR101366242B1 (ko) * 2007-03-29 2014-02-20 삼성전자주식회사 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치
WO2011120221A1 (en) * 2010-03-31 2011-10-06 Intel Corporation Power efficient motion estimation techniques for video encoding
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9491483B2 (en) * 2010-04-16 2016-11-08 Sk Telecom Co., Ltd. Inter-prediction method and video encoding/decoding method using the inter-prediction method
US9014271B2 (en) * 2010-07-12 2015-04-21 Texas Instruments Incorporated Method and apparatus for region-based weighted prediction with improved global brightness detection
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
WO2013048324A1 (en) 2011-09-29 2013-04-04 Telefonaktiebolaget L M Ericsson (Publ) Reference picture list handling
CN110992283A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
US5963670A (en) * 1996-02-12 1999-10-05 Massachusetts Institute Of Technology Method and apparatus for classifying and identifying images
JP3671286B2 (ja) 1997-06-20 2005-07-13 松下電器産業株式会社 画像処理方法，画像処理装置，及びデータ記憶媒体
JPH11317961A (ja) 1998-03-05 1999-11-16 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置，画像符号化方法及び画像復号化方法，並びにデ―タ記憶媒体
US6414665B2 (en) * 1998-11-04 2002-07-02 International Business Machines Corporation Multiplexing pixel circuits
EP1104197A3 (en) 1999-11-23 2003-06-04 Texas Instruments Incorporated Motion compensation
US7469010B2 (en) * 2001-01-08 2008-12-23 Canon Kabushiki Kaisha Extracting key frames from a video sequence
US6782052B2 (en) 2001-03-16 2004-08-24 Sharp Laboratories Of America, Inc. Reference frame prediction and block mode prediction for fast motion searching in advanced video coding
BR0303361A (pt) * 2002-03-08 2004-03-30 Koninkl Philips Electronics Nv Método e dispositivos para fornecer informações para obter melhor qualidade de imagem percebida de um fluxo de dados de vìdeo transmitido e para processar um fluxo de dados de vìdeo, formato de sinal para uso na transmissão de um fluxo de dados de vìdeo e meio de armazenamento

Also Published As

Publication number Publication date
US7646811B2 (en) 2010-01-12
KR20040094097A (ko) 2004-11-09
US20040218676A1 (en) 2004-11-04

Similar Documents

Publication Publication Date Title
RU2708440C1 (ru) Устройство и способ кодирования изображения, устройство и способ декодирования изображения и носители данных
RU2701455C2 (ru) Кодирование и декодирование видео
US7447371B2 (en) Method and apparatus for encoding and decoding motion vectors
RU2571572C2 (ru) Кодирование и декодирование видео
KR100786132B1 (ko) 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법
CN101518089B (zh) 编/解码方法、编/解码器及寻找最佳匹配块的方法及装置
KR20150067157A (ko) 참조 화상 리스트 변경 정보를 조건부로 시그널링하는 기법
US20050276331A1 (en) Method and apparatus for estimating motion
EP1383339A1 (en) Memory management method for video sequence motion estimation and compensation
KR20120017407A (ko) 영상 부호화/복호화 장치 및 방법, 및 참조픽처 인덱싱 장치 및 방법
KR100510138B1 (ko) 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
JP3940657B2 (ja) 動画像符号化方法と装置及び動画像復号化方法と装置
KR100510136B1 (ko) 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
KR20140044775A (ko) 디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법
KR20050041293A (ko) 움직임 예측 장치 및 방법
JP2000261809A (ja) 画像特徴に応じた画像符号化装置
KR101841352B1 (ko) 참조 프레임 선택 방법 및 그 장치
JP2003125408A (ja) 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JPWO2019017327A1 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが格納された記録媒体
GB2495501A (en) Image decoding method based on information predictor index

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee