KR20060132962A - 비디오 데이터를 위한 동작 판단 및 분할 - Google Patents

Abstract

인코더에 있어서, 오프셋 처리부(307)는 기준 프레임에서 화상요소를 위한 부화소 오프셋(sub-pixel offset)을 갖는 화상요소를 발생시킨다. 캔 처리부(309)는 매칭 화상요소를 발견하기 위한 프레임을 검출하고 선택 처리부(311)는 최근접 매칭을 야기하는 오프셋 화상요소를 선택한다. 첫 번째 프레임은 선택된 화상요소와 관련하여 인코딩되며, 선택된 오프셋 화상요소를 가리키는 부화소 데이터 및 첫 번째 화상요소와 매칭 화상요소 사이에 정수형 화상 오프셋을 가리키는 정수형 화소 변위 데이터를 포함하는 변위 데이터가 비디오 데이터에 포함된다. 비디오 인코더는 기준 프레임으로부터 첫 번째 화상요소를 추출하고 기준 프레임에서 보간(interpolation)에 의해 부화소 정보에 응답하여 오프셋 화상요소를 발생시킨다. 예측된 프레임은 정수형 화소 정보에 응답하여 오프셋 프레임을 쉬프팅함으로써 디코딩된다. 본 발명은 부화소 정확도(sub-pixel accuracy)를 갖는 모션 보상 및 쉬프트 모션 판단법으로 인코딩을 가능하게 한다.

비디오, 인코더, 디코더, 모션판별, 분할

Description

비디오 데이터를 위한 동작 판단 및 분할{MOTION ESTIMATION AND SEGMENTATION FOR VIDEO DATA}

본 발명은 비디오의 인코딩 및 디코딩 시스템에 대한 것으로서, 더 상세하게는 보상 판단을 사용하는 비디오 인코더 및 디코더에 관한 것이다.

최근 디지털 저장매체의 사용과 비디오 신호의 배포가 점차적으로 확산되고 있다. 디지털 비디오 신호를 전송하기 위해 요구되는 대역폭을 감소시키기 위해, 디지털 비디오 신호의 데이터율이 지속적으로 감소될 수 있는 비디오 데이터 압축을 포함하는 효율적인 디지털 비디오 인코딩을 사용하는 것은 잘 알려져 있다.

호환성(interoperability)을 보장하기 위해, 비디오 인코딩 표준이 많은 전문 및 주문형 어플리케이션(professional and consumer application)에서 디지털 비디오의 채용을 촉진하는데 핵심적인 역할을 하고 있다. 가장 영향력있는 표준은 전통적으로 ITU-T(International Telecommunication Union) 또는 ISO/IEC(International Organization for Standardization/The International Electrotechnical Committee)의 MPEG(Motion Pictures Exerts Group)위원회에 채택 된다. 권고안으로 알려진 ITU-T표준은 일반적으로 실시간 통신(예를 들면 화상회의)에 목적이 있다. 이와 달리, 대부분의 MPEG 표준은 저장매체(예를 들면 DVD)와 브로드캐스트[예를 들면 DVB(Digital Video Broadcast)표준]을 위하여 활용된다.

현재 가장 널리 사용되는 비디오 압축 기술 중의 하나는 MPEG-2(Motion Picture Expert Group)표준으로 알려져 있다. MPEG-2는 프레임이 8개의 수직화소와 8개의 수평화소로 각각 구성되는 복수의 블록으로 분할되는 블록 기반 압축스킴(compression scheme)이다. 휘도 데이터의 압축에 대해, 각 블록은 상당한 개수의 변환된 데이터 값을 0으로 감축시키는 양자화에 뒤따르는 이산 코사인 변환(DCT:Discrete Cosine Transform)을 사용하여 개별적으로 압축된다. 오로지 인트라-프레임 압축에 기반한 프레임은 인트라 프레임(I-프레임)으로 알려져 있다.

인트라-프레임 압축에 더하여, MPEG-2는 데이터 전송율을 상당히 감소시키기 위해 중간-프레임(inter-frame) 압축을 사용한다. 중간-프레임 압축은 이전 I-프레임에 기반한 예측된 프레임(P-프레임:Predicted frame)의 발생을 포함한다. 덧붙여, I와 P프레임은 일반적으로 양방향 예측된 프레임(B-프레임:Bidirectional predicted frame)에 의해 삽입되며, 압축은 B-프레임과 주변의 I- 및 P-프레임 사이의 차이를 단지 전송함으로써 달성된다. 덧붙여, MPEG-2는 모션판별을 사용하며, 여기서 상이한 위치의 후속 프레임에서 발견된 한 프레임의 매크로-블럭에 대한 이미지는 모션벡터의 사용에 의해 단순히 전달된다. 모션판별 데이터는 일반적으로 모션판별의 과정동안 사용되는 데이터를 말한다. 모션판별은 모션보상 또는 등가적으로 중간 예측(inter prediction)의 처리를 위한 파라메타를 결정하기 위해 실행 된다.

이들 압축기술의 결과, 표준 TV 스튜디오 방송 품질레벨의 비디오 신호는 약 2-4 Mbps의 데이터 전송률로 전송될 수 있다.

최근 H.26L로 알려진 신규 ITU-T 표준이 소개되었다. 이 H.26L은 MPEG-2와 같은 기존 표준에 비교하여 더 우수한 코딩 효율성으로 폭 넓게 인식되고 있는 중이다. 비록 H.26L의 이득(gain)이 화상크기와 비례하여 일반적으로 감소될 지라도, 다양한 응용범위에서의 채택에 대한 잠재성은 의심할 여지가 없다. 이러한 잠재성은 JVT(Joint Video Team)포럼 조직을 통하여 인식되고 있다. 즉 이 포럼은 신규 연합 ITU-T/MPEG표준으로써 H.26L을 최종적으로 승인할 책임이 있다. 신규 표준은 H.264 또는 MPEG-4 AVC(Advanced Video Coding)로 알려져 있다. 더욱이, H.264 기반 솔루션이 DVB, DVD 포럼같은 다른 표준기관에서 고려되고 있다.

H.264/AVC표준은 MPEG-2로써 블록기반 모션 판별(동작 판단)의 유사한 원리를 사용한다. 그러나 H.264/AVC는 파라메타를 인코딩하는데 훨씬 많은 선택기회를 허용한다. 예를 들면, 16ｘ16 매크로-블럭의 더 정교한 분할 및 조각을 허용한다. 즉 예를 들면 모션보상 처리과정이 사이즈에 있어서 4ｘ4만큼 작은 매크로-블럭의 나누기로 실행될 수 있다. 더 효율적인 확장인 다른 처리과정은 매크로-블럭의 예측에 대하여 가변 블록 크기를 사용할 수 있다는 점이다. 따라서 매크로-블럭(아직은 16ｘ16화소)은 더 작은 다수의 블록으로 분할될 수 있으며, 이를 부-블럭(sub-block)의 각각은 별개로 예측될 수 있다. 그러므로 상이한 부-블럭은 상이한 모션벡터를 가질 수 있으며 상이한 기준화상으로부터 구해질 수 있다. 또한, 샘플 블록 의 모션보상예측을 위한 선택과정은 단지 근접한 프레임(즉 이미지) 대신에 다수의 저장되고 이전에 디코딩된 프레임(즉 이미지)을 수반할 수 있다. 또한, 모션보상에 뒤따라 발생하는 예측에러는 전통적인 8ｘ8 크기 대신에 4ｘ4 블록크기에 기반하여 변환되고 양자화될 수 있다.

일반적으로, MPEG-2와 H.264/AVC와 같은 기존의 인코딩 표준은 도 1에 예시된 페치 모션 예측(fetch motion prediction)기술을 사용한다. 페치 모션 예측기술에 있어서, 인코딩할 프레임의 첫 번째 블록(예측된 프레임)은 기준프레임으로부터 스캔닝되고 기준프레임의 블록과 비교된다. 이 첫 번째 블록과 기준프레임의 블록사이에서의 차이가 결정되고, 만일 소정의 판단기준(criterion)이 기준 프레임 블록 중 하나를 충족한다면, 이는 예측 프레임에서의 모션보상에 대한 근거로써 사용된다. 특히, 기준 프레임 블록은 예측된 프레임 블록으로부터 감산되며, 여기서 단지 위 발생한 차이만 인코딩된다. 덧붙여, 예측 프레임 블록으로부터 기준 프레임을 가리키는 모션 판단 벡터가 발생하고 인코딩된 데이터 스트림에 포함되게 된다. 결과적으로 처리과정은 예측된 프레임에 있는 모든 블록에 대하여 반복된다. 따라서 예측된 프레임의 각 블록에 대하여, 기준프레임은 적합한 매칭을 위하여 스캐닝된다. 만일 하나의 적합한 매칭이 발견된다면, 모션벡터가 발생하고 이 예측된 프레임 블록에 첨부된다.

대안적인 모션 판단 기술은 보상 판단로 알려져 있으며, 도 2에 예시된다. 보상 판단 기술에 있어서, 한 블록의 기준프레임은 인코딩될 프레임(예측된 프레임)에 걸쳐 스캐닝되고 이 프레임의 블록에 비교된다. 이 블록과 예측된 프레임의 블록 사이에서의 차이가 결정되고, 만일 소정의 판단기준이 예측된 프레임 블록 중 하나에 충족된다면, 기준 프레임 블록이 예측된 프레임내의 그 블록의 모션보상을 위한 근거로써 사용된다. 특히, 기준 프레임 블록은 예측된 프레임 블록으로부터 감산되며, 여기서 단지 위 발생한 차이만 인코딩된다. 덧붙여, 기준 프레임 블록으로부터 예측된 프레임 블록을 가리키는 모션 판단 벡터가 발생하고, 인코딩된 데이터 스트림에 포함되게 된다. 결과적으로 처리과정은 기준 프레임내에 있는 모든 블록에 대하여 반복된다. 따라서 기준 프레임의 각 블록에 대하여 예측된 프레임은 적합한 매칭을 위하여 스캔닝된다. 만일 하나의 적합한 매칭이 발견된다면, 모션벡터가 발생하고 기준 프레임 블록에 첨부되게 된다.

따라서 도 1과 도 2에 예시된 바와 같이, 페치 모션 판단기술에 있어서, 예측된 프레임의 블록은 기준 프레임과 결과적으로 비교되고, 만일 적합한 매칭이 발견되면 모션벡터가 예측된 프레임에 첨부된다. 반면에 보상 판단기술에 있어서는, 기준 프레임의 블록은 예측된 프레임과 결과적으로 비교되고, 만일 적합한 매칭이 발견되면 모션벡터가 기준 프레임 블록에 첨부된다.

보상 판단방식이 상당한 문제점을 가지고 있으므로, 페치 모션 판단기술이 보상 판단방식에 비해 일반적으로 선호된다. 특히, 보상 판단방식은 예측된 프레임의 모든 블록을 시스템적으로 처리하지 못하므로, 결국 모션 판단 영역사이에서의 겹침과 갭을 야기하게 된다. 이는 결국 데이터 전송율 대비(對比) 감소된 품질로 이어지는 경향이 있다.

그러나 어떤 어플리케이션의 경우에는 보상 판단방식을 사용하는 것이 바람 직하며, 특히 예측가능한 모션 판단 블록의 구조가 현재의 보상 판단방식이 아닌 어플리케이션의 경우에 선호된다.

따라서 비디오 인코딩 및 디코딩을 위한 개량된 시스템이 이점을 가지게 된다. 특히 보상 판단의 사용을 가능하게 하거나 돕는 시스템에 있어서, 데이터 전송율 대비(對比) 품질의 향상 및/또는 복잡도의 감소는 이점을 가진다.

따라서 바람직하게는 본 발명은 하나 이상의 상술된 단일 또는 조합의 단점을 완화, 경감 또는 제거하는데 그 목적을 두고 있다.

본 발명의 일양태에 따르면, 본 발명은 비디오 데이터를 발생시키기 위한 비디오 신호를 인코딩하는 비디오 인코더를 제공한다. 상기 비디오 인코더는, 기준 프레임내에 있는 적어도 첫 번째 화상요소에 대하여, 상이한 부화소의 오프셋을 갖는 복수의 오프셋 화상요소를 발생시키는 발생수단과; 각기의 상기 복수의 오프셋 화상요소에 대하여, 매칭 화상요소를 찾기 위해 첫 번째 프레임을 검출(search)하는 검출(searching)수단과; 상기 복수의 오프셋 화상요소의 첫 번째 오프셋 화상요소를 선택하는 선택수단과; 상기 첫 번째 화상요소에 대하여 변위 데이터를 발생하는 변위 데이터 발생수단으로서, 상기 변위 데이터는 상기 첫 번째 화상요소와 상기 매칭 화상요소사이에서 상기 첫 번째 오프셋 화상요소를 가리키는 부화소 변위 데이터 및 정수형 화소 오프셋을 가리키는 정수형 화소 변위 데이터를 포함하는, 상기 첫 번째 화상요소에 대하여 변위 데이터를 발생하는 변위 데이터 발생수단과; 상기 선택된 오프셋 화상요소에 관계되는 상기 매칭 화상요소를 인코딩하는 인코딩수단; 및 상기 비디오 데이터에서 상기 변위 데이터를 포함시키는 포함수단을 포함한다.

첫 번째 화상요소는 어느 적합한 그룹 또는 세트의 화소가 될 수 있으나, 바람직하게는 인접한 화소영역이 된다. 본 발명은 화상요소의 부화소 변위를 위한 수단을 제공한다. 정수와 부정수 변위 데이터를 분리함으로써, 개선된 인코딩 성능이 달성될 수 있다. 더욱이, 본 발명은 부화소 변위 데이터의 실제적이고도 고성능의 결정을 위해 제공할 수 있다. 변위 데이터는 기준 프레임의 첫 번째 화상요소로 된다. 이에 의하여 미리 결정될 두 번째 화상요소 또는 인코딩될 첫 번째 프레임을 요할 필요없이 첫 번째 프레임 내에서 매칭 화상요소를 위해 사용될 수 있는 변위 데이터를 제공한다. 따라서 화상요소의 전진(feed forward) 변위가 가능하거나 촉진된다.

바람직하게는, 선택수단은 각기의 상기 복수의 오프셋 화상요소와 상기 매칭 화상요소 사이에서의 차이 파라메터(difference parameter)를 결정하는 수단과, 상기 최소 차이 파라메터를 가지는 오프셋 화상요소로서 상기 첫 번째 오프셋 화상요소를 선택하는 수단을 포함한다.

예를 들면, 오프셋 화상요소와 매칭 화상요소간 화소차이의 평균 제곱의 합에 상응하는 차이 파라메타가 결정될 수 있다. 첫 번째 오프셋 화상요소는 최소 평균 제곱의 합을 가지는 차이 파라메타로써 선택될 수 있다. 이는 매칭 화상요소를 결정하는 단순하지만 효과적인 수단을 제공한다.

바람직하게는, 비디오 인코더는 상기 기준 프레임의 이미지 분할에 의해 상기 첫 번째 화상요소를 발생하는 수단을 더 포함한다. 이는 적합한 화상요소를 결정하는 적절한 방법을 제공한다. 따라서, 본 발명은 세그먼트가 변위되는 첫 번째 프레임내에서의 세그먼트 위치에 대한 지식을 요할 필요없이 세그먼트의 변위를 위해 사용될 수 있는 프레임간 세그먼트의 변위를 위한 부화소의 정확성을 발생시키는 낮은 복잡도와 고성능 수단을 제공한다.

바람직하게는, 비디오 인코더는 비디오 데이터내에서 세그먼트 차원 데이터(segment dimension data)를 포함하지 않도록 구성된다. 본 발명은 비디오 데이터 그 자체내에 포함될 세그먼트 차원의 정보를 요할 필요없이 세그먼트의 부화소 변위를 고려하는 비디오 데이터의 효과적인 발생을 허용한다. 이는 비디오 데이터의 크기를 상당히 감소시키며, 따라서 비디오 데이터의 전송을 위해 요구되는 통신 대역폭을 감소시킨다. 분할(segmentation)은 비디오 디코더에서 독립적으로 결정될 수 있으며 변위 데이터에 근거를 둘 수 있다. 또한, 세그먼트는 먼저 변위 데이터가 디코딩됨을 요구할 필요없이 첫 번째 프레임내에 변위될 수 있다. 특히, 이는 부화소 세그먼트 변위가 첫 번째 프레임의 디코딩 부분이 될 수 있도록 한다.

바람직하게는, 비디오 인코더는 블록 기반 비디오 인코더이고, 첫 번째 화상요소는 인코딩 블록이다. 특히, 비디오 인코더는 이산 푸리에 변환(DCT:Discrete Fourier Transform) 블록 프로세싱을 이용할 수 있으며, 첫 번째 화상요소는 DCT블럭에 대응할 수 있다. 이는 구현을 돕고, 요구되는 프로세싱 리소스를 감소시킨다.

바람직하게는, 복수의 오프셋 화상요소를 발생시키는 발생수단은 화소보간(pixel interpolation)에 의해 적어도 하나의 오프셋 화상요소를 발생시킨다. 이는 복수의 오프셋 화상요소를 발생시키는 단순하고 적합한 수단을 제공한다.

바람직하게는, 변위 데이터는 모션 판단 데이터(motion estimation data)가 되고, 특히 변위 데이터는 보상 판단 데이터(shift motion estimation data)가 된다. 따라서 본 발명은 보상 판단방식을 이용하여 비디오 데이터를 발생하는 수단을 제공한다. 데이터 크기 비에 대한 개선된 품질은 보상 판단방식을 유지하면서도 달성될 수 있다.

본 발명의 제 2 양태에 따르면, 본 발명은 비디오 신호를 디코딩하는 비디오 디코더를 제공한다. 상기 비디오 디코더는, 적어도 기준 프레임, 예측된 프레임 및 상기 기준 프레임의 복수 화상요소를 위한 변위 데이터를 포함하는 비디오 신호를 수신하는 수신수단과; 상기 기준 프레임의 상기 복수 화상요소 중 첫 번째 화상요소를 결정하는 결정수단과; 첫 번째 부화소 변위 데이터 및 첫 번째 정수형 화소 변위 데이터를 포함하는 상기 첫 번째 화상요소를 위한 변위 데이터를 추출하는 변위 추출수단과; 상기 첫 번째 부화소 변위 데이터에 대한 응답으로 상기 첫 번째 화상요소를 오프셋시킴으로써 부화소 오프셋 화상요소를 발생시키는 부화소 오프셋 화상요소 발생수단과; 상기 첫 번째 이미지와 상기 첫 번째 정수형 화소 변위 데이터에서의 상기 첫 번째 화상요소의 위치에 대한 응답으로 상기 예측된 프레임에서의 두 번째 화상요소의 위치를 결정하는 위치결정수단; 및 상기 부화소 오프셋 화상요소에 대한 응답으로 상기 두 번째 화상요소를 디코딩하는 디코딩수단을 포함한다.

비디오 인코더를 참조하여 논의된 특징, 변형, 옵션 및 개선은 전용된 바와 같이 동일하게 비디오 디코더에 적용가능하다. 특히, 첫 번째 화상요소를 결정하는 수단은 첫 번째 프레임의 이미지 분할에 의해 첫 번째 화상요소를 결정한다. 또한, 변위 데이터는 세그먼트 기반 모션 보상을 위해 사용된 부화소 정확도의 보상판별 데이터가 될 수 있다.

유사하게, 비디오 인코더를 참조하여 논의된 이점들도 동일하게 비디오 디코더에 적절하게 적용가능하다는 점을 이해해야 할 것이다. 따라서 비디오 디코더는 데이터 크기에 대한 품질의 개선된 비율을 갖는 보상 판단된 인코딩된 신호의 디코딩을 허용한다.

본 발명의 제 3 양태에 따르면, 본 발명은 비디오 데이터를 발생시키기 위해 비디오 신호를 인코딩하는 방법을 제공한다. 상기 인코딩 방법은, 기준 프레임내에 있는 적어도 첫 번째 화상요소에 대하여, 상이한 부화소의 오프셋을 갖는 복수의 오프셋 화상요소를 발생시키는 발생단계와; 각기의 상기 복수의 오프셋 화상요소에 대하여, 매칭 화상요소를 찾기 위해 첫 번째 프레임을 검출하는 검출단계와; 상기 복수의 오프셋 화상요소의 첫 번째 오프셋 화상요소를 선택하는 선택단계와; 상기 첫 번째 화상요소에 대하여 변위 데이터를 발생하는 변위 데이터 발생단계로서, 상기 변위 데이터는 상기 첫 번째 화상요소와 상기 매칭 화상요소사이에서 상기 첫 번째 오프셋 화상요소를 가리키는 부화소 변위 데이터 및 정수형 화소 오프셋을 가리키는 정수형 화소 변위 데이터를 포함하는, 상기 첫 번째 화상요소에 대하여 변위 데이터를 발생하는 변위 데이터 발생단계와; 상기 선택된 오프셋 화상요소에 관계되는 상기 매칭 화상요소를 인코딩하는 인코딩단계; 및 상기 비디오 데이터에서 상기 변위 데이터를 포함시키는 포함단계를 포함한다.

본 발명의 제 4 양태에 따르면, 본 발명은 비디오 신호를 디코딩하는 방법을 제공한다. 상기 디코딩 방법은, 적어도 기준 프레임, 예측된 프레임 및 상기 기준 프레임의 복수 화상요소를 위한 변위 데이터를 포함하는 비디오 신호를 수신하는 수신단계와; 상기 기준 프레임의 상기 복수 화상요소 중 첫 번째 화상요소를 결정하는 결정단계와; 첫 번째 부화소 변위 데이터 및 첫 번째 정수형 화소 변위 데이터를 포함하는 상기 첫 번째 화상요소를 위한 변위 데이터를 추출하는 변위 추출단계와; 상기 첫 번째 부화소 변위 데이터에 대한 응답으로 상기 첫 번째 화상요소를 오프셋시킴으로써 부화소 오프셋 화상요소를 발생시키는 부화소 오프셋 화상요소 발생단계와; 상기 첫 번째 이미지와 상기 첫 번째 정수형 화소 변위 데이터에서의 상기 첫 번째 화상요소의 위치에 대한 응답으로 상기 예측된 프레임에서의 두 번째 화상요소의 위치를 결정하는 위치결정단계; 및 상기 부화소 오프셋 화상요소에 대한 응답으로 상기 두 번째 화상요소를 디코딩하는 디코딩단계를 포함한다.

본 발명의 위 양태와 다른 양태, 특징 및 이점은 이후 기술되는 실시예를 참조하면 명백하고도 명료하게 이해될 것이다.

본 발명의 일실시예는 첨부된 도면을 참고하여 단지 예시로써만 기술된다.

도 1은 종래기술에 따른 페치 모션 판단방식을 예시한 도면.

도 2는 종래기술에 따른 보상 판단방식을 예시한 도면.

도 3은 본 발명의 일실시예에 따른 보상 판단방식의 비디오 인코더를 예시한 도면.

도 4는 본 발명의 일실시예에 따른 보상 판단방식의 비디오 디코더를 예시한 도면.

다음의 설명은 세그먼트 기반 보상 판단 및 보상을 이용하여 비디오 인코딩 시스템에 적용가능한 본 발명의 일실시예에 초점을 두고 있다. 그러나 이는 본 발명이 이러한 실시예에 제한되지 않음을 이해해야 할 것이다.

도 3은 본 발명의 일실시예에 따른 보상 판단방식의 비디오 인코더를 예시한 것이다. 비디오 인코더의 작동은 첫 번째 프레임이 모션 판단 및 모션 보상을 이용하여 단일 기준 프레임으로부터 인코딩되는 특정 상황에서 기술될 것이다. 그러나 다른 실시예에서 하나의 프레임에 대한 모션 판단은 예를 들면 첫 번째 프레임으로부터 상이한 시간상의 오프셋을 가지는 장래의 프레임 및/또는 프레임을 포함하는 어느 적합한 프레임 또는 프레임들에 근거를 둘 수 있음을 이해해야 할 것이다.

비디오 인코더는 인코딩될 프레임(이후 첫 번째 프레임으로 표시됨)을 저장하는 첫 번째 프레임 버퍼부(301)를 포함한다. 이 첫 번째 프레임 버퍼부(301)는 기준 프레임 버퍼부(303)에 연결되며, 이 기준 프레임 버퍼부(303)는 첫 번째 프레임의 보상 판단 인코딩을 위해 사용되는 기준 프레임을 저장한다. 특정 예에서, 기 준 프레임은 첫 번째 프레임 버퍼부(301)로부터 기준 프레임 버퍼부(303)로 이동하는 이전의 원프레임(original frame)이 된다. 그러나 다른 실시예에 있어서, 기준 프레임은 다른 방식으로 발생될 수 있음을 이해해야 할 것이다. 예를 들면, 기준 프레임은 이전의 인코딩된 프레임의 지역 디코딩에 의해 발생될 수도 있으며, 이에 의하여 수신 비디오 디코더에서 발생하는 기준 프레임에 밀접하게 대응하는 기준 프레임을 제공한다.

기준 프레임 버퍼부(303)는 분할 처리부(305)에 연결되며, 이 분할 처리부(305)는 기준 프레임을 복수의 화상요소로 분할한다. 화상요소는 소정의 선택기준에 따라 그리고 기술된 실시예에서 선택된 한 그룹의 화소에 대응하게 된다. 각 화상요소는 분할 처리부(305)에 의해 결정된 이미지 세그먼트에 대응한다. 다른 실시예에서, 화상요소는 대안적으로 또는 부가적으로 DCT 변환 블록 또는 기정의된(매크로)블럭과 같은 블럭을 인코딩하는 데 대응한다.

상술된 실시예에서, 이미지 분할은 동일한 동작 특성을 갖는 화상 세그먼트로 화소를 그룹화하는 것을 찾는다. 예를 들면, 동작 특성이 동일한 기초의 물체에 속하기 때문이다. 기본 가정은 물체의 가장자리가 이미지에서의 명도 또는 컬러의 뚜렷한 변화를 일으킨다는 점이다. 그러므로 유사한 명도 및/또는 컬러를 갖는 화소는 영역사이에서 명도/컬러의 모서리로 귀착되면서 함께 그룹화된다.

따라서 바람직한 실시예에서 화상분할은 공통 특성에 기반한 화소의 공간적 그룹화의 처리과정을 포함한다. 화상 및 비디오 분할에 대한 몇 가지의 접근방식이 있으며, 이들 각각의 효과는 일반적으로 어플리케이션에 의존하게 된다. 화상의 분 할에 대한 공지된 방법 또는 알고리즘이 본 발명으로 벗어나지 않으면서도 이용될 수 있음을 이해해야 할 것이다.

바람직한 실시예에서, 분할은 공통 특성에 응답하는 이미지의 분리된 영역을 검출하고 그 후 하나의 이미지 또는 화상으로부터 다음 이미지 또는 화상까지 이러한 물체를 추적하는 것을 포함한다.

일실시예에서, 분할은 동일한 이미지 세그먼트내에서 유사한 명도 레벨을 갖는 화상요소의 그룹화를 포함한다. 유사한 명도 레벨을 갖는 화상요소의 인접한 그룹은 동일한 기초의 물체에 속하기 쉽다. 또한, 비슷하게 유사한 컬러 레벨을 갖는 화상요소의 인접한 그룹은 동일한 기초의 물체에 속하기 쉬우며, 분할은 대안적으로 또는 추가적으로 동일한 세그먼트내에서 유사한 컬러를 갖는 화상요소의 그룹화를 포함할 수 있다.

다음 설명은 간략화와 명확화를 위해 단일 세그먼트(이후 첫 번째 세그먼트로 표기됨)의 처리과정에 초점이 맞추어 질 것이다. 그러나 바람직하게는 비디오 디코더는 소정의 프레임에 대하여 복수의 화상요소를 발생하고 처리한다.

분할 처리부(305)는 오프셋 처리부(307)에 연결된다. 이 오프셋 처리부(307)는 첫 번째 세그먼트에 대하여 상이한 부화소 오프셋을 갖는 복수의 오프셋 화상요소를 발생시킨다. 바람직하게는, 오프셋 처리부(307)는 0의 오프셋을 갖는 하나의 오프셋 세그먼트를 발생시킨다. 즉, 이 변형되지 않은 세그먼트는 복수의 오프셋 세그먼트 중 하나인 것이 바람직하다. 덧붙여, 바람직하게는 오프셋 처리부(307)는 등거리 오프셋을 갖는 다수의 오프셋 화상을 발생시킨다. 예를 들면, 만일 4개의 오프셋 세그먼트가 발생되면, 바람직하게는 오프셋 처리부(307)는 (x,y)=(0,0)를 갖는 세그먼트, (x,y)=(0.5,0)의 오프셋을 갖는 또 하나의 세그먼트, (x,y)=(0.5,0.5)의 오프셋을 갖는 세 번째 세그먼트 및 (x,y)=(0,0.5)의 오프셋을 갖는 네 번째 세그먼트를 발생시키게 된다. 따라서 이 예에 있어서, 4개의 오프셋 세그먼트는 0.5화소의 부화소 정밀도 또는 부화소 입상(粒狀)에 대응하여 발생된다.

오프셋 처리부(307)는 스캔 처리부(309)에 연결되며, 이 스캔 처리부(309)는 오프셋 세그먼트를 수신한다. 또한, 스캔 처리부(309)는 첫 번째 프레임 버퍼부(301)에 연결되며, 각각의 오프셋 세그먼트에 대하여 매칭 이미지 세그먼트를 위한 첫 번째 프레임을 검출한다.

특히, 스캔 처리부(309)는 다음 수학식1에 의한 거리 또는 차이 파라메타를 결정할 수 있다.

여기서, S는 오프셋 세그먼트를 나타내고, S(Δx,Δy)는 세그멘트내 상대위치(Δx,Δy)에서의 화소를 나타내고, P(a,b)는 인코딩될 첫 번째 프레임내 위치(a,b)에서의 화소를 나타낸다.

스캔 처리부(309)는 모든 가능한 (x,y)값에 대하여 거리 파라메타를 평가함으로써 검출하고, 최저 거리값을 가짐으로써 소정의 오프셋 세그멘트에 대하여 매 칭 세그멘트를 결정한다. 더욱이, 만일 거리값이 주어진 경계보다 상위이면, 매칭 세그멘트가 없는 것으로 결정되고 모션 보상이 첫 번째 세그멘트에 근거하여 수행되지 않게 된다.

스캔 처리부(309)는 선택 처리부(311)에 연결된다. 이 선택 처리부(311)는 요청된 부화소의 변위에 대응하는 오프셋 세그먼트 중 하나를 선택한다. 상술된 예에서, 선택 처리부(311)는 단지 최저 거리 파라메타를 갖는 오프셋 세그먼트를 선택한다.

선택 처리부(311)는 변위 데이터 처리부(313)에 연결된다. 이 변위 데이터 처리부(313)는 첫 번째 세그먼트를 위한 변위 데이터(displacement data)를 발생시킨다. 상술된 실시예에서, 변위 데이터 처리부(313)는 모션벡터가 선택된 오프셋 화상요소를 가리키는 부화소 변위부분 및 첫 번째 세그먼트와 매칭 세그먼트 사이의 정수형 화소 오프셋을 가리키는 정수형 화소 변위부분을 갖는 첫 번째 세그먼트에 대하여 모션벡터를 발생시킨다. 특히, 만일 (0,0)의 오프셋 세그먼트가 선택된다면 (x_m,y_m)로써, 만일 (0.5,0)의 오프셋 세그먼트가 선택된다면 (x_m+0.5,y_m)로써, 만일 (0,0.5)의 오프셋 세그먼트가 선택된다면 (x_m,y_m+0.5)로써, 만일 (0.5,0.5)의 오프셋 세그먼트가 선택된다면 (x_m+0.5,x_m+0.5)로써 모션벡터가 발생될 수 있다. 여기서 x_m,y_m은 매칭 이미지 세그먼트에 대하여 거리 파라메타 계산의 정수값 x,y이다.

또한, 변위 데이터 처리부(313)는 오프셋 처리부(307)에 연결되며, 이로부터 선택된 오프셋 세그먼트를 수신받는다. 또한 이 변위 데이터 처리부(313)는 첫 번째 프레임을 인코딩하는 인코딩 유닛부(315)에 연결된다. 특히, 첫 번째 프레임의 매칭 세그먼트는 선택된 오프셋 세그먼트에 관련하여 인코딩된다.

상술된 실시예에서, 인코딩 유닛부(315)는 매칭 세그먼트로부터 선택된 오프셋 세그먼트의 화소값을 감산함으로써 상대적인 화소값을 발생시킨다. 결과로써 발생하는 상대적인 화소값은 이 분야에서 잘 알려진 공간적인 주파수 변환, 양자화 및 인코딩을 이용하여 인코딩된다. 첫 번째 세그먼트( 및 다른 처리된 세그먼트)의 화소 데이터값이 상당히 감소됨으로써, 데이터 크기에 있어서 상당한 감소가 달성될 수 있다.

인코딩 유닛부(315)는 출력 처리부(317)에 연결되며, 또한 이 출력 처리부(317)는 변위 데이터 처리부(313)에 연결된다. 출력 처리부(317)는 비디오 디코더(300)로부터 출력 데이터 스트림을 발생한다. 특히 이 출력 처리부(317)는 특정 비디오 인코딩 프로토콜에 대하여 요청되는 비디오 신호, 보조 데이터, 제어정보 등의 프레임을 위해 인코딩 데이터를 조합한다. 부가적으로, 출력 처리부(317)는 분수부분과 정수부분을 모두 갖는 모션벡터의 형태로 변위 데이터를 포함한다. 여기서, 분수부분은 선택된 오프셋 화상 및 선택된 부화소의 보간(interpolation)을 가리키며, 정수부분은 보간된 세그먼트의 첫 번째 프레임 내에서의 시프트를 가리킨다. 그러나 상술된 실시예에서, 출력 처리부(317)는 위치 또는 검출된 이미지 세그먼트의 차원을 정의하는 어떠한 특정 세그먼트도 포함하지 않는다.

따라서 비디오 인코더는 기준 프레임의 세그먼트가 첫 번째(장래) 프레임을 보상하기 위해 사용되는 보상 판단 인코딩(shift motion estimation encoding)을 제공한다. 따라서 첫 번째 프레임 내의 첫 번째 세그먼트의 변위 및 삽입은 이전에 실행되거나 이 프레임의 디코딩 동안 실행될 수 있다. 따라서 비디오 인코더는 첫 번째 프레임을 디코딩하는 세그먼트의 위치 또는 차원의 선결지식을 요하지 않는 신호를 제공한다. 더욱이, 가장 효율적이고 고품질의 신호는 부화소 모션보상이 실행됨으로써 발생된다.

따라서 비디오 인코더는 저 복잡도의 구현을 가능하게 하는 반면에 데이터 크기 대비(對比) 개선된 품질을 제공한다.

도 4는 본 발명의 일실시예에 따른 보상 판단방식의 비디오 디코더(400)를 예시한 것이다. 상술된 실시예에서, 비디오 디코더(400)는 도 3의 비디오 인코더(300)에 의해 발생된 비디오 신호를 수신하고 이를 디코딩한다.

비디오 디코더(400)는 비디오 신호의 비디오 프레임을 수신하는 수신 프레임 버퍼부(401)를 포함한다. 이 비디오 디코더는 디코딩 기준 프레임 버퍼부(403)를 도 포함할 수 있으며, 이 디코딩 기준 프레임 버퍼부(403)는 비디오 신호의 예측된 프레임을 디코딩하기 위해 사용되는 기준 프레임을 저장한다. 디코딩 기준 프레임 버퍼부(403)는 비디오 인코더의 출력단에 연결되어 이 분야의 당업자라면 이해가능한 충족되는 코딩 프로토콜의 요구조건에 따른 알맞은 기준 프레임을 수신한다.

비디오 디코더의 작동은 디코딩 기준 프레임 버퍼부(403)가 비디오 인코더(300)의 작동에 관하여 기술된 기준 프레임에 대응하는 디코딩된 기준 프레임을 포함하고, 수신 프레임 버퍼부(401)가 비디오 인코더(300)에 관하여 기술된 첫 번째 프레임에 대응하는 예측된 프레임을 포함하는 상황을 특별히 참고하여 기술된다. 따라서, 디코딩 기준 프레임 버퍼부(403)는 예측된 프레임을 인코딩하기 위해 사용된 기준 프레임을 포함하며, 따라서 이 기준 프레임을 디코딩하기 위해 사용된다. 더욱이, 수신된 비디오 신호는 기준 프레임의 이미지 세그먼트에 참조된 비정수 모션 벡터를 포함한다. 그러나 상술된 실시예에서, 비디오 신호는 예측된 프레임 또는 기준 프레임의 세그먼트의 차원에 관계된 어떠한 정보도 포함하지 않는다. 따라서 바람직하게는 디코딩은 아직 디코딩되지 않고 따라서 이미지 분할에 적합하지 않은 예측된 프레임내의 이미지 세그먼트의 식별에 근거하지 않게 된다. 그러나 보상 판단과 보상은 디코딩 기준 프레임 버퍼부(403)에 저장된 기준 프레임에 근거한 세그먼트 기반 모션 보상을 제공한다.

따라서 디코딩 기준 프레임 버퍼부(403)는 디코딩된 기준 프레임상에서 이미지 분할을 실행하는 수신 분할 처리부(405)에 연결된다. 분할 알고리즘은 비디오 인코더(300)의 분할 처리부(305)와 등가이며, 그러므로 동일 세그먼트(또는 현저하게 동일한 세그먼트)를 식별한다. 따라서 비디오 인코더(300)와 비디오 디코더(400)는 독립적으로 개별 분할 처리에 의해 동일 이미지 세그먼트를 지속적으로 발생시킨다. 바람직하게는 인코더에 의해 식별된 모든 이미지 세그먼트는 디코더에 의해 식별되나 이는 작동에 필수요건은 아님을 이해해야 할 것이다.

또한, 수신 분할 처리부(405)에 의해 발생된 하나 이상의 이미지 세그먼트로 인코딩을 위해 사용되는 하나 이상의 이미지 세그먼트를 결합시키는 적절한 어떤 기능 또는 프로토콜이라도 적용 가능함을 이해해야 할 것이다.

특별한 예로서, 비디오 인코더(300)는 모션 벡터가 관계하는 검출된 이미지 세그먼트를 위한 중심점에 대응하는 각 모션 벡터를 위한 위치식별(location identification)을 포함할 수 있다. 데이터가 수신되는 경우, 비디오 디코더는 모션 벡터를 이러한 위치를 포함하고 있는 수신 분할 처리부(405)에 의해 결정된 이미지 세그먼트로 결합시킬 수 있다. 따라서 비디오 인코더와 비디오 디코더에서 독립적으로 결정된 해당 이미지 세그먼트 사이의 결합은 이미지 세그먼트의 특성 또는 차원에 관계된 어떠한 정보교환없이 달성될 수 있다. 이는 상당히 감소된 데이터 전송율을 제공한다.

다음 기술은 간략과 명료를 위해 수신 분할 처리부(405)에 의해 식별된 첫 번째 세그먼트의 처리과정에 초점을 두고 있다. 그러나 바람직하게는 비디오 디코더는 소정의 프레임에 대하여 복수의 화상요소를 발생시키고 처리할 수 있음을 이해해야 할 것이다. 수신 분할 처리부(405)는 수신 보간부(407)에 연결된다. 이 수신 보간부(407)는 비디오 인코더(300)에 의해 선택된 오프셋 세그먼트에 대응하는 부화소 오프셋 세그먼트를 발생시키기 위해 기준 프레임내의 첫 번째 이미지 세그먼트를 보간한다.

수신 보간부(407)는 변위 데이터 추출부(409)에 연결되며, 또한 이 변위 데이터 추출부(409)는 수신 프레임 버퍼부(401)에 연결된다. 이이 변위 데이터 추출부(409)는 수신된 비디오 신호로부터 변위 데이터를 추출한다. 더욱이, 이 변위 데이터를 부화소 부분과 정수 부분으로 분리하고, 이 부화소 부분을 수신 보간부(407)에 공급한다.

상술된 실시예에서, 변위 데이터 추출부(409)는 첫 번째 세그먼트를 위한 모션벡터를 수신하고 분수 부분을 변위 데이터 추출부(409)에 넘겨주게 된다. 응답으로, 변위 데이터 추출부(409)는 선택된 오프셋 세그먼트를 위한 비디오 인코더에서 첫 번째 세그먼트를 위해 실행되는 보간에 대응하는 기준 프레임으로 보간을 실행한다. 따라서 수신 보간부(407)는 비디오 디코더의 선택된 오프셋 세그먼트에 직접 대응하는 이미지 세그먼트를 발생한다. 이러한 이미지 세그먼트는 부화소 정확도를 기지며, 이에 의하여 더 높은 품질의 디코딩된 신호를 제공한다.

더욱이, 비디오 인코더는 변위 데이터의 정수형 화소 부분에 대한 응답으로 예측된 프레임내의 발생된 오프셋 세그먼트의 위치를 결정하는 시프트 처리부(411)를 포함한다. 특히, 시프트 처리부(411)는 수신 보간부(407)와 변위 데이터 추출부(409)에 연결되며, 수신 보간부(407)로부터는 보간된 세그먼트를, 변위 데이터 추출부(409)로부터는 세그먼트를 위한 모션 벡터의 정수 부분을 수신한다. 시프트 처리부(411)는 예측된 프레임의 참조 시스템으로 오프셋 화상요소를 이동시킨다. 즉 다음 수학식 2를 이용하여 모션 보상 프레임을 발생시킬 수 있다.

오프셋 세그먼트내의 모든 화소에 대하여

여기서 p(x,y)는 예측된 프레임내의 위치 x,y에서 오프셋 이미지 세그먼트에 서의 화소요소이고, s_o(x,y)는 기준 프레임내의 위치 x,y에서 오프셋 이미지 세그먼트에서의 화소요소이며, (x_mv,y_mv)는 세그먼트를 위한 모션 벡터이다.

비디오 디코더(400)는 시프트 처리부(411) 및 수신 프레임 버퍼부(401)에 연결된 디코딩 유닛부(413)를 더 포함한다. 디코딩 유닛부(413)는 시프트 처리부(411)에 의해 발생된 모션 보상 프레임을 이용하여 예측된 프레임을 디코딩한다. 특히, 첫 번째 프레임은 이 분야에서 잘 알려진 바와 같이 모션 보상 프레임이 첨부되는 상대적인 이미지로써 디코딩될 수 있다. 따라서 디코딩 유닛부(413)는 디코딩된 비디오 신호를 발생시킨다.

따라서 상술된 실시예에 따른, 시프트 모션 판단을 이용하여 모션 보상에 기반한 세그먼트가 부화소 정확도로 이루어지게 하는 비디오 인코딩 및 디코딩 시스템이 공개된다. 따라서 매우 효율적인 인코딩이 데이터 크기 대비 고품질을 갖으며 달성될 수 있다.

더욱이, 부화소 처리 및 오프셋/보간인 정수 시프팅후 예측된 프레임에서 보다 정수 시프팅에 앞서 기준 프레임에서 실행된다. 실지 실험은 이것이 결국 상당히 개선된 성능이 되는 것을 증명한다.

더욱이 본 실시예는 예를 들면 적합한 시그널 프로세서상에서 운영되는 소프트웨어 프로그램으로써 비교적 낮은 복잡도의 구현을 제공한다. 대안적으로, 구현은 전체적으로 또는 부분적으로 전용 하드웨어를 사용할 수도 있다.

일반적으로, 본 발명은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 포함하는 어떠한 적합한 형태로도 구현 가능하다. 그러나 본 발명은 하나 이상의 데이터 프로세서 및/또는 디지털 시그널 프로세서상에서 운영되는 컴퓨터 소프트웨어로써 구현된다. 본 발명의 일실시예의 구성요소 및 구성부품은 물질적으로, 기능적으로, 그리고 논리적으로 어떠한 적당한 방법으로 구현될 수 있다. 실제, 기능성은 다른 기능 유닛의 일부로써 또는 복수의 유닛으로 또는 단일 유닛으로 구현될 수 있다. 예를 들어, 본 발명은 단일 유닛으로 구현될 수 있으며, 또는 물리적으로 기능적으로 상이한 유닛 및 프로세서 사이에 분포될 수 있다.

비록 본 발명이 바람직한 실시예를 참조하여 기술되었으나, 특정 형태 등으로 제한하고자 하는 의도는 아니다. 오히려, 본 발명의 범위는 첨부된 청구범위에 의해 오로지 제한된다. 본 발명의 청구범위에서, 용어 "포함하는(Comprising)"은 청구범위에 기재된 것 이외에의 다른 구성요소나 단계의 존재를 배제하지 않는다. 더욱이, 비록 개별적으로 리스트되었을 지라도, 복수의 수단, 구성요소 또는 방법단계가 예를 들면 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 추가적으로, 비록 개별 특징이 다른 청구범위에 포함되어 있을 지라도, 이는 유리한 조합을 가능하게 하는 것이고, 다른 청구범위내의 포함은 특징의 조합이 실행가능 및/또는 이점이 없음을 암시하는 것은 아니다. 덧붙여, 단수 참조는 복수를 배제하지 않는다. 따라서 "하나", "단일", "첫 번째", "두 번째"등에 대한 참조는 복수를 배제하지 않는다.

전술한 바와 같이, 본 발명은 비디오의 인코딩 및 디코딩 시스템에 대한 것으로서, 시프트 모션 판단을 사용하는 비디오 인코더 및 디코더에 이용 가능하다.

Claims (16)

1. 비디오 데이터를 발생시키기 위한 비디오 신호를 인코딩하는 비디오 인코더로서, 상기 비디오 인코더는,

   - 기준 프레임내에 있는 적어도 제 1 화상요소에 대하여, 상이한 부화소의 오프셋을 갖는 복수의 오프셋 화상요소를 발생시키는 발생수단(307)과;

   - 상기 복수의 오프셋 화상요소 각각에 대하여, 매칭 화상요소를 찾기 위해 제 1 프레임을 검색(search)하는 검색(searching)수단(309)과;

   - 상기 복수의 오프셋 화상요소의 제 1 오프셋 화상요소를 선택하는 선택수단(311)과;

   - 상기 제 1 화상요소에 대하여 변위 데이터를 발생하는 변위 데이터 발생수단(313)으로서, 상기 변위 데이터는 상기 제 1 화상요소와 상기 매칭 화상요소사이에서 상기 제 1 오프셋 화상요소를 가리키는 부화소 변위 데이터 및 정수형 화소 오프셋을 가리키는 정수형 화소 변위 데이터를 포함하는, 변위 데이터 발생수단(313)과;

   - 상기 선택된 오프셋 화상요소에 관계되는 상기 매칭 화상요소를 인코딩하는 인코딩수단(315); 및

   - 상기 비디오 데이터에서 상기 변위 데이터를 포함시키는 포함수단(317)

   을 포함하는 비디오 인코더.
2. 제 1 항에 있어서,

   상기 선택수단(311)은 각기의 상기 복수의 오프셋 화상요소 각각과 상기 매칭 화상요소 사이에서의 차이 파라메터를 결정하는 수단과,

   상기 최소 차이 파라메터를 가지는 오프셋 화상요소로서 상기 제 1 오프셋 화상요소를 선택하는 수단을 포함하는 비디오 인코더.
3. 제 1 항에 있어서,

   상기 기준 프레임의 이미지 분할에 의해 상기 제 1 화상요소(305)를 발생하는 수단을 더 포함하는 비디오 인코더.
4. 제 3 항에 있어서,

   상기 비디오 인코더는 상기 비디오 데이터내에서 세그먼트 차원 데이터(segment dimension data)를 포함하지 않도록 구성되는 비디오 인코더.
5. 제 1 항에 있어서,

   상기 비디오 인코더는 블록 기반 비디오 인코더이고, 상기 제 1 화상요소는 인코딩 블록인 비디오 인코더.
6. 제 1 항에 있어서,

   상기 복수의 오프셋 화상요소를 발생시키는 발생수단(307)은 화소보간(pixel interpolation)에 의해 적어도 하나의 오프셋 화상요소를 발생시키는 비디오 인코더.
7. 제 1 항에 있어서,

   상기 변위 데이터는 모션 판단 데이터인 비디오 인코더.
8. 제 7 항에 있어서,

   상기 변위 데이터는 시프트 모션 판단 데이터(shift motion estimation data)인 비디오 인코더.
9. 제 1 항에 있어서,

   상기 복수의 오프셋 화상요소 중 하나의 오프셋 화상요소는 지속적으로 0의 오프셋을 갖는 비디오 인코더.
10. 비디오 신호를 디코딩하는 비디오 디코더로서,

    상기 비디오 디코더는,

    - 적어도 기준 프레임, 예측된 프레임 및 상기 기준 프레임의 복수 화상요소를 위한 변위 데이터를 포함하는 비디오 신호를 수신하는 수신수단(401)과;

    - 상기 기준 프레임의 상기 복수 화상요소 중 제 1 화상요소를 결정하는 결정수단(405)과;

    - 제 1 부화소 변위 데이터 및 제 1 정수형 화소 변위 데이터를 포함하는 상기 제 1 화상요소를 위한 변위 데이터를 추출하는 변위 추출수단(409)과;

    - 상기 제 1 부화소 변위 데이터에 대한 응답으로 상기 제 1 화상요소를 오프셋시킴으로써 부화소 오프셋 화상요소를 발생시키는 부화소 오프셋 화상요소 발생수단(407)과;

    - 상기 제 1 이미지와 상기 제 1 정수형 화소 변위 데이터에서의 상기 제 1 화상요소의 위치에 대한 응답으로 상기 예측된 프레임에서의 제 2 화상요소의 위치를 결정하는 위치결정수단(411); 및

    - 상기 부화소 오프셋 화상요소에 대한 응답으로 상기 제 2 화상요소를 디코딩하는 디코딩수단(413)

    을 포함하는 비디오 신호를 디코딩하는 비디오 디코더.
11. 제 10 항에 있어서,

    제 1 화상요소를 결정하는 결정수단(405)은 상기 제 1 프레임의 이미지 분할에 의해 상기 제 1 화상요소를 결정하도록 동작할 수 있는 비디오 신호를 디코딩하는 비디오 디코더.
12. 제 11 항에 있어서,

    상기 비디오 데이터는 세그먼트 차원 데이터(segment dimension data)를 포함하지 않는 비디오 신호를 디코딩하는 비디오 디코더.
13. 비디오 데이터를 발생시키기 위해 비디오 신호를 인코딩하는 방법으로서, 상기 방법은,

    - 기준 프레임내에 있는 적어도 제 1 화상요소에 대하여, 상이한 부화소의 오프셋을 갖는 복수의 오프셋 화상요소를 발생시키는 발생단계와;

    - 상기 복수의 오프셋 화상요소 각각에 대하여, 매칭 화상요소를 찾기 위해 제 1 프레임을 검색하는 검색단계와;

    - 상기 복수의 오프셋 화상요소의 제 1 오프셋 화상요소를 선택하는 선택단계와;

    - 상기 제 1 화상요소에 대하여 변위 데이터를 발생하는 변위 데이터 발생단계로서, 상기 변위 데이터는 상기 제 1 화상요소와 상기 매칭 화상요소사이에서 상기 제 1 오프셋 화상요소를 가리키는 부화소 변위 데이터 및 정수형 화소 오프셋을 가리키는 정수형 화소 변위 데이터를 포함하는, 상기 제 1 화상요소에 대하여 변위 데이터를 발생하는 변위 데이터 발생단계와;

    - 상기 선택된 오프셋 화상요소에 관계되는 상기 매칭 화상요소를 인코딩하는 인코딩단계; 및

    - 상기 비디오 데이터에서 상기 변위 데이터를 포함시키는 포함단계

    을 포함하는 비디오 데이터를 발생시키기 위해 비디오 신호를 인코딩하는 방법.
14. 비디오 신호를 디코딩하는 방법으로서,

    상기 방법은,

    - 적어도 기준 프레임, 예측된 프레임 및 상기 기준 프레임의 복수 화상요소를 위한 변위 데이터를 포함하는 비디오 신호를 수신하는 수신단계와;

    - 상기 기준 프레임의 상기 복수 화상요소 중 제 1 화상요소를 결정하는 결정단계와;

    - 제 1 부화소 변위 데이터 및 제 1 정수형 화소 변위 데이터를 포함하는 상기 제 1 화상요소를 위한 변위 데이터를 추출하는 변위 추출단계와;

    - 상기 제 1 부화소 변위 데이터에 대한 응답으로 상기 제 1 화상요소를 오프셋시킴으로써 부화소 오프셋 화상요소를 발생시키는 부화소 오프셋 화상요소 발생단계와;

    - 상기 제 1 이미지와 상기 제 1 정수형 화소 변위 데이터에서의 상기 제 1 화상요소의 위치에 대한 응답으로 상기 예측된 프레임에서의 제 2 화상요소의 위치를 결정하는 위치결정단계; 및

    - 상기 부화소 오프셋 화상요소에 대한 응답으로 상기 제 2 화상요소를 디코딩하는 디코딩단계

    를 포함하는 비디오 신호를 디코딩하는 방법.
15. 제 13 항 또는 제 14 항에 따른 방법의 실행을 가능하게 하는 컴퓨터 프로그램.
16. 제 15 항의 컴퓨터 프로그램을 포함하는 기록 운반 매체.

Images