KR20090002412A - 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치 - Google Patents

매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20090002412A
KR20090002412A KR1020070064192A KR20070064192A KR20090002412A KR 20090002412 A KR20090002412 A KR 20090002412A KR 1020070064192 A KR1020070064192 A KR 1020070064192A KR 20070064192 A KR20070064192 A KR 20070064192A KR 20090002412 A KR20090002412 A KR 20090002412A
Authority
KR
South Korea
Prior art keywords
macroblock
information
current
motion information
sharing
Prior art date
Application number
KR1020070064192A
Other languages
English (en)
Other versions
KR101360279B1 (ko
Inventor
호요성
오관정
최병호
박지호
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020070064192A priority Critical patent/KR101360279B1/ko
Publication of KR20090002412A publication Critical patent/KR20090002412A/ko
Application granted granted Critical
Publication of KR101360279B1 publication Critical patent/KR101360279B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유 방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상 부호화/복호화 방법 및 장치를 개시한다. 본 발명의 다시점 비디오 영상 부호화 방법은 부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 단계, 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 단계; 및 제 2 상응 매크로블록에 따른 움직임 정보 또는 잔여 성분 정보를 이용하여 상기 현재 매크로블록을 부호화하는 단계를 포함한다. 본 발명에 따르면, 매크로블록 단위의 전역 변이 예측을 통해 상응 매크로블록에 대한 추적의 정확성을 향상시키고, 다른 시점의 화면 사이에서 존재하는 부호화 정보의 중복에 따른 비효율성 문제를 움직임 정보의 공유와 잔여 성분 정보의 예측을 통해 효과적으로 개선하고, 다시점 비디오 영상의 부호화/복호화 효율을 향상시킬 수 있다.

Description

매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유 방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상 부호화/복호화 방법 및 장치{Method and apparatus for sharing motion information using global disparity estimation by macroblock unit, and method and apparatus for encoding/decoding multi-view video image using it}
도 1 은 본 발명의 일 실시예에 따른 매크로블록 단위의 변위 예측을 이용한 움직임 정보 공유 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 움직임 정보 공유 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 움직임 정보 공유 장치를 나타내는 블록도이다.
도 4는 다시점 비디오 영상 부호화 장치와 복호화 장치를 포함하는 다시점 비디오 시스템에 대한 개략도이다.
도 5는 본 발명의 일 실시예에 따른 다시점 비디오 영상 부호화 장치를 나타내는 블록도이다.
도 6은 도 5의 실시예에서 상응 매크로블록 추적부에 대한 상세 블록도이다.
도 7은 도 5의 실시예에서 상응 매크로블록을 추적하는 원리를 설명하는 개 념도이다.
도 8은 도 5의 실시예에서 제 1 상응 매크블록을 추적하는 원리를 설명하는 개념도이다.
도 9는 본 발명의 일 실시예에 따른 다시점 비디오 영상 부호화 방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 다시점 비디오 영상 복호화 장치를 나타내는 블록도이다.
본 발명은 변이 예측을 이용한 움직임 정보 공유 방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상 부호화/복호화 방법 및 장치에 관한 것으로서, 특히 다른 시점의 화면 사이에서 존재하는 부호화 정보의 중복에 따른 비효율성을 전역 변이 예측과 이를 이용한 움직임 정보의 공유, 잔여 성분의 예측을 통해 제거함으로써 부호화 효율을 향상시키는 부호화/복호화 정보를 공유하는 알고리즘에 관한 것이다.
다시점(multi-view) 비디오 영상은 평행 또는 아크 모양으로 배열된 동기화된 많은 개수의 카메라(예를 들면 8개)로 동일한 물체를 촬영해서 얻은 시점 영상(view image)의 집합이다. 이와 같은 다시점 비디오 영상은 입체 디스플레이 장치뿐만 아니라 입체 방송, 실감 방송, 3D DMB 방송, FTV(Free-view TV) 등에서 사 용자가 원하는 시점에서 시청하거나 콘텐츠를 3D 입체화상으로 보고자 할 때도 적용될 수 있는 응용의 폭이 넓은 기술이다.
다시점 비디오 영상의 한 예인 파노라마(panoramic) 영상은 우주/항공 사진학, 컴퓨터 비전, 컴퓨터 그래픽스 분야에서 많이 연구되고 있으며, 항공 사진의 해석, 영상 변화 감지, 비디오 압축, 비디오 인덱싱, 카메라 해상도 및 FOV(field of view) 확대에서 간단한 영상 편집에 이르기까지 매우 다양한 분야에 응용되고 있다. 컴퓨터 버전에서는 다시점 비디오에서 획득된 여러 영상 들을 이용하여 영상 내의 물체의 깊이(depth)와 시차(disparity) 정보를 추출하고 있으며, 컴퓨터 그래픽스에서도 영상 기반 렌더링(image based rendering)이란 이름으로 획득된 다시점 영상들을 이용하여 가상의 시점에서 사실적인 영상을 생성한다.
이러한 다시점 비디오 처리 기술은 전방향성 카메라를 이용한 감시 시스템이나, 게임에서 이용되는 3차원 가상 시점, 또는 다수의 카메라 영상들로부터 입력된 영상을 임의로 선택할 수 있도록 하는 시점 스위칭 등에 이용되고 있다. 또한 이러한 다시점 비디오 영상은 네트워크 기술과 맞물려 대화형 콘텐츠나 실감 콘텐츠를 이용하는 다양한 멀티미디어 서비스에 확장될 수 있다.
다시점 비디오에서 화면들은 시간적 중복성 뿐만 아니라 공간적인 중복성도 가지고 있다. 따라서, 일반적으로 사용되는 다시점 비디오 인코더에서는 전송 효율을 높이기 위해서 시간 방향으로만 움직임 예측을 수행할 뿐만 아니라 다른 시점 사이의　공간적인 중복성을 제거하기 위한 움직임 예측도 수행한다. 종래에는 움직임 정보와 전역 변이를 슬라이스 단위로 계산하였는데, 특히 하나의 화면안에 복수 개의 객체가 있거나, 전경 영상와 배경 영상이 혼재하는 경우, 전역 변이를 이용한 예측과 종래의 부호화/복호화 방법을 적용하여 공간적인 중복성을 제거하더라도 부호화 효율을 향상시키에는 일정한 한계가 있다.
본 발명은 공유하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록에 대한 추적의 정확성을 향상시키고, 다른 시점의 화면 간에 존재하는 부호화 정보의 중복에 따른 비효율성을 효율적인 변이 예측과 부호화 정보의 공유하는 움직임 정보의 공유 방법 및 장치를 제공하는 것을 목적으로 한다. 또한, 본 발명은 매크로블록 단위의 전역 변이 예측을 이용한 상응 매크로블록에 따른 움직임 정보의 공유 또는 잔여 성분 예측을 이용하여 다시점 비디오 영상을 부호화/복호화시키는 방법 및 장치를 제공하는 것을 목적으로 한다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 움직임 정보 공유 방법은 a) 부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 단계; b) 상기 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 단계; 및 c) 상기 현재 매크로블록의 부호화시에 상기 제 2 상응 매크로블록의 움직임 정보를 공유하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 움직임 정보 공유 장치는 부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 제 1 상응 매크로블록 결정부; 상기 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 제 2 상응 매크로블록 결정부; 및 상기 현재 매크로블록의 부호화시에 상기 제 2 상응 매크로블록의 움직임 정보를 공유하는 움직임 정보 공유부를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 움직임 정보 공유 방법은 a) 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하는 단계; b) 상기 수신된 비트스트림 정보에 포함된 정보들 중 현재 매크로블록에 상응하는 상응 매크로블록의 움직임 정보를 현재 매크로블록이 공유하는지 여부에 대한 정보인 공유 정보를 복원하는 단계; 및 c) 상기 현재 매크로블록이 상기 상응 매크로블록의 움직임 정보를 공유하는 경우, 상기 현재 매크로블록이 속하는 현재 화면과 시간이 동일하며 이미 복호화된 인접 화면의 매크로블록의 움직임 정보를 상기 수신된 비트스트림 정보의 복호화시에 공유하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 움직임 정보 공유 장치는 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하고, 상기 수신된 비트스트림 정보에 포함된 정보들 중 현재 매크로블록에 상응하는 상응 매크로블록이 움직임 정보를 현재 매크로블록이 공유한다는 것에 대한 공유 정보가 포함되었는지 여부를 판단하는 공유 정보 복원부; 및 상기 현재 매크로블록이 상기 상응 매크로블록의 움직임 정보를 공유하는 경우, 상기 현재 매크로블록이 속하는 현재 화면과 시간이 동일하며 이미 복호화된 인접 화면의 매크로블록의 움직임 정보를 상기 수신된 비트스트림 정보의 복호화시에 공유하는 복호화 정보 공유부를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 비디오 영상 부호화 방법은 a) 부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 단계; b) 상기 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 단계; 및 c) 상기 제 2 상응 매크로블록에 따른 움직임 정보 또는 잔여 성분 정보를 이용하여 상기 현재 매크로블록을 부호화하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 비디오 영상 부호화 장치는 부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 제 1 상응 매크로블록 결정부; 상기 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 제 2 상응 매크로블록 결정부; 및 상기 제 2 상응 매크로블록에 따른 움직임 정보 또는 잔여 성분 정보를 이용하여 상기 현재 매크로블록을 부호화하는 부호화부를 포함한다. 특히 제 1 상응 매크로블록 결정부는 현재 매크로블록의 움직임 벡터 예측값을 이용하여 매크로블록 후보 영역을 추적하는 후보 영역 추적부; 및 상기 제 1 인접 화면에 속하는 매크로블록들 중 상기 매크로블록 후보 영역과 소정의 관련성을 갖는 하나의 매크로블록을 제 1 상응 매크로블록으로 결정하는 결정부를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 비디오 영상 복호화 방법은 a) 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하는 단계; b) 상기 수신된 비트스트림 정보에 포함된 정보들 중에서 현재 매크로블록에 상응하는 상응 매크로블록이 움직임 정보를 현재 매크로블록이 공유한다는 것에 대한 공유 정보 또는 상기 상응 매크로블록과 현재 매크로블록의 잔여 성분 정보의 차분값 정보를 복호화하는 단계; 및 c) 상기 b)단계에서 복호화된 정보에 따라 이미 복호화된 상응 매크로블록의 복호화 정보를 이용하여 상기 현재 매크로블록에 따른 복원 영상을 생성하는 단계를 포함한다.
상기 다른 기술적 과제를 달성하기 위한 본 발명에 따른 다시점 비디오 영상 복호화 장치는 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하고, 상기 수신된 비트스트림 정보에 포함된 정보들 중에서 현재 매크로블록에 상응하는 상응 매크로블록이 움직임 정보를 현재 매크로블록이 공유한다는 것에 대한 공유 정보 또는 상기 상응 매크로블록과 현재 매크로블록의 잔여 성분 정보의 차분값 정보를 복호화하는 복호화부; 상기 복호화부에서 복호화된 정보에 따라 이미 복호화된 상응 매크로블록의 복호화 정보를 이용하여 상기 현재 매크로블록에 따른 복원 영상을 생성하는 영상 복원부를 포함한다.
상기 다른 기술적 과제를 달성하기 위하여, 본 발명은 상기 움직임 정보의 공유 방법과 다시점 비디오 영상의 부호화/복호화 방법이 컴퓨터 상에서 수행될 수 있는 컴퓨터에서 판독 가능한 기록 매체를 제공한다.
이하에서는 도면과 실시예를 참조하여 본 발명의 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유 방법 및 장치 그리고 이를 이용한 다시점 비디오 영상 부호화/복호화 방법 및 장치에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 매크로블록 단위의 변위 예측을 이용한 움직임 정보 공유 장치를 나타내는 블록도이다. 본 실시예의 움직임 정보 공유 장치(1)는 움직임 정보 저장부(12), 제 1 상응 매크로블록 결정부(14), 전역 변이 계산부(16), 제 2 상응 매크로블록 결정부(18) 및 움직임 정보 공유부(20)를 포함한다.
움직임 정보 공유 장치(1)는 다시점 비디오 영상의 부호화 장치의 일 구성으로 사용되는 것으로서, 현재 매크로블록의 움직임 정보를 부호화하지 않고, 이미 부호화된 인접 화면에 속하는 매크로블록의 움직임 정보를 공유하기 위한 장치이다. 여기에서 움직임 정보란 움직임 벡터, 부호화 모드에 대한 정보를 포함한다. 인접 화면은 시점은 다르지만 시간이 동일한 화면을 의미한다.
움직임 정보 저장부(12)는 현재 매크로블록(current macroblock)에 선행하여 부호화된 매크로블록의 움직임 정보를 저장한다.
제 1 상응 매크로블록 결정부(14)는 현재 화면 정보와 이미 부호화된 화면 정보를 입력 받아 제 1 상응 매크로블록을 결정한다. 특히, 제 1 상응 매크로블록 결정부(14)는 현재 매크로블록과 시점이 인접한 주변 매크로블록의 움직임 벡터를 이용하여 현재 매크로블록의 움직임 벡터 예측값을 계산하고, 다음 상기 움직임 벡터 예측값을 이용하여 현재 매크로블록이 포함된 현재 화면(current picture)과 시점이 동일하며 이미 부호화된 제 1 인접 화면 (neighbor picture)에서 제 1 상응 매크로블록(corresponding macroblock)을 결정한다. 여기에서 현재 매크로블록과 인접한 주변 매크로블록은 현재 화면상에서 공간적으로 현재 매크로블록의 상하좌우에 위치하며, 이미 계산된 움직임 벡터 정보를 갖고 있는 매크로블록을 의미한다. 현재 매크로블록의 움직임 벡터는 주변 매크로블록과 유사한 움직임 벡터를 가질 것이므로, 주변 매크로블록에 따른 움직임 벡터의 평균값 또는 중간값을 현재 매크로블록에 따른 움직임 벡터의 예측값으로 사용할 수 있다. 또한, 시점이 동일하다는 것은 다시점 카메라 시스템을 구성하는 서브 카메라가 동일하다는 것을 의미한다. 제 1 인접 화면은 현재 화면에 선행 또는 후행하는 앵커 프래임(anchor frame)으로서 현재 화면에 앞서 부호화된 화면이다. 상응 매크로블록은 인트라코딩된 것은 제외되며, 가장 인접하게 인터 코딩된 매크로블록을 상응 매크로블록이라 지칭한다.
전역 변이 계산부(16)는 제 1 상응 매크로블록 결정부(14)에 의하여 결정된 제 1 상응 매크로블록의 전역 변이를 계산하고, 계산된 전역 변이값을 저장한다. 여기에서 전역 변이(global disparity)란 다시점 비디오 영상에서 카메라의 수직 또는 수평 위치의 차이에 따라 다르게 획득된 화면들 사이의 수직 또는 수평 방향의 편차를 의미한다.
본 실시예에서의 전역 변이는 매크로블록 단위의 전역 변이로서, 기존의 슬 라이스 또는 화면 단위의 전역 변이와는 구별된다. 객체 영상은 크게 전경 영상과 배경 영상으로 나눌 수 있는데, 일반적으로 전경 영상의 경우 전역 변이가 크고, 배경 영상의 경우 전역 변이가 작다. 기존의 방법에 따라 슬라이스 또는 화면 단위로 전역 변이를 계산하는 것은 객체를 구별하지 않고 전역 변이를 계산한 것이기 때문에 원래의 화면과 오차가 크다. 본 실시예에의 움직임 정보 공유 장치를 이용하면 매크로블록 단위로 전역 변이를 계산함에 따른 부담은 증가하지만, 움직임 정보를 공유하여 부호화 프로세싱의 부담을 경감할 수 있다.
전역 변이를 계산하는 방법에 특별한 제한이 있는 것은 아니지만, 예를 들어 전역 변이 계산부(16)는 현재 화면과 제 1 인접 화면의 정보를 업샘플링하고, 하기 하기 수학식1에 따라 전역 변이를 계산하는 것이 바람직하다.
[수학식 1]
Figure 112007047217316-PAT00001
전역 변이 계산부는 픽셀의 루마(luma)값에 대하여 수학식1의 연산을 통해 현재 화면과 제 1 인접 화면 사이의 전역변이를 산출한다. 여기서, gxy는 각 화면 사이에서 최소가 되는 루마의 차이값의 합을 중첩된 영역으로 나눈 값을 지칭한다. 본 실시예의 경우 매크로블록 단위로 전역 변이를 계산하기 때문에, 현재 화면에서 현재 매크로블록을 제외한 다른 매크로블록의 루마값을 0으로 처리하는 것이 바람직하다. img0(i, j)는 첫 번째 시점 화면에서 (i, j) 위치에 있는 픽셀의 루마값이고, img1(i-x, j-y)는 마찬가지로 두 번째 시점 화면에서 (i-x, j-y) 위치에 있는 픽셀의 루마값이다. R은 두 화면의 변이값을 x, y로 취하였을 때 중첩되는 영역의 면적이다. 모든 x, y 값에 걸쳐 두 화면 사이의 루마값 차이를 구한 뒤 이를 중첩되는 영역의 면적(R)으로 나누어 gxy를 구한다. 모든 픽셀에 대한 루마값의 차이를 중첩되는 영역의 면적(R)으로 나눈 값이 최소가 되는 x, y 값이 두 매크로블록 사이의 전역 변이(xm, ym)이다.
제 2 상응 매크로블록 결정부(18)는 제 1 상응 매크로블록에 따른 전역 변이를 이용하여 제 2 상응 매크로블록을 결정한다. 제 2 상응 매크로블록 결정부(18)은 전역 변이 계산부(16)에서 계산된 전역 변이를 이용하여, 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면에 속하는 매크로블록 들 중에서 현재 매크로블록에 대응되는 제 2 상응 매크로블록을 추적한다.
움직임 정보 공유부(20)는 현재 매크로블록의 움직임 정보를 제 2 상응 매크로블록의 움직임 정보와 공유처리한다. 비트스트림의 구조 측면에서 볼 때, 움직임 정보의 공유 여부에 대한 새로운 플래그(flag)를 매크로블록단의 최상위에 정의하고, 이러한 정보를 움직임 정보 공유부를 통해 출력시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 움직임 정보 공유 방법을 나타내는 흐름도이다. 본 실시예의 움직임 정보 공유 방법은 움직임 정보 공유 장치(1)에서 시계열적으로 처리되는 하기 단계들을 포함한다.
42단계에서 움직임 벡터 예측부(미도시)는 현재 매크로블록의 움직임 벡터 예측값을 계산한다. 현재 매크로블록의 움직임 벡터 예측값은 MVpred(predicted motion vector) 또는 움직임 예측 단계에서 얻어진 움직임 벡터를 이용하여 계산할 수 있다. 특히, 현재 매크로블록과 인접한 주변 매크로블록의 움직임 벡터를 이용하여 현재 매크로블록의 움직임 벡터 예측값을 계산할 수 있다.
44단계에서 제 1 상응 매크로블록 결정부(14)는 상기 움직임 벡터 예측값을 이용하여 현재 매크로블록에 상응하는 매크로블록을 결정한다.
46단계에서 전역 변이 계산부(16)는 제 1 상응 매크로블록 결정부(14)에서 결정된 제 1 상응 매크로블록에 따른 전역 변이를 계산하고, 계산된 전역 변이를 저장한다.
48단계에서 제 2 상응 매크로블록 결정부(18)는 제 1 상응 매크로블록의 전역 변이를 현재 매크로블록의 전역 변이와 동일한 것으로 취급하고, 상기 전역 변이를 이용하여 현재 매크로블록에 상응하는 제 2 상응 매크로블록을 결정한다.
50단계에서 움직임 정보 공유부(20)는 현재 매크로블록의 움직임 정보를 제 2 상응 매크로블록의 움직임 정보와 공유한다.
본 실시예에 따르면 현재 매크로블록의 부호화시에 제 2 상응 매크로블록의 움직임 정보를 공유함으로써 부호화 효율을 향상시킬 수 있다. 또한, 제 2 상응 매크로블록의 잔여 성분 예측을 이용하여 제 2 상응 매크로블록의 잔여 성분과 현재 매크로블록의 잔여 성분간의 차이값에 대한 정보를 부호화하는 방식으로 이용될 수 있다.
도 3은 본 발명의 일 실시예에 따른 움직임 정보 공유 장치를 나타내는 블록도이다. 본 발명의 움직임 정보 공유 장치는 비트스트림 수신부(52), 공유 정보 판 단부(54), 복호화 정보 공유부(56) 및 복호화 정보 저장부(58)를 포함한다. 본 발명의 움직임 정보 공유 장치는 영상 부호화 장치(미도시)를 통해 생성된 비트스트림 정보를 입력 받아 다시점 영상을 복원하는 영상 복호화 장치의 일 구성으로 사용될 수 있다. 여기에서 복호화 정보란 복호화된 움직임 정보와 잔여 성분 정보를 의미한다.
비트스트림 수신부(52)는 외부 기기인 영상 부호화 장치에서 생성된 비트스트림 정보를 수신한다. 공유 정보 판단부(54)는 현재 매크로블록의 복호화시에 이미 복호화된 매크로블록의 복호화 정보를 공유할 것인지 여부를 판단한다. 공유 정보 판단부(54)는 외부 장치인 엔트로피 복호화부를 통해 복호화된 정보에 포함된 공유 정보를 기반으로 복호화 정보의 공유 여부를 판단한다.
복호화 정보 공유부(56)는 현재 매크로블록이 움직임 정보를 공유하는 것으로 판단된 경우, 현재 매크로블록이 속하는 현재 화면과 시간이 동일하며 이미 복호화된 인접 화면의 매크로블록의 복호화 정보를 현재 매크로블록의 복호화시에 공유하는 신호 처리를 수행한다. 복호화 정보 저장부(58)는 영상 복호화 장치(미도시)에서 생성된 복호화 정보를 저장한다.
도 4는 다시점 비디오 영상 부호화 장치와 복호화 장치를 포함하는 다시점 비디오 시스템에 대한 개략도이다. 도 4에 도시된 시스템은 일반적으로 사용되는 다시점 비디오 전송을 위한 시스템으로서, 도시된 시스템은 촬영 대상으로부터 서로 다른 시점(view point)의 영상 정보를 획득하는 복수의 카메라(62, 64, 66, 68), 획득된 영상 정보를 부호화하는 다시점 비디오 영상의 부호화 장치(70), 상기 부호화 장치(70)와 사용자 단말(90)간의 통신 경로인 인터넷(72)을 포함한다.
도 5는 본 발명의 일 실시예에 따른 다시점 비디오 영상 부호화 장치를 나타내는 블록도이다. 본 실시예의 다시점 비디오 영상 부호화 장치(70)는 버퍼(102), 화면 재배열부(104), 감산기(106), 이산여현변환부(DCT, 112), 양자화부(Q, 114), 역양자화부(Q-1, 116), 역이산여현변환부(IDCT, 118), 화면 저장부(120), 움직임 예상부(122), 상응 매크로블록 추적부(124), 부호화 모드 결정부(126), 움직임 정보 저장부(128), 움직임 보상부(130), 엔트로피 부호화부(132) 및 비트스트림 생성부(134)를 포함한다.
버퍼(102)는 다시점 비디오 카메라들로부터 획득된 비디오 영상 정보들을 수신하고, 일시적으로 저장한다. 화면 재배열부(104)는 미리 정해진 화면의 재배열 순서에 따라 버퍼(102)에 액세스하여 현재 화면에서 부호화하고자 하는 매크로블록 데이터를 상응 매크로블록 추적부(124), 움직임 예상부(122) 및 감산기(102)에 전달한다.
도 5에 도시된 전방향 경로(forward path)를 따라 본 실시예에 따른 구성 요소들을 설명하면 다음과 같다. 감산기(102)는 움직임 보상부(130)로부터 전달받은 재구성된 매크로블록과 현재 매크로블록의 차이값 행렬을 잔여 성분 정보로서 이산여현변환부(DCT, 112)에 전달한다. 이산여현변환부(112)는 차이값 행렬을 이산 코사인 변환하여 DCT 계수를 생성한다. 양자화부(Q, 114)는 이산여현변환부(112)에서 생성된 DCT계수를 양자화한다. 엔트로피 부호화부(132)는 양자화부(114)로부터의 양자화된 DCT계수와 부호화 모드 결정부(116)로부터의 움직임 정보를 전달받고, CAVLC(Context Adaptive Variable Length Codes) 또는 CABAC(Context Adaptive Binary Arithmetic Coding) 등의 방법으로 엔트로피 부호화를 수행한다. 비트스트림 생성부(134)는 엔트로피 부호화부(132)에서 생성된 부호화된 정보를 전달 받아 비트스트림을 생성하여 외부 네트워크로 전송한다.
다음, 도 5에 도시된 재구성 경로(reconstruction path)를 따라 본 실시예의 구성요소들을 설명하면 다음과 같다. 양자화부(Q, 114)에서 생성된 양자화된 DCT계수는 역양자화부(Q-1, 116)와 역이산여현변환부(IDCT, 118)을 통해 매크로블록으로 재구성되며 가산기를 거쳐 화면 저장부(120)에 저장된다.
움직임 예상부(122)는 화면 재배열부(104)에서 입력되는 현재 매크로블록에 대한 움직임 정보를 예상하고, 현재 매크로블록에 대한 움직임 정보를 부호화 모드 결정부(126)에 전달한다. 여기에서 움직임 정보는 움직임 벡터와 모드 정보를 의미하며, 여기에서 모드 정보는 매크로블록의 부호화를 위한 매크로블록의 분할과 관련된 정보를 의미한다.
상응 매크로블록 추적부(124)는 화면 재배열부(104)에서 입력되는 현재 매크로블록 정보와 화면 저장부(120)에 저장된 인접 화면 정보를 입력 받고, 현재 매크로블록의 상응 매크로블록을 추적한다.
도 6은 도 5의 실시예에서 상응 매크로블록 추적부(124)에 대한 상세 블록도이다. 상응 매크로블록 추적부(124)는 제 1 상응 매크로블록 결정부(202), 전역 변 이 결정부(204), 전역 변이 독출부(206) 및 제 2 상응 매크로블록 결정부(208)를 포함한다.
제 1 상응 매크로블록 결정부(202)는 부호화하고자하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정한다. 특히, 제 1 상응 매크로블록 결정부(202)는 현재 매크로블록의 움직임 벡터 예측값을 이용하여 매크로블록 후보 영역을 추적하는 후보 영역 추적부(미도시)와, 제 1 인접 화면에 속하는 매크로블록들 중 상기 매크로블록 후보 영역과 소정의 관련성을 갖는 하나의 매크로블록을 제 1 상응 매크로블록으로 결정하는 결정부(미도시)를 포함한다.
전역 변이 계산부(204)는 현재 매크로블록 보다 선행하여 부호화된 매크로블록 단위의 전역 변이를 계산한다. 특히, 앵커 프래임은 다른 화면에 비하여 먼저 부호화되는데, 전역 변이 계산부(204)는 앵커 프래임에 속하는 매크로블록에 따른 전역 변이를 미리 계산하여 전역 변이 계산부(204)에 저장하는 것이 바람직하다. 저장된 전역 변이 값은 현재 매크로블록에 대한 제 2 인접 시점의 제 2 상응 매크로블록을 찾는데 사용된다. 본 실시예에서는 매크로블록당 전역 변이값(GDV)을 계산하여 저장하기 위한 GDV 변수를 추가하여 저장하지만, 전역 변이값을 부호화 할 필요는 없다. 그러나, 저장된 전역 변이값은 움직임 벡터 예측값(MVpred)과 같이 공유의 필요에 따라 공유하여 사용된다.
전역 변이 독출부(206)는 제 1 상응 매크로블록 결정부(202)에서 결정된 제 1 상응 매크로블록에 따른 전역 변이 정보를 전역 변이 계산부(204)로부터 독출한 다. 제 2 상응 매크로블록 결정부(208)는 전역 변이 독출부(206)로부터 전달받은 전역 변이 정보를 이용하여, 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정한다.
도 7는 도 5의 실시예에서 상응 매크로블록을 추적하는 원리를 설명하는 개념도이다. 도 7에서 부호화하고자 하는 현재 매크로블록(D)은 현재 화면(152)에 포함된다. 본 발명은 제 1 인접 화면(154)과 화면(156, 160, 162)은 모두 앵커 프래임으로서 현재 화면에 비하여 먼저 부호화되는데, 앵커 프래임에 속하는 매크로블록에 대한 전역 변이를 이용하여 현재 매크로블록의 전역 변이를 유추할 수 있다. 제 1 상응 매크로블록(C)이 매크로블록(A)를 참조하여 부호화된 경우, 매크로블록(A)가 특정되면 매크로블록 (A)와 (C) 사이의 전역 변이(GDVa)가 특정된다. 매크로블록(C)는 현재 매크로블록(D)이 부호화를 위해 참조하는 영역과 가장 가깝게 위치하는 매크로블록이다.
인접하는 화면 간의 전역 변이는 매크로블록을 기준으로 하더라도 서로 유사하다는 것과, 현재 매크로블록의 부호화에 앞서 앵커 프래임에 속하는 각 매크로블록에 따른 전역 변이 값을 미리 계산하여 저장할 수 있다는 것을 고려할 때, 제 1 상응 매크로블록에 따른 전역 변이(GDVa)가 특정되면 제 2 상응 매크로블록(B)를 결정할 수 있다. 특히, GDVa를 현재 매크로블록(D)와 제 2 상응 매크로블록(B)의 전역 변이인 GDVb와 동일한 것이라 가정하면 제 2 상응 매크로블록을 추적할 수 있다.
도 8은 도 5의 실시예에서 제 1 상응 매크로블록(C)을 추적하는 원리를 설명 하는 개념도이다. 도 8에 도시된 바와 같이, 제 1 상응 매크로블록 결정부는 현재 매크로블록(D)의 움직임 벡터 예측값을 이용하여 후보 영역(C')를 추적하고, 후보 영역(C')과 중복된 영역이 가장 넓은 매크로블록을 제 1 상응 매크로블록(C)으로 결정할 수 있다.
부호화 모드 결정부(126)는 제 2 상응 매크로블록의 부호화 모드 정보를 고려하여 현재 매크로블록의 부호화 모드를 결정한다. 예를 들어, 부호화 모드 결정부(126)는 현재 매크로블록이 제 2 상응 매크로블록의 부호화 정보를 공유할 것인지 여부를 결정할 수 있다. 또한, 부호화 모드 결정부(126)는 현재 매크로블록의 부호화를 위한 분할 양상에 따른 복수의 부호화 모드 중에서 가장 효율적인 분할 모드를 결정할 수 있다. 여기에서 복수의 부호화 모드는 제 2 상응 매크로블록과 관련하여 이미 결정되어 저장된 부호화 모드를 포함한다. 부호화 모드 중에서 가장 효율적인 부호화 모드를 선택하는 방법에 특별한 제한이 있는 것은 아니지만, 특히 하기 수학식2를 이용하여 비트-왜곡 관점에서 비용을 최소로 하는 부호화 모드를 선택하는 것이 바람직하다.
[수학식2]
Cost = D + λ·R
여기에서 D는 해당 부호화 모드로 부호화 했을 경우의 왜곡이고 R은 해당 부호화 모드로 부호화 했을 경우의 비트이며, λ는 소정의 가중치로서 둘 특히 H.264/AVC에서 정의된 값을 이용할 수 있다.
움직임 정보 저장부(128)는 이미 부호화된 화면 또는 매크로블록의 움직임 정보를 저장한다. 여기에서 움직임 정보는 매크로블록 단위의 움직임 벡터와 부호화 모드 정보를 포함한다. 부호화 모드 결정부(126)는 현재 매크로블록에 대한 부호화 모드를 결정할 경우, 움직임 정보 저장부(128)에 저장된 제 2 상응 매크로블록의 움직임 정보를 고려하여 비트-왜곡의 관점에서 현재 매크로블록에 가장 적합한 부호화 모드를 결정한다.
움직임 보상부(130)는 부호화 모드 결정부(126)에 따른 부호화 모드 정보를 이용하여 예측 매크로블록에 대한 정보를 감산기와 가산기에 전달한다.
부호화 모드 결정부(126)에서 결정된 움직임 정보는 엔트로피 부호화부(132)에 전달되며, 엔트로피 부호화부는 양자화부(114)에서 양자화된 잔여 성분 정보(양자화된 DCT 계수)와 움직임 정보를 엔트로피 부호화하고, 비트스트림 생성부(134)는 부호화된 정보들에 따른 비트스트림을 생성한다.
상기 실시예에서 현재 매크로블록이 제 2 상응 매크로블록과 움직임 정보를 공유하는 예를 나타내 것이다. 도면에 도시되지는 않았지만, 제 2 상응 매크로블록의 잔여 성분 정보와 현재 매크로블록의 잔여 성분 정보의 차분을 구하고, 구해진 차분을 새로운 잔여 성분 정보로 하는 정의하여 사용하는 방법이 있다.
도 9는 본 발명의 일 실시예에 따른 다시점 비디오 영상 부호화 방법을 나타내는 흐름도이다. 본 실시예에 따른 다시점 비디오 영상 부호화 방법은 다시점 비디오 영상 부호화 장치에서 시계열적으로 처리되는 하기의 단계들을 포함한다.
302단계에서 제 1 상응 매크로블록 결정부(202)는 제 1 상응 매크로블록을 결정한다. 304단계에서 제 2 상응 매크로볼록 결정부(208)는 제 1 상응 매크로블록 에 따른 전역 변이를 이용하여 제 2 상응 매크로블록을 결정한다. 306단계에서 공유화 모드 결정부(126)는 제 2 상응 매크로블록의 움직임 정보를 공유하는 것이 효율적인 것인지 여부를 결정한다. 본 실시예에서는 움직임 정보의 경우를 예로 들었지만, 움직임 정보 이외에도 잔여 성분 정보를 공유할 것인지 여부를 더욱 고려하는 것도 가능하다.
부호화 모드 결정부(126)는 제 2 상응 매크로블록의 움직임 정보를 공유할 것으로 결정한 경우, 현재 매크로블록의 부호화시에 제 2 상응 매크로블록의 움직임 정보를 공유한다는 플래그를 생성한다(308단계). 한편, 제 2 상응 매크로블록의 움직임 정보를 공유하지 않을 것으로 결정한 경우, 현재 매크로블록에 대한 부호화는 제 2 상응 매크로블록과 별도로 독립적으로 수행된다(310단계).
엔트로피 부호화부(132)는 움직임 정보를 공유한다는 플래그 정보 또는 독립적으로 수행된 움직임 정보를 입력 받아, 엔트로피 부호화를 수행한다.
도 10은 본 발명의 일 실시예에 따른 다시점 비디오 영상 복호화 장치를 나타내는 블록도이다. 본 실시의 다시점 비디오 영상 복호화 장치는 엔트로피 복호화부(402), 움직임 정보 저장부(404), 역양자화부(Q-1, 406), 역이산여현변환부(IDCT, 408), 움직임 보상부(410) 및 프래임 재배열부(412)를 포함한다.
엔트로피 복호화부(402)는 복호화하고자 하는 현재 매크로블록에 따른 부호화 정보 즉 비트스트림을 수신하고, 상기 수신된 비트스트림을 엔트로피 복호화한다. 엔트로피 복호화부(402)는 공유 정보 복호화부(502), 움직임 정보 복호화 부(504) 및 잔여 성분 정보 복호화부(506)를 포함한다.
공유 정보 복호화부(502)는 수신된 비트스트림에서 움직임 정보의 공유 여부에 대한 공유 정보를 복호화한다. 움직임 정보 복호화부(504)는 수신된 비트스트림에서 움직임 정보를 복호화하며, 잔여 성분 복호화부(506)는 잔여 성분 정보를 복호화한다.
움직임 정보 저장부(404)는 이미 복호화된 화면 또는 매크로블록의 움직임 정보를 저장한다. 본 실시예에서는 움직임 정보만을 공유하도록 구성되었지만, 움직임 정보와 잔여 성분 정보를 모두 공유하도록 복호화 장치를 구성하는 것도 가능하다. 움직임 보상부(410)는 움직임 정보 복호화부(504) 또는 움직임 정보 저장부(404)로부터 움직임 정보를 전달받고, 움직임 보상된 복원 영상을 생성한다.
잔여 성분 복호화부(506)에서 복호화된 잔여 성분 정보는 역양자화부(Q-1, 406)를 통해 역양자화된다. 역이산여현변환부(IDCT, 408)는 이산 코사인 변환의 역연산을 수행하여 주파수 성분을 다시 화소 성분으로 변환한다. 역이산여현변환부를 통해 역연산된 잔여 성분 정보는 가산기에 입력되며, 가산기는 움직임 보상부를 통해 복원된 영상과 잔여 성분 정보를 가산처리하여 예측된 복원 영상 정보를 프래임 재배열부(412)로 전달한다. 프래임 재배열부는 가산기로 부터의 복원 영상 정보를 입력 받고, 디스플레이의 시간 순서에 맞도록 프래임을 재배열한다.
한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스 템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명은 앵커 프래임(시점 방향의 예측만을 이용하는 화면)에 속하는 각 매크로블록에 따른 전역 변이와 부호화하고자 하는 현재 화면에 속하는 매크로블록의 전역 변이의 유사성을 이용하여 현재 매크로블록에 상응하는 상응 매크로블록을 추적하고, 추적된 상응 매크로블록의 움직임 정보, 잔여 성분 정보 등을 현재 매크로블록의 부호화/복호화에 공유하여 활용함으로써, 다른 시점의 화면 사이에서 존재하는 움직임 정보의 중복에 따른 비효율성을 움직임 정보의 공유와 잔여 성분 예측을 통해 효과적으로 개선할 수 있다. 또한, 시점은 다르지만 시간이 동일한 상응 매크로블록의 추적의 정확성을 향상시킬 수 있으며, 매크로블록 또는 객체에 따른 전역 변이의 특성이 반영된 효과적인 움직임 정보의 공유, 잔여 성분의 예측이 가능하다. 또한, 본 발명에 따르면 부호화하고자 하는 매크로블록의 부호화시 상응 매크로블록의 움직임 정보에 대한 공유의 효율성을 비트-왜곡 관점에서 비교함으로써, 부호화에 따른 영상 정보가 손실되는 문제를 개선하는 다시점 비디오 영상의 부호화/복호화가 가능하다.

Claims (21)

  1. 움직임 정보 공유 방법에 있어서,
    a) 부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 단계;
    b) 상기 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 단계; 및
    c) 상기 현재 매크로블록의 부호화시에 상기 제 2 상응 매크로블록의 움직임 정보를 공유하는 단계를 포함하는 것을 특징으로 하는 움직임 정보 공유 방법.
  2. 제 1 항에 있어서, 상기 a) 단계는
    현재 매크로블록에 대한 움직임 벡터의 예측값을 이용하여 제 1 상응 매크로블록을 결정하는 단계를 포함하는 것을 특징으로 하는 움직임 정보 공유 방법.
  3. 제 1 항에 있어서, 상기 제 1 상응 매크로블록에 따른 전역 변이는
    상기 제 1 인접 화면에 선행하여 부호화되며 시간이 동일한 제 1 참조 화면에 속하는 제 1 참조 매크로블록과 상기 제 1 상응 매크로블록간의 전역 변이이고, 상기 제 1 인접 화면과 상기 제 1 참조 화면은 앵커 프래임인 것을 특징으로 하는 움직임 정보 공유 방법.
  4. 제 1 항에 있어서, 상기 a) 단계는
    a1) 상기 현재 매크로블록과 인접한 주변 매크로블록의 움직임 벡터를 이용하여 상기 현재 매크로블록의 움직임 벡터 예측값을 계산하는 단계; 및
    a2) 상기 움직임 벡터 예측값을 이용하여 매크로블록 후보 영역을 추적하는 단계; 및
    a3) 상기 제 1 인접 화면에 속하는 매크로블록들 중 상기 매크로블록 후보 영역과 소정의 관련성을 갖는 하나의 매크로블록을 제 1 상응 매크로블록으로 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항의 움직임 정보 공유 방법을 컴퓨터상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독가능한 기록 매체.
  6. 움직임 정보 공유 장치에 있어서,
    부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 제 1 상응 매크로블록 결정부;
    상기 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 제 2 상응 매크로블록 결정부; 및
    상기 현재 매크로블록의 부호화시에 상기 제 2 상응 매크로블록의 움직임 정보를 공유하는 움직임 정보 공유부를 포함하는 것을 특징으로 하는 부호화 정보 공유 장치.
  7. 움직임 정보 공유 방법에 있어서,
    a) 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하는 단계;
    b) 상기 수신된 비트스트림 정보에 포함된 정보들 중 현재 매크로블록에 상응하는 상응 매크로블록의 움직임 정보를 현재 매크로블록이 공유하는지 여부에 대한 정보인 공유 정보를 복원하는 단계; 및
    c) 상기 현재 매크로블록이 상기 상응 매크로블록의 움직임 정보를 공유하는 경우, 상기 현재 매크로블록이 속하는 현재 화면과 시간이 동일하며 이미 복호화된 인접 화면의 매크로블록의 움직임 정보를 상기 수신된 비트스트림 정보의 복호화시에 공유하는 단계를 포함하는 것을 특징으로 하는 움직임 정보 공유 방법.
  8. 움직임 정보 공유 장치에 있어서,
    복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하고, 상기 수신된 비트스트림 정보에 포함된 정보들 중 현재 매크로블록에 상응하는 상응 매크로블록의 움직임 정보를 현재 매크로블록이 공유한다는 것에 대한 공유 정보가 포함되었는지 여부를 판단하는 공유 정보 복원부; 및
    상기 현재 매크로블록이 상기 상응 매크로블록의 움직임 정보를 공유하는 경우, 상기 현재 매크로블록이 속하는 현재 화면과 시간이 동일하며 이미 복호화된 인접 화면의 매크로블록의 움직임 정보를 상기 수신된 비트스트림 정보의 복호화시에 공유하는 복호화 정보 공유부를 포함하는 것을 특징으로 하는 복호화 정보 공유 장치.
  9. 다시점 비디오 영상 부호화 방법에 있어서,
    a) 부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 단계;
    b) 상기 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 단계; 및
    c) 상기 제 2 상응 매크로블록에 따른 움직임 정보 또는 잔여 성분 정보를 이용하여 상기 현재 매크로블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 방법.
  10. 제 9 항에 있어서,
    상기 a) 단계는 현재 매크로블록에 대한 움직임 벡터의 예측값을 이용하여 제 1 상응 매크로블록을 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 방법.
  11. 제 10 항에 있어서, 상기 a) 단계는
    a1) 상기 현재 매크로블록과 인접한 주변 매크로블록의 움직임 벡터를 이용하여 상기 현재 매크로블록의 움직임 벡터 예측값을 계산하는 단계; 및
    a2) 상기 움직임 벡터 예측값을 이용하여 상기 제 1 상응 매크로블록을 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 방법.
  12. 제 11 항에 있어서, 상기 a2) 단계는
    a21) 상기 움직임 벡터 예측값을 이용하여 매크로블록 후보 영역을 추적하는 단계; 및
    a22) 상기 제 1 인접 화면에 속하는 매크로블록들 중 상기 매크로블록 후보 영역과 소정의 관련성을 갖는 하나의 매크로블록을 제 1 상응 매크로블록으로 결정하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 방법.
  13. 제 9 항에 있어서, 상기 c) 단계는
    c1) 상기 제 2 상응 매크로블록에 따른 움직임 정보를 상기 대상 매크로블록의 부호화시에 공유할 것인지 여부를 비트-왜곡의 관점에서 판단하는 단계; 및
    c2) 상기 c1) 단계의 판단 결과 공유할 것으로 판단한 경우, 상기 대상 매크로블록은 상기 제 2 상응 매크로블록의 움직임 정보 또는 잔여 성분 정보의 공유를 나타내는 공유 정보를 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 비 디오 영상 부호화 방법.
  14. 제 13 항에 있어서,
    상기 c1) 단계에서 비트-왜곡 관점에서 판단하는 것은,
    상기 현재 매크로블록을 부호화하기 위한 소정의 부호화 모드들 중에서 부호화 비용(cost)을 최소로 하는 하기 수학식에 따라 부호화 모드를 선택하는 것이고, 상기 부호화 모드는 상기 제 2 상응 매크로블록의 부호화 과정에서 결정된 부호화 모드를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 방법.
    수학식
    Cost = D + λ · R
    여기에서 D는 해당 부호화 모드로 부호화 했을 경우의 왜곡이고 R은 해당 부호화 모드로 부호화 했을 경우의 비트이며, λ 는 소정의 가중치이다.
  15. 제 9 항에 있어서, 상기 c)단계는
    현재 매크로블록의 잔여 성분 정보와 제 2 상응 매크로블록의 잔여 성분 정보의 차분을 현재 매크로블록의 잔여 성분 정보로 대체하고, 상기 대체된 현재 매크로블록의 잔여 성분 정보를 이용하여 상기 현재 매크로블록을 부호화하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 방법.
  16. 제 9 항에 있어서,
    상기 제 1 상응 매크로블록이 파티션되어 부호화된 경우, 상기 제 1 상응 매크로블록에 따른 전역 변이는 상기 파티션된 블록들 각각에 따른 전역 변이들의 평균값 또는 중간값인 것을 특징으로 하는 다시점 비디오 영상 부호화 방법.
  17. 제 9 항 내지 제 16 항 중 어느 한 항의 다시점 비디오 영상 부호화 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독가능한 기록 매체.
  18. 다시점 비디오 영상 부호화 장치에 있어서,
    부호화하고자 하는 현재 매크로블록이 포함된 현재 화면과 시점이 동일하며 이미 부호화된 제 1 인접 화면에서 제 1 상응 매크로블록을 결정하는 제 1 상응 매크로블록 결정부;
    상기 제 1 상응 매크로블록에 따른 전역 변이를 이용하여, 상기 현재 화면과 시간이 동일하며 이미 부호화된 제 2 인접 화면의 제 2 상응 매크로블록을 결정하는 제 2 상응 매크로블록 결정부; 및
    상기 제 2 상응 매크로블록에 따른 움직임 정보 또는 잔여 성분 정보를 이용하여 상기 현재 매크로블록을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 장치.
  19. 제 18 항에 있어서,
    상기 제 1 상응 매크로블록 결정부는 현재 매크로블록의 움직임 벡터 예측값 을 이용하여 매크로블록 후보 영역을 추적하는 후보 영역 추적부; 및
    상기 제 1 인접 화면에 속하는 매크로블록들 중 상기 매크로블록 후보 영역과 소정의 관련성을 갖는 하나의 매크로블록을 제 1 상응 매크로블록으로 결정하는 결정부를 포함하는 것을 특징으로 하는 다시점 비디오 영상 부호화 장치.
  20. 다시점 비디오 영상 복호화 방법에 있어서,
    a) 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하는 단계;
    b) 상기 수신된 비트스트림 정보에 포함된 정보들 중에서 현재 매크로블록에 상응하는 상응 매크로블록의 움직임 정보를 현재 매크로블록이 공유한다는 것에 대한 공유 정보 또는 상기 상응 매크로블록과 현재 매크로블록의 잔여 성분 정보의 차분값 정보를 복호화하는 단계; 및
    c) 상기 b)단계에서 복호화된 정보에 따라 이미 복호화된 상응 매크로블록의 복호화 정보를 이용하여 상기 현재 매크로블록에 따른 복원 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 비디오 영상 복호화 방법.
  21. 다시점 비디오 영상 복호화 장치에 있어서,
    복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하고, 상기 수신된 비트스트림 정보에 포함된 정보들 중에서 현재 매크로블록에 상응하는 상응 매크로블록의 움직임 정보를 현재 매크로블록이 공유한다는 것에 대한 공유 정보 또는 상기 상응 매크로블록과 현재 매크로블록의 잔여 성분 정보의 차분값 정보를 복호화하는 복호화부;
    상기 복호화부에서 복호화된 정보에 따라 이미 복호화된 상응 매크로블록의 복호화 정보를 이용하여 상기 현재 매크로블록에 따른 복원 영상을 생성하는 영상 복원부를 포함하는 것을 특징으로 하는 다시점 비디오 영상 복호화 장치.
KR1020070064192A 2007-06-28 2007-06-28 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치 KR101360279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070064192A KR101360279B1 (ko) 2007-06-28 2007-06-28 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070064192A KR101360279B1 (ko) 2007-06-28 2007-06-28 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20090002412A true KR20090002412A (ko) 2009-01-09
KR101360279B1 KR101360279B1 (ko) 2014-02-13

Family

ID=40485410

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070064192A KR101360279B1 (ko) 2007-06-28 2007-06-28 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101360279B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012015192A2 (ko) * 2010-07-27 2012-02-02 에스케이텔레콤 주식회사 경쟁 기반 인터리브드 움직임 벡터코딩 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
KR20140064756A (ko) * 2014-05-15 2014-05-28 삼성전자주식회사 영상 복호화 방법
US9225967B2 (en) 2010-02-26 2015-12-29 Industry-Academic Cooperation Foundation, Yonsei University Multi-view image processing apparatus, method and computer-readable medium
KR20160030140A (ko) * 2016-02-24 2016-03-16 삼성전자주식회사 영상 복호화 방법 및 장치
US9544588B2 (en) 2009-08-13 2017-01-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding motion vector
KR20170115983A (ko) * 2017-09-26 2017-10-18 삼성전자주식회사 영상 부호화 방법 및 장치, 및 컴퓨터로 판독가능한 기록매체
WO2018164505A1 (ko) * 2017-03-09 2018-09-13 주식회사 케이티 영상 부호화 또는 복호화 방법 및 장치
CN110136150A (zh) * 2018-02-08 2019-08-16 北京深境智能科技有限公司 物体图像自动抠取方法和系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544588B2 (en) 2009-08-13 2017-01-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding motion vector
US9883186B2 (en) 2009-08-13 2018-01-30 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding motion vector
US10110902B2 (en) 2009-08-13 2018-10-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding motion vector
US9225967B2 (en) 2010-02-26 2015-12-29 Industry-Academic Cooperation Foundation, Yonsei University Multi-view image processing apparatus, method and computer-readable medium
WO2012015192A2 (ko) * 2010-07-27 2012-02-02 에스케이텔레콤 주식회사 경쟁 기반 인터리브드 움직임 벡터코딩 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
WO2012015192A3 (ko) * 2010-07-27 2012-05-03 에스케이텔레콤 주식회사 경쟁 기반 인터리브드 움직임 벡터코딩 방법 및 장치와 이를 이용한 영상 부호화/복호화 방법 및 장치
KR20140064756A (ko) * 2014-05-15 2014-05-28 삼성전자주식회사 영상 복호화 방법
KR20160030140A (ko) * 2016-02-24 2016-03-16 삼성전자주식회사 영상 복호화 방법 및 장치
WO2018164505A1 (ko) * 2017-03-09 2018-09-13 주식회사 케이티 영상 부호화 또는 복호화 방법 및 장치
KR20170115983A (ko) * 2017-09-26 2017-10-18 삼성전자주식회사 영상 부호화 방법 및 장치, 및 컴퓨터로 판독가능한 기록매체
CN110136150A (zh) * 2018-02-08 2019-08-16 北京深境智能科技有限公司 物体图像自动抠取方法和系统
CN110136150B (zh) * 2018-02-08 2021-03-16 北京深境智能科技有限公司 物体图像自动抠取方法和系统

Also Published As

Publication number Publication date
KR101360279B1 (ko) 2014-02-13

Similar Documents

Publication Publication Date Title
CN112585966A (zh) 以基于历史的运动向量为基础的帧间预测方法及其装置
JP7141463B2 (ja) インター予測モードに基づいた映像処理方法およびそのための装置
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
US20080304569A1 (en) Method and apparatus for encoding and decoding image using object boundary based partition
EP3764643B1 (en) Image processing method based on inter prediction mode, and device therefor
US20220141490A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
JP7249441B2 (ja) 予測サンプルを生成するための加重値インデックス情報を導出する映像デコーディング方法、及びその装置
US20140348242A1 (en) Image coding apparatus, image decoding apparatus, and method and program therefor
JP7490864B2 (ja) クロマ成分符号化ブロックの最大変換サイズ制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP7492067B2 (ja) クロマ変換ブロックの最大サイズ制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP7554881B2 (ja) クロマブロックの最大変換サイズ設定を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP7469335B2 (ja) 動きベクトル予測基盤映像／ビデオコーディング方法及び装置
KR20220024764A (ko) Ibc를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
JP2022536766A (ja) ビデオまたは映像コーディングシステムにおけるインター予測
JP2024113121A (ja) クロマブロックに対する分割制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
KR101363044B1 (ko) 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
CN112567749A (zh) 使用仿射运动预测来处理视频信号的方法和装置
JP7269384B2 (ja) マージ候補を利用して予測サンプルを導出する映像デコード方法及びその装置
KR20240135861A (ko) Sbtmvp 기반 영상 또는 비디오 코딩
KR20090078114A (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
US20240031682A1 (en) Image data encoding/decoding method and apparatus
CN114731405A (zh) 使用量化矩阵的图像编码/解码方法和设备以及发送比特流的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee