KR20090040028A - 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체 - Google Patents

비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체 Download PDF

Info

Publication number
KR20090040028A
KR20090040028A KR1020070105587A KR20070105587A KR20090040028A KR 20090040028 A KR20090040028 A KR 20090040028A KR 1020070105587 A KR1020070105587 A KR 1020070105587A KR 20070105587 A KR20070105587 A KR 20070105587A KR 20090040028 A KR20090040028 A KR 20090040028A
Authority
KR
South Korea
Prior art keywords
macroblock
encoding
encoding mode
information
current
Prior art date
Application number
KR1020070105587A
Other languages
English (en)
Other versions
KR101363044B1 (ko
Inventor
호요성
오관정
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020070105587A priority Critical patent/KR101363044B1/ko
Publication of KR20090040028A publication Critical patent/KR20090040028A/ko
Application granted granted Critical
Publication of KR101363044B1 publication Critical patent/KR101363044B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

본 발명은 상응 매크로블록을 이용한 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를 이용한 비디오 영상의 부호화/복호화 장치 및 방법을 개시한다. 본 발명의 비디오 영상의 부호화 모드 결정 방법은 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 단계; 상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값과, 상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값을 비교하는 단계; 및 상기 비교 결과를 이용하여 상기 상응 매크로블록의 부호화 모드와 상기 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 선택하는 단계를 포함한다. 본 발명에 따르면, 인접한 화면 사이에서 존재하는 움직임 정보의 중복에 따른 부호화의 비효율성을 상응 매크로블록의 움직임 정보 또는 잔여 성분 정보의 공유를 통해 효과적으로 개선할 수 있다.
움직임 정보, 잔여 성분 정보, 상응 매크로블록

Description

비디오 영상의 부호화 모드 결정 방법 및 장치, 이를 이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고 상기 방법을 수행하는 프로그램이 기록된 기록 매체{Method and apparatus for determining encoding mode of video image, method and apparatus for encoding/decoding video image using the same and recording medium storing program for performing the method thereof}
본 발명은 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를 이용한 비디오 영상의 부호화/복호화 장치 및 방법에 관한 것으로서, 특히 인접하는 화면에 존재하는 부호화 정보의 중복에 따른 비효율성을 개선하기 위한 단일 시점 또는 다시점 비디오 영상의 부호화/복호화 장치 및 방법에 관한 것이다.
비디오 영상은 여러장 이미지의 연속이라고 할 수 있다. 비디오 영상의 기본 압축 원리는 데이터의 중복성을 제거하는 것이다. 종래에는 각각의 비디오 영상을 매크로블록 단위로 분할하여 부호화하되, 현재 매크로블록과 가장 유사한 매크로블록을 참조 화면에서 찾고, 둘 사이의 상관관계에 대한 정보와 차이에 대한 정보를 부호화하는 방식이 있었다. 이 경우 각 매크로블록에 대한 부호화 정보는 현재 매크로블록과 유사한 블록의 위치를 가리키는 움직임 정보와, 그 유사한 블록과의 차 이를 나타내는 잔여 성분 정보를 포함한다. 일반적으로 고화질의 영상의 경우 잔여 성분에 대한 데이터가 상대적으로 큰 비트를 차지하고, 저화질의 영상의 경우 움직임 정보에 대한 데이터가 상대적으로 큰 비트를 차지한다.
다시점 비디오 영상은 평행 또는 아크 모양으로 배열된 동기화된 복수개의 카메라를 이용하여 동일한 물체를 촬영하여 얻은 시점 영상(view image)의 집합이다.이러한 다시점 비디오 영상은 입체 디스플레이 장치 뿐만 아니라 입체 방송, 실감 방송, 3D-DMB 방송 등에서 사용자가 원하는 시점에서 시청하거나 콘텐츠를 3D 입체 화상으로 보고자할 때에도 적용될 수 있는 등 응용의 폭이 넓은 기술이다. 다시점 비디오 영상에서 화면들은 시간적 중복성 뿐만 아니라 공간적인 중복성도 갖는다. 따라서, 일반적으로 사용되는 다시점 비디오 인코더에서는 전송 효율을 높이기 위하여 시간 방향으로 움직임 예측을 수행할 뿐만 아니라 다른 시점 사이의 공간적 중복성을 제거하기 위한 움직임 예측도 수행한다. 이와 달리, 단일 시점 비디오 영상에서 화면들은 시간적인 중복성을 갖기 때문에 시간 방향으로 움직임 예측을 수행한다. 그러나, 기존에 제시된 비디오 영상 부호화 방법들은 비트율과 영상의 왜곡 측면에서 충분히 효과적이지 않은 한계가 있다.
본 발명은 현재 움직임 정보와 잔여 성분 정보는 이전에 부호화된 매크로블록과의 유사성이 존재한다는 것에 착안한 발명으로서, 현재 매크로블록의 부호화를 위하여 상응 매크로블록의 부호화 모드를 더 고려하여 현재 매크로블록을 부호화하여 인접한 화면 사이에서 존재하는 움직임 정보의 중복에 따른 부호화의 비효율성을 개선할 수 있는 부호화 모드 결정 방법 및 장치를 제공하는 것을 목적으로 한다. 또한, 본 발명은 이를 이용한 비디오 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
상기 본 발명의 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 영상 부호화 모드 결정 방법은 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 단계; 상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값과, 상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값을 비교하는 단계; 및 상기 비교 결과를 이용하여 상기 상응 매크로블록의 부호화 모드와 상기 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 선택하는 단계를 포함한다.
상기 본 발명의 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 영상 부호화 모드 결정 장치는 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 탐색부; 상기 탐색된 상 응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값을 계산하는 제1 부호화 효율 계산부; 상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값을 계산하는 제2 부호화 효율 계산부; 및 상기 계산된 부호화 효율값을 고려하여 상기 상응 매크로블록의 부호화 모드와 상기 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 선택하는 부호화 모드 선택부를 포함한다.
상기 본 발명이 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 영상 부호화 방법은 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 단계; 상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값과, 상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값을 비교하여 최적의 부호화 모드를 결정하는 단계; 및 상기 결정된 최적의 부호화 모드에 따라 상기 현재 매크로블록에 대한 부호화를 수행하는 단계를 포함한다.
상기 본 발명이 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 영상 부호화 장치는 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 탐색부; 상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값 계산부; 상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값 계산부; 상기 계산된 부호화 효율값을 고려하여 상기 상응 매크로블록의 부호화 모드와 상기 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 선택하는 부호화 모드 선택부; 및 상기 결정된 최적의 부호화 모드에 따라 상기 현재 매크로블록에 대한 부호화를 수행하는 부호화부 를 포함한다.
상기 본 발명이 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 영상 복호화 방법은, 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하는 단계; 상기 수신된 비트스트림 정보로 부터 현재 매크로블록이 상응 매크로블록의 부호화 모드로 부호화되었는지 여부를 판단하는 단계; 상기 판단 결과 상기 상응 매크로블록의 부호화 모드로 부호화된 경우, 이미 복호화된 인접 매크로블록의 움직임 정보를 이용하여 상기 매크로블록의 위치를 예측하거나, 또는 상기 수신된 비트스트림 정보에 포함되는 상기 상응 매크로블록의 위치에 대한 부가 정보를 복원하여 상기 상응 매크로블록의 위치를 예측하는 단계; 및 상기 수신된 비트스트림 정보에 포함된 잔여 성분 정보를 복원하고, 상기 복원된 잔여 성분 정보를 이용하여 상기 현재 매크로블록의 잔여 성분 정보를 예측하는 단계를 포함한다.
상기 본 발명이 또 다른 기술적 과제를 해결하기 위한 본 발명에 따른 비디오 영상 복호화 장치는 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하는 수신부; 상기 수신된 비트스트림 정보로 부터 현재 매크로블록이 상응 매크로블록의 부호화 모드로 부호화되었는지 여부를 고려하여 복호화 모드를 결정하는 모드 판단부; 이미 복호화된 인접 매크로블록의 움직임 정보를 이용하여 상기 매크로블록의 위치를 예측하거나, 또는 상기 수신된 비트스트림 정보에 포함되는 상기 상응 매크로블록의 위치에 대한 부가 정보를 복원하여 상기 상응 매크로블록의 위치를 예측하는 상응 매크로블록 위치 예측부; 및 상기 수신된 비트스트림 정보에 포함된 잔여 성분 정보를 복원하고, 상기 복원된 잔여 성분 정보를 이용하여 상기 현재 매크로블록의 잔여 성분 정보를 예측하는 잔여 성분 정보 복원부를 포함한다.
본 발명에 따르면, 현재 매크로블록의 부호화를 위하여 상응 매크로블록의 부호화 모드를 더 고려하여 현재 매크로블록을 부호화함으로써, 인접한 화면 사이에서 존재하는 움직임 정보의 중복에 따른 부호화의 비효율성을 상응 매크로블록의 움직임 정보 또는 잔여 성분 정보의 공유를 통해 효과적으로 개선할 수 있다. 또한, 본 발명에 따르면 현재 매크로블록의 부호화시 비트-왜곡 비용값의 관점에서 상응 매크로블록의 부호화 모드를 공유할 것인지 여부를 고려함으로써, 부호화에 따른 영상 정보의 손실을 최소화하고, 현재 매크로블록에 적합한 최적의 부호화 모드를 결정할 수 있다.
이하에서는 도면과 실시예를 참고하여 본 발명의 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를 이용한 부호화 방법 및 장치 그리고 상기 방법들을 수행하는 프로그램이 기록된 기록 매체에 대하여 구체적으로 설명한다.
도 1은 비디오 영상 부호화 장치와 복호화 장치를 포함하는 다시점 비디오 시스템에 대한 개략도이다.
도 1에 도시된 시스템은 일반적으로 사용되는 다시점 비디오 전송을 위한 시스템으로서, 도시된 시스템은 촬영 대상으로 부터 서로 다른 시점(view point)의 영상 정보를 획득하는 복수의 카메라(12, 14, 16, 18), 상기 카메라들로 부터 획득된비디오 영상 정보를 부호화하는 부호화 장치(20), 무선 또는 유선 인터넷(22), 상기 부호화된 비디오 영상 정보를 복원하는 복호화 장치(24) 및 복원 영상을 사용자에게 제공하는 사용자 단말(26)을 포함한다. 도 1에서는 다시점 비디오 시스템의 예를 도시하였지만, 본 발명은 단일 시점 비디오 시스템에도 적용될 수 있음은 물론이다.
도 2는 본 발명의 일 실시예에 따른 비디오 영상의 부호화 장치(20)를 나타내는 블록도이다. 도 2에 도시된 비디오 영상의 부호화 장치(20)는 버퍼(102), 화면 재배열부(104), 제1 감산부(106), 제2 감산부(108), 이산여현변환부(DCT, 110), 양자화부(Q, 112), 역양자화부(Q-1, 114), 역이산여현변환부(IDCT, 116), 가산부(118), 화면 저장부(120), 움직임 예상부(122), 부호화 모드 결정부(124), 저장부(126), 제1 움직임 보상부(128), 제2 움직임 보상부(130), 엔트로피 부호화부(132), 비트스트림 생성부(134)를 포함한다.
버퍼(102)는 비디오 카메라로부터 획득된 비디오 영상 정보들을 수신하고, 일시적으로 저장한다. 화면 재배열부(104)는 미리 정해진 화면의 재배열 순서에 따라 버퍼(102)에 액세스하여 현재 화면에서 부호화하고자하는 현재 매크로블록 데이터를 부호화 모드 결정부(124)와 움직임 예상부(122) 및 감산부(106)에 전달한다.
이하에서는 도 2에 도시된 전방향 경로(forward path)에 포함된 구성요소들에 대하여 상세히 설명한다.
우선 제1 감산기(106)는 제2 움직임 보상부(130)로부터 전달받은 재구성된 매크로블록과 현재 매크로블록의 차이값 행렬을 현재 매크로블록의 잔여 성분 정보로서 생성하며, 생성된 현재 매크로블록의 잔여 성분 정보를 제2 감산기(108)에 전달한다.
제2 감산기(108)는 제1 움직임 보상부(128)로부터 전달받은 상응 매크로블록(corresponding macroblock)의 부호화 모드에 따라 움직임 보상을 할 경우의 잔여 성분과 상응 매크로블록의 잔여 성분 간의 차분값을 새로운 잔여 성분 정보로서 생성한다. 다만, 부호화모드 결정부(124)가 비트-왜곡 비용값의 측면에서 상응 매크로블록과 움직임 정보 또는 잔여 성분 정보를 공유하지 않는 것이 효율적인 것으로 판단한 경우에는, 제2 감산기(108)는 제1 감산기(106)로부터 전달받은 현재 매크로블록의 잔여 성분 정보를 그대로 이산여현변환부(112)에 전달한다.
이산여현변환부(DCT, 112)는 차이값 행렬 형태의 상기 잔여 성분 정보를 제2 감산기(108)로부터 전달받고, 이산 코사인 변환을 통해 DCT 계수를 생성한다. 양자화부(112)는 이산여현변환부(110)에서 생성된 DCT계수를 양자화한다. 엔트로피 부호화부(132)는 양자화부(112)로부터 전달받은 양자화된 DCT계수와 부호화 모드 결정부(124)로부터 상응 매크로블록의 부호화 모드에 대한 인덱스 또는 현재 화면 기반으로 예측된 움직임 정보를 전달 받고, CAVLC(Context Adaptive Variable Length Codes) 또는 CABAC(Context Adaptive Binary Arithmetic Coding) 등의 방법으로 엔트로피 부호화를 수행한다. 비트스트림 생성부(134)는 엔트로피 부호화부(132)에서 생성된 부호화된 정보에 따른 비트스트림을 생성하여 외부 네트워크로 전송한다.
다음은 도 2에 도시된 재구성 경로(reconstruction path)에 따른 구성요소들에 대하여 상세히 설명한다.
역양자화부(114)는 양자화부(112)에서 생성된 양자화된 DCT계수를 입력 받아 역양자화된 DCT계수를 생성한다. 역이산여현변환부(116)는 역양자화된 DCT계수를 입력 받아 잔여 성분 정보를 복원한다. 가산부(118)는 제2 움직임 보상부로부터 전달받은 움직임 정보와 잔여 성분 정보를 합산한다. 화면 저장부(120)는 가산부(118)로부터 전달받은 움직임 정보와 잔여 성분 정보를 화면 정보로서 저장한다.
움직임 예상부(122)는 화면 저장부(120)에 저장된 상기 정보들과 화면 재배열부(104)에서 입력되는 현재 매크로블록에 대핸 정보를 이용하여, 현재 매크로블록의 움직임 정보를 생성한다. 움직임 정보는 모드 정보, 움직임 벡터, 참조화면정보를 포함한다. 움직임 예상부(122)는 현재 매크로블록의 부호화를 위한 여러 개의 모드들 예를 들어, 스킵 모드, 16× 16, 16× 8,8× 16,8× 8 등의 부호화 모드 각각에 따른 움직임 정보와 잔여 성분 정보의 쌍 중에서 비트-왜곡 비용값의 관점에서 가장 효율적인 모드를 현재 화면 기반의 부호화 모드로서 결정할 수 있다. 또한, 움직임 예상부(122)는 상응 매크로블록을 고려하지 않을 경우 움직임 정보를 부호화 모드 결정부(124)에 전달한다.
부호화 모드 결정부(124)는 현재 매크로블록을 상응 매크로블록의 부호화 모드에 따라 부호화할 것인지 아니면 현재 매크로블록의 움직임 정보와 잔여 성분 자체를 부호활 것인지 여부를 판단한다. 본 발명에서는 전자의 부호화 모드를 상응 매크로블록의 부호화 모드라하고, 후자를 현재 매크로블록의 부호화 모드라 정의한 다. 즉, 부호화 모드 결정부(124)는 상응 매크로블록의 부호화 모드와, 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 결정한다.
상응 매크로블록의 부호화 모드에 따라 부호화함은 상응 매크로블록의 부호화 정보를 공유함을 의미한다. 따라서, 이 경우 움직임 정보에 대한 부호화가 필요없으므로 비트율을 감소시킬 수 있다. 또한, 잔여 성분 정보의 경우 현재 매크로블록을 상응 매크로블록의 움직임 정보를 이용하여 부호화할 경우 발생하는 잔여 성분 정보와, 상응 매크로블록의 잔여 성분 정보의 차이를 잔여 성분 정보로 정의하여 이를 부호화시키기 때문에 비트율을 효과적으로 감소시킬 수 있다.
도 3은 도 2의 비디오 영상의 부호화 장치(20)에서 부호화 모드 결정부(124)에 대한 세부 블록도이다. 도 3에 도시된 바와 같이, 본 실시예에 따른 부호화 모드 결정부(124)는 탐색부(202), 제1 부호화 효율 계산부(204), 제2 부호화 효율 계산부(206) 및 부호화 모드 선택부(208)를 포함한다. 부호화 모드 결정부(124)는 상응 매크로블록의 부호화 모드와 관련된 정보 즉 움직임 정보, 잔여 성분 정보를 현재 매크로블록에 적용할 것인지 여부를 판단하고, 판단 결과에 따른 플래그를 생성하여 엔트로피 부호화부로 전달한다.
탐색부(202)는 이미 부호화된 참조 화면의 매크로블록들 중에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색한다. 탐색부는 현재 매크로블록의 부호화 모드에 따른 움직임 정보 또는 잔여 성분 정보와 상기 인접한 시점의 참조화면에 속하는 매크로블록 각각에 따른 움직임 정보 또는 잔여 성분 정보 간의 유사도를 계산하는 유사도 계산부(미도시) 또는 현재 매크로블록의 깊이 정보에 따른 3D 워핑을 수행하는 워핑부(미도시)를 포함할 수 있다.
다시점 비디오 영상은 인접 시점의 참조 화면에서 상응 매크로블록을 탐색할 수 있는데, 이 때 탐색부는 상응 매크로블록의 위치를 특정하기 위한 정보를 부가 정보를 생성할 수 있도록 부가 정보 생성부(미도시)를 더 포함할 필요가 있다. 부가 정보는 예를 들어 가장 유사한 매크로블록의 위치에 대한 위치 정보 또는 현재 매크로블록의 깊이 정보가 있으며 이에 대하여는 후술한다.
도 4a 내지 4c는 상응 매크로블록의 개념을 설명하기 위한 참고도이다. 도 4a는 단일 시점 비디오 영상에서 인접 시간의 참조 화면에서 상응 매크로블록을 탐색한 결과를 나타낸다. 도 4b는 다시점 비디오 영상에서 인접 시간의 참조화면과 인접 시점의 참조화면에서 동시에 상응 매크로블록1과 상응 매크로블록2를 탐색한 결과를 나타낸다. 도 4c는 현재 매크로블록(a)에 상응하는 상응 매크로블록(b)를 결정하는 개념을 나타낸다. 블록(b')가 현재 매크로블록(a)과 더 유사하지만, 참조 화면은 이미 정해진 매크로블록단위로 부호화된 것이므로, 블록(b')가 가장 많이 속해 있거나 블록(b')와 가장 가까운 매크로블록(b)을 상응 매크로블록으로 결정하는 것이 바람직하다. 상응 매크로블록의 구체적인 탐색 방법에 대하여는 후술한다.
제1 부호화 효율 계산부(204)는 상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값을 계산한다. 여기에서 상응 매크로블록의 부호화 모드에 따른다는 것은 상응 매크로블록의 움직임 정보 및/또는 잔여 성분 정보를 이용하여 부호화함을 의미한다. 제1 부호화 효율값은 예를들어 비트-왜곡 비용값을 의미한다. 또한, 제1 부호화 효율 계산부(204)는 제1 부호화 효율값과 함께 상응 매 크로블록의 부호화 모드에 따른 움직임 정보 및/또는 잔여 성분 정보를 부호화 모드 선택부(208)로 전달한다.
상응 매크로블록의 움직임 정보를 이용하여 현재 매크로블록을 부호화할 경우의 잔여 성분 정보와, 상응 매크로블록의 잔여 성분 정보 간에도 유사성이 있다. 따라서, 상기 잔여 성분 정보들 간의 차분값을 새로운 잔여 성분 정보로 정의하고, 상기 새롭게 정의된 잔여 성분 정보를 부호화할 경우 비트율을 낮출 수 있다.
제2 부호화 효율 계산부(206)는 상응 매크로블록을 고려하지 않고 현재 매크로블록의 움직임 정보와 잔여 성분 자체를 부호화할 경우의 부호화 효율값을 계산한다. 특히, 제2 부호화 효율 계산부(206)는 현재 매크로블록에 대한 여러개의 부호화 모드 중에서 부호화 효율을 최대로 하는 부호화 모드에 따른 부호화 효율값을 제2 부호화 효율값으로 결정한다. 제2 후보화 효율 계산부를 통해 결정된 상기 부호화 효율을 최대로 하는 부호화 모드와 상응 매크로블록의 부호화 모드와의 용어상 혼동을 방지하기 위하여, 본 발명에서는 전자를 현재 매크로블록의 부호화 모드로 기술하였다.
제2 부호화 효율 계산부(206)는 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값 뿐만 아니라, 상기 상기 부호화 모드에 따른 움직임 정보 및/또는 잔여 성분 정보도 부호화 모드 선택부(208)에 전달한다. 제2 부호화 효율 계산부(206)는 움직임 예상부(122)로부터 현재 화면 기반의 부호화 모드에 따른 움직임 정보, 그에 따른 잔여 성분 정보 및 비트-왜곡 비용값 정보를 전달 받고, 이를 부호화 모드 선택부(208)에 전달하도록 구비되는 것도 가능하다.
부호화 모드 선택부(208)는 제1 부호화 효율 계산부(204)와 제2 부호화 효율 계산부(206)로부터 전달받은 부호화 효율값들을 비교하여 상응 매크로블록의 부호화 모드와 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 선택한다. 상응 매크로블록의 부호화 모드가 효율적인 것으로 판단된 경우, 부호화 모드선택부(208)는 상응 매크로블록에 따른 부호화 정보 즉 움직임 정보 및/또는 잔여 성분 정보를 저장부(126)에 저장한다. 또한, 저장부(126)는 이미 부호화된 화면 또는 매크로블록의 움직임 정보 및/또는 잔여 성분 정보를 저장한다. 또한, 상응 매크로블록의 부호화 정보 즉 움직임 정보 및/또는 잔여 성분 정보는 저장부(126)에 저장되고, 제1 부호화 효율 계산부(204)는 저장부(126)에 저장된 부호화 정보를 고려하여 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값을 계산한다.
현재 매크로블록을 상응 매크로블록의 부호화 모드에 따라 부호화할 경우, 제1 움직임 보상부(128)는 저장부(126)에 저장된 움직임 정보를 이용하여 현재 매크로블록에 대한 움직임 보상된 영상을 생성한다. 한편, 상응 매크로블록을 고려하지 않고 현재 매크로블록을 부호화할 경우, 제2 움직임 보상부(130)는 움직임 예상부에서 생성된 움직임 정보를 이용하여 현재 매크로블록에 대한 움직임 보상된 영상을 생성한다.
도 5는 본 발명의 일 실시예에 따른 비디오 영상 부호화 방법을 나타내는 흐름도이다. 도 5에 도시된 비디오 영상 부호화 방법은 비디오 영상 부호화 장치(20)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.
302단계에서 탐색부(202)는 현재 화면에 앞서 이미 부호화된 참조 화면에서 상응 매크로블록을 탐색한다. 비디오 영상이 단일 시점의 영상인 경우, 탐색부(202)는 현재 매크로블록에 인접하며 이미 부호화된 인접 매크로블록들의 움직임 정보를 이용하여 현재 매크로블록의 움직임 정보를 예측하고, 상기 예측된 움직임 정보를 이용하여 참조 화면에서 상응 매크로블록을 탐색할 수 있다. 여기에서 인접 매크로블록은 예를들어 현재 매크로블록의 위에 접해 있는 매크로블록, 우상단 모서리에 접해있는 매크로블록, 좌측에 접해있는 매크로블록들이 있다. 또한, 인접 매크로블록들의 움직임 정보를 이용한다는 것은 예를 들어 상기 인접 매크로블록의 움직임정보를 소정의 가중치에 따라 합산하거나, 평균값을 계산하는 것을 의미한다. 예측된 움직임 정보가 계산되면, 참조 화면에서 상응 매크로블록의 위치를 찾을 수 있다.
한편, 비디오 영상이 다시점 영상인 경우 상응 매크로블록은 인접 시간 또는 인접 시점에 존재하는 참조화면 각각으로부터 탐색될 수 있으며, 상응 매크로블록의 개수는 참조화면의 개수에 의존적이다. 인접 시간에 존재하는 참조화면으로부터 상응 매크로블록을 탐색하는 것은 상술한 바에 따라 수행될 수 있다. 이하에서는 인접 시점에 존재하는 참조 화면으로부터 상응 매크로블록을 탐색하는 2가지 방법에 대하서 설명한다.
우선, 첫 번째 방법은 현재 매크로블록의 부호화 모드에 따른 움직임 정보 및/또는 잔여 성분 정보를 이용하여, 참조 화면에서 상기 정보들과 가장 유사한 값을 갖는 매크로블록을 상응 매크로블록으로 결정하는 방법이다. 이 경우 상응 매크로블록의 위치를 특정하기 위하여 위치 정보를 부가 정보로서 부호화시키는 것이 필요하다. 여기에서 위치 정보는 예를 들어 현재 매크로블록과 상응 매크로블록의 상대적 위치 차이에 따른 움직임 벡터 정보가 있다. 단위 매크로블록의 크기가 16픽셀이므로 위치 정보는 매크로블록 사이즈 스캐일로 표현함이 효율적이다.
두 번째 방법은 현재 매크로블록의 깊이 정보와 3D 워핑 기법을 이용하여 인접 시점의 참조화면에서 상응 매크로블록을 결정하는 방법이다. 상기 방법은 3D 워핑을 이용하면 다른 시점에서의 가상 영상을 생성할 수 있는데, 현재 매크로블록의 깊이 정보가 특정되면, 3D 워핑을 통하 다른 시점에서 현재 매크블록에 대응되는 상응 매크로블록의 위치가 특정된다는 것을 이용한 방법이다.
상기 2개의 방법으로 상응 매크로블록을 탐색할 경우에는 상응 매크로블록의 위치를 특정하기 위한 정보를 부가 정보로서 부호화해야할 필요가 있다. 즉, 첫 번째방법의 경우에는 가장 유사한 매크로블록의 위치에 대한 위치 정보가 부가 정보가 되고, 두 번째 방법의 경우에서는 현재 매크로블록의 깊이 정보가 부가 정보가 된다.
도 6은 도 5의 302단계에서 상응 매크로블록을 탐색하는 일예를 설명하기 위한 개념도이다. 도 6은 전역 변이를 이용하여 화면을 매크로블록 크기의 배수 만큼 이동 시킨 후, 상응 매크로블록을 탐색하는 개념을 보여준다. 화면C'는 화면C를 매크로블록의 크기 즉 16픽셀의 배수만큼 확장시키킨 화면이다. 화면C"는 화면C'를 단위 매크로블록의 크기만큼 이동시킨 것이다. 부호화하고자 하는 화면을 전역변이 만큼 이동시킨 후 부호화를 하면 현재 매크로블록이 담고 있는 영역이 참조화면에서도 매크로블록으로 부호화될 수 있으며, 이를 통해 상응 매크로블록과 현재 매크 로블록간의 유사도를 증진시킬 수 있다.
304단계에서 제1 부호화 효율 계산부(204)는 상응 매크로블록의 부호화 모드로 부호화할 경우 즉, 상응 매크로블록의 움직임 정보를 공유함에 따른 제1 비트-왜곡 비용값을 계산한다. 비트-왜곡 비용값은 하기 수학식1에 따라 계산할 수 있다. 본 실시예에서는 제1 부호화 효율 계산부가 상응 매크로블록의 움직임 정보를 공유하는 경우를 예를 들어 설명하였지만, 움직임 정보 대신 상응 매크로블록의 잔여 성분 정보를 부호화에 이용함에 따른 비트-왜곡 비용값을 계산할 수 있음은 물론이다.
[수학식1]
Cost = D + λ· R
여기에서 D는 해당 부호화 모드로 부호화 했을 경우의 왜곡이고 R은 해당 부호화 모드로 부호화 했을 경우의 비트이며, λ는 소정의 가중치로서 둘 특히 H.264/AVC에서 정의된 값을 이용할 수 있다. 수학식1을 이용하면, 부호화 모드 중에서 가장 효율적인 부호화 모드를 선택할 수 있다.
306단계에서 제2 부호화 효율 계산부(206)는 상응 매크로블록의 움직임 정보를 공유하지 않고, 현재 매크로블록을 부호화할 경우의 현재 매크로블록의 부호화 모드에 따른 비트-왜곡 비용값을 계산한다.
308단계에서 부호화 모드 선택부(208)는 상응 매크로블록의 부호화 모드를 공유하는 것이 효율적인지 여부를 판단한다. 즉, 부호화 모드 선택부(208)는 비트-왜곡 비용값을 고려하여 상응 매크로블록의 부호화 모드에 따라 부호화 할 것인지 아니며 현재 매크로블록의 부호화 모드에 따라 부호활 것인지를 결정한다.
상응 매크로블록의 부호화 모드에 따라 부호화하는 것이 효율적인 경우, 310단계에서 엔트로피 부호화부는 상응 매크로블록의 부호화 모드에 대한 인덱스 정보 및 잔여 성분 정보를 부호화한다.
한편, 현재 매크로블록의 부호화 모드에 따라 부호화하는 것이 효율적인 경우, 312단계에서 엔트로피 부호화부는 현재 화면을 기반으로 하는 움직임 정보와 잔여 성분 정보를 부호화한다.
도 7은 본 발명의 일 실시예에 따른 비디오 영상 복호화 장치를 나타내는 블록도이다. 도 7에 도시된 비디오 영상 복호화 장치(24)는 수신부(402), 모드 판단부(404), 상응 매크로블록 위치 예측부(406), 움직임 정보 복원부(408), 움직임 보상부(410), 잔여 성분 정보 복원부(412), 역양자화부(Q-1, 414), 역이산여현변환부(IDCT, 416), 가산부(418) 및 프레임 재배열부(420)를 포함한다.
수신부(402)는 인터넷(22)을 통해 부호화 장치(20)로부터 생성된 비트스트림 정보를 수신한다. 비트스트림 정보는 부호화 모드에 대한 인덱스 정보, 잔여 성분 정보 및 부가 정보(시점 방향으로 부호화된 경우)를 포함한다.
모드 판단부(404)는 수신된 비트스트림에 대한 엔트로피 복호화를 통해 부호화 모드에 대한 인덱스 정보를 복원하여, 복호화하고자 하는 현재 매크로블록이 상응 매크로블록의 부호화 모드로 부호화된 것인지 여부를 판단한다. 여기에서 인덱스 정보는 복호화하고자 하는 매크로블록이 상응 매크로블록의 움직임 정보를 공유 하는지 여부에 대한 정보와 공유하는 경우 상응 매크로블록의 모드 정보를 포함한다.
상응 매크로블록의 부호화 모드를 공유하지 않고 부호화된 경우, 모드 판단부(404)는 비트스트림에 포함된 현재 매크로블록의 움직임 정보와 잔여 성분 정보를 복원하고, 복원된 움직임 정보는 움직임 보상부(410)에 전달하며, 복원된 잔여 성분 정보는 역양자화부(414)에 전달한다.
한편, 상응 매크로블록의 부호화 모드로 부호화된 경우, 상응 매크로블록 위치 예측부(406)는 상응 매크로블록의 위치를 예측한다. 부호화 단계에서 상응 매크로블록이 시간 방향으로 결정된 경우, 이미 복호화된 주변 매크로블록의 움직임 정보 특히 움직임 벡터를 이용하여 현재 복호화하고자 하는 매크로블록의 움직임 벡터를 예측한 후, 예측된 움직임 벡터를 이용하여 상응 매크블록의 위치를 예측할 수 있다. 부호화 단계에서 상응 매크로블록이 시점 방향으로 결정된 경우, 비트스트림에 포함된 부가정보를 이용하여 상응 매크로블록의 위치를 예측할 수 있다. 여기에서 부가정보란 현재 매크로블록과 상응 매크로블록 간의 상대적인 위치의 차이를 나타내는 위치 정보 또는 깊이 정보를 의미한다.
움직임 정보 복원부(408)는 상응 매크로블록 위치 예측부(406)를 통해 예측된 상응 매크로블록에 따른 움직임 정보를 추출하고, 추출된 움직임 정보를 현재 매크로블록의 움직임 정보로 예측한다. 움직임 보상부(410)는 상기 예측된 움직임 정보를 이용하여 움직임이 보상된 복원 영상을 생성한다.
잔여 성분 정보 복원부(412)는 수신부(402)를 통해 수신된 비트스트림으로부 터 잔여 성분 정보를 복원한다. 상응 매크로블록의 부호화 모드로 부호화한 경우 생성되는 잔여 성분 정보는 상응 매크로블록의 움직임 정보를 이용하여 현재 매크로블록을 부호화할 경우 발생하는 잔여 성분 정보와 상응 매크로블록의 잔여 성분 정보와의 차이값이다. 따라서, 현재 매크로블록의 잔여 성분 정보를 복원하기 위해서는 비트스트림에 포함된 잔여 성분 정보와 상응 매크로블록의 잔여 성분 정보를 합산한다.
역양자화부(Q-1, 414)는 모드 판단부 또는 잔여 성분 정보 복원부(412)를 통해 복원된 잔여 성분 정보를 역양자화시킨다. 역이산여현변환부(IDCT, 416)은 이산 코사인 변환의 역 연산을 수행하여 주파수 성분을 다시 화소 성분으로 변환시킨다. 역이산여현변환부를 통해 역연산된 잔여 성분 정보는 가산기(418)에 입력되며, 가산기는 움직임 보상부(410)를 통해 복원된 영상과 잔여 성분 정보를 가산 처리하여 예측된 복원 영상을 생성하고, 생성된 복원 영상 정보를 프레임 재배열부(420)에 전달한다. 프레임 재배열부(420)는 가산기로부터 복원 영상 정보를 입력받고, 디스플레이의 시간 순서에 맞도록 프레임을 재배열한다.
도 8은 본 발명의 일 실시예에 따른 비디오 영상 복호화 방법을 나타내는 흐름도이다. 도 8에 도시된 비디오 영상 복호화 방법은 비디오 영상 복호화 장치(24)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.
502단계에서 수신부(402)는 비트스트림을 수신한다.
504단계에서 모드 판단부(404)는 수신된 비트스트림에 대한 엔트로피 복호화 를 통해 부호화 모드에 대한 인덱스 정보를 복원한다. 인덱스 정보는 복호화하고자 하는 매크로블록이 상응 매크로블록을 참조하여 부호화되었는지 여부를 포함하고, 또한 상응 매크로블록을 참조하여 부호화된 경우 상응 매크로블록의 부호화 모드에 대한 정보를 더 포함한다.
506단계에서 모드 판단부(404)는 복원된 인덱스 정보로부터, 복호화하고자 하는 매크로블록이 상응 매크로블록의 부호화 모드로 부호화된 것인지 여부를 판단한다.
506단계에서의 판단결과 상응 매크로블록의 부호화 모드로 부호화된 경우, 508단계에서 상응 매크로블록 위치 예측부(406)는 부가정보를 복원하여 상응 매크로블록의 위치를 예측한다. 시간 방향으로 부호화된 경우에는 부가정보가 비트스트림에 포함되지 않는데, 이 경우에는 이미 복원된 주변 매크로블록의 움직임 정보로부터 현재 매크로블록의 움직임 정보 특히 움직임 벡터를 예측하고, 예측된 움직임 벡터를 이용하여 상응 매크로블록의 위치를 예측할 수 있다.
510단계에서 움직임 정보 복원부(408)는 상기 예측된 상응 매크로블록에 따른 움직임 정보를 현재 매크로블록의 움직임 정보로 예측한다.
512단계에서 잔여 성분 정보 복원부(412)는 비트스트림에 포함된 잔여 성분 정보와 상응 매크로블록의 잔여 성분 정보를 합산하여, 현재 매크로블록의 잔여 성분 정보를 예측한다.
506단계에서의 판단결과 상응 매크로블록의 부호화 모드로 부호화되지 않은 경우, 즉 상응 매크로블록의 부호화 정보를 참조하지 않고 현재 매크로블록이 부호 화된 경우, 모드 판단부(404)는 비트스트림에 포함된 움직임 정보와 잔여 성분 정보를 복원하고(514단계, 516단계), 복원된 정보를 각각 움직임 보상부(410)와 역양자화부(414)에 전달한다.
518단계에서 프레임 재배열부(420)는 움직임 정보와 잔여 성분 정보를 이용하여 복원 영상을 생성하고, 디스플레이 순선에 맞도록 프레임을 재배열한다.
한편 본 발명의 비디오 영상 부호화 모드 결정 방법 및 부호화/복호화 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에 서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명의 비디오 영상 부호화 모드 결정 방법 및 장치는 현재 매크로블록의 부호화를 위하여 상응 매크로블록의 부호화 모드를 더 고려하여 현재 매크로블록을 부호화함으로써, 인접한 화면 사이에서 존재하는 움직임 정보의 중복에 따른 부호화의 비효율성을 개선할 수 있기 때문에, 비디오 영상의 부호화/복호화에 사용하기에 적합하다.
도 1은 비디오 영상 부호화 장치와 복호화 장치를 포함하는 다시점 비디오 시스템에 대한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 영상의 부호화 장치를 나타내는 블록도이다.
도 3은 도 2의 비디오 영상의 부호화 장치에서 부호화 모드 결정부에 대한 세부 블록도이다.
도 4a 내지 4c는 본 발명의 일 실시예에 따른 상응 매크로블록의 개념을 설명하기 위한 참고도이다.
도 5는 본 발명의 일 실시예에 따른 비디오 영상 부호화 방법을 나타내는 흐름도이다.
도 6은 도 5의 302단계에서 상응 매크로블록을 탐색하는 일예를 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 비디오 영상 복호화 장치를 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 비디오 영상 복호화 방법을 나타내는 흐름도이다.

Claims (21)

  1. a) 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 단계;
    b) 상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값과, 상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값을 비교하는 단계; 및
    c) 상기 비교 결과를 이용하여 상기 상응 매크로블록의 부호화 모드와 상기 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 선택하는 단계를 포함하는 것을 특징으로 하는 비디오 영상의 부호화 모드 결정 방법.
  2. 제 1 항에 있어서, 상기 비디오 영상이 단일 시점(single view) 영상인 경우 상기 상응 매크로블록을 탐색하는 것은,
    상기 현재 매크로블록에 인접하며 이미 부호화된 인접 매크로블록의 움직임 정보를 이용하여 현재 매크로블록의 움직임 정보를 예측하고, 상기 예측된 움직임 정보를 이용하여 상기 참조 화면에서 상응 매크로블록을 탐색하는 것을 특징으로 하는 비디오 영상의 부호화 모드 결정 방법.
  3. 제 1 항에 있어서, 상기 비디오 영상이 다시점(multi-view) 영상인 경우 상기 상응 매크로블록은 현재 화면과 인접한 시점의 참조 화면에 속하며, 상기 상응 매크로블록을 탐색하는 것은,
    상기 현재 매크로블록의 부호화 모드에 따른 움직임 정보 또는 잔여 성분 정보와 상기 인접한 시점의 참조 화면에 속하는 매크로블록 각각에 따른 움직임 정보 또는 잔여 성분 정보 간의 유사도를 고려하여 상응 매크로블록을 탐색하거나 또는,
    상기 현재 매크로블록의 깊이 정보와 3D 워핑을 이용하여 상기 인접한 시점의 참조 화면에서 상응 매크로블록을 탐색하는 것을 특징으로 하는 비디오 영상의 부호화 모드 결정 방법.
  4. 제 1 항에 있어서,
    상기 제1 및 제2 부호화 효율값은 각각의 부호화 모드에 따른 비트-왜곡 비용값이고,
    상기 c) 단계에서 최적 부호화 모드를 선택하는 것은 상기 대비되는 비트-왜곡 비용값 중에서 작은 비트-왜곡값을 갖는 부호화 모드를 상기 현재 매크로블록의 최적 부호화 모드로 선택하는 것을 특징으로 하는 비디오 영상의 부호화 모드 결정 방법.
  5. 제 4 항에 있어서, 상기 b)단계에서 제1 부호화 효율값을 계산하는 것은,
    상기 탐색된 상응 매크로블록의 부호화 모드에 따른 움직임 정보를 고려하여 비트-왜곡 비용값을 계산하는 단계를 포함하거나,
    또는 상기 탐색된 상응 매크로블록의 부호화 모드에 따른 움직임 정보와 상 기 움직임 정보에 따라 현재 매크로블록을 부호화할 경우의 잔여 성분 정보와 상기 상응 매크로블록의 잔여 성분 정보간의 차분 정보를 고려하여 비트-왜곡 비용값을 계산하는 단계를 포함하는 것을 특징으로 하는 비디오 영상의 부호화 모드 결정 방법.
  6. 제 1 항에 있어서, 상기 a)단계에서 상응 매크로블록을 탐색하는 것은
    상기 현재 매크로블록이 속하는 현재 화면과 상기 참조 화면 간의 전역 변이를 계산하는 단계;
    상기 현재 화면 또는 참조 화면을 상기 전역 변이 만큼 이동시키는 단계; 및
    상기 이동된 현재 화면 또는 참조 화면을 이용하여 상응 매크로블록을 탐색하는 단계를 포함하는 것을 특징으로 하는 비디오 영상의 부호화 모드 결정 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항의 비디오 영상의 부호화 모드 결정 방법을 컴퓨터 상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독가능한 기록 매체.
  8. 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 탐색부;
    상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값을 계산하는 제1 부호화 효율 계산부;
    상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값을 계산하는 제2 부호화 효율 계산부; 및
    상기 계산된 부호화 효율값을 고려하여 상기 상응 매크로블록의 부호화 모드와 상기 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 선택하는 부호화 모드 선택부;를 포함하는 것을 특징으로 하는 비디오 영상 부호화 모드 결정 장치.
  9. 제 8 항에 있어서, 상기 비디오 영상이 다시점(multi-view) 영상인 경우 상기 탐색부는 상기 현재 화면과 인접한 시점의 참조화면에서 상기 상응 매크로블록을 탐색하고,
    상기 탐색부는 상기 현재 매크로블록의 부호화 모드에 따른 움직임 정보 또는 잔여 성분 정보와 상기 인접한 시점의 참조화면에 속하는 매크로블록 각각에 따른 움직임 정보 또는 잔여 성분 정보 간의 유사도를 계산하는 유사도 계산부 또는 상기 현재 매크로블록의 깊이 정보에 따른 3D 워핑을 수행하는 워핑부를 포함하며,
    상기 탐색부는 상기 계산된 유사도 결과 또는 상기 수행된 3D 워핑 결과를 이용하여 상응 매크로블록을 탐색하는 것을 특징으로 하는 비디오 영상 부호화 모드 결정 장치.
  10. 제 8 항에 있어서,
    상기 제1 및 제2 부호화 효율값은 각각의 부호화 모드에 따른 비트-왜곡 비 용값이고, 상기 부호화 모드 선택부는 상기 대비되는 비트-왜곡 비용값 중에서 작은 비트-왜곡값을 갖는 부호화 모드를 상기 현재 매크로블록의 최적 부호화 모드로 선택하는 것을 특징으로 하는 비디오 영상의 부호화 모드 결정 장치.
  11. a) 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 단계;
    b) 상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값과, 상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값을 비교하여 최적의 부호화 모드를 결정하는 단계; 및
    c) 상기 결정된 최적의 부호화 모드에 따라 상기 현재 매크로블록에 대한 부호화를 수행하는 단계를 포함하는 것을 특징으로 하는 비디오 영상 부호화 방법.
  12. 제 11 항에 있어서, 상기 상응 매크로블록의 부호화 모드가 최적의 부호화 모드로 선택된 경우 상기 c)단계에서 상기 현재 매크로블록에 대한 부호화를 수행하는 것은 상기 상응 매크로블록의 부호화 모드에 대한 인덱스 정보 및 잔여 성분 정보를 이용하여 부호화를 수행하는 것을 특징으로 하는 비디오 영상 부호화 방법.
  13. 제 12 항에 있어서, 상기 비디오 영상이 다시점 영상이고 상기 상응 매크로블록이 상기 현재 화면과 인접하는 시점의 참조 화면에 속하는 경우, 상기 c)단계는 상기 상응 매크로블록의 위치와 관련된 부가 정보를 부호화시키는 단계를 포함 하는 것을 특징으로 하는 비디오 영상 부호화 방법.
  14. 제 11 항에 있어서,
    상기 제1 및 제2 부호화 효율값은 각각의 부호화 모드에 따른 비트-왜곡 비용값이고 상기 b) 단계에서 최적 부호화 모드를 선택하는 것은, 상기 대비되는 비트-왜곡 비용값 중에서 작은 비트-왜곡값을 갖는 부호화 모드를 상기 현재 매크로블록의 최적 부호화 모드로 선택하는 것을 특징으로 하는 비디오 영상 부호화 방법.
  15. 제 11 항에 있어서, 상기 비디오 영상이 다시점(multi-view) 영상인 경우 상기 인접한 시점의 참조화면에서 상기 상응 매크로블록을 탐색하는 것은
    상기 현재 매크로블록의 부호화 모드에 따른 움직임 정보 또는 잔여 성분 정보와 상기 인접한 시점의 참조화면에 속하는 매크로블록 각각에 따른 움직임 정보 또는 잔여 성분 정보 간의 유사도를 고려하여 상응 매크로블록을 탐색하거나, 또는
    상기 현재 매크로블록의 깊이 정보와 3D 워핑을 이용하여 상기 인접한 시점의 참조 화면에서 상응 매크로블록을 탐색하는 것을 특징으로 하는 비디오 영상의 부호화 방법.
  16. 제 11 항 내지 제 15 항 중 어느 한 항의 비디오 영상 부호화 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  17. 이미 부호화된 참조 화면에서 부호화하고자 하는 현재 매크로블록에 상응하는 상응 매크로블록을 탐색하는 탐색부;
    상기 탐색된 상응 매크로블록의 부호화 모드에 따른 제1 부호화 효율값을 계산하는 제1 부호화 효율 계산부;
    상기 현재 매크로블록의 부호화 모드에 따른 제2 부호화 효율값을 계산하는 제2 부호화 효율 계산부;
    상기 계산된 부호화 효율값을 고려하여 상기 상응 매크로블록의 부호화 모드와 상기 현재 매크로블록의 부호화 모드 중 하나를 최적의 부호화 모드로 선택하는 부호화 모드 선택부; 및
    상기 결정된 최적의 부호화 모드에 따라 상기 현재 매크로블록에 대한 부호화를 수행하는 부호화부를 포함하는 것을 특징으로 하는 비디오 영상 부호화 장치.
  18. 제 17 항에 있어서,
    상기 상응 매크로블록의 부호화 모드가 최적의 부호화 모드로 선택된 경우
    상기 부호화부는 상기 상응 매크로블록의 부호화 모드에 대한 인덱스 정보 및 잔여 성분 정보를 이용하여 부호화를 수행하는 것을 특징으로 하는 비디오 영상 부호화 장치.
  19. a) 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하는 단계;
    b) 상기 수신된 비트스트림 정보로 부터 현재 매크로블록이 상응 매크로블록의 부호화 모드로 부호화되었는지 여부를 판단하는 단계;
    c) 상기 판단 결과 상기 상응 매크로블록의 부호화 모드로 부호화된 경우, 이미 복호화된 인접 매크로블록의 움직임 정보를 이용하여 상기 매크로블록의 위치를 예측하거나, 또는 상기 수신된 비트스트림 정보에 포함되는 상기 상응 매크로블록의 위치에 대한 부가 정보를 복원하여 상기 상응 매크로블록의 위치를 예측하는 단계; 및
    d) 상기 수신된 비트스트림 정보에 포함된 잔여 성분 정보를 복원하고, 상기 복원된 잔여 성분 정보를 이용하여 상기 현재 매크로블록의 잔여 성분 정보를 예측하는 단계를 포함하는 것을 특징으로 하는 비디오 영상 복호화 방법.
  20. 제 19 항에 있어서,
    상기 수신된 비트스트림 정보에 포함된 잔여 성분 정보는 상기 현재 매크로블록을 상응 매크로블록의 움직임 정보를 이용하여 부호화할 경우 생성되는 제1 잔여 성분 정보와, 상기 상응 매크로블록의 제2 잔여 성분 정보 간의 차분값이고,
    상기 현재 매크로블록의 잔여 성분 정보를 예측하는 것을 상기 복원된 차분값과 상기 c)단계에서 예측된 위치에 따른 상응 매크로블록의 잔여 성분 정보의 합산을 통해 상기 현재 매크로블록의 잔여 성분 정보를 예측하는 것을 특징으로 하는 비디오 영상 복호화 방법.
  21. 복호화하고자 하는 현재 매크로블록에 따른 비트스트림 정보를 수신하는 수신부;
    상기 수신된 비트스트림 정보로 부터 현재 매크로블록이 상응 매크로블록의 부호화 모드로 부호화되었는지 여부를 고려하여 복호화 모드를 결정하는 모드 판단부;
    이미 복호화된 인접 매크로블록의 움직임 정보를 이용하여 상기 매크로블록의 위치를 예측하거나, 또는 상기 수신된 비트스트림 정보에 포함되는 상기 상응 매크로블록의 위치에 대한 부가 정보를 복원하여 상기 상응 매크로블록의 위치를 예측하는 상응 매크로블록 위치 예측부; 및
    상기 수신된 비트스트림 정보에 포함된 잔여 성분 정보를 복원하고, 상기 복원된 잔여 성분 정보를 이용하여 상기 현재 매크로블록의 잔여 성분 정보를 예측하는 잔여 성분 정보 복원부를 포함하는 것을 특징으로 하는 비디오 영상 복호화 장치.
KR1020070105587A 2007-10-19 2007-10-19 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체 KR101363044B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070105587A KR101363044B1 (ko) 2007-10-19 2007-10-19 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070105587A KR101363044B1 (ko) 2007-10-19 2007-10-19 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체

Publications (2)

Publication Number Publication Date
KR20090040028A true KR20090040028A (ko) 2009-04-23
KR101363044B1 KR101363044B1 (ko) 2014-02-17

Family

ID=40763630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070105587A KR101363044B1 (ko) 2007-10-19 2007-10-19 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체

Country Status (1)

Country Link
KR (1) KR101363044B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110124447A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 입체영상 부호화 장치 및 방법
WO2013157812A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 3d 비디오 부호화/복호화 장치 및 부호화/복호화 방법
KR20130116826A (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
US9171376B2 (en) 2009-09-22 2015-10-27 Samsung Electronics Co., Ltd. Apparatus and method for motion estimation of three dimension video
KR20170059040A (ko) 2015-11-19 2017-05-30 전자부품연구원 비디오 부호화기의 최적 모드 결정 장치 및 최적 모드 결정을 이용한 비디오 부호화 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
US20050276493A1 (en) 2004-06-01 2005-12-15 Jun Xin Selecting macroblock coding modes for video encoding
KR100728031B1 (ko) 2006-01-23 2007-06-14 삼성전자주식회사 가변 블록 크기 움직임 예측을 위한 부호화 모드 결정 방법및 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171376B2 (en) 2009-09-22 2015-10-27 Samsung Electronics Co., Ltd. Apparatus and method for motion estimation of three dimension video
US10798416B2 (en) 2009-09-22 2020-10-06 Samsung Electronics Co., Ltd. Apparatus and method for motion estimation of three dimension video
KR20110124447A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 입체영상 부호화 장치 및 방법
US8861874B2 (en) 2010-05-11 2014-10-14 Samsung Electronics Co., Ltd. Apparatus and method of encoding 3D image
WO2013157812A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 3d 비디오 부호화/복호화 장치 및 부호화/복호화 방법
KR20130116826A (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
KR20170059040A (ko) 2015-11-19 2017-05-30 전자부품연구원 비디오 부호화기의 최적 모드 결정 장치 및 최적 모드 결정을 이용한 비디오 부호화 방법

Also Published As

Publication number Publication date
KR101363044B1 (ko) 2014-02-17

Similar Documents

Publication Publication Date Title
US8228989B2 (en) Method and apparatus for encoding and decoding based on inter prediction
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
KR100823287B1 (ko) 전역 차이 벡터를 이용한 다시점 영상의 부호화, 복호화방법 및 장치
EP2250816B1 (en) Method and apparatus for encoding and decoding an image by using consecutive motion estimation
US9351017B2 (en) Method and apparatus for encoding/decoding images using a motion vector of a previous block as a motion vector for the current block
JP7141463B2 (ja) インター予測モードに基づいた映像処理方法およびそのための装置
US20080304569A1 (en) Method and apparatus for encoding and decoding image using object boundary based partition
JP7477495B2 (ja) インター予測モードに基づいた映像処理方法及びそのための装置
KR20080066522A (ko) 다시점 영상의 부호화, 복호화 방법 및 장치
GB2487200A (en) Video encoding and decoding with improved error resilience
KR20090057250A (ko) 다시점 비디오에서 전역변이를 이용하여 상이한 시점의 화면들을 압축 또는 복호하는 인코더와 인코딩하는 방법 및디코더와 디코딩하는 방법
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
KR102500091B1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2007035042A1 (en) Apparatus and method for encoding and decoding multi-view video
KR101375669B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
KR101363044B1 (ko) 비디오 영상의 부호화 모드 결정 방법 및 장치, 이를이용한 비디오 영상의 부호화/복호화 장치 및 방법 그리고상기 방법을 수행하는 프로그램이 기록된 기록 매체
KR100928325B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101390194B1 (ko) 움직임 추정을 이용한 영상의 부호화, 복호화 방법 및 장치
KR20090078114A (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
KR20070033239A (ko) 다시점 동영상을 부호화 및 복호화하는 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee