KR101043758B1 - 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 - Google Patents

영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 Download PDF

Info

Publication number
KR101043758B1
KR101043758B1 KR1020090025020A KR20090025020A KR101043758B1 KR 101043758 B1 KR101043758 B1 KR 101043758B1 KR 1020090025020 A KR1020090025020 A KR 1020090025020A KR 20090025020 A KR20090025020 A KR 20090025020A KR 101043758 B1 KR101043758 B1 KR 101043758B1
Authority
KR
South Korea
Prior art keywords
block
prediction block
prediction
encoding
pixel
Prior art date
Application number
KR1020090025020A
Other languages
English (en)
Other versions
KR20100106811A (ko
Inventor
고성제
정승원
윤여진
박천수
백승진
Original Assignee
중앙대학교 산학협력단
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 고려대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020090025020A priority Critical patent/KR101043758B1/ko
Publication of KR20100106811A publication Critical patent/KR20100106811A/ko
Application granted granted Critical
Publication of KR101043758B1 publication Critical patent/KR101043758B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Abstract

영상 부호화 장치 및 방법, 그리고 영상 복호화 장치 및 방법이 개시된다. 제1예측블록 생성부는 데이터 스트림이 복호화되어 생성된 복수의 재생블록 상에서 부호화/복호화 대상 블록과 인접한 화소의 화소값에 의해 부호화/복호화 대상 블록에 대응하는 제1예측블록을 생성한다. 제2예측블록 생성부는 재생블록 상에서 결정된 부호화/복호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 이용하여 부호화/복호화 대상 블록에 대응하는 제2예측블록을 생성한다. 최종 예측블록 생성부는 제1예측블록을 구성하는 각 화소의 화소값과 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 부호화/복호화 대상 블록에 대응하는 최종 예측블록을 생성한다. 부호화부는 제1예측블록과 제2예측블록의 생성정보 및 가중치를 부호화하여 데이터 스트림에 포함시킨다. 본 발명에 따르면, 예측신호를 생성할 때 단순한 영상 및 패턴이나 노이즈가 존재하는 영상에 대하여 각각 우수한 성능을 보이는 두 가지의 방법을 함께 사용함으로써, 기존의 방법에 비하여 예측신호의 정확도가 높아지게 된다.
Figure R1020090025020
부호화/복호화, 예측블록, 예측 모드, 템플릿 매칭, 가중평균

Description

영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체{Apparatus and method for encoding image, apparatus for decoding image and recording medium storing program for executing method for decoding image in computer}
본 발명은 영상 부호화 장치 및 방법, 그리고 영상 복호화 장치 및 방법에 관한 것으로, 보다 상세하게는, 공간적 중복성을 제거하여 효율적으로 영상의 전송 및 저장이 가능하도록 하는 장치 및 방법에 관한 것이다.
동영상을 효율적으로 저장하거나 전송하기 위해서는 압축부호화할 필요가 있다. 동영상을 압축부호화하는 방법으로는 JPEG(Joint Photographic Experts Group), MPEG(Motion Picture Experts Group), H.264/AVC 등이 있다. 이 중에서 H.264/AVC는 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)가 공동으로 개발한 방법으로서 화면내 예측 부호화를 채택함으로써 기존의 동영상 압축방법인 MPEG-4와 비교할 때 영상의 화질을 유지하면서 압축률을 향상시킬 수 있다.
H.264는 블록 기반의 움직임 보상과 엔트로피 부호화를 위해 4×4 블록 단위의 움직임 보상(4×4 block motion-compensation), 정수 기반의 4×4 변환(integer 4×4 transform), 화면 내 부호화시 방향성 공간성 이용 예측 방법(directional spatial prediction for intra coding), 높은 압축 성능을 보이는 CAVLC(context-based adaptive variable length coding) 및 CABAC(context-based adaptive binary arithmetic coding) 등의 엔트로피 부호화 방법과 같은 새로운 기술을 채택하고 있다.
H.264의 화면내 부호화 방법에서는 주변에 복호된 매크로블록의 정보를 이용하여 현재 매크로블록의 화소값을 추정한다. 이때 부호화 장치의 구현 및 부호화의 편의를 위하여 현재 매크로블록과 인접한 매크로블록의 화소값 및 방향성을 고려하여 예측블록(predicted block)을 생성한다. 그러나 이러한 방식은 현재 매크로블록의 경계와 인접한 화소값만을 이용하기 때문에 부호화 효율에 한계를 가진다.
이를 개선하기 위한 템플릿 매칭(template matching) 방식은 현재 매크로블록과 유사한 화소값을 가지는 참조블록을 복호화된 주변 블록들 중에서 검색하여 예측 블록으로 사용한다. 그러므로 영상에 특정 패턴이 존재하는 경우에는 효과적으로 참조블록을 찾을 수 있다. 그러나 부호화 단계에서 동일하게 참조블록을 검색하여야 하기 때문에 부호화기의 복잡도를 증가시킬 수 있다는 단점을 가진다.
본 발명이 이루고자 하는 기술적 과제는, 영상의 부호화 과정에서 사용되는 예측신호를 생성할 때 영상의 특성에 따라 기존의 방법에 비해 우수한 성능을 보이는 영상 부호화 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상의 복호화 과정에서 사용되는 예측신호를 생성할 때 영상의 특성에 따라 기존의 방법에 비해 우수한 성능을 보이는 영상 복호화 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 영상의 부호화/복호화 과정에서 사용되는 예측신호를 생성할 때 영상의 특성에 따라 기존의 방법에 비해 우수한 성능을 보이는 영상 부호화/복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 영상 부호화 장치는, 원본 영상프레임을 구성하는 복수의 부호화 대상 블록과 상기 각각의 부호화 대상 블록에 대응하여 생성된 예측블록 사이의 차분블록을 변환한 변환 계수 데이터를 순차적으로 부호화하여 데이터 스트림을 생성하며, 상기 데이터 스트림이 복호화되어 생성된 복수의 재생블록 상에서 상기 부호화 대상 블록과 인접한 화소의 화소값에 의해 상기 부호화 대상 블록에 대응하는 제1예측블록을 생성하는 제1예측블록 생성부; 상기 재생블록 상에서 결정된 상기 부호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 이용하여 상기 부호화 대상 블록에 대응하는 제2예측블록을 생성하는 제2예측블록 생성부; 상기 제1예측블록을 구성하는 각 화소의 화소값과 상기 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 상기 부호화 대상 블록에 대응하는 최종 예측블록을 생성하는 최종 예측블록 생성부; 및 상기 제1예측블록과 상기 제2예측블록의 생성정보 및 상기 가중치를 부호화하여 상기 데이터 스트림에 포함시키는 부호화부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 영상 부호화 방법은, 원본 영상프레임을 구성하는 복수의 부호화 대상 블록과 상기 각각의 부호화 대상 블록에 대응하여 생성된 예측블록 사이의 차분블록을 변환한 변환 계수 데이터를 순차적으로 부호화하여 데이터 스트림을 생성하며, 상기 데이터 스트림이 복호화되어 생성된 복수의 재생블록 상에서 상기 부호화 대상 블록과 인접한 화소의 화소값에 의해 상기 부호화 대상 블록에 대응하는 제1예측블록을 생성하는 제1예측블록 생성단계; 상기 재생블록 상에서 결정된 상기 부호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 이용하여 상기 부호화 대상 블록에 대응하는 제2예측블록을 생성하는 제2예측블록 생성단계; 상기 제1예측블록을 구성하는 각 화소의 화소값과 상기 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 상기 부호화 대상 블록에 대응하는 최종 예측블록을 생성하는 최종 예측블록 생성단계; 및 상기 제1예측블록과 상기 제2예측블록의 생성정보 및 상기 가중치를 부호화하여 상기 데이터 스트림에 포함시키는 부호화단계;를 갖는다.
상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 영상 복호화 장치는, 입력받은 데이터 스트림으로에 포함된 복호화 대상 블록, 제1부호화방법에 의해 생성된 제1예측블록의 생성정보, 제2부호화방법에 의해 생성된 제2예측블록의 생성정보 및 상기 제1예측블록과 상기 제2예측블록으로부터 최종 예측블록을 생성하기 위한 가중치를 복호화하는 복호화부; 상기 데이터 스트림 이전에 입력된 데이터 스트림을 복원하여 얻어진 복수의 재생블록 상에서 상기 제1예측블록의 생성정보에 기초하여 상기 복호화 대상 블록과 인접한 화소의 화소값에 의해 상기 복호화 대상 블록에 대응하는 제1예측블록을 생성하는 제1예측블록 생성부; 상기 제2예측블록의 생성정보에 기초하여 상기 재생블록 상에서 결정된, 상기 복호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 이용하여 상기 복호화 대상 블록에 대응하는 제2예측블록을 생성하는 제2예측블록 생성부; 상기 제1예측블록을 구성하는 각 화소의 화소값과 상기 제2예측블록을 구성하는 각 화소의 화소값에 각각 상기 가중치를 부여한 후 합산하여 상기 복호화 대상 블록에 대응하는 최종 예측블록을 생성하는 최종 예측블록 생성부; 및 상기 복호화 대상 블록이 복호화 및 역변환되어 생성된 차분블록과 상기 최종 예측블록을 합산하여 상기 재생블록을 생성하는 가산부;를 구비한다.
상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 영상 복호화 방법은, 입력받은 데이터 스트림으로에 포함된 복호화 대상 블록, 제1부호화방법에 의해 생성된 제1예측블록의 생성정보, 제2부호화방법에 의해 생성된 제2예측블록의 생성정보 및 상기 제1예측블록과 상기 제2예측블록으로부터 최종 예측블록을 생성하기 위한 가중치를 복호화하는 복호화단계; 상기 데이터 스트림 이전에 입력된 데 이터 스트림을 복원하여 얻어진 복수의 재생블록 상에서 상기 제1예측블록의 생성정보에 기초하여 상기 복호화 대상 블록과 인접한 화소의 화소값에 의해 상기 복호화 대상 블록에 대응하는 제1예측블록을 생성하는 제1예측블록 생성단계; 상기 제2예측블록의 생성정보에 기초하여 상기 재생블록 상에서 결정된, 상기 복호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 이용하여 상기 복호화 대상 블록에 대응하는 제2예측블록을 생성하는 제2예측블록 생성단계; 상기 제1예측블록을 구성하는 각 화소의 화소값과 상기 제2예측블록을 구성하는 각 화소의 화소값에 각각 상기 가중치를 부여한 후 합산하여 상기 복호화 대상 블록에 대응하는 최종 예측블록을 생성하는 최종 예측블록 생성단계; 및 상기 복호화 대상 블록이 복호화 및 역변환되어 생성된 차분블록과 상기 최종 예측블록을 합산하여 상기 재생블록을 생성하는 가산단계;를 갖는다.
본 발명에 따른 영상 부호화 장치 및 방법, 그리고 영상 복호화 장치 및 방법에 의하면, 예측신호를 생성할 때 단순한 영상 및 패턴이나 노이즈가 존재하는 영상에 대하여 각각 우수한 성능을 보이는 두 가지의 방법을 함께 사용함으로써, 기존의 방법에 비하여 예측신호의 정확도가 높아지게 된다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 영상 부호화 장치 및 방법, 그리고 영상 복호화 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 영상 부호화 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 영상 부호화 장치는 원본 영상프레임을 구성하는 복수의 부호화 대상 블록을 순차적으로 부호화하여 데이터 스트림을 생성하며, 영상분할부(110), 감산부(120), 변환부(130), 부호화부(140), 역변환부(150), 가산부(160), 저장부(170) 및 예측부(180)를 구비한다.
본 발명에서는 새로운 방법을 사용함에 따라 예측부(180) 및 부호화부(140)의 동작이 달라지게 된다. 따라서 이하에서는 다른 구성요소의 기능 및 동작은 간략하게 설명하고, 예측부(180) 및 부호화부(140)의 동작에 대하여 상세하게 설명한다.
먼저 영상분할부(110)는 입력받은 원본 영상프레임을 복수의 부호화 대상 블록으로 분할한다. 부호화 대상 블록은 사전에 설정된 소정 크기(예를 들면, 8×8 크기)의 블록이며, 이후 부호화 과정은 부호화 대상 블록 단위로 수행된다.
감산부(120)는 부호화 대상 블록을 구성하는 각 화소와 뒤에서 설명할 예측부(180)에 의해 생성된 최종 예측블록을 구성하는 각 화소의 화소값의 차로 이루어지는 차분블록을 생성하여 출력한다. 이러한 차분블록이 부호화의 대상이 된다.
변환부(130)는 입력받은 차분블록에 대해 이산 코사인 변환(discrete cosine transform : DCT)과 같은 직교변환을 수행하여 변환 계수 데이터를 출력한다. 이러한 변환 과정은 이후의 부호화 과정이 효율적으로 이루어지도록 하기 위해 수행된다. 또한 데이터량의 압축을 위해 직교변환 후의 변환 계수에 대하여 양자화를 수 행할 수 있다.
변환부(130)에 의해 출력되는 변환 계수 데이터는 감산부(120)에 입력되는 최종 예측블록을 생성하기 위해 먼저 역변환부(150)로 입력된다. 역변환부(150)는 변환부(130)에 의해 수행되는 변환 과정을 역으로 수행하여 변환 계수 데이터로부터 차분블록을 생성한다.
가산부(160)는 차분블록을 구성하는 각 화소와 뒤에서 설명할 예측부(180)에 의해 생성된 최종 예측블록을 구성하는 각 화소의 화소값을 합산하여 재생블록을 생성한다. 이러한 재생블록은 영상 복호화 장치에 의해 생성되는 것과 동일하다. 재생블록은 저장부(170)에 저장되어 예측부(180)에 의한 최종 예측블록 생성에 사용된다.
이하에서는 본 발명의 특징이라 할 수 있는 예측부(180)에 관하여 상세하게 설명한다. 예측부(180)에 의해 생성된 최종 예측블록은 영상의 부호화 및 복호화 수행시에 참조 데이터로 사용된다.
도 1을 참조하면, 예측부(180)는 제1예측블록 생성부(182), 제2예측블록 생성부(184) 및 최종 예측블록 생성부(186)를 구비한다.
제1예측블록 생성부(182)는 데이터 스트림이 복호화되어 생성된 복수의 재생블록 상에서 부호화 대상 블록과 인접한 화소의 화소값에 의해 부호화 대상 블록에 대응하는 제1예측블록을 생성한다.
제1예측블록 생성부(182)에 의한 제1예측블록의 생성은 기존의 H.264/AVC 부호화기에서 사용되는 화면내 예측방법과 동일한 방법에 의해 이루어진다. 구체적으 로, 제1예측블록 생성부(182)는 예측블록을 구성하는 각 화소의 화소값을 결정하기 위한 복수의 예측 모드에 의해 생성된 복수의 예측블록 중에서 부호화 대상 블록을 구성하는 각 화소와의 화소값의 차를 기초로 산출된 제1예측오차를 최소로 하는 예측블록을 제1예측오차로 결정한다.
도 2에는 제1예측블록을 생성하기 위해 사용되는 4×4 크기의 부호화 대상 블록에 인접한 화소들이 도시되어 있고, 도 3에는 9가지 예측 모드별 예측 방향이 도시되어 있다. 도 2를 참조하면, 부호화 대상 블록을 제외한 블록들은 역변환부(150) 및 가산부(160)에 의해 복호화되어 저장부(170)에 저장된 재생블록이다. 또한 부호화 대상 블록에 대응하는 제1예측블록은 재생블록을 구성하는 화소들 중에서 부호화 대상 블록에 인접한 화소들의 화소값(A~M)을 기초로 생성된다.
다음으로 도 3을 참조하여 예측 모드들을 구체적으로 살펴보면, 수직 예측 모드(예측 모드 0), 수평 예측 모드(예측 모드 1), DC 예측 모드(예측 모드 2), 좌하 대각(Diagonal Down-Left) 예측 모드(예측 모드 3), 우하 대각(Diagonal Down-Right) 예측 모드(예측 모드 4), 우향 수직(Vertical-Right) 예측 모드(예측 모드 5), 하향 수평(Horizontal-Down) 예측 모드(예측 모드 6), 좌향 수직(Vertical-Left) 예측 모드(예측 모드 7) 및 상향 수평(Horizontal-Up) 예측 모드(예측 모드 8) 등이다.
표 1 및 표 2에는 부호화 대상 블록에 대응하는 제1예측블록을 생성하기 위한 9가지 예측 모드에 의해 예측블록을 구성하는 화소의 화소값을 구하는 식이 기 재되어 있다. 표 1 및 표 2에서 Predi[m, n]는 예측 모드 i(i는 0~8)로 예측된 예측 블록의 (m, n) 위치의 화소의 화소값이다. 이때 각각의 화소값들은 부호화할 4×4 블록 주위의 화소값들을 이용하여 구해진다.
예측 모드 0 예측 모드 1 예측 모드 2 예측 모드 3 예측 모드 4
Predi[0,0] A I (A~L)의 평균 (A+2B+C)/4 (A+2M+I)/4
Predi[1,0] B I (A~L)의 평균 (B+2C+D)/4 (M+2A+B)/4
Predi[2,0] C I (A~L)의 평균 (C+2D+E)/4 (A+2B+C)/4
Predi[3,0] D I (A~L)의 평균 (D+2E+F)/4 (B+2C+D)/4
Predi[0,1] A J (A~L)의 평균 (B+2C+D)/4 (M+2I+J)/4
Predi[1,1] B J (A~L)의 평균 (C+2D+E)/4 (A+2M+I)/4
Predi[2,1] C J (A~L)의 평균 (D+2E+F)/4 (M+2A+B)/4
Predi[3,1] D J (A~L)의 평균 (E+2F+G)/4 (A+2B+C)/4
Predi[0,2] A K (A~L)의 평균 (C+2D+E)/4 (I+2J+K)/4
Predi[1,2] B K (A~L)의 평균 (D+2E+F)/4 (M+2I+J)/4
Predi[2,2] C K (A~L)의 평균 (E+2F+G)/4 (A+2M+I)/4
Predi[3,2] D K (A~L)의 평균 (F+2G+H)/4 (M+2A+B)/4
Predi[0,3] A L (A~L)의 평균 (D+2E+F)/4 (J+2K+L)/4
Predi[1,3] B L (A~L)의 평균 (E+2F+G)/4 (I+2J+K)/4
Predi[2,3] C L (A~L)의 평균 (F+2G+H)/4 (M+2I+J)/4
Predi[3,3] D L (A~L)의 평균 (G+3H)/4 (A+2M+I)/4
예측 모드 5 예측 모드 6 예측 모드 7 예측 모드 8
Predi[0,0] (M+A)/2 (M+I)/2 (A+B)/2 (I+J)/2
Predi[1,0] (A+B)/2 (I+2M+A)/4 (B+C)/2 (I+2J+K)/4
Predi[2,0] (B+C)/2 (M+2A+B)/4 (C+D)/2 (J+K)/2
Predi[3,0] (C+D)/2 (A+2B+C)/4 (D+E)/2 (J+2K+L)/4
Predi[0,1] (I+2M+A)/4 (I+J)/2 (A+2B+C)/4 (J+K)/2
Predi[1,1] (M+2A+B)/4 (M+2I+J)/4 (B+2C+D)/4 (J+2K+L)/4
Predi[2,1] (A+2B+C)/4 (M+I)/2 (C+2D+E)/4 (K+L)/2
Predi[3,1] (B+2C+D)/4 (I+2M+A)/4 (D+2E+F)/4 (K+3L)/2
Predi[0,2] (M+2I+J)/4 (J+K)/2 (B+C)/2 (K+L)/2
Predi[1,2] (M+A)/2 (I+2J+K)/4 (C+D)/2 (K+3L)/2
Predi[2,2] (A+B)/2 (I+J)/2 (D+E)/2 L
Predi[3,2] (B+C)/2 (M+2I+J)/4 (E+F)/2 L
Predi[0,3] (I+2J+K)/4 (K+L)/2 (B+2C+D)/4 L
Predi[1,3] (I+2M+A)/4 (J+2K+L)/4 (C+2D+E)/4 L
Predi[2,3] (M+2A+B)/4 (J+K)/2 (D+2E+F)/4 L
Predi[3,3] (A+2B+C)/4 (I+2J+K)/4 (E+2F+G)/4 L
다음으로 제1예측블록 생성부(182)는 위와 같은 9가지의 예측 모드에 의해 생성된 9개의 예측블록 중에서 제1예측오차를 최소화하는 예측블록을 제1예측블록으로 결정한다. 제1예측오차를 산출하는 함수로는 다음의 수학식 1로 표현되는 율-비용함수를 사용할 수 있다. 즉, 제1예측블록 생성부(182)는 부호화 대상 블록을 구성하는 각 화소의 화소값과 각각의 예측 모드에 대응하는 예측블록의 각 좌표의 화소값의 차이값을 산출한 후 차이값에 대한 율-비용 함수가 최소가 되는 예측블록을 생성하는 예측 모드를 제1예측블록을 생성하는 최적의 예측 모드로 선택한다.
Figure 112009017747773-pat00001
여기서,
Figure 112009017747773-pat00002
은 복수의 예측 모드 중에서 i번째 예측 모드에 의해 생성된 예측블록을 기초로 산출된 제1예측오차, M 및 N은 부호화 대상 블록과 i번째 예측 모드에 의해 생성된 예측블록의 수직방향 및 수평방향의 크기, cur(m, n)는 부호화 대상 블록의 (m, n) 좌표에 대한 화소값, 그리고 predi 1(m, n)는 i번째 예측 모드에 의해 생성된 예측블록의 (m, n) 좌표에 대한 화소값이다.
제1예측블록 생성부(182)는 수학식 1에 의해 각각의 모드별로 제1예측오차인
Figure 112009017747773-pat00003
을 산출한 후 이를 최소로 하는 예측 모드를 최적의 예측 모드로 선택하게 된다. 이를 수학식으로 표현하면 다음과 같다.
Figure 112009017747773-pat00004
여기서, C는 4×4 블록 또는 8×8 블록의 휘도성분을 예측할 때 사용하는 화면내 예측 모드로서, 4×4 블록이나 8×8 블록은 기본적으로 9가지 예측 모드(즉, C={0, 1, 2, 3, 4, 5, 6, 7, 8})를 가지고 있다.
최종적으로 제1예측블록 생성부(182)는 위 수학식 1 및 수학식 2에 따라 결정된 최적의 예측 모드에 의해 생성된 예측블록을 제1예측블록으로 결정한다.
제2예측블록 생성부(184)는 재생블록 상에서 부호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 이용하여 부호화 대상 블록에 대응하는 제2예측블록을 생성한다. 제2예측블록의 생성은 템플릿 매칭(template matching)에 의한 예측블록 생성 방식과 동일한 방법에 의해 이루어진다.
도 4는 제2예측블록 생성부(184)에 대한 바람직한 일 실시예의 구성을 도시 한 블록도이다. 도 4를 참조하면, 제2예측블록 생성부(184)는 템플릿 영역 결정부(410), 템플릿 매칭부(420) 및 예측블록 결정부(430)를 구비한다.
템플릿 영역 결정부(410)는 재생블록을 구성하는 화소 중에서 부호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 결정한다.
도 5는 재생블록 상에서 결정된 템플릿 영역의 일 예를 도시한 도면이다. 도 5를 참조하면, 부호화 대상 블록을 제외한 블록들은 역변환부(150) 및 가산부(160)에 의해 복호화되어 저장부(170)에 저장되어 있는 재생블록이며, 템플릿 영역(510)은 부호화 대상 블록과 인접하도록 재생블록을 구성하는 화소들에 의해 이루어진다. 템플릿 영역 결정부(410)에 의해 결정된 템플릿 영역(510)은 부호화 대상 블록에 대응하는 제2예측블록을 생성하기 위해 이용된다.
템플릿 매칭부(420)는 재생블록 상에서 템플릿 영역을 구성하는 각 화소의 화소값과의 차를 기초로 산출된 제2예측오차를 최소로 하는 대응 템플릿 영역을 탐색한다.
도 6은 재생블록들로 이루어진 영역 상에서 대응 템플릿 영역을 탐색하는 과정을 설명하기 위한 도면이다. 도 6을 참조하면, 실선으로 표시된 영역이 재생블록들로 이루어진 영역에 해당한다. 부호화 대상 블록(610)에 대해 재생블록 상에서 템플릿 영역(620)이 결정되고, 재생블록들로 이루어진 영역 상에서 템플릿 영역(620)과의 제2예측오차를 최소로 하는 대응 템플릿 영역(630)을 탐색한다. 결정되는 대응 템플릿 영역(630)은 템플릿 영역(620)과 동일한 크기 및 형태를 가진다.
대응 템플릿 영역(630)은 템플릿 영역(620)과의 상관성이 가장 높은 영역을 말한다. 상관성, 즉 제2예측오차를 측정하기 위한 방법으로는 차분 신호의 절대치합을 나타내는 SAD(sum of absolute difference) 또는 차분 신호의 제곱 오차 평균을 나타내는 MSE(mean square error) 등을 이용할 수 있고, 위 수학식 1을 적용할 수도 있다. 이때 수학식 1을 적용하여 제2예측오차를 측정하기 위해서는 부호화 대상 블록과 예측블록이 아닌 템플릿 영역(620)과 대응 템플릿 영역(630)을 구성하는 화소 사이의 화소값의 차를 이용한다.
예측블록 결정부(430)는 템플릿 영역과 부호화 대상 블록 사이의 위치관계 및 대응 템플릿 영역의 위치를 기초로 제2예측블록을 결정한다.
도 7은 부호화 대상 블록에 대응하여 생성된 제2예측블록을 도시한 도면이다. 도 7을 참조하면, 부호화 대상 블록(610)에 인접하도록 결정된 템플릿 영역(620)을 이용하여 재생블록 상에서 제2예측오차를 최소화하는 대응 템플릿 영역(630)이 탐색된다. 다음으로 예측블록 결정부(430)는 템플릿 영역(620)과 부호화 대상 블록(610) 사이의 위치관계를 고려하여 제2예측블록(640)을 결정한다. 즉, 제2예측블록(640)은 템플릿 영역(620)에 대한 부호화 대상 블록(610)의 위치관계와 동일하도록 대응 템플릿 영역(630)에 대해 결정된다. 도 7에서, 템플릿 영역(620)이 부호화 대상 블록(610)의 두 변을 감싸는 형태로 위치하므로 그와 동일한 위치관계로 대응 템플릿 영역(630)이 제2예측블록(640)의 두 변을 감싸는 형태로 위치하도록 제2예측블록(640)의 위치를 결정한다.
최종 예측블록 생성부(186)는 제1예측블록을 구성하는 각 화소의 화소값과 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 부 호화 대상 블록에 대응하는 최종 예측블록을 생성한다.
제1예측블록을 생성하기 위해 사용되는 H.264/AVC에 의한 부호화 방식은 영상의 화소값 분포가 단순하고 방향성이 큰 경우에 우수한 성능을 보이며, 제2예측블록을 생성하기 위해 사용되는 템플릿 매칭에 의한 부호화 방식은 영상에 특정 패턴이 존재하거나 노이즈가 심한 경우에 우수한 성능을 보인다. 최종 예측블록 생성부(186)는 두 부호화 방식의 장점을 결합하여 기존에 비해 정확한 예측블록이 생성되도록 하기 위해 다음의 수학식 3과 같이 제1예측블록과 제2예측블록의 가중 평균을 취한다.
Figure 112009017747773-pat00005
여기서, Bpred는 최종 예측블록을 구성하는 각 화소의 화소값, B1은 제1예측블록을 구성하는 각 화소의 화소값, B2는 제2예측블록을 구성하는 각 화소의 화소값, 그리고 α는 가중치로서 0과 1 사이에서 선택된 값이다.
제1예측블록과 제2예측블록의 화소값에 부여되는 가중치를 선택할 때에는 제1예측블록과 제2예측블록을 생성할 때와 동일한 방법을 사용한다. 즉, 0과 1 사이에서 선택된 복수의 후보 가중치 중에서 예측오차를 최소로 하는 후보 가중치를 위 수학식 3의 α값으로 결정한다. 후보 가중치로는 0과 1 사이에서 일정한 간격, 예를 들면 0.1의 간격을 가지는 복수의 값들(0.1, 0.2, 0.3,…, 0.9)을 선택할 수 있으며, 이에 한정하지 않고 영상의 특성 등을 고려하여 적당한 값들을 선택할 수 있 다.
최종 예측블록을 생성할 때 부여되는 가중치를 결정하기 위한 예측오차의 산출은 수학식 1과 동일한 방법으로 수행된다. 다시 말하면, 최종 예측블록 생성부(186)는 복수의 후보 가중치 중에서 다음 수학식 4로 표현되는, 부호화 대상 블록과 해당 후보 가중치에 의해 생성된 최종 예측블록 사이의 예측오차를 최소화하는 후보 가중치를 α값, 즉 최종 예측블록을 생성하기 위한 가중치로 결정한다.
Figure 112009017747773-pat00006
여기서,
Figure 112009017747773-pat00007
는 후보 가중치 중에서 i번째 후보 가중치에 의해 생성된 최종 예측블록을 기초로 산출된 예측오차, M 및 N은 부호화 대상 블록과 i번째 후보 가중치에 의해 생성된 최종 예측블록의 수직방향 및 수평방향의 크기, cur(m, n)는 부호화 대상 블록의 (m, n) 좌표에 대한 화소값, 그리고 predi(m, n)는 i번째 후보 가중치에 의해 생성된 최종 예측블록의 (m, n) 좌표에 대한 화소값이다.
부호화부(140)는 변환부(130)로부터 변환 계수 데이터를 입력받아 엔트로피 부호화를 수행한다. 이와 같이 부호화된 데이터가 본 발명에 따른 영상 부호화 장치의 출력에 해당한다. 엔트로피 부호화로서 하프맨 부호화와 같은 가변 길이 부호화 방식 또는 CABAC(Context-based Adaptive Binary Arithmetic Coding)로 대표되는 산술 부호화 방식을 사용할 수 있다. 이와 같은 부호화에 의해 데이터량을 압축 할 수 있다.
또한 제1예측블록을 생성하기 위해 필요한 정보인 예측 모드에 관한 정보, 제2예측블록을 생성하기 위해 필요한 정보인 템플릿 영역 및 대응 템플릿 영역의 위치에 관한 정보, 그리고 최종 예측블록을 생성하기 위해 필요한 가중치에 관한 정보는 변환 계수 데이터와 함께 부호화부(140)에 의해 부호화된 후, 본 발명에 따른 영상 부호화 장치로부터 최종적으로 출력되는 부호화된 데이터 스트림에 포함되어 복호화기로 전송된다.
도 8은 본 발명에 따른 영상 부호화 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 8을 참조하면, 복수의 부호화 대상 블록으로 구성된 원본 영상프레임이 입력되면(S810), 먼저 제1예측블록 생성부(182)는 데이터 스트림이 복호화되어 생성된 복수의 재생블록 상에서 상기 부호화 대상 블록과 인접한 화소의 화소값에 의해 상기 부호화 대상 블록에 대응하는 제1예측블록을 생성한다(S820). 이때 제1예측블록은 복수의 예측 모드 중에서 수학식 1의 제1예측오차를 최소화하는 최적의 예측 모드에 의해 생성된다.
제2예측블록 생성부(184)의 템플릿 영역 결정부(410)는 재생블록을 구성하는 화소 중에서 부호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 결정한다(S830). 다음으로 템플릿 매칭부(420)는 재생블록 상에서 템플릿 영역을 구성하는 각 화소의 화소값과의 차를 기초로 산출된 제2예측오차를 최소화하는 대응 템플릿 영역을 탐색한다(S840). 예측블록 결정부(430)는 템플릿 영역과 부호화 대상 블 록 사이의 위치관계 및 대응 템플릿 영역의 위치를 기초로 제2예측블록을 결정한다(S850).
마지막으로 최종 예측블록 결정부(186)는 제1예측블록을 구성하는 각 화소의 화소값과 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 부호화 대상 블록에 대응하는 최종 예측블록을 생성한다(S860). 부호화부(140)는 제1예측블록과 제2예측블록의 생성정보 및 가중치를 부호화하여 데이터 스트림에 포함시킨다(S870).
도 9는 본 발명에 따른 영상 복호화 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다.
도 9를 참조하면, 본 발명에 따른 영상 복호화 장치는 입력받은 데이터 스트림에 포함된 복수의 복호화 대상 블록을 순차적으로 복호화하여 복수의 재생블록을 생성하며, 복호화부(910), 역변환부(920), 가산부(930), 저장부(940) 및 예측부(950)를 구비한다.
복호화부(910)는 입력받은 데이터 스트림을 복호화하는 수단이다. 데이터 스트림은 복수의 부호화 대상 블록으로 구성된 원본 영상프레임이 본 발명에 따른 부호화 장치에 의해 부호화된 것으로, 각각의 부호화 대상 블록에 대응하는 복호화 대상 블록으로 구성된다. 복호화부(910)에 의한 복호화 방식은 본 발명에 따른 영상 부호화 장치의 부호화부(140)에 의한 엔트로피 부호화 방식에 대응한다. 입력 데이터 스트림이 복수의 복호화 대상 블록으로 이루어져 있으므로, 복호화부(910)에 의한 복호화 및 출력 역시 블록 단위로 수행된다.
또한 본 발명에 따른 영상 부호화 장치에서 제1부호화방법에 의해 생성된 제1예측블록과 제2부호화방법에 의해 생성된 제2예측블록의 생성정보 및 최종 예측블록을 생성하기 위한 가중치가 부호화되어 데이터 스트림에 포함되어 함께 본 발명에 따른 영상 복호화 장치로 전송되므로, 복호화부(910)는 이러한 정보들도 데이터 스트림과 함께 복호화한다.
역변환부(920)는 복호화부(910)로부터 입력된 데이터에 본 발명에 따른 영상 부호화 장치의 변환부(130)에 의해 수행된 변환처리의 역처리를 수행하여 차분블록을 생성한다. 또한 역변환부(920)는 본 발명에 따른 영상 부호화 장치의 역변환부(150)와 동일한 방식을 사용한다.
가산부(930)는 뒤에 설명할 예측부(950)로부터 출력된 최종 예측블록과 역변환부(920)에 의해 생성된 차분블록을 합산하여 재생블록을 생성한다. 본 발명에 따른 영상 복호화 장치의 출력인 복호화된 데이터는 이와 동일한 재생블록으로 이루어져 있다. 또한 재생블록은 저장부(940)에 저장되며, 예측부(950)에 의한 최종 예측블록의 생성에 이용된다.
이하에서는 본 발명에 따른 영상 복호화 장치의 기술적 특징에 해당하는 예측부(950)에 관하여 설명한다. 도 9를 참조하면, 예측부(950)는 제1예측블록 생성부(952), 제2예측블록 생성부(954) 및 최종 예측블록 생성부(956)를 구비한다. 제1예측블록 생성부(952), 제2예측블록 생성부(954) 및 최종 예측블록 생성부(956) 각각은 본 발명에 따른 영상 부호화 장치의 예측부(180)를 구성하는 제1예측블록 생성부(182), 제2예측블록 생성부(184) 및 최종 예측블록 생성부(186)와 동일한 기능 을 수행하므로 상세한 설명은 생략한다.
제1예측블록, 제2예측블록 및 최종 예측블록은 복호화 대상 블록에 대응하여 생성된다. 구체적으로, 제1예측블록 생성부(952)는 제1예측블록을 생성할 복호화 대상 블록이 포함된 데이터 스트림 이전에 입력된 데이터 스트림이 복원되어 생성된 복수의 재생블록 상에서 복호화 대상 블록과 인접한 화소의 화소값에 의해 복호화 대상 블록에 대응하는 제1예측블록을 생성한다. 부호화된 제1예측블록의 생성정보는 데이터 스트림과 함께 본 발명에 따른 영상 부호화 장치로부터 전송되며, 복호화부(910)에 의해 복호화된다. 따라서 제1예측블록 생성부(952)는 본 발명에 따른 영상 부호화 장치의 제1예측블록 생성부(182)에 의해 사용된 예측 모드와 동일한 예측 모드에 의해 제1예측블록을 생성하게 된다.
제2예측블록 생성부(954)는 본 발명에 따른 영상 부호화 장치의 제2예측블록 생성부(184)와 동일한 방법에 의해, 즉 재생블록 상에서 결정된 복호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 이용하여 복호화 대상 블록에 대응하는 제2예측블록을 생성한다. 제1예측블록과 마찬가지로 제2예측블록의 생성정보 또한 데이터 스트림과 함께 본 발명에 따른 영상 부호화 장치로부터 전송되므로 제2예측블록 생성부(954)는 재생블록 상에서 대응 템플릿 영역을 탐색하는 과정을 거치지 않고 전송받은 생성정보를 이용하여 제2예측블록을 생성할 수 있다. 구체적으로, 제2예측블록의 생성정보에는 템플릿 영역 및 대응 템플릿 영역의 위치정보가 포함된다.
최종 예측블록 생성부(956)는 제1예측블록을 구성하는 각 화소의 화소값과 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 복호화 대상 블록에 대응하는 최종 예측블록을 생성한다. 최종 예측블록은 수학식 3에 의해 생성되며, 화소값에 부여되는 가중치인 α값은 본 발명에 따른 영상 부호화 장치로부터 출력된 데이터 스트림과 함께 전송된 것이다.
도 10은 본 발명에 따른 영상 복호화 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 10을 참조하면, 복수의 복호화 대상 블록으로 구성된 데이터 스트림이 영상 부호화 장치로부터 입력되면 복호화부(910)는 제1예측블록과 제2예측블록의 생성정보 및 최종 예측블록을 생성하기 위한 가중치를 데이터 스트림으로부터 추출하여 복호화한다(S1010).
제1예측블록 생성부(952)는 데이터 스트림이 복호화되어 생성된 복수의 재생블록 상에서 복호화 대상 블록과 인접한 화소의 화소값에 의해 복호화 대상 블록에 대응하는 제1예측블록을 생성한다(S1020). 다음으로 제2예측블록 생성부(954)는 재생블록 상에서 결정된 복호화 대상 블록과 인접한 화소들로 이루어진 템플릿 영역을 이용하여 복호화 대상 블록에 대응하는 제2예측블록을 생성한다(S1030). 이때 제1예측블록 생성부(952) 및 제2예측블록 생성부(954)는 본 발명에 따른 영상 부호화 장치로부터 전송된 제1예측블록 및 제2예측블록의 생성정보를 이용한다. 최종 예측블록 생성부(956)는 제1예측블록을 구성하는 각 화소의 화소값과 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 부호화 대상 블록에 대응하는 최종 예측블록을 생성한다(S1040). 최종 예측블록을 생성하기 위 한 가중치 역시 본 발명에 따른 영상 부호화 장치로부터 데이터 스트림과 함께 전송된 것이다.
마지막으로 가산부(930)는 최종 예측블록과 역변환부(920)에 의해 생성된 차분블록을 합산하여 재생블록을 생성한다(S1050).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 본 발명에 따른 영상 부호화 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도,
도 2는 제1예측블록을 생성하기 위해 사용되는 부호화 대상 블록에 인접한 화소들을 도시한 도면,
도 3은 제1예측블록을 생성하기 위해 사용되는 9가지 예측 모드별 예측 방향을 도시한 도면,
도 4는 제2예측블록 생성부(184)에 대한 바람직한 일 실시예의 구성을 도시한 블록도,
도 5는 재생블록 상에서 결정된 템플릿 영역의 일 예를 도시한 도면,
도 6은 재생블록들로 이루어진 영역 상에서 대응 템플릿 영역을 탐색하는 과정을 설명하기 위한 도면,
도 7은 부호화 대상 블록에 대응하여 생성된 제2예측블록을 도시한 도면,
도 8은 본 발명에 따른 영상 부호화 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 9는 본 발명에 따른 영상 복호화 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도, 그리고,
도 10은 본 발명에 따른 영상 복호화 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

Claims (16)

  1. 원본 영상프레임을 구성하는 복수의 부호화 대상 블록과 상기 각각의 부호화 대상 블록에 대응하여 생성된 예측블록 사이의 차분블록을 변환한 변환 계수 데이터를 순차적으로 부호화하여 데이터 스트림을 생성하는 영상 부호화 장치에 있어서,
    상기 변환 계수 데이터가 역변환된 후 상기 예측블록과 합산되어 생성된 복수의 재생블록을 구성하는 화소들 중에서 상기 부호화 대상 블록과 인접한 재생블록의 경계에 위치하는 화소들의 화소값에 의해 상기 부호화 대상 블록에 대응하는 제1예측블록을 생성하는 제1예측블록 생성부;
    상기 재생블록들에 포함된 화소들로 이루어져 상기 부호화 대상 블록과 인접하도록 형성된 템플릿 영역을 이용하여 상기 부호화 대상 블록에 대응하는 제2예측블록을 생성하는 제2예측블록 생성부;
    상기 제1예측블록을 구성하는 각 화소의 화소값과 상기 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 상기 부호화 대상 블록에 대응하는 최종 예측블록을 생성하는 최종 예측블록 생성부; 및
    상기 제1예측블록과 상기 제2예측블록의 생성정보 및 상기 가중치를 부호화하여 상기 데이터 스트림에 포함시키는 부호화부;를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  2. 제 1항에 있어서,
    상기 최종 예측블록 생성부는 다음의 수학식 A에 의해 상기 최종 예측블록을 생성하는 것을 특징으로 하는 영상 부호화 장치:
    [수학식 A]
    Figure 112009017747773-pat00008
    여기서, Bpred는 상기 최종 예측블록을 구성하는 각 화소의 화소값, B1은 상기 제1예측블록을 구성하는 각 화소의 화소값, B2는 상기 제2예측블록을 구성하는 각 화소의 화소값, 그리고 α는 상기 가중치로서 0과 1 사이에서 선택된 값이다.
  3. 제 1항 또는 제 2항에 있어서,
    상기 최종 예측블록 생성부는 0에서 1사이의 값들 중 선택된 복수의 후보 가중치 중에서 상기 최종 예측블록과 상기 부호화 대상 블록의 각 화소의 화소값의 차를 기초로 산출된 예측오차를 최소화하는 후보 가중치를 상기 가중치로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 3항에 있어서,
    상기 예측오차는 다음의 수학식 B에 의해 산출되는 것을 특징으로 하는 영상 부호화 장치:
    [수학식 B]
    Figure 112009017747773-pat00009
    여기서,
    Figure 112009017747773-pat00010
    는 상기 후보 가중치 중에서 i번째 후보 가중치에 의해 생성된 최종 예측블록을 기초로 산출된 예측오차, M 및 N은 상기 부호화 대상 블록과 상기 i번째 후보 가중치에 의해 생성된 최종 예측블록의 수직방향 및 수평방향의 크기, cur(m, n)는 상기 부호화 대상 블록의 (m, n) 좌표에 대한 화소값, 그리고 predi(m, n)는 상기 i번째 후보 가중치에 의해 생성된 최종 예측블록의 (m, n) 좌표에 대한 화소값이다.
  5. 제 1항 또는 제 2항에 있어서,
    상기 제1예측블록 생성부는 예측블록을 구성하는 각 화소의 화소값을 결정하기 위한 복수의 예측 모드에 의해 생성된 복수의 예측블록 중에서 상기 부호화 대상 블록을 구성하는 각 화소와의 화소값의 차를 기초로 산출된 제1예측오차를 최소로 하는 예측블록을 상기 제1예측블록으로 결정하며,
    상기 제1예측블록의 생성정보는 상기 제1예측블록을 생성하는 예측 모드에 관한 정보인 것을 특징으로 하는 영상 부호화 장치.
  6. 제 1항 또는 제 2항에 있어서,
    상기 제2예측블록 생성부는,
    상기 재생블록들에 포함된 화소들 중에서 선택된 화소들에 의해 상기 부호화 대상 블록과 인접한 템플릿 영역을 결정하는 템플릿 영역 결정부;
    상기 재생블록들 상에서 상기 템플릿 영역을 구성하는 각 화소의 화소값과의 차를 기초로 산출된 제2예측오차를 최소로 하는 대응 템플릿 영역을 탐색하는 템플릿 매칭부; 및
    상기 템플릿 영역과 상기 부호화 대상 블록 사이의 위치관계 및 상기 대응 템플릿 영역의 위치를 기초로 상기 제2예측블록을 결정하는 예측블록 결정부;를 포함하며,
    상기 제2예측블록의 생성정보는 상기 템플릿 영역 및 상기 대응 템플릿 영역의 위치에 관한 정보인 것을 특징으로 하는 영상 부호화 장치.
  7. 원본 영상프레임을 구성하는 복수의 부호화 대상 블록과 상기 각각의 부호화 대상 블록에 대응하여 생성된 예측블록 사이의 차분블록을 변환한 변환 계수 데이터를 순차적으로 부호화하여 데이터 스트림을 생성하는 영상 부호화 방법에 있어서,
    상기 변환 계수 데이터가 역변환된 후 상기 예측블록과 합산되어 생성된 복수의 재생블록을 구성하는 화소들 중에서 상기 부호화 대상 블록과 인접한 재생블록의 경계에 위치하는 화소들의 화소값에 의해 상기 부호화 대상 블록에 대응하는 제1예측블록을 생성하는 제1예측블록 생성단계;
    상기 재생블록들에 포함된 화소들로 이루어져 상기 부호화 대상 블록과 인접하도록 형성된 템플릿 영역을 이용하여 상기 부호화 대상 블록에 대응하는 제2예측블록을 생성하는 제2예측블록 생성단계;
    상기 제1예측블록을 구성하는 각 화소의 화소값과 상기 제2예측블록을 구성하는 각 화소의 화소값에 각각 가중치를 부여한 후 합산하여 상기 부호화 대상 블록에 대응하는 최종 예측블록을 생성하는 최종 예측블록 생성단계; 및
    상기 제1예측블록과 상기 제2예측블록의 생성정보 및 상기 가중치를 부호화하여 상기 데이터 스트림에 포함시키는 부호화단계;를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제 7항에 있어서,
    상기 최종 예측블록 생성단계에서, 0에서 1사이의 값들 중 선택된 복수의 후보 가중치 중에서 상기 최종 예측블록과 상기 부호화 대상 블록의 각 화소의 화소값의 차를 기초로 산출된 예측오차를 최소화하는 후보 가중치를 상기 가중치로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  9. 제 8항에 있어서,
    상기 예측오차는 다음의 수학식 B에 의해 산출되는 것을 특징으로 하는 영상 부호화 방법:
    [수학식 B]
    Figure 112009017747773-pat00011
    여기서,
    Figure 112009017747773-pat00012
    는 상기 후보 가중치 중에서 i번째 후보 가중치에 의해 생성된 최종 예측블록을 기초로 산출된 예측오차, M 및 N은 상기 부호화 대상 블록과 상기 i번째 후보 가중치에 의해 생성된 최종 예측블록의 수직방향 및 수평방향의 크기, cur(m, n)는 상기 부호화 대상 블록의 (m, n) 좌표에 대한 화소값, 그리고 predi(m, n)는 상기 i번째 후보 가중치에 의해 생성된 최종 예측블록의 (m, n) 좌표에 대한 화소값이다.
  10. 제 7항 내지 제 9항 중 어느 한 항에 있어서,
    상기 제1예측블록 생성단계에서, 예측블록을 구성하는 각 화소의 화소값을 결정하기 위한 복수의 예측 모드에 의해 생성된 복수의 예측블록 중에서 상기 부호화 대상 블록을 구성하는 각 화소와의 화소값의 차를 기초로 산출된 제1예측오차를 최소로 하는 예측블록을 상기 제1예측블록으로 결정하며,
    상기 제1예측블록의 생성정보는 상기 제1예측블록을 생성하는 예측 모드에 관한 정보인 것을 특징으로 하는 영상 부호화 방법.
  11. 제 7항 내지 제 9항 중 어느 한 항에 있어서,
    상기 제2예측블록 생성단계는,
    상기 재생블록들에 포함된 화소들 중에서 선택된 화소들에 의해 상기 부호화 대상 블록과 인접한 템플릿 영역을 결정하는 템플릿 영역 결정단계;
    상기 재생블록들 상에서 상기 템플릿 영역을 구성하는 각 화소의 화소값과의 차를 기초로 산출된 제2예측오차를 최소로 하는 대응 템플릿 영역을 탐색하는 템플릿 매칭단계; 및
    상기 템플릿 영역과 상기 부호화 대상 블록 사이의 위치관계 및 상기 대응 템플릿 영역의 위치를 기초로 상기 제2예측블록을 결정하는 예측블록 결정단계;를 포함하며,
    상기 제2예측블록의 생성정보는 상기 템플릿 영역 및 상기 대응 템플릿 영역의 위치에 관한 정보인 것을 특징으로 하는 영상 부호화 방법.
  12. 입력받은 데이터 스트림에 포함된 복호화 대상 블록, 제1부호화방법에 의해 생성된 제1예측블록의 생성정보, 제2부호화방법에 의해 생성된 제2예측블록의 생성정보 및 상기 제1예측블록과 상기 제2예측블록으로부터 최종 예측블록을 생성하기 위한 가중치를 복호화하는 복호화부;
    상기 제1예측블록의 생성정보를 기초로, 상기 데이터 스트림 이전에 입력된 데이터 스트림을 복원하여 얻어진 복수의 재생블록을 구성하는 화소들 중에서 상기 복호화 대상 블록에 인접한 재생블록의 경계에 위치하는 화소들의 화소값에 의해 상기 복호화 대상 블록에 대응하는 제1예측블록을 생성하는 제1예측블록 생성부;
    상기 제2예측블록의 생성정보를 기초로, 상기 재생블록들에 포함된 화소들로 이루어져 상기 복호화 대상 블록과 인접하도록 형성된 템플릿 영역을 이용하여 상기 복호화 대상 블록에 대응하는 제2예측블록을 생성하는 제2예측블록 생성부;
    상기 제1예측블록을 구성하는 각 화소의 화소값과 상기 제2예측블록을 구성하는 각 화소의 화소값에 각각 상기 가중치를 부여한 후 합산하여 상기 복호화 대상 블록에 대응하는 최종 예측블록을 생성하는 최종 예측블록 생성부; 및
    상기 복호화 대상 블록이 복호화 및 역변환되어 생성된 차분블록과 상기 최종 예측블록을 합산하여 상기 재생블록을 생성하는 가산부;를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  13. 제 12항에 있어서,
    상기 가중치는 0에서 1사이의 값들 중 선택된 복수의 후보 가중치 중에서 상기 최종 예측블록과 상기 복호화 대상 블록의 각 화소의 화소값의 차를 기초로 산출된 예측오차를 최소화하는 후보 가중치인 것을 특징으로 하는 영상 복호화 장치.
  14. 입력받은 데이터 스트림에 포함된 복호화 대상 블록, 제1부호화방법에 의해 생성된 제1예측블록의 생성정보, 제2부호화방법에 의해 생성된 제2예측블록의 생성정보 및 상기 제1예측블록과 상기 제2예측블록으로부터 최종 예측블록을 생성하기 위한 가중치를 복호화하는 복호화단계;
    상기 제1예측블록의 생성정보를 기초로, 상기 데이터 스트림 이전에 입력된 데이터 스트림을 복원하여 얻어진 복수의 재생블록을 구성하는 화소들 중에서 상기 복호화 대상 블록에 인접한 재생블록의 경계에 위치하는 화소들의 화소값에 의해 상기 복호화 대상 블록에 대응하는 제1예측블록을 생성하는 제1예측블록 생성단계;
    상기 제2예측블록의 생성정보를 기초로, 상기 재생블록들에 포함된 화소들로 이루어져 상기 복호화 대상 블록과 인접하도록 형성된 템플릿 영역을 이용하여 상기 복호화 대상 블록에 대응하는 제2예측블록을 생성하는 제2예측블록 생성단계;
    상기 제1예측블록을 구성하는 각 화소의 화소값과 상기 제2예측블록을 구성하는 각 화소의 화소값에 각각 상기 가중치를 부여한 후 합산하여 상기 복호화 대상 블록에 대응하는 최종 예측블록을 생성하는 최종 예측블록 생성단계; 및
    상기 복호화 대상 블록이 복호화 및 역변환되어 생성된 차분블록과 상기 최종 예측블록을 합산하여 상기 재생블록을 생성하는 가산단계;를 포함하는 것을 특징으로 하는 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 제 14항에 있어서,
    상기 가중치는 0에서 1사이의 값들 중 선택된 복수의 후보 가중치 중에서 상기 최종 예측블록과 상기 복호화 대상 블록의 각 화소의 화소값의 차를 기초로 산출된 예측오차를 최소화하는 후보 가중치인 것을 특징으로 하는 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  16. 제 7항 내지 제 9항 중 어느 한 항에 기재된 영상 부호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020090025020A 2009-03-24 2009-03-24 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체 KR101043758B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090025020A KR101043758B1 (ko) 2009-03-24 2009-03-24 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090025020A KR101043758B1 (ko) 2009-03-24 2009-03-24 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체

Publications (2)

Publication Number Publication Date
KR20100106811A KR20100106811A (ko) 2010-10-04
KR101043758B1 true KR101043758B1 (ko) 2011-06-22

Family

ID=43128831

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090025020A KR101043758B1 (ko) 2009-03-24 2009-03-24 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체

Country Status (1)

Country Link
KR (1) KR101043758B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163024B1 (ko) 2020-05-25 2020-10-07 성유제 컨테이너 선적시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012121575A2 (ko) * 2011-03-10 2012-09-13 한국전자통신연구원 인트라 예측 방법 및 그 장치
CN109196864B (zh) 2016-05-24 2023-07-11 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
CN116781894A (zh) * 2016-11-29 2023-09-19 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100743849B1 (ko) 2003-12-26 2007-08-02 가부시키가이샤 엔티티 도코모 화상 부호화 장치, 화상 부호화 방법, 화상 부호화프로그램, 화상 복호 장치, 화상 복호 방법, 및 화상 복호프로그램
KR20080088040A (ko) * 2007-03-28 2008-10-02 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2008252176A (ja) 2007-03-29 2008-10-16 Toshiba Corp 動画像符号化装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100743849B1 (ko) 2003-12-26 2007-08-02 가부시키가이샤 엔티티 도코모 화상 부호화 장치, 화상 부호화 방법, 화상 부호화프로그램, 화상 복호 장치, 화상 복호 방법, 및 화상 복호프로그램
KR20080088040A (ko) * 2007-03-28 2008-10-02 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2008252176A (ja) 2007-03-29 2008-10-16 Toshiba Corp 動画像符号化装置及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163024B1 (ko) 2020-05-25 2020-10-07 성유제 컨테이너 선적시스템

Also Published As

Publication number Publication date
KR20100106811A (ko) 2010-10-04

Similar Documents

Publication Publication Date Title
KR102418957B1 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
KR100750145B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
JP4763422B2 (ja) イントラ予測装置
KR101365570B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
KR101623124B1 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
KR100727972B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101228020B1 (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR20070019485A (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101974952B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
US20100260263A1 (en) Image encoding apparatus, image encoding method, and computer program
KR20110073263A (ko) 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
KR101043758B1 (ko) 영상 부호화 장치 및 방법, 영상 복호화 장치 및 그 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체
KR20100044333A (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
KR101997599B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101943425B1 (ko) 비균등 양자화를 이용한 효과적인 부호화/복호화 방법 및 장치
KR101369161B1 (ko) 예측 방향 전환 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101436949B1 (ko) 영상 인코딩 방법 및 장치, 그리고 영상 처리 장치
KR102069784B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
JP5533885B2 (ja) 動画像符号化装置および動画像復号装置
KR102185952B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR20120126050A (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140304

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee