KR100824347B1 - Apparatus and method for incoding and deconding multi-video - Google Patents

Apparatus and method for incoding and deconding multi-video Download PDF

Info

Publication number
KR100824347B1
KR100824347B1 KR1020060108772A KR20060108772A KR100824347B1 KR 100824347 B1 KR100824347 B1 KR 100824347B1 KR 1020060108772 A KR1020060108772 A KR 1020060108772A KR 20060108772 A KR20060108772 A KR 20060108772A KR 100824347 B1 KR100824347 B1 KR 100824347B1
Authority
KR
South Korea
Prior art keywords
image
macroblock
image frame
frame
motion vector
Prior art date
Application number
KR1020060108772A
Other languages
Korean (ko)
Inventor
곽상민
한종기
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020060108772A priority Critical patent/KR100824347B1/en
Application granted granted Critical
Publication of KR100824347B1 publication Critical patent/KR100824347B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

An apparatus and a method for encoding and decoding multi videos are provided to encode the multi videos at an encoding rate higher than an existing multi video encoder, thereby reducing transmission time and transmission bandwidth for transmission of image data. A motion estimator(310) estimates a motion vector for an encoded MB(Macro Block) belonging to an encoded image frame of first image. A motion compensator(320) generates a prediction signal by detecting a reference MB corresponding to a current MB belonging to a current image frame from a reference image frame adjacent to the current image frame based on the estimated motion vector. A difference value calculator(330) calculates a difference value between the current MB and the prediction signal. An image frame selector(340) determines a reference image frame, as an image frame located at the same time axis as the encoded image frame among the encoded image frame and the second frame, as the current image frame and selectively provides the determined frame to the motion compensator. A redundancy removing signal generator(350) generates a redundancy removing signal by calculating difference between a first difference value calculated in correspondence with the encoded image frame and a second difference value calculated in correspondence with the reference image frame.

Description

다중 영상 압축 장치 및 그 방법, 그리고, 다중 영상 복원 장치 및 방법{Apparatus and method for incoding and deconding multi-video}Multiple image compression apparatus and method thereof, and multiple image decompression apparatus and method {Apparatus and method for incoding and deconding multi-video}

도 1은 다중 영상의 예를 도시한 도면,1 is a diagram illustrating an example of multiple images;

도 2는 기존의 다중 압축 기술의 움직임 보상과정을 도시한 도면,2 is a diagram illustrating a motion compensation process of a conventional multiple compression technique;

도 3은 본 발명에 따른 다중 영상 압축 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도,3 is a block diagram showing the configuration of a preferred embodiment of a multi-image compression device according to the present invention;

도 4는 본 발명에 따른 다중 영상 압축 장치의 움직임 보상부에 대한 바람직한 일 실시예를 구성을 도시한 블록도,4 is a block diagram showing a configuration of a preferred embodiment of a motion compensation unit of a multiple image compression apparatus according to the present invention;

도 5는 본 발명에 따른 다중 영상 압축 장치가 2개의 영상을 입력받는 경우의 현재 매크로블록을 포함하는 영상 프레임과 인접하는 순방향 및 역방향 참조 영상 프레임들을 도시한 도면이다.5 is a diagram illustrating forward and backward reference image frames adjacent to an image frame including a current macroblock when the multiple image compression apparatus according to the present invention receives two images.

도 6은 본 발명에 따른 영상 압축 장치에 대한 바람직한 다른 실시예의 구성을 도시한 블록도,6 is a block diagram showing the configuration of another preferred embodiment of an image compression apparatus according to the present invention;

도 7은 본 발명에 따른 다중 영상 압축 장치에 3개의 영상이 입력되는 경우에 영상 압축과정을 설명하기 위한 도면,7 is a view for explaining an image compression process when three images are input to a multiple image compression apparatus according to the present invention;

도 8은 본 발명에 따른 영상 압축 방법에 대한 바람직한 일 실시예의 수행 과정을 도시한 흐름도,8 is a flowchart illustrating a process of performing an embodiment of an image compression method according to the present invention;

도 9는 본 발명에 따른 다중 영상 복원 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도,9 is a block diagram showing the configuration of a preferred embodiment of a multi-image reconstruction apparatus according to the present invention;

도 10은 본 발명에 따른 다중 영상 복원 방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도, 그리고,10 is a flowchart illustrating a process of performing a preferred embodiment of the multi-image reconstruction method according to the present invention;

도 11은 본 발명에 따른 다중 영상 압축 장치와 기존의 다중 영상 압축 장치가 각각 FOOTBALL 다중 영상을 압축한 결과를 도시한 그래프이다.11 is a graph illustrating a result of compressing FOOTBALL multiple images by the multiple image compression apparatus and the conventional multiple image compression apparatus according to the present invention.

본 발명은 다중 영상 압축 장치 및 그 방법, 그리고, 다중 영상 복원 장치 및 방법에 관한 것으로, 보다 상세하게는, MPEG 영상 압축 기술을 이용하여 다중 영상 신호를 압축하기 위한 다중 영상 압축 장치 및 그 방법, 그리고, 다중 영상 복원 장치 및 방법에 관한 것이다.The present invention relates to a multiple image compression apparatus and method, and to a multiple image decompression apparatus and method, and more particularly, to a multiple image compression apparatus and method for compressing multiple image signals using MPEG image compression technology, In addition, the present invention relates to a multi-image reconstruction apparatus and method.

다중 영상은 동일한 시간축 상에 둘 이상의 영상들을 가지는 디지털 영상 신호를 가리킨다. 이러한 다중 영상은 두 대 이상의 카메라에서 동시에 촬영된 영상, 하나의 카메라에서 촬영되었지만 다양한 해상도를 가지는 영상, 분당 영상 프레임의 수가 서로 다른 영상 등을 포함한다. 도 1에는 다중 영상의 예가 도시되어 있다. 도 1을 참조하면, 다중 영상은 시계열적으로 순서화된 영상 프레임으로 구성되는 제1영상, 제1영상과 동일한 시간축 상에 제1영상의 각 영상 프레임(P1(t=1,…, n))과 대응하는 영상 프레임(P2(t=1,…, n))이 존재하는 제2영상, 그리고, 제2영상과 동일한 구성을 갖는 제3영상, 제4영상 등으로 구성된다. Multi-image refers to a digital image signal having two or more images on the same time axis. Such multiple images include images captured simultaneously by two or more cameras, images captured by one camera but having various resolutions, and images having different number of image frames per minute. 1 shows an example of multiple images. Referring to FIG. 1, a multi-image includes each image frame P 1 (t = 1,…, n) of the first image on the same time axis as the first image and the first image including a sequence of image frames ordered in time series. ) And a second image having an image frame P 2 (t = 1, ..., n), and a third image, a fourth image, and the like having the same configuration as the second image.

일반적으로 영상 신호는 연속적으로 동일한 배경을 촬영하여 생성된 신호이므로, 이전 영상 프레임과 현재 영상 프레임 사이에 많은 중복적인 데이터가 존재한다. 따라서 이전 영상 프레임으로부터 변화된 부분에 관한 정보만을 저장하면 현재 영상 프레임의 모든 정보를 저장하는 것보다 영상 신호의 크기를 줄일 수 있다. 이때, 기존 영상 프레임과 변화된 부분에 관한 정보로부터 현재 영상 프레임을 복원할 수 있도록 압축되어야 한다. 기존의 단일 영상 압축기술은 이러한 원리에 의해 영상 신호를 압축한다.In general, since a video signal is a signal generated by continuously photographing the same background, a lot of redundant data exists between a previous video frame and a current video frame. Therefore, storing only the information on the changed portion from the previous image frame can reduce the size of the image signal than to store all the information of the current image frame. At this time, it should be compressed so that the current image frame can be restored from the information about the existing image frame and the changed part. Conventional single image compression techniques compress video signals by this principle.

다중 영상은 위와 같은 단일 영상에서의 영상 프레임간 시간적 중복성뿐만 아니라 동일한 시간축 상에 위치하는 영상간의 중복성도 존재한다. 제1영상(110)과 제2영상(120)이 하나의 카메라에서 촬영된 영상으로서 해상도가 서로 다른 경우에, 제1영상(110)과 제2영상(120)의 대응되는 영상 프레임(112와 122, 114와 124, 116과 126)들에는 서로 중복된 데이터가 존재한다. 이러한 중복된 데이터를 제거함으로써 단일 영상을 압축한 것보다 압축률을 높일 수 있다.In the multiple image, not only the temporal redundancy between image frames in the single image but also the redundancy between images located on the same time axis. When the first image 110 and the second image 120 are captured by one camera and have different resolutions, the corresponding image frames 112 of the first image 110 and the second image 120 may be different from each other. 122, 114 and 124, 116 and 126 are duplicated data. By eliminating this redundant data, the compression rate can be higher than that of a single image.

도 2는 기존의 다중 영상 압축 기술의 움직임 보상과정을 도시한 도면이다. 순방향 참조 영상 프레임은 압축될 영상 프레임보다 시간상으로 선행하는 참조 영상 프레임을 의미하며, 역방향 참조 영상 프레임은 압축될 영상 프레임보다 시간상으로 후행하는 참조 영상 프레임을 의미한다.2 is a diagram illustrating a motion compensation process of a conventional multi-image compression technique. The forward reference picture frame refers to the reference picture frame that precedes the picture frame to be compressed in time, and the reverse reference picture frame refers to the reference picture frame that follows in time than the picture frame to be compressed.

도 2를 참조하면, 기존의 다중 영상 압축 기술은 제1영상의 움직임 벡터(MVF c, MVB C)를 기초로 제1영상의 현재 영상 프레임(220)의 압축대상 매크로블록(225)에 대한 순방향 영상 프레임(210)의 참조 매크로블록(215)과 역방향 영상 프레임(230)의 참조 매크로블록(235)을 검출하여 예측신호를 생성한다. 그리고 제2영상의 움직임 벡터(MVF r, MVB r)를 기초로 제2영상의 현재 영상 프레임(250)의 압축대상 매크로블록(255)에 대한 순방향 영상 프레임(240)의 참조 매크로블록(245)과 역방향 영상 프레임(260)의 참조 매크로블록(265)을 검출하여 예측신호를 생성한다. 따라서 검출된 제1영상의 매크로블록들(215, 235)과 검출된 제2영상의 매크로블록들(245, 265) 사이는 중복성이 적다.Referring to FIG. 2, the conventional multi-image compression technique is applied to the compression target macroblock 225 of the current image frame 220 of the first image based on the motion vectors MV F c and MV B C of the first image. The reference macroblock 215 of the forward image frame 210 and the reference macroblock 235 of the reverse image frame 230 are detected to generate a prediction signal. The reference macroblock of the forward image frame 240 with respect to the compression target macroblock 255 of the current image frame 250 of the second image is based on the motion vectors MV F r and MV B r of the second image. 245 and the reference macroblock 265 of the reverse picture frame 260 are detected to generate a prediction signal. Therefore, there is little redundancy between the macroblocks 215 and 235 of the detected first image and the macroblocks 245 and 265 of the detected second image.

도 2를 참조하여 설명한 바와 같은 기존의 H.264 Annex.F에 규정된 다중 영상 압축기술은 각각의 영상에 대해 개별적으로 단일 영상 압축기술에 따라 움직임 추정과 움직임 보상을 수행하여 예측신호를 생성하고, 예측신호와 영상 프레임의 차이값을 만든다. 다음으로 기존의 다중 영상 압축기술은 두 영상의 차이값의 차이를 산출하여 다중 영상을 압축한다. 따라서 제1영상의 현재 압축될 영상 프레임의 움직임 벡터와는 관련성이 없는 제1영상의 현재 압축될 영상 프레임과 동일한 시간축 상에 위치하는 제2영상의 영상 프레임에 대해 검출된 움직임 벡터를 이용하므로, 생성된 차이값 사이에는 중복성이 적다. 따라서 제거되는 데이터 양이 적어져 기존의 다중 영상 압축기술은 충분한 압축효과를 기대하기 어렵다는 문제가 있다.As described with reference to FIG. 2, the multi-image compression technique defined in the existing H.264 Annex.F generates a prediction signal by performing motion estimation and motion compensation according to a single image compression technique for each image individually. The difference between the predicted signal and the image frame is generated. Next, the conventional multiple image compression technology compresses multiple images by calculating a difference between two images. Therefore, since the motion vector detected for the image frame of the second image located on the same time axis as the current frame of the first image that is not related to the motion vector of the image frame to be currently compressed of the first image is used, There is little redundancy between the generated differences. Therefore, since the amount of data to be removed is small, the existing multiple image compression technology has a problem that it is difficult to expect a sufficient compression effect.

본 발명이 이루고자 하는 기술적 과제는 신호의 중복율이 높은 다중 영상 신호를 보다 높은 압축율로 압축할 수 있는 다중 영상 압축 장치 및 그 방법을 제공하는 데 있다.An object of the present invention is to provide a multi-image compression apparatus and method capable of compressing a multi-image signal having a high redundancy of a signal at a higher compression rate.

본 발명이 이루고자 하는 다른 기술적 과제는 본 발명에 따른 다중 영상 압축 장치가 압축한 영상 신호를 복원하는 다중 영상 복원 장치 및 그 방법을 제공하는 데 있다.Another object of the present invention is to provide a multi-image reconstruction apparatus and method for reconstructing a video signal compressed by the multi-image compression apparatus according to the present invention.

본 발명이 이루고자 하는 또 다른 기술적 과제는 신호의 중복율이 높은 다중 영상 신호를 보다 높은 압축율로 압축할 수 있는 방법 및 압축된 다중 영상 신호를 복원하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is a computer that records a program for executing a method of compressing a multiple video signal having a high signal redundancy with a higher compression rate and a method of recovering a compressed multiple video signal on a computer. To provide a readable recording medium.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 영상 압축 장치는, 복수의 제1영상 프레임으로 구성된 제1영상 및 상기 제1영상 프레임 각각과 동일한 시간축 상에 위치하는 복수의 제2영상 프레임으로 구성된 제2영상으로 이루어진 다중 영상 신호를 압축하는 장치에 있어서, 상기 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록에 대해 움직임 벡터를 추정하는 움직임 추정부; 상기 추정된 움직임 벡터를 기초로 현재 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하는 움직임 보상부; 상기 현재 매크로블록과 상기 예측신호의 차이값을 산출하는 차이값 산출부; 상기 압축대상 영상 프레임 및 상기 제2영상 프레임 중에서 상기 압축대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임인 기준 영상 프레임을 상기 현재 영상 프레임으로 결정하여 상기 움직임 보상부에 선택적으로 제공하는 영상 프레임 선택부; 및 상기 압축대상 영상 프레임에 대응하여 산출된 제1차이값과 상기 기준 영상 프레임에 대응하여 산출된 제2차이값의 차이를 산출하여 중복성제거신호를 생성하는 중복성제거신호 생성부;를 구비한다.In order to achieve the above technical problem, a multi-image compression apparatus according to the present invention includes a first image composed of a plurality of first image frames and a plurality of second image frames positioned on the same time axis as each of the first image frames. An apparatus for compressing a multi-image signal consisting of a second image comprising: a motion estimator for estimating a motion vector for a compression target macroblock belonging to a compression target image frame of the first image; A motion compensator for generating a prediction signal by detecting a reference macroblock corresponding to a current macroblock belonging to the current picture frame from a reference picture frame adjacent to the current picture frame based on the estimated motion vector; A difference value calculator for calculating a difference value between the current macroblock and the prediction signal; Selecting a video frame of the compression target image frame and the second image frame to determine a reference video frame, which is an image frame located on the same time axis as the compression target image frame, as the current image frame and selectively provide it to the motion compensator. part; And a redundancy removal signal generation unit configured to generate a redundancy removal signal by calculating a difference between a first difference value calculated corresponding to the compression target image frame and a second difference value calculated corresponding to the reference image frame.

또한 상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 영상 압축 방법은, 복수의 제1영상 프레임으로 구성된 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록에 대해 움직임 벡터를 추정하는 움직임 추정단계; 상기 추정된 움직임 벡터를 기초로 상기 제1영상의 압축대상 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 압축대상 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하고, 상기 압축대상 매크로블록과 상기 생성된 예측신호의 차이인 제1차이값을 산출하는 제1차이값 산출단계; 상기 추정된 움직임 벡터를 기초로 상기 제1영상 프레임 각각과 동일한 시간축 상에 위치하는 복수의 제2영상 프레임으로 구성된 제2영상 중에서 상기 압축대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임을 기준 영상 프레임으로 선택하고, 기준 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 압축대상 매크로블록에 대응하는 기준 영상 프레임에 속하는 매크로블록인 기준 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하고, 상기 기준 매크로블록과 상기 생성된 예측신호의 차이인 제2차이값을 산출하는 제2차이값 산출단계; 및 상기 산출된 제1차이값과 상기 산출된 제2차이값의 차이를 산출하여 중복성제거신호를 생성하는 중복성제거신호 생성단계;를 갖는다.In addition, in order to achieve the above technical problem, the multi-image compression method according to the present invention comprises estimating a motion vector for a compression target macroblock belonging to a compression target image frame of a first image including a plurality of first image frames. A motion estimation step; A reference macroblock corresponding to the compression target macroblock is detected from a reference image frame adjacent to the compression target image frame of the first image based on the estimated motion vector, and a prediction signal is generated; A first difference value calculating step of calculating a first difference value that is a difference between the generated prediction signals; A reference image of an image frame located on the same time axis as the compression target image frame among a second image including a plurality of second image frames positioned on the same time axis as each of the first image frames based on the estimated motion vector Selects a frame, detects a reference macroblock corresponding to a reference macroblock that is a macroblock belonging to a reference video frame corresponding to the compression target macroblock, from a reference picture frame adjacent to the reference picture frame, and generates a prediction signal; Calculating a second difference value that is a difference between a reference macroblock and the generated prediction signal; And generating a redundancy removal signal by calculating a difference between the calculated first difference value and the calculated second difference value.

또한 상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 영상 복원 장치는, 복수의 제1영상 프레임으로 구성된 제1영상을 상기 제1영상 프레임 각각과 동일한 시간축 상에 위치하는 복수의 제2영상 프레임으로 구성된 제2영상으로 압축된 영상을 복원하는 장치에 있어서, 입력받은 인코드된 움직임 벡터를 복원하고 상기 복원된 움직임 벡터의 차 값으로부터 제1영상의 복원대상 영상 프레임에 속하는 복원대상 매크로블록에 대해 움직임 벡터를 산출하는 움직임 벡터 복호화부; 상기 산출된 움직임 벡터를 기초로 현재 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하는 움직임 보상부; 상기 복원대상 영상 프레임 및 입력받은 제2영상의 영상 프레임 중에서 상기 복원대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임인 기준 영상 프레임을 상기 현재 영상 프레임으로 결정하여 상기 움직임 보상부에 선택적으로 제공하는 영상 프레임 선택부; 상기 기준 영상 프레임에 속하는 현재 매크로블록과 상기 기준 영상 프레임에 대응하여 생성된 예측신호의 차이값을 산출하는 차이값 산출부; 및 상기 기준 영상 프레임에 대응하여 산출된 차이값과 상기 복원대상 매크로 불록으로부터 생성된 예측신호와 입력받은 중복성제거신호의 합을 산출하여 영상을 복원하는 영상복원부;를 구비한다.In addition, in order to achieve the above another technical problem, the multi-image reconstruction device according to the present invention, a plurality of first to position a first image consisting of a plurality of first image frame on the same time axis as each of the first image frame An apparatus for restoring an image compressed into a second image composed of two image frames, the apparatus comprising: restoring an input encoded motion vector and belonging to a restoration target image frame of a first image from a difference value of the restored motion vector. A motion vector decoder for calculating a motion vector for the macroblock; A motion compensation unit for generating a prediction signal by detecting a reference macroblock corresponding to a current macroblock belonging to the current picture frame from a reference picture frame adjacent to the current picture frame based on the calculated motion vector; A reference image frame, which is an image frame located on the same time axis as the restoration target image frame, among the image frames of the restoration target image frame and the received second image, is selected as the current image frame and selectively provided to the motion compensator; An image frame selector; A difference value calculator configured to calculate a difference between a current macroblock belonging to the reference video frame and a prediction signal generated corresponding to the reference video frame; And an image restorer configured to reconstruct an image by calculating a sum of a difference value calculated corresponding to the reference image frame, a prediction signal generated from the restoration target macroblock, and an input redundancy removal signal.

또한 상기의 또 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 영상 복원 방법은, 입력받은 인코드된 움직임 벡터를 복원하고 상기 복원된 움직임 벡터의 차 값으로부터 복수의 제1영상 프레임으로 구성된 제1영상의 복원대상 영상 프레임에 속하는 복원대상 매크로블록에 대해 움직임 벡터를 산출하는 움직임 벡터 복호화단계; 상기 산출된 움직임 벡터를 기초로 상기 복원대상 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 복원대상 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하는 예측신호 산출단계; 상기 산출된 움직임 벡터를 기초로 상기 제1영상 프레임 각각과 동일한 시간축 상에 위치하는 복수의 제2영상 프레임으로 구성된 제2영상 중에서 상기 복원대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임을 기준 영상 프레임으로 선택하고, 기준 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 복원대상 매크로블록에 대응하는 기준 영상 프레임에 속하는 매크로블록인 기준 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하고, 상기 기준 매크로블록과 상기 생성된 예측신호의 차이값을 산출하는 차이값 산출단계; 및 상기 복원대상 매크로블록으로부터 생성된 예측신호와 상기 산출된 차이값과 입력받은 중복성제거신호의 합을 산출하여 영상을 복원하는 영상 복원단계;를 갖는다.In addition, in order to achieve the above technical problem, the multi-image reconstruction method according to the present invention comprises: restoring the received encoded motion vector and comprising a plurality of first image frames from the difference value of the reconstructed motion vector. A motion vector decoding step of calculating a motion vector for a reconstruction target macroblock belonging to a reconstruction target video frame of one image; A prediction signal calculation step of generating a prediction signal by detecting a reference macroblock corresponding to the reconstruction target macroblock from a reference image frame adjacent to the reconstruction target image frame based on the calculated motion vector; Based on the calculated motion vector, an image frame located on the same time axis as the reconstruction target image frame among the second images including a plurality of second image frames positioned on the same time axis as each of the first image frames is referred to as a reference image. Selects a frame, detects a reference macroblock corresponding to a reference macroblock that is a macroblock belonging to a reference video frame corresponding to the reconstruction target macroblock from a reference picture frame adjacent to the reference picture frame, and generates a prediction signal; Calculating a difference value between a reference macroblock and the generated prediction signal; And an image restoration step of restoring the image by calculating a sum of the prediction signal generated from the restoration target macroblock, the calculated difference value, and the input redundancy removal signal.

이에 의해, 다중 영상을 높은 압출률로 압축할 수 있으며, 압축효율이 높아짐에 따라 영상데이터의 전송시간과 전송대역폭을 절감할 수 있다.As a result, multiple images can be compressed at a high extrusion rate, and as the compression efficiency is increased, the transmission time and transmission bandwidth of the image data can be reduced.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 영상압축장치 및 방법과 영상복원장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, exemplary embodiments of an image compression apparatus and method and an image restoration apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.

도 3은 본 발명에 따른 영상 압축 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다. 3 is a block diagram showing the configuration of a preferred embodiment of an image compression apparatus according to the present invention.

도 3을 참조하면, 본 발명에 따른 영상 압축 장치는, 움직임 추정부(310), 움직임 보상부(320), 차이값 산출부(330), 영상 프레임 선택부(340), 중복성제거신호 생성부(350), 부호화부(360), 해상도 보정부(370) 및 영상 저장부(380)를 구비한다.Referring to FIG. 3, the image compression apparatus according to the present invention includes a motion estimator 310, a motion compensator 320, a difference value calculator 330, an image frame selector 340, and a redundancy remover signal generator. 350, an encoder 360, a resolution corrector 370, and an image storage unit 380.

움직임 추정부(310)는 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록에 대한 움직임 벡터를 추정한다. 움직임 추정부(310)는 부호화 모드가 P-모드인 경우에는 순방향 예측만을 수행하여 압축대상 영상 프레임의 이전 영상 프레임을 기초로 순방향 움직임 벡터만을 추정한다. 한편, 움직임 추정부(310)는 부 호화 모드가 B-모드인 경우에는 양방향 예측을 수행하여 압축대상 영상 프레임의 이전 영상 프레임 및 이후 영상 프레임을 기초로 순방향 움직임 벡터 및 역방향 움직임 벡터를 각각 추정한다. 이때 움직임 추정부(310)는 영상 프레임 선택부(340)가 움직임 보상부(320)에 제2영상의 기준 영상프레임을 현재 영상 프레임으로 제공한 시점에 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록에 대한 움직임 벡터를 움직임 보상부(320)에 제공한다. 이 경우 움직임 추정부(310)는 제2영상의 영상 프레임에 대한 움직임 벡터를 추정하지 않는다.The motion estimator 310 estimates a motion vector of a compression target macroblock belonging to the compression target image frame of the first image. When the encoding mode is the P-mode, the motion estimator 310 estimates only the forward motion vector based on the previous image frame of the compression target image frame by performing only forward prediction. Meanwhile, when the encoding mode is the B-mode, the motion estimator 310 estimates the forward motion vector and the backward motion vector based on the previous video frame and the subsequent video frame of the compression target video frame by performing bidirectional prediction. . In this case, the motion estimator 310 compresses the video frame selector 340 belonging to the compression target video frame of the first image at the time when the image frame selector 340 provides the motion compensation unit 320 with the reference video frame of the second image as the current video frame. The motion vector for the target macroblock is provided to the motion compensation unit 320. In this case, the motion estimator 310 does not estimate the motion vector of the image frame of the second image.

한편 움직임 추정부(310)는 움직임 벡터의 생성 및 제공과 관련하여 다양한 형태로 구현될 수 있다. 일 예로, 영상 프레임 선택부(340)가 움직임 보상부(320)에 제2영상의 기준 영상프레임을 현재 영상 프레임으로 움직임 추정부(310)에 제공 한 시점에서는 움직임 추정부(310)가 움직임 보상부(320)에 움직임 벡터를 제공하지 않도록 구현될 수 있다. 이 경우 움직임 보상부(320)는 직전의 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록에 대한 움직임 벡터에 의해 제2영상의 기준 영상프레임인 현재 영상 프레임에 대한 움직임 보상을 수행한다. 다른 예로, 움직임 추정부(310)가 모든 영상 프레임에 대한 움직임 벡터를 추정하여 움직임 보상부(320)에 제공하되, 움직임 보상에 사용할 움직임 벡터의 선택을 움직임 보상부(320)가 수행하도록 구현될 수 있다. 이 경우 움직임 보상부(320)는 영상 프레임 선택부(340)로부터 제2영상의 기준 영상프레임을 현재 영상 프레임으로 입력받은 시점에서 움직임 추정부(310)가 추정한 움직임 벡터 대신에 직전의 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록에 대한 움직임 벡터를 기초로 움직임 보상을 수행한다.The motion estimator 310 may be implemented in various forms in connection with the generation and provision of a motion vector. For example, the motion estimation unit 310 compensates for the motion when the image frame selector 340 provides the motion compensation unit 320 with the reference image frame of the second image as the current image frame. It may be implemented not to provide a motion vector to the unit 320. In this case, the motion compensator 320 performs motion compensation on the current image frame, which is a reference image frame of the second image, by the motion vector of the compression target macroblock belonging to the compression target image frame of the first image. As another example, the motion estimator 310 estimates motion vectors for all image frames and provides them to the motion compensator 320, but the motion compensator 320 selects a motion vector to use for motion compensation. Can be. In this case, the motion compensator 320 receives the first image frame of the second image as the current image frame from the image frame selector 340, instead of the motion vector estimated by the motion estimator 310. Motion compensation is performed based on a motion vector of a compression target macroblock belonging to a compression target image frame of an image.

움직임 보상부(320)는 움직임 추정부(310)로부터 입력받은 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록으로부터 추정된 움직임 벡터를 기초로 현재 영상 프레임에 인접하는 참조 영상 프레임으로부터 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성한다. 도 4는 움직임 보상부(320)의 상세한 구성을 도시한 블록도이다. The motion compensator 320 is a current image from a reference image frame adjacent to the current image frame based on a motion vector estimated from a compression target macroblock belonging to the compression target image frame of the first image received from the motion estimation unit 310. A reference macroblock corresponding to the current macroblock belonging to the frame is detected to generate a prediction signal. 4 is a block diagram illustrating a detailed configuration of the motion compensator 320.

도 4를 참조하면, 움직임 보상부(320)는 참조 매크로블록 검출부(410) 및 예측신호 생성부(420)를 구비한다.Referring to FIG. 4, the motion compensator 320 includes a reference macroblock detector 410 and a prediction signal generator 420.

참조 매크로블록 검출부(410)는 움짐임 추정부(310)가 압축대상 매크로블록에 대해 추정한 순방향 움직임 벡터와 역방향 움직임 벡터를 기초로 제1참조 매크 로블록과 제2참조 매크로블록을 검출한다. 영상 프레임 선택부(340)로부터 제1영상의 압축대상 매크로블록이 속하는 영상 프레임을 현재 영상 프레임으로 입력받으면, 참조 매크로블록 검출부(410)는 압축대상 매크로블록으로부터 검출된 움직임 벡터를 기초로 압축대상 매크로블록에 대응하는 제1참조 매크로블록과 제2참조 매크로블록을 검출한다. 또한 영상 프레임 선택부(340)로부터 제2영상의 기준 영상 프레임을 현재 영상 프레임으로 입력받으면 참조 매크로블록 검출부(410)는 압축대상 매크로블록으로부터 검출된 움직임 벡터를 기초로 제2영상의 기준 영상 프레임으로부터 압축대상 매크로블록에 대응하는 매크로블록에 대한 제1참조 매크로블록과 제2참조 매크로블록을 검출한다.The reference macroblock detection unit 410 detects the first reference macroblock and the second reference macroblock based on the forward motion vector and the backward motion vector estimated by the moving estimation unit 310 for the compression target macroblock. When the image frame to which the compression target macroblock of the first image belongs is received as the current image frame from the image frame selection unit 340, the reference macroblock detection unit 410 receives the compression target based on the motion vector detected from the compression target macroblock. A first reference macroblock and a second reference macroblock corresponding to the macroblock are detected. In addition, when the reference image frame of the second image is received from the image frame selector 340 as the current image frame, the reference macroblock detector 410 receives the reference image frame of the second image based on the motion vector detected from the macroblock to be compressed. First reference macroblock and second reference macroblock for the macroblock corresponding to the compression target macroblock are detected.

도 5는 본 발명에 따른 다중 영상 압축 장치가 2개의 영상을 입력받는 경우의 현재 매크로블록을 포함하는 영상 프레임과 인접하는 순방향 및 역방향 참조 영상 프레임들을 도시한 도면이다.5 is a diagram illustrating forward and backward reference image frames adjacent to an image frame including a current macroblock when the multiple image compression apparatus according to the present invention receives two images.

도 5를 참조하면, 참조 매크로블록 검출부(410)는 현재 영상 프레임으로 압축대상 매크로블록(525)이 속하는 제1영상 신호의 영상 프레임(520)이 입력되면, 현재 영상 프레임(520)에 속하는 압축대상 매크로블록(525)에 순방향 움직임 벡터(MVF c)를 기초로 순방향 참조 영상인 제1참조 영상 프레임(510)으로부터 압축대상 매크로블록(525)에 대응하는 제1참조 매크로블록(515)을 검출한다. 다음으로 참조 매크로블록 검출부(410)는 압축대상 매크로블록(525)에 대한 역방향 움직임 벡 터(MVB c)를 기초로 역방향 참조 영상인 제2참조 영상 프레임(530)으로부터 압축대상 매크로블록(525)에 대응하는 제2참조 매크로블록(535)을 검출한다.Referring to FIG. 5, when the image frame 520 of the first image signal to which the compression target macroblock 525 belongs is input to the current image frame, the reference macroblock detector 410 compresses that belongs to the current image frame 520. The first reference macroblock 515 corresponding to the compression target macroblock 525 from the first reference image frame 510, which is the forward reference image, is added to the target macroblock 525 based on the forward motion vector MV F c . Detect. Next, the reference macroblock detector 410 compresses the compression target macroblock 525 from the second reference image frame 530 which is the backward reference image based on the backward motion vector MV B c with respect to the compression target macroblock 525. Detect a second reference macroblock 535 corresponding to < RTI ID = 0.0 >

또한 참조 매크로블록 검출부(410)는 현재 영상 프레임으로 제2영상에 속하며 압축대상 매크로블록(525)이 속하는 영상 프레임(520)과 동일한 시간축 상에 위치하는 기준 영상 프레임(550)이 입력되면, 압축대상 매크로블록(525)에 대한 순방향 움직임 벡터(MVF c)를 기초로 순방향 참조 영상인 제1참조 영상 프레임(540)으로부터 압축대상 매크로블록(525)에 해당하는 매크로블록(555)에 대응하는 제1참조 매크로블록(545)을 검출한다. 다음으로, 참조 매크로 블록 검출부(410)는 압축대상 매크로블록(525)에 대한 역방향 움직임 벡터(MVB c)를 기초로 역방향 참조 영상인 제2참조 영상 프레임(560)으로부터 압축대상 매크로블록(525)에 해당하는 매크로블록(555)에 대응하는 제2참조 매크로블록(565)을 검출한다. In addition, when the reference macroblock detector 410 belongs to the second image as the current image frame and the reference image frame 550 located on the same time axis as the image frame 520 to which the compression target macroblock 525 belongs is input, the compression is performed. Corresponding to the macroblock 555 corresponding to the compression target macroblock 525 from the first reference image frame 540 which is the forward reference image based on the forward motion vector MV F c for the target macroblock 525. First reference macroblock 545 is detected. Next, the reference macro block detector 410 compresses the compression target macroblock 525 from the second reference image frame 560 which is the backward reference image based on the backward motion vector MV B c for the compression target macroblock 525. Detects a second reference macroblock 565 corresponding to the macroblock 555 corresponding to "

예측신호 생성부(420)는 참조 매크로블록 검출부(410)가 검출한 각각의 제1참조 매크로블록 및 제2참조 매크로블록으로부터 다음의 수학식 1에 의해 예측신호를 생성한다.The prediction signal generator 420 generates a prediction signal from each of the first reference macroblocks and the second reference macroblocks detected by the reference macroblock detector 410 by the following equation (1).

Figure 112006080997306-pat00001
Figure 112006080997306-pat00001

여기서, Rt는 예측신호, F는 제1참조 매크로블록, B는 제2참조 매크로블록, 그리고, α는 매크로블록의 압축타입에 따라 결정되는 계수이다.R t is a prediction signal, F is a first reference macroblock, B is a second reference macroblock, and α is a coefficient determined according to the compression type of the macroblock.

차이값 산출부(340)는 현재 매크로블록과 움직임 보상부(320)가 생성한 예측신호의 차이값을 산출한다. 차이값(E')은 다음의 수학식 2로부터 구해진다.The difference calculator 340 calculates a difference between the current macroblock and the prediction signal generated by the motion compensator 320. The difference value E 'is obtained from the following equation (2).

Figure 112006080997306-pat00002
Figure 112006080997306-pat00002

여기서, M은 현재 매크로블록이다.Where M is the current macroblock.

영상 프레임 선택부(340)는 제1영상의 압축대상 영상 프레임이 입력될 때마다 제2영상 프레임 중에서 상기 압축대상 영상 프레임과 동일한 시간축 상에 위치하는 기준 영상 프레임을 검출한다. 영상 프레임 선택부(340)는 압축대상 영상 프레임과 검출된 기준 영상 프레임을 각각 현재 영상 프레임으로 결정하여 선택적으로 움직임 보상부(320)에 제공한다. 이때, 영상 프레임 선택부(340)는 움직임 보상부(320)에 압축대상 영상 프레임을 제공한 후에 기준 영상 프레임을 제공하는 것이 바람직하나, 순서를 바꾸어 제공하는 것도 가능하다.The image frame selector 340 detects a reference image frame positioned on the same time axis as the compression target image frame among the second image frames whenever the compression target image frame of the first image is input. The image frame selector 340 determines the compression target image frame and the detected reference image frame as the current image frame, and selectively provides them to the motion compensator 320. In this case, the image frame selector 340 may provide the reference image frame after providing the compression target image frame to the motion compensator 320, but may change the order.

영상 프레임 선택부(340)가 현재 영상 프레임으로서 압축대상 매크로블록이 속하는 영상 프레임을 움직임 보상부(320)에 제공하면, 움직임 보상부(320)는 압축대상 영상 프레임에 속하는 압축대상 매크로블록의 예측신호를 생성한다. 다음으로, 차이값 산출부(330)는 압축대상 매크로블록과 생성된 예측신호의 차이값인 제1차이값을 산출한다. 동일하게 영상 프레임 선택부(350)가 현재 영상 프레임으로서 압축대상 매크로블록이 속하는 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임인 기준 영상 프레임을 움직임 보상부(320)에 제공하면, 움직임 보상부(320) 는 기준 영상 프레임의 압축대상 매크로블록에 대응하는 매크로블록의 예측신호를 생성한다. 다음으로, 차이값 산출부(330)는 기준 영상 프레임의 압축대상 매크로블록에 대응하는 매크로블록과 생성된 기준 영상 프레임의 압축대상 매크로블록에 대응하는 매크로블록의 예측신호의 차이값인 제2차이값을 산출한다.When the image frame selector 340 provides the motion compensation unit 320 an image frame to which the compression target macroblock belongs as the current image frame, the motion compensation unit 320 predicts the compression target macroblock belonging to the compression target image frame. Generate a signal. Next, the difference value calculator 330 calculates a first difference value that is a difference value between the compression target macroblock and the generated prediction signal. Similarly, when the image frame selector 350 provides the motion compensation unit 320 with a reference image frame which is an image frame located on the same time axis as the image frame to which the compression target macroblock belongs as the current image frame, the motion compensation unit ( 320 generates a prediction signal of a macroblock corresponding to the macroblock to be compressed of the reference video frame. Next, the difference value calculator 330 is a second difference that is a difference value of a prediction signal of a macroblock corresponding to the compression target macroblock of the reference video frame and a macroblock corresponding to the compression target macroblock of the generated reference image frame. Calculate the value.

중복성제거신호 생성부(350)는 압축대상 영상 프레임에 대응하여 산출된 제1차이값과 기준 영상 프레임에 대응하여 산출된 제2차이값의 차이를 산출하여 중복성제거신호를 생성한다. 중복성제거신호(E)는 다음의 수학식 3으로부터 구해진다.The redundancy removal signal generator 350 generates a redundancy removal signal by calculating a difference between the first difference value calculated in correspondence to the compression target image frame and the second difference value calculated in correspondence to the reference image frame. The redundancy removal signal E is obtained from the following equation.

Figure 112006080997306-pat00003
Figure 112006080997306-pat00003

여기서, Ec 는 제1차이값이고, Er는 제2차이값이다.Where E c Is the first difference value and E r is the second difference value.

해상도 보정부(370)는 압축대상 영상 프레임과 기준 영상 프레임의 해상도의 비를 산출하여 보정값(λ)을 생성한다. 보정값은 다음의 수학식 4로부터 구해진다.The resolution correction unit 370 calculates a ratio of the resolution of the compression target image frame and the reference image frame to generate a correction value λ. The correction value is obtained from the following equation (4).

Figure 112006080997306-pat00004
Figure 112006080997306-pat00004

여기서, R1은 압축대상 영상 프레임의 해상도이고, R2는 기준 영상 프레임의 해상도이다.Here, R 1 is the resolution of the compression target video frame, R 2 is the resolution of the reference video frame.

해상도 보정부(370)는 생성한 보정값을 움직임 보상부(320) 및 중복성제거신호 생성부(350)에 제공한다. 해상도 보정부(370)는 다중 영상이 해상도가 상이한 제1영상과 제2영상으로 구성된 경우에 선택적으로 구비될 수 있다. 이와 같이 해상도 보정부(370)가 존재하는 경우에 움직임 보상부(320) 및 중복성제거신호 생성부(350)의 동작은 다음과 같다.The resolution correction unit 370 provides the generated correction value to the motion compensation unit 320 and the redundancy removal signal generation unit 350. The resolution corrector 370 may be selectively provided when the multiple images are composed of a first image and a second image having different resolutions. When the resolution correction unit 370 is present as described above, operations of the motion compensator 320 and the redundancy removal signal generator 350 are as follows.

먼저, 움직임 보상부(320)는 영상 프레임 선택부(340)에 의해 현재 영상 프레임으로서 기준 영상 프레임이 움직임 보상부(320)에 제공되는 시점에 움직임 추정부(310)로부터 입력된 움직임벡터에 보정값(λ)을 제산하여 보간 움직임벡터를 생성한다. 보간 움직임 벡터는 다음의 수학식 4와 수학식 5로부터 구해진다.First, the motion compensator 320 corrects the motion vector input from the motion estimator 310 at the time when the reference image frame is provided to the motion compensator 320 as the current image frame by the image frame selector 340. The interpolation motion vector is generated by dividing the value [lambda]. The interpolation motion vector is obtained from the following equations (4) and (5).

Figure 112006080997306-pat00005
Figure 112006080997306-pat00005

여기서, MVF C는 움직임 추정부(310)가 추정한 순방향 움직임 벡터이고, MVF r*는 보간 순방향 움직임 벡터이다.Here, MV F C is a forward motion vector estimated by the motion estimation unit 310, and MV F r * is an interpolated forward motion vector.

Figure 112006080997306-pat00006
Figure 112006080997306-pat00006

여기서, MVB C는 움직임 추정부(310)가 추정한 역방향 움직임 벡터이고, MVB r*는 보간 역방향 움직임 벡터이다.Here, MV B C is a backward motion vector estimated by the motion estimator 310 and MV B r * is an interpolated backward motion vector.

움직임 보상부(320)는 보간 움직임 벡터(MVF r *, MVB r *)를 기초로 현재 영상 프레임으로서 입력된 기준 영상 프레임에 속하는 압축대상 매크로블록에 대응하는 매 크로블록의 참조 매크로블록을 검출한다. 차이값 산출부(330)는 움직임 보상부(320)가 보간 움직임 벡터를 기초로 검출한 참조 매크로블록과 기준 영상 프레임에 속하는 현재 매크로블록의 차이값인 제2차이값(Er *)을 산출한다. 중복성제거신호 생성부(350)는 제2차이값(Er *)에 보정값(λ)을 승산하여 영상간 예측신호(Rv c)를 산출한다. 영상간 예측신호(Rv c)는 다음의 수학식 7로부터 구해진다.The motion compensator 320 selects a reference macroblock of a macroblock corresponding to the compression target macroblock belonging to the reference video frame input as the current video frame based on the interpolated motion vectors MV F r * and MV B r * . Detect. The difference calculator 330 calculates a second difference value E r * , which is a difference between the reference macroblock detected by the motion compensator 320 based on the interpolated motion vector and the current macroblock belonging to the reference video frame. do. The redundancy removal signal generator 350 calculates the inter-prediction signal R v c by multiplying the second difference value E r * by the correction value λ. The inter-picture prediction signal R v c is obtained from the following equation.

Figure 112006080997306-pat00007
Figure 112006080997306-pat00007

중복성제거신호 생성부(350)는 제1차이값(Ec)과 영상간 예측신호의 차이를 산출하여 중복성제거신호를 생성한다. 중복성제거신호(E)는 다음의 수학식 8로부터 구해진다.The redundancy removal signal generator 350 generates a redundancy removal signal by calculating a difference between the first difference value E c and the prediction signal between the images. The redundancy removal signal E is obtained from the following equation (8).

Figure 112006080997306-pat00008
Figure 112006080997306-pat00008

도 6은 본 발명에 따른 영상 압축 장치에 대한 바람직한 다른 실시예의 구성을 도시한 블록도이다. 도 6에 도시된 본 발명에 따른 영상 압축 장치에 대한 바람직한 다른 실시예는 도 3에 도시된 본 발명에 따른 영상 압축 장치의 실시예에 제산부(610)와 승산부(620)를 더 구비한다.6 is a block diagram showing the configuration of another preferred embodiment of an image compression apparatus according to the present invention. Another preferred embodiment of the image compression device according to the present invention shown in FIG. 6 further includes a divider 610 and a multiplier 620 in the embodiment of the image compression device according to the present invention shown in FIG. 3. .

도 6을 참조하면, 해상도 보정부(370)는 제1영상에 속하는 압축대상 영상 프 레임과 이에 대응하는 제2영상의 영상 프레임의 해상도의 비를 산출하여 보정값을 생성한다. 보정값은 수학식 4로부터 구해진다.Referring to FIG. 6, the resolution correcting unit 370 generates a correction value by calculating a ratio of the resolution of the compression target image frame belonging to the first image and the image frame of the second image corresponding thereto. The correction value is obtained from equation (4).

다음으로, 해상도 보정부(370)는 제산부(610)와 승산부(620)에 보정값(λ)을 제공한다. 제산부(610)는 움직임 추정부(310)가 압축대상 매크로블록으로부터 추정한 움직임 벡터에 보정값(λ)을 제산하여 보간 움직임 벡터(MVF r *, MVB r *)를 생성한다. 승산부(620)는 차이값 산출부(330)가 산출한 차이값에 보정값(λ)을 승산한다.Next, the resolution correction unit 370 provides the correction value λ to the divider 610 and the multiplier 620. The divider 610 generates the interpolated motion vectors MV F r * and MV B r * by dividing the correction value λ by the motion estimator 310 estimated from the compression target macroblock. The multiplier 620 multiplies the difference value calculated by the difference value calculator 330 by the correction value λ.

도 7은 본 발명에 따른 다중 영상 압축 장치에 3개의 영상이 입력되는 경우에 영상 압축과정을 설명하기 위한 도면이다. 7 is a diagram illustrating an image compression process when three images are input to the multiple image compression apparatus according to the present invention.

도 7을 참조하면, 움직임 보상부(320)는 움직임 벡터(MVF c, MVB C)를 기초로 세개의 영상(710, 720, 730)에 대한 예측신호를 생성한다. 먼저, 움직임 보상부(320)는 제1영상(710)의 현재 영상 프레임의 압축대상 매크로블록(714)과 인접한 순방향 참조 매크로블록(712) 및 역방향 참조 매크로블록(716)을 검출하여 제1예측신호를 생성한다. 기준 영상 프레임이 제2영상(720)의 영상 프레임인 경우에는, 움직임 보상부(320)는 제1보간 움직임 벡터(MVF r*, MVB r*)를 기초로 제2영상(720)의 현재 영상 프레임의 압축대상 매크로블록(724)과 인접한 순방향 참조 매크로블록(722)과 역방향 참조 매크로블록(726)을 검출하여 제2예측신호를 생성한다. 이와 달리, 기준 영상 프레임이 제3영상(730)의 영상 프레임인 경우에는, 움직임 보상 부(320)는 제2보간 움직임 벡터(MVF r**, MVB r**)를 기초로 제3영상(730)의 현재 영상 프레임의 압축대상 매크로블록(734)과 인접한 순방향 참조 매크로블록(732)과 역방향 참조 매크로블록(736)을 검출하여 제3예측신호를 생성한다. 이때, 제2영상과 제3영상은 서로 상이한 해상도를 가지며, 제1영상의 해상도는 제2영상과 제3영상의 해상도 보다 높다.Referring to FIG. 7, the motion compensator 320 generates prediction signals for three images 710, 720, and 730 based on the motion vectors MV F c and MV B C. First, the motion compensator 320 detects a forward reference macroblock 712 and a backward reference macroblock 716 adjacent to the compression target macroblock 714 of the current image frame of the first image 710 to detect the first prediction. Generate a signal. When the reference image frame is an image frame of the second image 720, the motion compensator 320 may determine the second image 720 based on the first interpolation motion vectors MV F r * and MV B r * . The forward reference macroblock 722 and the backward reference macroblock 726 adjacent to the compression target macroblock 724 of the current image frame are detected to generate a second prediction signal. On the contrary, when the reference video frame is the video frame of the third image 730, the motion compensation unit 320 based on the second interpolation motion vectors MV F r ** and MV B r ** The third reference signal is generated by detecting the forward reference macroblock 732 and the backward reference macroblock 736 adjacent to the compression target macroblock 734 of the current image frame of the image 730. In this case, the second image and the third image have different resolutions, and the resolution of the first image is higher than that of the second image and the third image.

차이값 산출부(330)는 제1예측신호 및 제2예측신호로부터 제1차이값 및 제2차이값을 산출하거나, 제1예측신호 및 제3예측신호로부터 제1차이값 및 제3차이값을 산출한다. 중복성제거신호 생성부(350)는 제1차이값과 제2차이값 또는 제1차이값과 제3차이값으로부터 다중 영상의 중복성제거신호를 생성한다. 중복성제거신호(E3)는 다음의 수학식 9로부터 구해진다.The difference value calculator 330 calculates the first difference value and the second difference value from the first prediction signal and the second prediction signal, or the first difference value and the third difference value from the first prediction signal and the third prediction signal. To calculate. The redundancy removal signal generation unit 350 generates a redundancy removal signal of multiple images from the first difference value and the second difference value or the first difference value and the third difference value. The redundancy removal signal E 3 is obtained from the following equation (9).

Figure 112006080997306-pat00009
Figure 112006080997306-pat00009

여기서, Ec 는 제1차이값이고, Er1 는 제2차이값이며, Er2는 제3차이값이다.Here, E c is a first difference value, E r1 is a second difference value, and E r2 is a third difference value.

부호화부(360)는 움직임 추정부(310)가 추정한 순방향 움직임 벡터와 역방향 움직임 벡터 및 차이값 산출부(330)가 산출한 중복성제거신호를 부호화한다. 이때, 부호화부(360)는 순방향 움직임 벡터와 역방향 움직임 벡터를 인코드하고, 이산 코사인 변환(Discrete Consine Transform: DCT) 및 양자화를 수행하여 중복성제거신호를 압축한다. 압축된 중복성제거신호는 가변길이 부호화를 통해 MPEG 스트림으로 변환된다. 부호화부(360)는 변환된 MPEG 스트림과 인코딩된 움직임 벡터와 병합하여 비트 스트림을 생성한다.The encoder 360 encodes the redundancy removal signal calculated by the forward motion vector, the backward motion vector, and the difference value calculator 330 estimated by the motion estimator 310. In this case, the encoder 360 encodes the forward motion vector and the backward motion vector, performs a discrete cosine transform (DCT) and quantization to compress the redundancy removal signal. The compressed deduplication signal is converted into an MPEG stream through variable length coding. The encoder 360 generates a bit stream by merging the converted MPEG stream and the encoded motion vector.

영상 저장부(380)는 움직임 추정 및 움직임 보상을 위한 지연시간 동안 입력받은 제1영상과 제2영상의 각 영상 프레임을 저장한다. 부호화부(360)가 중복성제거신호에 대해 DCT 변환과 양자화 수행하여 압축한 데이터는 다시 역양자화되고 역 DCT 변환이 수행되어 중복성제거신호로 복원된다. 영상 저장부(380)에 저장되는 제1영상의 영상 프레임은 복원한 중복성제거신호와 제2차이값과 제1영상의 압축대상 매크로블록의 예측신호를 합하여 산출된 영상 프레임이다.The image storage unit 380 stores each image frame of the first image and the second image received during the delay time for the motion estimation and the motion compensation. The data compressed by the encoder 360 by performing quantization with the DCT transform on the redundancy remover signal is inversely quantized, and the inverse DCT transform is performed to restore the redundancy remover signal. The image frame of the first image stored in the image storage unit 380 is an image frame calculated by adding the reconstructed redundancy removal signal, the second difference value, and the prediction signal of the compression target macroblock of the first image.

도 8은 본 발명에 따른 영상 압축 방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도이다. 8 is a flowchart illustrating a process of performing a preferred embodiment of the image compression method according to the present invention.

도 8을 참조하면, 움직임 추정부(310)는 영상 프레임 선택부(350)로부터 제1영상의 압축대상 매크로블록을 제공받아 압축대상 매크로블록의 움직임 벡터를 추정한다(S800). 이때, 추정되는 움직임 벡터는 순방향 움직임 벡터와 역방향 움직임 벡터이다. 움직임 보상부(320)는 움직임 벡터를 기초로 제1영상의 압축대상 매크로블록의 참조 매크로블록을 검출하고 예측신호를 생성한다(S810). 차이값 산출부(330)는 제1영상의 압축대상 매크로블록과 예측신호의 차이값인 제1차이값을 산출한다(S820). 해상도 보정부(370)는 제1영상과 제2영상의 해상도의 비를 산출하여 보정값을 생성한다(S830). 움직임 보상부(320)는 움직임 벡터에 보정값을 제산하여 보간 움직임 벡터를 생성하고(S840), 보간 움직임 벡터를 기초로 제2영상의 기준 영상 프레임의 참조 매크로블록을 검출하여 예측신호를 생성한다(S850). 차이값 산 출부(330)는 현재 영상 프레임의 압축대상 매크로블록과 예측신호의 차이값인 제2차이값을 산출한다(S860). 중복성제거신호 생성부(340)는 제2차이값에 보정값을 승산한 후 제1차이값과의 차이를 산출하여 중복성제거신호를 생성한다(S870). 부호화부(360)는 중복성제거신호와 움직임 벡터를 부호화하여 비트 스트림을 출력한다(S880). Referring to FIG. 8, the motion estimation unit 310 receives a compression target macroblock of the first image from the image frame selection unit 350 and estimates a motion vector of the compression target macroblock (S800). In this case, the estimated motion vector is a forward motion vector and a reverse motion vector. The motion compensator 320 detects a reference macroblock of the compression target macroblock of the first image based on the motion vector and generates a prediction signal (S810). The difference value calculator 330 calculates a first difference value that is a difference value between the compression target macroblock of the first image and the prediction signal (S820). The resolution correction unit 370 generates a correction value by calculating a ratio of the resolutions of the first image and the second image (S830). The motion compensator 320 generates an interpolated motion vector by dividing a correction value to the motion vector (S840), and detects a reference macroblock of a reference image frame of the second image based on the interpolated motion vector to generate a prediction signal. (S850). The difference value calculator 330 calculates a second difference value that is a difference value between the compression target macroblock and the prediction signal of the current image frame (S860). The redundancy removal signal generation unit 340 multiplies the second difference value by the correction value and calculates a difference from the first difference value to generate the redundancy removal signal (S870). The encoder 360 encodes the redundancy removal signal and the motion vector to output a bit stream (S880).

도 8을 참조하여 설명한 본 발명에 따른 영상 압축 방법에 대한 바람직한 일 실시예에 있어서, 부호화 모드가 B-모드인 경우에 S810단계와 S850단계는 다음의 과정을 포함한다. In a preferred embodiment of the image compression method according to the present invention described with reference to FIG. 8, when the encoding mode is the B-mode, steps S810 and S850 include the following process.

먼저, 움직임 보상부(320)는 순방향 움직임 벡터와 순방향 보간 움직임 벡터를 기초로 제1영상의 압축대상 매크로블록에 대한 순방향 참조 매크로블록 및 제2영상의 기준 매크로블록에 대한 순방향 참조 매크로블록을 검출하여 예측신호를 생성한다. 다음으로, 움직임 보상부(320)는 역방향 움직임 벡터와 역방향 보간 움직임 벡터를 기초로 제1영상의 압축대상 매크로블록에 대한 역방향 참조 매크로블록 및 제2영상의 기준 매크로블록에 대한 역방향 참조 매크로블록을 검출하여 예측신호를 생성한다.First, the motion compensator 320 detects a forward reference macroblock for the compression target macroblock of the first image and a forward reference macroblock for the reference macroblock of the second image based on the forward motion vector and the forward interpolation motion vector. To generate a prediction signal. Next, the motion compensation unit 320 generates a backward reference macroblock for the compression target macroblock of the first image and a backward reference macroblock of the second image based on the backward motion vector and the backward interpolation motion vector. It detects and generates a prediction signal.

도 9는 본 발명에 따른 다중 영상 복원 장치에 대한 바람직한 일 실시예의 구성을 도시한 블록도이다. 9 is a block diagram showing the configuration of a preferred embodiment of a multi-image reconstruction apparatus according to the present invention.

도 9를 참조하면, 본 발명에 따른 다중 영상 복원 장치는 움직임 벡터 복호화부(910), 움직임 보상부(920), 영상 프레임 선택부(930), 차이값 산출부(940), 영상 복원부(950), 복호화부(960), 해상도 보정부(970) 및 영상 저장부(980)를 구 비한다. 9, a multi-image reconstruction apparatus according to the present invention includes a motion vector decoder 910, a motion compensator 920, an image frame selector 930, a difference value calculator 940, and an image reconstructor ( 950, a decoder 960, a resolution corrector 970, and an image storage unit 980.

움직임 벡터 복호화부(910)는 입력받은 인코드된 움직임 벡터를 복원하고, 움직임 벡터의 차이값으로부터 복원대상 영상 프레임에 속하는 복원대상 매크로블록에 대한 움직임 벡터를 산출한다. 만약 부호화 모드가 B-모드이면 움직임 벡터 복호화부(910)는 인코드된 움직임 벡터로부터 순방향 움직임 벡터 및 역방향 움직임 벡터를 각각 산출한다.The motion vector decoder 910 reconstructs the received encoded motion vector, and calculates a motion vector for the reconstructed macroblock belonging to the reconstructed image frame from the difference value of the motion vector. If the encoding mode is the B-mode, the motion vector decoder 910 calculates a forward motion vector and a reverse motion vector from the encoded motion vectors, respectively.

움직임 보상부(920)는 움직임 벡터 복호화부(910)가 산출한 움직임 벡터를 기초로 현재 영상 프레임에 인접하는 참조 영상 프레임으로부터 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성한다. 움직임 보상부(920)는 본 발명에 따른 영상 압축 장치에 구비된 움직임 보상부(320)에 대응하여 매크로블록을 검출하고 예측신호를 생성하므로, 구체적인 설명은 생략한다.The motion compensator 920 detects and predicts a reference macroblock corresponding to the current macroblock belonging to the current picture frame from a reference picture frame adjacent to the current picture frame based on the motion vector calculated by the motion vector decoder 910. Generate a signal. Since the motion compensator 920 detects a macroblock and generates a prediction signal in response to the motion compensator 320 included in the image compression apparatus according to the present invention, a detailed description thereof will be omitted.

영상 프레임 선택부(930)는 사전에 복원된 제2영상 프레임 중에서 복원대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임인 기준 영상 프레임을 현재 영상 프레임으로 결정하여 움직임 보상부(920)에 선택적으로 제공한다. 영상 프레임 선택부(930)가 현재 영상 프레임으로서 복원대상 영상 프레임을 움직임 보상부(920)에 제공하면, 움직임 보상부(920)는 복원대상 영상 프레임에 속하는 압축대상 매크로블록의 예측신호를 생성한다. 한편 영상 프레임 선택부(930)가 현재 영상 프레임으로서 기준 영상 프레임을 움직임 보상부(920)에 제공하면, 움직임 보상부(920)는 기준 영상 프레임에 속하는 압축대상 매크로블록의 예측신호를 생성한 다. The image frame selector 930 selects a reference image frame, which is an image frame located on the same time axis as the image frame to be restored, among the second image frames that have been previously restored, to be selectively provided to the motion compensator 920. to provide. When the image frame selector 930 provides the reconstruction target image frame as the current image frame to the motion compensator 920, the motion compensator 920 generates a prediction signal of the compression target macroblock belonging to the reconstruction target image frame. . Meanwhile, when the image frame selector 930 provides the reference image frame as the current image frame to the motion compensator 920, the motion compensator 920 generates a prediction signal of the macroblock to be compressed belonging to the reference image frame. .

차이값 산출부(940)는 기준 영상 프레임의 현재 매크로블록과 움직임 보상부(920)가 기준 영상 프레임으로부터 생성한 예측신호의 차이값을 산출한다. 차이값 산출부(940)는 도 3을 참조하여 설명한 본 발명에 따른 다중 영상 압축 장치에 구비된 차이값 산출부(330)에 대응하는 구성요소이며, 압축 장치에 구비된 차이값 산출부(330)와 달리 복원대상 영상프레임의 현재 매크로블록에 대한 차이값의 산출과정은 수행하지 않는다.The difference calculator 940 calculates a difference between the current macroblock of the reference video frame and the prediction signal generated by the motion compensator 920 from the reference video frame. The difference value calculator 940 is a component corresponding to the difference value calculator 330 included in the multiple image compression apparatus according to the present invention described with reference to FIG. 3, and the difference value calculator 330 included in the compression apparatus. Unlike), the process of calculating the difference value for the current macroblock of the image frame to be restored is not performed.

영상 복원부(950)는 기준 영상 프레임에 대응하여 산출된 차이값과 복원대상 매크로불록으로부터 생성된 예측신호와 입력받은 복원대상 매크로블록의 중복성제거신호의 합을 산출하여 얻어진 매크로블록을 기초로 영상을 복원한다. 매크로블록(M)은 다음의 수학식 10으로부터 얻어진다. The image reconstruction unit 950 calculates a sum of a difference value calculated corresponding to the reference image frame, a prediction signal generated from the reconstruction target macroblock, and a redundancy removal signal of the received reconstruction target macroblock, based on the image. Restore The macroblock M is obtained from the following equation (10).

Figure 112006080997306-pat00010
Figure 112006080997306-pat00010

여기서, E는 중복성제거신호이고, Rt c는 복원대상 매크로블록으로부터 생성된 예측신호이고, Er은 기준 영상 프레임에 대응하여 산출된 차이값이다.Here, E is a redundancy removal signal, R t c is a prediction signal generated from the reconstruction target macroblock, and E r is a difference value calculated corresponding to the reference video frame.

복호화부(960)는 입력받은 비트 스트림으로부터 인코드된 움직임벡터와 MPEG 스트림을 검출하고, MPEG 스트림으로부터 중복성제거신호를 복원한다.The decoder 960 detects the encoded motion vector and the MPEG stream from the input bit stream and restores the redundancy removal signal from the MPEG stream.

해상도 보정부(970)는 복원대상 영상 프레임과 기준 영상 프레임의 해상도의 비를 산출하여 생성한 보정값을 움직임 보상부(930) 및 영상 복원부(950)에 제공한 다. 해상도 보정부(970)로부터 보정값이 입력되는 경우에 움직임 보상부(930)와 영상 복원부(950)는 다음과 같이 동작한다.The resolution corrector 970 provides the motion compensation unit 930 and the image restoring unit 950 with a correction value generated by calculating a ratio of the resolution of the restoration target image frame and the reference image frame. When the correction value is input from the resolution correcting unit 970, the motion compensating unit 930 and the image restoring unit 950 operate as follows.

먼저, 움직임 보상부(920)는 영상 프레임 선택부(930)에 의해 기준 영상 프레임이 현재 영상 프레임으로서 움직임 보상부(920)에 제공되는 시점에, 움직임 벡터 복호화부(910)가 산출한 움직임 벡터에 보정값(λ)을 제산하여 보간 움직임 벡터(MVF r *, MVB r *)를 생성한다. 다음으로, 움직임 보상부(920)는 생성된 보간 움직임 벡터를 기초로 현재 영상 프레임에 인접하는 참조 영상 프레임으로부터 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성한다.First, the motion compensator 920 calculates a motion vector calculated by the motion vector decoder 910 at a point in time when a reference video frame is provided to the motion compensator 920 as a current image frame by the image frame selector 930. The interpolation motion vectors MV F r * and MV B r * are generated by dividing the correction value [lambda] by. Next, the motion compensator 920 detects a reference macroblock corresponding to the current macroblock belonging to the current video frame from the reference video frame adjacent to the current video frame based on the generated interpolation motion vector, and generates a prediction signal. .

또한 영상 복원부(950)는 차이값 산출부(940)가 산출한 차이값에 해상도 보정부(970)가 생성한 보정값을 승산하여 생성한 값과 상기 예측신호와 상기 중복성제거신호의 합을 산출하여 영상을 복원한다. 복원된 매크로블록(M)은 수학식 11로부터 구해진다.Also, the image reconstructor 950 multiplies the difference value calculated by the difference value calculator 940 by the correction value generated by the resolution correction unit 970 and the sum of the prediction signal and the redundancy removal signal. Calculate and restore the image. The reconstructed macroblock M is obtained from equation (11).

Figure 112006080997306-pat00011
Figure 112006080997306-pat00011

여기서, λ는 보정값이다.Is the correction value.

이와 같이 본 발명에 따른 다중 영상 복원 장치는 해상도 보정부(970)를 구비함으로써, 제2영상보다 고해상도를 갖는 제1영상의 압축영상을 정상적으로 복원할 수 있다.As described above, the multi-image reconstructing apparatus according to the present invention includes a resolution correcting unit 970, thereby normally reconstructing the compressed image of the first image having a higher resolution than the second image.

도 10은 본 발명에 따른 영상 복원 방법에 대한 바람직한 일 실시예의 수행과정을 도시한 흐름도이다.10 is a flowchart illustrating a process of performing an embodiment of an image reconstruction method according to the present invention.

도 10을 참조하면, 복호화부(960)는 제1영상의 압축 데이터인 비트 스트림으로부터 복원대상 매크로블록의 MPEG 스트림과 인코된 움직임 벡터를 복호한다(S1000). 움직임 벡터 복호화부(910)는 제1영상의 복원대상 매크로블록의 움직임 벡터를 복원한다(S1010). 움직임 보상부(930)는 움직임 벡터를 기초로 제1영상의 복원대상 매크로블록의 참조 매크로블록을 검출하여 제1예측신호를 생성한다(S1020). 해상도 보정부(970)는 제1영상과 제2영상의 해상도의 비를 산출하여 보정값을 생성한다(S1030). 움직임 보상부(920)는 움직임 벡터에 보정값을 제산하여 보간 움직임 벡터를 생성한다(S1040). 움직임 보상부(920)는 보간 움직임 벡터를 기초로 기준 매크로블록의 참조 매크로블록을 검출하여 제2예측신호를 생성한다(S1050). 차이값 산출부(940)는 기준 매크로블록과 제2예측신호의 차이값을 산출한다(S1060). 영상 복원부(950)는 기준 매크로블록과 제2예측신호의 차이값에 보정값을 승산하여 영상간 예측신호를 산출한다(S1070). 최종적으로 영상 복원부(950)는 영상간 예측신호, 제1예측신호 및 중복성제거신호를 합산하여 영상을 복원한다(S1080).Referring to FIG. 10, the decoder 960 decodes a motion vector encoded with an MPEG stream of a reconstruction target macroblock from a bit stream that is compressed data of a first image (S1000). The motion vector decoder 910 reconstructs the motion vector of the reconstruction target macroblock of the first image (S1010). The motion compensator 930 detects a reference macroblock of the macroblock to be restored of the first image based on the motion vector and generates a first prediction signal (S1020). The resolution correction unit 970 calculates a ratio of the resolutions of the first image and the second image and generates a correction value (S1030). The motion compensator 920 divides the correction value by the motion vector to generate an interpolated motion vector (S1040). The motion compensator 920 detects the reference macroblock of the reference macroblock based on the interpolated motion vector and generates a second prediction signal (S1050). The difference value calculator 940 calculates a difference value between the reference macroblock and the second prediction signal (S1060). The image reconstructor 950 calculates an inter-prediction signal by multiplying a correction value by a difference value between the reference macroblock and the second prediction signal (S1070). Finally, the image reconstruction unit 950 reconstructs the image by adding the inter-prediction signal, the first prediction signal, and the redundancy removal signal (S1080).

도 10을 참조하여 설명한 본 발명에 따른 영상 복원 방법에 있어서, 부호화 모드가 B-모드인 경우에 S1020단계 및 S1050단계는 다음의 과정을 포함한다. In the image restoration method according to the present invention described with reference to FIG. 10, when the encoding mode is the B-mode, steps S1020 and S1050 include the following process.

먼저, 움직임 보상부(920)는 순방향 움직임 벡터와 순방향 보간 움직임 벡터를 기초로 제1영상의 압축대상 매크로블록에 대한 순방향 참조 매크로블록 및 제2 영상의 기준 매크로블록에 대한 순방향 참조 매크로블록을 검출하여 예측신호를 생성한다. 다음으로, 움직임 보상부(920)는 역방향 움직임 벡터와 역방향 보간 움직임 벡터를 기초로 제1영상의 압축대상 매크로블록에 대한 역방향 참조 매크로블록 및 제2영상의 기준 매크로블록에 대한 역방향 참조 매크로블록을 검출하여 예측신호를 생성한다.First, the motion compensator 920 detects a forward reference macroblock for the compression target macroblock of the first image and a forward reference macroblock for the reference macroblock of the second image based on the forward motion vector and the forward interpolation motion vector. To generate a prediction signal. Next, the motion compensator 920 generates a backward reference macroblock for the compression target macroblock of the first image and a backward reference macroblock for the reference macroblock of the second image based on the backward motion vector and the backward interpolation motion vector. It detects and generates a prediction signal.

본 발명에 따른 다중 영상 압축 장치에 의해 FOREMAN, FOOTBALL 및 MOBILE의 다중 영상을 압축한 결과 각각 평균 72%, 70%, 69%로써 높은 압출 비율을 얻을 수 있었다. 도 11은 본 발명에 따른 다중 영상 압축 장치와 종래의 H.264 Annex.F에 규정된 표준에 따른 다중 영상 압축 장치에 의해 FOOTBALL 시퀀스를 각각 압축한 결과를 그래프로 도시한 도면이다. 도 11을 참조하면, 본 발명에 따른 다중 영상 압축 장치는 종래의 다중 영상 압축 장치보다 PSNR에 있어서 약 0.48dB 만큼 높음을 알 수 있다.As a result of compressing multiple images of FOREMAN, FOOTBALL and MOBILE by the multiple image compression apparatus according to the present invention, high extrusion rates were obtained as averages of 72%, 70% and 69%, respectively. FIG. 11 is a graph illustrating the results of compressing the FOOTBALL sequence by the multiple image compression apparatus according to the present invention and the multiple image compression apparatus according to the standard defined in the conventional H.264 Annex.F. Referring to FIG. 11, it can be seen that the multiple image compression apparatus according to the present invention is about 0.48 dB higher in PSNR than the conventional multiple image compression apparatus.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.

본 발명에 따른 영상 압축 장치 및 방법, 그리고, 다중 영상 복원 장치 및 방법에 의하면, 기존의 다중 영상 압축 장치보다 높은 압출률로 다중 영상을 압축할 수 있어 영상 데이터의 전송을 위한 전송시간 및 전송대역폭을 절감할 수 있다. 또한 초당 전송량이 제한되는 이동 통신 서비스에 본 발명을 적용하면 과금정책 또는 QoS(Quality of Service)별로 동일한 영상을 다양한 해상도로 제공하거나 초당 프레임율을 달리하여 제공하는 차별화된 서비스를 용이하게 구현할 수 있다. According to the image compression apparatus and method, and the multiple image decompression apparatus and method according to the present invention, it is possible to compress multiple images at a higher extrusion rate than conventional multiple image compression apparatuses, so that transmission time and transmission bandwidth for transmission of image data Can reduce the cost. In addition, when the present invention is applied to a mobile communication service in which the amount of transmission is limited per second, it is possible to easily implement a differentiated service that provides the same image in various resolutions or different frame rates per second for each billing policy or quality of service (QoS). .

Claims (21)

복수의 제1영상 프레임으로 구성된 제1영상 및 상기 제1영상 프레임 각각과동일한 시간축 상에 위치하는 복수의 제2영상 프레임으로 구성된 제2영상으로 이루어진 다중 영상 신호를 압축하는 장치에 있어서,An apparatus for compressing a multi-image signal consisting of a first image composed of a plurality of first image frames and a second image composed of a plurality of second image frames positioned on the same time axis as each of the first image frames, 상기 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록에 대해 움직임 벡터를 추정하는 움직임 추정부;A motion estimator for estimating a motion vector with respect to the compression target macroblock belonging to the compression target image frame of the first image; 상기 추정된 움직임 벡터를 기초로 현재 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하는 움직임 보상부;A motion compensator for generating a prediction signal by detecting a reference macroblock corresponding to a current macroblock belonging to the current picture frame from a reference picture frame adjacent to the current picture frame based on the estimated motion vector; 상기 현재 매크로블록과 상기 예측신호의 차이값을 산출하는 차이값 산출부; A difference value calculator for calculating a difference value between the current macroblock and the prediction signal; 상기 압축대상 영상 프레임 및 상기 제2영상 프레임 중에서 상기 압축대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임인 기준 영상 프레임을 상기 현재 영상 프레임으로 결정하여 상기 움직임 보상부에 선택적으로 제공하는 영상 프레임 선택부; 및Selecting a video frame of the compression target image frame and the second image frame to determine a reference video frame, which is an image frame located on the same time axis as the compression target image frame, as the current image frame and selectively provide it to the motion compensator. part; And 상기 압축대상 영상 프레임에 대응하여 산출된 제1차이값과 상기 기준 영상 프레임에 대응하여 산출된 제2차이값의 차이를 산출하여 중복성제거신호를 생성하는 중복성제거신호 생성부;를 포함하는 것을 특징으로 하는 영상 압축 장치.And a redundancy removal signal generator configured to generate a redundancy removal signal by calculating a difference between a first difference value calculated corresponding to the compression target image frame and a second difference value calculated corresponding to the reference image frame. Video compression device. 제 1항에 있어서,The method of claim 1, 상기 움직임벡터 및 상기 중복성제거신호를 부호화하는 부호화부를 더 포함하는 것을 특징으로 하는 영상 압축 장치.And an encoder which encodes the motion vector and the redundancy removal signal. 제 1항 또는 제 2항에 있어서,The method according to claim 1 or 2, 상기 움직임 추정부는 상기 압축대상 영상 프레임의 이전 영상 프레임 및 이후 영상 프레임을 기초로 순방향 움직임 벡터 및 역방향 움직임 벡터를 각각 추정하고,The motion estimator estimates a forward motion vector and a backward motion vector based on a previous video frame and a subsequent video frame of the compression target video frame, respectively. 상기 움직임 보상부는,The motion compensation unit, 상기 순방향 움직임 벡터를 기초로 상기 현재 영상 프레임의 이전 영상 프레임인 제1참조 영상 프레임으로부터 상기 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 제1참조 매크로블록을 검출하고, 상기 역방향 움직임 벡터를 기초로 상기 현재 영상 프레임의 이후 영상 프레임인 제2참조 영상 프레임으로부터 상기 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 제2참조 매크로블록을 검출하는 참조 매크로블록 검출부; 및Detecting a first reference macroblock corresponding to a current macroblock belonging to the current video frame from a first reference video frame that is a previous video frame of the current video frame based on the forward motion vector, and based on the backward motion vector A reference macroblock detector for detecting a second reference macroblock corresponding to a current macroblock belonging to the current picture frame from a second reference picture frame that is a subsequent picture frame of the current picture frame; And 다음의 수학식에 의해 상기 검출된 제1참조 매크로블록 및 제2참조 매크로블록으로부터 상기 예측신호를 생성하는 예측신호 생성부;를 포함하는 것을 특징으로 하는 영상 압축 장치:And a prediction signal generator for generating the prediction signal from the detected first reference macroblock and second reference macroblock by the following equation: Rt=αF+(1-α)B,R t = α F + (1-α) B, 여기서, Rt는 예측신호, F는 제1참조 매크로블록, B는 제2참조 매크로블록, 그리고, α는 매크로블록의 압축타입에 따라 결정되는 계수이다.R t is a prediction signal, F is a first reference macroblock, B is a second reference macroblock, and α is a coefficient determined according to the compression type of the macroblock. 제 1항 또는 제 2항에 있어서,The method according to claim 1 or 2, 상기 압축대상 영상 프레임과 상기 기준 영상 프레임의 해상도의 비를 산출하여 생성한 보정값을 상기 움직임 보상부 및 상기 중복성제거신호 생성부에 제공하는 해상도 보정부를 더 포함하며,And a resolution correction unit configured to provide a correction value generated by calculating a ratio of the resolution of the compression target image frame and the reference image frame to the motion compensation unit and the redundancy removal signal generation unit. 상기 움직임 보상부는 상기 영상 프레임 선택부에 의해 상기 기준 영상 프레임이 상기 현재 영상 프레임으로서 상기 움직임 보상부에 제공되는 시점에 상기 움직임 추정부로부터 입력된 움직임벡터에 상기 보정값을 제산하여 생성된 값을 기초로 상기 현재 영상 프레임으로서 입력된 상기 기준 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하고,The motion compensator subtracts the correction value from the motion vector input from the motion estimator at the time when the reference video frame is provided to the motion compensator as the current image frame by the image frame selector. Detect a reference macroblock corresponding to a current macroblock belonging to the reference picture frame input as the current picture frame based on the 상기 중복성제거신호 생성부는 상기 제2차이값에 상기 보정값을 승산하여 생성한 값과 상기 제1차이값의 차이를 산출하여 상기 중복성제거신호를 생성하는 것을 특징으로 하는 영상 압축 장치.And the redundancy removal signal generating unit generates the redundancy removing signal by calculating a difference between the first difference value and the value generated by multiplying the second difference value by the correction value. 제 4항에 있어서,The method of claim 4, wherein 상기 제1영상 프레임의 해상도가 상기 제2영상 프레임의 해상도보다 높은 것을 특징으로 하는 영상 압축 장치.And a resolution of the first image frame is higher than that of the second image frame. 복수의 제1영상 프레임으로 구성된 제1영상 및 상기 제1영상 프레임 각각과 동일한 시간축 상에 위치하는 복수의 제2영상 프레임으로 구성된 제2영상으로 이루어진 다중 영상 신호를 압축하는 방법에 있어서,A method of compressing a multi-image signal consisting of a first image composed of a plurality of first image frames and a second image composed of a plurality of second image frames positioned on the same time axis as each of the first image frames, 상기 제1영상의 압축대상 영상 프레임에 속하는 압축대상 매크로블록에 대해 움직임 벡터를 추정하는 움직임 추정단계;A motion estimation step of estimating a motion vector with respect to the compression target macroblock belonging to the compression target image frame of the first image; 상기 추정된 움직임 벡터를 기초로 상기 제1영상의 압축대상 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 압축대상 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하고, 상기 압축대상 매크로블록과 상기 생성된 예측신호의 차이인 제1차이값을 산출하는 제1차이값 산출단계;A reference macroblock corresponding to the compression target macroblock is detected from a reference image frame adjacent to the compression target image frame of the first image based on the estimated motion vector, and a prediction signal is generated; A first difference value calculating step of calculating a first difference value that is a difference between the generated prediction signals; 상기 추정된 움직임 벡터를 기초로 상기 제2영상 프레임 중에서 상기 압축대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임을 기준 영상 프레임으로 선택하고, 기준 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 압축대상 매크로블록에 대응하는 기준 영상 프레임에 속하는 매크로블록인 기준 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하고, 상기 기준 매크로블록과 상기 생성된 예측신호의 차이인 제2차이값을 산출하는 제2차이값 산출단계; 및Based on the estimated motion vector, an image frame positioned on the same time axis as the compression target image frame among the second image frames is selected as a reference image frame, and the compression target macro is selected from a reference image frame adjacent to the reference image frame. Detecting a reference macroblock corresponding to a reference macroblock that is a macroblock belonging to a reference video frame corresponding to the block to generate a prediction signal, and calculating a second difference value that is a difference between the reference macroblock and the generated prediction signal Calculating a second difference value; And 상기 산출된 제1차이값과 상기 산출된 제2차이값의 차이를 산출하여 중복성제거신호를 생성하는 중복성제거신호 생성단계;를 포함하는 것을 특징으로 하는 영상 압축 방법.And generating a redundancy removal signal by calculating a difference between the calculated first difference value and the calculated second difference value. 제 6항에 있어서,The method of claim 6, 상기 움직임 벡터 및 상기 중복성제거신호를 부호화하는 부호화단계를 더 포함하는 것을 특징으로 하는 영상 압축 방법.And encoding the motion vector and the redundancy removal signal. 제 6항 또는 제 7항에 있어서,The method according to claim 6 or 7, 상기 움직임 추정단계에서 상기 압축대상 영상 프레임의 이전 영상 프레임 및 이후 영상 프레임을 기초로 순방향 움직임 벡터 및 역방향 움직임 벡터를 각각 추정하며,In the motion estimation step, a forward motion vector and a backward motion vector are estimated based on previous and subsequent image frames of the compression target image frame, respectively. 상기 제1차이값 산출단계는,The first difference value calculating step, 상기 순방향 움직임 벡터를 기초로 상기 압축대상 영상 프레임의 이전 영상 프레임인 제1참조 영상 프레임으로부터 상기 압축대상 매크로블록에 대응하는 제1참조 매크로블록을 검출하는 단계;Detecting a first reference macroblock corresponding to the compression target macroblock from a first reference image frame that is a previous image frame of the compression target image frame based on the forward motion vector; 상기 역방향 움직임 벡터를 기초로 상기 압축대상 영상 프레임의 이후 영상 프레임인 제2참조 영상 프레임으로부터 상기 압축대상 매크로블록에 대응하는 제2참조 매크로블록을 검출하는 단계; 및Detecting a second reference macroblock corresponding to the compression target macroblock from a second reference image frame that is a subsequent image frame of the compression target image frame based on the backward motion vector; And 다음의 수학식에 의해 상기 검출된 제1참조 매크로블록 및 제2참조 매크로블록으로부터 제1예측신호를 생성하는 단계;를 포함하고,Generating a first prediction signal from the detected first reference macroblock and second reference macroblock by the following equation; 상기 제2차이값 산출단계는,The second difference value calculating step, 상기 순방향 움직임 벡터를 기초로 상기 기준 영상 프레임의 이전 영상 프레임인 제1참조 영상 프레임으로부터 상기 기준 매크로블록에 대응하는 제1참조 매크로블록을 검출하는 단계;Detecting a first reference macroblock corresponding to the reference macroblock from a first reference picture frame that is a previous picture frame of the reference picture frame based on the forward motion vector; 상기 역방향 움직임 벡터를 기초로 상기 기준 영상 프레임의 이후 영상 프레임인 제2참조 영상 프레임으로부터 상기 기준 매크로블록에 대응하는 제2참조 매크로블록을 검출하는 단계; 및Detecting a second reference macroblock corresponding to the reference macroblock from a second reference picture frame that is a subsequent picture frame of the reference picture frame based on the backward motion vector; And 다음의 수학식에 의해 상기 검출된 제1참조 매크로블록 및 제2참조 매크로블록으로부터 제2예측신호를 생성하는 단계;를 포함하는 것을 특징으로 하는 영상 압축 방법:Generating a second prediction signal from the detected first reference macroblock and second reference macroblock by the following equation; Rt=αF+(1-α)B,R t = α F + (1-α) B, 여기서, Rt는 제1예측신호 또는 제2예측신호, F는 제1참조 매크로블록, B는 제2참조 매크로블록, 그리고, α는 매크로블록의 압축타입에 따라 결정되는 계수이다.Here, R t is the first prediction signal or the second prediction signal, F is the first reference macroblock, B is the second reference macroblock, and α is a coefficient determined according to the compression type of the macroblock. 제 6항 또는 제 7항에 있어서,The method according to claim 6 or 7, 상기 압축대상 영상 프레임과 상기 기준 영상 프레임의 해상도의 비를 산출하여 보정값을 생성하는 보정값 산출단계를 더 포함하며,The method may further include a correction value calculating step of generating a correction value by calculating a ratio of the resolution of the compression target image frame and the reference image frame. 상기 제2차이값 산출단계에서 상기 움직임 벡터에 상기 보정값을 제산하여 생성된 값을 기초로 상기 기준 매크로블록에 대응하는 참조 매크로블록을 검출하고,A reference macroblock corresponding to the reference macroblock is detected based on a value generated by dividing the motion vector by the motion vector in the second difference value calculating step, 상기 중복성제거신호 생성단계에서 상기 제2차이값에 상기 보정값을 승산하여 생성한 값과 상기 제1차이값의 차이를 산출하여 상기 중복성제거신호를 생성하 는 것을 특징으로 하는 영상 압축 방법.And generating the redundancy removal signal by calculating a difference between a value generated by multiplying the second difference value by the correction value and the first difference value in the redundancy removal signal generating step. 제 9항에 있어서,The method of claim 9, 상기 제1영상 프레임의 해상도가 상기 제2영상 프레임의 해상도보다 높은 것을 특징으로 하는 영상 압축 방법.And the resolution of the first image frame is higher than the resolution of the second image frame. 복수의 제1영상 프레임으로 구성된 제1영상 및 상기 제1영상 프레임 각각과 동일한 시간축 상에 위치하는 복수의 제2영상 프레임으로 구성된 제2영상으로 이루어진 압축된 다중 영상 신호를 복원하는 장치에 있어서,An apparatus for reconstructing a compressed multi-image signal consisting of a first image composed of a plurality of first image frames and a second image composed of a plurality of second image frames positioned on the same time axis as each of the first image frames, 입력받은 인코드된 움직임 벡터를 복원하고 상기 복원된 움직임 벡터의 차 값으로부터 제1영상의 복원대상 영상 프레임에 속하는 복원대상 매크로블록에 대해 움직임 벡터를 산출하는 움직임 벡터 복호화부;A motion vector decoding unit for reconstructing the received encoded motion vector and calculating a motion vector for a reconstruction target macroblock belonging to a reconstruction target image frame of a first image from the difference value of the reconstructed motion vector; 상기 산출된 움직임 벡터를 기초로 현재 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하는 움직임 보상부;A motion compensation unit for generating a prediction signal by detecting a reference macroblock corresponding to a current macroblock belonging to the current picture frame from a reference picture frame adjacent to the current picture frame based on the calculated motion vector; 상기 복원대상 영상 프레임 및 입력받은 제2영상의 영상 프레임 중에서 상기 복원대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임인 기준 영상 프레임을 상기 현재 영상 프레임으로 결정하여 상기 움직임 보상부에 선택적으로 제공하는 영상 프레임 선택부;A reference image frame, which is an image frame located on the same time axis as the restoration target image frame, among the image frames of the restoration target image frame and the received second image, is selected as the current image frame and selectively provided to the motion compensator; An image frame selector; 상기 기준 영상 프레임에 속하는 현재 매크로블록과 상기 기준 영상 프레임 에 대응하여 생성된 예측신호의 차이값을 산출하는 차이값 산출부; 및A difference value calculator configured to calculate a difference between a current macroblock belonging to the reference video frame and a prediction signal generated corresponding to the reference video frame; And 상기 기준 영상 프레임에 대응하여 산출된 차이값과 상기 복원대상 매크로 불록으로부터 생성된 예측신호와 입력받은 중복성제거신호의 합을 산출하여 영상을 복원하는 영상복원부;를 포함하는 것을 특징으로 하는 영상 복원 장치.And an image restoring unit for restoring an image by calculating a sum of a difference value corresponding to the reference image frame, a prediction signal generated from the restoration target macro block, and an input redundancy removal signal. Device. 제 11항에 있어서,The method of claim 11, 입력받은 비트 스트림으로부터 상기 인코드된 움직임벡터와 MPEG 스트림을 검출하고, 상기 MPEG 스트림으로부터 중복성제거신호를 복원하는 복호화부를 더 포함하는 것을 특징으로 하는 영상 복원 장치.And a decoder which detects the encoded motion vector and the MPEG stream from the input bit stream and restores the redundancy removal signal from the MPEG stream. 제 11항 또는 제 12항에 있어서,The method of claim 11 or 12, 상기 움직임 추정부는 상기 인코드된 움직임벡터로부터 순방향 움직임 벡터 및 역방향 움직임 벡터를 각각 추정하고,The motion estimator estimates a forward motion vector and a backward motion vector from the encoded motion vector, 상기 움직임 보상부는,The motion compensation unit, 상기 순방향 움직임 벡터를 기초로 상기 현재 영상 프레임의 이전 영상 프레임인 제1참조 영상 프레임으로부터 상기 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 제1참조 매크로블록을 검출하고, 상기 역방향 움직임 벡터를 기초로 상기 현재 영상 프레임의 이후 영상 프레임인 제2참조 영상 프레임으로부터 상기 현재 영상 프레임에 속하는 현재 매크로블록에 대응하는 제2참조 매크로블록을 검출하는 참조 매크로블록 검출부; 및Detecting a first reference macroblock corresponding to a current macroblock belonging to the current video frame from a first reference video frame that is a previous video frame of the current video frame based on the forward motion vector, and based on the backward motion vector A reference macroblock detector for detecting a second reference macroblock corresponding to a current macroblock belonging to the current picture frame from a second reference picture frame that is a subsequent picture frame of the current picture frame; And 다음의 수학식에 의해 상기 검출된 제1참조 매크로블록 및 제2참조 매크로블록으로부터 상기 예측신호를 생성하는 예측신호 생성부;를 포함하는 것을 특징으로 하는 영상 복원 장치:And a prediction signal generator for generating the prediction signal from the detected first reference macroblock and second reference macroblock by the following equation: Rt=αF+(1-α)B,R t = α F + (1-α) B, 여기서, Rt는 예측신호, F는 제1참조 매크로블록, B는 제2참조 매크로블록, 그리고, α는 매크로블록의 압축타입에 따라 결정되는 계수이다.R t is a prediction signal, F is a first reference macroblock, B is a second reference macroblock, and α is a coefficient determined according to the compression type of the macroblock. 제 11항 또는 제 12항에 있어서,The method of claim 11 or 12, 상기 복원대상 영상 프레임과 상기 기준 영상 프레임의 해상도의 비에 해당하는 보정값을 상기 움직임 보상부 및 상기 중복성제거신호 생성부에 제공하는 해상도 보정부를 더 포함하며,And a resolution correction unit configured to provide a correction value corresponding to a ratio of the resolution of the restoration target image frame and the reference image frame to the motion compensator and the redundancy removal signal generator. 상기 움직임 보상부는 상기 영상 프레임 선택부에 의해 상기 기준 영상 프레임이 상기 현재 영상 프레임으로서 상기 움직임 보상부에 제공되는 시점에 상기 움직임 추정부로부터 입력된 움직임벡터에 상기 보정값을 제산하여 생성된 값을 기초로 상기 현재 영상 프레임으로서 입력된 상기 기준 영상 프레임에 속하는 현재 매크로블록에 대응하는 참조 매크로블록을 검출하고,The motion compensator subtracts the correction value from the motion vector input from the motion estimator at the time when the reference video frame is provided to the motion compensator as the current image frame by the image frame selector. Detect a reference macroblock corresponding to a current macroblock belonging to the reference picture frame input as the current picture frame based on the 상기 영상 복원부는 상기 차이값에 상기 보정값을 승산하여 생성한 값과 상기 예측신호와 상기 중보성제거신호의 합을 산출하여 영상을 복원하는 것을 특징으로 하는 영상 복원 장치.And the image reconstruction unit reconstructs the image by calculating a sum of a value generated by multiplying the difference value by the correction value, the sum of the prediction signal, and the neutrality cancellation signal. 제 14항에 있어서,The method of claim 14, 상기 제1영상 프레임의 해상도가 상기 제2영상 프레임의 해상도보다 높은 것을 특징으로 하는 영상 복원 장치.And the resolution of the first image frame is higher than the resolution of the second image frame. 복수의 제1영상 프레임으로 구성된 제1영상 및 상기 제1영상 프레임 각각과 동일한 시간축 상에 위치하는 복수의 제2영상 프레임으로 구성된 제2영상으로 이루어진 다중 영상 신호를 복원하는 방법에 있어서,A method of reconstructing a multi-image signal consisting of a first image composed of a plurality of first image frames and a second image composed of a plurality of second image frames positioned on the same time axis as each of the first image frames, 입력받은 인코드된 움직임 벡터를 복원하고 상기 복원된 움직임 벡터의 차 값으로부터 제1영상의 복원대상 영상 프레임에 속하는 복원대상 매크로블록에 대해 움직임 벡터를 산출하는 움직임 벡터 복호화단계;A motion vector decoding step of reconstructing the received encoded motion vector and calculating a motion vector for a reconstruction target macroblock belonging to a reconstruction target video frame of a first image from the difference value of the reconstructed motion vector; 상기 산출된 움직임 벡터를 기초로 상기 복원대상 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 복원대상 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하는 예측신호 산출단계;A prediction signal calculation step of generating a prediction signal by detecting a reference macroblock corresponding to the reconstruction target macroblock from a reference image frame adjacent to the reconstruction target image frame based on the calculated motion vector; 상기 산출된 움직임 벡터를 기초로 입력받은 제2영상 프레임 중에서 상기 복원대상 영상 프레임과 동일한 시간축 상에 위치하는 영상 프레임을 기준 영상 프레임으로 선택하고, 기준 영상 프레임에 인접하는 참조 영상 프레임으로부터 상기 복원대상 매크로블록에 대응하는 기준 영상 프레임에 속하는 매크로블록인 기준 매크로블록에 대응하는 참조 매크로블록을 검출하여 예측신호를 생성하고, 상기 기준 매크로블록과 상기 생성된 예측신호의 차이값을 산출하는 차이값 산출단계; 및From among the second image frames received based on the calculated motion vector, an image frame positioned on the same time axis as the restoration target image frame is selected as a reference image frame, and the restoration target is obtained from a reference image frame adjacent to the reference image frame. Computing a reference signal by detecting a reference macroblock corresponding to a reference macroblock which is a macroblock belonging to a reference video frame corresponding to a macroblock, and calculating a difference value for calculating a difference between the reference macroblock and the generated prediction signal. step; And 상기 복원대상 매크로블록으로부터 생성된 예측신호와 상기 산출된 차이값과 입력받은 중복성제거신호의 합을 산출하여 영상을 복원하는 영상 복원단계;를 포함하는 것을 특징으로 하는 영상 복원 방법.And an image restoration step of restoring the image by calculating a sum of the prediction signal generated from the restoration target macroblock, the calculated difference value, and the input redundancy removal signal. 제 16항에 있어서,The method of claim 16, 입력받은 비트 스트림으로부터 상기 인코드된 움직임벡터와 MPEG 스트림을 검출하고 상기 MPEG 스트림으로부터 중복성제거신호를 복원하는 복호화단계를 더 포함하는 것을 특징으로 하는 영상 복원 방법.And a decoding step of detecting the encoded motion vector and the MPEG stream from the received bit stream and restoring a redundancy removal signal from the MPEG stream. 제 16항 또는 제 17항에 있어서,The method according to claim 16 or 17, 상기 움직임 추정단계에서 상기 인코드된 움직임벡터로부터 순방향 움직임 벡터 및 역방향 움직임 벡터를 각각 추정하고,Estimating a forward motion vector and a backward motion vector from the encoded motion vector in the motion estimation step, 상기 예측신호 산출단계에서,In the prediction signal calculation step, 상기 순방향 움직임 벡터를 기초로 상기 복원대상 영상 프레임의 이전 영상 프레임인 제1참조 영상 프레임으로부터 상기 복원대상 매크로블록에 대응하는 제1참조 매크로블록을 검출하고, 상기 역방향 움직임 벡터를 기초로 상기 복원대상 영상 프레임의 이후 영상 프레임인 제2참조 영상 프레임으로부터 상기 복원대상 매크로블록에 대응하는 제2참조 매크로블록을 검출하고, 다음의 수학식에 의해 상기 검출된 제1참조 매크로블록 및 제2참조 매크로블록으로부터 상기 예측신호를 생성하고Detects a first reference macroblock corresponding to the decompression target macroblock from a first reference image frame that is a previous image frame of the decompression target image frame based on the forward motion vector, and based on the backward motion vector A second reference macroblock corresponding to the macroblock to be restored is detected from a second reference image frame that is a subsequent image frame of the image frame, and the detected first reference macroblock and second reference macroblock are expressed by the following equation. Generate the prediction signal from 상기 차이값 산출단계에서,In the difference value calculation step, 상기 순방향 움직임 벡터를 기초로 상기 기준 영상 프레임의 이전 영상 프레임인 제1참조 영상 프레임으로부터 상기 기준 매크로블록에 대응하는 제1참조 매크로블록을 검출하고, 상기 역방향 움직임 벡터를 기초로 상기 기준 영상 프레임의 이후 영상 프레임인 제2참조 영상 프레임으로부터 상기 기준 매크로블록에 대응하는 제2참조 매크로블록을 검출하고, 다음의 수학식에 의해 상기 검출된 제1참조 매크로블록 및 제2참조 매크로블록으로부터 상기 예측신호를 생성하는 것을 특징으로 하는 영상 복원 방법:Detecting a first reference macroblock corresponding to the reference macroblock from a first reference picture frame that is a previous picture frame of the reference picture frame based on the forward motion vector, and based on the backward motion vector, Then, a second reference macroblock corresponding to the reference macroblock is detected from a second reference image frame, which is an image frame, and the prediction signal is detected from the detected first reference macroblock and the second reference macroblock by the following equation. Method for restoring an image, characterized in that for generating: Rt=αF+(1-α)B,R t = α F + (1-α) B, 여기서, Rt는 예측신호, F는 제1참조 매크로블록, B는 제2참조 매크로블록, 그리고, α는 매크로블록의 압축타입에 따라 결정되는 계수이다.R t is a prediction signal, F is a first reference macroblock, B is a second reference macroblock, and α is a coefficient determined according to the compression type of the macroblock. 제 16항 또는 제 17항에 있어서,The method according to claim 16 or 17, 상기 복원대상 영상 프레임과 상기 기준 영상 프레임의 해상도의 비에 해당하는 보정값을 생성하는 보정값 생성단계를 더 포함하며,And a correction value generating step of generating a correction value corresponding to a ratio of the resolution of the restoration target image frame and the reference image frame. 상기 차이값 산출단계에서 상기 움직임 벡터에 상기 생성된 보정값을 제산하여 생성된 값을 기초로 상기 기준 매크로블록에 대응하는 참조 매크로블록을 검출하고,Detecting a reference macroblock corresponding to the reference macroblock based on a value generated by dividing the generated correction value by the motion vector in the difference value calculating step, 상기 영상 복원단계에서 상기 차이값에 상기 생성된 보정값을 승산하여 생성 한 값과 상기 예측신호와 상기 중보성제거신호의 합을 산출하여 영상을 복원하는 것을 특징으로 하는 영상 복원 방법.And reconstructing the image by calculating a sum of the value generated by multiplying the difference value by the generated correction value and the sum of the prediction signal and the neutral complement removal signal in the image reconstruction step. 제 19항에 있어서,The method of claim 19, 상기 제1영상 프레임의 해상도가 상기 제2영상 프레임의 해상도보다 높은 것을 특징으로 하는 영상 복원 방법.And the resolution of the first image frame is higher than the resolution of the second image frame. 제 6항, 제 7항, 제 16항 또는 제 17항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 6, 7, 16, or 17 on a computer.
KR1020060108772A 2006-11-06 2006-11-06 Apparatus and method for incoding and deconding multi-video KR100824347B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060108772A KR100824347B1 (en) 2006-11-06 2006-11-06 Apparatus and method for incoding and deconding multi-video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060108772A KR100824347B1 (en) 2006-11-06 2006-11-06 Apparatus and method for incoding and deconding multi-video

Publications (1)

Publication Number Publication Date
KR100824347B1 true KR100824347B1 (en) 2008-04-22

Family

ID=39572276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060108772A KR100824347B1 (en) 2006-11-06 2006-11-06 Apparatus and method for incoding and deconding multi-video

Country Status (1)

Country Link
KR (1) KR100824347B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449347A (en) * 2022-03-03 2022-05-06 辽宁向日葵教育科技有限公司 Intelligent optimization method for video rendering picture
CN116320536A (en) * 2023-05-16 2023-06-23 瀚博半导体(上海)有限公司 Video processing method, device, computer equipment and computer readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070012169A (en) * 2005-07-21 2007-01-25 삼성전자주식회사 Method and apparatus for video signal encoding and decoding with directional intra residual prediction
KR20070023478A (en) * 2005-08-24 2007-02-28 삼성전자주식회사 Method for enhancing performance of residual prediction, video encoder, and video decoder using it
KR20070041290A (en) * 2005-10-14 2007-04-18 삼성전자주식회사 Intra base prediction method satisfying single loop decoding condition, video coding method and apparatus using the prediction method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070012169A (en) * 2005-07-21 2007-01-25 삼성전자주식회사 Method and apparatus for video signal encoding and decoding with directional intra residual prediction
KR20070023478A (en) * 2005-08-24 2007-02-28 삼성전자주식회사 Method for enhancing performance of residual prediction, video encoder, and video decoder using it
KR20070041290A (en) * 2005-10-14 2007-04-18 삼성전자주식회사 Intra base prediction method satisfying single loop decoding condition, video coding method and apparatus using the prediction method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449347A (en) * 2022-03-03 2022-05-06 辽宁向日葵教育科技有限公司 Intelligent optimization method for video rendering picture
CN116320536A (en) * 2023-05-16 2023-06-23 瀚博半导体(上海)有限公司 Video processing method, device, computer equipment and computer readable storage medium
CN116320536B (en) * 2023-05-16 2023-08-18 瀚博半导体(上海)有限公司 Video processing method, device, computer equipment and computer readable storage medium

Similar Documents

Publication Publication Date Title
USRE35158E (en) Apparatus for adaptive inter-frame predictive encoding of video signal
US6442204B1 (en) Video encoding method and system
EP0734165B1 (en) Image processing system using pixel-by-pixel motion estimation and frame decimation
KR100945546B1 (en) Coding dynamic filters
Belfiore et al. Concealment of whole-frame losses for wireless low bit-rate video based on multiframe optical flow estimation
JP3736869B2 (en) Bi-directional motion estimation method and apparatus
KR100703788B1 (en) Video encoding method, video decoding method, video encoder, and video decoder, which use smoothing prediction
JP3072035B2 (en) Two-stage video film compression method and system
EP0634874B1 (en) Determination of motion vectors in a frame decimating video encoder
EP1845735A1 (en) Moving picture encoding method, and apparatus and computer program using the same
JP2007503776A (en) Method and apparatus for minimizing the number of reference images used for inter coding
US4794455A (en) Method and apparatus employing adaptive filtering for efficiently communicating image sequences
EP0721284B1 (en) An image processing system using pixel-by-pixel motion estimation and frame decimation
US5001560A (en) Method and apparatus employing adaptive filtering for efficiently communicating image sequences
JP3938972B2 (en) Current frame prediction device
EP0577418B1 (en) Apparatus for motion compensation coding of digital video signal
KR100824347B1 (en) Apparatus and method for incoding and deconding multi-video
US20050013496A1 (en) Video decoder locally uses motion-compensated interpolation to reconstruct macro-block skipped by encoder
KR20050085730A (en) Elastic storage
US8503520B2 (en) Method and apparatus for encoding a flash picture occurring in a video sequence, and for decoding corresponding data for a flash picture
JP4859265B2 (en) Method and apparatus for encoding by luminance evaluation
JP3823370B2 (en) Video encoding method, decoding method and apparatus
KR20100082700A (en) Wyner-ziv coding and decoding system and method
JPH0951538A (en) Encoding method for image signal
KR20090078114A (en) Multi-view image coding method and apparatus using variable gop prediction structure, multi-view image decoding apparatus and recording medium storing program for performing the method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120321

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee