KR101446074B1 - Method, apparatus and system for combining plural picutres - Google Patents
Method, apparatus and system for combining plural picutres Download PDFInfo
- Publication number
- KR101446074B1 KR101446074B1 KR1020130164660A KR20130164660A KR101446074B1 KR 101446074 B1 KR101446074 B1 KR 101446074B1 KR 1020130164660 A KR1020130164660 A KR 1020130164660A KR 20130164660 A KR20130164660 A KR 20130164660A KR 101446074 B1 KR101446074 B1 KR 101446074B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- mpm
- boundary
- prediction mode
- macroblock
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 영상 합성 방법, 장치 및 시스템에 관한 것으로, 특히 영상합성 시에 화면간 부호화 모드에서 최고 확률 모드 불일치를 해결할 수 있는 영상 합성 방법, 장치 및 시스템에 관한 것이다.The present invention relates to a video synthesis method, apparatus, and system, and more particularly, to a video synthesis method, apparatus, and system capable of solving a maximum probability mode mismatch in an inter-picture coding mode at the time of video synthesis.
영상신호 압축을 위한 국제 표준화 기구로는 영상회의와 같은 비디오 응용을 위해 결성된 ITU-T(International Telecommunication Union Telecommunication Standardization Sector)와 비디오 데이터의 저장 또는 방송 등 다양한 응용분야를 위한 ISO/IEC 등이 있다. 그리고 ITU-T와 ISO/IEC가 함께 JVT(Joint Video Team)를 구성하여 기존의 MPEG(Moving Picture Experts Group)-2, H.263, MPEG-4 Visual 비디오 압축 부호화 표준보다 압축 성능이 향상된 H.264/AVC 비디오 부호화 표준을 제정하였다. H.264/AVC는 현재 차세대 동영상 압축 기술로 평가 받고 있다. 특히, 디지털 TV, 위성 및 지상파 DMB(Digital Multimedia Broadcasting) 등 차세대 멀티미디어 서비스와 접목되면서 다채널 고화질의 영상압축, 인터넷, 케이블 모뎀, 이동통신망에서의 영상전달, 디지털 데이터 방송 등과 같은 동영상 멀티미디어 서비스에 널리 이용되고 있다.International standardization organizations for video signal compression include the International Telecommunication Union Telecommunication Standardization Sector (ITU-T), which is established for video applications such as video conferencing, and ISO / IEC for various applications such as video data storage or broadcasting . In addition, ITU-T and ISO / IEC together form JVT (Joint Video Team), which provides compression performance higher than existing Moving Picture Experts Group (MPEG) -2, H.263, and MPEG-4 Visual Video compression coding standards. 264 / AVC video coding standard. H.264 / AVC is currently regarded as a next-generation video compression technology. Especially, it is widely applied to multimedia multimedia services such as multi-channel high-quality image compression, Internet, cable modem, video transmission in mobile communication network, digital data broadcasting, etc., while being combined with next generation multimedia services such as digital TV, satellite and terrestrial DMB (Digital Multimedia Broadcasting) .
H.264/AVC 기반 고속 영상 합성 기법은 각각 독립된 복수개의 영상들을 합쳐 하나의 합성된 영상을 생성하는 기법이다. 종래의 고속 영상 합성 기법 중 한가지가 한국 등록 특허 제10-1053161호(2011년 1월 28일 공개)에 공개되어 있다. 공개된 종래 기술의 특징은 복수개의 영상을 하나의 영상으로 합성한 이후 부호화 과정을 거쳐 송신을 위한 비트스트림을 생성하는 것이 아니라, 이미 부호화되어 생성된 영상들 각각에 대한 복수개의 비트스트림을 수신하고, 수신된 복수개의 비트스트림 각각에서 특정 부분만 추출하여 수정한 후 하나의 합성된 영상에 대한 비트스트림을 생성한다.The H.264 / AVC based high-speed image synthesis technique is a technique of generating a combined image by combining plural independent images. One of the conventional high-speed image synthesis techniques is disclosed in Korean Patent No. 10-1053161 (published Jan. 28, 2011). A feature of the disclosed prior art is that a plurality of images are synthesized into a single image and then a bitstream for transmission is generated through an encoding process, but a plurality of bitstreams for each of the already generated images are received Extracts and corrects only a specific portion of each of the plurality of received bitstreams, and generates a bitstream for one combined image.
즉 H.264/AVC 압축 영역에서의 동영상 합성 기술을 개시하고 있는 상기의 종래 기술은 입력된 복수개의 입력 영상 비트스트림에 대한 복호화를 수행하지 않는다. 대신 복수개의 입력 영상 비트스트림 각각에 포함된 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS) 및 슬라이스 헤더에 대한 구문 분석을 수행한다. 그리고 합성 영상의 디스플레이 형태에 대응하도록 복수개의 입력 영상 비트스트림 각각의 시퀀스 파라미터 세트(SPS), 픽쳐 파라미터 세트(PPS) 및 슬라이스 헤더의 파라미터와 변수의 일부를 변경하거나 새로이 설정한다. 즉 종래 기술은 부호화되어 압축된 상태로 인가되는 복수개의 입력 영상 비트스트림을 복호화하지 않고, 부호화된 상태인 압축 영역에서 복수개의 입력 영상 비트스트림의 구문 분석과 파라미터 변경 및 변수 변경을 수행하여 합성 영상에 대한 H.264/AVC 포멧의 비트스트림을 생성하여 출력한다.That is, the conventional art disclosed in the video synthesis technique in the H.264 / AVC compression region does not perform decoding on a plurality of inputted input video bitstreams. Instead, a sequence parameter set (SPS), a picture parameter set (PPS), and a slice header included in each of a plurality of input image bitstreams are parsed. Then, the sequence parameter set (SPS), the picture parameter set (PPS), and the slice header parameters and variables of the plurality of input image bitstreams are changed or newly set so as to correspond to the display form of the composite image. That is, according to the prior art, a plurality of input image bitstreams are parsed, parameters are changed, and parameters are changed in a coded compressed region without decoding a plurality of input image bitstreams that are encoded and compressed, And generates and outputs a bitstream of the H.264 / AVC format.
따라서 복수개의 입력 영상 비트스트림에 대한 복호화 과정과 합성 영상 비트스트림에 대한 부호화 과정을 크게 줄여 저복잡도 및 고속으로 합성 영상을 생성할 수 있도록 하는 장점이 있다.Accordingly, it is possible to greatly reduce the decoding process for a plurality of input image bitstreams and the encoding process for a synthesized image bitstream, thereby generating a composite image at low complexity and high speed.
도1 은 종래의 영상 합성 기법의 문제점을 나타내는 도면이다.1 is a view showing a problem of a conventional image synthesis technique.
도1 에서 (a)는 합성 영상을 생성하기 전 복수개의 입력 영상 중 하나를 나타내고, (b)는 (a)의 입력 영상이 포함된 합성 영상을 나타낸다. 도1 의 (a)에 도시된 바와 같이 합성되기 전 복수개의 입력 영상 각각은 주위에 다른 영상이 존재하지 않는다. 따라서 입력 영상의 경계면의 외곽에는 다른 매크로 블록이 존재하지 않는다. 그러나 도1 의 (b)에 도시된 합성 영상에서는 (a)의 입력 영상이 합성 영상의 우측 하단에 배치되었다. (a)의 입력 영상이 합성 영상에서 우측 하단에 배치됨에 따라 (a)의 입력 영상의 좌측 경계면, 상단 경계면 외곽에는 합성되기 이전에는 존재하지 않던 다른 입력 영상이 인접하여 배치되어 매크로 블록이 존재하게 된다.In FIG. 1, (a) represents one of a plurality of input images before generation of the composite image, and (b) represents a composite image including the input image of (a). As shown in FIG. 1 (a), each of the plurality of input images before being synthesized does not have other images around. Therefore, there is no other macroblock in the boundary of the boundary of the input image. However, in the composite image shown in (b) of FIG. 1, the input image of (a) is arranged at the lower right of the composite image. (a) is arranged at the lower right of the synthesized image, other input images that were not present before synthesis are disposed adjacent to the left boundary surface and the upper boundary boundary of the input image of (a) do.
도2 는 인트라 예측 부호화를 위한 9개의 예측 모드을 나타낸다.FIG. 2 shows nine prediction modes for intraprediction encoding.
H.264/AVC에서는 압축률을 향상 시키기 위한 인트라 예측 부호화 시에 도2 와 같이 9 개의 예측 모드를 제공하고, 이중 하나의 모드를 선택하여 예측 블록을 생성하고 부호화한다. 도2 에서 각 예측 모드에 부여된 번호는 예측 모드별 발생 확률에 따라 부여된 번호로서, 낮은 숫자일수록 발생 확률이 높다는 것을 의미한다. 영상 부호화 장치는 예측 블록과 함께 예측 모드 정보를 부호화하여 전송하며, 9개의 예측 모드를 전송하기 위해서 4비트를 필요로 한다. 그러나 H.264/AVC는 예측 모드 정보를 전송하기 위한 비트 수를 줄이기 위해 최고 확률 모드(Most Probable Mode : 이하 MPM)를 추가로 제공하고 있다. MPM은 인트라 예측 부호화 시에 주변에 배치된 블록들의 예측 모드를 참조하여 최고 확률 모드를 결정한다. 그리고 예측 모드와 최고 확률 모드가 동일하면 이를 표현하기 위한 1비트의 플래그 비트(flag bit)만을 설정하여 전송할 데이터 비트 수를 줄인다. 만일 예측 모드가 최적 모드와 동일하지 않으면, 플래그 비트에 예측 모드와 최고 확률 모드가 동일하지 않음을 표시하고, 추가 3비트 더하여 최고 확률 모드에서 선택된 예측 모드를 제외한 나머지 8개의 예측 모드 중 하나의 정보를 표현한다. 즉 예측 모드와 최고 확률 모드가 동일하면 1비트만을 사용하여 전송할 데이터 비트수를 줄이고, 예측 모드와 최고 확률 모드가 동일하지 않더라도 4비트만이 필요하므로, 예측 모드 정보를 전송하는 것과 동일한 정보 전송 효율을 갖는다.In H.264 / AVC, nine prediction modes are provided as shown in FIG. 2 in intraprediction coding for improving the compression ratio, and one of the modes is selected to generate and encode a prediction block. In FIG. 2, the number assigned to each prediction mode is a number assigned according to the occurrence probability of each prediction mode, and a lower number means higher probability of occurrence. The image encoding apparatus encodes the prediction mode information together with the prediction block and transmits the prediction mode information, and requires four bits to transmit the nine prediction modes. However, H.264 / AVC provides additional Most Probable Mode (MPM) to reduce the number of bits for transmitting prediction mode information. The MPM determines the highest probability mode by referring to the prediction mode of the neighboring blocks in intra prediction coding. If the prediction mode and the highest probability mode are the same, only one flag bit is set to express the flag bit to reduce the number of data bits to be transmitted. If the prediction mode is not the same as the optimum mode, the flag bit indicates that the prediction mode and the highest probability mode are not the same, and the additional 3 bits are added to obtain one of the remaining eight prediction modes excluding the prediction mode selected in the highest probability mode Lt; / RTI > That is, if the prediction mode and the highest probability mode are the same, only one bit is used to reduce the number of data bits to be transmitted. Even if the prediction mode and the highest probability mode are not the same, only 4 bits are required. Respectively.
현재 H.264/AVC에서 규정된 MPM은 좌측에 인접하여 배치된 블록을 참조하는 A 예측 모드와 상단에 인접하여 배치된 블록을 참조하는 B 예측 모드를 제공하며, A 예측 모드와 B 예측 모드의 모드 번호 중 낮은 번호의 예측 모드를 MPM으로 선택하도록 하고 있다. MPM을 고려하여 도1 의 종래의 영상 합성 기법을 살펴보면, (a)에서는 하나의 입력 영상이 단독으로 존재하기 때문에 좌측 상단의 매크로 블록에 대한 예측 모드가 도2 에서 예측 모드 2인 평균값 모드(DC)인 것으로 설정되어 있다. 따라서 MPM 또한 DC로 설정된다.The MPM defined in H.264 / AVC currently provides an A prediction mode that refers to a block disposed adjacent to the left side and a B prediction mode that refers to a block disposed adjacent to the top, and the A prediction mode and the B prediction mode And the prediction mode of the lower number among the mode numbers is selected by the MPM. Considering the MPM, the conventional image synthesis technique of FIG. 1 will be described. In (a), since there is only one input image, the prediction mode for the upper left macroblock is the average value mode ). Therefore, MPM is also set to DC.
그에 비해 (b)에서는 입력 영상의 좌측 및 상단에 다른 영상이 인접하여 배치되어 있으므로, MPM의 A 예측 모드는 좌측 매크로 블록의 예측 모드에 따라 예측 모드 0 인 수직 모드(VER)이고, B 예측 모드는 상단의 매크로 블록의 예측 모드에 따라 예측 모드 1 인 수평 모드(HOR)이다. A 예측 모드가 예측 모드 번호 0이고 B 예측 모드가 예측 모드 번호 1 이므로, 모드 번호가 더 낮은 A 예측 모드가 MPM으로 선택되어, MPM은 수직 모드(VER)인 예측 모드 0으로 설정된다. 이는 단일 영상에서의 MPM인 DC 모드와 상이하므로 합성 영상에서 해당 매크로 블록에 대한 MPM 불일치 문제가 발생한다.In (b), since the other images are arranged adjacent to the left and top of the input image, the A prediction mode of the MPM is a vertical mode (VER) having a prediction mode 0 according to the prediction mode of the left macro block, Is a horizontal mode (HOR) in
MPM의 불일치는 매크로 블록의 복호화 시에 의도하지 않는 움직임 벡터 값을 생성하게 되어 화질의 저하를 유발하거나, 경우에 따라서는 신택스(Syntax) 정보가 설정된 한계 범위를 초과하게 되어 복호기의 동작을 멈추게 하는 요인이 된다.The inconsistency of the MPM generates an unintentional motion vector value at the time of decoding the macroblock, resulting in deterioration of the picture quality or, in some cases, the syntax information exceeds the set limit, thereby stopping the operation of the decoder .
이러한 MPM의 불일치 문제는 종래 기술이 합성 영상 생성시에 매크로 블록 데이터에 대해 충분히 고려하지 않았기 때문에 발생하는 문제로서, 오류없는 합성 영상을 생성하기 위해서는 반드시 수정되어야 한다.This problem of inconsistency of the MPM occurs because the prior art does not sufficiently consider the macroblock data at the time of generating the composite image, and it must be corrected in order to generate an error-free composite image.
본 발명의 목적은 MPM 불일치에 의한 오류가 발생하지 않고, 저복잡도 및 고속으로 합성 영상을 생성하는 영상 합성 장치를 제공하는데 있다.It is an object of the present invention to provide an image synthesizing apparatus which generates a synthesized image at low complexity and high speed without causing an error due to an MPM mismatch.
본 발명의 다른 목적은 상기 목적을 달성하기 위한 영상 합성 시스템을 제공하는데 있다.Another object of the present invention is to provide a video synthesis system for achieving the above object.
본 발명의 또 다른 목적은 상기 목적을 달성하기 위한 영상 합성 방법을 제공하는데 있다.It is still another object of the present invention to provide an image synthesis method for achieving the above object.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 합성 장치는 복수개의 입력 영상에 대한 비트스트림을 수신하고, 수신된 복수개의 상기 비트스트림 각각에 대한 구문 분석을 수행하는 스트림 구문 분석부; 상기 스트림 구문 분석부에서 분석된 상기 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하는 파라미터 및 헤더 생성부; 상기 복수개의 비트스트림 각각으로부터 상기 입력 영상의 경계에 배치된 매크로 블록인 복수개의 경계 매크로 블록과, 상기 복수개의 매크로 블록 각각에 인접하여 배치된 다른 입력 영상의 상기 매크로 블록인 주변 매크로 블록을 복호화하여 추출하고, 추출된 상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 예측 모드를 분석하여, 상기 주변 매크로 블록의 예측 모드에 따라 MPM(Most Probable Mode)을 재생성하고 재부호화하는 MPM 보정부; 및 상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 상기 재생성되고 부호화된 MPM을 삽입하여, 상기 복수개의 입력 영상을 포함하는 상기 합성 영상에 대한 비트스트림을 출력하는 스트림 합성부; 를 포함한다.According to an aspect of the present invention, there is provided a video synthesis apparatus comprising: a stream parsing unit for receiving a bitstream of a plurality of input images and performing a syntax analysis for each of the plurality of received bitstreams; A parameter and a header generating unit for modifying the syntax analyzed by the stream parsing unit according to configuration information for a predetermined composite image to generate a modification syntax; A plurality of boundary macroblocks which are macroblocks arranged at a boundary of the input image from each of the plurality of bitstreams and a neighboring macroblock which is the macroblock of another input image arranged adjacent to each of the plurality of macroblocks are decoded An MPM correcting unit for MPM (Most Probable Mode) according to a prediction mode of the neighboring macroblock by analyzing a prediction mode set in each of the boundary macroblock and the neighboring macroblock; And inserting the modified syntax generated in the parameter and header generating unit and the regenerated and encoded MPM into a bitstream of the composite image including the plurality of input images, A stream synthesizer for outputting a stream; .
상기 MPM 보정부는 상기 복수개의 입력 영상이 상기 합성 영상에서 배치되는 배치 위치에 따른 영상의 경계면을 판별하고, 상기 판별된 경계면으로부터 상기 경계 매크로 블록과 상기 주변 매크로 블록을 복호화하여 추출하는 경계 블록 추출부; 상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 상기 예측 모드를 분석하여 판별하는 예측 모드 분석부; 상기 주변 매크로 블록에 설정된 예측 모드를 이용하여 상기 경계 매크로 블록의 MPM 예측 모드를 판별하고, 상기 경계 매크로 블록의 예측 모드와 재계산된 상기 MPM 예측 모드가 동일한지 판별하여 상기 MPM을 재생성하는 MPM 재생성부; 및 상기 재생성된 MPM을 상기 합성 영상에 대한 비트스트림에 삽입할 수 있도록 부호화하는 예측 모드 재부호화부; 를 포함하는 것을 특징으로 한다.The MPM correcting unit may include a boundary block extracting unit for discriminating the boundary of the image according to the arrangement position in which the plurality of input images are arranged in the synthesized image and decoding and extracting the boundary macroblock and the neighboring macroblock from the discriminated boundary, ; A prediction mode analyzer for analyzing and discriminating the prediction mode set in each of the boundary macroblock and the neighboring macroblock; Determining whether the MPM prediction mode of the boundary macroblock is identical to the recalculated MPM prediction mode using the prediction mode set in the neighboring macroblock, part; And a prediction mode re-encoding unit that encodes the regenerated MPM so that the regenerated MPM can be embedded in the bitstream of the synthesized image. And a control unit.
상기 경계 블록 추출부는 상기 파라미터 및 헤더 생성부에 설정된 상기 합성 영상에 대한 구성 정보에 따라 상기 합성 영상에서 상기 복수개의 입력 영상 각각의 배치 위치를 판별하는 영상 배치 분석부; 상기 합성 영상에서 복수개의 입력 영상이 배치되는 위치에 따라 발생하는 인접 영상들 사이의 경계면을 판별하는 영상 경계 판별부; 상기 복수개의 입력 영상 중 MPM을 보정하기 위한 현재 영상에서 상기 영상들 사이의 경계면에 배치된 상기 경계 매크로 블록을 복호화하여 추출하는 경계 매크로 블록 추출부; 및 상기 현재 영상과 인접하여 배치되는 영상들에서 상기 경계 매크로 블록에 인접하여 배치된 상기 주변 매크로 블록을 복호화하여 추출하는 주변 매크로 블록 추출부; 를 포함하는 것을 특징으로 한다.Wherein the boundary block extracting unit comprises: an image arrangement analyzing unit for determining the arrangement position of each of the plurality of input images in the composite image according to the parameter and the configuration information for the composite image set in the header generating unit; An image boundary determining unit for determining an interface between adjacent images generated according to a position where a plurality of input images are arranged in the composite image; A boundary macroblock extracting unit which decodes and extracts the boundary macroblocks arranged at the boundary between the images in the current image for correcting the MPM among the plurality of input images; And a neighboring macroblock extracting unit for decoding and extracting the neighboring macroblocks arranged adjacent to the boundary macroblocks in images arranged adjacent to the current image. And a control unit.
상기 MPM 재생성부는 상기 주변 매크로 블록 각각의 예측 모드 중 기할당된 번호가 가장 낮은 예측 모드를 판별하여 상기 MPM 예측 모드를 판별하고, 상기 MPM 예측 모드와 상기 경계 매크로 블록의 예측 모드가 동일하면, 플래그 비트만을 설정하고, 상기 MPM 예측 모드와 상기 경계 매크로 블록의 예측 모드가 서로 상이하면, 상기 플래그 비트와 함께 상기 경계 매크로 블록의 예측 모드를 지정하기 위한 추가 비트를 설정하는 것을 특징으로 한다.The MPM regenerating unit discriminates the MPM prediction mode by discriminating the prediction mode having the lowest assigned number among the prediction modes of the neighboring macroblocks. If the prediction modes of the MPM prediction mode and the boundary macroblock are the same, And setting an additional bit for designating a prediction mode of the boundary macroblock together with the flag bit when the MPM prediction mode and the prediction mode of the boundary macroblock are different from each other.
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 합성 시스템은 각각 서로 다른 원본 영상을 수신하고, 기설정된 부호화 방식으로 부호화하여 비트스트림을 출력하는 복수개의 부호화 장치; 및 복수개의 입력 영상을 상기 복수개의 비트스트림으로 수신하고, 상기 복수개의 비트스트림 각각에 대한 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하여 상기 비트스트림에 포함된 기존 구문을 대체하여 삽입함으로써, 상기 합성 영상에 대한 비트스트림을 생성하며, 상기 복수개의 비트스트림 각각으로부터 상기 입력 영상의 경계에 배치된 매크로 블록인 복수개의 경계 매크로 블록과, 상기 복수개의 매크로 블록 각각에 인접하여 배치된 다른 입력 영상의 상기 매크로 블록인 주변 매크로 블록을 복호화하여 추출하고, 추출된 상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 예측 모드를 분석하여, 상기 주변 매크로 블록의 예측 모드에 따라 MPM(Most Probable Mode)를 재생성하고, 재부호화하여 상기 합성 영상에 대한 비트스트림에 삽입하는 영상 합성 장치; 를 포함한다.According to another aspect of the present invention, there is provided an image synthesizing system including: a plurality of encoding devices for receiving different original images, encoding them using a predetermined encoding scheme, and outputting bitstreams; And a modifying unit configured to receive a plurality of input images as the plurality of bitstreams, modify the syntax of each of the plurality of bitstreams according to configuration information for a predetermined synthesized image, A plurality of boundary macroblocks, which are macroblocks arranged at boundaries of the input image from each of the plurality of bitstreams, and a plurality of boundary macroblocks, Decoding the neighboring macroblocks, which are the macroblocks of other input images arranged adjacent to each other, and extracting the extracted neighboring macroblocks; analyzing a prediction mode set in each of the extracted boundary macroblocks and the neighboring macroblocks; MPM (Most Probable Mode) is regenerated, re-encoded, An image synthesizer for inserting the synthesized image into a bitstream; .
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 영상 합성 방법은 스트림 구문 분석부, 파라미터 및 헤더 생성부, MPM 보정부 및 스트림 합성부를 포함영상 합성 장치의 영상 합성 장치의 영상 합성 방법에 있어서, 상기 스트림 구문 분석부가 복수개의 입력 영상 각각에 대한 복수개의 비트스트림을 수신하고, 수신된 비트 스트림 각각에 대한 구문을 분석하는 단계; 상기 파라미터 및 헤더 생성부가 분석된 상기 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하는 단계; 상기 MPM 보정부가 상기 복수개의 비트스트림 각각으로부터 상기 입력 영상의 경계에 배치된 매크로 블록인 복수개의 경계 매크로 블록과, 상기 복수개의 매크로 블록 각각에 인접하여 배치된 다른 입력 영상의 상기 매크로 블록인 주변 매크로 블록을 복호화하여 추출하는 단계; 상기 MPM 보정부가 추출된 상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 예측 모드를 분석하여, 상기 주변 매크로 블록의 예측 모드에 따라 MPM(Most Probable Mode)을 재생성하고 재부호화하는 단계; 및 상기 스트림 합성부가 상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 상기 부호화된 MPM을 삽입하여 상기 복수개의 입력 영상을 포함하는 합성 영상에 대한 비트스트림을 출력하는 단계; 를 포함한다According to another aspect of the present invention, there is provided an image synthesis method of a video synthesis apparatus of a video synthesis apparatus including a stream syntax analysis unit, a parameter and header generation unit, an MPM correction unit, and a stream synthesis unit, Receiving the plurality of bit streams for each of the plurality of input images, and analyzing a syntax for each of the received bit streams; Generating a modified syntax by modifying the parsed and parsed header according to configuration information for a predetermined composite image; Wherein the MPM correcting unit comprises: a plurality of boundary macroblocks, which are macroblocks arranged at the boundaries of the input image from each of the plurality of bitstreams; and a boundary macroblock which is a macroblock of another input image arranged adjacent to each of the plurality of macroblocks, Decoding and extracting the block; Analyzing a prediction mode set in each of the boundary macroblock and the neighboring macroblock from which the MPM correction unit has extracted and regenerating and re-encoding an MPM (Most Probable Mode) according to a prediction mode of the neighboring macroblock; And the stream synthesis unit replaces the existing syntax included in the bitstream and inserts the modification syntax and the encoded MPM generated in the parameter and header generation unit into the bitstream of the composite image including the plurality of input images, ; And a
따라서, 본 발명의 영상 합성 방법, 장치 및 시스템은 복수개의 입력 영상 비트스트림을 복호화 및 부호화 하지 않고, 부호화된 압축 상태에서 파라미터와 변수를 변경하여 저복잡도 고속 합성 영상 생성 시에 부호화되는 매크로 블록의 최고 확률 모드의 예측 모드 불일치로 인한 발생할 수 있는 합성 영상의 오류나 화질 저하를 제거할 수 있도록 한다.Therefore, the image synthesis method, apparatus, and system of the present invention are capable of modifying parameters and variables in a coded compressed state without decoding and encoding a plurality of input image bitstreams, It is possible to eliminate errors and image quality deterioration of a composite image due to a prediction mode mismatch in a maximum probability mode.
도1 은 종래의 영상 합성 기법의 문제점을 나타내는 도면이다.
도2 는 인트라 예측 부호화를 위한 9개의 예측 모드을 나타낸다.
도3 은 본 발명의 일 실시예에 따른 영상 합성 시스템을 개략적으로 나타낸 블록도이다.
도4 는 도3 의 영상 합성 장치의 구성을 나타낸다.
도5 는 도4 의 MPM 보정부의 세부 구성을 나타낸다.
도6 은 본 발명의 일 실시예에 따른 영상 합성 방법을 나타낸다.1 is a view showing a problem of a conventional image synthesis technique.
FIG. 2 shows nine prediction modes for intraprediction encoding.
3 is a block diagram schematically illustrating an image synthesis system according to an embodiment of the present invention.
Fig. 4 shows a configuration of the image synthesizing apparatus of Fig.
FIG. 5 shows the detailed configuration of the MPM correction unit of FIG.
6 illustrates an image synthesis method according to an embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the embodiments described. In order to clearly describe the present invention, parts that are not related to the description are omitted, and the same reference numerals in the drawings denote the same members.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "including" an element, it does not exclude other elements unless specifically stated to the contrary. The terms "part", "unit", "module", "block", and the like described in the specification mean units for processing at least one function or operation, And a combination of software.
도3 은 본 발명의 일 실시예에 따른 영상 합성 시스템을 개략적으로 나타낸 블록도이다. 3 is a block diagram schematically illustrating an image synthesis system according to an embodiment of the present invention.
도3 을 참조하면 본 발명의 영상 합성 시스템은 복수개의 영상 입력 수단(V1 ~ Vn), 복수개의 부호화 장치(D1 ~ Dn) 및 영상 합성 장치(VC)를 포함한다.Referring to FIG. 3, the image synthesis system of the present invention includes a plurality of image input means V1 to Vn, a plurality of encoding devices D1 to Dn, and a video synthesizer VC.
복수개의 영상 입력 수단(V1 ~ Vn)은 카메라 등으로 구현되어 원본 영상을 생성하여 복수개의 부호화 장치(D1 ~ Dn) 중 대응하는 부호화 장치(D1 ~ Dn)로 전송한다.The plurality of image input means V1 to Vn are implemented by a camera or the like to generate an original image and transmit the original image to the corresponding encoding devices D1 to Dn of the plurality of encoding devices D1 to Dn.
복수개의 부호화 장치(D1 ~ Dn)은 각각 복수개의 영상 입력 수단(V1 ~ Vn) 중 대응하는 영상 입력 수단으로부터 원본 영상을 수신하여 H.264/AVC 포멧에 맞추어 부호화하고, 부호화된 비트스트림(BS1 ~ Bn)을 영상 합성 장치(VC)로 전송한다. 도3 에서는 설명의 편의를 위하여 영상 입력 수단(V1 ~ Vn)의 개수와 부호화 장치(D1 ~ Dn)의 개수를 동일하게 하여, 영상 입력 수단(V1 ~ Vn)과 부호화 장치(D1 ~ Dn)가 1 대 1로 대응하는 것으로 도시하였으나, 복수개의 영상 입력 수단(V1 ~ Vn)과 복수개의 부호화 장치(D1 ~ Dn)의 개수는 서로 상이하여도 무방하다. 복수개의 부호화 장치(D1 ~ Dn) 각각이 원본 영상을 H.264/AVC 포멧의 비트스트림(BS1 ~ Bn)으로 생성하는 기법은 상기한 바와 같이 JVT에 의해 지정된 영상 표준 기술로서 공개된 기술이므로 여기서는 상세한 설명을 생략한다.Each of the plurality of encoding devices D1 to Dn receives an original image from a corresponding one of the plurality of image input means V1 to Vn and encodes the original image in accordance with the H.264 / AVC format, To Bn) to the image synthesizer (VC). 3, the number of image input means (V1 to Vn) and the number of image encoding means (D1 to Dn) are the same for convenience of description, The number of image input means V1 to Vn and the number of the plurality of encoding devices D1 to Dn may be different from each other. Since each of the plurality of encoding apparatuses D1 to Dn generates the original image in the H.264 / AVC format as bit streams BS1 to Bn, as described above, is a technique disclosed as an image standard technology specified by JVT, A detailed description thereof will be omitted.
그리고 복수개의 영상 입력 수단(V1 ~ Vn)은 원본 영상이 별도의 기록 매체나 부호화 장치(D1 ~ Dn)의 메모리 등에 기저장된 경우에는 생략될 수 있다.The plurality of image input means V1 to Vn may be omitted when the original image is stored in a memory of a separate recording medium or the encoding devices D1 to Dn.
영상 합성 장치(VC)는 본 발명의 핵심 구성요소로서, 복수개의 부호화 장치(D1 ~ Dn)에서 출력되는 복수개의 비트스트림(BS)을 수신하고, 수신된 복수개의 비트스트림(BS)를 합성하여, 합성 영상을 생성하고, 합성 영상을 합성 비트스트림(CVBS)으로 출력한다. 이때, 영상 합성 장치(VC)에서 출력되는 합성 비트스트림(CVBS) 또한 H.264/AVC 포멧에 따라 구성된다.The video synthesizer VC is a core component of the present invention. The video synthesizer VC receives a plurality of bit streams BS output from a plurality of coders D1 to Dn and synthesizes the received plurality of bit streams BS , Generates a composite image, and outputs the composite image as a composite bitstream (CVBS). At this time, the composite bitstream (CVBS) output from the video synthesizer VC is also configured according to the H.264 / AVC format.
본 발명의 영상 합성 장치(VC)는 종래의 기술에 설명한, 한국 등록 특허 제10-1053161호와 유사하게 복수개의 부호화 장치(D1 ~ Dn)에서 인가되는 복수개의 비트스트림(BS1 ~ Bn) 전체에 대해 복호화를 수행하지 않고, 부호화된 비트스트림(BS1 ~ Bn) 각각에서 일부만을 추출하여 수정하고, 수정된 영역을 재부호하여 삽입하는 방식으로 합성 비트스트림(CVBS)을 생성한다. 따라서 기존에 복수개의 비트스트림(D1 ~ Dn) 각각을 모두 복호화하여 영상을 복원하고, 복원된 복수개의 영상을 합성한 후 다시 합성 비트스트림(CVBS)으로 부호화하는 기법에 비해 작업량을 크게 줄일 수 있으므로, 저비용 저사양의 하드웨어로도 빠르게 합성 영상을 생성할 수 있다.The image synthesizing apparatus VC of the present invention can be applied to all of a plurality of bit streams BS1 to Bn applied to a plurality of encoding apparatuses D1 to Dn in a similar manner to Korean Patent No. 10-1053161, A composite bitstream CVBS is generated by extracting and modifying only a part of each of the encoded bitstreams BS1 to Bn and re-encoding and inserting the modified area. Therefore, compared to the conventional technique of decoding all of the bit streams D1 to Dn to reconstruct an image, combining a plurality of reconstructed images, and then encoding the combined reconstructed bitstreams into a composite bitstream (CVBS), the workload can be greatly reduced , It is possible to quickly generate composite images even with low-cost and low-cost hardware.
그러나 본 발명에 따른 영상 합성 장치(VC)는 수신된 복수개의 비트스트림(BS1 ~ BSn)이 합성 영상에서 배치되는 배치위치를 고려하여, 일부 매크로 블록에 대한 MPM 설정을 변경함으로써 합성 영상 생성 후 주변에 인접하여 배치되는 비트스트림(BS1 ~ BSn)과의 경계면에서 발생하는 MPM 오류를 제거할 수 있도록 한다.However, the image synthesizer VC according to the present invention changes the MPM setting for some macroblocks in consideration of the arrangement position where the received bitstreams BS1 to BSn are arranged in the composite image, (BS1 to BSn) adjacent to the bit stream (BS1 to BSn).
상기한 종래 기술에서는 복수개의 비트스트림(D1 ~ Dn)에서 파라미터와 변수만을 추출하여 단순 결합에 의해 합성 비트스트림(CVBS)를 생성할 수 있도록 하였으므로, 영상이 합성된 후 주변에 배치되는 영상들에 대해 고려하지 않았고, 이로 인해 도1 에 도시한 바와 합성 영상에서 MPM 불일치에 의한 오류가 발생하였다.In the above conventional technique, only a parameter and a variable are extracted from a plurality of bit streams D1 to Dn and a composite bitstream (CVBS) can be generated by simple combining. Therefore, And thus an error due to the MPM mismatch occurred in the composite image as shown in FIG.
그에 비해 도3 의 영상 합성 장치(VC)는 복수개의 비트스트림(BS1 ~ BSn) 각각이 합성 영상에서 배치될 배치위치를 판별하고, 판별된 배치위치에 따라 기존에 원본 영상에는 존재하지 않던 영상의 주변에 인접하여 배치되는 다른 영상에 대한 비트스트림이 존재하는지 판별한다. 만일 다른 영상에 대한 비트스트림이 존재한다면, 인접하여 배치되는 영상에 대한 비트스트림의 영상에서 경계 영역의 인트라 예측 모드가 현재 배치되는 비트스트림의 영상에 반영되도록 함으로써 MPM 불일치에 의한 영상 오류를 제거할 수 있도록 한다.In contrast, the image synthesizing apparatus VC of FIG. 3 discriminates the arrangement position where each of the plurality of bit streams BS1 to BSn is to be arranged in the composite image, and according to the determined placement position, And determines whether or not there is a bitstream for another image arranged adjacent to the periphery. If a bitstream for another image is present, the intra-prediction mode of the boundary region is reflected on the bitstream image of the current bitstream in the image of the bitstream for the adjacent image, thereby eliminating the image error due to the MPM mismatch .
도4 는 도3 의 영상 합성 장치의 구성을 나타낸다.Fig. 4 shows a configuration of the image synthesizing apparatus of Fig.
도4 에서 영상 합성 장치(VC)는 스트림 구문 분석부(100), 파라미터 및 헤더 생성부(200), MPM 보정부(300) 및 스트림 합성부(400)를 포함한다. 여기서 스트림 구문 분석부(100)와 파라미터 및 헤더 생성부(200) 그리고 스트림 합성부(400)는 상기한 종래 기술에 개시된 영상 합성 장치에서 공개된 구성으로 각각의 동작을 간략하게 설명한다.4, the image synthesizing apparatus VC includes a
우선 스트림 구문 분석부(100)는 복수개의 비트스트림(BS1 ~ BSn)을 NAL(Network Abstraction Layer : 네트워크 추상 계층)단위로 수신하고, 수신된 비트스트림(BS1 ~ BSn)의 NAL 헤더 구문을 분석하여 데이터 타입을 판별한다. 여기서 데이터 타입은 시퀀스 파라미터 셋(Sequence Parameter Set : 이하 SPS), 픽처 파라미터 셋(Picture Parameter Set : 이하 PPS) 및 슬라이스(Slice) 등일 수 있다. 그리고 판별된 데이터 타입에 따라 SPS, PPS 의 파라미터 및 슬라이스의 헤더에 대해 구문 분석을 수행한다. 이때 스트림 구문 분석부(100)는 부호화되어 전송된 비트스트림(BS1 ~ BSn)을 부호화 상태에서 그대로 구문 분석을 수행한다.First, the
스트림 구문 분석부(100)는 인가된 데이터 타입에 따라 SPS의 구문을 분석하여, 입력 영상의 크기를 판별할 수 있고, PPS의 구문을 분석하여 각 슬라이스가 배치될 크기 및 위치를 판별할 수 있다. 그리고 슬라이스 헤더를 분석하여 해당 슬라이스의 최초 매크로 블록의 위치를 판별 할 수 있다. 즉 스트림 구문 분석부(100)는 복수개의 비트스트림의 구문을 분석하여 영상의 크기와 영상을 구성하는 슬라이스들의 매크로 블록 위치 정보를 획득할 수 있다.The
파라미터 및 헤더 생성부(200)는 스트림 구문 분석부(100)가 복수개의 비트스트림(BS1 ~ BSn)에서 분석된 SPS, PPS 를 이용하여 합성 영상을 위한 SPS, PPS를 생성한다. 이때 파라미터 및 헤더 생성부(200)가 합성 영상을 위해 생성하는 SPS와 PPS는 입력된 비트스트림(BS1 ~ BSn)에서 분석된 SPS, PPS의 파라미터 및 슬라이스의 헤더가 대부분 그대로 병합되어 이용된다. 즉 파라미터 및 헤더 생성부(200)는 복수개의 입력 영상을 하나의 합성 영상으로 병합하기 위해 입력 영상 각각에 포함되는 복수개의 SPS와 복수개의 PPS의 파라미터를 병합하여 합성 영상에 대응하는 SPS와 PPS로 생성한다. 다만 파라미터 및 헤더 생성부(200)는 SPS, PPS의 파라미터 및 슬라이스의 헤더의 일부 헤더의 변수를 합성 영상에 적합하도록 변경하거나 새롭게 설정한다. 그리고 파라미터 및 헤더 생성부(200)는 SPS, PPS의 파라미터 및 슬라이스의 헤더의 일부를 변경하거나, 새로이 설정하기 위해 합성 영상의 구성 정보가 기설정되어 저장될 수 있다. 또한 경우에 따라서는 외부로부터 사용자 명령을 인가받아 합성 영상의 구성 정보를 저장할 수 있다. 여기서 합성 영상의 구성 정보에는 합성 영상의 전체 크기와 복수개의 입력 영상 각각의 크기 및 배치 위치가 포함될 수 있다.The parameter and
파라미터 및 헤더 생성부(200)가 변경하거나 생성하는 SPS, PPS의 파라미터 및 슬라이스의 헤더를 수정 구문이라 할 수 있으며, 수정 구문을 생성하는 상세한 설명은 종래 기술에 공개되어 있으므로 여기서는 추가적인 설명을 생략한다.The SPS and PPS parameters and the header of the slice that are changed or generated by the parameter and
MPM 보정부(300)는 기존의 합성 영상 생성 기술이 부호화된 입력 영상을 복호화하지 않고 부호화된 상태에서 그대로 합성하여 도1 에서와 같이 합성 영상에서 MPM 불일치에 의한 오류가 발생하는 것을 방지하기 위해 구비된다. MPM 보정부(300)는 합성 영상에 포함되는 복수개의 입력 영상 각각의 배치를 분석하고, 분석된 입력 영상의 배치로부터 영상 경계를 판별한다. MPM 보정부(300)가 각 입력 영상의 경계를 판별하는 것은 MPM 불일치 오류가 복수개의 입력 영상이 합성 영상으로 합성될 때, 각 입력 영상의 경계에 기존에 존재하지 않던 매크로블록이 추가로 배치되어 발생하기 때문이다.The
그리고 MPM 보정부(300)는 판별된 영상 경계에 배치된 매크로 블록과 영상 경계 주변의 매크로블록을 추출하고, 추출된 매크로블록들의 MPM을 분석 및 재부호화하여 출력한다. 즉 MPM 보정부(300)는 합성 영상에 포함될 복수개의 입력 영상 각각의 배치에 따른 MPM 불일치 오류를 해소하기 위해 영상 경계에 배치된 일부 매크로 블록을 복호화하고, MPM 를 보정하고, 보정된 MPM을 엔트로피 부호화하여 출력한다. 본 발명에서는 설명의 편의를 위해, 상기에서 설명한 MPM을 위한 1비트의 플래그 비트와 3비트의 추가 비트를 MPM이라고 표기하기로 한다. 즉 보정되고 부호화되는 MPM은 1비트의 플래그 비트이거나 1비트의 플래그 비트와 3비트의 추가 비트일 수 있다.Then, the
스트림 합성부(400)는 복수개의 입력 영상에 파라미터 및 헤더 생성부(200)가 변경하거나 생성한 수정 구문을 수신된 비트스트림의 구문에 대체 삽입하여 합성 영상의 비트 스트림을 생성하여 출력한다. 스트림 합성부(400)에서 생성되는 비트스트림 또한 H.264/AVC에 따라 부호화된 데이터로서, NAL 단위(NALU)를 기본단위로 생성될 수 있다. 여기서 스트림 합성부(400)는 단순히 수정 구문만을 비트스트림에 삽입하는 것이 아니라, MPM 보정부(300)에서 엔트로피 부호화된 MPM을 비트스트림에 삽입함으로써, MPM 불일치 오류가 제거된 합성 영상을 출력한다.The
도5 는 도4 의 MPM 보정부의 세부 구성을 나타낸다.FIG. 5 shows the detailed configuration of the MPM correction unit of FIG.
도5 에서 MPM 보정부(300)는 경계 블록 추출부(310), 예측 모드 분석부(320), MPM 재생성부(330) 및 예측모드 재부호화부(340)를 포함한다.5, the
경계 블록 추출부(310)는 합성 영상에서 복수개의 입력 영상이 배치되는 배치 위치에 따른 영상 경계를 판별하고, 판별된 영상 경계의 매크로 블록과 주변에 배치된 인접한 영상의 매크로 블록을 추출한다.The boundary
경계 블록 추출부(310)는 영상 배치 분석부(311), 영상 경계 판별부(313), 경계 매크로 블록 추출부(315) 및 주변 매크로 블록 추출부(317)를 포함한다. 영상 배치 분석부(311)는 합성 영상의 구성 정보를 통해 복수개의 비트스트림(BS1 ~ BSn) 각각의 입력 영상이 합성 영상에서 배치될 위치를 분석한다. 그리고 영상 경계 판별부(313)는 합성 영상에서 복수개의 입력 영상이 배치되는 위치에 따라 발생하는 영상들 사이의 경계를 판별한다. 여기서 영상들 사이의 경계라함은 단순히 하나의 영상의 가장자리를 의미하는 것이 아니라, 서로 인접하여 배치된 2개의 영상 사이의 경계를 의미한다. 즉 도1 에 도시한 바와 같이, 하나의 영상에서는 주변에 인접하여 배치되는 영상이 없으므로, 영상들 사이의 경계가 없다. 그러나 합성 영상에서는 하나의 영상에 인접하여 다른 영상이 배치됨에 따라 영상들 사이의 경계가 발생한다. 이때 특정 영상에서 영상 사이의 경계는 합성 영상에 포함되는 복수개의 영상의 개수, 배치 위치 등에 따라 다양하게 변경된다. 즉 도1 에서는 (a)에 도시된 영상이 4개의 영상을 포함하는 합성 영상의 우측 하단에 배치됨에 따라 상단 및 좌측단 가장 자리가 영상들 사이의 경계면으로 판별된다. 그러나 만일 영상이 좌측 상단에 배치되면, 하단 및 우측단 가장자리가 영상들 사이의 경계면으로 판별된다.The boundary
다만 상기한 바와 같이, H.264/AVC에서는 기본적으로 매크로 블록의 좌측 및 상단에 배치된 매크로 블록의 예측 모드 중 낮은 번호의 예측 모드를 이용하여 MPM을 설정하도록 규정되어 있다. 그리고 본 발명은 MPM의 오류를 제거하기 위한 발명이다. 따라서 현재 영상의 하단 및 우측에 배치된 인접 영상과의 영상 사이의 경계면을 판별하지 않을 수 있다. 즉 영상 사이의 경계면은 현재 영상의 좌측단 및 상단에 대해서만 판단하여도 무방하다. 여기서 현재 영상은 파라미터 및 헤더 생성부(200)에서 출력되는 슬라이스에 대응하는 영상으로 현재 MPM을 보정하고자 하는 비트스트림에 대응하는 입력 영상을 의미한다.However, as described above, H.264 / AVC is basically defined to set the MPM using the prediction mode of the lower number among the prediction modes of the macroblocks located at the left and upper sides of the macroblock. The present invention is an invention for eliminating the error of the MPM. Therefore, it is possible not to discriminate the boundary between the image of the current image and the adjacent image disposed on the lower and right sides of the current image. That is, the interface between the images may be determined only at the left end and the upper end of the current image. Here, the current image is an image corresponding to a slice output from the parameter and
경계 매크로 블록 추출부(315)는 현재 영상에서 영상들 사이의 경계면에 배치된 매크로 블록을 추출한다. 경계 매크로 블록 추출부(315)는 PPS의 구문 분석을 통해 각 슬라이스의 배치될 크기 및 위치를 판별하고, 판별된 위치가 영상들 사이의 경계이면, 해당 슬라이스에 포함된 매크로 블록을 복호화하여 추출한다. 이하 본 발명에서는 현재 영상에서 영상들 사이의 경계면에 배치된 매크로 블록을 경계 매크로 블록이라 한다. 상기한 바와 같이 MPM 계산 시에는 매크로 블록의 좌측, 상단에 배치된 매크로 블록의 예측 모드를 참조하므로, 현재 영상의 우측 및 하단에 배치된 매크로 블록들에 대해서는 영상들 사이의 경계면에 배치된 경우라도 경계 매크로블록을 추출하지 않아도 무방하다.The boundary
주변 매크로 블록 추출부(317)는 합성 영상에서 현재 영상과 인접하여 배치되는 영상의 경계에 포함된 매크로 블록을 복호화하여 추출한다. 즉 현재 영상과 인접하여 배치되는 영상으로부터 경계 매크로 블록 추출부(315)에서 추출된 매크로 블록과 인접한 매크로 블록을 복호화하여 추출한다. 이하 본 발명에서는 주변 매크로 블록 추출부(317)에서 추출되는 인접 매크로 블록을 설명의 편의를 위해 주변 매크로 블록이라 한다. 즉 본 발명에서 주변 매크로 블록은 현재 영상의 경계면에 인접하여 배치되는 다른 영상의 매크로 블록을 의미한다. 그리고 현재 영상의 우측 및 하단 경계면에 대해서는 MPM을 계산하지 않으므로, 다른 영상의 상단 경계 및 좌측 경계에 배치된 매트로 블록은 영상 사이의 경계에 배치될 지라도 추출하지 않아도 된다.The neighboring
예측 모드 분석부(320)는 추출된 현재 영상과 인접 영상 사이의 경계에 배치된 매크로 블록과 주변에 배치된 인접한 영상의 매크로 블록 각각에 설정된 예측 모드를 분석한다. 예측 모드 분석부(320)는 현재 블록 예측 모드 분석부(321) 및 주변 블록 예측 모드 분석부(323)을 포함한다. 현재 블록 예측 모드 분석부(321)는 경계 매크로 블록 추출부(315)에서 추출된 경계 매크로 블록에 설정된 예측 모드를 분석하고, 주변 블록 예측 모드 분석부(323)는 주변 매크로 블록 추출부(317)에서 추출된 주변 매크로 블록에 설정된 예측 모드를 분석한다. 그리고 분석된 예측 모드를 MPM 재생성부(330)로 전달한다.The prediction
MPM 재생성부(330)는 분석된 주변 매크로 블록의 예측 모드를 고려하여 경계 매크로 블록의 MPM을 재생성한다.The
MPM 재생성부(330)는 주변 블록 예측 모드 분석부(323)에서 분석된 주변 매크로 블록의 예측 모드 중 낮은 번호의 예측 모드를 선택하고, 선택된 예측 모드와 현재 블록 예측 모드 분석부(321)에서 분석된 경계 매크로 블록의 예측 모드가 동일한 예측 모드인지 판별한다.The
만일 선택된 예측 모드와 경계 매크로 블록의 예측 모드가 동일하면, 1비트의 플래그 비트만을 설정하여 MPM을 재생성하고, 선택된 예측 모드와 경계 매크로 블록의 예측 모드가 서로 상이하면, 1비트의 플래그 비트와 더불어 예측 모드 정보를 포함하는 3비트의 추가 비트를 설정하여 MPM을 재생성한다. 여기서 플래그 비트와 추가 비트의 비트 수는 영상 부호화 장치 및 복호화 장치의 설정에 따라 달라질 수 있다.If the selected prediction mode and the prediction mode of the boundary macroblock are the same, only one flag bit is set to regenerate the MPM. If the selected prediction mode and the prediction mode of the boundary macroblock are different from each other, The MPM is regenerated by setting 3 additional bits including prediction mode information. Here, the number of bits of the flag bit and the additional bit may be changed according to the setting of the image encoding apparatus and the decoding apparatus.
이후 재생성된 MPM에 대해 예측 모드 재부호화부(340)가 엔트로피 부호화하여 스트림 합성부(400)로 전송한다.The predicted
즉 본 발명에 따른 영상 합성 시스템 및 영상 합성 장치는 비트스트림(BS1 ~ BSn)으로 인가되는 복수개의 입력 영상에서 입력 영상의 SPS, PPS의 파라미터 및 슬라이스의 헤더를 수정하여 합성 영상을 생성하지만, 영상 경계면에 배치된 일부 매크로 블록을 복호화하고, 해당 매크로블록의 MPM을 생성하고 부호화하여 합성 영상에 삽입한다. 따라서 입력 영상의 SPS, PPS의 파라미터 및 슬라이스의 헤더만을 수정하여 합성 영상을 생성하는 종래의 기술에 간단한 공정만을 추가하여 MPM 오류가 제거된 합성 영상을 제공할 수 있다.That is, the image synthesis system and the image synthesizing apparatus according to the present invention generate a synthesized image by modifying the SPS and PPS parameters of the input image and the header of the slice from a plurality of input images applied to the bitstreams BS1 to BSn, Some macroblocks arranged on the boundary are decoded, and MPMs of the macroblocks are generated, encoded, and inserted into the synthesized image. Therefore, it is possible to provide a composite image in which the MPM error is removed by adding only a simple process to the conventional technique of modifying only the SPS and PPS parameters of the input image and the slice header.
도6 는 본 발명의 일 실시예에 따른 영상 합성 방법을 나타낸다.6 illustrates an image synthesis method according to an embodiment of the present invention.
도3 내지 도5 를 참조하여 도6 의 영상 합성 방법을 설명하면, 먼저 복수개의 영상 합성 장치(VC)는 복수개의 입력 영상 각각에 대한 비트스트림(BS1 ~ BSn)을 수신한다(S10). 영상 합성 장치(VC)의 스트림 구문 분석부(100)는 복수개의 비트스트림(BS1 ~ BSn)을 NAL단위로 수신할 수 있다.Referring to FIG. 3 to FIG. 5, the image combining method of FIG. 6 will be described. First, a plurality of image composing devices VC receive bit streams BS1 to BSn for a plurality of input images (S10). The
그리고 스트림 구문 분석부(100)는 수신된 복수개의 비트스트림 각각에 대한 구문을 분석한다(S20). 스트림 구문 분석부(100)는 우선 NAL단위로 수신되는 복수개의 비트스트림(BS1 ~ BSn)의 NAL 헤더 구문을 분석하여 데이터 타입을 판별하고, 판별된 데이터 타입에 따라 SPS, PPS 의 파라미터 및 슬라이스의 헤더에 대해 구문 분석을 수행하여, 입력 영상의 크기, 각 슬라이스가 배치될 크기 및 위치, 그리고 매크로 블록의 위치를 판별한다.Then, the
이후 파라미터 및 헤더 생성부(200)가 합성 영상을 위한 파라미터 및 슬라이스 헤더를 생성한다(S30). 파라미터 및 헤더 생성부(200)는 입력된 비트스트림(BS1 ~ BSn)에서 분석된 SPS, PPS의 파라미터 및 슬라이스의 헤더를 대부분 그대로 병합하여 이용하지만, SPS, PPS의 파라미터 및 슬라이스의 헤더의 일부 헤더의 변수를 기설정된 합성 영상의 구성 정보에 적합하도록 변경하거나 새롭게 설정한다.Then, the parameter and
그리고 MPM 보정부(300)의 경계 블록 추출부(310)는 MPM 오류를 제거하기 위해 우선 합성 영상에 포함되는 복수개의 입력 영상 각각의 배치를 분석한다(S40). 입력 영상 각각의 배치가 분석되면, 복수개의 입력 영상 각각의 배치에 따라 발생하는 영상 사이 경계를 판별한다(S50). 그리고 영상 사이의 경계가 판별되면, 현재 영상에서 다른 영상과의 경계에 배치된 경계 매크로 블록과, 경계 매크로 블록과 인접하여 배치된 다른 영상의 주변 매크로 블록을 복호화하여 추출한다(S60).In order to remove the MPM error, the boundary
MPM 보정부(300)의 예측 모드 분석부(320)는 추출된 현재 영상과 인접 영상 사이의 경계에 배치된 매크로 블록과 주변에 배치된 인접한 영상의 매크로 블록에 설정된 예측 모드를 분석하여 판별한다(S70). The prediction
이후 MPM 재생성부(330) 는 주변 매크로 블록의 예측 모드 중 낮은 번호의 예측 모드를 선택하여, 선택된 예측 모드와 경계 매크로 블록의 예측 모드를 비교하여 MPM을 재생성한다(S80).Thereafter, the
예측 모드 재부호화부(340)는 재생성된 MPM을 엔트로피 부호화하여 스트림 합성부(400)로 출력한다(S90).The prediction
스트림 합성부(400)는 영상 합성 장치(VC)로 수신된 복수개의 비트 스트림(BS1 ~ BSn)에서 파라미터 및 헤더 생성부(200)가 생성한 수정 구문을 삽입하고, MPM 보정부(300)가 재부호화한 MPM을 삽입하여 합성 영상(CVBS)를 비트스트림으로 출력한다(S100).The
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The method according to the present invention can be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and a carrier wave (for example, transmission via the Internet). The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is evident that many alternatives, modifications and variations will be apparent to those skilled in the art.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
Claims (17)
상기 스트림 구문 분석부에서 분석된 상기 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하는 파라미터 및 헤더 생성부;
상기 복수개의 비트스트림 각각으로부터 상기 입력 영상의 경계에 배치된 매크로 블록인 복수개의 경계 매크로 블록과, 상기 복수개의 매크로 블록 각각에 인접하여 배치된 다른 입력 영상의 상기 매크로 블록인 주변 매크로 블록을 복호화하여 추출하고, 추출된 상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 예측 모드를 분석하여, 상기 주변 매크로 블록의 예측 모드에 따라 MPM(Most Probable Mode)을 재생성하고 재부호화하는 MPM 보정부; 및
상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 재생성되고 부호화된 상기 MPM을 삽입하여, 상기 복수개의 입력 영상을 포함하는 상기 합성 영상에 대한 비트스트림을 출력하는 스트림 합성부; 를 포함하고,
상기 MPM 보정부는
상기 복수개의 입력 영상이 상기 합성 영상에서 배치되는 배치 위치에 따른 영상의 경계면을 판별하고, 상기 판별된 경계면으로부터 상기 경계 매크로 블록과 상기 주변 매크로 블록을 복호화하여 추출하는 경계 블록 추출부;
상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 상기 예측 모드를 분석하여 판별하는 예측 모드 분석부;
상기 주변 매크로 블록에 설정된 예측 모드를 이용하여 상기 경계 매크로 블록의 MPM 예측 모드를 판별하고, 상기 경계 매크로 블록의 예측 모드와 재계산된 상기 MPM 예측 모드가 동일한지 판별하여 상기 MPM을 재생성하는 MPM 재생성부; 및
상기 재생성된 MPM을 상기 합성 영상에 대한 비트스트림에 삽입할 수 있도록 부호화하는 예측 모드 재부호화부; 를 포함하는 것을 특징으로 하는 영상 합성 장치.A stream parsing unit for receiving a bitstream for a plurality of input images and performing a parsing for each of the received plurality of bitstreams;
A parameter and a header generating unit for modifying the syntax analyzed by the stream parsing unit according to configuration information for a predetermined composite image to generate a modification syntax;
A plurality of boundary macroblocks which are macroblocks arranged at a boundary of the input image from each of the plurality of bitstreams and a neighboring macroblock which is the macroblock of another input image arranged adjacent to each of the plurality of macroblocks are decoded An MPM correcting unit for MPM (Most Probable Mode) according to a prediction mode of the neighboring macroblock by analyzing a prediction mode set in each of the boundary macroblock and the neighboring macroblock; And
Replacing an existing syntax included in the bitstream, inserting the MPM generated and regenerated and encoded in the header and the parameter generation unit to generate a bitstream for the composite image including the plurality of input images, A stream synthesizer for outputting a stream; Lt; / RTI >
The MPM correction unit
A boundary block extracting unit for discriminating the boundary of the image according to the arrangement position in which the plurality of input images are arranged in the composite image, and decoding and extracting the boundary macroblock and the surrounding macroblock from the determined boundary;
A prediction mode analyzer for analyzing and discriminating the prediction mode set in each of the boundary macroblock and the neighboring macroblock;
Determining whether the MPM prediction mode of the boundary macroblock is identical to the recalculated MPM prediction mode using the prediction mode set in the neighboring macroblock, part; And
A prediction mode re-encoding unit for encoding the regenerated MPM so that the regenerated MPM can be inserted into a bit stream for the synthesized image; And an image synthesizer for synthesizing the image.
상기 파라미터 및 헤더 생성부에 설정된 상기 합성 영상에 대한 구성 정보에 따라 상기 합성 영상에서 상기 복수개의 입력 영상 각각의 배치 위치를 판별하는 영상 배치 분석부;
상기 합성 영상에서 복수개의 입력 영상이 배치되는 위치에 따라 발생하는 인접 영상들 사이의 경계면을 판별하는 영상 경계 판별부;
상기 복수개의 입력 영상 중 MPM을 보정하기 위한 현재 영상에서 상기 영상들 사이의 경계면에 배치된 상기 경계 매크로 블록을 복호화하여 추출하는 경계 매크로 블록 추출부; 및
상기 현재 영상과 인접하여 배치되는 영상들에서 상기 경계 매크로 블록에 인접하여 배치된 상기 주변 매크로 블록을 복호화하여 추출하는 주변 매크로 블록 추출부; 를 포함하는 것을 특징으로 하는 영상 합성 장치.The apparatus of claim 1, wherein the boundary block extractor
An image layout analyzer for determining a layout position of each of the plurality of input images in the composite image according to the parameter and the configuration information for the composite image set in the header generation unit;
An image boundary determining unit for determining an interface between adjacent images generated according to a position where a plurality of input images are arranged in the composite image;
A boundary macroblock extracting unit which decodes and extracts the boundary macroblocks arranged at the boundary between the images in the current image for correcting the MPM among the plurality of input images; And
A neighboring macroblock extracting unit that decodes and extracts the neighboring macroblocks adjacent to the boundary macroblocks in images arranged adjacent to the current image; And an image synthesizer for synthesizing the image.
상기 경계 매크로 블록에 설정된 상기 예측 모드를 분석하여 판별하는 현재 블록 예측 모드 분석부; 및
상기 주변 매크로 블록에 설정된 상기 예측 모드를 분석하여 판별하는 주변 블록 예측 모드 분석부; 를 포함하는 것을 특징으로 하는 영상 합성 장치.4. The apparatus of claim 3, wherein the prediction mode analyzer
A current block prediction mode analyzer for analyzing and determining the prediction mode set in the boundary macroblock; And
A neighboring block prediction mode analyzer for analyzing and determining the prediction mode set in the neighboring macroblock; And an image synthesizer for synthesizing the image.
상기 주변 매크로 블록 각각의 예측 모드 중 기할당된 번호가 가장 낮은 예측 모드를 판별하여 상기 MPM 예측 모드를 판별하고, 상기 MPM 예측 모드와 상기 경계 매크로 블록의 예측 모드가 동일하면, 플래그 비트만을 설정하고, 상기 MPM 예측 모드와 상기 경계 매크로 블록의 예측 모드가 서로 상이하면, 상기 플래그 비트와 함께 상기 경계 매크로 블록의 예측 모드를 지정하기 위한 추가 비트를 설정하는 것을 특징으로 하는 영상 합성 장치.4. The apparatus of claim 3, wherein the MPM regeneration unit
The MPM prediction mode is determined by discriminating the lowest prediction mode among the prediction modes of the neighboring macroblocks, and if the prediction mode of the MPM prediction mode is the same as the prediction mode of the boundary macroblock, only the flag bit is set And sets an additional bit for designating a prediction mode of the boundary macroblock together with the flag bit if the MPM prediction mode and the prediction mode of the boundary macroblock are different from each other.
상기 경계 매크로 블록의 좌측 및 상단에 인접하여 배치된 상기 주변 매크로 블록의 예측 모드 중 번호가 가장 낮은 예측 모드 상기 MPM 예측 모드로 선택하는 것을 특징으로 하는 영상 합성 장치.6. The apparatus of claim 5, wherein the MPM regeneration unit
Wherein the prediction mode selection unit selects the prediction mode of the MPM prediction mode having the lowest number among the prediction modes of the neighboring macroblocks arranged adjacent to the left and top of the boundary macroblock.
상기 복수개의 비트 스트림의 구문 중 SPS, PPS의 파라미터 및 슬라이스의 헤더를 수정하여 수정 구문을 생성하는 것을 특징으로 하는 영상 합성 장치.The apparatus of claim 1, wherein the parameter and header generation unit
Wherein the correction syntax is generated by modifying SPS, PPS parameters and slice header of the syntax of the plurality of bitstreams.
상기 합성 영상에 대한 구성 정보를 외부에서 인가받아 설정하는 것을 특징으로 하는 영상 합성 장치.The apparatus of claim 1, wherein the parameter and header generation unit
And the configuration information for the composite image is received and set from outside.
복수개의 입력 영상을 상기 복수개의 비트스트림으로 수신하고, 상기 복수개의 비트스트림 각각에 대한 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하여 상기 비트스트림에 포함된 기존 구문을 대체하여 삽입함으로써, 상기 합성 영상에 대한 비트스트림을 생성하며, 상기 복수개의 비트스트림 각각으로부터 상기 입력 영상의 경계에 배치된 매크로 블록인 복수개의 경계 매크로 블록과, 상기 복수개의 매크로 블록 각각에 인접하여 배치된 다른 입력 영상의 상기 매크로 블록인 주변 매크로 블록을 복호화하여 추출하고, 추출된 상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 예측 모드를 분석하여, 상기 주변 매크로 블록의 예측 모드에 따라 MPM(Most Probable Mode)를 재생성하고, 재부호화하여 상기 합성 영상에 대한 비트스트림에 삽입하는 영상 합성 장치; 를 포함하고,
상기 영상 합성 장치는
상기 복수개의 비트스트림을 수신하여 구문 분석을 수행하는 스트림 구문 분석부;
상기 스트림 구문 분석부에서 분석된 상기 구문을 수정하여 상기 수정 구문을 생성하는 파라미터 및 헤더 생성부;
상기 복수개의 비트스트림 각각으로부터 상기 입력 영상의 경계에 배치된 매크로 블록인 복수개의 경계 매크로 블록과, 상기 복수개의 매크로 블록 각각에 인접하여 배치된 다른 입력 영상의 상기 매크로 블록인 주변 매크로 블록을 복호화하여 추출하고, 추출된 상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 예측 모드를 분석하여, 상기 주변 매크로 블록의 예측 모드에 따라 MPM(Most Probable Mode)를 재생성하고, 재부호화하는 MPM 보정부; 및
상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 재부호화된 상기 MPM을 상기 합성 영상에 대한 비트스트림에 삽입하여, 상기 복수개의 입력 영상을 포함하는 상기 합성 영상에 대한 비트스트림에서 MPM 오류를 제거하는 스트림 합성부; 를 포함하는 것을 특징으로 하는 영상 합성 시스템.A plurality of encoding apparatuses for receiving different original images, encoding them in a predetermined encoding scheme, and outputting bitstreams; And
A plurality of input images are received as the plurality of bit streams, and a syntax for each of the plurality of bit streams is modified according to configuration information for a predetermined composite image to generate a correction syntax, A plurality of boundary macroblocks, which are macroblocks arranged at a boundary of the input image from each of the plurality of bitstreams, and a plurality of boundary macroblocks adjacent to each of the plurality of macroblocks, And decoding the extracted neighboring macroblocks by analyzing a prediction mode set in each of the extracted boundary macroblocks and the neighboring macroblocks and analyzing the prediction modes of the MPMs (Most Probable Mode) is reproduced, re-encoded, Video synthesizer that is inserted into the bitstream for the image; Lt; / RTI >
The image synthesizing apparatus
A stream parser for receiving the plurality of bitstreams and performing parsing;
A header and a parameter for modifying the syntax analyzed by the stream parsing unit to generate the modification syntax;
A plurality of boundary macroblocks which are macroblocks arranged at a boundary of the input image from each of the plurality of bitstreams and a neighboring macroblock which is the macroblock of another input image arranged adjacent to each of the plurality of macroblocks are decoded An MPM correcting unit for correcting the MPM (Most Probable Mode) according to the prediction mode of the neighboring macroblock by analyzing the prediction mode set in each of the boundary macroblock and the neighboring macroblock; And
Wherein the modifying means modifies the existing syntax included in the bitstream by inserting the modified syntax and the re-encoded MPM generated in the header generating unit into the bitstream of the synthesized image, A stream synthesizer for removing an MPM error in a bitstream of a synthesized image; Wherein the image synthesis system comprises:
각각 상기 원본 영상을 생성하여 상기 복수개의 부호화 장치 중 대응하는 부호화 장치로 전송하는 복수개의 영상 입력 수단; 을 더 포함하는 것을 특징으로 하는 영상 합성 시스템.10. The system of claim 9, wherein the image synthesis system
A plurality of image input means for generating the original image and transmitting the same to a corresponding one of the plurality of encoding apparatuses; Further comprising the steps of:
상기 복수개의 원본 영상이 기저장되어 상기 복수개의 부호화 장치 중 대응하는 부호화 장치로 전송하는 적어도 하나의 기록 매체; 를 더 포함하는 것을 특징으로 하는 영상 합성 시스템.10. The system of claim 9, wherein the image synthesis system
At least one recording medium storing the plurality of original images and transmitting the same to a corresponding one of the plurality of encoding apparatuses; Further comprising: an image synthesizer for synthesizing the image data.
상기 스트림 구문 분석부가 복수개의 입력 영상 각각에 대한 복수개의 비트스트림을 수신하고, 수신된 비트 스트림 각각에 대한 구문을 분석하는 단계;
상기 파라미터 및 헤더 생성부가 분석된 상기 구문을 기설정된 합성 영상에 대한 구성 정보에 따라 수정하여, 수정 구문을 생성하는 단계;
상기 MPM 보정부가 상기 복수개의 비트스트림 각각으로부터 상기 입력 영상의 경계에 배치된 매크로 블록인 복수개의 경계 매크로 블록과, 상기 복수개의 매크로 블록 각각에 인접하여 배치된 다른 입력 영상의 상기 매크로 블록인 주변 매크로 블록을 복호화하여 추출하는 단계;
상기 MPM 보정부가 추출된 상기 경계 매크로 블록과 상기 주변 매크로 블록 각각에 설정된 예측 모드를 분석하여, 상기 주변 매크로 블록의 예측 모드에 따라 MPM(Most Probable Mode)을 재생성하고 재부호화하는 단계; 및
상기 스트림 합성부가 상기 비트스트림에 포함된 기존 구문을 대체하여 상기 파라미터 및 헤더 생성부에서 생성된 상기 수정 구문과 상기 부호화된 MPM을 삽입하여 상기 복수개의 입력 영상을 포함하는 합성 영상에 대한 비트스트림을 출력하는 단계; 를 포함하고,
상기 매크로 블록을 복호화하여 추출하는 단계는
상기 합성 영상에 대한 구성 정보에 따라 상기 합성 영상에서 상기 복수개의 입력 영상 각각의 배치 위치를 판별하는 단계;
상기 합성 영상에서 복수개의 입력 영상이 배치되는 위치에 따라 발생하는 인접 영상들 사이의 경계면을 판별하는 단계;
상기 복수개의 입력 영상 중 MPM을 보정하기 위한 현재 영상에서 상기 영상들 사이의 경계면에 배치된 상기 경계 매크로 블록을 복호화하여 추출하는 단계; 및
상기 현재 영상과 인접하여 배치되는 영상들에서 상기 경계 매크로 블록에 인접하여 배치된 상기 주변 매크로 블록을 복호화하여 추출하는 단계; 를 포함하는 것을 특징으로 하는 영상 합성 방법.A video synthesis method of a video synthesis apparatus of a video synthesis apparatus including a stream parsing unit, a parameter and a header generating unit, an MPM correcting unit, and a stream synthesizing unit,
Receiving the plurality of bit streams for each of the plurality of input images and analyzing the syntax for each of the received bit streams;
Generating a modified syntax by modifying the parsed and parsed header according to configuration information for a predetermined composite image;
Wherein the MPM correcting unit comprises: a plurality of boundary macroblocks, which are macroblocks arranged at the boundaries of the input image from each of the plurality of bitstreams; and a boundary macroblock which is a macroblock of another input image arranged adjacent to each of the plurality of macroblocks, Decoding and extracting the block;
Analyzing a prediction mode set in each of the boundary macroblock and the neighboring macroblock from which the MPM correction unit has extracted and regenerating and re-encoding an MPM (Most Probable Mode) according to a prediction mode of the neighboring macroblock; And
Wherein the stream combining unit replaces an existing syntax included in the bitstream, inserting the modified syntax generated by the parameter and header generating unit and the encoded MPM to generate a bitstream for the composite image including the plurality of input images, Outputting; Lt; / RTI >
The step of decoding and extracting the macroblock
Determining placement positions of the plurality of input images in the composite image according to the configuration information on the composite image;
Determining a boundary between adjacent images generated according to a position of the plurality of input images in the composite image;
Decoding and extracting the boundary macroblocks arranged on the boundary between the images in the current image for correcting the MPM among the plurality of input images; And
Decoding and extracting the neighboring macroblocks adjacent to the boundary macroblocks from images arranged adjacent to the current image; Wherein the image synthesis method comprises:
상기 경계 매크로 블록에 설정된 상기 예측 모드를 분석하여 판별하는 단계;
상기 주변 매크로 블록에 설정된 상기 예측 모드를 분석하여 판별하는 단계;
상기 주변 매크로 블록 각각의 예측 모드 중 기할당된 번호가 가장 낮은 예측 모드를 판별하여 MPM 예측 모드를 판별하는 단계;
상기 경계 매크로 블록의 예측 모드와 판별된 상기 MPM 예측 모드가 동일한지 판별하여 상기 MPM을 재생성하는 단계; 및
재생성된 상기 MPM을 상기 합성 영상에 대한 비트스트림에 삽입할 수 있도록 부호화하는 단계; 를 포함하는 것을 특징으로 하는 영상 합성 방법.14. The method of claim 13, wherein the step of re-
Analyzing and determining the prediction mode set in the boundary macroblock;
Analyzing and determining the prediction mode set in the neighboring macroblock;
Determining an MPM prediction mode by determining a prediction mode having a lowest assigned number among prediction modes of the neighboring macroblocks;
Reproducing the MPM by determining whether the prediction mode of the boundary macroblock and the determined MPM prediction mode are identical; And
Encoding the regenerated MPM so that the regenerated MPM can be embedded in the bitstream of the synthesized image; Wherein the image synthesis method comprises:
상기 경계 매크로 블록의 좌측 및 상단에 인접하여 배치된 상기 주변 매크로 블록의 예측 모드 중 기할당된 번호가 가장 낮은 예측 모드 상기 MPM 예측 모드로 선택하는 것을 특징으로 하는 영상 합성 방법.16. The method of claim 15, wherein the step of determining the MPM prediction mode comprises:
Wherein the pre-assigned number of the prediction modes of the neighboring macroblocks arranged adjacent to the left and the upper end of the boundary macroblock is selected as the MPM prediction mode having the lowest prediction mode.
상기 MPM 예측 모드와 상기 경계 매크로 블록의 예측 모드가 동일하면, 플래그 비트만을 설정하고, 상기 MPM 예측 모드와 상기 경계 매크로 블록의 예측 모드가 서로 상이하면, 상기 플래그 비트와 함께 상기 경계 매크로 블록의 예측 모드를 지정하기 위한 추가 비트를 설정하는 것을 특징으로 하는 영상 합성 방법. 17. The method of claim 16, wherein regenerating the MPM comprises:
If the MPM prediction mode and the boundary macroblock have the same prediction mode, only the flag bit is set, and if the MPM prediction mode and the boundary macroblock have different prediction modes, And setting an additional bit for designating a mode.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130164660A KR101446074B1 (en) | 2013-12-26 | 2013-12-26 | Method, apparatus and system for combining plural picutres |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130164660A KR101446074B1 (en) | 2013-12-26 | 2013-12-26 | Method, apparatus and system for combining plural picutres |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101446074B1 true KR101446074B1 (en) | 2014-10-06 |
Family
ID=51996177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130164660A KR101446074B1 (en) | 2013-12-26 | 2013-12-26 | Method, apparatus and system for combining plural picutres |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101446074B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016108317A1 (en) * | 2014-12-31 | 2016-07-07 | 연세대학교 산학협력단 | Method, device and system for synthesizing image in error-resistant compression region |
WO2016108318A1 (en) * | 2014-12-31 | 2016-07-07 | 연세대학교 산학협력단 | Method, device and system for synthesizing image in error-resistant compression region |
WO2017007208A1 (en) * | 2015-07-03 | 2017-01-12 | 에스케이텔레콤 주식회사 | Device and method for extracting image from high-resolution image |
KR101847087B1 (en) | 2015-05-29 | 2018-04-11 | 주식회사 픽스트리 | Apparatus and methdo for playing video |
US10623816B2 (en) | 2015-07-03 | 2020-04-14 | Sk Telecom Co., Ltd. | Method and apparatus for extracting video from high resolution video |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100061265A (en) * | 2008-11-28 | 2010-06-07 | 한국전자통신연구원 | Apparatus for mixing video stream and method thereof |
KR20110009576A (en) * | 2009-07-22 | 2011-01-28 | 주식회사 엠씨넥스 | Method and apparatus for combining plural moving pictures in an h.264/avc compressed domain |
KR20110024574A (en) * | 2009-09-02 | 2011-03-09 | 에스케이 텔레콤주식회사 | Integrated video encoding method and apparatus |
JP2013055587A (en) * | 2011-09-06 | 2013-03-21 | Sony Corp | Image processing apparatus, image processing method, and image processing system |
-
2013
- 2013-12-26 KR KR1020130164660A patent/KR101446074B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100061265A (en) * | 2008-11-28 | 2010-06-07 | 한국전자통신연구원 | Apparatus for mixing video stream and method thereof |
KR20110009576A (en) * | 2009-07-22 | 2011-01-28 | 주식회사 엠씨넥스 | Method and apparatus for combining plural moving pictures in an h.264/avc compressed domain |
KR20110024574A (en) * | 2009-09-02 | 2011-03-09 | 에스케이 텔레콤주식회사 | Integrated video encoding method and apparatus |
JP2013055587A (en) * | 2011-09-06 | 2013-03-21 | Sony Corp | Image processing apparatus, image processing method, and image processing system |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016108317A1 (en) * | 2014-12-31 | 2016-07-07 | 연세대학교 산학협력단 | Method, device and system for synthesizing image in error-resistant compression region |
WO2016108318A1 (en) * | 2014-12-31 | 2016-07-07 | 연세대학교 산학협력단 | Method, device and system for synthesizing image in error-resistant compression region |
KR101847087B1 (en) | 2015-05-29 | 2018-04-11 | 주식회사 픽스트리 | Apparatus and methdo for playing video |
WO2017007208A1 (en) * | 2015-07-03 | 2017-01-12 | 에스케이텔레콤 주식회사 | Device and method for extracting image from high-resolution image |
US10623816B2 (en) | 2015-07-03 | 2020-04-14 | Sk Telecom Co., Ltd. | Method and apparatus for extracting video from high resolution video |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112789863B (en) | Intra-frame prediction method and device | |
KR101806101B1 (en) | Inter-layer reference picture processing for coding standard scalability | |
US9838685B2 (en) | Method and apparatus for efficient slice header processing | |
AU2012267006B2 (en) | Method and apparatus of scalable video coding | |
EP2465266B1 (en) | Method and apparatus for encoding and decoding image based on skip mode | |
JP4947389B2 (en) | Image signal decoding apparatus, image signal decoding method, and image signal encoding method | |
US10291934B2 (en) | Modified HEVC transform tree syntax | |
JP5429580B2 (en) | Decoding device and method, program, and recording medium | |
US20140056356A1 (en) | Method and apparatus for efficient signaling of weighted prediction in advanced coding schemes | |
US20180124397A1 (en) | Method and apparatus for encoding/decoding a video signal | |
WO2013096671A1 (en) | Method and apparatus for efficient transform unit encoding | |
KR101446074B1 (en) | Method, apparatus and system for combining plural picutres | |
JP2024028361A (en) | Recovery point signaling in video coding | |
US11317121B2 (en) | Conditionally parsed extension syntax for HEVC extension processing | |
KR101446073B1 (en) | Method, apparatus and system for combining plural picutres | |
KR101483053B1 (en) | Method, apparatus and system for combining plural picutres | |
US20130301723A1 (en) | Video encoding apparatus and video encoding method | |
KR20180099194A (en) | Apparatus and Method for Producing Encoded BitStream for Video Receiver Verification | |
KR20180054693A (en) | Method and apparatus for encoding and decoding a video signal | |
WO2016108318A1 (en) | Method, device and system for synthesizing image in error-resistant compression region | |
KR20080044588A (en) | Picture region based trans-coding method | |
EP3072299A1 (en) | Conditionally parsed extension syntax for hevc extension processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170918 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180928 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20191024 Year of fee payment: 6 |