KR101356890B1 - Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding - Google Patents

Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding Download PDF

Info

Publication number
KR101356890B1
KR101356890B1 KR1020120067510A KR20120067510A KR101356890B1 KR 101356890 B1 KR101356890 B1 KR 101356890B1 KR 1020120067510 A KR1020120067510 A KR 1020120067510A KR 20120067510 A KR20120067510 A KR 20120067510A KR 101356890 B1 KR101356890 B1 KR 101356890B1
Authority
KR
South Korea
Prior art keywords
input video
encoding
codec
decoding
video
Prior art date
Application number
KR1020120067510A
Other languages
Korean (ko)
Other versions
KR20140003689A (en
Inventor
김문철
나태영
안상수
김병선
함상진
이근식
Original Assignee
한국방송공사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국방송공사, 한국과학기술원 filed Critical 한국방송공사
Priority to KR1020120067510A priority Critical patent/KR101356890B1/en
Publication of KR20140003689A publication Critical patent/KR20140003689A/en
Application granted granted Critical
Publication of KR101356890B1 publication Critical patent/KR101356890B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues

Abstract

다시점 비디오에 대한 이종 코덱에서의 비디오 시점간 부호화 및 복호화 방법 및 그 장치가 개시된다. 이종 코덱 간 다시점 비디오 부호화/복호화 방법은 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 부호화/복호화 하는 단계; 및 상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 부호화/복호화 된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 부호화/복호화 하는 단계를 포함할 수 있다. 이때, 제2 입력 비디오를 부호화/복호화 하는 단계는 제2 입력 비디오의 현재 부호화/복호화 블록과 대응되는 상기 제1 입력 비디오 내의 부호화/복호화 된 블록의 움직임 벡터를 이용하여 제2 입력 비디오를 부호화/복호화 할 수 있다. 뿐만 아니라, 상기한 이종 코덱 간의 참조 부호화/복호화 방식은 2개 이상의 다시점 비디오 입력에 대해 시점 만큼의 이종 코덱 조합에 쉽게 적용 가능한 기술적 사상을 가지고 있다.Disclosed are a video inter-view encoding and decoding method in a heterogeneous codec for multiview video, and an apparatus thereof. A multi-view video encoding / decoding method between heterogeneous codecs includes first encoding / decoding a first input video in one of the heterogeneous codecs; And encoding / decoding a second input video by using a result of first encoding / decoding of the first input video in another codec of the heterogeneous codecs. In this case, the encoding / decoding of the second input video may include encoding / decoding the second input video using a motion vector of the encoded / decoded block in the first input video corresponding to the current encoding / decoding block of the second input video. Can be decrypted In addition, the above-described reference encoding / decoding method between heterogeneous codecs has a technical concept that can be easily applied to a heterogeneous codec combination as much as a viewpoint for two or more multiview video inputs.

Description

다시점 비디오에 대한 이종 코덱에서의 비디오 시점간 부호화 및 복호화 방법 및 그 장치{METHOD AND APPARATUS OF INTER-VIEW VIDEO ENCODING AND DECODING IN HYBRID CODECS FOR MULTI-VIEW VIDEO CODING}Method of video inter-view encoding and decoding in heterogeneous codecs for multi-view video and its apparatus TECHNICAL FIELD

본 발명의 실시예들은 2개 이상의 서로 다른 비디오 코덱을 구성하여 하이브리드 실감 방송 서비스를 제공하는데 있어 서로 다른 비디오 코덱 간의 움직임 벡터 예측을 통한 부호화 및 복호화를 수행하는 방법 및 장치에 관한 것이다.Embodiments of the present invention relate to a method and apparatus for performing encoding and decoding through motion vector prediction between different video codecs in providing two or more different video codecs to provide a hybrid realistic broadcast service.

많은 비디오 부호화 알고리즘이나 표준 기술이 개발되어 왔고 다양한 서비스에 서로 다른 비디오 코덱 표준이 채택되어 사용되고 있어, 현재 제공되는 서비스에 새로운 추가적인 서비스를 제공하고자 할 때 기존 서비스에서 사용되는 비디오 코덱과 새로운 추가적인 서비스에 사용되는 비디오 코덱 간의 이질성으로 인해 각각 비디오 코덱을 적용하여 개별적인 비디오 압축 비트스트림을 기존 서비스와 추가적인 서비스에 제공해야 하기 때문에 부호화 효율이 떨어지는 단점이 있다.Many video encoding algorithms or standard technologies have been developed, and different video codec standards have been adopted and used in various services. Therefore, when a new additional service is provided to a currently provided service, a video codec and a new additional service are used. Due to the heterogeneity between the video codecs used, coding efficiency is inferior because each video codec is applied to provide a separate video compression bitstream to an existing service and an additional service.

예를 들어, 현재 디지털 TV 2D 방송 서비스에 MPEG-2 비디오 코덱을 적용하고 있고, 현재 비디오 입력을 좌안(left-eye view) 비디오로 하고 추가적인 우안(right-eye view) 비디오를 부호화하여 스테레오스코픽 비디오 서비스를 제공하고자 할 때, 통상적으로 우안 비디오 입력을 MPEG-2 비디오 코덱보다 압축율이 높은 H.264/AVC 코덱을 사용하여 별도로 부호화하고 이로 인한 압축 비트스트림을 추가적으로 제공함으로써 이종코덱을 이용한 스테레오스코픽 비디오 서비스를 제공할 수 있다. 이러한 경우, 좌안과 우안 입력 비디오가 부호화 과정에서 MPEG-2 Video와 H.264 방식으로 각각 별도로 부호화되기 때문에 좌안과 우안 입력 비디오간의 정보를 이용할 수 없어 부호화 효율이 떨어지는 문제점이 있었다.For example, the MPEG-2 video codec is currently applied to the digital TV 2D broadcasting service, and the stereoscopic video is obtained by encoding an additional right-eye view video with the current video input as left-eye view video. When providing a service, stereoscopic video using a heterogeneous codec is typically provided by separately encoding a right eye video input using an H.264 / AVC codec having a higher compression rate than an MPEG-2 video codec and providing an additional compressed bitstream. Can provide services. In this case, since the left eye and the right eye input video are separately encoded by the MPEG-2 video and the H.264 method in the encoding process, information between the left eye and the right eye input video cannot be used, which causes a problem of low coding efficiency.

따라서, 서로 다른 코덱을 이용하여 다시점 비디오를 부호화 할 때 부호화 효율을 향상시킬 수 있는 방법이 필요하다.Therefore, there is a need for a method for improving encoding efficiency when encoding multi-view video using different codecs.

이종 코덱으로 입력되는 다시점 비디오를 부호화 또는 복호화 할 때 이종 코덱 간에 부호화 또는 복호화된 결과를 이용하여 부호화 효율을 향상시킬 수 있는 방법 및 장치를 제공한다.Provided are a method and an apparatus for improving encoding efficiency by using a result encoded or decoded between heterogeneous codecs when encoding or decoding a multiview video inputted through a heterogeneous codec.

본 발명의 일 측면에 따르면, 이종 코덱 간 다시점 비디오 부호화/복호화 방법은, 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 부호화/복호화 하는 단계; 및 상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 부호화/복호화 된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 부호화/복호화 하는 단계를 포함할 수 있다.According to an aspect of the present invention, a multi-view video encoding / decoding method between heterogeneous codecs includes: first encoding / decoding a first input video in one of the heterogeneous codecs; And encoding / decoding a second input video by using a result of first encoding / decoding of the first input video in another codec of the heterogeneous codecs.

상기 제2 입력 비디오를 부호화/복호화 하는 단계는, 상기 제2 입력 비디오의 현재 부호화/복호화 블록과 대응되는 상기 제1 입력 비디오 내의 부호화/복호화 된 블록의 움직임 벡터를 이용하여 상기 제2 입력 비디오를 부호화/복호화 할 수 있다.The encoding / decoding of the second input video may include encoding the second input video using a motion vector of a coded / decoded block in the first input video corresponding to a current encoding / decoding block of the second input video. Can be encoded / decoded.

상기 제2 입력 비디오를 부호화/복호화 하는 단계는, 상기 제2 입력 비디오 내의 이미 부호화/복호화 된 주변 블록의 시차 벡터(disparity vector)에 대응되는 상기 제1 입력 비디오 내의 이미 부호화/복호화 된 블록의 움직임 벡터를 이용하여, 상기 제2 입력 비디오 내의 현재 부호화/복호화 블록을 부호화/복호화 할 수 있다.The encoding / decoding of the second input video may include: movement of an already encoded / decoded block in the first input video corresponding to a disparity vector of a neighboring block that is already encoded / decoded in the second input video. The vector may be used to encode / decode a current encoding / decoding block in the second input video.

상기 제2 입력 비디오를 부호화/복호화 하는 단계는, 적응적 루프 필터링(Adaptive Loop Filtering)이 적용된 상기 제1 입력 비디오의 부호화/복호화 된 결과를 참조하여 상기 제2 입력 비디오에 대한 시점 간 예측 부호화/복호화를 수행할 수 있다.The encoding / decoding of the second input video may include performing inter-view prediction encoding on the second input video with reference to the encoded / decoded result of the first input video to which adaptive loop filtering is applied. Decryption can be performed.

상기 제2 입력 비디오를 부호화/복호화 하는 단계는, 상기 제1 입력 비디오에 적용된 적응적 루프 필터링(Adaptive Loop Filtering) 계수와 상기 제1 입력 비디오에서 적응적 루프 필터링이 적용된 영역을 나타내는 정보를 이용하여 상기 제2 입력 비디오를 부호화/복호화 할 수 있다.The encoding / decoding of the second input video may include using an adaptive loop filtering coefficient applied to the first input video and information indicating a region to which adaptive loop filtering is applied in the first input video. The second input video may be encoded / decoded.

본 발명의 다른 측면에 따르면, 컴퓨터 시스템이 다시점 비디오를 부호화/복호화 하도록 제어하는 명령을 포함하는 컴퓨터 판독가능 저장 매체로서, 상기 명령은, 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 부호화/복호화 하는 단계; 및 상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 부호화/복호화 된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 부호화/복호화 하는 단계를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어할 수 있다.According to another aspect of the invention, a computer readable storage medium comprising instructions for controlling a computer system to encode / decode a multiview video, wherein the instructions first encode / encode the first input video in one of the heterogeneous codecs. Decrypting; And encoding / decoding a second input video by using a result of first encoding / decoding of the first input video in the one codec in another codec of the heterogeneous codecs. Can be.

본 발명의 또 다른 측면에 따르면, 서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화/복호화 하는 장치는, 일 시점의 제1 입력 비디오를 부호화/복호화 하는 제1 코덱; 및 상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 부호화/복호화 된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 부호화/복호화 하는 제2 코덱을 포함할 수 있다.According to still another aspect of the present invention, an apparatus for encoding / decoding a multiview video using different heterogeneous codecs includes: a first codec that encodes / decodes a first input video at one point in time; And a second codec that encodes / decodes a second input video at a different point in time from the first input video by using a result of first encoding / decoding of the first input video by the first codec.

본 발명에 따르면, 이종 코덱을 이용한 다시점 비디오 부호화/복호화에서 각 시점 입력 비디오를 하나 이상의 서로 다른 비디오 코덱을 이용하여 독립적으로 부호화/복호화하는 종래의 방법과는 달리, 두 시점 사이의 입력 비디오를 부호화 하는 서로 다른 이종 코덱간에 한 코덱에서 먼저 부호화/복호화된 정보(움직임 벡터 예측, 적응적 루프 필터링 등)를 다른 코덱에서 이용함으로써 부호화 효율을 향상시킬 수 있다.According to the present invention, unlike the conventional method of independently encoding / decoding each view input video using one or more different video codecs in multiview video encoding / decoding using a heterogeneous codec, Coding efficiency can be improved by first using coded / decoded information (motion vector prediction, adaptive loop filtering, etc.) in another codec between different heterogeneous codecs.

도 1은 본 발명의 제1 실시예에 있어서, 두 시점 사이의 입력 비디오를 부호화 하는 서로 다른 이종 코덱간에 한 코덱에서 먼저 부호화/복호화된 데이터를 다른 코덱에서 이용하여 부호화/복호화하는 장치에서 한 코덱에서 먼저 부호화/복호화된 데이터가 움직임 벡터를 포함하는 이종 코덱간 다시점 비디오 부호화/복호화 방법을 나타낸 도면.
도 2는 본 발명의 제2 실시예에 있어서, 두 시점 사이의 입력 비디오를 부호화 하는 서로 다른 이종 코덱간에 한 코덱에서 먼저 부호화/복호화된 데이터를 다른 코덱에서 이용하여 부호화/복호화하는 장치에서 한 코덱에서 먼저 부호화/복호화된 데이터에 대해 적응적 루프 필터링(Adaptive Loop Filtering)이 적용된 참조 프레임을 다른 이종 코덱에 의해 부호화되는 현재 부호화 블록에서 참조하는 방법을 나타낸 도면.
도 3은 본 발명의 제2 실시예에 있어서, MPEG-2 복원 영상에 적용하는 적응적 루프 필터 계수를 구하기 위한 필터 커널 및 최적해 도출 방법을 나타낸 도면.
도 4는 본 발명의 제2 실시예에 따른 MPEG-2 복원 영상에 적용된 적응적 루프 필터링 영역을 표시하는 일 예를 나타낸 도면.
1 illustrates a codec in an apparatus that encodes / decodes data that is first encoded / decoded in one codec by another codec between different heterogeneous codecs encoding input video between two viewpoints. Is a diagram illustrating a multi-view video encoding / decoding method between heterogeneous codecs in which coded / decoded data includes a motion vector.
FIG. 2 is a diagram illustrating an embodiment of an apparatus for encoding / decoding data obtained by encoding / decoded data in one codec by another codec between different heterogeneous codecs encoding input video between two viewpoints. 1 illustrates a method of referring to a reference frame to which adaptive loop filtering is applied to encoded / decoded data in a current coding block coded by another heterogeneous codec.
FIG. 3 is a diagram illustrating a filter kernel and an optimal solution derivation method for obtaining an adaptive loop filter coefficient applied to an MPEG-2 reconstructed image according to a second embodiment of the present invention. FIG.
4 is a diagram illustrating an example of displaying an adaptive loop filtering region applied to an MPEG-2 reconstructed image according to a second embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명은 2개 이상의 이종 코덱을 구성하여 다시점 비디오를 부호화/복호화하는 방법에 있어 기술적 이해를 돕기 위해, 2개로 구성된 이종 코덱을 이용하여 두 시점 비디오를 부호화/복호화하는 방법의 일 예에 대해 설명한다. 그러나 본 발명이 2개로만 구성된 이종 코덱에 한정된 발명이 아니라는 것은 자명하다.The present invention relates to an example of a method of encoding / decoding two viewpoint video using two heterogeneous codecs in order to assist technical understanding in a method of encoding / decoding a multiview video by configuring two or more heterogeneous codecs. Explain. However, it is apparent that the present invention is not limited to a heterogeneous codec consisting of only two.

본 발명은 서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화/복호화 하는 방법 및 그 장치에 관한 것이다. 본 실시예에서는, 일 시점의 제1 입력 비디오를 부호화/복호화 하는 제1 코덱; 및 상기 제1 입력 비디오에 대해 제1 코덱에서 먼저 부호화/복호화 된 결과를 이용하여 다른 시점의 제2 입력 비디오를 부호화/복호화 하는 제2 코덱을 포함하는 부호화/복호화 장치를 제공한다. 예를 들어, 스테레오스코픽 영상 부호화 및 복호화의 경우 MPEG-2 비디오 코덱과 H.264/AVC 코덱, 또는 MPEG-2 비디오 코덱과 HEVC(High Efficiency Video Coding) 코덱 등의 이종 코덱으로 구성 가능하다.The present invention relates to a method and apparatus for encoding / decoding multiview video using different heterogeneous codecs. In the present embodiment, a first codec which encodes / decodes a first input video of one view; And a second codec which encodes / decodes a second input video of another view using a result of first encoding / decoding a first codec with respect to the first input video. For example, stereoscopic video encoding and decoding may be composed of heterogeneous codecs such as MPEG-2 video codec and H.264 / AVC codec, or MPEG-2 video codec and HEVC (High Efficiency Video Coding) codec.

본 발명에서 좌안 영상 부호화 및 복호화 과정은 MPEG-2 비디오 코덱을 이용하고 우안 영상 입력에 대한 부호화 및 복호화 과정은 HEVC 코덱을 이용하는 이종 코덱 구조를 일 예로서 적용한다. 즉, 이하에서는 MPEG-2비디오 코덱과 HEVC코덱으로 구성된 이종 코덱의 부호화 및 복호화 하는 과정을 통해 우안 영상 입력에 대한 부호화 효율을 향상시키는 방법 및 장치에 대해 설명하기로 한다. 이종 코덱의 구성은 이에 한정되는 것은 아니며, 필요에 따라 2개의 서로 다른 코덱으로 얼마든지 변경 가능하다.In the present invention, the left eye image encoding and decoding process uses an MPEG-2 video codec, and the right eye image input encoding and decoding process uses a heterogeneous codec structure using the HEVC codec as an example. In other words, a method and apparatus for improving encoding efficiency for a right eye image input by encoding and decoding a heterogeneous codec composed of an MPEG-2 video codec and an HEVC codec will be described below. The configuration of the heterogeneous codecs is not limited thereto, and may be changed to two different codecs as needed.

본 발명의 핵심 기술요지는, 2개의 서로 다른 코덱을 이용하여 스테레오스코픽 비디오의 좌안 및 우안 영상을 각각 부호화하여 압축 비트스트림을 제공하는 종래와는 달리, 서로 다른 코덱 2개의 코덱 중 한 코덱에서의 부호화 및 복호화 정보를 다른 이종 코덱에서의 부호화 및 복호화 과정에 이용하여 부호화 효율의 향상을 제공하는 것으로, 이러한 기술적 수단을 통해 본 발명에서 목적으로 하는 바를 쉽게 달성할 수 있다.A key technical aspect of the present invention is that unlike the conventional method of providing a compressed bitstream by encoding left eye and right eye images of stereoscopic video using two different codecs, one codec of two codecs is provided. The encoding and decoding information is used in encoding and decoding processes in other heterogeneous codecs to provide an improvement in encoding efficiency. Through such technical means, the object of the present invention can be easily achieved.

도 1은 본 발명의 제 1 실시예에 따른 스테레오스코픽 비디오 부호화 및 복호화를 위해 서로 다른 MPEG-2비디오 코덱과 HEVC 코덱 중 MPEG-2 비디오 코덱에서의 부호화 및 복호화 정보를 다른 이종 코덱인 HEVC에서의 부호화 및 복호화 과정에 이용하여 HEVC의 부호화 효율을 향상시켜 주는 일 형태를 나타낸 도면이다.1 illustrates encoding and decoding information of an MPEG-2 video codec among different MPEG-2 video codecs and an HEVC codec in HEVC as another heterogeneous codec for stereoscopic video encoding and decoding according to a first embodiment of the present invention. FIG. 1 shows an embodiment for improving coding efficiency of HEVC used in a coding and decoding process.

본 실시예서는 한 코덱에서 먼저 부호화/복호화 된 데이터가 움직임 벡터를 포함할 수 있으며, 이에 다른 코덱에서 먼저 부호화/복호화 된 입력 비디오의 움직임 벡터를 이용하여 다른 시점의 비디오를 부호화/복호화 할 수 있다. 또한, 본 실시예에서는 한 코덱에서 먼저 부호화/복호화 된 데이터에 대한 시차 벡터(disparity vector)를 이용하여 이에 대응되는 다른 코덱에서 다른 시점의 비디오에 대한 움직임 벡터를 이용하여 한 코덱의 움직임 벡터 예측 부호화/복호화에 이용할 수 있다.In the present embodiment, data that is first encoded / decoded by one codec may include a motion vector, and video of another view may be encoded / decoded by using a motion vector of an input video that is first encoded / decoded by another codec. . In addition, in the present embodiment, a motion vector prediction encoding of one codec is performed by using a disparity vector of data first encoded / decoded in one codec by using a motion vector of a video of another view in another codec corresponding thereto. Can be used for decoding.

도 1에서 시간 t에서 HEVC 코덱에서 부호화/복호화 되는 우안(right-view) 입력 프레임을

Figure 112012049993911-pat00001
라고 하고 시간 t에서 MPEG-2 비디오 코덱에서 부호화/복호화 되는 좌안(left-view) 입력 프레임을
Figure 112012049993911-pat00002
라고 하자. 또한 프레임
Figure 112012049993911-pat00003
은 MPEG-2 비디오 코덱에 의해 이미 부호화/복호화가 완료된 프레임을 나타낸다고 가정한다. 프레임
Figure 112012049993911-pat00004
를 HEVC 코덱에서 부호화/복호화하고자 할 때,
Figure 112012049993911-pat00005
의 현재 부호화 블록 D의 움직임 벡터(
Figure 112012049993911-pat00006
)를 예측 부호화하기 위해서는 주변 블록인 A0, A1, B0, B1, B2의 공간 움직임 벡터나 참조 프레임의 동일 위치 대응 블록 C의 시간 움직임 벡터 중에 하나를 현재 블록의 움직임 예측 벡터로 사용할 수 있다.1 shows a right-view input frame encoded / decoded by the HEVC codec at time t.
Figure 112012049993911-pat00001
And the left-view input frame encoded / decoded by the MPEG-2 video codec at
Figure 112012049993911-pat00002
Let's say. Also frame
Figure 112012049993911-pat00003
Assumes that a frame has already been encoded / decoded by the MPEG-2 video codec. frame
Figure 112012049993911-pat00004
To encode / decode the HEVC codec,
Figure 112012049993911-pat00005
The motion vector of the current coding block D of
Figure 112012049993911-pat00006
), One of the spatial motion vectors of the neighboring blocks A 0 , A 1 , B 0 , B 1 , and B 2 or the temporal motion vectors of the co-located block C of the reference frame is used as the motion prediction vector of the current block. Can be used.

그런데, 이들 주변블록들(A0, A1, B0, B1, B2) 또는 참조프레임의 동일 위치 블록들(C)이 화면 내 부호화로 부호화되거나 시차 벡터만을 갖고 있어, 해당 블록들의 움직임 벡터가 존재하지 않을 경우, 즉 현재 블록의 움직임 예측 벡터로 사용할 수 없는 경우에는 부호화/복호화가 이미 완료된 다른 시점(좌안) 프레임의 동일 위치의 블록에 대해 시차 보상을 한 후 시차 보상된 블록의 움직임 벡터가 존재할 경우 이를 대신 현재 블록의 움직임 예측 벡터로 사용 가능하게 함으로써 본 발명은 현재 블록의 움직임 벡터를 부호화하는데 부호화 효율을 향상시킬 수 있는 방법 및 장치를 제공할 수 있다. 즉, However, these neighboring blocks (A 0 , A 1 , B 0 , B 1 , B 2 ) or the same position blocks (C) of the reference frame are encoded by intra coding or have only a parallax vector, and thus the motion of the corresponding blocks If the vector does not exist, that is, it cannot be used as the motion prediction vector of the current block, the motion of the disparity compensated block after compensating the disparity for a block at the same position of another frame of view (left eye) that has already been encoded / decoded The present invention can provide a method and apparatus that can improve coding efficiency in encoding the motion vector of the current block by using the vector as a motion prediction vector of the current block instead. In other words,

Figure 112012049993911-pat00007
Figure 112012049993911-pat00007

여기서, MVPcur

Figure 112012049993911-pat00008
는 각각 현재 블록의 움직임 예측 벡터 후보 및 다른 시점 프레임에 위치하는 시차 보상 움직임 벡터(disparity-compensated motion vector)이다. (i, j)는 현재 블록의 중심 위치와 동일한 다른 시점 프레임에서의 위치이다. (dv x , dv y )는 도 1에 표시된
Figure 112012049993911-pat00009
로서 이웃 블록의 부호화에 사용된 현재 프레임과 다른 시점 프레임간의 시차 벡터이다. 또한 MPEG-2 Video는 1/2화소까지의 움직임 벡터 예측을 하는 반면 HEVC는 1/4화소까지의 움직임 벡터 예측 정밀도를 가지기 때문에, MPEG-2 Video가 사용된 좌안 영상 부호화에 의해 결정된 움직임 벡터들에 2를 곱해주어 단위를 맞추어 준다.Where MVP cur and
Figure 112012049993911-pat00008
Are respectively disparity-compensated motion vectors located in the motion prediction vector candidate of the current block and in different view frames. ( i , j ) is the position in another view frame that is the same as the center position of the current block. ( dv x , dv y ) is shown in FIG.
Figure 112012049993911-pat00009
A parallax vector between a current frame and another view frame used for encoding a neighboring block. Also, since MPEG-2 Video performs motion vector prediction up to 1/2 pixel, while HEVC has motion vector prediction accuracy up to 1/4 pixel, motion vectors determined by left eye image coding using MPEG-2 Video are used. Multiply by 2 to match the units.

도 2는 본 발명의 제 2 실시예에 따른 스테레오스코픽 비디오 부호화 및 복호화를 위해 서로 다른 MPEG-2비디오 코덱과 HEVC 코덱 중 MPEG-2 비디오 코덱에서의 부호화 및 복호화 정보를 다른 이종 코덱인 HEVC에서의 부호화 및 복호화 과정에 이용하여 HEVC의 부호화 효율을 향상시켜 주는 다른 형태를 나타낸 도면이다.FIG. 2 illustrates encoding and decoding information of an MPEG-2 video codec among different MPEG-2 video codecs and an HEVC codec in HEVC, which is another heterogeneous codec for stereoscopic video encoding and decoding according to a second embodiment of the present invention. Another diagram of improving the coding efficiency of HEVC is used in the encoding and decoding process.

본 실시예서는 한 코덱에서 먼저 부호화/복호화 된 복원 영상에 대해 적응적 루프 필터링을 적용하고 적응적 루프 필터링이 적용된 후의 복원 영상을 다른 코덱에서 참조하여 다른 시점의 비디오에 대한 시점간 예측 부호화/복호화를 수행할 수 있다. 또한, 본 실시예에서는 한 코덱에서 먼저 부호화/복호화 된 복원 영상에 대해 적응적 루프 필터링이 적용된 영역을 나타내는 정보와 적용된 적응적 루프 필터 계수를 해당 코덱에서 출력되는 비트스트림 또는 다른 코덱에서 출력되는 비트스트림에 포함시킴으로써 한 코덱에서 먼저 부호화/복호화 된 데이터를 이용하여 다른 코덱에서 다른 시점의 비디오를 부호화/복호화 할 수 있다.In this embodiment, adaptive loop filtering is applied to a reconstructed image coded / decoded first by one codec, and the reconstructed image after the adaptive loop filtering is applied is referenced by another codec. Can be performed. In addition, in the present embodiment, information indicating an area to which adaptive loop filtering is applied to a reconstructed image coded / decoded first by one codec and a bitstream output from a corresponding codec or a bitstream output from the corresponding codec are applied. By including it in a stream, video of different views can be encoded / decoded by another codec by using data encoded / decoded first by one codec.

도 2를 참조하면, 프레임

Figure 112012049993911-pat00010
를 HEVC 코덱에서 부호화/복호화하고자 할 때,
Figure 112012049993911-pat00011
의 현재 부호화 블록 D가 이미 MPEG-2비디오 코덱에 의해 부호화/복호화가 완료된
Figure 112012049993911-pat00012
을 참조하고자 할 경우
Figure 112012049993911-pat00013
에 적응적 루프 필터링 과정 적용을 통해
Figure 112012049993911-pat00014
의 화질을 향상시킨 후 참조를 수행함으로써
Figure 112012049993911-pat00015
의 현재 부호화 블록의 발생 잔차신호의 양을 감소시킴으로써 부호화 효율 향상을 가져올 수 있다. 적용되는 적응적 루프 필터(ALF)의 계수는 도 3과 같이 구해진다. 적응적 루프 필터의 계수는 도 3에 나와 있듯이 필터링을 수행한 후의 복원 영상의 화소 값이 원본 영상의 화소 값과 동일한 값을 가지도록 설계된다. 이 때 적응적 루프 필터는 임의 개의 필터 계수 N을 갖고 N-1 개의 주변 화소들과 현재 화소 값의 가중 합이 현재 화소와 동일한 위치에 있는 원본 영상의 화소 값과 일치하는 값을 갖도록 필터링을 수행한다. 이와 같은 작업을 수행하는 일정 영역 z 안에 있는 화소들의 적응적 루프 필터링 방정식을 이용하여 도 3의 행렬식을 만들 수 있고 도 3의 행렬식을 만족하는 역행렬을 구하면 원본 영상과 복원 영상의 왜곡을 최소화하는 필터 계수를 구할 수 있다. 여기서
Figure 112012049993911-pat00016
에 적용한 적응적 루프 필터링 계수와
Figure 112012049993911-pat00017
내의 적응적 루프 필터링이 적용된 영역 표시에 대한 정보를 비트스트림에 표현한다.2, the frame
Figure 112012049993911-pat00010
To encode / decode the HEVC codec,
Figure 112012049993911-pat00011
Current encoding block D has already been encoded / decoded by the MPEG-2 video codec.
Figure 112012049993911-pat00012
If you want to see
Figure 112012049993911-pat00013
By applying an adaptive loop filtering process to
Figure 112012049993911-pat00014
By improving the quality of the
Figure 112012049993911-pat00015
Encoding efficiency can be improved by reducing the amount of residual signals generated in the current coding block. Coefficients of the adaptive loop filter ALF applied are calculated as shown in FIG. 3. As shown in FIG. 3, the coefficient of the adaptive loop filter is designed such that the pixel value of the reconstructed image after the filtering has the same value as that of the original image. In this case, the adaptive loop filter performs filtering so that the weighted sum of the N -1 neighboring pixels and the current pixel value has an arbitrary filter coefficient N and the pixel value of the original image at the same position as the current pixel. do. Using the adaptive loop filtering equation of the pixels in a certain area z to perform the above operation, the determinant of FIG. 3 can be made and the inverse matrix satisfying the determinant of FIG. 3 is obtained to minimize distortion of the original image and the reconstructed image. The coefficient can be obtained. here
Figure 112012049993911-pat00016
Adaptive loop filtering coefficients
Figure 112012049993911-pat00017
Information about the region indication to which the adaptive loop filtering in is applied is represented in the bitstream.

Figure 112012049993911-pat00018
Figure 112012049993911-pat00018

위 도식과 같이 필터 w i 를 이용해 참조 영상 x(k)를 처리하면 참조영상과 원본 영상 s(k)와의 율-왜곡 비용

Figure 112012049993911-pat00019
을 기존의 율-왜곡 비용
Figure 112012049993911-pat00020
보다 감소 시킨다. 또한, 최종적으로 해당 참조 영상 전체 영역에 걸쳐서 필터링을 적용한 후의 율-왜곡 비용과 적용하기 전의 율-왜곡 비용을 비교하여 필터링을 적용한 후의 율-왜곡 비용이 더 작을 때에만 필터링을 적용한다. 이 때 적응적 루프 필터링의 정의는 도 4와 같이 적응적 루프 필터링에 앞서 수행된 부호화 과정을 통해 결정된 CU 구조를 이용한다. HEVC 부호화기는 쿼드트리(quad tree) 형태로 나누어지는 CU구조를 부호화의 최소단위로 하여 화면간/화면내 예측, 변환, 그리고 양자화 등을 수행하여 최적의 율-왜곡 성능을 보이는 CU 구조를 결정한다. 그리고 본 발명에 이용되는 적응적 루프 필터는 부호화 과정을 통해 결정된 CU단위로 적응적 루프 필터를 적용하고 해당 CU의 필터링 전/후 율-왜곡 비용을 구하여 비교해보고 필터링 후의 율-왜곡 비용이 더 작을 때에만 해당 CU에 필터링을 적용하도록 한다. 따라서 도 4의 예시에 보인 것과 같이 CU단위로 적응적 루프 필터의 ON/OFF가 결정되고 각 CU 마다 적응적 루프 필터의 적용 여부를 표시하는 플래그(flag) 비트가 전송된다.As shown in the diagram above, when the reference image x (k ) is processed using the filter w i , the rate-distortion cost between the reference image and the original image s ( k )
Figure 112012049993911-pat00019
Existing rate-distortion cost
Figure 112012049993911-pat00020
To reduce. Finally, the filtering is applied only when the rate-distortion cost after applying the filtering is compared by comparing the rate-distortion cost after applying the filtering over the entire region of the corresponding reference image. In this case, the definition of the adaptive loop filtering uses the CU structure determined through the encoding process performed before the adaptive loop filtering as shown in FIG. 4. The HEVC encoder determines the CU structure showing optimal rate-distortion performance by performing inter-screen / in-screen prediction, transformation, and quantization using a CU structure divided into quad tree as the minimum unit of coding. . In the adaptive loop filter used in the present invention, the adaptive loop filter is applied in units of CUs determined through the encoding process, and the comparison of the pre- and post-filtering rate-distortion costs of the corresponding CU is performed. Only apply filtering to the CU. Therefore, as shown in the example of FIG. 4, the ON / OFF of the adaptive loop filter is determined in CU units, and a flag bit indicating whether the adaptive loop filter is applied to each CU is transmitted.

Figure 112012049993911-pat00021
Figure 112012049993911-pat00021

이와 같이, 본 발명에 따르면, 이종 코덱을 이용한 다시점 비디오 부호화/복호화에서 각 시점 입력 비디오를 하나 이상의 서로 다른 비디오 코덱을 이용하여 독립적으로 부호화/복호화하는 종래의 방법과는 달리, 두 시점 사이의 입력 비디오를 부호화 하는 서로 다른 이종 코덱간에 한 코덱에서 먼저 부호화/복호화된 정보(움직임 벡터 예측, 적응적 루프 필터링 등)를 다른 코덱에서 이용함으로써 부호화 효율을 향상시킬 수 있다. 뿐만 아니라, 본 발명에 따른 이종 코덱 간의 참조 부호화/복호화 방식은 2개 이상의 다시점 비디오 입력에 대해 시점 만큼의 이종 코덱 조합에 쉽게 적용 가능한 기술적 사상을 가지고 있다.As described above, according to the present invention, unlike the conventional method of independently encoding / decoding each view input video using one or more different video codecs in multi-view video encoding / decoding using heterogeneous codecs, Coding efficiency can be improved by first using coded / decoded information (motion vector prediction, adaptive loop filtering, etc.) in one codec among different heterogeneous codecs encoding input video. In addition, the reference encoding / decoding method between heterogeneous codecs according to the present invention has a technical concept that can be easily applied to heterogeneous codec combinations of two or more multi-view video inputs.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한, 상술한 파일 시스템은 컴퓨터 판독이 가능한 기록 매체에 기록될 수 있다.The methods according to embodiments of the present invention may be implemented in the form of a program instruction that can be executed through various computer systems and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. In addition, the above-described file system can be recorded in a computer-readable recording medium.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims (19)

삭제delete 서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화하는 방법에 있어서,
상기 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 부호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 부호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 부호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 부호화하는 단계는,
상기 제2 입력 비디오의 현재 부호화 블록과 대응되는 상기 제1 입력 비디오 내의 부호화된 블록의 움직임 벡터를 이용하여 상기 제2 입력 비디오를 부호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 부호화 방법.
In a method of encoding a multiview video using different heterogeneous codecs,
First encoding a first input video in one of the heterogeneous codecs; And
Encoding a second input video by using a result coded by the one codec with respect to the first input video in another codec of the heterogeneous codecs.
Lt; / RTI >
Encoding the second input video,
Encoding the second input video using a motion vector of a coded block in the first input video corresponding to the current coding block of the second input video.
Multi-view video encoding method between heterogeneous codecs, characterized in that the.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화하는 방법에 있어서,
상기 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 부호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 부호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 부호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 부호화하는 단계는,
상기 제2 입력 비디오 내의 이미 부호화된 주변 블록의 시차 벡터(disparity vector)에 대응되는 상기 제1 입력 비디오 내의 이미 부호화된 블록의 움직임 벡터를 이용하여, 상기 제2 입력 비디오 내의 현재 부호화 블록을 부호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 부호화 방법.
In a method of encoding a multiview video using different heterogeneous codecs,
First encoding a first input video in one of the heterogeneous codecs; And
Encoding a second input video by using a result coded by the one codec with respect to the first input video in another codec of the heterogeneous codecs.
Lt; / RTI >
Encoding the second input video,
Encoding a current coding block in the second input video by using a motion vector of an already coded block in the first input video corresponding to a disparity vector of an already encoded neighboring block in the second input video. that
Multi-view video encoding method between heterogeneous codecs, characterized in that the.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화하는 방법에 있어서,
상기 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 부호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 부호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 부호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 부호화하는 단계는,
적응적 루프 필터링(Adaptive Loop Filtering)이 적용된 상기 제1 입력 비디오의 부호화된 결과를 참조하여 상기 제2 입력 비디오에 대한 시점 간 예측 부호화를 수행하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 부호화 방법.
In a method of encoding a multiview video using different heterogeneous codecs,
First encoding a first input video in one of the heterogeneous codecs; And
Encoding a second input video by using a result coded by the one codec with respect to the first input video in another codec of the heterogeneous codecs.
Lt; / RTI >
Encoding the second input video,
Performing inter-view prediction encoding on the second input video by referring to the encoded result of the first input video to which adaptive loop filtering is applied.
Multi-view video encoding method between heterogeneous codecs, characterized in that the.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화하는 방법에 있어서,
상기 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 부호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 부호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 부호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 부호화하는 단계는,
상기 제1 입력 비디오에 적용된 적응적 루프 필터링(Adaptive Loop Filtering) 계수와 상기 제1 입력 비디오에서 적응적 루프 필터링이 적용된 영역을 나타내는 정보를 이용하여 상기 제2 입력 비디오를 부호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 부호화 방법.
In a method of encoding a multiview video using different heterogeneous codecs,
First encoding a first input video in one of the heterogeneous codecs; And
Encoding a second input video by using a result coded by the one codec with respect to the first input video in another codec of the heterogeneous codecs.
Lt; / RTI >
Encoding the second input video,
Encoding the second input video by using an adaptive loop filtering coefficient applied to the first input video and information indicating a region to which adaptive loop filtering is applied in the first input video.
Multi-view video encoding method between heterogeneous codecs, characterized in that the.
컴퓨터 시스템이 다시점 비디오를 부호화 하도록 제어하는 명령을 포함하는 컴퓨터 판독가능 저장 매체로서,
상기 명령은,
이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 부호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 부호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 부호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 부호화하는 단계는,
상기 제2 입력 비디오의 현재 부호화 블록과 대응되는 상기 제1 입력 비디오 내의 부호화된 블록의 움직임 벡터를 이용하여 상기 제2 입력 비디오를 부호화하는 것
을 특징으로 하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 저장 매체.
A computer readable storage medium comprising instructions for controlling a computer system to encode a multiview video, the computer readable storage medium comprising:
The command includes:
First encoding the first input video in one of the heterogeneous codecs; And
Encoding a second input video by using a result coded by the one codec with respect to the first input video in another codec of the heterogeneous codecs.
Lt; / RTI >
Encoding the second input video,
Encoding the second input video using a motion vector of a coded block in the first input video corresponding to the current coding block of the second input video.
Wherein the computer system is controllable by the method.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화하는 장치에 있어서,
일 시점의 제1 입력 비디오를 부호화하는 제1 코덱; 및
상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 부호화된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 부호화하는 제2 코덱
을 포함하고,
상기 제2 코덱은,
상기 제2 입력 비디오의 현재 부호화 블록과 대응되는 상기 제1 입력 비디오 내의 부호화된 블록의 움직임 벡터를 이용하여 상기 제2 입력 비디오를 부호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 부호화 장치.
In the apparatus for encoding a multiview video using different heterogeneous codecs,
A first codec for encoding a first input video at one time point; And
A second codec for encoding a second input video at a different time point than the first input video by using a result coded first by the first codec with respect to the first input video.
/ RTI >
The second codec is,
Encoding the second input video using a motion vector of a coded block in the first input video corresponding to the current coding block of the second input video.
Multi-view video encoding apparatus between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화하는 장치에 있어서,
일 시점의 제1 입력 비디오를 부호화하는 제1 코덱; 및
상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 부호화된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 부호화하는 제2 코덱
을 포함하고,
상기 제2 코덱은,
상기 제2 입력 비디오 내의 이미 부호화된 주변 블록의 시차 벡터(disparity vector)에 대응되는 상기 제1 입력 비디오 내의 이미 부호화된 블록의 움직임 벡터를 이용하여, 상기 제2 입력 비디오 내의 현재 부호화 블록을 부호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 부호화 장치.
In the apparatus for encoding a multiview video using different heterogeneous codecs,
A first codec for encoding a first input video at one time point; And
A second codec for encoding a second input video at a different time point than the first input video by using a result coded first by the first codec with respect to the first input video.
/ RTI >
The second codec is,
Encoding a current coding block in the second input video by using a motion vector of an already coded block in the first input video corresponding to a disparity vector of an already encoded neighboring block in the second input video. that
Multi-view video encoding apparatus between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화하는 장치에 있어서,
일 시점의 제1 입력 비디오를 부호화하는 제1 코덱; 및
상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 부호화된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 부호화하는 제2 코덱
을 포함하고,
상기 제2 코덱은,
적응적 루프 필터링(Adaptive Loop Filtering)이 적용된 상기 제1 입력 비디오의 부호화된 결과를 참조하여 상기 제2 입력 비디오에 대한 시점 간 예측 부호화를 수행하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 부호화 장치.
In the apparatus for encoding a multiview video using different heterogeneous codecs,
A first codec for encoding a first input video at one time point; And
A second codec for encoding a second input video at a different time point than the first input video by using a result coded first by the first codec with respect to the first input video.
/ RTI >
The second codec is,
Performing inter-view prediction encoding on the second input video by referring to the encoded result of the first input video to which adaptive loop filtering is applied.
Multi-view video encoding apparatus between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 부호화하는 장치에 있어서,
일 시점의 제1 입력 비디오를 부호화하는 제1 코덱; 및
상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 부호화된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 부호화하는 제2 코덱
을 포함하고,
상기 제2 코덱은,
상기 제1 입력 비디오에 적용된 적응적 루프 필터링(Adaptive Loop Filtering) 계수와 상기 제1 입력 비디오에서 적응적 루프 필터링이 적용된 영역을 나타내는 정보를 이용하여 상기 제2 입력 비디오를 부호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 부호화 장치.
In the apparatus for encoding a multiview video using different heterogeneous codecs,
A first codec for encoding a first input video at one time point; And
A second codec for encoding a second input video at a different time point than the first input video by using a result coded first by the first codec with respect to the first input video.
/ RTI >
The second codec is,
Encoding the second input video by using an adaptive loop filtering coefficient applied to the first input video and information indicating a region to which adaptive loop filtering is applied in the first input video.
Multi-view video encoding apparatus between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 복호화하는 방법에 있어서,
상기 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 복호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 복호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 복호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 복호화하는 단계는,
상기 제2 입력 비디오의 현재 복호화 블록과 대응되는 상기 제1 입력 비디오 내의 복호화된 블록의 움직임 벡터를 이용하여 상기 제2 입력 비디오를 복호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 복호화 방법.
In a method of decoding a multiview video using different heterogeneous codecs,
First decoding a first input video in one of the heterogeneous codecs; And
Decoding a second input video using a result decoded first by the one codec with respect to the first input video by another codec of the heterogeneous codecs
Lt; / RTI >
Decoding the second input video,
Decoding the second input video by using a motion vector of the decoded block in the first input video corresponding to the current decoding block of the second input video.
Multi-view video decoding method between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 복호화하는 방법에 있어서,
상기 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 복호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 복호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 복호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 복호화하는 단계는,
상기 제2 입력 비디오 내의 이미 복호화된 주변 블록의 시차 벡터(disparity vector)에 대응되는 상기 제1 입력 비디오 내의 이미 복호화된 블록의 움직임 벡터를 이용하여, 상기 제2 입력 비디오 내의 현재 복호화 블록을 복호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 복호화 방법.
In a method of decoding a multiview video using different heterogeneous codecs,
First decoding a first input video in one of the heterogeneous codecs; And
Decoding a second input video using a result decoded first by the one codec with respect to the first input video by another codec of the heterogeneous codecs
Lt; / RTI >
Decoding the second input video,
Decoding a current decoding block in the second input video by using a motion vector of an already decoded block in the first input video corresponding to a disparity vector of a previously decoded neighboring block in the second input video. that
Multi-view video decoding method between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 복호화하는 방법에 있어서,
상기 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 복호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 복호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 복호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 복호화 단계는,
적응적 루프 필터링(Adaptive Loop Filtering)이 적용된 상기 제1 입력 비디오의 복호화된 결과를 참조하여 상기 제2 입력 비디오에 대한 시점 간 예측 복호화를 수행하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 복호화 방법.
In a method of decoding a multiview video using different heterogeneous codecs,
First decoding a first input video in one of the heterogeneous codecs; And
Decoding a second input video using a result decoded first by the one codec with respect to the first input video by another codec of the heterogeneous codecs
Lt; / RTI >
Decoding the second input video,
Performing inter-view prediction decoding on the second input video by referring to the decoded result of the first input video to which adaptive loop filtering is applied.
Multi-view video decoding method between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 복호화하는 방법에 있어서,
상기 이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 복호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 복호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 복호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 복호화하는 단계는,
상기 제1 입력 비디오에 적용된 적응적 루프 필터링(Adaptive Loop Filtering) 계수와 상기 제1 입력 비디오에서 적응적 루프 필터링이 적용된 영역을 나타내는 정보를 이용하여 상기 제2 입력 비디오를 복호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 복호화 방법.
In a method of decoding a multiview video using different heterogeneous codecs,
First decoding a first input video in one of the heterogeneous codecs; And
Decoding a second input video using a result decoded first by the one codec with respect to the first input video by another codec of the heterogeneous codecs
Lt; / RTI >
Decoding the second input video,
Decoding the second input video by using an adaptive loop filtering coefficient applied to the first input video and information indicating a region to which adaptive loop filtering is applied in the first input video.
Multi-view video decoding method between heterogeneous codecs.
컴퓨터 시스템이 다시점 비디오를 복호화 하도록 제어하는 명령을 포함하는 컴퓨터 판독가능 저장 매체로서,
상기 명령은,
이종 코덱 중 일 코덱에서 제1 입력 비디오를 먼저 복호화하는 단계; 및
상기 제1 입력 비디오에 대해 상기 일 코덱에서 먼저 복호화된 결과를 상기 이종 코덱 중 다른 코덱에서 이용하여 제2 입력 비디오를 복호화하는 단계
를 포함하고,
상기 제2 입력 비디오를 복호화하는 단계는,
상기 제2 입력 비디오의 현재 복호화 블록과 대응되는 상기 제1 입력 비디오 내의 복호화된 블록의 움직임 벡터를 이용하여 상기 제2 입력 비디오를 복호화하는 것
을 특징으로 하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 저장 매체.
A computer readable storage medium comprising instructions for controlling a computer system to decode a multiview video, the computer readable storage medium comprising:
The command includes:
First decoding the first input video in one of the heterogeneous codecs; And
Decoding a second input video using a result decoded first by the one codec with respect to the first input video by another codec of the heterogeneous codecs
Lt; / RTI >
Decoding the second input video,
Decoding the second input video by using a motion vector of the decoded block in the first input video corresponding to the current decoding block of the second input video.
Wherein the computer system is controllable by the method.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 복호화하는 장치에 있어서,
일 시점의 제1 입력 비디오를 복호화하는 제1 코덱; 및
상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 복호화된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 복호화하는 제2 코덱
을 포함하고,
상기 제2 코덱은,
상기 제2 입력 비디오의 현재 복호화 블록과 대응되는 상기 제1 입력 비디오 내의 복호화된 블록의 움직임 벡터를 이용하여 상기 제2 입력 비디오를 복호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 복호화 장치.
An apparatus for decoding a multiview video using different heterogeneous codecs,
A first codec for decoding the first input video at one time; And
A second codec that decodes a second input video at a different time point than the first input video by using a result decoded first by the first codec with respect to the first input video
/ RTI >
The second codec is,
Decoding the second input video by using a motion vector of the decoded block in the first input video corresponding to the current decoding block of the second input video.
Multi-view video decoding apparatus between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 복호화하는 장치에 있어서,
일 시점의 제1 입력 비디오를 복호화하는 제1 코덱; 및
상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 복호화된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 복호화하는 제2 코덱
을 포함하고,
상기 제2 코덱은,
상기 제2 입력 비디오 내의 이미 복호화된 주변 블록의 시차 벡터(disparity vector)에 대응되는 상기 제1 입력 비디오 내의 이미 복호화된 블록의 움직임 벡터를 이용하여, 상기 제2 입력 비디오 내의 현재 복호화 블록을 복호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 복호화 장치.
An apparatus for decoding a multiview video using different heterogeneous codecs,
A first codec for decoding the first input video at one time; And
A second codec that decodes a second input video at a different time point than the first input video by using a result decoded first by the first codec with respect to the first input video
/ RTI >
The second codec is,
Decoding a current decoding block in the second input video by using a motion vector of an already decoded block in the first input video corresponding to a disparity vector of a previously decoded neighboring block in the second input video. that
Multi-view video decoding apparatus between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 복호화하는 장치에 있어서,
일 시점의 제1 입력 비디오를 복호화하는 제1 코덱; 및
상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 복호화된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 복호화하는 제2 코덱
을 포함하고,
상기 제2 코덱은,
적응적 루프 필터링(Adaptive Loop Filtering)이 적용된 상기 제1 입력 비디오의 복호화된 결과를 참조하여 상기 제2 입력 비디오에 대한 시점 간 예측 복호화를 수행하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 복호화 장치.
An apparatus for decoding a multiview video using different heterogeneous codecs,
A first codec for decoding the first input video at one time; And
A second codec that decodes a second input video at a different time point than the first input video by using a result decoded first by the first codec with respect to the first input video
/ RTI >
The second codec is,
Performing inter-view prediction decoding on the second input video by referring to the decoded result of the first input video to which adaptive loop filtering is applied.
Multi-view video decoding apparatus between heterogeneous codecs.
서로 다른 이종 코덱을 이용하여 다시점 비디오를 복호화하는 장치에 있어서,
일 시점의 제1 입력 비디오를 복호화하는 제1 코덱; 및
상기 제1 입력 비디오에 대해 상기 제1 코덱에서 먼저 복호화된 결과를 이용하여 상기 제1 입력 비디오와 다른 시점의 제2 입력 비디오를 복호화하는 제2 코덱
을 포함하고,
상기 제2 코덱은,
상기 제1 입력 비디오에 적용된 적응적 루프 필터링(Adaptive Loop Filtering) 계수와 상기 제1 입력 비디오에서 적응적 루프 필터링이 적용된 영역을 나타내는 정보를 이용하여 상기 제2 입력 비디오를 복호화하는 것
을 특징으로 하는 이종 코덱 간 다시점 비디오 복호화 장치.
An apparatus for decoding a multiview video using different heterogeneous codecs,
A first codec for decoding the first input video at one time; And
A second codec that decodes a second input video at a different time point than the first input video by using a result decoded first by the first codec with respect to the first input video
/ RTI >
The second codec is,
Decoding the second input video by using an adaptive loop filtering coefficient applied to the first input video and information indicating a region to which adaptive loop filtering is applied in the first input video.
Multi-view video decoding apparatus between heterogeneous codecs.
KR1020120067510A 2012-06-22 2012-06-22 Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding KR101356890B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120067510A KR101356890B1 (en) 2012-06-22 2012-06-22 Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120067510A KR101356890B1 (en) 2012-06-22 2012-06-22 Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding

Publications (2)

Publication Number Publication Date
KR20140003689A KR20140003689A (en) 2014-01-10
KR101356890B1 true KR101356890B1 (en) 2014-02-03

Family

ID=50140003

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120067510A KR101356890B1 (en) 2012-06-22 2012-06-22 Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding

Country Status (1)

Country Link
KR (1) KR101356890B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020060908A (en) * 2001-01-13 2002-07-19 한국전자통신연구원 Apparatus and Method for delivery of MPEG-4 data synchronized to MPEG-2 data
KR20110007928A (en) * 2009-07-17 2011-01-25 삼성전자주식회사 Method and apparatus for encoding/decoding multi-view picture
KR20120018281A (en) * 2010-08-19 2012-03-02 삼성전자주식회사 Apparatus and method for encoding/decoding multi-layer videos
KR20120063325A (en) * 2010-12-07 2012-06-15 한국전자통신연구원 Apparatus for synchronization of video streams in stereoscopic 3dtv broadcasting systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020060908A (en) * 2001-01-13 2002-07-19 한국전자통신연구원 Apparatus and Method for delivery of MPEG-4 data synchronized to MPEG-2 data
KR20110007928A (en) * 2009-07-17 2011-01-25 삼성전자주식회사 Method and apparatus for encoding/decoding multi-view picture
KR20120018281A (en) * 2010-08-19 2012-03-02 삼성전자주식회사 Apparatus and method for encoding/decoding multi-layer videos
KR20120063325A (en) * 2010-12-07 2012-06-15 한국전자통신연구원 Apparatus for synchronization of video streams in stereoscopic 3dtv broadcasting systems

Also Published As

Publication number Publication date
KR20140003689A (en) 2014-01-10

Similar Documents

Publication Publication Date Title
JP2023085341A (en) Efficient multi-view coding using estimation and update of depth map
KR101276720B1 (en) Method for predicting disparity vector using camera parameter, apparatus for encoding and decoding muti-view image using method thereof, and a recording medium having a program to implement thereof
EP2859724B1 (en) Method and apparatus of adaptive intra prediction for inter-layer coding
KR101854003B1 (en) Video including multi layers encoding and decoding method
WO2015095078A1 (en) Large blocks and depth modeling modes (dmm's) in 3d video coding
JP2017505025A (en) Simple depth coding (SDC) signaling for depth intra prediction mode and depth inter prediction mode in 3D video coding
KR102227279B1 (en) Method and apparatus for video encoding/decoding
KR20100066304A (en) Apparatus and method for encoding depth image
JP2013533714A (en) Multi-view signal codec
US11115674B2 (en) Method and device for inducing motion information between temporal points of sub prediction unit
US20160330480A1 (en) Simplification of segment-wise dc coding of large prediction blocks in 3d video coding
US9615078B2 (en) Multi-view video encoding/decoding apparatus and method
US20170310993A1 (en) Movement information compression method and device for 3d video coding
KR101862498B1 (en) Depth picture coding method and device in video coding
TW201440503A (en) View synthesis in 3D video
KR20150085027A (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, and image decoding program
JP6571646B2 (en) Multi-view video decoding method and apparatus
KR20140124434A (en) A method of encoding and decoding depth information map and an apparatus using it
KR101356890B1 (en) Method and apparatus of inter-view video encoding and decoding in hybrid codecs for multi-view video coding
JP2012028960A (en) Image decoding device, image decoding method and image decoding program
KR20120084628A (en) Apparatus and method for encoding and decoding multi-view image
WO2015141977A1 (en) 3d video encoding/decoding method and device
KR20130078319A (en) Method and device for encoding stereoscopic video
KR101672008B1 (en) Method And Apparatus For Estimating Disparity Vector
KR20230015392A (en) A video encoding/decoding method for signaling a GCI, a computer readable recording medium storing an apparatus and a bitstream

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200106

Year of fee payment: 7