KR101431546B1 - Encoding and decoding method for Multi-view Video and apparatus thereof - Google Patents

Encoding and decoding method for Multi-view Video and apparatus thereof Download PDF

Info

Publication number
KR101431546B1
KR101431546B1 KR1020080026315A KR20080026315A KR101431546B1 KR 101431546 B1 KR101431546 B1 KR 101431546B1 KR 1020080026315 A KR1020080026315 A KR 1020080026315A KR 20080026315 A KR20080026315 A KR 20080026315A KR 101431546 B1 KR101431546 B1 KR 101431546B1
Authority
KR
South Korea
Prior art keywords
picture
block mode
skip block
current picture
skip
Prior art date
Application number
KR1020080026315A
Other languages
Korean (ko)
Other versions
KR20080097914A (en
Inventor
박광훈
박민우
서덕영
김규헌
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to US12/112,520 priority Critical patent/US8917775B2/en
Priority to PCT/KR2008/002496 priority patent/WO2008136607A1/en
Publication of KR20080097914A publication Critical patent/KR20080097914A/en
Application granted granted Critical
Publication of KR101431546B1 publication Critical patent/KR101431546B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 다시점 동영상의 부호화 및 복호화 방법에 관한 것으로서, 본 발명에 따른 다시점 동영상의 부호화 방법은 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하고, 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐의 부호화시 스킵 블록 모드의 적용을 선택적으로 허용함으로써, 화질 향상 및 코딩 효율이 높일 수 있도록 한다.The present invention relates to a method of encoding and decoding a multi-view moving picture. The multi-view moving picture coding method according to the present invention decides whether or not the current picture is an anchor picture. If the current picture is an anchor picture, By selectively allowing the application of the skip block mode, it is possible to improve image quality and improve coding efficiency.

다시점 동영상 부호화 앵커 픽쳐 스킵 블록 모드 Multi-view video encoding anchor picture skip block mode

Description

다시점 동영상의 부호화 및 복호화 방법과 그 장치{Encoding and decoding method for Multi-view Video and apparatus thereof}TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for encoding and decoding a multi-view video,

본 발명은 다시점 동영상 코딩에서의 앵커 픽쳐의 화질 향상을 통해 전체적인 코딩 효율을 향상 시키기 위한 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for improving the overall coding efficiency by improving the picture quality of an anchor picture in multi-view video coding.

다시점 동영상 코딩(Multi-view Video Coding: MVC) 규격은 기존의 동영상 국제 표준인 MPEG-4 part 10 Advanced Video Coding(AVC; H.264)을 기반으로 하여 코딩 성능을 향상시키고 있다. JSVC(Joint Scalable Video Coding)에서는 시간적 스케일러빌리티(temporal scalability)를 지원하기 위해 계층적인 B-픽쳐 (hierarchical B-pictures) 코딩을 수행하고, 또한 뷰간(inter-view)의 예측을 수행하여 코딩 효율을 향상시키고 있다. The multi-view video coding (MVC) standard improves coding performance based on MPEG-4 part 10 Advanced Video Coding (AVC) which is an existing video standard. Joint Scalable Video Coding (JSVC) performs hierarchical B-pictures coding to support temporal scalability and performs inter-view prediction to improve coding efficiency .

본 발명에서는 다시점 동영상의 부호화 및 복호화시, 앵커 픽쳐에 대한 스킵 블록 모드의 적용을 선택적으로 허용하여, 화질 및 코딩 효율을 향상시키기 위한 화질 향상 방법 및 장치를 제공하는 것을 특징으로 한다.The present invention provides a picture quality enhancement method and apparatus for selectively enhancing picture quality and coding efficiency by selectively applying a skip block mode to an anchor picture when encoding and decoding multi-view moving pictures.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 방법은 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 단계와; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 스킵 블록 모드를 적용하지 않는 단계를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of encoding a multi-view moving picture, comprising: determining whether a current picture is an anchor picture; Wherein when the current picture is an anchor picture, skipping a skip block mode when coding the blocks constituting the current picture, and skipping a block to which the skip block mode is applied, do.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 방법은 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 부호화시 스킵 블록 모드의 허용 여부를 결정하는 단계와; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 상기 스킵 블록 모드를 선택적으로 적용하는 단계를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of encoding a multi-view moving picture, the method comprising: determining whether the current picture is allowed to be skipped when the current picture is an anchor picture; And selectively applying the skip block mode when coding the blocks constituting the current picture according to the determination, wherein skipping of the block to which the skip block mode is applied is performed.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 방법은 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하고, 상기 현재 픽쳐의 복원을 위해 이용되는 참조 영상에서 상기 스킵 블록 모드가 적용되는 블록과 같은 영역의 영상 데이터 또는 상기 스킵 블록 모드가 적용되는 블록의 주변 블록들의 움직임 정보에 기초하여 얻어진 움직임 정보에 대응하는 영역의 영상 데이터를 그대로 이용하여 복원하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of encoding multi-view moving pictures, comprising: a step of skipping a block to which the skip block mode is applied, And restores the image data of the area corresponding to the motion information obtained based on the motion information of the neighboring blocks of the block to which the skip block mode is applied, as it is.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 방법은 상기 현재 픽쳐의 픽쳐 타입에 기초하여, 상기 스킵 블록 모드의 적용을 허용할 지 여부를 결정하며, 상기 현재 픽쳐의 픽쳐 타입이 P 타입인 경우, 상기 스킵 블록 모드를 허용하지 않는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method of encoding multi-view moving images, the method comprising: determining whether to apply the skip block mode based on a picture type of the current picture; Is of the P type, it does not allow the skip block mode.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 방법에서 상기 스킵 블록 모드는 MPEG 4, H.264, 및 MVC(Multiview Coding) 규격에 적용되는 스킵 블록 모드 중 하나인 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of encoding a multi-view moving picture according to the present invention, wherein the skip block mode is one of a skip block mode applied to MPEG 4, H.264, and MVC (Multiview Coding) do.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 방법에서는 현재 입력 영상, 참조 영상, 양자화 파라미터, 및 외부 입력 정보들 중 적어도 하나에 기초하여 상기 스킵 블록 모드의 허용 여부를 결정하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of encoding multi-view moving images, the method comprising: determining whether to allow the skip block mode based on at least one of a current input image, a reference image, a quantization parameter, .

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 장치는 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 앵커 픽쳐 판단부와; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 스킵 블록 모드를 적용하지 않는 부호화부를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for encoding multi-view moving pictures, the apparatus comprising: an anchor picture determination unit for determining whether a current picture is an anchor picture; And an encoding unit which does not apply a skip block mode when encoding the blocks constituting the current picture when the current picture is an anchor picture and skipping the encoding of the block to which the skip block mode is applied do.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 장치는 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 부호화시 스킵 블록 모드의 허용 여부를 결정하는 스킵 블록 모드 허용 판단부와; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 상기 스킵 블록 모드를 선택적으로 적용하는 부호화부를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a multi-view moving picture encoding apparatus including: a skip block mode permission determination unit for determining whether to allow a skip block mode in encoding the current picture if the current picture is an anchor picture; And a coding unit for selectively applying the skip block mode when coding the blocks constituting the current picture according to the determination, and skipping the coding for the block to which the skip block mode is applied.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 부호화 장치에서는 상기 부호화부는 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하고, 상기 현재 픽쳐의 복원을 위해 이용되는 참조 영상에서 상기 현재 픽쳐의 상기 스킵 블록 모드가 적용되는 블록과 같은 영역의 영상 데이터 또는 상기 스킵 블록 모드가 적용되는 블록의 주변 블록들의 움직임 정보에 기초하여 얻어진 움직임 정보에 대응하는 영역의 영상 데이터를 그대로 이용하여 복원하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a multi-view moving picture encoding apparatus, wherein the encoding unit skips coding for a block to which the skip block mode is applied, The image data of the area in the same area as the block to which the skip block mode of the current picture is applied, or the image data of the area corresponding to the motion information obtained based on the motion information of the neighboring blocks in the block to which the skip block mode is applied, .

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 복호화 방법은 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 단계와; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 스킵 블록 모드를 적용하지 않는 단계를 포함하며, 상기 스킵 블록 모드가 적용된 블록에 대해서는 복호화를 스킵하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of decoding a multi-view moving picture comprising: determining whether a current picture is an anchor picture; When the current picture is an anchor picture, not applying a skip block mode in decoding the blocks constituting the current picture, and skipping the decoding in the block to which the skip block mode is applied .

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 복호화 방법은 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 복호화시 스킵 블록 모드의 허용 여부를 결정하는 단계와; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 상기 스킵 블록 모드를 선택적으로 적용하는 단계를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for decoding a multi-view moving picture, the method comprising the steps of: determining whether a skip block mode is permitted in decoding the current picture if the current picture is an anchor picture; And selectively applying the skip block mode when decoding the blocks constituting the current picture according to the determination, wherein the decoding is skipped for the block to which the skip block mode is applied.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 복호화 장치는 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 앵커 픽쳐 판단부와; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 스킵 블록 모드를 적용하지 않는 복호화부를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for decoding a multi-view moving picture, the apparatus comprising: an anchor picture determination unit for determining whether a current picture is an anchor picture; And a decoding unit that does not apply a skip block mode when decoding the blocks constituting the current picture when the current picture is an anchor picture, and skips decoding of the block to which the skip block mode is applied do.

상기 기술적 과제를 해결하기 위해, 본 발명에 따른 다시점 동영상의 복호화 장치는 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 복호화시 스킵 블록 모드의 허용 여부를 결정하는 스킵 블록 모드 허용 판단부와; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 상기 스킵 블록 모드를 선택적으로 적용하는 복호화부를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for decoding a multi-view moving picture, the apparatus comprising: a skip block mode permission determiner for determining whether to allow a skip block mode in decoding the current picture if the current picture is an anchor picture; And a decoding unit for selectively applying the skip block mode when decoding the blocks constituting the current picture according to the determination. The decoding unit skips the decoding for the block to which the skip block mode is applied.

상기 기술적 과제는 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 단계와; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 스킵 블록 모드를 적용하지 않는 단계를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 하는 다시점 동영상의 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성될 수 있다.The method includes determining whether the current picture is an anchor picture; Wherein when the current picture is an anchor picture, skipping a skip block mode when coding the blocks constituting the current picture, and skipping a block to which the skip block mode is applied, And a computer-readable recording medium on which a program for implementing a coding method of multi-view moving pictures is recorded.

상기 기술적 과제는 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 부호화시 스킵 블록 모드의 허용 여부를 결정하는 단계와; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 상기 스킵 블록 모드를 선택적으로 적용하는 단계를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 하는 다시점 동영상의 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성될 수 있다.According to another aspect of the present invention, there is provided a method of decoding a current picture, the method comprising the steps of: determining whether the current picture is allowed to be skipped when the current picture is an anchor picture; And selectively applying the skip block mode when coding the blocks constituting the current picture according to the determination, and skipping the coding for the block to which the skip block mode is applied. The present invention can also be achieved by a computer-readable recording medium having recorded thereon a program for implementing a method of encoding a point video.

상기 기술적 과제는 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 단계와; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 스킵 블록 모드를 적용하지 않는 단계를 포함하며, 상기 스킵 블록 모드가 적용된 블록에 대해서는 복호화를 스킵하는 것을 특징으로 하는 다시점 동영상의 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성될 수 있다. The method includes determining whether the current picture is an anchor picture; Wherein if the current picture is an anchor picture, applying a skip block mode is not applied in decoding the blocks constituting the current picture, and skipping decoding is applied to a block to which the skip block mode is applied The present invention can also be achieved by a computer-readable recording medium on which a program for implementing a decoding method of multi-view moving pictures is recorded.

상기 기술적 과제는 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 복호화시 스킵 블록 모드의 허용 여부를 결정하는 단계와; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 상기 스킵 블록 모드를 선택적으로 적용하는 단계를 포함하며, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하는 것을 특징으로 하는 다시점 동영상의 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성될 수 있다.According to another aspect of the present invention, there is provided a method of decoding a current picture, the method comprising the steps of: determining whether a current picture is an anchor picture; And selectively applying the skip block mode when decoding the blocks constituting the current picture according to the determination, wherein decoding is skipped for the block to which the skip block mode is applied The present invention can also be achieved by a computer-readable recording medium on which a program for implementing a method of decoding a point video is recorded.

다시점 동영상 코딩시, 뷰 간 참조만 허용하는 앵커 픽쳐에 대해 스킵 블록 모드를 선택적으로 적용하여 화질 및 코딩 효율을 향상시키는 효과가 있다.When coding a multi-view video, the skip block mode is selectively applied to an anchor picture which allows only inter-view reference, thereby improving picture quality and coding efficiency.

도 1은 다시점 동영상 코딩에서 8개의 뷰가 존재할 경우의 예로써 시간 방향의 GOP(Group of Pictures)의 크기가 8일 경우의 예측 구조를 보여준다. 여기에서, S0, S1, S2, S3, S4, S5, S6, 및 S7은 각각 하나의 뷰(view)를 나타내고, T0, T1, T2, T3, . . . , T100은 시간 방향의 영상을 나타낸다.FIG. 1 shows a prediction structure when a size of a group of pictures (GOP) in a temporal direction is 8, as an example when there are eight views in multi-view video coding. Here, S0, S1, S2, S3, S4, S5, S6 and S7 each represent one view, and T0, T1, T2, T3,. . . , And T100 represents an image in the time direction.

도 1에서 각 뷰의 시간 방향의 코딩에서는 계층적인 B-픽쳐 구조를 사용하여 예측을 수행하고 있고, 각 뷰의 첫 번째 시간 (T0)의 영상들과 그 이후로 시간 방향으로 8(=N) 프레임씩 떨어져 있는 영상, 즉 시간 방향의 GOP 크기인 N 만큼 떨어져 있는 영상들인 T8, T16, T24, .. . . 영상들을 앵커 픽쳐(anchor picture)라고 부른다. In FIG. 1, prediction is performed using a hierarchical B-picture structure in the coding in the temporal direction of each view, and images in the first time (T0) of each view and 8 (= N) T8, T16, T24, ..., which are pictures separated by frames, that is, N pictures separated by GOP size in the time direction. . The images are called anchor pictures.

앵커 픽쳐들의 경우에는 뷰 방향으로부터의 예측만을 수행하는데, S2 뷰는 동일한 시간대의 S0 뷰로부터, S1 뷰는 동일한 시간대의 S0 뷰와 S2 뷰로부터 예측을 수행한다. 또한, S4 뷰는 동일한 시간대의 S0 뷰로부터, S3 뷰는 동일한 시간대의 S2 뷰와 S4 뷰로부터 예측을 수행한다. 또한, S6 뷰는 동일한 시간대의 S4 뷰로부터, S5 뷰는 동일한 시간대의 S4 뷰와 S6 뷰로부터 예측을 수행한다. 또한, 또한, S7 뷰는 마지막 뷰이기 때문에, 동일한 시간대의 S6 뷰로부터 예측만을 수행한다.In the case of anchor pictures, only the prediction from the view direction is performed. From the S0 view in the same time zone S2 view, the S1 view performs prediction from the S0 view and the S2 view in the same time zone. Also, the S4 view performs prediction from the S0 view in the same time zone, and the S3 view predicts from the S2 view and the S4 view in the same time zone. In addition, the S6 view performs prediction from the S4 view in the same time zone, and the S5 view predicts from the S4 view and the S6 view in the same time zone. Also, since the S7 view is the last view, only the prediction is performed from the S6 view in the same time zone.

앵커 픽쳐가 아닌 픽쳐(non-anchor picture)에서는 기본적으로 시간 방향(temporal-direction)의 예측을 수행한다. 도 1에 도시된 예시적인 실시예에서 는 매 두번째 뷰, 즉 S1, S3, S5, 및 S7에서는 이웃하는 뷰로부터의 예측을 함께 수행한다. 즉, S1 뷰는 S0 뷰와 S2 뷰로부터, S3 뷰는 S1 뷰와 S4 뷰로부터, S5 뷰는 S3 뷰와 S6 뷰로부터 예측을 수행한다.In a non-anchor picture, temporal-direction prediction is basically performed. In the exemplary embodiment shown in FIG. 1, the predictions from neighboring views are performed together in every second view, S1, S3, S5, and S7. That is, the S1 view predicts from the S0 view and the S2 view, the S3 view from the S1 view and the S4 view, and the S5 view from the S3 view and the S6 view.

앵커 픽쳐는 앵커 픽쳐가 아닌 픽쳐에 의해서 참조가 되는 기본적인 픽쳐이고, 또 다른 앵커 픽쳐의 예측에 영향을 주는 픽쳐이다. 따라서, 앵커 픽쳐의 화질에 따라서 앵커 픽쳐를 참조하는 픽쳐의 화질이 영향을 받고, 또한 지속적인 예측 효율에 영향을 미치게 된다. 만약, 앵커 픽쳐의 화질이 나쁘게 되면, 지속적으로 예측에 영향을 주어 전체적인 화질이 떨어지게 된다.The anchor picture is a basic picture referred to by a picture other than an anchor picture, and is a picture that influences prediction of another anchor picture. Therefore, the picture quality of the picture referring to the anchor picture is affected depending on the picture quality of the anchor picture, and the continuous prediction efficiency is affected. If the picture quality of the anchor picture is bad, the picture quality is deteriorated due to the continuous influence on the prediction.

아래에서는, 도 2(a) 내지 (f)를 참조하여 앵커 픽쳐의 화질이 전체적인 코딩 효율에 미치는 영향을 설명한다. Hereinafter, the influence of the picture quality of the anchor picture on the overall coding efficiency will be described with reference to Figs. 2 (a) to 2 (f).

도 2(a)는 T0 시간의 S2 뷰에서 P 픽쳐 타입의 앵커 픽쳐인 T0/S2(P0)와 T8 시간의 S2 뷰에서 P 픽쳐 타입의 앵커 픽쳐인 T8/S2(P0)는 앵커 픽쳐 T0/S2(P0)와 T8/S2(P0)가 참조하는 앵커 픽쳐인 TO/S0(I0)를 제외하고, GOP 내의 모든 픽쳐에 영향을 미치게 된다. 즉, 앵커 픽쳐 T0/S2(P0)와 T8/S2(P0)의 화질이 저하되는 경우, GOP 내의 전체 픽쳐에 영향을 미치게 되어, 결국 시퀀스 전체의 예측 효율과 코딩 성능에 상당한 영향을 줄 것이다.2 (a) is an anchor picture-in-T8 / S2 (P 0) of the type P picture from view S2 of T0 / S2 (P 0) and the T8 time in S2 view of a T0 time P anchor picture of the picture type is an anchor picture except T0 / S2 (P 0) and T8 / S2 of tO / S0 anchor picture to reference (P 0) (I 0), and affects all picture in the GOP. In other words, when the anchor pictures T0 / S2 (P 0) and T8 / S2 quality of (P 0) decreases, the influence on the entire picture in the GOP, after all have a significant effect on the overall prediction efficiency and coding performance sequence will be.

아래에서는 도 2(b) 내지 도 2(f)를 참조하여, 앵커 픽쳐 T0/S2(P0)와 T8/S2(P0)의 화질이 저화될 경우, 나머지 앵커 픽쳐들 및 앵커 픽쳐가 아닌 픽쳐들 에 미치는 영향을 살펴본다.In reference to Figure 2 (b) through Fig. 2 (f) below, when the anchor pictures T0 / S2 (P 0) and T8 / S2 quality of (P 0) is deteriorates, and the other anchor pictures and non-anchor picture We examine the effect on the pictures.

도 2(b)에서와 같이 앵커 픽쳐 T0/S2(P0)와 T8/S2(P0)의 화질이 저하되는 경우, 앵커 픽쳐 T0/S2(P0)와 T8/S2(P0)를 직접적으로 참조하는 앵커 픽쳐들 T0/S1(B1), T0/S3(B1), T0/S4(P0), T8/S1(B1), T8/S3(B1), 및 T8/S4(P0)의 예측 효율이 떨어져 화질의 저하가 발생하게 된다.Figure 2 (b) the anchor pictures T0 / S2 (P 0) and T8 / S2 when the degradation, of (P 0), anchor picture T0 / S2 (P 0) and T8 / S2 (P 0) as shown in the anchor picture for direct reference to T0 / S1 (B 1), T0 / S3 (B 1), T0 / S4 (P 0), T8 / S1 (B 1), T8 / S3 (B 1), and T8 / the prediction efficiency of S4 (P 0) is the deterioration of the image quality occurs away.

또한, 도 2(c)에서와 같이 화질이 저하된 앵커 픽쳐 T0/S2(P0)와 T8/S2(P0)를 참조하여, 화질이 보다 더 저하된 앵커 픽쳐 T0/S4(P0)와 T8/S4(P0)를 참조하는 앵커 픽쳐들 T0/S5(B1), T0/S6(P0), T8/S5(B1), 및 T8/S6(P0)의 예측 효율은 더 떨어져 화질의 저하가 발생하게 된다.In addition, FIG. 2 (c) the anchor pictures T0 / S2 (P 0) the image quality is degraded as in the T8 / S2 (P 0), the image quality is more anchor pictures T0 / S4 (P 0) lower than that with reference to and T8 / S4 anchor picture of T0 / S5 (B 1) that refers to the (P 0), T0 / S6 (P 0), T8 / S5 (B 1), and T8 / S6 prediction efficiency of (P 0) is The image quality deteriorates further.

이와 같이, 예측 효율의 파급은 연속적으로 발생되는데, 그림 2의 (d)와 같이 예측 효율이 떨어져 화질이 보다 더 저하된 앵커 픽쳐 T0/S6(P0)와 T8/S6(P0)를 참조하는 앵커 픽쳐들 T0/S7(P0), 및 T8/S7(P0)은 예측 효율이 더욱 떨어져 화질이 지속적으로 저하하게 된다.Thus, with reference to the ripple of the prediction efficiency there is generated continuously, the prediction efficiency of the image quality is more degraded the anchor pictures T0 / S6 (P 0) and T8 / S6 more apart (P 0) as shown in (d) of Figure 2, an anchor picture of T0 / S7 (P 0), and T8 / S7 (P 0) that is the further away from the prediction efficiency image quality is continuously lowered.

도 2(e) 및 도 2(f)는 앵커 픽쳐들의 화질이 저하가 발생한 상황에서 기본적으로 앵커 픽쳐를 참조하여 예측을 수행하는 앵커가 아닌 픽쳐(non-anchor picture)의 화질 역시 지속적으로 저하하게 되는 것을 나타낸다.2 (e) and 2 (f), the picture quality of a non-anchor picture which basically performs prediction with reference to an anchor picture in a situation where the picture quality of the anchor pictures is degraded is also continuously decreased .

예를 들어, S2 뷰에서의 앵커가 아닌 픽쳐의 예측을 순차적으로 살펴보면, 화질이 저하된 앵커 픽쳐 T0/S2(P0)와 T8/S2(P0)를 참조하는 T4 시간에서의, S2 뷰에서의 T4/S2(B1) 픽쳐의 예측 효율이 떨어져서 화질의 저하가 발생하게 된다. 또한, 앵커와 앵커 픽쳐(T0/S2 (P0), T8/S2 (P0))와 화질의 저하가 발생한 픽쳐 T4/S2(B1)를 참조하는 픽쳐 T2/S2(B2) 및 픽쳐 T6/S2(B2)의 예측 효율은 더욱 떨어질 것이다. 그외에도, 계속해서 나머지 S2의 B3 픽쳐들도 예측 효율의 저하가 많이 발생될 것이다.For example, a look at the prediction of the picture is not the anchor in view S2 sequentially,, view S2 at T4 time for the image quality, refer to the lowering anchor pictures T0 / S2 (P 0) and T8 / S2 (P 0) the T4 / S2 (B 1) of the picture at the prediction efficiency is a reduction in image quality occurs away. In addition, the anchor and the anchor picture (T0 / S2 (P 0) , T8 / S2 (P 0)) with the picture T2 / S2 (B 2) and a picture that references a picture T4 / S2 (B 1) caused the deterioration of the image quality prediction efficiency of T6 / S2 (B 2) will further decrease. In addition, the prediction efficiency of the remaining B3 pictures of the remaining S2 will continue to decrease.

이와 같이, 다시점 동영상 코딩의 경우, 앵커 픽쳐의 영상 화질이 각각의 GOP 내의 다른 영상들에게 상당한 영향을 미치며, 따라서 동영상 시퀀스에 대한 전체적인 코딩 효율에 많은 영향을 주고 있다.As described above, in the case of multi-view video coding, the image quality of the anchor picture significantly affects other images in the respective GOPs, thus greatly affecting the overall coding efficiency of the moving image sequence.

H.264 등의 전형적인 동영상 코딩 방법에서는, 프레임간 예측을 수행하는 블록 모드 중 스킵 블록 모드(Skip block mode)가 존재한다. 스킵 블록 모드는 예측하는 프레임의 같은 위치의 블록을 그대로 가져오거나, 주변블록들의 움직임 벡터를 이용한 예측을 통해 얻어진 움직임 벡터의 변위에서 블록크기 영역을 그대로 가져오는 방법으로서, 잔여(residual) 영상을 포함한 블록의 데이터를 코딩하지 않는 모드이다. In a typical video coding method such as H.264, there is a skip block mode among the block modes for performing inter-frame prediction. In the skip block mode, a block at the same position in a predicted frame is directly imported, or a block size region is directly extracted from a displacement of a motion vector obtained through prediction using motion vectors of neighboring blocks. It is a mode that does not code block data.

예를 들어, MPEG 4에서의 스킵 블록 모드는 매크로블록의 정보를 전혀 보내지 않고 공간적으로 같은 위치에 있는, 즉 움직임 벡터가 0에 해당하는 화소를 부호화 영상으로 사용하는 모드이다.For example, the skip block mode in MPEG-4 is a mode in which macroblock information is not transmitted at all but pixels that are spatially in the same position, i.e., a pixel whose motion vector is 0 is used as an encoded image.

또한, H.264/AVC에서의 스킵 블록 모드는 움직임 벡터가 0에 해당하는, 즉 공간적으로 같은 위치에 있는 화소를 사용하는 것이 아니라, 움직임 벡터를 예측하고, 그 결과에 기초하여 움직임 보상을 수행한 예측 신호를 부호화 영상으로 사용하는 모드이다.In addition, the skip block mode in H.264 / AVC does not use a pixel whose motion vector corresponds to 0, that is, spatially the same position, but a motion vector is predicted and motion compensation is performed based on the result And a prediction signal is used as an encoded image.

이와 같이, 스킵 블록 모드에서는, 부호화시 해당 블록의 영상 데이터에 대해 코딩을 수행하지 않고, 복호화시 참조 영상에서 현재 블록과 같은 위치의 영역의 영상 데이터 또는 현재 블록의 주변 블록들의 움직임 정보로부터 움직임 정보를 유도하여, 유도한 움직임 정보에 대응하는 영역의 영상 데이터를 그대로 가져와서 해당 블록을 복원한다. In this manner, in the skip block mode, coding is not performed on the video data of the corresponding block at the time of coding, and motion information of motion data of the current block, And the image data of the area corresponding to the derived motion information is directly acquired and the corresponding block is restored.

따라서, 앵커 픽쳐에서 스킵 블록 모드가 선택되는 경우에는, 뷰 간에 발생한 휘도 신호 또는 색차 신호의 레벨의 차이를 잔여(residual) 영상에 포함해서 코딩하지 않는다. 따라서, 스킵 블록 모드로 선택된 앵커 픽쳐 부분에서 화질 열화가 발생할 수 있으며, 이들 앵커 픽쳐들에서 발생된 화질 열화가 해당 앵커 픽쳐를 참조하는 다른 영상들에게 전파될 가능성이 매우 크다.Therefore, when the skip block mode is selected in the anchor picture, the difference between the level of the luminance signal or the color difference signal generated between the views is not included in the residual image and is not coded. Therefore, picture quality deterioration may occur in an anchor picture portion selected in a skip block mode, and the deterioration of picture quality generated in these anchor pictures is highly likely to be propagated to other pictures referring to the anchor picture.

다시점 동영상 코딩 국제 표준 방법에 적용된 휘도 신호 보상 방법 (Iilumination compensation: IC)에서는 스킵 블록 모드에서도 휘도 보상값(illumination compentation offset)을 주변 블록으로부터 예측해서 보상을 수행할 수 있다. 하지만, 주변 블록에 휘도 보상값이 존재하지 않는다면, 스킵 블록 모드로 부호화가 수행된 블록에서는 화질 열화가 발생한다.In multi-view video coding, the illumination compensation method (IC) applied to the international standard method can perform compensation by predicting the illumination compen- tation offset from the neighboring blocks even in the skip block mode. However, if there is no luminance compensation value in the neighboring blocks, picture quality deterioration occurs in the block in which the coding is performed in the skip block mode.

또한, 주관적 화질 측면에서의 문제로서, 해당 스킵 블록 모드가 적용된 블록에 대해 휘도 보상을 수행했더라도, 색차 신호에 대한 보상 값은 전혀 존재하지 않기 때문에, 화질 열화가 심하게 발생할 수 있다. In addition, as a problem in terms of subjective image quality, even if luminance compensation is performed on the block to which the skip block mode is applied, there is no compensation value for the color difference signal, so image quality deterioration may occur severely.

예를 들어, 다시점 동영상 코딩 소프트웨어 JMVM 버전 2.3에서 Race1 QVGA 30Hz 영상 시퀀스를 코딩하는 경우, 다시점 동영상 코딩 국제 표준 방법에 사용된 휘도 신호 보상 방법을 사용하고, 양자화 파라미터(Quantization Parameter)를 37로 하여 코딩한 2번 뷰의 앵커 픽쳐의 복호화된 영상의 화질을 비교하면, 스킵 블록 모드가 선택된 영역에서, 주변 영역과 상당한 화질 차이 또는 블록킹 효과(blocking artifacts)가 나타난다.For example, when coding a Race1 QVGA 30 Hz image sequence in the multi-view video coding software JMVM version 2.3, the luminance signal compensation method used in the multi-view video coding international standard method is used and the quantization parameter is set to 37 And comparing the picture quality of the decoded picture of the anchor picture of the second view coded by the coded block view, a significant difference in picture quality or blocking artifacts occurs in the selected area in the skip block mode.

이러한 화질 열화 현상은 상기 복호화된 영상을 각 성분, 즉 Y, U, V 성분 별로 출력한 결과를 비교함으로써 쉽게 알 수 있다. 이러한 화질 열화 현상 때문에, 스킵 블록 모드가 적용된 영상을 참조하여 예측 코딩을 수행하는 픽쳐들의 예측 효율이 떨어지게 된다.Such image deterioration phenomenon can be easily found by comparing the results of outputting the decoded image for each component, i.e., Y, U, and V components. Due to such deterioration in image quality, the prediction efficiency of the pictures for performing the prediction coding with reference to the image to which the skip block mode is applied is reduced.

또한, 상기 Race1 QVGA 30Hz 영상 시퀀스를 코딩한 2번 뷰의 앵커 픽쳐를 참조하여 4번 뷰의 앵커 픽쳐에 대해 예측 코딩을 수행하면, 2번 뷰의 앵커 픽쳐의 화질 열화가 4번 뷰의 앵커 픽쳐로 에러가 전파되는 것을 확인할 수 있다. When prediction coding is performed on the anchor picture of the 4th view with reference to the anchor picture of the 2nd view coding the Race1 QVGA 30Hz video sequence, if the picture quality deterioration of the anchor picture of the 2th view is the anchor picture of the 4th view It can be confirmed that the error is propagated.

이와 같이 화질 열화가 앵커 픽쳐에 나타나게 되면, 해당 앵커 픽쳐를 다른 픽쳐들이 참조 사용하기 때문에, 현재 코딩되는 전체 시퀀스에 대한 코딩 효율을 전체적으로 저하시키게 된다.When the deterioration of image quality occurs in the anchor picture as described above, the coding efficiency of the entire sequence to be currently coded is deteriorated as a whole because the other pictures refer to the anchor picture.

본 발명에서는 다시점 동영상 코딩의 앵커 픽쳐에서 발생하는 화질 열화를 제거하거나 최소화하여, 앵커 픽쳐를 참조하는 픽쳐의 예측의 효율을 향상시켜, 전체적인 코딩 효율과 주관적인 화질 향상을 위해, 앵커 픽쳐에 대한 스킵 블록 모드 의 적용을 선택적으로 허용한다.In the present invention, the picture quality deterioration occurring in the anchor picture of the multi-view moving picture coding is eliminated or minimized to improve the efficiency of prediction of the picture referring to the anchor picture, and in order to improve the overall coding efficiency and the subjective picture quality, And selectively permits the application of the block mode.

본 발명의 일 실시예에서는 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐의 부호화시 스킵 블록 모드를 허용하지 않는 방식을 채택하고 있다.In an embodiment of the present invention, when the current picture is an anchor picture, a scheme of not allowing a skip block mode in coding the current picture is adopted.

본 발명의 또 다른 실시예에서는 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐의 부호화시 현재 픽쳐의 픽쳐 타입에 따라 스킵 블록 모드를 선택적으로 허용하는 방식을 채택하고 있다.In another embodiment of the present invention, when the current picture is an anchor picture, a scheme of selectively allowing a skip block mode according to a picture type of a current picture is adopted.

본 발명의 또 다른 실시예에서는 앵커 픽쳐에 대한 스킵 블록 모드의 적용 여부를 유연하게 허용하고, 스킵 블록 모드 관련 정보에 대한 코딩 여부를 플래그(flag)를 이용하여 전송하는 방식을 채택하고 있다.In another embodiment of the present invention, a scheme of allowing a skip block mode to be applied to an anchor picture is flexibly allowed, and a flag is used to transmit whether skip block mode related information is coded.

도 3은 본 발명에 따른 다시점 동영상 부호화 장치를 도시하는 블록도이다.3 is a block diagram illustrating a multi-view video encoding apparatus according to the present invention.

도 3에 도시된 다시점 동영상 부호화 장치는 앵커 픽쳐 판단부(320) 및 부호화부(340)를 포함한다.The multi-view moving picture coding apparatus shown in FIG. 3 includes an anchor picture determination unit 320 and an encoding unit 340.

앵커 픽쳐 판단부(320)는 입력된 현재 영상의 앵커 픽쳐 판단 정보, 예를 들어 입력 영상의 헤더 정보를 이용하여 현재 픽쳐가 앵커 픽쳐인지 여부를 결정한다. 현재 픽쳐가 앵커 픽쳐인 경우에는, 부호화부(340)가 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 부호화부(340)로 전송한다.The anchor picture determination unit 320 determines whether the current picture is an anchor picture by using the anchor picture determination information of the current image, for example, the header information of the input image. If the current picture is an anchor picture, the coding unit 340 transmits a control signal to the coding unit 340 so that the current picture does not apply the skip block mode.

부호화부(340)는 앵커 픽쳐 판단부(320)로부터 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 수신하는 경우, 스킵 블록 모드를 적용하지 않고, 현재 픽쳐에 대해 부호화를 수행한다. 앵커 픽쳐 판단부(320)로부터 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 수신하지 않거나, 스킵 블록 모드의 적용을 허용하는 제어 신호를 수신하는 경우에는 현재 픽쳐에 대해 선택적으로 스킵 블록 모드에 따라 부호화를 수행한다. 예를 들어, 현재 픽쳐의 부호화시 현재 픽쳐의 영상 데이터에 대한 부호화를 스킵하고, 복호화시 참조 영상에서 현재 블록과 같은 위치의 영역의 영상 데이터 또는 현재 블록의 주변 블록들의 움직임 정보로부터 움직임 정보를 유도하여, 유도한 움직임 정보에 대응하는 영역의 영상 데이터를 그대로 가져와서 해당 블록을 복원한다.When receiving a control signal for not applying the skip block mode to the current picture from the anchor picture determination unit 320, the encoding unit 340 performs encoding on the current picture without applying the skip block mode. When receiving a control signal for not applying the skip block mode to the current picture from the anchor picture determination unit 320 or receiving a control signal for permitting the application of the skip block mode, The encoding is performed according to the mode. For example, when encoding a current picture, coding of the current picture is skipped, motion information is derived from motion data of neighboring blocks of the current block or image data of a region in the same position as the current block, , The image data of the area corresponding to the derived motion information is taken as it is and the corresponding block is restored.

현재 픽쳐의 복원을 위해 사용될 참조 영상에 대한 정보만을 부호화한다. 부호화부(340)는 스킵 블록 모드를 지원하는 기존의 영상 인코더를 사용할 수 있다. 부호화부(340)는 현재 픽쳐에 대해 스킵 블록 모드를 적용한 경우, 스킵 블록 모드가 적용되었음을 나타내는 정보를 부호화하여 출력한다.Only information on a reference picture to be used for reconstruction of the current picture is encoded. The encoding unit 340 may use an existing video encoder supporting the skip block mode. When the skip block mode is applied to the current picture, the encoding unit 340 encodes and outputs information indicating that the skip block mode is applied.

부호화부(340)는 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않은 경우, 스킵 블록 모드가 적용되지 않았음을 나타내는 정보를 부호화하여 출력한다. 하지만, 선택적으로 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐에 대한 스킵 블록 모드의 적용 여부를 나타내는 정보, 예를 들어 신택스(syntax element)를 코딩하지 않고, 즉 비트스트림에 삽입하지 않도록 할 수 있다.When the skip block mode is not applied to the current picture, the encoding unit 340 encodes and outputs information indicating that the skip block mode is not applied. Alternatively, when the current picture is an anchor picture, information indicating whether or not the skip block mode is applied to the current picture, for example, a syntax element, may not be coded, i.e., inserted into the bitstream.

스킵을 표시하는 신택스의 일 예로, 다시점 동영상 코딩 표준 규격에서는, CABAC(Context-based Adaptive Binary Arithmetic Coding) 방법의 경우에는, 현재 블록이 스킵 블록 모드가 적용된 블록인지 아닌지를 나타내는 "mb_skip_flag"를 사용하고, CAVLC (Context-based Adaptive Variable Length Coding) 방법의 경우에는 연속되는 스킵 블록의 개수를 코딩하는 "mb_skip_run"를 사용한다. As an example of a syntax for displaying a skip, in the multi-view video coding standard specification, in the case of the CABAC (Context-based Adaptive Binary Arithmetic Coding) method, "mb_skip_flag" indicating whether or not the current block is a block to which the skip block mode is applied Quot; mb_skip_run "for coding the number of consecutive skip blocks in the case of a Context-based Adaptive Variable Length Coding (CAVLC) method.

따라서, 현재 픽쳐가 앵커 픽쳐인 경우, 스킵 블록 모드의 여부 정보를 코딩하지 않는 하나의 일 예로는, 다시점 동영상 코딩에서 CABAC 방법을 사용하는 경우 "mb_skip_flag" 정보를 코딩하지 않고, CAVLC 방법을 사용할 경우에는 "mb_skip_run" 정보를 코딩하지 않는 방식이 있다. Therefore, when the current picture is an anchor picture, as an example of not coding information of the skip block mode, in the case of using the CABAC method in multi-view video coding, it is possible to use the CAVLC method without coding "mb_skip_flag" In this case, there is a method of not coding "mb_skip_run" information.

표 1은 도 3에 도시된 본 발명의 일 실시예를 구현하기 위한 일 예로서, 다시점 동영상 코딩에 사용되는 "Slice data syntax"를 본 실시예가 구현될 수 있도록 수정된 신택스의 일 예이다. Table 1 is an example of a syntax modified to allow the present embodiment to be implemented with the "Slice data syntax" used for multi-view video coding, as an example for implementing an embodiment of the present invention shown in FIG.

Figure 112008020614566-pat00001
Figure 112008020614566-pat00001

표 1에서, "anchor_pic_flag"는 현재 슬라이스의 NAL(Network Abstraction Layer) 유닛에 포함이 되어있는 정보로써 현재 픽쳐가 앵커픽쳐 인지 여부를 알려준다. 예를 들어, 현재 픽쳐가 앵커 픽쳐인 경우 'anchor_pic_flag = 1' 이다.In Table 1, "anchor_pic_flag" is information included in the Network Abstraction Layer (NAL) unit of the current slice, and indicates whether the current picture is an anchor picture or not. For example, if the current picture is an anchor picture, 'anchor_pic_flag = 1'.

즉, 본 실시예에서는 현재 픽쳐가 앵커 픽쳐의 경우, 현재 픽쳐에 대한 부호화를 스킵하는, 스킵 블록 모드를 적용하지 않는 방식을 채택하고 있다. 따라서, 현재 픽쳐가 앵커 픽쳐인 경우, 스킵 블록 모드 여부를 나타내는 "mb_skip_flag"와 "mb_skip_run"를 코딩하지 않아도 된다. 왜냐하면, 디코더에서도 현재 픽쳐가 앵커 픽쳐인 경우, 이에 대해 스킵 블록 모드가 적용되지 않았다는 것을 판단할 수 있기 때문이다.That is, in the present embodiment, when the current picture is an anchor picture, a scheme of skipping the coding for the current picture, which does not apply the skip block mode, is adopted. Therefore, when the current picture is an anchor picture, it is not necessary to code "mb_skip_flag" and "mb_skip_run" This is because, if the current picture is an anchor picture in the decoder, it can be determined that the skip block mode is not applied to the current picture.

한편, 기존의 다시점 동영상 코딩 규격과 호환될 수 있도록, 현재 블록에 대해 스킵 블록 모드의 적용 여부를 나타내는 별도의 플래그를 이용하는 것도 가능하다.It is also possible to use a separate flag indicating whether or not the skip block mode is applied to the current block so as to be compatible with the existing multi-view video coding standard.

도 4는 도 3에 도시된 다시점 동영상 부호화 장치에서 수행되는 영상 부호화 방법을 설명하기 위한 흐름도이다. 4 is a flowchart illustrating an image encoding method performed by the multi-view video encoding apparatus shown in FIG.

도 4에 도시된 실시예에서는 앵커 픽쳐에서 스킵 블록 모드의 적용 여부를 제어하기 위해, 현재 픽쳐가 앵커 픽쳐인 경우, 스킵 블록 모드의 적용을 허용하지 않는다. In the embodiment shown in FIG. 4, in order to control whether the skip block mode is applied to an anchor picture, when the current picture is an anchor picture, the application of the skip block mode is not permitted.

단계 420에서는 현재 픽쳐가 앵커 픽쳐인지 여부를 결정한다. 예를 들어, 입력 영상의 헤더 정보에 기초하여 현재 픽쳐가 앵커 픽쳐인지 여부를 결정한다.In step 420, it is determined whether or not the current picture is an anchor picture. For example, it is determined whether or not the current picture is an anchor picture based on the header information of the input image.

단계 440에서는 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐의 부호화시 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않는다. 한편, 현재 픽쳐가 앵커 픽쳐가 아닌 경우에는, 현재 픽쳐에 대해 기존의 부호화 프로세스를 수행하며, 스킵 블록 모드의 적용을 허용한다.In step 440, when the current picture is an anchor picture, a skip block mode is not applied to the current picture when the current picture is coded. On the other hand, if the current picture is not an anchor picture, the existing coding process is performed on the current picture, and the application of the skip block mode is permitted.

도 5는 본 발명의 또 다른 실시예에 따른 다시점 동영상 부호화 장치를 도시하는 블록도이다.5 is a block diagram illustrating a multi-view video encoding apparatus according to another embodiment of the present invention.

도 5에 도시된 다시점 동영상 부호화 장치는 스킵 블록 모드 허용 판단부(520) 및 부호화부(540)를 포함한다.The multi-view moving picture coding apparatus shown in FIG. 5 includes a skip block mode permitting unit 520 and an encoding unit 540.

스킵 블록 모드 허용 판단부(520)는 앵커 픽쳐 판단 정보 및 픽쳐 타입 정보를 입력받고, 현재 픽쳐에 대한 스킵 블록 모드의 허용 여부를 결정한다. 예를 들어, 입력 영상의 헤더 정보를 이용하여 현재 픽쳐가 앵커 픽쳐인지 여부 및 현재 픽쳐의 픽쳐 타입에 따라서 현재 픽쳐에 대한 스킵 블록 모드의 적용 여부를 결정한다. 예를 들어, 현재 픽쳐가 앵커 픽쳐이고, P 픽쳐인 경우, 현재 픽쳐에 대해 스킵 블록 모드를 허용하지 않는다. 하지만, 현재 픽쳐가 앵커 픽쳐이고, B 픽쳐인 경우, 현재 픽쳐에 대해 스킵 블록 모드를 허용한다.The skip block mode permitting unit 520 receives the anchor picture determination information and the picture type information, and determines whether or not to permit the skip block mode for the current picture. For example, using the header information of the input image, it is determined whether or not the current picture is an anchor picture and whether the skip block mode is applied to the current picture according to the picture type of the current picture. For example, if the current picture is an anchor picture and the current picture is a P picture, skip block mode is not allowed for the current picture. However, if the current picture is an anchor picture and the current picture is a B picture, a skip block mode is allowed for the current picture.

이는, 스킵 블록 모드를 허용하지 않는 경우, 잔여 영상 및 예측 정보를 코딩하기 때문에, 스킵 블록 모드를 허용하는 것에 비해 상대적으로 비트량이 늘어나게 된다. 따라서, 모든 앵커 픽쳐에 스킵 블록 모드를 허용하지 않는 방법을 사용하면 비트량이 상당히 많이 늘어날 수 있다.This is because, when the skip block mode is not allowed, the residual image and the prediction information are coded, so that the bit amount is relatively increased as compared with the case of allowing the skip block mode. Therefore, if the method of not allowing the skip block mode for all anchor pictures is used, the amount of bits can be significantly increased.

따라서, 도 1에서와 같이 지속적으로 다른 앵커 픽쳐의 예측에 영향을 주는 P 픽쳐의 경우에는 스킵 블록 모드를 허용하지 않고, 다른 앵커 픽쳐의 예측에 영향을 주지 않는 B 픽쳐의 경우에는 스킵 블록 모드를 허용한다. 1, a skip block mode is not allowed in the case of a P picture that continuously affects the prediction of another anchor picture, and a skip block mode is set in a case of a B picture that does not affect the prediction of another anchor picture Allow.

또한, B 픽쳐의 경우, 예를 들어 도 1의 S1 뷰에서와 같이, 동일 시간대의 S0 뷰와 S2 뷰로부터 예측을 수행하기 때문에, 스킵 블록 모드를 허용하더라도, 화질 열화가 크지 않다.In the case of the B picture, prediction is performed from the S0 view and the S2 view in the same time zone as in the S1 view of Fig. 1, for example, even if the skip block mode is allowed, the image deterioration is not large.

스킵 블록 모드 허용 판단부(520)는 현재 픽쳐가 앵커 픽쳐이고, P 픽쳐인 경우에는, 부호화부(540)가 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 부호화부(540)로 전송한다.If the current picture is an anchor picture and the current picture is a P picture, the skip block mode permission determination unit 520 outputs a control signal to the coding unit 540 to prevent the coding unit 540 from applying the skip block mode to the current picture send.

부호화부(540)는 스킵 블록 모드 허용 판단부(520)로부터 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 수신하는 경우, 스킵 블록 모드를 적용하지 않고, 현재 픽쳐에 대해 부호화를 수행한다. 스킵 블록 모드 허용 판단부(520)로부터 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 수신하지 않거나, 스킵 블록 모드의 적용을 허용하는 제어 신호를 수신하는 경우에는 현재 픽쳐에 대해 선택적으로 스킵 블록 모드를 적용한다. When receiving the control signal for not applying the skip block mode to the current picture from the skip block mode permission determination unit 520, the encoding unit 540 performs encoding on the current picture without applying the skip block mode do. When receiving a control signal for not applying the skip block mode to the current picture from the skip block mode permission determining unit 520 or receiving a control signal for allowing the application of the skip block mode, Apply the skip block mode.

부호화부(540)는 스킵 블록 모드를 지원하는 기존의 영상 인코더를 사용할 수 있다. 부호화부(540)는 현재 픽쳐에 대해 스킵 블록 모드를 적용한 경우, 스킵 블록 모드가 적용되었음을 나타내는 정보를 부호화하여 출력한다.The encoder 540 may use an existing video encoder supporting the skip block mode. When the skip block mode is applied to the current picture, the encoding unit 540 encodes and outputs information indicating that the skip block mode is applied.

부호화부(540)는 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않은 경우, 스킵 블록 모드가 적용되지 않았음을 나타내는 정보를 부호화하여 출력한다. 하지만, 선택적으로 현재 픽쳐가 앵커 픽쳐이고, P 픽쳐인 경우, 현재 픽쳐에 대한 스킵 블록 모드의 적용 여부를 나타내는 정보, 예를 들어 신택스(syntax element)를 코딩하지 않고, 즉 비트스트림에 삽입하지 않도록 할 수 있다.If the skip block mode is not applied to the current picture, the encoding unit 540 encodes and outputs information indicating that the skip block mode is not applied. Alternatively, if the current picture is an anchor picture and the picture is a P picture, information indicating whether the skip block mode is applied to the current picture, for example, a syntax element is not coded, that is, can do.

도 5에 도시된 다시점 동영상 장치의 구현의 일 예로 다시점 동영상 코딩에서 "Slice data syntax"를 다음 표 2와 같이 수정하여 구현할 수 있다. As an example of the implementation of the multi-view video device shown in FIG. 5, "Slice data syntax" in multi-view video coding can be modified as shown in Table 2 below.

Figure 112008020614566-pat00002
Figure 112008020614566-pat00002

여기에서, "anchor_pic_flag"는 현재 슬라이스의 NAL Unit에 포함이 되어있는 정보로써 현재 픽쳐가 앵커 픽쳐인지를 알려준다. 예를 들어, 현재 픽쳐가 앵커 픽쳐인 경우 'anchor_pic_flag = 1' 이다. 만약, 현재 픽쳐가 앵커 픽쳐이고 P 픽쳐라면 스킵 블록 모드를 허용하지 않았기 때문에, 스킵 블록 모드 적용 여부 정보인 "mb_skip_flag"와 "mb_skip_run"를 코딩하지 않아도 된다. Here, "anchor_pic_flag" is information contained in the NAL Unit of the current slice and indicates whether the current picture is an anchor picture. For example, if the current picture is an anchor picture, 'anchor_pic_flag = 1'. If the current picture is an anchor picture and it is a P picture, skip block mode application information "mb_skip_flag" and "mb_skip_run" need not be coded.

도 5에 도시된 실시예에 따라 다시점 동영상 코딩 표준 규격 (MVC: Multiview Coding)의 Reference Source Code인 JMVM2.3에 대해 휘도 신호 보상 방법을 사용하여 구현하여 QVGA 크기의 Race1 영상 시퀀스에 대한 실험을 수행하였을 때, Y, U, V의 각 뷰들의 평균 비트율 대비 각 뷰의 평균 PSNR에 대한 시뮬레이션 결과는 각각 도 6, 도 7, 및 도 8과 같다. According to the embodiment shown in FIG. 5, a test is performed on a RValge image sequence of QVGA size by using a luminance signal compensation method for JMVM2.3, which is a reference source code of Multiview Coding (MVC) The simulation results for the average bit rate of each view of Y, U, and V versus the average PSNR of each view are shown in FIGS. 6, 7, and 8, respectively.

시뮬레이션 결과에 의하면, 앵커 픽쳐들 중 P 픽쳐에 대해 스킵 블록 모드를 적용하지 않는 경우, 낮은 비트율에서 오히려 1% 가량 비트가 감소한 것을 확인할 수 있다. 앵커 픽쳐들 중, P 픽쳐에 대해 스킵 블록 모드를 적용하지 않아서 해당 픽쳐에 대한 코딩된 비트량은 증가하였으나, 이들 앵커 픽쳐의 화질이 향상됨에 따라 앵커 픽쳐이면서 P 픽쳐를 참조하는 픽쳐들의 예측 효율이 향상이 되면서, 코딩되는 시퀀스에 대한 전체적인 비트양이 감소한 것을 확인할 수 있다. According to the simulation result, when the skip block mode is not applied to the P picture among the anchor pictures, it can be confirmed that the bit is reduced by about 1% at a low bit rate. As the picture quality of these anchor pictures is improved, the prediction efficiency of pictures referring to P pictures as well as an anchor picture becomes higher than that of pictures that are anchor pictures As the enhancements are made, it can be seen that the overall bit amount for the coded sequence is reduced.

또한 전체 시퀀스에 대한 평균 PSNR은 낮은 비트율에서 Y 성분에서 0.11 dB가 향상되었고, U 성분에서 0.25 dB가 향상되었고, V 성분에서 0.51 dB가 향상이 되었다. 그 외의 비트율에서는 동일하거나 약간 좋은 성능을 보여주고 있다.The average PSNR for the entire sequence is 0.11 dB improved in Y component, 0.25 dB improved in U component, and 0.51 dB improved in V component at low bit rate. At other bit rates, the performance is the same or slightly better.

도 9는 도 5에 도시된 다시점 동영상 장치에서 수행되는 영상 부호화 방법을 설명하기 위한 흐름도이다.FIG. 9 is a flowchart illustrating an image encoding method performed in the multi-view moving picture device shown in FIG.

도 9에 도시된 실시예에서는 앵커 픽쳐에서 스킵 블록 모드의 적용 여부를 제어하기 위해, 현재 픽쳐가 앵커 픽쳐 인지 여부와, 현재 픽쳐의 픽쳐 타입을 판단하고, 그 결과에 따라 현재 픽쳐에 대한 스킵 블록 모드의 적용을 허용하지 않는다. 9, it is determined whether or not the current picture is an anchor picture and the picture type of the current picture in order to control whether or not the skip block mode is applied to the anchor picture. Mode is not allowed.

단계 920에서는 현재 픽쳐가 앵커 픽쳐인지 여부와, 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐의 픽쳐 타입이 P 픽쳐 인지 여부를 결정한다. 예를 들어, 입력 영상의 헤더 정보에 기초하여 현재 픽쳐가 앵커 픽쳐인지 여부와 픽쳐 타입을 결정한다.In step 920, it is determined whether the current picture is an anchor picture and, if the current picture is an anchor picture, whether the picture type of the current picture is a P picture. For example, whether or not the current picture is an anchor picture and the picture type are determined based on the header information of the input image.

단계 940에서는 현재 픽쳐가 앵커 픽쳐이고, P 픽쳐인 경우, 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않는다. 한편, 현재 픽쳐가 앵커 픽쳐가 아니거나, 현재 픽쳐가 앵커 픽쳐이지만 P 픽쳐가 아닌 경우에는, 현재 픽쳐에 대해 기존의 부호화 프로세스를 수행하며, 스킵 블록 모드를 적용한다.In step 940, if the current picture is an anchor picture and the current picture is a P picture, the skip block mode is not applied to the current picture. On the other hand, when the current picture is not an anchor picture or the current picture is an anchor picture but is not a P picture, the existing coding process is performed on the current picture, and a skip block mode is applied.

도 10은 본 발명의 또 다른 실시예에 따른 다시점 동영상 부호화 장치를 도시하는 블록도이다.10 is a block diagram illustrating a multi-view video encoding apparatus according to another embodiment of the present invention.

도 10에 도시된 다시점 동영상 부호화 장치는 스킵 블록 모드 허용 판단(1020) 및 부호화부(1040)를 포함한다.The multi-view moving picture coding apparatus shown in FIG. 10 includes a skip block mode permission determination unit 1020 and an encoding unit 1040.

본 실시예에서는, 현재 픽쳐에 대한 스킵 블록 모드의 적용을 제어하기 위해, 현재 입력되는 영상과, 현재 영상이 참조하는 참조 영상(list 0, list 1), 양자화 파라미터, 사용자 입력, 앵커 픽쳐 정보 등에 기초하여 현재 픽쳐에 대한 스킵 블록 모드의 허용 여부를 결정한다. In this embodiment, in order to control the application of the skip block mode to the current picture, a current picture to be input and a reference picture (list 0, list 1), a quantization parameter, a user input, and anchor picture information referenced by the current picture And determines whether or not the skip block mode for the current picture is permitted.

스킵 블록 모드 허용 판단부(1020)는 현재 픽쳐가 앵커 픽쳐인 경우 참조되는 픽쳐의 평균과 현재 코딩하려고 하는 현재 픽쳐의 평균의 차이의 절대값을 Y,U, 및 V의 각각의 성분별로 계산하여, 이들 절대값의 합이 임계치인 T 값 이상이 될 경우에는 스킵 블록 모드의 적용을 허용하지 않는다. 예를 들어, T 값을 1로 적용할 수 있다. The skip block mode permission decision unit 1020 calculates the absolute value of the difference between the average of the picture to be referred to when the current picture is an anchor picture and the average of the current picture to be coded for each component of Y, U, and V . When the sum of these absolute values is equal to or larger than the threshold value T, the application of the skip block mode is not permitted. For example, a T value of 1 can be applied.

한편, 선택적으로, 각각의 성분별 차이의 절대값을 TY, TU, TV 등으로 두고 각각의 성분에 대한 임계값 KY, KU, KV에 따라 스킵 블록 모드의 적용 여부를 결정할 수 있다.Alternatively, it is possible to determine whether to apply the skip block mode according to the thresholds KY, KU, and KV for the respective components by setting the absolute values of the differences of the respective components as TY, TU, TV and the like.

또한, 선택적으로 각각의 성분별 차이의 절대값 TY, TU, TV의 조합이, 소정의 값 이상이 될 경우에 스킵 블록 모드를 허용하지 않는다. 예를 들어, T = SQRT (TY2 + TU2 + TV2), 또는 T = average (TY + TU + TV)가, 소정의 임계값 K 이상이 되는지 여부에 따라 스킵 블록 모드를 적용할 지 여부를 결정할 수 있다. Also, the skip block mode is not allowed when the combination of the absolute values TY, TU, and TV of the respective component-specific differences becomes equal to or greater than a predetermined value. For example, it may be determined whether to apply the skip block mode according to whether T = SQRT (TY2 + TU2 + TV2) or T = average (TY + TU + TV) have.

또한, 선택적으로 현재 양자화 파라미터 QP 값에 따라서, 스킵 블록 모드의 적용 여부를 결정할 수도 있다. 만약 현재 QP 값이 소정의 임계값인 QPT 보다 작거나 같다면, 스킵 블록 모드를 허용하고(QP <= QPT), 그렇지 않다면, 스킵 블록 모드를 허용하지 않는다.Alternatively, it may be determined whether or not the skip block mode is applied, depending on the current quantization parameter QP value. If the current QP value is less than or equal to the predetermined threshold QPT, then the skip block mode is allowed (QP < = QPT), otherwise skip block mode is not allowed.

또한, 선택적으로 외부 입력 정보, 예를 들어 사용자의 입력을 받아서 현재 픽쳐에 대한 스킵 블록 모드의 적용 여부를 결정할 수 있다. 즉, 현재 픽쳐가 앵커 픽쳐일 경우, "allow_skip_flag"의 on/off 정보를 사용자가 부호화 시에 입력 파라미터로 선택할 수 있다.In addition, it is possible to selectively determine whether or not the skip block mode is applied to the current picture by receiving external input information, for example, a user's input. That is, when the current picture is an anchor picture, the on / off information of "allow_skip_flag &quot; can be selected by the user as an input parameter at the time of encoding.

또한, 선택적으로, 사용자에 의한 입력 정보로서, 상기의 입력값들인 KY, KU, KV, K, 및 QPT의 값을 사용자가 부호화시 입력 파라미터로 선택할 수 있다.Alternatively, as the input information by the user, the values of KY, KU, KV, K, and QPT, which are the input values, may be selected by the user as input parameters during encoding.

또한, 선택적으로 스킵 블록 모드 허용 판단부(1020)은 입력 정보에 기초하여, 다양한 기준에 따라 스킵 블록 모드의 적용 여부를 결정할 수 있다.In addition, the skip block mode permitting unit 1020 may selectively determine whether to apply the skip block mode according to various criteria based on the input information.

스킵 블록 모드 허용 판단부(1020)가 현재 픽쳐에 대해 스킵 블록 모드를 허용하지 않기로 결정한 경우에는, 현재 픽쳐의 부호화시 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 부호화부(1040)로 전송한다.When the skip block mode permission determination unit 1020 determines not to allow the skip block mode for the current picture, the control unit 1040 transmits a control signal to the encoding unit 1040 so as not to apply the skip block mode when encoding the current picture.

한편, 현재 픽쳐에 대해 스킵 블록 모드를 허용하기로 결정한 경우에는, 부호화부(1040)가 기존의 영상 부호화 프로세스에 따라 선택적으로 스킵 블록 모드를 적용하도록 한다.On the other hand, when it is determined to allow the skip block mode for the current picture, the coding unit 1040 selectively applies the skip block mode according to the existing image coding process.

부호화부(1040)는 스킵 블록 모드 허용 판단부(1020)로부터 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 수신하는 경우, 스킵 블록 모드를 적용하지 않는다. 스킵 블록 모드 허용 판단부(1020)로부터 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않도록 하는 제어 신호를 수신하지 않거나, 스킵 블록 모드의 적용을 허용하는 제어 신호를 수신하는 경우에는 현재 픽쳐에 대해 선택적으로 스킵 블록 모드를 적용한다.The coding unit 1040 does not apply the skip block mode when receiving a control signal for not applying the skip block mode to the current picture from the skip block mode permission determining unit 1020. [ If a control signal for not applying the skip block mode to the current picture is received from the skip block mode permission determination unit 1020 or a control signal for allowing the application of the skip block mode is received, Apply the skip block mode.

부호화부(1040)는 스킵 블록 모드를 지원하는 기존의 영상 인코더를 사용할 수 있다. 부호화부(1040)는 현재 픽쳐에 대해 스킵 블록 모드를 적용한 경우, 스킵 블록 모드가 적용되었음을 나타내는 정보를 부호화하여 출력한다.The encoding unit 1040 may use an existing video encoder supporting the skip block mode. When the skip block mode is applied to the current picture, the encoding unit 1040 encodes and outputs information indicating that the skip block mode is applied.

부호화부(1040)는 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않은 경우, 스킵 블록 모드가 적용되지 않았음을 나타내는 정보를 부호화하여 출력한다. When the skip block mode is not applied to the current picture, the encoding unit 1040 encodes and outputs information indicating that the skip block mode is not applied.

선택적으로, 스킵 블록 모드 허용 판단부(1040)가 스킵 블록 모드의 허용 여부를 나타내는 정보를 부호화하여 출력하도록 하는 것도 가능하다.Optionally, the skip block mode permission determination unit 1040 may encode and output information indicating whether or not the skip block mode is allowed.

도 10에 도시된 다시점 동영상 부호화 장치를 구현하기 위해 다시점 동영상 코딩에서 "Slice data syntax"를 다음 표 3과 flag ("allow_skip_flag")를 이용하는 방법으로 수정하여 구현할 수 있다.In order to implement the multi-view moving picture coding apparatus shown in FIG. 10, the "Slice data syntax" in the multi-view moving picture coding can be modified by a method using the following Table 3 and a flag ("allow_skip_flag").

Figure 112008020614566-pat00003
Figure 112008020614566-pat00003

"anchor_pic_flag"는 현재 슬라이스의 NAL Unit에 포함이 되어있는 정보로써 현재 픽쳐가 앵커 픽쳐인지를 알려준다. 예를 들어, 현재 픽쳐가 앵커픽쳐일 경우 'anchor_pic_flag = 1'로 나타낸다."anchor_pic_flag" is information contained in the NAL Unit of the current slice and indicates whether the current picture is an anchor picture. For example, if the current picture is an anchor picture, 'anchor_pic_flag = 1' is indicated.

본 발명의 일 실시 예에서는 현재 픽쳐가 앵커 픽쳐일 경우에 "allow_skip_flag"를 추가하여 현재 앵커 픽쳐에 스킵 블록 모드를 허용할지에 대한 정보를 코딩할 수 있다. 스킵 블록 모드를 허용할 경우에는 "allow_skip_flag"를 1로 코딩할 수 있고, 허용하지 않을 경우에는 "allow_skip_flag"를 0으로 코딩할 수 있다. According to an embodiment of the present invention, when the current picture is an anchor picture, "allow_skip_flag" may be added to code information about whether to allow the skip block mode in the current anchor picture. Quot; allow_skip_flag "can be coded as 1 when the skip block mode is permitted, and" allow_skip_flag "

또한, 변경된 "slice header syntax" 와 연결된 실시 예로서, "slice data syntax"를 다음 표 4와 같이 수정하여 구현할 수 있다. In addition, as an embodiment associated with the changed "slice header syntax ", the" slice data syntax "

Figure 112008020614566-pat00004
Figure 112008020614566-pat00004

만약 현재 픽쳐가 앵커 픽쳐가 아니거나, 앵커 픽쳐이면서 "allow_skip_flag"가 1일 경우에는 스킵 블록 모드 허용 여부 정보를 코딩하고, 만약 앵커 픽쳐이면서 "allow_skip_flag"가 0일 경우에는 스킵 블록 허용 여부 정보를 코딩하지 않는다.If the current picture is not an anchor picture or an anchor picture and "allow_skip_flag" is 1, skip block mode permission information is coded. If "allow_skip_flag" is 0 in an anchor picture, skip block permission information is coded I never do that.

도 11은 도 10에 도시된 다시점 동영상 장치에서 수행되는 영상 부호화 방법을 설명하기 위한 흐름도이다.11 is a flowchart for explaining an image encoding method performed in the multi-view moving picture device shown in FIG.

단계 1120에서는 앵커 픽쳐에서 스킵 블록 모드의 허용 여부를 판단하기 위해, 현재 입력되는 영상과, 현재 영상이 참조하는 참조 영상(list 0, list 1), 양자화 파라미터, 사용자 입력, 앵커 픽쳐 정보 등에 기초하여 현재 픽쳐에 대한 스킵 블록 모드의 허용 여부를 결정한다. In step 1120, in order to determine whether or not the skip block mode is allowed in the anchor picture, the current picture to be input and the reference picture (list 0, list 1), the quantization parameter, the user input, and the anchor picture information referenced by the current picture Whether or not the skip block mode for the current picture is allowed is determined.

또한, 도 10의 스킵 블록 모드 허용 판단부(1020)에서 수행되는 다양한 기준에 따라 스킵 블록 모드의 적용 여부를 결정할 수 있다. 선택적으로, 스킵 블록 모드의 적용 여부를 나타내는 정보를 생성하여 출력한다.In addition, it is possible to determine whether to apply the skip block mode according to various criteria performed in the skip block mode permission determination unit 1020 of FIG. Optionally, information indicating whether the skip block mode is applied is generated and output.

단계 1140에서는 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않기로 결정된 경우에는, 현재 픽쳐에 대해 스킵 블록 모드를 적용하지 않는다. 한편, 현재 픽쳐에 대해 스킵 블록 모드를 허용하기로 결정된 경우에는, 현재 픽쳐에 대해 기존의 부호화 프로세스를 수행하며, 선택적으로 스킵 블록 모드를 적용한다. 선택적으로, 스킵 블록 모드의 적용 여부를 나타내는 정보를 생성하여 출력한다.In step 1140, when it is determined not to apply the skip block mode to the current picture, the skip block mode is not applied to the current picture. On the other hand, when it is determined to allow the skip block mode for the current picture, the existing encoding process is performed on the current picture, and the skip block mode is selectively applied. Optionally, information indicating whether the skip block mode is applied is generated and output.

도 12는 도 3의 다시점 동영상 부호화 장치에 대응하는 다시점 동영상 복호화 장치를 도시하는 블록도이다.12 is a block diagram illustrating a multi-view video decoding apparatus corresponding to the multi-view video encoding apparatus of FIG.

도 12에 도시된 다시점 동영상 복호화 장치는 앵커 픽쳐 판단부(1220) 및 복호화부(1240)를 포함한다. The multi-view moving picture decoding apparatus shown in FIG. 12 includes an anchor picture determination unit 1220 and a decoding unit 1240.

앵커 픽쳐 판단부(1220)는 입력된 부호화된 비트스트림의 앵커 픽쳐 판단 정보, 예를 들어 입력 비트 스트림의 헤더 정보를 이용하여 현재 픽쳐가 앵커 픽쳐인지 여부를 판단하고, 이에 따라 현재 픽쳐의 부호화시 스킵 블록 모드가 허용되었는지 여부를 결정한다. 현재 픽쳐가 앵커 픽쳐인 경우에는, 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았음을 나타내는 제어 신호를 복호화부(1240)로 전송한다. 선택적으로, 입력된 비트스트림에 포함된, 현재 픽쳐에 대해 스킵 블록 모드의 적용 여부를 나타내는 정보로부터 스킵 블록 모드의 적용이 허용되었는지 여부를 결정한다.The anchor picture determination unit 1220 determines whether or not the current picture is an anchor picture using the anchor picture determination information of the input coded bitstream, for example, the header information of the input bitstream, It is determined whether or not the skip block mode is permitted. If the current picture is an anchor picture, a control signal indicating that the skip block mode is not applied to the current picture is transmitted to the decoding unit 1240. Alternatively, it is determined whether or not the application of the skip block mode is permitted from information indicating whether the skip block mode is applied to the current picture included in the input bitstream.

한편, 현재 픽쳐가 앵커 픽쳐가 아닌 경우에는, 복호화부(1240)로 하여금 기존의 영상 복호화 프로세스에 따라 선택적으로 스킵 블록 모드의 적용여부를 판단하도록 한다. On the other hand, when the current picture is not an anchor picture, the decoding unit 1240 selectively determines whether or not the skip block mode is applied according to an existing video decoding process.

복호화부(1240)는 앵커 픽쳐 판단부(1220)로부터 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았음을 나타내는 제어 신호를 수신하는 경우, 부호화된 현재 픽쳐 데이터에 대해 복호화를 수행한다. 스킵 블록 모드 적용 판단부(1220)로부터 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았음을 나타내는 제어 신호를 수신하지 않거나, 스킵 블록 모드의 적용이 허용되었음을 나타내는 제어 신호를 수신하는 경우에는, 현재 픽쳐 데이터에 대해 선택적으로 복호화를 수행한다. 예를 들어, 복호화부(1240)는 현재 픽쳐의 영상 데이터에 대해 스킵 블록 모드 적용이 허용된 경우, 현재 블록에 대해 스킵 블록 모드가 적용되었는지 여부를 나타내는 정보를 복호화하고, 이에 따라 현재 픽쳐의 영상 데이터에 대한 복호화를 수행한다. 복호화부(1240)는 스킵 블록 모드를 지원하는 기존의 영상 디코더를 사용할 수 있다. When receiving a control signal indicating that the skip block mode is not applied to the current picture from the anchor picture determination unit 1220, the decoding unit 1240 decodes the current picture data. When receiving a control signal indicating that the skip block mode is not applied to the current picture from the skip block mode application determination unit 1220 or receiving a control signal indicating that the application of the skip block mode is permitted, And selectively decodes the data. For example, when the application of the skip block mode is permitted to the video data of the current picture, the decoding unit 1240 decodes the information indicating whether or not the skip block mode is applied to the current block, And decodes the data. The decoding unit 1240 may use an existing video decoder supporting the skip block mode.

도 13은 도 12에 도시된 다시점 동영상 복호화 장치에서 수행되는 영상 복호화 방법을 설명하기 위한 흐름도이다. 13 is a flowchart illustrating an image decoding method performed in the multi-view moving picture decoding apparatus shown in FIG.

단계 1320에서는 현재 픽쳐가 앵커 픽쳐인지 여부에 따라, 현재 픽쳐에 대한 스킵 블록 모드의 적용이 허용되었는지 여부를 결정한다. 예를 들어, 입력 비트스트림의 헤더 정보에 기초하여 현재 픽쳐가 앵커 픽쳐인지 여부를 결정한다.In step 1320, it is determined whether or not the application of the skip block mode for the current picture is permitted, depending on whether the current picture is an anchor picture or not. For example, it is determined whether or not the current picture is an anchor picture based on the header information of the input bitstream.

단계 1340에서는 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐의 복호화시스킵 블록 모드에 따른 복호화를 적용하지 않는다. 한편, 현재 픽쳐가 앵커 픽쳐가 아닌 경우에는, 현재 픽쳐에 대해 기존의 복호화 프로세스를 수행한다. 즉, 스킵 블록 모드의 적용 여부를 나타내는 정보를 복호화하고, 이에 따라 현재 픽쳐 데이터를 복호화한다.In step 1340, when the current picture is an anchor picture, decoding according to the skip block mode is not applied in decoding the current picture. On the other hand, when the current picture is not an anchor picture, the existing decoding process is performed on the current picture. That is, information indicating whether the skip block mode is applied is decoded, and the current picture data is decoded accordingly.

도 14는 도 5에 도시된 다시점 동영상 부호화 장치에 대응하는 다시점 동영상 복호화 장치를 도시하는 블록도이다.FIG. 14 is a block diagram illustrating a multi-view video decoding apparatus corresponding to the multi-view video encoding apparatus shown in FIG.

도 14에 도시된 다시점 동영상 부호화 장치는 스킵 블록 모드 허용 판단부(1420) 및 복호화부(1440)를 포함한다.The multi-view moving picture coding apparatus shown in FIG. 14 includes a skip block mode permission determination unit 1420 and a decoding unit 1440.

스킵 블록 모드 허용 판단부(1420)는 입력된 부호화된 비트스트림으로부터 앵커 픽쳐 정보 및 픽쳐 타입 정보를 추출하여, 현재 픽쳐에 대해 스킵 블록 모드가 적용되었는지 여부를 결정한다. 예를 들어, 입력 비트스트림의 헤더 정보로부터 현재 픽쳐가 앵커 픽쳐인지 여부 및 현재 픽쳐의 픽쳐 타입을 판단하고, 이에 따라 현재 픽쳐에 대해 스킵 블록 모드가 허용되었는지 여부를 결정한다. 예를 들어, 현재 픽쳐가 앵커 픽쳐이고, P 픽쳐인 경우, 현재 픽쳐에 대해 스킵 블록 모드가 허용되지 않은 것으로 판단한다.The skip block mode permission determination unit 1420 extracts anchor picture information and picture type information from the input encoded bit stream to determine whether a skip block mode is applied to the current picture. For example, it is determined from the header information of the input bitstream whether the current picture is an anchor picture and the picture type of the current picture, thereby determining whether or not the skip block mode is allowed for the current picture. For example, if the current picture is an anchor picture and the current picture is a P picture, it is determined that the skip block mode is not allowed for the current picture.

스킵 블록 모드 허용 판단부(1420)는 현재 픽쳐에 대해 스킵 블록 모드가 허용되지 않은 것으로 판단된 경우, 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았음을 나타내는 정보를 복호화부(1440)로 전송한다. 한편, 현재 픽쳐가 앵커 픽쳐가 아니거나, 앵커 픽쳐이더라도 P 픽쳐가 아닌 경우, 예를 들어 B 픽쳐 인 경우에는, 복호화부(1440)로 하여금 기존의 동영상 복호화 프로세스에 따라 복호화를 수행하도록 한다. If it is determined that the skip block mode is not allowed for the current picture, the skip block mode permission determining unit 1420 transmits information indicating that the skip block mode is not applied to the current picture to the decoding unit 1440 . On the other hand, if the current picture is not an anchor picture, or is not an anchor picture but a P picture, for example a B picture, the decoder 1440 performs decoding according to the existing moving picture decoding process.

복호화부(1440)는 스킵 블록 모드 적용 판단부(1420)로부터 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았음을 나타내는 정보를 수신하는 경우, 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았다고 간주하고, 현재 픽쳐의 영상 데이터에 대해 복호화를 수행한다. 스킵 블록 모드 허용 판단부(1420)로부터 현재 픽쳐에 대해 스킵 블록 모드가 허용되지 않았음을 나타내는 정보를 수신하지 않거나, 스킵 블록 모드의 적용이 허용되었음을 나타내는 정보를 수신하는 경우에는 현재 픽쳐의 복호화시 선택적으로 스킵 블록 모드를 적용한다. 예를 들어, 현재 블록에 대해 스킵 블록 모드가 적용되었는지 여부를 나타내는 정보를 복호화하고, 이에 따라 현재 픽쳐의 영상 데이터에 대해 복호화를 수행한다. When receiving information indicating that the skip block mode is not applied to the current picture from the skip block mode application determination unit 1420, the decoding unit 1440 regards that the skip block mode is not applied to the current picture, And decodes the video data of the current picture. When the information indicating that the skip block mode is not allowed for the current picture is received from the skip block mode permission determining unit 1420 or information indicating that the skip block mode is permitted is received, And selectively applies a skip block mode. For example, information indicating whether a skip block mode is applied to a current block is decoded, and decoding is performed on the video data of the current picture.

복호화부(1440)는 스킵 블록 모드를 지원하는 기존의 영상 디코더를 사용할 수 있다. The decoding unit 1440 may use an existing video decoder supporting the skip block mode.

도 15는 도 14에 도시된 다시점 동영상 복호화 장치에서 수행되는 영상 복호화 방법을 설명하기 위한 흐름도이다.FIG. 15 is a flowchart for explaining an image decoding method performed in the multi-view moving picture decoding apparatus shown in FIG.

단계 1520에서는 현재 픽쳐가 앵커 픽쳐인지 여부와, 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐의 픽쳐 타입이 P 픽쳐 인지 여부를 결정한다. 예를 들어, 입력 비트스트림 헤더 정보에 기초하여 현재 픽쳐가 앵커 픽쳐인지 여부와 픽쳐 타입을 결정한다.In step 1520, it is determined whether or not the current picture is an anchor picture and, if the current picture is an anchor picture, whether the picture type of the current picture is a P picture. For example, whether or not the current picture is an anchor picture and the picture type are determined based on the input bitstream header information.

단계 1540에서는 현재 픽쳐가 앵커 픽쳐이고, P 픽쳐인 경우, 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았다고 판단하고, 현재 픽쳐의 영상 데이터의 복호화시, 스킵 블록 모드를 적용하지 않는다. 한편, 현재 픽쳐가 앵커 픽쳐가 아니거나, 현재 픽쳐가 앵커 픽쳐이지만 P 픽쳐가 아닌 경우에는, 현재 픽쳐에 대해 기존의 복호화 프로세스를 수행한다. 예를 들어, 현재 픽쳐에 대해 스킵 블록 모드가 적용되었는지 여부를 나타내는 정보를 복호화하고, 복호화된 정보에 기초하여 복호화를 수행한다.If the current picture is an anchor picture and the current picture is a P picture, it is determined in step 1540 that a skip block mode is not applied to the current picture, and skip block mode is not applied when decoding the current picture. On the other hand, if the current picture is not an anchor picture or the current picture is an anchor picture but not a P picture, the existing decoding process is performed on the current picture. For example, information indicating whether a skip block mode is applied to the current picture is decoded, and decoding is performed based on the decoded information.

도 16은 도 10에 도시된 다시점 동영상 부호화 장치에 대응하는 다시점 동영상 복호화 장치를 도시하는 블록도이다.16 is a block diagram illustrating a multi-view video decoding apparatus corresponding to the multi-view video encoding apparatus shown in FIG.

도 16에 도시된 다시점 동영상 부호화 장치는 스킵 블록 모드 허용 판단부(1620) 및 복호화부(1640)를 포함한다.The multi-view moving picture coding apparatus shown in FIG. 16 includes a skip block mode permission determination unit 1620 and a decoding unit 1640.

스킵 블록 모드 허용 판단부(1620)는 입력된 비트스트림으로부터 앵커 픽쳐 정보를 추출하여 현재 픽쳐가 앵커 픽쳐인지 여부를 결정한다. 현재 픽쳐가 앵커 픽쳐인 경우, 스킵 블록 모드 허용 정보를 복호화하여, 현재 픽쳐에 대해 스킵 블록 모드가 허용되었는지 여부를 판단한다.The skip block mode permission determination unit 1620 extracts anchor picture information from the input bitstream to determine whether the current picture is an anchor picture or not. If the current picture is an anchor picture, it decodes the skip block mode permitting information and determines whether or not the skip block mode is allowed for the current picture.

스킵 블록 모드 허용 판단부(1620)는 현재 픽쳐에 대해 스킵 블록 모드가 허용되지 않은 것으로 판단된 경우, 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았음을 나타내는 정보를 복호화부(1640)로 전송한다. 선택적으로, 현재 픽쳐에 대해 스킵 블록 모드가 허용되었는지 여부를 나타내는 정보를 복호화부(1640)로 전송한다.If it is determined that the skip block mode is not allowed for the current picture, the skip block mode permission determination unit 1620 transmits information indicating that the skip block mode is not applied to the current picture to the decryption unit 1640 . Alternatively, information indicating whether or not the skip block mode is allowed for the current picture is transmitted to the decrypting unit 1640.

복호화부(1640)는 스킵 블록 모드 허용 판단부(1620)로부터 현재 픽쳐에 대해 스킵 블록 모드가 허용되지 않았음을 나타내는 정보를 수신하는 경우, 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았다고 간주하고, 현재 픽쳐의 영상 데이터에 대해 복호화를 수행한다. 스킵 블록 모드 적용 판단부(1620)로부터 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았음을 나타내는 정보를 수신하지 않거나, 스킵 블록 모드의 적용이 허용되었음을 나타내는 정보를 수신하는 경우에는 현재 픽쳐의 복호화시 선택적으로 스킵 블록 모드를 적용한다. 예를 들어, 현재 픽쳐에 대해 스킵 블록 모드가 적용되었는지 여부를 나타내는 정보를 복호화하고, 이에 따라 현재 픽쳐의 영상 데이터에 대해 복호화를 수행한다. 복호화부(1640)는 스킵 블록 모드를 지원하는 기존의 영상 디코더를 사용할 수 있다. When receiving the information indicating that the skip block mode is not allowed for the current picture from the skip block mode permission determination unit 1620, the decoding unit 1640 regards that the skip block mode is not applied to the current picture, And decodes the video data of the current picture. When information indicating that the skip block mode is not applied to the current picture is received from the skip block mode application decision unit 1620 or information indicating that the application of the skip block mode is permitted is received, And selectively applies a skip block mode. For example, information indicating whether or not a skip block mode is applied to the current picture is decoded, and decoding is performed on the video data of the current picture. The decoding unit 1640 may use an existing video decoder supporting the skip block mode.

도 17은 도 16에 도시된 다시점 동영상 복호화 장치에서 수행되는 영상 복호화 방법을 설명하기 위한 흐름도이다.FIG. 17 is a flowchart illustrating an image decoding method performed in the multi-view moving picture decoding apparatus shown in FIG.

단계 1720에서는 현재 픽쳐가 앵커 픽쳐인지 여부를 판단하고, 현재 픽쳐가 앵커 픽쳐인 경우, 현재 픽쳐의 영상 데이터에 대해 스킵 블록 모드가 적용되었는지 여부를 나타내는 정보를 복호화하고, 이에 따라 현재 픽쳐에 대한 스킵 블록 모드의 적용이 허용되었는지 여부를 결정한다.In step 1720, it is determined whether the current picture is an anchor picture. If the current picture is an anchor picture, information indicating whether or not the skip block mode is applied to the current picture is decoded. It is determined whether or not the application of the block mode is permitted.

단계 1740에서는 현재 픽쳐에 대해 스킵 블록 모드가 적용되지 않았다고 결정된 경우에는, 현재 픽쳐의 복호화시 스킵 블록 모드를 적용하지 않는다. 한편, 현재 픽쳐에 대해 스킵 블록 모드의 적용이 허용된 것으로 판단된 경우에는 현재 픽쳐에 대해 기존의 복호화 프로세스를 수행한다. 예를 들어, 현재 픽쳐에 대해 스킵 블록 모드가 적용되었는지 여부를 나타내는 정보를 복호화하고, 복호화된 정보에 기초하여 복호화를 수행한다.If it is determined in step 1740 that the skip block mode is not applied to the current picture, the skip block mode is not applied in decoding the current picture. On the other hand, if it is determined that the current picture is allowed to be applied to the skip block mode, the existing decoding process is performed on the current picture. For example, information indicating whether a skip block mode is applied to the current picture is decoded, and decoding is performed based on the decoded information.

도 1은 다시점 동영상 코딩의 예측 구조를 도시하는 도면이다.1 is a diagram showing a prediction structure of multi-view video coding.

도 2(a) 내지 (f)는 앵커 픽쳐의 화질이 전체적인 코딩 효율에 미치는 영향을 설명하기 위한 도면이다.Figs. 2 (a) to 2 (f) are diagrams for explaining the influence of the picture quality of the anchor picture on the overall coding efficiency.

도 3은 본원의 일 실시예에 따른 다시점 동영상 부호화 장치를 도시하는 블록도이다.3 is a block diagram illustrating a multi-view video encoding apparatus according to an embodiment of the present invention.

도 4는 도 3에 도시된 다시점 동영상 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.4 is a flowchart illustrating an encoding method performed by the multi-view video encoding apparatus shown in FIG.

도 5는 본원의 또 다른 실시예에 따른 다시점 동영상 부호화 장치를 도시하는 블록도이다.5 is a block diagram illustrating a multi-view video encoding apparatus according to another embodiment of the present invention.

도 6은 본원의 일 실시예에 따른 시뮬레이션 결과를 도시하는 도면이다.6 is a diagram showing a simulation result according to an embodiment of the present invention.

도 7은 본원의 일 실시예에 따른 시뮬레이션 결과를 도시하는 도면이다.7 is a diagram showing a result of a simulation according to an embodiment of the present invention.

도 8은 본원의 일 실시예에 따른 시뮬레이션 결과를 도시하는 도면이다.8 is a diagram showing a simulation result according to an embodiment of the present invention.

도 9는 도 5에 도시된 다시점 동영상 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다. FIG. 9 is a flowchart illustrating an encoding method performed in the multi-view video encoding apparatus shown in FIG.

도 10은 본원의 또 다른 실시예에 따른 다시점 동영상 부호화 장치를 도시하는 블록도이다.10 is a block diagram illustrating a multi-view video encoding apparatus according to another embodiment of the present invention.

도 11은 도 10에 도시된 다시점 동영상 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.11 is a flowchart illustrating a coding method performed by the multi-view video coding apparatus shown in FIG.

도 12는 본원의 일 실시예에 따른 다시점 동영상 복호화 장치를 도시하는 블 록도이다.12 is a block diagram illustrating a multi-view video decoding apparatus according to an embodiment of the present invention.

도 13은 도 12에 도시된 다시점 동영상 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다.13 is a flowchart illustrating a decoding method performed in the multi-view moving picture decoding apparatus shown in FIG.

도 14는 본원의 일 실시예에 따른 다시점 동영상 복호화 장치를 도시하는 블록도이다.14 is a block diagram illustrating a multi-view video decoding apparatus according to an embodiment of the present invention.

도 15는 도 14에 도시된 다시점 동영상 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다.FIG. 15 is a flowchart illustrating a decoding method performed in the multi-view moving picture decoding apparatus shown in FIG.

도 16은 본원의 일 실시예에 따른 다시점 동영상 복호화 장치를 도시하는 블록도이다.16 is a block diagram illustrating a multi-view video decoding apparatus according to an embodiment of the present invention.

도 17은 도 16에 도시된 다시점 동영상 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다.FIG. 17 is a flowchart illustrating a decoding method performed in the multi-view moving picture decoding apparatus shown in FIG.

Claims (24)

다시점 동영상의 부호화 방법에 있어서,A method of encoding a multi-view video, 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 단계와;Determining whether the current picture is an anchor picture; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 스킵 블록 모드를 적용하지 않는 단계를 포함하며,And when the current picture is an anchor picture, not applying a skip block mode when encoding the blocks constituting the current picture, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 하는 부호화 방법.And skipping the coding for the block to which the skip block mode is applied. 다시점 동영상의 부호화 방법에 있어서,A method of encoding a multi-view video, 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 부호화시 스킵 블록 모드의 허용 여부를 결정하는 단계와;If the current picture is an anchor picture, determining whether to allow a skip block mode in coding the current picture; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 상기 스킵 블록 모드를 선택적으로 적용하는 단계를 포함하며,And selectively applying the skip block mode when coding the blocks constituting the current picture according to the determination, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 하는 부호화 방법.And skipping the coding for the block to which the skip block mode is applied. 제1항 또는 제2항에 있어서, 3. The method according to claim 1 or 2, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하고, 상기 현재 픽쳐의 복원을 위해 이용되는 참조 영상에서 상기 스킵 블록 모드가 적용되는 블록과 같은 영역의 영상 데이터 또는 상기 스킵 블록 모드가 적용되는 블록의 주변 블록들의 움직임 정보에 기초하여 얻어진 움직임 정보에 대응하는 영역의 영상 데이터를 그대로 이용하여 복원하는 것을 특징으로 하는 부호화 방법.Wherein the skip encoding is skipped for the block to which the skip block mode is applied and the image data in the same area as the block to which the skip block mode is applied in the reference image used for restoring the current picture, And restores the image data of the region corresponding to the motion information obtained based on the motion information of the neighboring blocks of the motion vector information. 제2항에 있어서, 3. The method of claim 2, 상기 현재 픽쳐의 픽쳐 타입에 기초하여, 상기 스킵 블록 모드의 적용을 허용할 지 여부를 결정하며, 상기 현재 픽쳐의 픽쳐 타입이 P 타입인 경우, 상기 스킵 블록 모드를 허용하지 않는 것을 특징으로 하는 부호화 방법.Determines whether to allow the application of the skip block mode based on a picture type of the current picture and does not allow the skip block mode when the picture type of the current picture is P type, Way. 제2항에 있어서, 3. The method of claim 2, 상기 스킵 블록 모드는 MPEG 4, H.264, 및 MVC(Multiview Coding) 규격에 적용되는 스킵 블록 모드 중 하나인 것을 특징으로 하는 부호화 방법.Wherein the skip block mode is one of a skip block mode applied to MPEG 4, H.264, and MVC (Multiview Coding) standards. 제2항에 있어서, 3. The method of claim 2, 현재 입력 영상, 참조 영상, 양자화 파라미터, 및 외부 입력 정보들 중 적어도 하나에 기초하여 상기 스킵 블록 모드의 허용 여부를 결정하는 것을 특징으로 하는 부호화 방법.And determines whether to allow the skip block mode based on at least one of a current input image, a reference image, a quantization parameter, and external input information. 다시점 동영상의 부호화 장치에 있어서,A multi-view video encoding apparatus comprising: 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 앵커 픽쳐 판단부와;An anchor picture determination unit that determines whether the current picture is an anchor picture; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 스킵 블록 모드를 적용하지 않는 부호화부를 포함하며,And an encoding unit which does not apply a skip block mode when encoding the blocks constituting the current picture when the current picture is an anchor picture, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 하는 부호화 장치.And skips the coding for the block to which the skip block mode is applied. 다시점 동영상의 부호화 장치에 있어서,A multi-view video encoding apparatus comprising: 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 부호화시 스킵 블록 모드의 허용 여부를 결정하는 스킵 블록 모드 허용 판단부와;A skip block mode permission decision unit for deciding whether or not to allow a skip block mode in coding the current picture if the current picture is an anchor picture; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 부호화시 상기 스킵 블록 모드를 선택적으로 적용하는 부호화부를 포함하며,And an encoding unit for selectively applying the skip block mode when encoding the blocks constituting the current picture according to the determination, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하는 것을 특징으로 하는 부호화 장치.And skips the coding for the block to which the skip block mode is applied. 제7항 또는 제8항에 있어서, 9. The method according to claim 7 or 8, 상기 부호화부는 상기 스킵 블록 모드가 적용되는 블록에 대해서는 부호화를 스킵하고, 상기 현재 픽쳐의 복원을 위해 이용되는 참조 영상에서 상기 현재 픽쳐의 상기 스킵 블록 모드가 적용되는 블록과 같은 영역의 영상 데이터 또는 상기 스킵 블록 모드가 적용되는 블록의 주변 블록들의 움직임 정보에 기초하여 얻어진 움직임 정보에 대응하는 영역의 영상 데이터를 그대로 이용하여 복원하는 것을 특징으로 하는 부호화 장치.Wherein the coding unit skips the coding for the block to which the skip block mode is applied and extracts the image data of the same area as the block to which the skip block mode of the current picture is applied in the reference image used for restoring the current picture, And restores the video data of the area corresponding to the motion information obtained based on the motion information of the neighboring blocks of the block to which the skip block mode is applied, as it is. 제8항에 있어서, 9. The method of claim 8, 상기 스킵 블록 모드 허용 판단부는 상기 현재 픽쳐의 픽쳐 타입에 기초하여, 상기 스킵 블록 모드의 허용 여부를 결정하며, 상기 현재 픽쳐의 픽쳐 타입이 P 타입인 경우, 상기 스킵 블록 모드를 허용 하지 않는 것을 특징으로 하는 부호화 장치.Wherein the skip block mode permission determination unit determines whether or not the skip block mode is allowed based on a picture type of the current picture and if the picture type of the current picture is a P type, . 제8항에 있어서, 9. The method of claim 8, 상기 스킵 블록 모드는 MPEG 4, H.264, 및 MVC(Multiview Coding) 규격에 적용되는 스킵 블록 모드 중 하나인 것을 특징으로 하는 부호화 장치.Wherein the skip block mode is one of a skip block mode applied to MPEG 4, H.264, and Multiview Coding (MVC) standards. 제8항에 있어서, 9. The method of claim 8, 상기 스킵 블록 모드 허용 판단부는 현재 입력 영상, 참조 영상, 양자화 파라미터, 및 외부 입력 정보들 중 적어도 하나에 기초하여 상기 스킵 블록 모드의 허용 여부를 결정하는 것을 특징으로 하는 부호화 장치.Wherein the skip block mode permission determination unit determines whether to permit the skip block mode based on at least one of a current input image, a reference image, a quantization parameter, and external input information. 다시점 동영상의 복호화 방법에 있어서,A method for decoding a multi-view video, 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 단계와;Determining whether the current picture is an anchor picture; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 스킵 블록 모드를 적용하지 않는 단계를 포함하며,If the current picture is an anchor picture, not applying a skip block mode in decoding the blocks constituting the current picture, 상기 스킵 블록 모드가 적용된 블록에 대해서는 복호화를 스킵하는 것을 특징으로 하는 복호화 방법.And skips the decoding for the block to which the skip block mode is applied. 다시점 동영상의 복호화 방법에 있어서,A method for decoding a multi-view video, 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 복호화시 스킵 블록 모드의 허용 여부를 결정하는 단계와;If the current picture is an anchor picture, determining whether to allow a skip block mode in decoding the current picture; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 상기 스킵 블록 모드를 선택적으로 적용하는 단계를 포함하며,And selectively applying the skip block mode when decoding the blocks constituting the current picture according to the determination, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하는 것을 특징으로 하는 복호화 방법.And skips the decoding for the block to which the skip block mode is applied. 제13항 또는 제14항에 있어서, The method according to claim 13 or 14, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하고, 상기 현재 픽쳐의 복원을 위해 이용되는 참조 영상에서, 상기 현재 픽쳐의 상기 스킵 블록 모드가 적용되는 블록과 같은 영역의 영상 데이터 또는 상기 현재 픽쳐의 상기 스킵 블록 모드가 적용되는 블록의 주변 블록의 움직임 정보에 기초하여 얻어진 움직임 정보에 대응하는 영역의 영상 데이터를 그대로 이용하여 복원하는 것을 특징으로 하는 복호화 방법.Wherein the skip decoding unit skips decoding of a block to which the skip block mode is applied and extracts, from a reference image used for restoring the current picture, image data of the same area as the block to which the skip block mode is applied, In which the video data of the area corresponding to the motion information obtained based on the motion information of the neighboring blocks of the block to which the skip block mode is applied is used as it is. 제14항에 있어서, 15. The method of claim 14, 상기 현재 픽쳐의 픽쳐 타입에 기초하여, 상기 스킵 블록 모드의 적용을 허용할 지 여부를 결정하며, 상기 현재 픽쳐의 픽쳐 타입이 P 타입인 경우, 상기 스킵 블록 모드를 허용하지 않는 것을 특징으로 하는 복호화 방법.Determines whether to allow the application of the skip block mode based on the picture type of the current picture and does not allow the skip block mode when the picture type of the current picture is P type, Way. 제14항에 있어서, 15. The method of claim 14, 상기 스킵 블록 모드는 MPEG 4, H.264, 및 MVC(Multiview Coding) 규격에 적용되는 스킵 블록 모드 중 하나인 것을 특징으로 하는 복호화 방법.Wherein the skip block mode is one of a skip block mode applied to MPEG4, H.264, and MVC (Multiview Coding) standards. 다시점 동영상의 복호화 장치에 있어서,A multi-view video decoding apparatus comprising: 현재 픽쳐가 앵커 픽쳐 인지 여부를 결정하는 앵커 픽쳐 판단부와;An anchor picture determination unit that determines whether the current picture is an anchor picture; 상기 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 스킵 블록 모드를 적용하지 않는 복호화부를 포함하며,And a decoding unit which does not apply a skip block mode when decoding the blocks constituting the current picture when the current picture is an anchor picture, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하는 것을 특징으로 하는 복호화 장치.And skips decryption for a block to which the skip block mode is applied. 다시점 동영상의 복호화 장치에 있어서,A multi-view video decoding apparatus comprising: 현재 픽쳐가 앵커 픽쳐인 경우, 상기 현재 픽쳐의 복호화시 스킵 블록 모드의 허용 여부를 결정하는 스킵 블록 모드 허용 판단부와;A skip block mode permission decision unit for deciding whether or not to allow a skip block mode in decoding the current picture if the current picture is an anchor picture; 상기 결정에 따라, 상기 현재 픽쳐를 구성하는 블록들에 대한 복호화시 상기 스킵 블록 모드를 선택적으로 적용하는 복호화부를 포함하며,And a decoding unit for selectively applying the skip block mode when decoding the blocks constituting the current picture according to the determination, 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하는 것을 특징으로 하는 복호화 장치.And skips decryption for a block to which the skip block mode is applied. 제18항 또는 제19항에 있어서, 20. The method according to claim 18 or 19, 상기 복호화부는 상기 스킵 블록 모드가 적용되는 블록에 대해서는 복호화를 스킵하고, 상기 현재 픽쳐의 복원을 위해 이용되는 참조 영상에서, 상기 현재 픽쳐의 상기 스킵 블록 모드가 적용되는 블록과 같은 영역의 영상 데이터 또는 상기 현재 픽쳐의 상기 스킵 블록 모드가 적용되는 블록의 주변 블록의 움직임 정보에 기초하여 얻어진 움직임 정보에 대응하는 영역의 영상 데이터를 그대로 이용하여 복원하는 것을 특징으로 하는 복호화 장치.Wherein the decoding unit skips decoding of the block to which the skip block mode is applied and extracts the image data of the same area as the block to which the skip block mode of the current picture is applied in the reference image used for restoring the current picture, And restores the video data of the area corresponding to the motion information obtained based on the motion information of the neighboring block of the block to which the skip block mode of the current picture is applied, using the video data as it is. 제19항에 있어서, 20. The method of claim 19, 상기 스킵 블록 모드 허용 판단부는 상기 현재 픽쳐의 픽쳐 타입에 기초하여, 상기 스킵 블록 모드의 허용 여부를 결정하고, 상기 현재 픽쳐의 픽쳐 타입이 P 타입인 경우, 상기 스킵 블록 모드를 허용 하지 않는 것을 특징으로 하는 복호화 장치.Wherein the skip block mode permitting unit determines whether or not the skip block mode is permitted based on the picture type of the current picture and if the picture type of the current picture is P type, . 제19항에 있어서, 20. The method of claim 19, 상기 스킵 블록 모드는 MPEG 4, H.264, 및 MVC(Multiview Coding) 규격에 적용되는 스킵 블록 모드 중 하나인 것을 특징으로 하는 복호화 장치.Wherein the skip block mode is one of a skip block mode applied to MPEG 4, H.264, and MVC (Multiview Coding) standards. 제1항, 제2항, 및 제4항 내지 제6항 중 어느 한 항에 기재된 다시점 동영상의 부호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for implementing a method of encoding a multi-view moving picture according to any one of claims 1, 2, and 4 to 6. 제13항, 제14항, 제16항, 및 제17항 중 어느 한 항에 기재된 다시점 동영상의 복호화 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.      A computer-readable recording medium having recorded thereon a program for implementing a method for decoding a multi-view moving picture according to any one of claims 13, 14, 16, and 17.
KR1020080026315A 2007-05-02 2008-03-21 Encoding and decoding method for Multi-view Video and apparatus thereof KR101431546B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/112,520 US8917775B2 (en) 2007-05-02 2008-04-30 Method and apparatus for encoding and decoding multi-view video data
PCT/KR2008/002496 WO2008136607A1 (en) 2007-05-02 2008-05-02 Method and apparatus for encoding and decoding multi-view video data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20070042412 2007-05-02
KR1020070042412 2007-05-02

Publications (2)

Publication Number Publication Date
KR20080097914A KR20080097914A (en) 2008-11-06
KR101431546B1 true KR101431546B1 (en) 2014-08-22

Family

ID=40285636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080026315A KR101431546B1 (en) 2007-05-02 2008-03-21 Encoding and decoding method for Multi-view Video and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101431546B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10820007B2 (en) 2015-01-21 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765895B (en) 2011-06-24 2017-03-08 Lg电子株式会社 Coding/decoding method and device using dancing mode

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030039308A1 (en) 2001-08-15 2003-02-27 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6693964B1 (en) 2000-03-24 2004-02-17 Microsoft Corporation Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image
KR20080066522A (en) * 2007-01-11 2008-07-16 삼성전자주식회사 Method and apparatus for encoding and decoding multi-view image
KR20090076762A (en) * 2008-01-07 2009-07-13 삼성전자주식회사 Method and apparatus for multi-view video encoding, and method and apparatus for multi-view video decoding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6693964B1 (en) 2000-03-24 2004-02-17 Microsoft Corporation Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image
US20030039308A1 (en) 2001-08-15 2003-02-27 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
KR20080066522A (en) * 2007-01-11 2008-07-16 삼성전자주식회사 Method and apparatus for encoding and decoding multi-view image
KR20090076762A (en) * 2008-01-07 2009-07-13 삼성전자주식회사 Method and apparatus for multi-view video encoding, and method and apparatus for multi-view video decoding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10820007B2 (en) 2015-01-21 2020-10-27 Samsung Electronics Co., Ltd. Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video

Also Published As

Publication number Publication date
KR20080097914A (en) 2008-11-06

Similar Documents

Publication Publication Date Title
US8917775B2 (en) Method and apparatus for encoding and decoding multi-view video data
JP6708716B2 (en) Method for decoding video, method for encoding video, decoder, encoder, computer-readable recording medium recording decoding program, and computer-readable recording medium recording encoding program
US9532073B2 (en) Video encoding device, video decoding device, video decoding method, video decoding method, and program
EP1878260B1 (en) Method for scalably encoding and decoding video signal
US7817866B2 (en) Processing multiview video
KR100984612B1 (en) Global motion compensation for video pictures
KR101671156B1 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and program
JP4821723B2 (en) Moving picture coding apparatus and program
EP2866449B1 (en) Video decoding device, video decoding method and video decoding program
JP5206706B2 (en) Encoding apparatus and method
KR101560182B1 (en) Method and apparatus for multi-view video encoding and method and apparatus for multi-view video decoding
US20110249743A1 (en) Super-block for high performance video coding
JP6588507B2 (en) Decoding method, decoding apparatus, encoding method, and encoding apparatus.
KR20120058616A (en) Dynamic reference frame reordering for frame sequential stereoscopic video encoding
KR101524465B1 (en) Method and apparatus for multi-view video encoding using chrominance compensation, and method and apparatus for multi-view video decoding using chrominance compensation
KR101431546B1 (en) Encoding and decoding method for Multi-view Video and apparatus thereof
KR101366289B1 (en) A method and apparatus for decoding/encoding a video signal
US9167266B2 (en) Method for deriving motion for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
KR100942700B1 (en) Fine-granular scalability coding/decoding method and apparatus
JP2006262159A (en) Moving picture encoding device, control method thereof, computer program and storage medium
JP4875285B2 (en) Editing apparatus and method
Kolkeri Error concealment techniques in H. 264/AVC, for video transmission over wireless networks
KR20130078319A (en) Method and device for encoding stereoscopic video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180727

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 6