KR100528324B1 - Apparatus and method for coding and decoding image using overlapped rectangular slices - Google Patents

Apparatus and method for coding and decoding image using overlapped rectangular slices Download PDF

Info

Publication number
KR100528324B1
KR100528324B1 KR10-2002-0051883A KR20020051883A KR100528324B1 KR 100528324 B1 KR100528324 B1 KR 100528324B1 KR 20020051883 A KR20020051883 A KR 20020051883A KR 100528324 B1 KR100528324 B1 KR 100528324B1
Authority
KR
South Korea
Prior art keywords
slice
image
slices
region
encoding
Prior art date
Application number
KR10-2002-0051883A
Other languages
Korean (ko)
Other versions
KR20040020306A (en
Inventor
김우식
이시화
김상욱
조대성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR10-2002-0051883A priority Critical patent/KR100528324B1/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to DE10300048A priority patent/DE10300048B4/en
Priority to CN2006100067204A priority patent/CN1809166B/en
Priority to CNB031075029A priority patent/CN1250008C/en
Priority to US10/336,779 priority patent/US7277484B2/en
Priority to JP2003000409A priority patent/JP4488679B2/en
Publication of KR20040020306A publication Critical patent/KR20040020306A/en
Application granted granted Critical
Publication of KR100528324B1 publication Critical patent/KR100528324B1/en
Priority to US11/304,627 priority patent/US8599927B2/en
Priority to US11/304,672 priority patent/US8036280B2/en
Priority to US11/304,671 priority patent/US8599928B2/en
Priority to US11/304,701 priority patent/US8599930B2/en
Priority to JP2006210023A priority patent/JP4495701B2/en
Priority to JP2006210024A priority patent/JP4495702B2/en
Priority to US11/700,048 priority patent/US8345772B2/en
Priority to US11/700,141 priority patent/US8345773B2/en
Priority to US11/700,057 priority patent/US8045621B2/en
Priority to US11/700,041 priority patent/US8345771B2/en
Priority to JP2007098922A priority patent/JP4495743B2/en
Priority to JP2008000214A priority patent/JP2008125118A/en
Priority to JP2009235782A priority patent/JP5284920B2/en
Priority to US12/801,040 priority patent/US8948268B2/en
Priority to US14/522,079 priority patent/US9848194B2/en
Priority to US14/615,816 priority patent/US9774857B2/en
Priority to US14/615,801 priority patent/US9800871B2/en
Priority to US14/628,355 priority patent/US9774859B2/en
Priority to US14/628,347 priority patent/US9781426B2/en
Priority to US14/628,350 priority patent/US9843806B2/en
Priority to US14/628,341 priority patent/US9781425B2/en
Priority to US14/628,338 priority patent/US9774858B2/en
Priority to US14/628,336 priority patent/US9106912B2/en
Priority to US14/741,716 priority patent/US9414075B2/en
Priority to US14/741,705 priority patent/US9774862B2/en
Priority to US14/741,681 priority patent/US9774861B2/en
Priority to US14/741,730 priority patent/US9781431B2/en
Priority to US14/741,741 priority patent/US9781432B2/en
Priority to US14/741,724 priority patent/US9781430B2/en
Priority to US14/741,677 priority patent/US9781428B2/en
Priority to US14/741,664 priority patent/US9774860B2/en
Priority to US14/741,693 priority patent/US9781429B2/en
Priority to US14/741,691 priority patent/US9807394B2/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

겹치는 사각 슬라이스 구조를 이용한 영상 부호화 및 복호화 장치 및 방법이 개시된다. 상기 영상 부호화 장치는, 각각의 영상을 적어도 하나 이상의 독립적인 사각 슬라이스들로 분류하는 슬라이스 모델링부; 상기 슬라이스 모델링부에서 분류된 상기 슬라이스들의 위치 및 크기 정보를 타 정보와 함께 픽처 헤더에 부호화하되 매 영상마다 반복되는 정보를 생략하여 부호화하는 픽처 헤더 부호화부; 및 상기 픽처 헤더 정보를 참조하여 영상을 슬라이스 단위로 부호화하는 슬라이스 부호화부를 포함한다. 여기서, 상기 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성된다.Disclosed are an image encoding and decoding apparatus and method using overlapping rectangular slice structures. The apparatus for encoding an image may include a slice modeling unit classifying each image into at least one independent rectangular slice; A picture header encoding unit encoding position and size information of the slices classified by the slice modeling unit together with other information in a picture header, but omitting and encoding information repeated for each image; And a slice encoder for encoding an image in units of slices with reference to the picture header information. Here, at least two or more of the slices are configured such that predetermined regions overlap.

Description

겹치는 사각 슬라이스 구조를 이용한 영상 부호화 및 복호화 장치 및 방법 {Apparatus and method for coding and decoding image using overlapped rectangular slices}Apparatus and method for coding and decoding image using overlapped rectangular slices}

본 발명은 영상의 부호화 및 복호화에 관한 것으로, 특히 사각 슬라이스 구조를 이용하여 영상을 부호화하고 복호화하는 장치 및 방법에 관한 것이다.The present invention relates to encoding and decoding of an image, and more particularly, to an apparatus and method for encoding and decoding an image using a rectangular slice structure.

영상을 부호화하여 네트워크를 통해 전송하고자 할 때 슬라이스 구조는 유용하게 사용된다. 일반적으로, 슬라이스는 독립적으로 복호화가 가능하도록 되어 있어, 전송 도중 오류가 발생하는 경우 그 오류가 해당 슬라이스에만 국한되도록 한다. 따라서, 슬라이스 구조는 오류에 강인한 특성을 갖는다. The slice structure is useful when encoding an image and transmitting it through a network. In general, slices are decodable independently, so that if an error occurs during transmission, the error is limited to that slice. Therefore, the slice structure has a characteristic that is robust to errors.

기존의 비디오 코딩 표준안에는 이러한 슬라이스 구조를 효율적으로 사용하기 위한 기술들이 포함되어 있다. 예를 들면, ITU-T H.263 권고안에는 Annex K(Slice Structured Mode)에서 사각 슬라이스를 사용할 수 있는 기술이 마련되어 있다.Existing video coding standards include techniques for efficiently using this slice structure. For example, the ITU-T H.263 Recommendation provides for the use of rectangular slices in the Annex K (Slice Structured Mode).

최근 ISO/IEC MPEG과 ITU-T VCEG이 공동으로 JVT(joint video team)을 구성하여 새로운 비디오 코딩 표준안을 진행하고 있는데, 여기에서는 H.263의 슬라이스 구조보다 더 발달된 슬라이스 구조를 사용할 수 있는 기술이 채택되었다. 이 기술은 flexible MB ordering이라 하며, 임의의 매크로 블록(macroblock ; MB) 순서대로 슬라이스를 구성할 수 있도록 한다. 이 경우, 어떤 슬라이스에 어떤 매크로 블록을 포함시킬 것인가를 정의하기 위해 매크로 블록 배치도(MB allocation map)가 사용되는데, 사각 슬라이스의 경우 이 슬라이스에 포함되는 좌측 상단 매크로 블록의 인덱스와 우측 하단 매크로 블록의 인덱스를 사용하여 사각 슬라이스의 위치 및 크기를 정의하게 된다. 이 같이 구성된 사각 슬라이스는, 매크로 블록의 열 단위로 구성된 슬라이스 보다 더 좋은 압축 효율을 가질 뿐 아니라, 사각 슬라이스의 위치 선정에 따라 다양한 부호화 기법을 구현할 수 있다.Recently, ISO / IEC MPEG and ITU-T VCEG jointly formed a joint video team (JVT) to develop a new video coding standard, which uses a more advanced slice structure than the slice structure of H.263. This was adopted. This technique is called flexible MB ordering and allows you to organize slices in any macroblock (MB) order. In this case, the MB allocation map is used to define which macroblock is included in which slice. In the case of a rectangular slice, the index of the upper left macroblock and the lower right macroblock included in this slice are used. The index is used to define the position and size of the rectangular slice. The rectangular slices configured as described above not only have better compression efficiency than slices formed by columns of macro blocks, but also can implement various encoding techniques according to the position selection of the rectangular slices.

본 발명이 이루고자 하는 기술적 과제는, 영상을 슬라이스 단위로 나누어 부호화할 때 사각 슬라이스가 서로 겹치도록 구성함으로써, 관심 영역의 부호화시 경계 부분이 나타나지 않고, 다양한 크기의 영상 내 영상을 지원할 수 있는 장치 및 방법을 제공하는데 있다.An object of the present invention is to configure a rectangular slice overlapping each other when the image is divided into slices and encoded, so that the boundary portion does not appear when encoding the ROI, and can support the image in the image of various sizes and To provide a method.

본 발명이 이루고자 하는 다른 기술적 과제는, 슬라이스의 겹쳐진 부분을 중복하여 부호화함으로써, 네트워크 전송시 오류에 강인한 특성을 가질 수 있는 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide an apparatus and method capable of having a characteristic that is robust to errors in network transmission by encoding overlapping portions of slices.

본 발명이 이루고자 하는 다른 기술적 과제는, 픽처 헤더의 부호화시 매 영상마다 반복되는 정보를 생략함으로써, 부호화 효율을 높일 수 있는 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide an apparatus and a method for improving encoding efficiency by omitting information repeated for each image during encoding of a picture header.

본 발명이 이루고자 하는 또 다른 기술적 과제는 상기 방법을 이용한 부호화 및 복호화 방법을 컴퓨터에서 실행 가능한 프로그램 코드로 기록된 기록 매체를 제공하는 데 있다.Another object of the present invention is to provide a recording medium recorded with a program code executable by a computer in the encoding and decoding method using the above method.

상기의 과제를 이루기 위하여 본 발명에 의한 영상 부호화 장치는, 각각의 영상을 적어도 하나 이상의 독립적인 사각 슬라이스들로 분류하는 슬라이스 모델링부; 상기 슬라이스 모델링부에서 분류된 상기 슬라이스들의 위치 및 크기 정보를 타 정보와 함께 픽처 헤더에 부호화하되, 매 영상마다 반복되는 정보를 생략하여 부호화하는 픽처 헤더 부호화부; 및 상기 픽처 헤더 정보를 참조하여 영상을 슬라이스 단위로 부호화하는 슬라이스 부호화부를 포함하며, 상기 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성되는 것을 특징으로 한다.In order to achieve the above object, an image encoding apparatus according to the present invention includes a slice modeling unit for classifying each image into at least one independent rectangular slice; A picture header encoding unit encoding position and size information of the slices classified by the slice modeling unit together with other information in a picture header, and omitting and encoding information repeated for each image; And a slice encoder configured to encode an image in units of slices with reference to the picture header information, wherein at least two or more of the slices are configured to overlap a predetermined region.

상기의 과제를 이루기 위하여 본 발명에 의한 영상 복호화 장치는, 비트열에서 픽처 헤더를 복호화하는 픽처 헤더 복호화부; 상기 픽처 헤더 정보 중 슬라이스의 위치 및 크기 정보를 통해 슬라이스를 구성하는 슬라이스 구성부; 상기 픽처 헤더를 참조하여 슬라이스 단위로 영상을 복호화하는 슬라이스 복호화부; 및 상기 슬라이스 구성부에서 얻은 상기 슬라이스의 위치 및 크기 정보를 참조하여 상기 슬라이스 복호화부에서 복원된 슬라이스 단위의 상기 영상들을 한 장의 영상으로 구성하는 영상 구성부를 포함하며, 상기 복원된 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성되는 것을 특징으로 한다. In order to achieve the above object, an image decoding apparatus according to the present invention includes: a picture header decoder for decoding a picture header in a bit string; A slice configuration unit constituting a slice through the position and size information of the slice in the picture header information; A slice decoder which decodes an image in units of slices with reference to the picture header; And an image configuration unit configured to configure the images of the slice unit reconstructed by the slice decoding unit into a single image by referring to the position and size information of the slice obtained by the slice configuration unit, and at least two of the reconstructed slices. The above is characterized in that the predetermined areas are configured to overlap.

상기의 과제를 이루기 위하여 본 발명에 의한 영상 부호화 방법은, (a) 한 장의 영상에서 슬라이스의 위치 및 크기를 설정하는 단계; (b) 상기 (a) 단계에서 설정한 상기 슬라이스의 위치 및 크기 정보를 다른 정보와 함께 픽처 헤더에 부호화하는 단계; 및 (c) 상기 (b) 단계에서 부호화된 상기 픽처 헤더 정보를 참조하여 영상을 슬라이스 단위로 부호화하는 단계를 포함하며, 상기 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성되는 것을 특징으로 한다.In order to achieve the above object, the image encoding method according to the present invention comprises the steps of: (a) setting the position and size of a slice in a single image; (b) encoding the position and size information of the slice set in the step (a) together with other information in a picture header; And (c) encoding the image in units of slices with reference to the picture header information encoded in the step (b), wherein at least two or more of the slices are configured to overlap a predetermined region. do.

상기의 과제를 이루기 위하여 본 발명에 의한 영상 복호화 방법은, (a) 비트열에서 픽처 헤더를 복호화하는 단계; (b) 상기 (a)단계에서 복호화 된 상기 픽처 헤더에 포함된 슬라이스의 위치 및 크기 정보를 이용해서 슬라이스를 구성하는 단계; (c) 상기 (a) 단계에서 복호화 된 상기 픽처 헤더를 참조하여 슬라이스 단위로 영상을 복호화하는 단계; 및 (d) 상기 (c) 단계에서 복호화 된 상기 슬라이스 단위의 영상들을 상기 슬라이스의 위치 및 크기 정보를 참조하여 한 장의 영상으로 구성하는 단계를 포함하며, 상기 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성되는 것을 특징으로 한다.In order to achieve the above object, an image decoding method according to the present invention includes: (a) decoding a picture header in a bit string; (b) constructing a slice using location and size information of the slice included in the picture header decoded in step (a); (c) decoding an image in units of slices with reference to the picture header decoded in step (a); And (d) configuring images of the slice unit decoded in the step (c) into a single image by referring to the position and size information of the slice, wherein at least two of the slices are a predetermined region. It is characterized by being configured to overlap.

이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention.

도 1은 본 발명의 바람직한 실시예에 따른 영상 부호화 장치(100)의 블록도이다. 도 1을 참조하면, 본 발명에 따른 영상 부호화 장치(100)는, 슬라이스 모델링부(120), 픽처 헤더 부호화부(130), 슬라이스 부호화부(140)를 포함한다. 그리고, 슬라이스 부호화부(140)는 공간/시간 예측 부호화부(141), 변환 및 양자화부(142), 및 엔트로피 부호화부(143)를 포함한다.1 is a block diagram of an image encoding apparatus 100 according to a preferred embodiment of the present invention. Referring to FIG. 1, the image encoding apparatus 100 according to the present invention includes a slice modeling unit 120, a picture header encoding unit 130, and a slice encoding unit 140. The slice encoder 140 includes a space / temporal prediction encoder 141, a transform and quantizer 142, and an entropy encoder 143.

슬라이스 모델링부(120)는 사용자가 원하는 임의의 영역을 독립적으로 부호화할 수 있도록 각각의 영상(110)을 적어도 하나 이상의 독립적인 슬라이스로 분류한다. 이 때, 분류된 슬라이스 영역은 사각형의 형태를 가지며, 각각의 사각형 영역은 서로 겹칠 수 있다. 그리고, 사각형들에 의해 나타내지는 슬라이스 영역은 반드시 영상 전체를 나타낼 필요는 없고, 하나의 슬라이스 영역 내에 표시되지 않은 부분은 또 하나의 독립적인 슬라이스로 구분되어진다. 사각 슬라이스가 겹치는 경우에 대한 부호화 방법은 도 5 및 도 6을 참조하여 아래에서 상세히 설명될 것이다.The slice modeling unit 120 classifies each image 110 into at least one independent slice so that a user can independently encode any desired region. In this case, the classified slice regions may have a quadrangular shape, and each rectangular region may overlap each other. The slice regions represented by the rectangles do not necessarily represent the entire image, and portions not displayed in one slice region are divided into another independent slice. The encoding method for the case where the rectangular slices overlap will be described in detail below with reference to FIGS. 5 and 6.

픽처 헤더 부호화부(130)는 한 영상 내에 존재하는 모든 슬라이스를 복호화 하는데 필요한 공통 정보들을 부호화하고, 부호화된 정보를 슬라이스 부호화부(140)로 전송한다. 이 때 전송되는 정보에는 슬라이스의 개수, 모양, 위치 및 크기 등이 포함된다. 픽처 헤더 내의 정보들은 가변장부호로 부호화할 수도 있고 또한 고정길이 부호로 부호화 할 수도 있다. 상기 픽처헤더 부호화부는, 소정의 영역이 일부 또는 완전히 겹쳐져 있는 사각 슬라이스들의 부호화시 상기 겹쳐진 부분을 중복하여 부호화할 것인지의 여부를 결정하기 위해 중복 부호화 표시 정보를 상기 픽처 헤더에 삽입할 수도 있다.The picture header encoder 130 encodes common information required to decode all slices existing in one image, and transmits the encoded information to the slice encoder 140. Information transmitted at this time includes the number, shape, position and size of the slice. The information in the picture header may be encoded with a variable length code or may be encoded with a fixed length code. The picture header encoder may insert redundant encoding indication information into the picture header in order to determine whether to encode the overlapped portions at the time of encoding rectangular slices partially or completely overlapping a predetermined region.

이와 같이 구성된 픽처 헤더는, 동영상의 부호화시 매 영상마다 중복되어 사용되는 정보들이 매번 부호화되지 않고 중복되는 부분에 대한 부호화가 생략되어, 픽처 헤더의 부호화 효율이 높아지게 된다. 이는, 현재 영상의 픽처 헤더의 일부 정보가 이전 영상의 픽처 헤더의 정보와 같다는 것을 표시함으로써 이루어진다. 이에 대해서는 도 7을 참조하여 아래에서 상세히 설명될 것이다.In the picture header configured as described above, the encoding of the picture header is omitted since information for overlapping information used in every video is not encoded each time and the overlapping portion is omitted. This is done by indicating that some information in the picture header of the current picture is the same as the information in the picture header of the previous picture. This will be described in detail below with reference to FIG. 7.

슬라이스 부호화부(140)는 픽처 헤더 부호화부(130)로부터 입력되는 픽처 헤더 정보를 참조하여 슬라이스 단위로 영상을 부호화한다. 이를 위해 공간/시간 예측 부호화부(141)는 공간/시간상 중복되는 정보를 제거한다. 변환 및 양자화부(142)는 공간/시간 예측 부호화부(141)의 출력에 대해 이산코사인변환(DCT) 변환을 수행하고, 변환 계수를 양자화한다. 그리고, 엔트로피 부호화부(143)는 변환 및 양자화부(142)의 출력을 엔트로피 부호화하여 압축된 비트열을 생성한다.The slice encoder 140 encodes an image in units of slices by referring to picture header information input from the picture header encoder 130. To this end, the space / time prediction encoder 141 removes overlapping information in space / time. The transform and quantization unit 142 performs a discrete cosine transform (DCT) transform on the output of the space / temporal prediction encoder 141 and quantizes the transform coefficients. The entropy encoder 143 entropy encodes the output of the transform and quantizer 142 to generate a compressed bit string.

상기 슬라이스 부호화부(140)는 영상을 부호화하여 네트워크를 통해 전송할 때 슬라이스 단위로 나누어서 부호화하는데, 사각 슬라이스 단위로 영상을 나누어 부호화함으로써 슬라이스간 예측 부호화 손실을 줄이게 되고, 관심 영역 부호화 및 영상 내 영상 부호화 등을 수행할 수 있게 된다. 여기서 관심 영역 부호화는 영상을 관심 영역과 배경 영역으로 나누어 관심 영역은 화질을 좋게 하고 배경 영역은 화질을 떨어뜨림으로서, 제한된 비트율 하에서 주관적 화질을 향상시키는 부호화 방법이다. 그리고, 영상 내 영상 부호화는 사각 슬라이스로 구성된 부분을 독립적으로 복호화가 가능하도록 함으로써 그 부분이 마치 또 다른 한 장의 영상처럼 사용될 수 있도록 하는 방법이다.The slice encoder 140 encodes an image by encoding the image by dividing it into slice units when the image is transmitted through a network. By dividing and encoding the image by the rectangular slice unit, prediction slice loss between slices is reduced, ROI encoding and intra-image encoding. And so on. Here, the ROI encoding is an encoding method that improves subjective image quality under a limited bit rate by dividing an image into an ROI and a background region to improve the image quality of the ROI and the image quality of the background region. In addition, the intra-image encoding is a method of independently decoding a portion composed of rectangular slices so that the portion can be used like another image.

본 발명에서는 사각 슬라이스들이 나타내는 영역이 서로 겹치는 경우, 겹치는 부분과 배경 영역 사이에 존재하는 소정의 영역을 변이영역으로 설정하여, 부호화시 관심 영역과 배경 영역 사이에서 화질이 저하되는 문제를 방지한다. 그리고, 슬라이스 영역의 겹치는 부분을 중복해서 부호화함으로써 네트워크 전송시 오류에 강인하도록 할 뿐만 아니라, 영상 내 영상 부호화시 다양한 크기의 영상 내 영상을 사용할 수 있도록 한다. In the present invention, when the regions represented by the rectangular slices overlap each other, a predetermined region existing between the overlapping portion and the background region is set as the transition region, thereby preventing a problem of deterioration in image quality between the ROI and the background region during encoding. In addition, by overlapping the overlapping portions of the slice regions, not only are they robust to errors in network transmission, but also images of various sizes can be used when encoding images in the image.

도 2는 도 1에 도시된 영상 부호화 장치(100)의 영상 부호화 방법을 보여주는 흐름도이다. 도 2를 참조하면, 먼저 슬라이스의 위치 및 크기가 설정되면, 슬라이스 모델링부(120)에 의해서 해당 영상이 적어도 하나 이상의 독립적인 슬라이스들로 분류된다(1200 단계). 그리고, 픽처 헤더 부호화부(130)에 의해서 픽처 헤더가 부호화되고(1300 단계), 슬라이스 부호화부(140)에 의해서 슬라이스들에 대한 부호화가 수행된다(1400 단계).2 is a flowchart illustrating an image encoding method of the image encoding apparatus 100 illustrated in FIG. 1. Referring to FIG. 2, when the position and size of a slice are first set, the slice modeling unit 120 classifies the corresponding image into at least one or more independent slices (step 1200). The picture header is encoded by the picture header encoder 130 (step 1300), and the slices are encoded by the slice encoder 140 (step 1400).

여기서, 슬라이스 부호화 단계(1400 단계)는, 슬라이스 단위의 영상에 존재하는 공간/시간상 중복되는 정보를 제거하는 공간/시간 예측 부호화 단계(1410 단계), 중복된 정보가 제거된 상기 데이터에 대해 이산코사인변환(DCT) 변환 및 양자화를 수행하는 단계(1420 단계). 및 양자화된 상기 데이터를 엔트로피 부호화하여 압축된 비트열을 생성하는 엔트로피 부호화 단계(1430 단계)로 세분화된다. Here, the slice encoding step (step 1400) may include a space / temporal prediction encoding step (step 1410) of removing space / time overlapping information existing in a slice unit image, and discrete cosine for the data from which duplicate information is removed. Performing transform (DCT) transform and quantization (step 1420). And entropy encoding (step 1430) of entropy encoding the quantized data to generate a compressed bit string.

도 3은 본 발명의 바람직한 실시예에 따른 영상 복호화 장치(200)의 블록도이다. 도 3을 참조하면, 본 발명에 따른 영상 복호화 장치(200)는 픽처 헤더 복호화부(250), 슬라이스 구성부(260), 슬라이스 복호화부(270), 및 영상 구성부(280)를 포함한다. 그리고, 슬라이스 복호화부(270)는 엔트로피 복호화부(271), 역양자화 및 역변환부(272), 및 영상 복원부(273)를 포함한다.3 is a block diagram of an image decoding apparatus 200 according to a preferred embodiment of the present invention. Referring to FIG. 3, the image decoding apparatus 200 according to the present invention includes a picture header decoder 250, a slice composer 260, a slice decoder 270, and an image composer 280. The slice decoder 270 includes an entropy decoder 271, an inverse quantization and inverse transform unit 272, and an image reconstruction unit 273.

픽처 헤더 복호화부(250)는 네트워크를 통해 수신된 비트열에서 픽처 헤더 정보를 복호화한다. 그리고, 복호화 된 슬라이스의 개수, 모양, 위치 및 크기 등에 대한 정보를 슬라이스 구성부(260)에게 전달하고, 그 외의 다른 정보들은 슬라이스 복호화부(270)에게 전달한다. The picture header decoder 250 decodes picture header information from a bit string received through a network. In addition, information about the number, shape, position, and size of the decoded slice is transmitted to the slice configuration unit 260, and other information is transmitted to the slice decoding unit 270.

슬라이스 구성부(260)는 픽처 헤더 복호화부(250)에서 전달받은 슬라이스의 개수, 모양, 위치 및 크기 등에 대한 정보에 응답해서, 슬라이스의 위치를 선정하고 슬라이스의 겹쳐진 부분을 처리하여, 슬라이스를 구성한다. 슬라이스 영역이 겹치는 부분에 대한 처리는 도 5 및 도 6을 참조하여 아래에서 상세히 설명될 것이다. The slice configuration unit 260 configures slices by selecting slice positions and processing overlapping portions of slices in response to information about the number, shape, position, and size of the slices received from the picture header decoder 250. do. Processing for the portion where the slice regions overlap will be described in detail below with reference to FIGS. 5 and 6.

슬라이스 복호화부(270)는 픽처 헤더 복호화부(250)로부터 입력되는 픽처 헤더 정보를 참조하여 각 슬라이스 단위의 영상을 복호화한다. 이를 위해 엔트로피 복호화부(271)는 비트열을 엔트로피 복호화하고, 역양자화 및 역변환부(272)는 엔트로피 복호화된 비트열에 대해 역양자화 및 역 DCT 변환을 수행한다. 그리고, 영상 복원부(273)는 역양자화 및 역변환부(272)의 출력 데이터에 대해 공간/시간상 예측 부호화된 정보를 보상하여 영상을 복원한다. 이 때 각 슬라이스 단위로 복원된 영상은 슬라이스 구성부(260)로부터 입력된 정보에 따라 영상 구성부(280)에서 한 장의 영상으로 합쳐지게 된다.The slice decoder 270 decodes an image of each slice unit by referring to picture header information input from the picture header decoder 250. To this end, the entropy decoding unit 271 entropy decodes the bit string, and the inverse quantization and inverse transform unit 272 performs inverse quantization and inverse DCT transformation on the entropy decoded bit string. The image reconstructor 273 reconstructs the image by compensating spatial / temporal predictive encoded information on the output data of the inverse quantization and inverse transform unit 272. At this time, the image reconstructed in each slice unit is merged into one image by the image constituting unit 280 according to the information input from the slice constituting unit 260.

이 같은 구성을 가지는 본 발명에 따른 영상 복호화 장치(200)는 도 1에 도시된 영상 부호화 장치(100)에 의해 부호화 된 영상을 복호화 하기 위한 것으로서, 그 동작 수순은 영상 부호화 장치(100)의 역순을 따르나, 영상 복호화 장치(200)가 가지고 있는 슬라이스 처리를 위한 기본 특성은 영상 부호화 장치(100)와 동일하다. 따라서, 설명의 간략화를 위해 영상 부호화 장치(100)와 공통되는 특성에 대해서는 중복되는 설명을 생략한다.The video decoding apparatus 200 according to the present invention having such a configuration is for decoding an image encoded by the video encoding apparatus 100 shown in FIG. 1, and the operation procedure thereof is the reverse of that of the video encoding apparatus 100. However, the basic characteristics for the slice processing that the image decoding apparatus 200 has are the same as those of the image encoding apparatus 100. Therefore, in order to simplify the description, overlapping descriptions of characteristics common to the image encoding apparatus 100 will be omitted.

도 4는 도 3에 도시된 영상 복호화 장치(200)의 영상 복호화 방법을 보여주는 흐름도이다. 도 4를 참조하면, 먼저 수신된 비트열에서 픽처 헤더 정보가 복호화된다(2500 단계). 이 때, 슬라이스의 개수, 모양, 위치 및 크기 등에 대한 정보가 슬라이스 구성부(260)에 전달되고, 슬라이스 구성부(260)는 입력된 상기 정보에 응답해서 슬라이스의 위치를 선정하고, 슬라이스의 겹쳐진 부분을 처리하여, 슬라이스를 구성한다(2600 단계). 그리고, 구성된 슬라이스에 대한 복호화가 수행되고(2700 단계), 상기 슬라이스의 위치 및 크기를 참조하여 영상이 구성된다(2800 단계).4 is a flowchart illustrating an image decoding method of the image decoding apparatus 200 illustrated in FIG. 3. Referring to FIG. 4, picture header information is first decoded in the received bit string (step 2500). At this time, information about the number, shape, position, and size of the slices is transmitted to the slice constituting unit 260, and the slice constituting unit 260 selects the positions of the slices in response to the input information, and overlaps the slices. The portion is processed to form a slice (step 2600). Then, decoding of the configured slice is performed (step 2700), and an image is constructed by referring to the position and size of the slice (step 2800).

여기서, 슬라이스 복호화 단계(2700 단계)는, 비트열을 엔트로피 복호화 하는 엔트로피 복호화 단계(2710 단계), 엔트로피 복호화된 데이터에 대해 역양자화 및 역 DCT 변환을 수행하는 단계(2720 단계), 및 역 DCT 변환된 데이터에 공간/시간상 예측 부호화된 정보를 보상하는 단계(2730 단계)로 세분화된다.Here, the slice decoding step 2700 may include an entropy decoding step 2710 for entropy decoding a bit string, an inverse quantization and an inverse DCT transform on the entropy decoded data, and an inverse DCT transform. Compensating the spatial / temporal predictive coded information on the extracted data (step 2730).

도 5는 한 장의 영상에서 관심 영역을 포함하는 하나의 사각 슬라이스가 다른 사각 슬라이스 내부에 완전히 포함되는 경우, 상기 슬라이스를 처리하는 방법을 설명하기 위한 도면이다. 도 5를 참조하면, 한 장의 영상(300)은 두 개의 사각 슬라이스(302,303)와 하나의 배경 슬라이스(304)로 구성된다. FIG. 5 is a diagram for describing a method of processing the slice when one rectangular slice including the ROI in one image is completely included in another rectangular slice. Referring to FIG. 5, one image 300 includes two rectangular slices 302 and 303 and one background slice 304.

두 개의 사각 슬라이스(302,303)에 있어서, 작은 사각 슬라이스(302)는 큰 사각 슬라이스(303)의 영역 내에 완전히 포함된다. 이 경우, 큰 사각 슬라이스(303)의 영역은 작은 사각 슬라이스(302)가 나타내는 영역(빗금으로 표시된 부분)을 중복해서 나타낼 수도 있고, 두 사각 슬라이스(302, 303)가 서로 중복되지 않도록 작은 사각 슬라이스(302)를 제외한 영역(큰 사각 슬라이스(303)의 영역에서 빗금친 부분을 제외한 영역)을 나타낼 수도 있다. 이와 같이 두 개의 슬라이스(302, 303)가 나타내는 영역이 서로 중복되지 않을 경우, 작은 사각 슬라이스(302)는 한 장의 영상 내에서 사용자가 보기에 보다 더 중요하게 생각하는 부분, 즉 관심 영역(301)을 포함하는 슬라이스로 사용되고, 큰 사각 슬라이스(303)는 관심 영역(301)과 배경 영역(304)의 중간에 위치한 변이 영역으로 사용된다. For the two rectangular slices 302 and 303, the small rectangular slice 302 is completely contained within the area of the large rectangular slice 303. In this case, the area of the large rectangular slice 303 may overlap the area indicated by the small rectangular slice 302 (part indicated by hatching), and the small rectangular slice so that the two rectangular slices 302 and 303 do not overlap each other. An area excluding 302 (an area excluding the hatched portion of the area of the large rectangular slice 303) may be shown. As such, when the regions represented by the two slices 302 and 303 do not overlap each other, the small rectangular slice 302 is a portion of the image that the user considers more important than the view, that is, the region of interest 301. The large rectangular slice 303 is used as a slice including a transition region located between the region of interest 301 and the background region 304.

일반적으로, 사각 슬라이스를 이용하는 부호화 장치는 관심 영역의 부호화시 관심 영역의 화질은 좋게 하고 배경 영역은 압축을 많이 하여 화질을 떨어뜨림으로서, 제한된 비트량 하에서 주관적 화질을 높여주게 된다. 그러나, 이 때 관심 영역(301)과 배경 영역(304)간에는 두 영역간의 급격한 화질 변화로 인해 경계가 생기게 되는데, 본 발명에 따른 부호화 장치(100)는 도 5에 도시된 바와 같이 관심 영역(301)과 배경 영역(304) 간에 변이 영역(303)을 설정함으로써, 이러한 경계 발생을 효과적으로 줄이게 된다.In general, an encoding apparatus using a rectangular slice improves the image quality of the ROI when encoding the ROI and reduces the image quality by compressing the background region much, thereby increasing the subjective image quality under a limited bit amount. However, at this time, a boundary is formed between the ROI 301 and the background region 304 due to a sudden change in image quality between the ROIs. The encoding apparatus 100 according to the present invention may have the ROI 301 as shown in FIG. 5. By setting the transition region 303 between the < RTI ID = 0.0 > and the background region 304, this boundary generation can be effectively reduced.

여기서, 작은 사각 슬라이스(302)는 독립적으로 복호화가 가능하므로, 한 장의 전체 영상을 복호화하는 것이 불가능하거나 불필요한 경우에는 관심 영역을 포함하는 작은 사각 슬라이스 영역만 복호화하여 사용한다. 이 때, 작은 사각 슬라이스(302)로부터 복원된 영상은 영상 내 영상이 된다. 그리고, 큰 사각 슬라이스(303)가 나타내는 영역이 작은 사각 슬라이스(302)가 나타내는 영역과 중복되지 않을 경우(즉, 큰 사각 슬라이스(303)가 관심 영역(301)과 배경 영역(304) 간의 변이 영역(303)으로 사용될 경우), 상기 사각 슬라이스(303)로부터 복원된 영상은 또 다른 영상 내 영상을 이루게 된다. 그러므로, 한 장의 영상에서 사각 슬라이스의 개수만큼 영상 내 영상을 단계적으로, 즉 작은 영상에서 점점 더 큰 영상으로 가질 수 있게 된다.Here, since the small rectangular slice 302 can be independently decoded, when it is impossible or unnecessary to decode a single whole image, only the small rectangular slice region including the ROI is decoded and used. At this time, the image reconstructed from the small rectangular slice 302 becomes an image in the image. When the area represented by the large rectangular slice 303 does not overlap with the area represented by the small rectangular slice 302 (that is, the large rectangular slice 303 is a transition region between the ROI 301 and the background region 304). If used as 303), the image reconstructed from the rectangular slice 303 forms another image in the image. Therefore, the number of square slices in a single image can be obtained step by step, that is, from small images to larger and larger images.

한편, 두 개의 사각 슬라이스(302, 303)가 나타내는 부분이 중복되는 경우(즉, 큰 사각 슬라이스(303)가 작은 사각 슬라이스(302)를 완전히 포함하는 경우), 작은 사각 슬라이스(302)가 나타내는 부분(즉, 빗금친 부분)은 큰 사각 슬라이스(303)에 의해 다시 부호화 및 복호화 된다. 이러한 방법은 오류가 있는 네트워크에서 사용될 때 유용하다. 왜냐하면, 작은 사각 슬라이스(302)가 나타내는 영역은 관심 영역(301)으로 중요하게 생각되므로, 이 부분을 중복하여 부호화하여 전송한 후, 전송된 임의의 슬라이스에 오류가 일어난 경우 오류가 일어나지 않은 다른 영상을 사용함으로써, 네트워크 전송시 발생될 수 있는 오류를 방지할 수 있기 때문이다. 이 경우 두 개의 사각 슬라이스(302, 303)는, 앞에서 설명한 경우와 마찬가지로 각각 독립적인 영상 내 영상을 구성하게 된다.On the other hand, when the portions indicated by the two rectangular slices 302 and 303 overlap (that is, when the large rectangular slice 303 completely includes the small rectangular slice 302), the portion indicated by the small rectangular slice 302 (Ie, hatched portions) are encoded and decoded again by the large rectangular slice 303. This method is useful when used in a faulty network. Because the area indicated by the small rectangular slice 302 is considered to be important as the area of interest 301, another part of the image which is not an error when an error occurs in any of the slices transmitted after encoding and transmitting this part redundantly This is because by using, it is possible to prevent an error that may occur during network transmission. In this case, the two rectangular slices 302 and 303 constitute the independent intra-images as described above.

도 6은 한 장의 영상에서 관심 영역을 포함하는 서로 다른 두 사각 슬라이스가 서로 포함되지 않게 겹쳐 있는 경우, 상기 슬라이스를 처리하는 방법을 설명하기 위한 도면이다. FIG. 6 is a diagram for describing a method of processing the slice when two different rectangular slices including the ROI overlap each other without being included in one image.

도 6을 참조하면, 두 개의 사각 슬라이스(312, 313)는 모두 관심 영역(311)을 포함하고 있다. 이러한 경우에도 도 5의 경우와 마찬가지로 두 개의 사각 슬라이스가 표현하는 영역(즉, 빗금친 영역)을 중복되게 구성하는 경우와, 중복되지 않도록 구성하는 경우(즉, 임의의 슬라이스의 영역이 빗금친 부분을 제외한 영역으로 구성된 경우)를 생각할 수 있다. 두 개의 사각 슬라이스가 표현하는 영역이 중복되는 경우는 도 5의 경우와 마찬가지로 공통된 영역이 중복되어 부호화되므로, 네트워크 전송시 오류에 강인한 특성을 갖게 된다. 이 때, 각각의 슬라이스는 앞에서 설명한 바와 마찬가지로 독립적인 영상 내 영상을 이루게 된다.Referring to FIG. 6, two rectangular slices 312 and 313 both include a region of interest 311. Even in this case, as in the case of FIG. 5, the overlapping area (that is, the hatched area) represented by the two rectangular slices is overlapped with the case where the non-overlapping area (ie, the area of any slice is hatched). If it consists of areas other than)). When the areas represented by the two rectangular slices overlap each other, as in the case of FIG. 5, since the common areas are overlapped and encoded, the network has strong characteristics against errors in network transmission. At this time, each slice forms an image in an independent image as described above.

각 슬라이스가 두 슬라이스간에 겹쳐진 영역(빗금친 영역)을 중복하여 포함하도록 구성된 것인지 아닌지는, 슬라이스 헤더 또는 픽처 헤더에 추가적인 정보를 삽입하여 나타낼 수 있다. 또한, 추가적인 정보를 삽입하지 않고, 도 5와 같이 한 슬라이스가 다른 슬라이스에 포함된 경우에는 중복하여 부호화하지 않고, 도 6과 같이 포함하지 않고 겹쳐진 경우에는 중복하여 부호화하도록 규칙을 정할 수도 있다. 그리고, 슬라이스간에 우선 순위 정보가 있다면 우선순위가 같은 경우는 중복하여 부호화하고, 그렇지 않으면 중복하지 않을 수도 있다. 상기와 같은 슬라이스 부호화에 이어, 본 발명에 따른 헤더 부호화 방법을 살펴보면 다음과 같다.Whether or not each slice is configured to include overlapping regions (hatched regions) between two slices can be indicated by inserting additional information into a slice header or a picture header. In addition, if one slice is included in another slice as shown in FIG. 5 without additional information, a rule may be determined such that the slice is not encoded when overlapped without overlapping as shown in FIG. 6. If there is priority information between slices, if the priorities are the same, they are encoded repeatedly, otherwise they may not overlap. Following the slice encoding as described above, the header encoding method according to the present invention will be described.

앞에서 설명한 바와 같이, 한 영상 내의 슬라이스의 개수, 모양, 위치, 크기 등의 정보는 영상의 픽처 헤더에 부호화된다. 픽처 헤더에는 이 밖에도 한 장의 영상을 부호화하는데 필요한 공통된 정보들이 포함된다. 이러한 정보들은 동영상을 부호화할 때 매 영상마다 변하는 정보도 있지만 거의 변하지 않는 정보도 있다. 그러므로, 본 발명에서는 변하지 않는 정보는 매 영상마다 부호화하지 않고 이전 영상의 픽처 헤더에서 그대로 가져다가 씀으로써 부호화 효율을 높여준다. As described above, information such as the number, shape, position, and size of slices in one image is encoded in a picture header of the image. In addition, the picture header includes common information necessary for encoding a single video. Such information may change in every image when the video is encoded, but may have little information. Therefore, in the present invention, the information that does not change is not encoded for every picture but is taken from the picture header of the previous picture as it is, thereby improving coding efficiency.

특히, JVT 표준에서 사용되는 flexible MB ordering 기법처럼 모든 MB에 대해서 각 MB가 어떤 슬라이스에 해당되는지를 모두 부호화하게 된다면, 픽처 헤더의 부호화 양이 커지게 된다. 따라서, 본 발명에서는 이런 경우 매 영상마다 동일한 매크로 블록 배치도(MB allocation map)를 사용하되, 상기 정보를 매번 보내지 않고 이전 영상의 픽처 헤더의 것을 그대로 사용함으로써 부호화 효율을 높여준다.In particular, if all MBs are encoded for each MB, such as the flexible MB ordering technique used in the JVT standard, the encoding amount of the picture header is increased. Accordingly, in the present invention, the same macroblock allocation map is used for each image, but the encoding efficiency is improved by using the picture header of the previous image as it is without transmitting the information each time.

도 7은 본 발명의 바람직한 실시예에 따른 픽처 헤더의 부호화 방법을 설명하기 위한 도면이다. 도 7에는 두 개의 영상을 부호화 할 때 각 영상에 대응되는 픽처 헤더가 도시되어 있다. 여기서, 픽처 헤더 1은 이전 영상의 픽처 헤더를 의미하고, 픽처 헤더 2는 현재 영상의 픽처 헤더를 의미한다.7 is a diagram for describing a method of encoding a picture header according to an embodiment of the present invention. 7 illustrates a picture header corresponding to each image when two images are encoded. Here, picture header 1 means a picture header of a previous picture, and picture header 2 means a picture header of a current picture.

도 7을 참조하면, 각각의 픽처 헤더에는 각 영상마다 매번 변화하는 부분이 있는데 이 부분은 픽처 헤더 1의 A 부분(400)과 픽처 헤더 2의 A' 부분(410)으로 표시되었다. 그리고, 픽처 헤더간에 거의 변하지 않는 부분이 있는데 이 부분은 픽처 헤더 1의 B 부분(401)과 픽처 헤더 2의 B 부분(411)으로 표시되었다. 그리고, 픽처 헤더 정보에서 변할 수도 변하지 않을 수도 있는 부분을 C (402) 및 C' (412)로 표시하였다. 여기서, 각 픽처 헤더의 B 부분(401,411)은 사실상 서로 동일한 정보를 나타낸다.Referring to FIG. 7, each picture header has a portion that changes each time for each image, which is indicated by an A portion 400 of picture header 1 and an A ′ portion 410 of picture header 2. There is a part which hardly changes between the picture headers, which is indicated by the B part 401 of the picture header 1 and the B part 411 of the picture header 2. FIG. The portion of the picture header information that may or may not change is denoted by C 402 and C ′ 412. Here, the B portions 401 and 411 of each picture header represent substantially the same information.

이 경우, 본 발명에 따른 영상 부호화 장치(100)의 픽처 헤더 부호화부(130)는 각 픽처 헤더의 B 부분(401, 411)과 같이 동일한 정보를 생략해서 부호화한다. 즉, 각 픽처 헤더간에 공통된 부분인 픽처 헤더 1의 B 부분(401)은 픽처 헤더 2의 부호화시 생략되고, B 부분(401)이 생략되었음을 나타내기 위해 D 부분(431)이 추가된다.In this case, the picture header encoding unit 130 of the image encoding apparatus 100 according to the present invention omits and encodes the same information as the B portions 401 and 411 of each picture header. That is, the B part 401 of the picture header 1, which is a part common between the picture headers, is omitted when the picture header 2 is encoded, and the D part 431 is added to indicate that the B part 401 is omitted.

예를 들어, D 부분(431)이 1 비트로 구성되는 경우, 두 픽처 헤더의 B 부분(401, 411)이 동일한 정보이면 D 부분(431)은 "1"의 값을 표시하여 B 부분(401)의 정보를 생략하고, 두 픽처 헤더의 B 부분(401, 411)이 동일한 정보가 아니면 "0"을 표시하여 B 부분(401)을 생략하지 않고 부호화하도록 한다.For example, when the D portion 431 is composed of 1 bit, if the B portions 401 and 411 of the two picture headers are the same information, the D portion 431 displays a value of "1" to indicate the B portion 401. Is omitted. If the B portions 401 and 411 of the two picture headers are not the same information, " 0 " is displayed to encode the B portion 401 without omission.

그리고, D 부분(431)이 2 비트로 구성되는 경우, 픽처 헤더 1의 B 부분(401)뿐 아니라 C 부분(402)까지도 생략할 수 있다. 예를 들어, 두 픽처 헤더의 B 부분(401, 411)과 C 부분(402, 412)이 각각 동일한 정보인 경우, D 부분(431)을 "11"로 표시하여 B 부분(401)과 C 부분(402)을 모두 생략하고, 어느 한 쪽만 중복된 경우 "01" 또는 "10"으로 표시하여 중복된 부분만 생략하고, 그리고 두 부분이 각각 동일하지 않은 경우 "00"으로 표시하고 두 부분 모두를 부호화한다.In addition, when the D portion 431 includes two bits, not only the B portion 401 of the picture header 1 but also the C portion 402 may be omitted. For example, when the B portions 401 and 411 and the C portions 402 and 412 of the two picture headers each have the same information, the B portion 401 and the C portion are indicated by marking the D portion 431 as "11". Omit all of (402), and if only one is duplicated, mark it as "01" or "10" to omit only the duplicated part, and if both parts are not identical, mark as "00" and both parts Encode

이와 같이, 본 발명에 따른 픽처 헤더 부호화부(130)는 픽처 헤더에서 동일한 정보를 생략하여 부호화함으로써 부호화 효율을 높일 수 있다. 상기 픽처 헤더 부호화부(130)는 헤더 상에 존재하는 동일한 정보를 생략하기 위하여 픽처 헤더를 일정 부분으로 구분하고, 어떤 부분이 생략되었는지의 여부를 나타내는 정보를 픽처 헤더에 포함하여 부호화한다.As such, the picture header encoder 130 according to the present invention can increase coding efficiency by omitting and encoding the same information in the picture header. In order to omit the same information existing on the header, the picture header encoder 130 divides the picture header into certain parts and encodes the picture header by including information indicating whether any part is omitted.

이상에서 영상을 슬라이스 구조로 부호화할 때에 사각 슬라이스 구조를 겹치게 구성하여 부호화 및 복호화 하는 방법과, 영상의 헤더를 부호화하는 방법을 상술하였다. 본 발명은 영상을 슬라이스 구조로 부호화하여 네트워크를 통해 전송할 때에 유용하게 사용될 수 있다. 이는, 영상을 슬라이스로 나눌 때에 사람의 시각적 특성을 이용하여 관심 영역과 배경 영역을 구분하여 차등하게 부호화함으로써 주관적 화질을 높일 수 있고, 특히 관심 영역과 배경 영역 사이에 변이 영역을 설정함으로써 경계가 나타나는 현상을 줄일 수 있다. 또한, 겹친 부분을 중복하여 보내도록 함으로써 중요한 부분이 오류에 강인하도록 할 수 있다. In the above, the method of encoding and decoding by overlapping rectangular slice structures when encoding an image into a slice structure and the method of encoding a header of the image have been described above. The present invention can be usefully used when the image is encoded in a slice structure and transmitted through a network. This means that subjective image quality can be improved by dividing the region of interest and the background region differentially by using the visual characteristics of a person when dividing the image into slices, and in particular, by setting a transition region between the region of interest and the background region, the boundary appears. The phenomenon can be reduced. In addition, by overlapping the overlapping parts, important parts can be made more robust to errors.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에 설명한 바와 같이, 본 발명에 의한 영상 부호화 및 복호화 장치 및 방법에 의하면, 영상을 슬라이스 단위로 나누어 부호화하고 복호화 할 때 사각 슬라이스를 서로 겹치게 구성함으로써, 주관적 화질을 높일 수 있고, 특히 관심 영역과 배경 영역 사이에 변이 영역을 설정함으로써 경계가 나타나는 현상을 줄일 수 있다. 또한, 겹친 부분을 중복하여 보내도록 함으로써 네트워크 전송시 오류에 강인하도록 할 수 있다. 그리고, 픽처 헤더를 부호화할 때 매 영상마다 반복되는 정보를 생략하여 부호화함으로써, 픽처 헤더의 부호화 효율을 높일 수 있다.As described above, according to the video encoding and decoding apparatus and method according to the present invention, the rectangular slices are overlapped with each other when the video is divided into slices and encoded and decoded, so that the subjective picture quality can be increased, and the region of interest and By setting the transition region between the background regions, the phenomenon in which the boundary appears can be reduced. In addition, by overlapping the overlapping parts, it is possible to be robust against errors in network transmission. When the picture header is encoded, the encoding information of the picture header can be improved by omitting and encoding information repeated for each image.

도 1은 본 발명의 바람직한 실시예에 따른 영상 부호화 장치의 블록도이다.1 is a block diagram of a video encoding apparatus according to a preferred embodiment of the present invention.

도 2는 도 1에 도시된 영상 부호화 장치의 영상 부호화 방법을 보여주는 흐름도이다.FIG. 2 is a flowchart illustrating a video encoding method of the video encoding apparatus shown in FIG. 1.

도 3은 본 발명의 바람직한 실시예에 따른 영상 복호화 장치의 블록도이다.3 is a block diagram of an image decoding apparatus according to a preferred embodiment of the present invention.

도 4는 도 3에 도시된 영상 복호화 장치의 영상 복호화 방법을 보여주는 흐름도이다.4 is a flowchart illustrating an image decoding method of the image decoding apparatus of FIG. 3.

도 5는 한 장의 영상에서 관심 영역을 포함하는 하나의 사각 슬라이스가 다른 사각 슬라이스 내부에 완전히 포함되는 경우, 상기 슬라이스를 처리하는 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing a method of processing the slice when one rectangular slice including the ROI in one image is completely included in another rectangular slice.

도 6은 한 장의 영상에서 관심 영역을 포함하는 서로 다른 두 사각 슬라이스가 서로 포함되지 않게 겹쳐 있는 경우, 상기 슬라이스를 처리하는 방법을 설명하기 위한 도면이다.FIG. 6 is a diagram for describing a method of processing the slice when two different rectangular slices including the ROI overlap each other without being included in one image.

도 7은 본 발명의 바람직한 실시예에 따른 픽처 헤더의 부호화 방법을 설명하기 위한 도면이다.7 is a diagram for describing a method of encoding a picture header according to an embodiment of the present invention.

< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>

100 : 영상 부호화 장치 110, 290 : 영상100: video encoding apparatus 110, 290: video

120 : 슬라이스 모델링부 130 : 픽처헤더 부호화부120: slice modeling unit 130: picture header encoder

140 : 슬라이스 부호화부 200 : 영상 복호화 장치140: slice encoder 200: video decoding apparatus

250 : 픽처헤더 복호화부 260 : 슬라이스 구성부250: picture header decoding unit 260: slice construction unit

270 : 슬라이스 복호화부 280 : 영상 구성부270: slice decoder 280: video component

Claims (52)

각각의 영상을 적어도 하나 이상의 독립적인 사각 슬라이스들로 분류하는 슬라이스 모델링부;A slice modeling unit classifying each image into at least one independent rectangular slice; 상기 슬라이스 모델링부에서 분류된 상기 슬라이스들의 위치 및 크기 정보를 타 정보와 함께 픽처 헤더에 부호화하되, 매 영상마다 반복되는 정보를 생략하여 부호화하는 픽처 헤더 부호화부; 및A picture header encoding unit encoding position and size information of the slices classified by the slice modeling unit together with other information in a picture header, and omitting and encoding information repeated for each image; And 상기 픽처 헤더 정보를 참조하여 영상을 슬라이스 단위로 부호화하는 슬라이스 부호화부를 포함하며,A slice encoder which encodes an image in units of slices with reference to the picture header information; 상기 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성되는 것을 특징으로 하는 영상 부호화 장치.At least two or more of the slices are configured such that a predetermined area overlaps. 제 1 항에 있어서, 상기 슬라이스 부호화부는The slice encoder of claim 1, wherein the slice encoder 상기 영상을 슬라이스 단위로 공간/시간상 예측 부호화를 수행하는 공간/시간 예측 부호화부;A spatial / temporal predictive encoding unit which performs spatial / temporal predictive encoding on the image in units of slices; 상기 공간/시간 예측 부호화부에서 예측 부호화된 정보에 대한 이산코사인변환 및 양자화를 수행하는 변환 및 양자화부; 및A transform and quantizer for performing discrete cosine transform and quantization on the information encoded by the space / temporal prediction encoder; And 변환 및 양자화부에서 얻은 정보를 엔트로피 부호화하는 엔트로피 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.And an entropy encoding unit for entropy encoding information obtained by the transform and quantization unit. 제 1 항에 있어서, The method of claim 1, 상기 슬라이스 부호화부는, 사용자가 보기에 중요하게 생각하는 관심 영역은 화질을 좋게 부호화하고, 상기 영상에서 상기 관심영역을 제외한 배경 영역은 화질이 떨어지게 부호화함으로써, 제한된 비트율 하에서 주관적 화질을 향상시키는 것을 특징으로 하는 영상 부호화 장치.The slice encoder encodes the image quality of the ROI that the user considers important in image quality and encodes the background region of the image excluding the ROI to have low image quality, thereby improving subjective image quality under a limited bit rate. An image encoding device. 제 3 항에 있어서, The method of claim 3, wherein 상기 슬라이스 부호화부는, 하나의 사각 슬라이스가 다른 사각 슬라이스에 내에 완전히 포함되도록 상기 두 슬라이스들이 겹쳐 있을 때, 상기 슬라이스들 중 내부에 포함된 내부 슬라이스 영역과, 외부의 상기 슬라이스 영역과 상기 내부 슬라이스 영역 사이의 영역을 각각 독립적으로 부호화하는 것을 특징으로 하는 영상 부호화 장치.When the two slices overlap each other such that one rectangular slice is completely included in another rectangular slice, the slice encoder may include an inner slice region included inside of the slices, and an outer slice region between the outer slice region and the inner slice region. An image encoding device, characterized in that for each encoding independently. 제 4 항에 있어서, The method of claim 4, wherein 상기 외부 슬라이스 영역과 상기 내부 슬라이스 영역 사이의 영역은, 부호화시 상기 내부 슬라이스 영역과 상기 배경 영역 사이에 경계가 드러나지 않도록 완충 작용을 하는 변이영역인 것을 특징으로 하는 영상 부호화 장치.And a region between the outer slice region and the inner slice region is a transition region that buffers a boundary between the inner slice region and the background region during encoding. 제 4 항에 있어서, The method of claim 4, wherein 상기 슬라이스 부호화부는, 하나의 사각 슬라이스가 다른 사각 슬라이스에 내에 완전히 포함되도록 상기 두 슬라이스들이 겹쳐 있을 때, 상기 겹쳐진 영역을 각 슬라이스별로 중복하여 부호화함으로써, 네트워크 전송시 오류에 강인하도록 하는 것을 특징으로 하는 영상 부호화 장치.When the two slices overlap each other so that one rectangular slice is completely included in another rectangular slice, the slice encoding unit encodes the overlapped regions for each slice so as to be robust to errors in network transmission. Video encoding device. 제 1 항에 있어서, The method of claim 1, 상기 슬라이스 부호화부는, 하나의 사각 슬라이스가 다른 사각 슬라이스의 일 부분과 겹쳐 있을 때, 상기 겹쳐진 영역을 각 슬라이스별로 중복하여 부호화하는 것을 특징으로 하는 영상 부호화 장치.The slice encoder, when one rectangular slice overlaps with a part of another rectangular slice, encodes the overlapped region for each slice. 제 4 항 또는 제 7 항에 있어서, The method according to claim 4 or 7, 상기 슬라이스 부호화부는, 상기 각각의 사각 슬라이스가 각각 영상 내 영상으로 사용될 수 있도록 부호화하는 것을 특징으로 하는 영상 부호화 장치.And the slice encoder is configured to encode each rectangular slice so as to be used as an image in the image. 제 4 항 또는 제 7 항에 있어서, The method according to claim 4 or 7, 상기 픽처헤더 부호화부는, 소정의 영역이 일부 또는 완전히 겹쳐져 있는 사각 슬라이스들의 부호화시 상기 겹쳐진 부분을 중복하여 부호화할 것인지의 여부를 결정하기 위해 중복 부호화 표시 정보를 상기 픽처 헤더에 삽입하는 것을 특징으로 하는 영상 부호화 장치.The picture header encoding unit inserts redundant encoding indication information into the picture header to determine whether to encode the overlapped portions at the time of encoding rectangular slices partially or completely overlapping a predetermined region. Video encoding device. 제 9 항에 있어서, The method of claim 9, 상기 슬라이스 부호화부는, 상기 겹쳐져 있는 사각 슬라이스들의 부호화시 상기 중복 부호화 표시 정보 또는 각 슬라이스간 우선 순위를 이용하여 상기 겹쳐진 부분에 대한 중복 부호화 여부를 결정하며, 상기 우선순위가 같은 경우에는 상기 겹쳐진 부분을 중복하여 부호화하는 것을 특징으로 하는 영상 부호화 장치.The slice encoder determines whether to overlap the overlapped portions by using the overlapped encoding indication information or the priority between the slices when the overlapping rectangular slices are encoded. An image encoding device, characterized in that the encoding is repeated. 제 9 항에 있어서, The method of claim 9, 상기 슬라이스 부호화부는, 상기 중복 부호화 표시 정보 대신 상기 사각 슬라이스들이 완전히 겹쳐졌는지의 여부에 따라서 상기 겹쳐진 부분을 중복하여 부호화할 것인지 여부를 결정하는 것을 특징으로 하는 영상 부호화 장치.And the slice encoder determines whether to overlap the overlapped portions according to whether or not the rectangular slices are completely overlapped instead of the overlapped encoding indication information. 제 1 항에 있어서, The method of claim 1, 상기 픽처 헤더 부호화부는 현재 영상의 픽처 헤더를 부호화할 때에 이전 영상의 픽처 헤더와 중복되는 정보를 생략하여 부호화하는 것을 특징으로 하는 영상 부호화 장치.And the picture header encoding unit encodes the picture header of the current video by omitting information overlapping with the picture header of the previous video. 제 12 항에 있어서, The method of claim 12, 상기 픽처 헤더 부호화부는 상기 픽처 헤더를 매 영상마다 자주 변하는 정도에 따라서 적어도 두 개 이상의 부분으로 구분하고, 상기 부분을 생략할 것인지 여부를 나타내는 정보를 상기 픽처 헤더에 부호화하는 것을 특징으로 하는 영상 부호화 장치.The picture header encoding unit divides the picture header into at least two or more parts according to the degree of frequent change in each image, and encodes information in the picture header indicating whether the part is omitted. . 비트열에서 픽처 헤더를 복호화하는 픽처 헤더 복호화부;A picture header decoder for decoding a picture header from a bit string; 상기 픽처 헤더 정보 중 슬라이스의 위치 및 크기 정보를 통해 슬라이스를 구성하는 슬라이스 구성부;A slice configuration unit constituting a slice through the position and size information of the slice in the picture header information; 상기 픽처 헤더를 참조하여 슬라이스 단위로 영상을 복호화하는 슬라이스 복호화부; 및A slice decoder which decodes an image in units of slices with reference to the picture header; And 상기 슬라이스 구성부에서 얻은 상기 슬라이스의 위치 및 크기 정보를 참조하여 상기 슬라이스 복호화부에서 복원된 슬라이스 단위의 상기 영상들을 한 장의 영상으로 구성하는 영상 구성부를 포함하며,An image construction unit configured to configure the images of a slice unit reconstructed by the slice decoding unit into a single image by referring to the position and size information of the slice obtained from the slice construction unit; 상기 복원된 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성되는 것을 특징으로 하는 영상 복호화 장치.At least two or more of the reconstructed slices are configured such that a predetermined area overlaps. 제 14 항에 있어서, 상기 슬라이스 복호화부는15. The method of claim 14, wherein the slice decoder 상기 비트열을 엔트로피 복호화하는 엔트로피 복호화부;An entropy decoding unit for entropy decoding the bit string; 상기 엔트로피 복호화부에서 복호화된 정보를 역양자화 및 역 이산코사인 변환하는 역양자화 및 역변환부; 및An inverse quantization and inverse transform unit for inverse quantization and inverse discrete cosine transforming information decoded by the entropy decoding unit; And 상기 역양자화 및 역변환부에서 얻은 정보를 시간/공간상 예측 보상을 하여 상기 영상을 슬라이스 단위로 복원하는 영상 복원부를 포함하는 것을 특징으로 하는 영상 복호화 장치.And an image reconstruction unit for reconstructing the image in units of slices by performing temporal / spatial prediction compensation on the information obtained by the inverse quantization and inverse transform unit. 제 14 항에 있어서, The method of claim 14, 상기 슬라이스 복호화부는, 사용자가 보기에 중요하게 생각하는 관심 영역은 화질을 좋게 복호화하고, 상기 영상에서 상기 관심영역을 제외한 배경 영역은 화질이 떨어지게 복호화함으로써, 제한된 비트율 하에서 주관적 화질을 향상시키는 것을 특징으로 하는 영상 복호화 장치.The slice decoder may decode the ROI that the user regards as important in image quality, and decode the background region excluding the ROI in the image so that the subjective image quality is improved under a limited bit rate. An image decoding device. 제 16 항에 있어서, The method of claim 16, 상기 슬라이스 복호화부는, 하나의 사각 슬라이스가 다른 사각 슬라이스에 내에 완전히 포함되도록 상기 두 슬라이스들이 겹쳐 있을 때, 상기 슬라이스들 중 내부에 포함된 내부 슬라이스 영역과, 외부의 상기 슬라이스 영역과 상기 내부 슬라이스 영역 사이의 영역을 각각 독립적으로 복호화하는 것을 특징으로 하는 영상 복호화 장치.When the two slices overlap each other such that one rectangular slice is completely included in another rectangular slice, the slice decoder includes an internal slice region included inside of the slices, and between the external slice region and the internal slice region. And a respective decoding region independently. 제 17 항에 있어서, The method of claim 17, 상기 외부 슬라이스 영역과 상기 내부 슬라이스 영역 사이의 영역은, 복호화시 상기 내부 슬라이스 영역과 상기 배경 영역 사이에 경계가 드러나지 않도록 완충 작용을 하는 변이영역인 것을 특징으로 하는 영상 복호화 장치.And a region between the outer slice region and the inner slice region is a transition region that buffers the boundary between the inner slice region and the background region when decoding. 제 17 항에 있어서, The method of claim 17, 상기 슬라이스 복호화부는, 하나의 사각 슬라이스가 다른 사각 슬라이스에 내에 완전히 포함되도록 상기 두 슬라이스들이 겹쳐 있을 때, 상기 겹쳐진 영역에 대해 중복하여 부호화된 데이터 중 오류가 발생되지 않은 데이터를 복호화함으로써, 오류에 강인하도록 하는 것을 특징으로 하는 영상 복호화 장치.When the two slices overlap so that one rectangular slice is completely included in the other rectangular slice, the slice decoder is robust to errors by decoding data in which no error occurs among data encoded in the overlapped region. And a video decoding apparatus. 제 14 항에 있어서, The method of claim 14, 상기 슬라이스 복호화부는, 하나의 사각 슬라이스가 다른 사각 슬라이스의 일 부분과 겹쳐 있을 때, 상기 겹쳐진 영역을 각 슬라이스별로 중복하여 복호화하는 것을 특징으로 하는 영상 복호화 장치.The slice decoder, when one rectangular slice overlaps with a portion of another rectangular slice, decodes the overlapped region for each slice. 제 17 항 또는 제 20 항에 있어서, The method of claim 17 or 20, 상기 슬라이스 복호화부는, 상기 각각의 사각 슬라이스가 각각 영상 내 영상으로 사용될 수 있도록 복호화하는 것을 특징으로 하는 영상 복호화 장치.And the slice decoder decodes each square slice so that each square slice can be used as an image in the image. 제 17 항 또는 제 20 항에 있어서, The method of claim 17 or 20, 상기 픽처헤더 복호화부는, 소정의 영역이 일부 또는 완전히 겹쳐져 있는 사각 슬라이스들의 복호화시 상기 겹쳐진 부분을 중복하여 복호화할 것인지의 여부를 결정하기 위해, 중복 복호화 표시 정보를 상기 픽처 헤더에 복호화 하는 것을 특징으로 하는 영상 복호화 장치.The picture header decoder decodes duplicated decoding indication information in the picture header to determine whether to decode the overlapped portion repeatedly when decoding rectangular slices partially or completely overlapping a predetermined region. An image decoding device. 제 22 항에 있어서, The method of claim 22, 상기 슬라이스 복호화부는, 상기 겹쳐져 있는 사각 슬라이스들의 복호화시 상기 중복 복호화 표시 정보 또는 각 슬라이스간 우선 순위를 이용하여 상기 겹쳐진 부분에 대한 중복 복호화 여부를 결정하며, 상기 우선순위가 같은 경우에는 상기 겹쳐진 부분을 중복하여 복호화하는 것을 특징으로 하는 영상 복호화 장치.The slice decoder determines whether to overlap the decoded portion by using the duplicated decoding indication information or the priority between the slices when decoding the overlapping rectangular slices. An image decoding device characterized in that the decoding repeatedly. 제 22 항에 있어서, The method of claim 22, 상기 슬라이스 복호화부는, 상기 중복 복호화 표시 정보 대신 상기 사각 슬라이스들이 완전히 겹쳐졌는지의 여부에 따라서 상기 겹쳐진 부분을 중복하여 복호화할 것인지 여부를 결정하는 것을 특징으로 하는 영상 복호화 장치.And the slice decoder determines whether to overlap and decode the overlapped portions according to whether or not the rectangular slices are completely overlapped instead of the duplicated decoding indication information. 제 14 항에 있어서, The method of claim 14, 상기 픽처 헤더 복호화부는 현재 영상의 픽처 헤더를 복호화할 때에 이전 영상의 픽처 헤더와 중복되는 정보를 그대로 이용하여 복호화하는 것을 특징으로 하는 영상 복호화 장치.And the picture header decoding unit decodes the picture header of the current video using information overlapping with the picture header of the previous video as it is. 제 25 항에 있어서, The method of claim 25, 상기 픽처 헤더 복호화부는 상기 현재 영상의 픽처 헤더에서 일정 부분이 생략되어 있음을 나타내는 정보를 복호화하고, 복호화된 상기 정보에 응답해서 상기 생략된 정보를 상기 이전 영상의 픽처 헤더로부터 가져와 사용하는 것을 특징으로 하는 영상 복호화 장치.The picture header decoder may decode information indicating that a predetermined portion is omitted from a picture header of the current video, and use the omitted information from the picture header of the previous video in response to the decoded information. An image decoding device. (a) 한 장의 영상에서 슬라이스의 위치 및 크기를 설정하는 단계;(a) setting the position and size of the slice in one image; (b) 상기 (a) 단계에서 설정한 상기 슬라이스의 위치 및 크기 정보를 다른 정보와 함께 픽처 헤더에 부호화하는 단계; 및(b) encoding the position and size information of the slice set in the step (a) together with other information in a picture header; And (c) 상기 (b) 단계에서 부호화된 상기 픽처 헤더 정보를 참조하여 영상을 슬라이스 단위로 부호화하는 단계를 포함하며,(c) encoding the image in units of slices by referring to the picture header information encoded in the step (b), 상기 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성되는 것을 특징으로 하는 영상 부호화 방법.At least two or more of the slices are configured such that a predetermined area overlaps. 제 27 항에 있어서, The method of claim 27, 상기 (b) 단계는 매 영상마다 반복되는 정보를 생략하여 부호화하는 것을 특징으로 하는 영상 부호화 방법.In the step (b), encoding is performed by omitting information repeated for each image. 제 28 항에 있어서, The method of claim 28, 상기 (b) 단계는 상기 픽처 헤더를 매 영상마다 자주 변하는 정도에 따라서 적어도 두 개 이상의 부분으로 구분하고, 상기 부분을 생략할 것인지 여부를 나타내는 정보를 상기 픽처 헤더에 부호화하는 것을 특징으로 하는 영상 부호화 방법.In the step (b), the picture header is divided into at least two or more parts according to the degree of frequent change in each image, and image encoding is performed by encoding information indicating whether the part is omitted. Way. 제 27 항에 있어서, The method of claim 27, 상기 (b) 단계는, 소정의 영역이 일부 또는 완전히 겹쳐져 있는 사각 슬라이스들의 부호화시 상기 겹쳐진 부분을 중복하여 부호화할 것인지의 여부를 결정하기 위해 중복 부호화 표시 정보를 상기 픽처 헤더에 삽입하는 것을 특징으로 하는 영상 부호화 방법.In the step (b), redundant encoding indication information is inserted into the picture header in order to determine whether to encode the overlapped portions at the time of encoding rectangular slices partially or completely overlapping a predetermined region. The video encoding method. 제 27 항에 있어서, 상기 (c) 단계는The method of claim 27, wherein step (c) (c-1) 슬라이스 단위의 상기 영상에서 공간/시간상 예측 부호화를 수행하는 단계;(c-1) performing spatial / temporal prediction coding on the image in units of slices; (c-2) 상기 (c-1) 단계에서 예측 부호화된 정보에 대해 이산코사인변환 및 양자화를 수행하는 단계; 및 (c-2) performing discrete cosine transform and quantization on the information predicted and encoded in step (c-1); And (c-3) 상기 (c-2) 단계에서 얻은 정보를 엔트로피 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.(c-3) entropy encoding the information obtained in the step (c-2). 제 27 항에 있어서, The method of claim 27, 상기 (c) 단계는, 사용자가 보기에 중요하게 생각하는 관심 영역은 화질을 좋게 부호화하고, 상기 영상에서 상기 관심영역을 제외한 배경 영역은 화질이 떨어지게 부호화함으로써, 제한된 비트율 하에서 주관적 화질을 향상시키는 것을 특징으로 하는 영상 부호화 방법.In the step (c), the region of interest, which is considered to be important to the user, is encoded with good image quality, and the region of the image except the region of interest is encoded with poor image quality, thereby improving subjective image quality under a limited bit rate. An image encoding method. 제 32 항에 있어서, The method of claim 32, 상기 (c) 단계는, 하나의 사각 슬라이스가 다른 사각 슬라이스에 내에 완전히 포함되도록 상기 두 슬라이스들이 겹쳐 있을 때, 상기 슬라이스들 중 내부에 포함된 내부 슬라이스 영역과, 외부의 상기 슬라이스 영역과 상기 내부 슬라이스 영역 사이의 영역을 각각 독립적으로 부호화하는 것을 특징으로 하는 영상 부호화 방법.In the step (c), when the two slices overlap such that one rectangular slice is completely included in the other rectangular slice, an inner slice region included inside of the slices, an outer slice region, and an inner slice included outside An image encoding method, characterized in that each region between regions is encoded independently. 제 33 항에 있어서, The method of claim 33, wherein 상기 외부 슬라이스 영역과 상기 내부 슬라이스 영역 사이의 영역은, 부호화시 상기 내부 슬라이스 영역과 상기 배경 영역 사이에 경계가 드러나지 않도록 완충 작용을 하는 변이영역인 것을 특징으로 하는 영상 부호화 방법.And a region between the outer slice region and the inner slice region is a transition region that buffers a boundary between the inner slice region and the background region during encoding. 제 33 항에 있어서, The method of claim 33, wherein 상기 (c) 단계는, 하나의 사각 슬라이스가 다른 사각 슬라이스에 내에 완전히 포함되도록 상기 두 슬라이스들이 겹쳐 있을 때, 상기 겹쳐진 영역을 각 슬라이스별로 중복하여 부호화함으로써, 네트워크 전송시 오류에 강인하도록 하는 것을 특징으로 하는 영상 부호화 방법.In the step (c), when the two slices overlap each other such that one rectangular slice is completely included in another rectangular slice, the overlapped regions are encoded by overlapping each slice, thereby making it robust to errors in network transmission. A video encoding method. 제 27 항에 있어서, The method of claim 27, 상기 (c) 단계는, 하나의 사각 슬라이스가 다른 사각 슬라이스의 일 부분과 겹쳐 있을 때, 상기 겹쳐진 영역을 각 슬라이스별로 중복하여 부호화하는 것을 특징으로 하는 영상 부호화 방법.In the step (c), when one rectangular slice overlaps with a part of another rectangular slice, the overlapping region is encoded by overlapping each slice. 제 33 항 또는 제 36 항에 있어서, The method of claim 33 or 36, 상기 (c) 단계는, 상기 각각의 사각 슬라이스가 각각 영상 내 영상으로 사용될 수 있도록 부호화하는 것을 특징으로 하는 영상 부호화 방법.In the step (c), the respective rectangular slices are encoded such that they can be used as images in the image. 제 27항 또는 제 30 항에 있어서, The method of claim 27 or 30, 상기 (c) 단계는, 상기 겹쳐져 있는 사각 슬라이스들의 부호화시 상기 중복 부호화 표시 정보 또는 각 슬라이스간 우선 순위를 이용하여 상기 겹쳐진 부분에 대한 중복 부호화 여부를 결정하며, 상기 우선순위가 같은 경우에는 상기 겹쳐진 부분을 중복하여 부호화하는 것을 특징으로 하는 영상 부호화 방법.In the step (c), when the overlapping rectangular slices are encoded, the overlapped encoding mark information or the priority between the slices is used to determine whether to overlap the overlapped portions. If the priorities are the same, the overlapped portions are overlapped. The video encoding method, characterized by overlapping portions. 제 27항 또는 제 30 항에 있어서, The method of claim 27 or 30, 상기 (c) 단계는, 상기 중복 부호화 표시 정보 대신 상기 사각 슬라이스들이 완전히 겹쳐졌는지의 여부에 따라서 상기 겹쳐진 부분을 중복하여 부호화할 것인지 여부를 결정하는 것을 특징으로 하는 영상 부호화 방법.In the step (c), it is determined whether or not the overlapped portions are to be encoded by overlapping the rectangular slices according to whether the rectangular slices are completely overlapped instead of the overlapped encoding indication information. (a) 비트열에서 픽처 헤더를 복호화하는 단계;(a) decoding a picture header in a bit string; (b) 상기 (a)단계에서 복호화 된 상기 픽처 헤더에 포함된 슬라이스의 위치 및 크기 정보를 이용해서 슬라이스를 구성하는 단계;(b) constructing a slice using location and size information of the slice included in the picture header decoded in step (a); (c) 상기 (a) 단계에서 복호화 된 상기 픽처 헤더를 참조하여 슬라이스 단위로 영상을 복호화하는 단계; 및(c) decoding an image in units of slices with reference to the picture header decoded in step (a); And (d) 상기 (c) 단계에서 복호화 된 상기 슬라이스 단위의 영상들을 상기 슬라이스의 위치 및 크기 정보를 참조하여 한 장의 영상으로 구성하는 단계를 포함하며,(d) composing the images of the slice unit decoded in the step (c) into a single image by referring to the position and size information of the slice, 상기 슬라이스들 중 적어도 둘 이상은 소정의 영역이 겹쳐지도록 구성되는 것을 특징으로 하는 영상 복호화 방법.At least two of the slices are configured such that a predetermined area overlaps. 제 40 항에 있어서, The method of claim 40, 상기 (b) 단계는 현재 영상의 픽처 헤더에서 일정 부분이 생략되어 있음을 나타내는 정보를 복호화하고, 복호화된 상기 정보에 응답해서 상기 생략된 정보를 이전 영상의 픽처 헤더로부터 가져와 사용하는 것을 특징으로 하는 영상 복호화 방법.Step (b) is to decode the information indicating that a portion of the picture header of the current picture is omitted, and to use the omitted information from the picture header of the previous picture in response to the decoded information Image Decoding Method. 제 40 항에 있어서, The method of claim 40, 상기 (b) 단계는, 소정의 영역이 일부 또는 완전히 겹쳐져 있는 사각 슬라이스들의 복호화시 상기 겹쳐진 부분을 중복하여 복호화할 것인지의 여부를 결정하기 위해, 중복 복호화 표시 정보를 상기 픽처 헤더에 복호화 하는 것을 특징으로 하는 영상 복호화 방법.In the step (b), the redundant decoding indication information is decoded in the picture header in order to determine whether to decode the overlapped portion at the time of decoding the rectangular slices partially or completely overlapping a predetermined region. An image decoding method. 제 40 항에 있어서, 상기 (c) 단계는41. The method of claim 40, wherein step (c) (c-1) 상기 비트열을 엔트로피 복호화하는 단계;(c-1) entropy decoding the bit string; (c-2) 상기 (c-1) 단계에서 복호화된 정보에 대해 역양자화 및 역 이산코사인 변환을 수행하는 단계; 및(c-2) performing inverse quantization and inverse discrete cosine transform on the information decoded in step (c-1); And (c-3) 상기 (c-2) 단계에서 얻은 정보에 대해 시간/공간상 예측 보상을 수행하여 슬라이스 단위로 상기 영상을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.and (c-3) restoring the image in units of slices by performing temporal / spatial prediction compensation on the information obtained in step (c-2). 제 40 항에 있어서, The method of claim 40, 상기 (c) 단계는, 사용자가 보기에 중요하게 생각하는 관심 영역은 화질을 좋게 복호화하고, 상기 영상에서 상기 관심영역을 제외한 배경 영역은 화질이 떨어지게 복호화함으로써, 제한된 비트율 하에서 주관적 화질을 향상시키는 것을 특징으로 하는 영상 복호화 방법.In the step (c), the region of interest, which is considered to be important to the user, is decoded with good image quality, and the background region other than the region of interest is decoded with poor image quality, thereby improving subjective image quality under a limited bit rate. An image decoding method characterized by. 제 44 항에 있어서, The method of claim 44, 상기 (c) 단계는, 하나의 사각 슬라이스가 다른 사각 슬라이스에 내에 완전히 포함되도록 상기 두 슬라이스들이 겹쳐 있을 때, 상기 슬라이스들 중 내부에 포함된 내부 슬라이스 영역과, 외부의 상기 슬라이스 영역과 상기 내부 슬라이스 영역 사이의 영역을 각각 독립적으로 복호화하는 것을 특징으로 하는 영상 복호화 방법.In the step (c), when the two slices overlap such that one rectangular slice is completely included in the other rectangular slice, an inner slice region included inside of the slices, an outer slice region, and an inner slice included outside An image decoding method characterized by independently decoding regions between regions. 제 45 항에 있어서, The method of claim 45, 상기 외부 슬라이스 영역과 상기 내부 슬라이스 영역 사이의 영역은, 복호화시 상기 내부 슬라이스 영역과 상기 배경 영역 사이에 경계가 드러나지 않도록 완충 작용을 하는 변이영역인 것을 특징으로 하는 영상 복호화 방법.And a region between the outer slice region and the inner slice region is a transition region that buffers a boundary between the inner slice region and the background region during decoding. 제 45 항에 있어서, The method of claim 45, 상기 (c) 단계는, 하나의 사각 슬라이스가 다른 사각 슬라이스에 내에 완전히 포함되도록 상기 두 슬라이스들이 겹쳐 있을 때, 상기 겹쳐진 영역에 대해 중복하여 부호화된 데이터 중 오류가 발생되지 않은 데이터를 복호화 함으로써, 오류에 강인하도록 하는 것을 특징으로 하는 영상 복호화 방법.In the step (c), when the two slices overlap so that one rectangular slice is completely included in the other rectangular slice, the error is decoded by decoding the data in which no error is generated among the overlapped encoded data for the overlapped region. The image decoding method characterized in that the robust to. 제 40 항에 있어서, The method of claim 40, 상기 (c) 단계는, 하나의 사각 슬라이스가 다른 사각 슬라이스의 일 부분과 겹쳐 있을 때, 상기 겹쳐진 영역을 각 슬라이스별로 중복하여 복호화하는 것을 특징으로 하는 영상 복호화 방법.In the step (c), when one rectangular slice overlaps with a portion of another rectangular slice, the overlapped region is repeatedly decoded for each slice. 제 45 항 또는 제 48 항에 있어서, 49. The method of claim 45 or 48, 상기 (c) 단계는, 상기 각각의 사각 슬라이스가 각각 영상 내 영상으로 사용될 수 있도록 복호화하는 것을 특징으로 하는 영상 복호화 방법.In the step (c), each of the rectangular slices is decoded so that each can be used as an image in an image. 제 40항 또는 제 42 항에 있어서, 43. The method of claim 40 or 42 wherein 상기 (c) 단계는, 상기 겹쳐져 있는 사각 슬라이스들의 복호화시 상기 중복 복호화 표시 정보 또는 각 슬라이스간 우선 순위를 이용하여 상기 겹쳐진 부분에 대한 중복 복호화 여부를 결정하며, 상기 우선순위가 같은 경우에는 상기 겹쳐진 부분을 중복하여 복호화하는 것을 특징으로 하는 영상 복호화 방법.In the step (c), when the overlapping rectangular slices are decoded, the duplicated decoding indication information or the priority between the slices is used to determine whether to decode the overlapped portions. If the priorities are the same, the overlapping portions are overlapped. An image decoding method, characterized in that the portion is decoded in duplicate. 제 40항 또는 제 42 항에 있어서, 43. The method of claim 40 or 42 wherein 상기 (c) 단계는, 상기 중복 복호화 표시 정보 대신 상기 사각 슬라이스들이 완전히 겹쳐졌는지의 여부에 따라서 상기 겹쳐진 부분을 중복하여 복호화할 것인지 여부를 결정하는 것을 특징으로 하는 영상 복호화 방법.In the step (c), it is determined whether or not the overlapped portions are to be repeatedly decoded according to whether the rectangular slices are completely overlapped instead of the duplicated decoding indication information. 제 27 항 내지 제 51 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 27 on a computer.
KR10-2002-0051883A 2002-01-05 2002-08-30 Apparatus and method for coding and decoding image using overlapped rectangular slices KR100528324B1 (en)

Priority Applications (39)

Application Number Priority Date Filing Date Title
KR10-2002-0051883A KR100528324B1 (en) 2002-08-30 2002-08-30 Apparatus and method for coding and decoding image using overlapped rectangular slices
DE10300048A DE10300048B4 (en) 2002-01-05 2003-01-03 Image coding method for motion picture expert groups, involves image quantizing data in accordance with quantization parameter, and coding entropy of quantized image data using entropy coding unit
CN2006100067204A CN1809166B (en) 2002-01-05 2003-01-05 Image coding and decoding method and apparatus
CNB031075029A CN1250008C (en) 2002-01-05 2003-01-05 Method and apparatus for coding & decoding picture considering human vision characteristic
US10/336,779 US7277484B2 (en) 2002-01-05 2003-01-06 Image coding and decoding method and apparatus considering human visual characteristics
JP2003000409A JP4488679B2 (en) 2002-01-05 2003-01-06 Video coding and decoding method and apparatus in consideration of human visual characteristics
US11/304,701 US8599930B2 (en) 2002-01-05 2005-12-16 Image coding and decoding method and apparatus considering human visual characteristics
US11/304,671 US8599928B2 (en) 2002-01-05 2005-12-16 Image coding and decoding method and apparatus considering human visual characteristics
US11/304,627 US8599927B2 (en) 2002-01-05 2005-12-16 Image coding and decoding method and apparatus considering human visual characteristics
US11/304,672 US8036280B2 (en) 2002-01-05 2005-12-16 Image coding and decoding method and apparatus considering human visual characteristics
JP2006210023A JP4495701B2 (en) 2002-01-05 2006-08-01 Video encoding method and recording medium considering human visual characteristics
JP2006210024A JP4495702B2 (en) 2002-01-05 2006-08-01 Video decoding method considering human visual characteristics
US11/700,048 US8345772B2 (en) 2002-01-05 2007-01-31 Image coding and decoding method and apparatus considering human visual characteristics
US11/700,141 US8345773B2 (en) 2002-01-05 2007-01-31 Image coding and decoding method and apparatus considering human visual characteristics
US11/700,057 US8045621B2 (en) 2002-01-05 2007-01-31 Image coding and decoding method and apparatus considering human visual characteristics
US11/700,041 US8345771B2 (en) 2002-01-05 2007-01-31 Image coding and decoding method and apparatus considering human visual characteristics
JP2007098922A JP4495743B2 (en) 2002-01-05 2007-04-04 Video decoding method
JP2008000214A JP2008125118A (en) 2002-01-05 2008-01-04 Image coding and decoding method and apparatus considering human visual characteristics
JP2009235782A JP5284920B2 (en) 2002-01-05 2009-10-09 Video encoding apparatus, decoding apparatus, encoding method, and decoding method in consideration of human visual characteristics
US12/801,040 US8948268B2 (en) 2002-01-05 2010-05-18 Image coding and decoding method and apparatus considering human visual characteristics
US14/522,079 US9848194B2 (en) 2002-01-05 2014-10-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/615,816 US9774857B2 (en) 2002-01-05 2015-02-06 Image coding and decoding method and apparatus considering human visual characteristics
US14/615,801 US9800871B2 (en) 2002-01-05 2015-02-06 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,355 US9774859B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,347 US9781426B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,350 US9843806B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,341 US9781425B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,338 US9774858B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/628,336 US9106912B2 (en) 2002-01-05 2015-02-23 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,691 US9807394B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,693 US9781429B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,716 US9414075B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,705 US9774862B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,681 US9774861B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,730 US9781431B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,741 US9781432B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,724 US9781430B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,677 US9781428B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics
US14/741,664 US9774860B2 (en) 2002-01-05 2015-06-17 Image coding and decoding method and apparatus considering human visual characteristics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0051883A KR100528324B1 (en) 2002-08-30 2002-08-30 Apparatus and method for coding and decoding image using overlapped rectangular slices

Publications (2)

Publication Number Publication Date
KR20040020306A KR20040020306A (en) 2004-03-09
KR100528324B1 true KR100528324B1 (en) 2005-11-15

Family

ID=37324783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0051883A KR100528324B1 (en) 2002-01-05 2002-08-30 Apparatus and method for coding and decoding image using overlapped rectangular slices

Country Status (1)

Country Link
KR (1) KR100528324B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100791295B1 (en) * 2006-01-12 2008-01-04 삼성전자주식회사 Flag encoding method, flag decoding method, and apparatus thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970057937A (en) * 1995-12-28 1997-07-31 구자홍 Object Oriented MPEG2 Video Encoder and Decoder
KR20000023278A (en) * 1998-09-18 2000-04-25 구자홍 Method for selecting intra-frame quantizer for video compression
EP1051039A2 (en) * 1999-04-06 2000-11-08 Liberate Technologies LLC System and methods for preparing multimedia data using digital video data compression
KR20030060009A (en) * 2002-01-05 2003-07-12 삼성전자주식회사 Adaptive coding method and apparatus considering human visual characteristics
KR20030063536A (en) * 2002-01-22 2003-07-31 삼성전자주식회사 Region of interest (ROI) coding method and apparatus with slice structure

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970057937A (en) * 1995-12-28 1997-07-31 구자홍 Object Oriented MPEG2 Video Encoder and Decoder
KR20000023278A (en) * 1998-09-18 2000-04-25 구자홍 Method for selecting intra-frame quantizer for video compression
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
EP1051039A2 (en) * 1999-04-06 2000-11-08 Liberate Technologies LLC System and methods for preparing multimedia data using digital video data compression
KR20030060009A (en) * 2002-01-05 2003-07-12 삼성전자주식회사 Adaptive coding method and apparatus considering human visual characteristics
KR20030063536A (en) * 2002-01-22 2003-07-31 삼성전자주식회사 Region of interest (ROI) coding method and apparatus with slice structure

Also Published As

Publication number Publication date
KR20040020306A (en) 2004-03-09

Similar Documents

Publication Publication Date Title
JP4495743B2 (en) Video decoding method
KR101041823B1 (en) Method and apparatus for encoding/decoding video signal using reference pictures
JP4490261B2 (en) Spatial prediction based on intra coding
EP1768415A1 (en) Adaptive scan order of DCT coefficients and its signaling
US20080247464A1 (en) Method and apparatus for encoding and decoding based on intra prediction using differential equation
EP2168382B1 (en) Method for processing images and the corresponding electronic device
US7840083B2 (en) Method of encoding flag, method of decoding flag, and apparatus thereof
KR100883603B1 (en) Method and apparatus for decoding video signal using reference pictures
KR101170799B1 (en) Image compression method and apparatus therefor and image restoring method and apparatus therefor
KR100969908B1 (en) Edition device and method, and recording medium
JP2008271039A (en) Image encoder and image decoder
KR100528324B1 (en) Apparatus and method for coding and decoding image using overlapped rectangular slices
KR100665213B1 (en) Image encoding method and decoding method
KR100720003B1 (en) Image decoding method
KR100720004B1 (en) Image inverse quantization method
KR100720005B1 (en) Image coding method
JP2004007571A (en) Coding instrument and methodology, decoding instrument and method, compiling apparatus and method, record medium, as well as program
JPH08130738A (en) Moving picture processing and processing method therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080918

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee