KR20090103414A - 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치 - Google Patents

비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치

Info

Publication number
KR20090103414A
KR20090103414A KR1020080029016A KR20080029016A KR20090103414A KR 20090103414 A KR20090103414 A KR 20090103414A KR 1020080029016 A KR1020080029016 A KR 1020080029016A KR 20080029016 A KR20080029016 A KR 20080029016A KR 20090103414 A KR20090103414 A KR 20090103414A
Authority
KR
South Korea
Prior art keywords
image
divided
extended
added
images
Prior art date
Application number
KR1020080029016A
Other languages
English (en)
Inventor
오승균
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080029016A priority Critical patent/KR20090103414A/ko
Priority to PCT/KR2008/005461 priority patent/WO2009104850A1/en
Publication of KR20090103414A publication Critical patent/KR20090103414A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화 장치에 관한 것이다. 본 발명의 비디오 부호화 방법은, 단일 영상을 복수개의 분할 영상으로 분할하되, 각 분할 영상에 인접하는 인접 분할 영상의 일부인 확장 영상을 부가하여 분할하는 단계와, 확장 영상이 부가된 분할 영상 별로 부호화하는 단계를 포함한다. 이에 의해, 초고해상도 영상의 분할시의 분할 영상 간의 화질 열화를 완화할 수 있게 된다.

Description

비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화 장치{Method for encoding and decoding video, and apparatus for encoding and decoding video }
본 발명은 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화 장치에 관한 것으로, 더욱 상세하게는 해상도가 높은 영상을 분할하여 부호화 및 복호화하는 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화 장치에 관한 것이다.
현재 방송되고 있는 1920x1080, 2K급의 고해상도(HD; High Definition)방송을 뛰어넘는 디지털 영상 기술인 디지털 시네마(Digital Cinema)와 초고해상도TV(UHDTV: Ultra-High Definition Television)에 대한 기술 개발과 논의가 진행되고 있다. 디지털 시네마는 최대 영상 해상도가 4096x2096, 4K급이고, 초고해상도 TV는 4K급 해상도에서 최대 7680x4320, 8K급의 해상도를 갖는다.
초고해상도 영상은 기존의 영상보다 더 많은 영상정보를 포함하고 있기 때문에 시청자로 하여금 더욱 현실감을 느끼게 해줌으로써 디지털 방송이 궁극적으로 추구하는 실감방송을 실현시킬 수 있는 중요한 요소라 할 수 있다.
이러한 초고해상도 영상은 데이터(data)를 압축하지 않는 경우에는 3~8Gbps, 압축 시에는 100~600Mbps 정도의 초당 처리량을 갖기 때문에 영상의 처리, 전송, 저장을 위해서는 데이터의 압축이 필수 불가결하다.
최근 통신기술의 눈부신 발전으로 핸드폰, PDA, 디지털TV, DMB등의 전자제품이 개발되었다. 이러한 전자제품에서 사용되는 데이터로는 음성, 정지영상, 동영상 등이 있는데, 이 중 동영상의 데이터(data)량은 전술한 바와 같이 매우 크다.
이에, 데이터의 크기를 줄일 수 있는 동영상 압축 표준들이 개발되어 H.261을 시작으로, SMPTE(Society of Motion Picture and Television Engineers)의 표준인 VC-1과, ITU-T와 ISO/IEC의 표준인 H.264/AVC까지 많은 발전을 이루었다.
도 1은 종래의 초고해상도 영상의 분할, 압축, 복원 및 합성을 나타내는 도면이다.
초고해상도 영상을 하위의 복수개의 영상(고해상도 영상)으로 분할하여 압축, 복원할 때, 화면 절삭 기능(frame cropping)을 이용하여 개별 영상을 처리하고 화면 출력 시에 절삭 정보를 이용하여 초고해상도 영상을 재구성한다. 화면을 분할하여 처리하는 경우 현재 처리하는 영상 주변에 다른 영상이 존재하면 이를 이용해 움직임 추정 및 보상을 하여 압축 성능을 높인다.
도면과 같이, 초고해상도 영상을 재구성하기 위해 분할된 영상들을 합성하게 되면, 분할 영상의 경계에서의 화소값 차이 때문에 경계가 두드려져 나타나게 된다. 이러한 현상은, 분할 영상 경계 간의 양자화 차이, 및 분할 영상 경계 간의 디블록킹(deblocking) 필터링의 미수행 등으로 인한, 블록킹 아티펙트(blocking artifact)으로 설명될 수 있다. 또한, 분할 영상 경계에 위치한 매크로블록인 경우에, 인접 분할 영상이 아닌 해당 분할된 영상에서만 화소 정보를 이용하기 때문에 본래의 해상도인 초고해상도 영상에서의 경우보다 추정 에러가 많아져 비트량 증가 및 화질 저하의 원인이 된다.
본 발명의 목적은, 해상도가 높은 영상을 분할하여 부호화 및 복호화하는 경우에 그 경계에서 발생하는 화질 열화를 개선하기 위한 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 비디오 부호화 방법은, 단일 영상을 복수개의 분할 영상으로 분할하되, 각 분할 영상에 인접하는 인접 분할 영상의 일부인 확장 영상을 부가하여 분할하는 단계와, 확장 영상이 부가된 분할 영상 별로 부호화하는 단계를 포함한다.
한편, 본 발명의 실시예에 따른 비디오 부호화 방법은, 영상의 부호화 과정에서, 단일 영상의 일부인 분할 영상인지 여부를 나타내는 정보를 부호화하는 단계와, 정보가 분할 영상을 나타내는 경우, 분할 영상의 위치 및 개수 중 적어도 하나에 관련한 정보를 부호화하는 단계를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 비디오 복호화 방법은, 입력되는 비트스트림으로부터 복수개의 부호화된 분할 영상 및 부가된 확장 영상을 역다중화하여 추출하는 단계와, 추출된 부호화된 분할 영상 및 부가된 부호화된 확장 영상을 복호화하는 단계와, 확장 영상을 절삭하여, 단일 영상을 복원하도록 분할 영상들을 합성하는 단계를 포함한다.
한편, 본 발명의 실시예에 따른 비디오 복호화 방법은, 영상의 복호화 과정에서, 단일 영상의 일부인 분할 영상인지 여부를 나타내는 부호화된 정보를 복호화하는 단계와, 정보가 분할 영상을 나타내는 경우, 분할 영상의 위치 및 개수 중 적어도 하나에 관련한 부호화된 정보를 복호화하는 단계를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 비디오 부호화 장치는, 단일 영상을 복수개의 분할 영상으로 분할하되, 각 분할 영상에 인접하는 인접 분할 영상의 일부인 확장 영상을 부가하여 분할하는 영상 분할부와, 확장 영상이 부가된 분할 영상 별로 부호화하는 영상 부호화부를 포함한다.
한편, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 비디오 복호화 장치는, 입력되는 비트스트림으로부터 복수개의 부호화된 분할 영상 및 부가된 확장 영상을 역다중화하여 추출하는 역다중화부와, 추출된 부호화된 분할 영상 및 부가된 부호화된 확장 영상을 복호화하는 영상 복호화부와, 확장 영상을 절삭하고, 분할 영상들을 합성하여 단일 영상으로 복원하는 영상 합성부를 포함한다.
본 발명에 따르면, 해상도가 높은 영상의 영상 분할시 경계 부근에 인접하는 영상의 일부인 확장 영상을 부가하여 분할함으로써, 분할 영상 별로 부호화 및 복호화하는 경우에, 분할 영상 간의 경계 부근에서 발생하는 화질 열화를 개선할 수 있게 된다.
또한, 분할 영상 간의 디블로킹 필터링이 가능하게 함으로써, 영상 간의 경계선 두드러짐 현상을 완화할 수 있다.
이러한 방법은 비디오 표준 관점에서 신택스의 추가를 통해, 이미 구성되어있는 시스템의 수정을 최소화할 수 있으며, 주변 분할 영상에 대한 정보 사용을 비디오 압축 표준 내에서 지원하는 장점을 갖는다.
도 1은 종래의 초고해상도 영상의 분할, 압축, 복원 및 합성을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 비디오 부호화 방법을 도시한 순서도이다.
도 3은 도 2의 비디오 부호화 방법을 설명하기 위한 도면이다.
도 4는 고해상도 영상의 분할의 일 예를 보여주는 도면이다.
도 5는 도 4의 복수개의 분할 영상 중 어느 하나를 보여주는 도면이다.
도 6 및 도 7은 초고해상도 영상의 부호화 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 비디오 부호화 방법을 도시한 순서도이다.
도 9는 도 8의 분할 영상에 대한 신택스를 보여주는 도면이다.
도 10은 도 8의 확장 영상에 대한 신택스를 보여주는 도면이다.
도 11은 도 10과 관련한 확장 영상을 설명하기 위한 도면이다.
도 12는 본 발명의 실시예에 따른 비디오 부호화 장치를 도시한 블록도이다.
도 13은 본 발명의 일 실실시예에 따른 비디오 복호화 방법을 도시한 도면이다.
도 14는 본 발명의 일 실시예에 따른 비디오 복호화 방법을 도시한 순서도이다.
도 15는 본 발명의 일 실시예에 따른 비디오 복호화 장치를 도시한 블록도이다.
이하에서는 첨부한 도면을 참조하여 본 발명에 따른 바람직한 실시예를 살펴본다.
도 2는 본 발명의 실시예에 따른 비디오 부호화 방법을 도시한 순서도이며, 도 3은 도 2의 비디오 부호화 방법을 설명하기 위한 도면이다.
도면을 참조하여 설명하면, 먼저 단일 영상을 복수개의 분할 영상으로 분할하되, 각 분할 영상에 확장 영상을 부가하여 분할한다(S210). 여기서, 확장 영상은, 해당 분할 영상에 인접하는 인접 분할 영상의 적어도 일부일 수 있다.
단일 영상인 해상도가 높은 초고해상도 영상(310)을 부호화하기 위해, 복수개의 분할 영상, 즉 고해상도 영상(320)들로 분할한다. 도 3에서는 4개의 고해상도 영상으로 분할하고 있으나, 그 개수는 이에 한정되지 않고 다양한 실시예가 가능하다.
한편, 이 분할 단계(S210)에서, 종래와 달리, 복수개로 분할된 분할 영상 간의 경계에 확장 영상(330)을 부가한다. 확장 영상(330)은 해당 분할 영상(320)에 인접하는 분할 영상의 일부일 수 있다. 도면에서는 분할 영상(고해상도 영상 0, 320)의 우측 및 하측의 경계에 분할 영상(330)이 부가되는 것으로 도시한다.
확장 영상(330)은 컬러, 포맷 등의 조건에 따라 하나 이상의 매크로 블록을 포함할 수 있으며, 매크로 블록 단위로 이루어지는 것이 바람직하다.
다음에, 분할 영상 별로 부호화한다(S220). 확장 영역이 부가된 복수개의 분할 영상 별로 부호화 동작이 수행된다. 부호화는, 비디오 신호를 주파수 변환하는 주파수 변환, 변환된 신호를 양자화하는 양자화, 양자화된 신호의 엔트로피 부호화 및 디블록킹 필터링 등을 포함한다. 물론, 움직임 벡터에 따른 움직임 추정 및 보상도 포함할 수 있다. 여기서 주파수 변환 및 양자화는 하나의 프로세스를 통해 수행될 수도 있다.
이와 같이, 확장 영상(330)이 부가된 분할 영상 별로 부호화를 수행함으로써, 종래와 달리, 분할 영상 경계에서 인접하는 화소를 고려한 디블로킹 필터링이 가능하게 되어 분할 영상 간의 블록킹 아티펙트(blocking artifact) 현상이 완화되게 된다. 또한, 분할 영상 경계에 위치한 매크로블록인 경우에, 인접 화소 정보도 이용이 가능하기 때문에, 비트량 감소 및 화질이 개선되게 된다.
한편, 부호화 단계(S220)에서, 확장 영역들 사이의 양자화 파라미터가 유사하도록 조정한다면, 보다 향상된 시각 효과를 얻을 수 있게 된다.
다음에, 부호화된 분할 영상을 다중화한다(S230). 복수개의 부호화된 분할 영상(330)을 패킷 형태로 다중화한다. 이 패킷은 TS(transport stream) 패킷일 수 있다.
도 4는 고해상도 영상의 분할의 일 예를 보여주는 도면이다.
도면을 참조하여 설명하면, 초고해상도 영상(310)은 다양한 패턴, 다양한 개수로 분할이 가능하며, 도면에서는 4X4 매트릭스 형태로, 16개의 고해상도 영상(420)으로 분할하는 것을 보여준다. 예를 들어, 초고해상도 영상(310)이 8k급(7680X4320)의 해상도를 갖는다면, 2k급(1920X1080) 고해상도 영상 16개로 분할되는 것을 보여준다. 상술한 대로, 각 분할 영상의 경계 사이에는 확장 영상(430)을 부가하는 것을 보여준다.
도 5는 도 4의 복수개의 분할 영상 중 어느 하나를 보여주는 도면이다.
도 5의 분할 영상(520)은, 주변에 인접하는 인접 분할 영상(530)과 8부분으로 둘러싸인 것을 보여준다. 이는 도 4의 고해상도 영상 5, 6, 9, 10에 해당한다. 이에 따라 확장 영상이 분할 영상(520)의 4면 모두에 부가된다.
도 6 및 도 7은 초고해상도 영상의 부호화 방법을 설명하기 위한 도면이다.
도 6은, 제1 시간(t-1)의 초고해상도 영상(610)과 제2 시간(t)의 초고해상도 영상(620) 사이의 움직임(A와B의 이동)을 보여준다.
초고해상도 영상을 복수개의 분할 영상으로 나누어 부호화할 때, 도 6과 같이 동일 분할 영상 내의 움직임이 아닌, 인접하는 분할 영상 간의 움직임이 있는 경우, 인접 영상의 영역을 참조하여 부호화되도록 한다.
도 7은 도 6의 초고해상도 영상의 분할 영상에 확장 영상을 부가한 것을 보여준다.
제1 시간(t-1)의 각 분할 영상은, 인접 분할 영상과 인접하지 않는 제1 영역(710)과, 인접 분할 영상과 인접하는 제2 영역(720), 인접 분할 영상의 일부가 부가된 제3 영역(730)으로 나뉜다. 여기서 제3 영역(730)은 상술한 확장 영상에 해당한다. 제2 영역(720)은 인접 분할 영상에 제3 영역(730)으로서 부가되며, 제3 영역(730)은 영상 복원시 절삭되게 된다.
또한, 제2 시간(t)의 각 분할 영상은, 인접 분할 영상과 인접하지 않는 제1 영역(715), 인접 분할 영상과 인접하는 제2 영역(725), 및 인접 분할 영상의 일부가 부가된 제3 영역(735)으로 나뉜다. 여기서 제3 영역(735)은 상술한 확장 영역에 해당한다.
종래에는 확장 영상을 분할 영상에 부가하지 않음으로써, 제2 시간(t)의 분할 영상 3과 같은 경우에, A 블록에 대한 정보를 이용할 수 없게 되나, 본 발명에서는 확장 영상을 부가함으로써, 분할 영상의 부호화시에 확장 영상을 이용하여 움직임 추정 및 보상을 수행할 수 있게 된다.
즉, 도면에서의 각 블록이 16X16의 화소로 구성되어 있는 경우, 제2 시간(t)의 분할영상3의 블록 A에 대해 제1 시간(t-1)에 있는 분할영상0을 참조하여 움직임 추정을 하면, 움직임 벡터가 (-16,-16)이 된다. 종래에는 분할 영상 간 참조를 허용하지 않으므로, 다른 분할 영상의 정보를 이용할 수 없지만, 본 발명에서는 제1 시간(t-1)의 분할 영상 내의 블록 A의 정보를 이용하여 움직임 추정 및 보상을 수행할 수 있게 된다. 따라서, 분할 영상 간의 경계에서의 화질을 개선할 수 있게 된다.
한편, 확장 영상은 움직임 추정 및 보상에 사용되나, 움직임 추정 및 보상의 대상은 아닐 수 있다.
도 8은 본 발명의 실시예에 따른 비디오 부호화 방법을 도시한 순서도이며, 도 9는 도 8의 분할 영상에 대한 신택스를 보여주는 도면이며, 도 10은 도 8의 확장 영상에 대한 신택스를 보여주는 도면이며, 도 11은 도 10과 관련한 확장 영상을 설명하기 위한 도면이다.
도면을 참조하여 설명하면, 먼저, 입력되는 영상이 분할 영상인지 여부를 나타내는 정보를 부호화한다(S810). 해상도가 높은 영상의 경우, 이를 분할하여 처리할 가능성이 있으므로, 분할 영상인지 여부를 나타내는 정보를 부호화한다. 본 발명에서는 이 정보를 "super_pic_flag"로 명명한다.
"super_pic_flag"가 1인 경우는, 해상도가 높아 분할되는 분할 영상인 것을 나타내며, "super_pic_flag"가 0인 경우는, 해상도가 낮아 분할 영상이 아닌 것을 나타낸다.
다음에, 분할 영상이라면(S820), 분할 영상의 위치 및 개수 중 적어도 하나에 관련한 정보를 부호화한다(S830).
분할 영상의 위치를 알려주는 정보를, "super_pic_addr"이라고 명명할 수 있으며, 원 영상이 몇 개의 분할 영상으로 분할되었는지에 대한 정보는, "super_pic_width_in_minus1"과 "super_pic_height_in_minus1"로 명명될 수 있다. "super_pic_width_in_minus1"은 가로 방향에 대한 분할 영상의 개수를, "super_pic_height_in_minus1"은 세로 방향에 대한 분할 영상의 개수를 나타낼 수 있다. 상술한 정보들은 신택스 요소로서 부호화된다.
예를 들어, "super_pic_flag"가 1의 값을 갖고, "super_pic_addr"가 3의 값을 가지며, "super_pic_width_in_minus1"과 "super_pic_height_in_minus1"이 각각 1의 값을 가진다고 가정하자.
이러한 예는 도 3의 고해상도 영상 3을 나타낸다고 할 수 있다. "super_pic_width_in_minus1"과 "super_pic_height_in_minus1"이 각각 1의 값을 가지므로, 원 영상이 2X2 분할 영상으로 분할되며, "super_pic_addr"가 3의 값을 가지므로, 0을 첫 번째 분할 영상이라 하였을 때, 네 번째의 분할 영상인 도 3의 고해상도 영상 3을 나타낸다. "super_pic_addr"의 값은 행 단위로 그 순서가 정해질 수 있으며, 또는 래스터 스캔(raster scan) 방식에 따라 정해질 수도 있다. 도면에서는 행 단위로 그 순서를 정하는 것을 도시하나, 이에 한정되지 않으며, 다양한 방식으로 정의할 수도 있다.
다른 예로, 도 4의 고해상도 영상 10을 나타내기 위해서는, "super_pic_flag"가 1의 값을 갖고, "super_pic_addr"가 10의 값을 가지며, "super_pic_width_in_minus1"과 "super_pic_height_in_minus1"이 각각 3의 값을 가지도록 부호화될 수 있다.
상술한 여러 신택스(syntax) 요소들은 해당 비트스트림을 복호화하는 경우에, 복호화되는 영상이 원래 단일 영상의 일부인 분할 영상인지 여부를 알 수 있게 해주며, 그 분할 영상의 개수 및 위치까지 알려줄 수 있게 된다. 또한 도 2의 다중화 단계(S230)에 의해 다중화된 각 분할 영상에서의 비트스트림을 구분해내기 위하여 TS(Transport Strream) 패킷의 종류를 표시하는 PID(Packet Identifier)가 각각의 분할 영상의 대한 값을 지정하지 않아도 "super_pic_addr"값을 이용하여 영상 복호화 및 합성을 할 수가 있게 된다.
다음에, 분할 영상에 부가되는 확장 영상의 크기를 알려주는 정보를 부호화한다(S840). 이 정보는 복호화시에 분할 영상에 부가된 확장 영상을 절삭하기 위한 정보로도 사용된다.
도 10과 같이, 확장 영상의 존재 여부를 알려주는 정보는 "frame_cropping_flag"로 명명될 수 있으며, 이 값이 1인 경우 확장 영상이 부가됨을 나타낸다. 이 값이 0인 경우 확장 영상이 부가되지 않음을 나타낸다.
다음, "frame_cropping_flag"값이 1인 경우, 부가되는 확장 영상의 크기를 알려주는 정보가 부호화 될 수 있다. 부가되는 확장 영상이 좌,우,상,하에 배치되는 경우, 그에 따라 각각의 오프셋 값이 "frame_crop_left_offset", "frame_crop_right_offset", "frame_crop_top_offset", "frame_crop_bottom_offset"으로 명명될 수 있다. 물론, 이 4개의 오프셋은 선택적으로 부호화될 수 있다.
예를 들어, 도 4의 고해상도 영상0의 경우, "frame_crop_right_offset"와, "frame_crop_bottom_offset"만이 부호화될 수 있다. 물론, 도 4의 고해상도 영상5의 경우는, 4개의 오프셋 모두가 부호화될 수 있다. 4개의 오프셋 모두가 부호화되는 경우는 도 11과 같이, 분할 영상(1020)에 이 분할 영상(1020)을 둘러싸는 확장 영상(1030)이 부가되는 것으로 도시될 수 있다.
도 12는 본 발명의 실시예에 따른 비디오 부호화 장치를 도시한 블록도이다.
도면을 참조하여 설명하면, 도 12의 비디오 부호화 장치(1200)는 영상 분할부(1210), 영상 부호화부(1220-0, ..., 1220-N-1), 다중화부(1230), 및 제어부(1240)를 포함한다.
영상 분할부(1210)는, 단일 영상, 예를 들어 초고해상도 영상을 복수개의 분할 영상으로 분할한다. 특히, 해당 분할 영상에 인접하는 분할 영상의 일부를 확장 영역으로서 부가하여 분할한다.
이 영상 부호화부(1220-0, ..., 1220-N-1)는, 확장 영상이 부가된 분할 영상 별로 부호화한다. 영상 부호화부(1220-0, ..., 1220-N-1)에서의 화소 부호화는, 비디오 신호를 주파수 변환하는 주파수 변환, 변환된 신호를 양자화하는 양자화, 양자화된 신호의 엔트로피 부호화 및 디블록킹 필터링 등을 포함한다. 물론, 움직임 벡터에 따른 움직임 추정 및 보상도 포함할 수 있다. 여기서 주파수 변환 및 양자화는 하나의 프로세스를 통해 수행될 수도 있다.
또한, 영상 부호화부(1220-0, ..., 1220-N-1)는, 각각의 화소를 부호화함은 물론, 상술한 바와 같이 분할 영상인지 여부를 나타내는 정보, 분할 영상의 개수 및 위치에 대한 정보, 부가되는 확장 영상의 크기에 대한 정보(절삭 정보) 등도 부호화한다.
다중화부(1230)는, 부호화된 분할 영상을 다중화한다. 복수개의 부호화된 분할 영상 비트스트림을 패킷 형태로 다중화한다. 이 패킷은 TS(transport stream) 패킷일 수 있다.
제어부(1240)는, 각 영상 부호화부(1220-0, ..., 1220-N-1)의 동작을 제어한다. 예를 들어, 제어부(1240)는, 분할 영상의 합성시, 분할 영상 간의 화질 차이를 줄이기 위하여, 분할 영상 경계에서의 양자화 파라미터가 유사하도록 조정할 수 있다. 또한, 제어부(1240)는, 비슷한 양자화 오차를 가지도록 인터 및 인트라 매크로블록 여부와 매크로블록 모드 등을 조절하는 역할도 수행할 수 있다.
도 13은 본 발명의 일 실시예에 따른 비디오 복호화 방법을 도시한 도면이다.
도면을 참조하여 설명하면, 먼저, 입력되는 비트스트림으로부터 복수개의 부호화된 분할 영상 및 부가된 확장 영상을 역다중화하여 추출한다(S1310). 다중화된 비트스트림의 PID(packet identifier) 정보를 이용하여, 확장 영상이 부가된 분할 영상을 역다중화하여, 분할 영상 별로 추출한다.
다음에, 추출된 부호화된 분할 영상 및 부가된 부호화된 확장 영상을 복호화한다(S1320). 확장 영역이 부가된 복수개의 분할 영상 별로 복호화 동작이 수행된다. 복호화는, 엔트로피 복호화, 역양자화, 역변환 및 디블록킹 필터링 등을 포함한다. 물론, 움직임 벡터에 따른 움직임 보상도 포함할 수 있다. 움직임 보상은 인접 분할 영상을 이용하여 수행될 수 있다. 여기서 역양자화와 역변환은 하나의 프로세스를 통해 수행될 수도 있다.
한편, 움직임 벡터가 분할 영상의 외부를 가리키는 경우, 주변 외부 영상의 존재 여부는 해당 분할 영상의 도 9의 "super_pic_addr"와 "super_pic_width_in_pics_minus1", "super_pic_height_in_pics_minus1"를 이용하여 주변 분할 영상의 "super_pic_addr"를 추정할 수 있다. 만약, 움직임 벡터가 외부영역을 가리키고 있지만 분할 영상이 존재하지 않는 경우에는 최외곽 화소값을 이용하여 외곽 채우기를 통해 얻은 값을 이용하여 움직임 추정 및 보상을 수행한다.
정리하면, "super_pic_flag"가 존재하고, 움직임 벡터가 영상의 외부를 가리키면, 주변 분할 영상의 존재에 따라 주변 영상의 화소 정보를 이용하여 움직임 보상을 수행하고, 움직임 벡터가 영상의 내부를 가리키거나 움직임 벡터가 외부를 가리키지만 주변의 분할 영상이 존재하지 않는 경우에는, 기존의 방법대로 움직임 보상을 수행한다.
이와 같이, 확장 영상이 부가된 분할 영상 별로 복호화를 수행함으로써, 종래와 달리, 분할 영상 경계에서 인접하는 화소를 고려한 디블로킹 필터링이 가능하게 되어 분할 영상 간의 블록킹 아티펙트(blocking artifact) 현상이 완화되게 된다. 또한, 분할 영상 경계에 위치한 매크로블록인 경우에, 인접 화소 정보도 이용이 가능하기 때문에, 비트량 감소 및 화질이 개선되게 된다.
복호화 단계(S1320)는, 분할 영상에 부가되는 확장 영상을 절삭하기 위한 부호화된 절삭 정보를 더 복호화할 수 있다.
다음에, 확장 영상을 절삭하여, 단일 영상으로 복원하도록 분할 영상들을 합성한다(S1330). 복호화된 분할 영상의 합성은, 도 10과 도 11에서 도시한 바와 같이 확장 영상의 절삭 정보를 이용하여 수행될 수 있다. 또한, 도 9와 같은, 확장 영상의 위치 및 개수에 관한 정보를 이용하여 합성될 수 있다.
도 14는 본 발명의 일 실시예에 따른 비디오 복호화 방법을 도시한 순서도이다.
도면을 참조하여 설명하면, 단일 영상의 일부인 분할 영상인지 여부를 나타내는 부호화된 정보를 복호화한다(S1410). 비트스트림으로부터 도 9와 같은, "super_pic_flag"를 추출하여 복호화한다.
다음에, 정보가 분할 영상을 나타내는 경우(S1420), 분할 영상의 위치 및 개수 중 적어도 하나에 관련한 부호화된 정보를 복호화한다(S1430). 즉, "super_pic_flag"가 1의 값을 갖는 것으로 해석되는 경우, "super_pic_addr", "super_pic_width_in_minus1" "super_pic_height_in_minus1"를 복호화한다.
예를 들어, "super_pic_flag"가 1의 값을 갖고, "super_pic_addr"가 3의 값을 가지며, "super_pic_width_in_minus1"과 "super_pic_height_in_minus1"이 각각 1의 값을 가진다면, 도 3의 고해상도 영상 3을 나타낸다고 해석될 수 있다.
다음에, 분할 영상에 부가되는 확장 영상을 절삭하기 위한 절삭 정보를 복호화 한다(S1440). 도 10에 도시된 바와 같이, 확장 영상의 존재 여부를 알려주는 정보인 "frame_cropping_flag", 부가되는 확장 영상이 좌,우,상,하에 배치되는 경우, 그에 따라 각각의 오프셋 값을 나타내는 "frame_crop_left_offset", "frame_crop_right_offset", "frame_crop_top_offset", "frame_crop_bottom_offset"을 복호화한다. 이러한 정보를 이용하여 확장 영상을 절삭하게 된다.
도 15는 본 발명의 일 실시예에 따른 비디오 복호화 장치를 도시한 블록도이다.
도면을 참조하여 설명하면, 도 15의 비디오 복호화 장치(1500)는 역다중화부(1510), 영상 복호화부(1520-0,...,1520-N-1), 영상 합성부(1530) 및 제어부(1540)를 포함한다.
역다중화부(1510)는, 입력되는 비트스트림으로부터 복수개의 부호화된 분할 영상 및 부가된 확장 영상을 역다중화하여 추출한다. 다중화된 비트스트림의 PID(packet identifier) 정보를 이용하여, 확장 영상이 부가된 분할 영상을 역다중화하여, 분할 영상 별로 추출한다.
영상 복호화부(1520-0,...,1520-N-1)는 추출된 부호화된 분할 영상 및 부가된 부호화된 확장 영상을 복호화한다. 분할 영상 별로 영상 복호화가 수행된다. 복호화는, 엔트로피 복호화, 역양자화, 역변환 및 디블록킹 필터링 등을 포함한다. 물론, 움직임 벡터에 따른 움직임 보상도 포함할 수 있다. 움직임 보상은 인접 분할 영상을 이용하여 수행될 수 있다. 한편, 분할 영상에 부가되는 확장 영상을 절삭하기 위한 부호화된 절삭 정보를 더 복호화할 수 있다.
영상 합성부(1530)는, 확장 영상을 절삭하고, 분할 영상들을 합성하여 단일 영상으로 복원한다. 이를 위해, 도 9의 분할 영상 정보("super_pic_flag"), 분할 영상의 위치 및 개수 중 적어도 하나에 관련한 부호화된 정보("super_pic_addr", "super_pic_width_in_minus1", "super_pic_height_in_minus1")와 도 10의 절삭정보 등을 이용하여 단일 영상으로 복원한다.
제어부(1540)는, 각 영상 부호화부(1220-0, ..., 1220-N-1)의 동작을 제어한다.
한편, 본 발명의 비디오 부호화 방법 및 복호화 방법은 비디오 부호화 장치 또는 비디오 복호화 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (25)

  1. 단일 영상을 복수개의 분할 영상으로 분할하되, 상기 각 분할 영상에 인접하는 인접 분할 영상의 일부인 확장 영상을 부가하여 분할하는 단계; 및
    상기 확장 영상이 부가된 상기 분할 영상 별로 부호화하는 단계;를 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  2. 제1항에 있어서,
    상기 부호화된 각각의 분할 영상을 다중화하는 단계;를 더 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  3. 제1항에 있어서,
    상기 영상 분할 단계는,
    상기 분할 영상들 간의 경계에, 상기 확장 영상을 부가하는 것을 특징으로 하는 비디오 부호화 방법.
  4. 제1항에 있어서,
    상기 부호화 단계는,
    상기 분할 영상에 부가된 상기 확장 영상을 절삭하기 위한 절삭 정보를 더 부호화하는 것을 특징으로 하는 비디오 부호화 방법.
  5. 제1항에 있어서,
    상기 부호화 단계는,
    양자화 시, 상기 분할 영상 간의 인접하는 블록들의 양자화 파라미터를 서로 동일 또는 유사하도록 설정하는 것을 특징으로 하는 비디오 부호화 방법.
  6. 제1항에 있어서,
    상기 부호화 단계는,
    상기 인접 분할 영상을 이용하여 움직임 보상 및 추정을 수행하는 것을 특징으로 하는 비디오 부호화 방법.
  7. 영상의 부호화 과정에서,
    단일 영상의 일부인 분할 영상인지 여부를 나타내는 정보를 부호화하는 단계; 및
    상기 정보가 분할 영상을 나타내는 경우, 분할 영상의 위치 및 개수 중 적어도 하나에 관련한 정보를 부호화하는 단계;를 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  8. 제7항에 있어서,
    상기 분할 영상에 부가되는 확장 영상의 크기를 알려주는 정보를 부호화하는 단계;를 더 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  9. 입력되는 비트스트림으로부터 복수개의 부호화된 분할 영상 및 부가된 확장 영상을 역다중화하여 추출하는 단계;
    상기 추출된 부호화된 분할 영상 및 부가된 부호화된 확장 영상을 복호화하는 단계; 및
    상기 확장 영상을 절삭하여, 단일 영상으로 복원하도록 상기 분할 영상들을 합성하는 단계;를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  10. 제9항에 있어서,
    상기 복호화 단계는,
    상기 분할 영상에 부가되는 상기 확장 영상을 절삭하기 위한 부호화된 절삭 정보를 더 복호화하는 것을 특징으로 하는 비디오 복호화 방법.
  11. 제9항에 있어서,
    상기 합성 단계는,
    상기 분할 영상들 간의 경계 부분에 부가된 상기 확장 영상을 절삭하는 것을 특징으로 하는 비디오 복호화 방법.
  12. 제9항에 있어서,
    상기 복호화 단계는,
    상기 인접 분할 영상을 이용하여 움직임 보상 및 추정을 더 수행하는 것을 특징으로 하는 비디오 복호화 방법.
  13. 영상의 복호화 과정에서,
    단일 영상의 일부인 분할 영상인지 여부를 나타내는 부호화된 정보를 복호화하는 단계; 및
    상기 정보가 분할 영상을 나타내는 경우, 분할 영상의 위치 및 개수 중 적어도 하나에 관련한 부호화된 정보를 복호화하는 단계;를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  14. 제13항에 있어서,
    상기 분할 영상에 부가되는 확장 영상의 크기를 알려주는 부호화된 정보를 복호화하는 단계; 를 더 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  15. 단일 영상을 복수개의 분할 영상으로 분할하되, 상기 각 분할 영상에 인접하는 인접 분할 영상의 일부인 확장 영상을 부가하여 분할하는 영상 분할부; 및
    상기 확장 영상이 부가된 상기 분할 영상 별로 부호화하는 영상 부호화부;를 포함하는 것을 특징으로 하는 비디오 부호화 장치.
  16. 제15항에 있어서,
    상기 각 영상 부호화부로부터 부호화된 분할 영상을 다중화하는 다중화부;를 더 포함하는 것을 특징으로 하는 비디오 부호화 장치.
  17. 제15항에 있어서,
    상기 각 영상 부호화부의 동작을 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 비디오 부호화 장치.
  18. 제17항에 있어서,
    상기 영상 부호화부는,
    상기 분할 영상에 부가된 상기 확장 영상을 절삭하기 위한 절삭 정보를 더 부호화하는 것을 특징으로 하는 비디오 부호화 장치.
  19. 제17항에 있어서,
    상기 영상 부호화부는,
    상기 인접 분할 영상을 이용하여 움직임 보상을 수행하는 것을 특징으로 하는 비디오 부호화 장치.
  20. 입력되는 비트스트림으로부터 복수개의 부호화된 분할 영상 및 부가된 확장 영상을 역다중화하여 추출하는 역다중화부;
    상기 추출된 상기 부호화된 분할 영상 및 부가된 부호화된 확장 영상을 복호화하는 영상 복호화부; 및
    상기 확장 영상을 절삭하고, 상기 분할 영상들을 합성하여 단일 영상으로 복원하는 영상 합성부;를 포함하는 것을 특징으로 하는 비디오 복호화 장치.
  21. 제20항에 있어서,
    상기 각 영상 복호화부의 동작을 제어하는 제어부;를 더 포함하는 것을 특징으로 하는 비디오 복호화 장치.
  22. 제20항에 있어서,
    상기 영상 복호화부는,
    상기 분할 영상에 부가되는 상기 확장 영상을 절삭하기 위한 부호화된 절삭 정보를 더 복호화하는 것을 특징으로 하는 비디오 복호화 장치.
  23. 제20항에 있어서,
    상기 영상 복호화부는,
    상기 인접 분할 영상을 이용하여 움직임 보상을 더 수행하는 것을 특징으로 하는 비디오 복호화 장치.
  24. 제1항 내지 제8항 중 어느 한 항의 비디오 부호화 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
  25. 제9항 내지 제14항 중 어느 한 항의 비디오 복호화 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체.
KR1020080029016A 2008-02-20 2008-03-28 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치 KR20090103414A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080029016A KR20090103414A (ko) 2008-03-28 2008-03-28 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치
PCT/KR2008/005461 WO2009104850A1 (en) 2008-02-20 2008-09-16 Method for encoding and decoding image, and apparatus for encoding and decoding image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080029016A KR20090103414A (ko) 2008-03-28 2008-03-28 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치

Publications (1)

Publication Number Publication Date
KR20090103414A true KR20090103414A (ko) 2009-10-01

Family

ID=41532956

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080029016A KR20090103414A (ko) 2008-02-20 2008-03-28 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치

Country Status (1)

Country Link
KR (1) KR20090103414A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101146331B1 (ko) * 2010-08-26 2012-05-21 에이스텔 주식회사 초고화질 영상 재생 모듈을 이용한 ｄｖｒ 시스템
WO2012157999A3 (ko) * 2011-05-19 2013-01-17 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
KR101483053B1 (ko) * 2013-12-27 2015-01-19 연세대학교 산학협력단 영상 합성 방법, 장치 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101146331B1 (ko) * 2010-08-26 2012-05-21 에이스텔 주식회사 초고화질 영상 재생 모듈을 이용한 ｄｖｒ 시스템
WO2012157999A3 (ko) * 2011-05-19 2013-01-17 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
KR101483053B1 (ko) * 2013-12-27 2015-01-19 연세대학교 산학협력단 영상 합성 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
JP6471787B2 (ja) 画像処理装置及び画像処理方法
JP6296180B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP6295951B2 (ja) 画像復号装置及び画像復号方法
KR102216571B1 (ko) 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 신호 처리 방법
JP6399366B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
WO2009104850A1 (en) Method for encoding and decoding image, and apparatus for encoding and decoding image
KR20190118125A (ko) 병렬 또는 분산 처리를 위한 화면 분할 정보를 제공하는 방법 및 이를 이용한 장치
KR100951465B1 (ko) 영상 부호화 방법, 복호화 방법, 및 그 기록 매체
KR20090103414A (ko) 비디오 부호화 방법, 복호화 방법, 부호화 장치, 및 복호화장치
WO2009136681A1 (en) Method for encoding and decoding image, and apparatus for displaying image
WO2012114792A1 (ja) 画像処理装置及び画像処理方法
KR100988622B1 (ko) 영상 부호화 방법, 복호화 방법, 영상 표시 장치 및 그기록 매체
RU2810200C2 (ru) Способ и устройство кодирования изображения на основе подкартинки
RU2820304C1 (ru) Способ и устройство кодирования изображения на основе подкартинки
RU2737038C2 (ru) Устройство и способ обработки изображений

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination