KR20180021755A - 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 - Google Patents

영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 Download PDF

Info

Publication number
KR20180021755A
KR20180021755A KR1020180018486A KR20180018486A KR20180021755A KR 20180021755 A KR20180021755 A KR 20180021755A KR 1020180018486 A KR1020180018486 A KR 1020180018486A KR 20180018486 A KR20180018486 A KR 20180018486A KR 20180021755 A KR20180021755 A KR 20180021755A
Authority
KR
South Korea
Prior art keywords
information
current
prediction
predicted
encoding
Prior art date
Application number
KR1020180018486A
Other languages
English (en)
Other versions
KR101920352B1 (ko
Inventor
정세윤
김휘용
임성창
이진호
이하현
김종호
최진수
김진웅
안치득
박광훈
김경용
이한수
김태룡
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20180021755A publication Critical patent/KR20180021755A/ko
Application granted granted Critical
Publication of KR101920352B1 publication Critical patent/KR101920352B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 일 실시형태는 영상 정보 부호화 방법으로서, 현재 부호화 유닛의 정보를 예측하여 예측 정보를 생성하는 단계 및 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한지를 판단하는 단계를 포함하며, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한 경우에는, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하다는 것을 지시하는 플래그를 부호화하여 전송하고, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않은 경우에는, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않다는 것을 지시하는 플래그 및 상기 현재 부호화 유닛의 정보를 부호화하여 전송하며, 상기 예측 정보의 생성 단계에서는, 상기 현재 부호화 유닛 주변의 부호화 유닛에 관한 정보를 이용하여 예측 정보를 생성할 수 있다.

Description

영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING VIDEO INFORMATION}
본 발명은 고효율 동영상 부호화(HEVC; High Efficiency Video Coding)에서 부호화 정보를 예측하여 부호화하는 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도(1280x1024 혹은 1920x1080)를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 이제 많은 사용자들이 고해상도, 고화질의 영상에 많이 익숙해지고 있다.
따라서, 많은 기관에서는 차세대 영상기기에 대한 개발에 박차를 가하고 있는 상황이다. 또한 HDTV의 후속으로 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 동영상 표준화 단체들은 보다 높은 해상도, 고화질의 영상에 대한 압축기술의 필요성을 인식하게 되었다.
이와 관련하여, 차세대 영상 기기에 사용하기 위해, 현재 HDTV, 휴대전화, 블루레이 플레이어에 사용되는 H.264/AVC보다 높은 압축 효율을 통해 동일한 화질을 유지하면서도 주파수 대역이나 저장 측면에서 많은 이득을 얻을 수 있는 새로운 표준이 필요하게 되었다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 공동으로 차세대 비디오 코덱인 HEVC(High Efficiency Video Coding)를 표준화하고 있으며, UHD 영상까지 포함한 영상을 H.264/AVC 대비 2배의 압축효율로 부호화를 하는 것을 목표로 하고 있다. 차세대 비디오 코덱(HEVC)에서는 HD, UHD 영상뿐만 아니라 3D 방송 및 이동 통신망에서도 현재보다 낮은 주파수로 고화질의 영상을 제공하는 것을 목표로 하고 있다.
HEVC는 현재 2010년 4월에 첫 JCT-VC(Joint Collaboration Team Video Coding) 회의가 열린 이후 각 기관의 기고를 통해 TMuC(Test Model Under Consideration)이라는 명칭의 코덱을 표준의 성능을 측정하기 위해 책정하였다.
한편, HEVC에서는 부호화/복호화 효율을 높이기 위해 다양한 기술을 채택하고자 하고 있으며, 현재 CU의 부호화를 위한 예측/변환/양자화 등에 필요한 정보를 어떻게 처리할 것인지가 문제되고 있다.
본 발명은 고효율 동영상 부호화/복호화 기술에 있어서, 부호화된 정보의 압축 효율을 개선하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 고효율 동영상 부호화/복호화 기술에 있어서, 현재 부호화 유닛의 정보를 주변 정보를 이용하여 부호화/복호화 하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 고효율 동영상 부호화/복호화 기술에 있어서, 현재 부호화 유닛의 정보와 주변 정보가 동일하지 않을 때, 주변 정보를 이용하여 현재 부호화 유닛의 정보를 부호화/복호화 하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 고효율 동영상 부호화/복호화 기술에 있어서, 독립적으로 부호화되는 CU의 정보들을 같은 프레임 내에 인접한 부호화 유닛이나 참조 프레임 내의 부호화 유닛 혹은 예측 구조를 통해 예측하여 부호화를 수행하여 CU간의 정보의 중복성을 제거하는 방법 및 장치를 제공하는 것을 목적으로 한다.
(1) 본 발명의 일 실시형태는 영상 정보 부호화 방법으로서, 현재 부호화 유닛의 정보를 예측하여 예측 정보를 생성하는 단계 및 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한지를 판단하는 단계를 포함하며, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한 경우에는, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하다는 것을 지시하는 플래그를 부호화하여 전송하고, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않은 경우에는, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않다는 것을 지시하는 플래그 및 상기 현재 부호화 유닛의 정보를 부호화하여 전송하며, 상기 예측 정보의 생성 단계에서는, 상기 현재 부호화 유닛 주변의 부호화 유닛에 관한 정보를 이용하여 예측 정보를 생성할 수 있다.
(2) (1)에서, 상기 현재 부호화 유닛의 주변 부호화 유닛에 관한 정보는, 참조 프레임에서 현재 부호화 유닛에 대응하는 부호화 유닛의 정보일 수 있다.
(3) (1)에서, 상기 현재 부호화 유닛의 주변 부호화 유닛에 관한 정보는, 참조 프레임에서 상기 현재 부호화 유닛에 대응하는 부호화 유닛의 분할 정보일 수도 있으며, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한지는 판단하는 단계에서는, 각각의 깊이별로 상기 현재 부호화 유닛의 분할 정보와 상기 참조 프레임에서 상기 현재 부호화 유닛에 대응하는 부호화 유닛의 분할 정보가 동일한지를 판단할 수 있다.
(4) (1)에서, 상기 현재 부호화 유닛의 주변 부호화 유닛에 관한 정보는, 상기 현재 부호화 유닛이 속하는 프레임에서 상기 현재 부호화 유닛에 인접하는 부호화 유닛의 정보일 수도 있다.
(5) (1)에서, 상기 현재 부호화 유닛의 주변 부호화 유닛에 관한 정보는, 상기 현재 부호화 유닛 및 상기 주변 부호화 유닛이 속하는 프레임에서의 예측 구조에 관한 정보일 수도 있으며, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한지를 판단하는 단계에서는, 상기 현재 부호화 유닛이 시간적으로 선후에 있는 두 프레임을 각각 참조한 2개의 리스트를 이용하여 화면 간 예측을 수행하는 경우에, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하다고 판단하며, 상기 현재 부호화 유닛이 시간적으로 선후에 있는 두 프레임을 각각 참조한 2개의 리스트를 이용하지 않고 화면 간 예측을 수행하는 경우에는, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않다고 판단할 수 있다.
(6) (5)에서, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않다고 판단한 경우에는, 상기 현재 부호화 유닛의 정보로서, 참조할 리스트와 참조 인덱스를 부호화하여 전송할 수 있다.
(7) (1)에서, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않은 경우에는, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않다는 것을 지시하는 플래그 및 상기 현재 부호화 유닛의 정보와 상기 예측 정보의 차이를 부호화하여 전송할 수 있다
(8) (1)에서, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않은 경우에는, 상기 현재 부호화 유닛의 정보로서 선택될 수 있는 부호 정보들 중에서 상기 예측 정보를 제외하고 코드워드를 생성하여 상기 현재 부호화 유닛에 대한 정보를 부호화할 수도 있다.
(9) (1)에서, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않은 경우에는, 상기 예측 정보를 기반으로 상기 현재 부호화 유닛의 정보에 대한 확률을 다시 생성하여 상기 현재 부호화 유닛의 정보를 부호화할 수도 있다.
(10) 본 발명의 다른 실시형태는 영상 정보 복호화 방법으로서, 현재 부호화 유닛의 정보와 상기 현재 부호화 유닛 주변 부호화 유닛에 관한 정보로부터 예측한 예측 정보가 동일한지를 지시하는 예측 플래그를 복호화하는 단계 및 상기 복호화된 예측 플래그를 기반으로 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한지를 판단하는 단계를 포함하며, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한 경우에는, 상기 예측 정보를 상기 현재 부호화 유닛의 정보로서 이용하고, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않은 경우에는 상기 현재 부호화 유닛의 정보를 복호화할 수 있다.
(11) (10)에서, 상기 현재 부호화 유닛의 주변 부호화 유닛에 관한 정보는, 참조 프레임에서 현재 부호화 유닛에 대응하는 부호화 유닛의 정보일 수 있다.
(12) (11)에서, 상기 현재 부호화 유닛의 주변 부호화 유닛에 관한 정보는, 참조 프레임에서 상기 현재 부호화 유닛에 대응하는 부호화 유닛의 분할 정보일 수도 있다.
(13) (10)에서, 상기 현재 부호화 유닛의 주변 부호화 유닛에 관한 정보는, 상기 현재 부호화 유닛이 속하는 프레임에서 상기 현재 부호화 유닛에 인접하는 부호화 유닛의 정보일 수도 있다.
(14) (10)에서, 상기 현재 부호화 유닛의 주변 부호화 유닛에 관한 정보는, 상기 현재 부호화 유닛 및 상기 주변 부호화 유닛이 속하는 프레임에서의 예측 구조에 관한 정보일 수도 있으며, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일한지를 판단하는 단계에서, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하다고 판단한 경우에는, 상기 현재 부호화 유닛이 속하는 프레임에 대하여 시간적으로 선후에 있는 두 프레임을 각각 참조한 2개의 리스트를 이용하여 화면 간 예측을 수행할 수 있다.
(15) (14)에서, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않다고 판단한 경우에는, 별도로 전송된 참조 리스트와 참조 인덱스를 기반으로 화면 간 예측을 수행할 수 있다.
*(16) (10)에서, 상기 현재 부호화 유닛의 정보와 상기 예측 정보가 동일하지 않은 경우에는, 상기 예측 정보를 기반으로 상기 현재 부호화 유닛의 정보를 복호화할 수 있다.
(17) (16)에서, 상기 예측 정보와 상기 현재 부호화 유닛의 정보 사이의 차이를 복호화하고 상기 예측 정보에 가산한 값을 상기 현재 부호화 유닛의 정보로서 이용할 수 있다.
(18) (16)에서, 상기 현재 부호화 유닛의 정보는, 상기 현재 부호화 유닛의 정보로서 선택될 수 있는 후보 정보들 중에서 상기 예측 정보를 제외한 후보 정보들 중 어느 하나를 선택하여 얻어질 수도 있다.
(19) (16)에서, 상기 예측 정보를 기반으로 현재 부호화 유닛의 정보에 대한 확률을 다시 생성하여 상기 현재 부호화 유닛의 정보를 복호화할 수도 있다.
본 발명에 의하면, 고효율 비디오 부호화/복호화 기술에 있어서 부호화 유닛의 정보에 대한 부호화 효율을 향상시킬 수 있다.
본 발명에 의하면, 고효율 비디오 부호화/복호화 기술에 있어서 영상을 부호화 유닛(CU) 단위로 부호화할 때, 독립적으로 부호화되는 CU의 정보들을 같은 프레임 내에 인접한 부호화 유닛이나 참조 프레임 내의 부호화 유닛 혹은 예측 구조를 통해 예측하여 부호화를 수행하여 CU간의 정보의 중복성을 제거할 수 있다.
본 발명에 의하면, 고효율 비디오 부호화/복호화 기술에 있어서 현재 부호화 유닛의 정보를 주변 정보를 이용하여 부호화/복호화할 수 있다.
도 1은 부호화기 구조의 일 예를 개략적으로 도시한 것이다.
도 2는 복호화기 구조의 일 예를 개략적으로 도시한 것이다.
도 3은 데이터를 처리할 때 CU 단위로 분할되는 것을 개략적으로 설명하는 도면이다.
도 4는 LCU 내에서 CU가 분할되는 과정을 좀더 구체적으로 설명하는 도면이다.
도 5는 분할이 수행되는 경우에 설정되는 분할 정보를 개략적으로 설명하는 도면이다.
도 6은 화면 간 예측(인터 예측)을 수행할 때 적용되는 프레임 간 계층적 구조(Hierarchical Structure)를 개략적으로 나타낸 도면이다.
도 7은 현재 프레임의 CU와 참조 프레임의 CU 사이 대응 관계를 개략적으로 설명하는 도면이다.
도 8은 본 발명이 적용되는 시스템에서, 주변 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 부호화를 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 9는 본 발명이 적용되는 시스템에서, 주변 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 복호화를 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 10은 분할 정보를 전송하는 한 방법을 개략적으로 설명하는 도면이다.
도 11은 본 발명이 적용되는 시스템에서, 참조 프레임에서 현재 LCU에 대응하는 LCU의 분할 정보를 이용하여 현재 LCU의 분할 정보를 예측하는 방법을 개략적으로 설명하는 도면이다.
도 12는 본 발명이 적용되는 시스템에서, 참조 프레임에서 현재 LCU에 대응하는 LCU의 분할 정보를 이용하여 현재 LCU의 분할 정보를 예측하는 방법을 개략적으로 설명하는 도면이다.
도 13은 동일한 프레임 내에서 현재 CU와 인접한 CU를 개략적으로 나타낸 것이다.
도 14는 본 발명에 따라서, 현재 CU의 정보를 부호화할 때 현재 CU에 인접한 CU의 정보를 통해 현재 CU의 정보를 예측하여 부호화하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 15는 본 발명이 적용되는 시스템에서, 주변 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 복호화를 수행하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 16은 인접한 CU를 이용하여 현재 CU의 정보를 예측하고 부호화하는 것을 설명하기 위한 도면이다.
도 17은 본 발명에 따라서 현재 CU 정보를 부호화할 때, 예측 구조로부터 현재 CU 정보를 예측하고 부호화하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 18는 본 발명이 적용되는 시스템에서, 예측 구조를 이용하여 현재 CU의 정보를 예측하고 복호화를 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 19는 계층적인 예측 구조를 갖는 경우에 본 발명에 따라서 프레임 단위의 예측 구조를 통해 현재 CU의 정보를 예측하여 부호화하는 것을 설명하는 도면이다.
도 20은 본 발명에 따라서, 참조 인덱스 예측 정보를 복호화하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 21은 본 발명에 따라서, 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 부호화하는 부호화기의 개략적인 구성을 도시한 것이다.
도 22는 본 발명에 따라서, 참조 프레임의 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 복호화하는 복호화기의 개략적인 구성을 도시한 것이다.
도 23은 본 발명에 따라서, 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 부호화하는 부호화기의 다른 예를 도시한 것이다.
도 24는 본 발명에 따라서, 참조 프레임의 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 복호화하는 복호화기의 다른 예를 도시한 것이다.
도 25는 본 발명에 따라서, 같은 프레임 내 인접한 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 부호화하는 부호화기의 구성을 개략적으로 나타낸 것이다.
도 26은 본 발명에 따라서, 같은 프레임 내 인접한 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 복호화하는 복호화기의 구성을 개략적으로 도시한 것이다.
도 27은 본 발명에 따라서, 예측 구조를 통해 현재 CU의 정보를 예측하고 부호화하는 부호화기의 구성을 개략적으로 나타낸 것이다.
도 28은 본 발명에 따라서, 예측 구조를 통해 현재 CU의 정보를 예측하고 복호화하는 복호화기의 구성을 개략적으로 도시한 것이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 부호화기 구조의 일 예를 개략적으로 도시한 것이다. 도 1의 부호화기(100)는 고효율 비디오 부호화를 지원하는 부호화기일 수 있다.
도 1을 참조하면, 부호화기(100)는 영상을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 부호화를 수행하고 비트스트림을 출력한다. 부호화가 인트라 모드로 수행되는 경우, 스위치(130)가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치(130)가 인터로 전환이 된다.
부호화기에서 수행되는 부호화 과정의 주요한 흐름은 입력된 영상의 블록에 대한 예측 블록을 생성한 후, 입력된 영상의 블록과 예측 블록의 차분을 구해서 부호화하는 것이다.
예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 인트라 모드일 경우에는 인트라 예측부(120)에서 현재 블록의 이미 부호화된 주변 화소값을 이용해서 공간적 예측을 수행함으로써 예측 블록을 생성한다. 인터 모드일 경우에는 움직임 예측부(105)에서 참조 영상 버퍼(110)에 저장되어 있는 참조 영상에서 현재 입력된 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터(Motion Vector)를 구한다. 움직임 보상부(125)에서 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.
상술한 바와 같이, 감산기(160)에서 현재 블록과 예측 블록의 차분을 구하여 잔여 블록(Residual Block)을 생성한다. 잔여 블록에 대한 부호화는 변환부(135)에서의 변환, 양자화부(140)에서의 양자화, 엔트로피(Entropy) 인코딩(145)에서의 엔트로피 부호화와 같은 순서로 수행이 된다.
변환부(135)에서는 잔여 블록을 입력 받아 변환(Transform)을 수행하고, 변환 계수(Transform Coefficient)를 출력한다. 그리고 양자화부(140)는 변환 계수를 양자화 파라미터에 따라 양자화하고, 양자화된 계수(Quantized Coefficient)를 출력한다. 이어서, 엔트로피 인코딩부(145)에서는 양자화된 계수를 확률 분포에 따라서 엔트로피 부호화하고 비트스트림으로 출력된다.
프레임 간(Inter-frame) 예측 부호화에서는, 현재 부호화된 영상을 이후에 입력된 영상의 참조 영상으로 사용할 수 있다. 따라서, 현재 부호화된 영상을 복호화하여 저장할 필요가 있다. 역양자화부(150)와 역변환부(155)를 거치면서, 양자화된 계수는 역양자화되고 역변환된다.
도시된 바와 같이, 역양자화 역변환을 거쳐서, 잔여 블록은 가산기(165)를 통해 예측 영상과 재합성되어 복원 블록이 생성된다. 디블록킹 필터(115)는 부호화 과정에서 발생한 복원 블록의 블록킹 현상(Blocking Artifact)을 제거하며, 참조 영상 버퍼(110)는 디블록킹된 복원 영상을 저장한다.
도 2는 복호화기 구조의 일 예를 개략적으로 도시한 것이다. 도 2의 복호화기는 고효율 비디오 부호화를 지원하는 복호화기일 수 있다.
부호화를 수행하면 비트스트림이 출력되는데, 복호화기(200)는 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화를 수행하고 복원된 영상을 출력한다.
인트라 모드일 경우, 스위치(240)가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치(240)가 인터로 전환이 된다.
복호화기에서 수행되는 복호화 과정의 주요한 흐름은 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측 블록을 더하여 재구성된 블록을 생성하는 것이다.
예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 인트라 모드일 경우에는 인트라 예측부(250)에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 보상부(280)에서 움직임 벡터를 이용하여 참조 영상 버퍼(270)에 저장되어 있는 참조 영상에서 해당 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.
엔트로피 디코딩부(210)에서는 확률 분포에 따라서, 입력된 비트스트림을 엔트로피 복호화하고 양자화된 계수(Quantized Coefficient)를 출력한다. 양자화된 계수는 역양자화부(220) 및 역변환부(230)를 지나면서, 역양자화되고 역변환된 뒤, 가산기(290)에서 예측 영상과 결합하여 복원된 블록을 생성한다. 복원된 블록은 디블록킹 필터(260)를 통해 블록킹 현상(Blocking Artifact)이 제거된 후, 참조 영상 버퍼(270)에 저장된다.
한편, 고효율 비디오 부호화/복호화에서는 소정의 단위별로, 예컨대, CU(Coding Unit)를 단위로 해서 데이터를 처리할 수 있다. CU는 데이터를 처리하는 기본적인 블록(Block) 단위라고 할 수 있다.
도 3은 CU를 설명하는 도면으로서, 데이터를 처리할 때 CU 단위로 분할을 수행하는 것을 개략적으로 설명하고 있다.
도 3을 참조하면, 영상을 미리 정의된 기본적인 CU 단위로 분할한 후, CU를 분할하면서 부호화가 수행된다. 가장 기본이 되는 CU 단위를 LCU(Largest Coding Unit)이라고 한다. LCU를 시작으로, 필요할 경우 블록의 크기가 가로 세로 절반씩 감소한 4개의 CU로 분할될 수 있다. CU를 분할하는 것은 부호화 측에서 영상의 특성에 따라 결정하는데, 복잡한 영상의 경우에는 더 작은 CU로 분할될 수 있고, 복잡하지 않은 영상에서는 작은 CU로 분할되지 않을 수 있다. 따라서, CU의 분할 여부는 압축 효율과 화질 측면에서의 효율에 따라서 결정된다고 할 수 있다.
CU를 분할할지에 대한 정보는 분할 정보(Split flag)를 통해 표현한다. 이 분할 정보는 더 이상 분할할 수 없는 가장 작은 단위의 CU를 제외한 모든 CU에 포함되어 있으며 분할 정보의 값(split_flag)이 ‘0’일 경우에는 해당 CU를 분할하지 않고, 분할 정보의 값(split_flag)이 ‘1’일 경우에는 해당 CU를 가로 세로 각각 이등분한 4개의 작은 CU로 계층적인 분할을 수행한다.
CU는 한 번 분할될 때마다 깊이(Depth)가 1씩 증가하게 된다. 사이즈가 같은 CU들의 깊이는 동일할 수 있다. CU의 최대 깊이는 미리 정의될 수 있는데, 미리 정의된 최대 깊이 이상으로 CU를 분할할 수 없다. 따라서, CU의 분할은 깊이가 0인 LCU부터 CU가 분할되면서 깊이가 1씩 증가하여 최대 깊이가 될 때까지 분할할 수 있다.
도 3을 참조하면, 깊이 0인 CU(LCU)에 대하여, 분할 정보값이 0인 경우에는 더 이상 분할되지 분할되지 않고, 분할 정보값이 1인 경우에는 네 개의 더 작은 CU로 분할될 수 있다. 이때, 분할된 작은 CU들에 인덱스(0, 1, 2, 3)을 부여하여 구분할 수도 있다.
분할이 되면, 깊이는 증가한다. 도 3의 예는 최대 깊이가 4로 설정된 경우로서, 도시된 바와 같이, 최대 깊이인 4까지 분할되면, 더 이상 분할되지 않는다.
도 3의 우측 그림은 LCU가 2Nx2N 화소 (N=64)이고, 최대 깊이가 4인 경우에, CU가 분할되는 것을 깊이에 따라서 개략적으로 설명하는 도면이다. 여기서는 설명의 편의를 위해 LCU가 128x128인 경우를 예로서 설명하였으나, 본 발명은 이에 한정되지 않으며, LCU는 다른 크기로 정의될 수 있다.
도 4는 LCU 내에서 CU가 분할되는 과정을 좀더 구체적으로 설명하는 도면이다.
도 4에서는, LCU(400)의 크기가 64x64 화소이고, 최대 깊이가 3인 경우를 예로서 설명한다. 64x64 화소 단위로 부호화를 수행하지 않는 경우에는, 64x64 화소 CU의 분할 정보(Split flag) 값으로서 분할된다는 것을 지시하는 ‘1’이 저장된다. 따라서, 64x64 화소 CU는 가로 세로 절반씩 작은 32x32 화소의 4개 CU로 분할된다.
64x64 화소 CU에서 분할된 32x32 화소 CU(410, 420, 430)가 더 이상 분할되지 않는 경우에는, 분할 정보값으로서 분할되지 않는다는 것을 지시하는 ‘0’이 저장된다. 이때, CU(410, 420, 430)는 32x32 화소 단위로 인트라 혹은 인터 모드로 부호화를 수행될 수 있다.
32x32 화소 CU(440)가 더 작은 16x16 화소 CU 4개로 분할되는 경우에는, CU(440)에 대한 분할 정보 값으로서 ‘1’이 저장되고, 16x16 화소 CU 4개로 부호화가 수행된다. 미리 설정된 최대 깊이가 3이더라도 16x16 화소 CU가 가장 작은 CU로 설정되어 있다면(깊이 2), 더 이상 분할될 수 없으므로 분할 정보를 포함하지 않을 수 있다. 16x16 화소 CU가 가장 작은 CU로 설정되어 있지 않다면, 16x16 화소가 더 이상 분할되지 않을 때 분할 정보로서 ‘0’이 저장된다.
도 5는 도 4의 예와 같은 분할이 수행되는 경우에 설정되는 분할 정보를 개략적으로 설명하는 도면이다. 도 5를 참조하면, LCU 단위로 각 CU에 대한 분할 정보를 전송할 때, 우선 64x64 화소 CU의 분할 정보가 저장되고, 64x64 화소 CU가 분할되면 64x64 화소 CU의 분할 정보 다음에 4개의 32x32 화소 CU의 분할 정보가 저장된다. 따라서, 복호화기에서는, 먼저 64x64 화소 CU의 분할 정보를 확인하고, 64x64 화소 CU가 분할되면 32x32 화소 CU의 분할 정보를 확인할 수 있다.
도 4의 예에서는, CU(440)이 다시 분할된다. 도 5에서는 CU(440)에 대한 분할 정보를 깊이 2에서의 두 번째 분할 정보가 지시한다. 따라서, CU(440)의 분할 정보가 저장된 뒤에 CU(440)에서 분할된 4 개의 16x16 화소 CU에 대한 분할 정보가 저장된다. 이어서, 도 4의 LCU(400)에서 좌하단 CU(420), 우하단 CU(410)에 대한 분할 정보를 순서대로 저장한다.
도 5와 같이 실제 영상에서 CU를 분할할 경우에는 LCU 단위로 계층적인 분할이 수행된다. 예컨대, 도 4의 경우, 최대 깊이는 3이므로 깊이가 3일 경우에는 더 이상 분할하지 않는다. 따라서, 분할 정보는 깊이가 0, 1, 2인 CU에만 존재한다. LCU의 크기와 최대 깊이는 영상을 압축하는데 있어서, CU에 대한 분할 정보를 저장하는 횟수와 CU의 크기를 결정하므로 매우 중요한 정보라고 할 수 있다.
도 6은 화면 간 예측(인터 예측)을 수행할 때 적용되는 프레임 간 계층적 구조(Hierarchical Structure)를 개략적으로 나타낸 도면이다. 고효율 비디오 부호화/복호화에서는, 일정 프레임별로 프레임 내에 모든 CU가 인트라 모드인 인트라 프레임(I-Frame)을 두어, 영상을 재생할 때 임의 접근을 빠르게 하도록 할 수 있다.
도 6에서는, 9개의 프레임을 한 그룹으로 두어 계층적으로 화면 간 예측을 수행하는 경우를 예로서 설명하고 있다. 도 6의 예에서, 0번 프레임(T0)을 인트라 프레임(I0)으로 부호화하고, 8번 프레임(T8)을 0번 프레임(T0)을 통해 화면 간 예측을 수행하여 부호화를 수행한다. 이후에 4번 프레임(T4)을 부호화할 때는 시간적으로 앞 뒤에 있는 0번 프레임(T0)과 8번 프레임(T8)을 통해 화면 간 예측을 수행할 수 있다. 이와 같이, 계층적으로 0번 프레임(T0)과 4번 프레임(T4)을 통해 2번 프레임(T2)을 부호화하고, 4번 프레임(T4)과 8번 프레임(T8)을 통해 6번 프레임(T6)을 부호화한다. 마지막으로 0번 프레임(T0)과 2번 프레임(T2)을 통해 1번 프레임(T1)을 부호화하고, 2번 프레임(T2)과 4번 프레임(T4)을 통해 3번 프레임(T3)을 부호화하며, 4번 프레임(T4)과 6번 프레임(T6)을 통해 5번 프레임(T5)을 부호화하고, 마지막으로 6번 프레임(T6)과 8번 프레임(T8)을 통해 7번 프레임(T7)을 부호화한다.
이와 같이 부호화를 수행할 때, 1번 프레임부터 8번 프레임에서는 CU 단위로 인트라 혹은 인터 모드를 결정해서 부호화할 수 있다. CU가 인터 모드일 경우에는 블록 단위로 움직임 보상을 수행하는데, 각 블록은 순방향 예측(L0 예측)과 역방향 예측(L1 예측)을 통해서 움직임 보상을 수행한다. 이 때 L0 예측 혹은 L1 예측 하나만 사용해서 부호화하는 경우와 L0 예측과 L1 예측을 모두 사용하여 부호화하는 경우로 나뉠 수 있는데, 프레임 단위로 L0 예측만 사용하는 프레임을 P 프레임(Prediction Frame)이라고 하고, L0 예측과 L1 예측을 모두 사용하는 프레임을 B 프레임(Bi-Prediction Frame)이라고 한다.
한편, 고효율 비디오 부호화/복호화에서는 부호화 또는 복호화를 CU단위로 수행한다. 이때, 정보들은 대부분 CU 단위로 독립적으로 부호화된다. 비트스트림에서 CU 내에 있는 정보들의 분포를 양자화 파라미터(QP)별로 살펴보면, CU 정보들(화면 내 예측 방향 정보(IntraDir), 분할 정보(split flag), 스킵 정보(skip), 움직임 병합 정보(merge), 부호화 모드 정보(Predic), 블록 분할 정보(Part size), 움직임 예측 정보(AMVP), 움직임 차분 정보(MVD), 예측 방향 정보(Dir) 등)이 비트스트림 내에서 많은 비중을 차지하고 있다.
또한, 양자화 파라미터의 크기가 커질수록 변환 계수(Transform Coefficient)를 부호화하는 비중이 작아지므로 상대적으로 CU 내의 다른 정보들의 비중이 커지게 된다. 특히 양자화 파라미터의 값이 가장 큰 경우에는 CU 정보의 비율이 50% 정도를 차지하는 정도까지 커지게 된다. 이때, 변환 계수의 부호화에 사용되는 정보들(블록 단위 부호화 여부 정보 등)까지 고려하게 되면, 변환 계수를 제외한 비트량은 60% 이상이 되게 된다.
이러한 정보들에 대해서는 주변 상황을 고려한 문맥 기반 적응적 가변 길이 부호화(CAVLC) 혹은 문맥 기반 적응적 산술 부호화(CABAC) 방법으로 부호화를 수행하여 비트량을 줄일 수도 있다. 현재 이 정보들을 부호화할 때, 대부분은 공간적인 상관 관계에 따라 부호화가 수행되고, 그 중에서 일부는 시간적인 상관 관계를 이용하는 경우도 존재한다. 또한 공간적 혹은 시간적인 상관 관계를 고려하지 않고 부호화하는 경우도 존재한다.
공간적인 상관 관계만을 고려하여 CU 정보를 부호화하는 경우에, 부호화하는 정보에 대하여 공간적인 상관 관계보다 시간적인 상관 관계가 더 높다고 한다면, 공간적인 상관 관계보다 시간적인 상관 관계를 기반으로 부호화를 수행하여 해당 정보에 대한 부호화 효율을 더욱 높일 수 있다. 또한 공간적인 상관 관계와 시간적인 상관 관계를 모두 고려하여 부호화하게 되면 해당 정보에 대한 부호화 효율이 더욱 높아질 수 있다.
따라서 여러 가지의 CU 정보들 각각에 대하여, 효율적인 예측 부호화를 위해 해당 정보들이 공간적인 상관 관계가 높은지 혹은 시간적인 상관 관계가 높은지를 판단하여 부호화에 적용하도록 할 수 있다.
부호화 및 복호화는 CU 단위로 수행될 수 있으며, CU를 부호화하려고 할 때 동일한 프레임 내에 해당 CU와 인접한 CU의 정보를 통해 해당 CU에 대한 정보를 예측하여 부호화를 수행할 수 있다. 또한, 해당 CU가 인터 모드일 경우, 참조 프레임 내의 CU의 정보를 통해 해당 CU의 정보를 예측하여 부호화를 수행하거나 프레임 단위의 예측 구조를 통해 해당 CU에 대한 정보를 예측하여 부호화를 수행할 수 있다. 이와 같이, 주변 CU의 정보를 이용함으로써 CU 내의 정보에 대한 압축 효율을 개선시킬 수 있다.
본 발명에서는 고효율 비디오 부호화/복호화의 경우에, CU 정보를 부호화/복호화하는데 있어서, 현재 CU의 정보를 주변 CU의 정보를 이용하여 예측하고 부호화/복호화하는 방법을 제시한다. 이때, 이용하는 주변 CU는 현재 CU에 시간적으로 인접한 CU일 수도 있고, 공간적으로 인접한 CU일 수도 있다. 또한, 이용하는 주변 CU의 정보는 현재 CU 및 현재 CU의 주변 CU가 속하는 프레임 단위의 예측 구조에 관한 정보를 포함한다. 예컨대, 본 발명은 (1) 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 부호화/복호화하는 방법(시간적 상관 관계를 이용한 부호화 방법)과 (2) 같은 프레임 내에서 현재 CU에 인접한 CU의 정보를 통해 현재 CU의 정보를 예측하여 부호화/복호화하는 방법(공간적 상관 관계를 이용한 부호화 방법)과 (3) 프레임 단위의 예측 구조를 통해 현재 CU의 정보를 예측하여 부호화/복호화하는 방법(예측 구조를 이용한 부호화 방법)을 개시한다. (1) 내지 (3)의 방법은 여러 가지 CU 정보에 적합한 방법을 선택하여 적용하거나, (1) 내지 (3)의 방법들을 적응적으로 적용할 수도 있다.
이하, 도면과 함께 본 발명의 실시 형태를 구체적으로 설명한다.
<실시 형태 1>
참조 프레임에서 현재 CU에 대응되는 CU 정보를 통해 현재 CU의 정보를 예측하여 부호화하는 방법
도 7은 현재 프레임의 CU와 참조 프레임의 CU 사이 대응 관계를 개략적으로 설명하는 도면이다. 도 7을 참조하면, 현재 프레임(700)의 현재 CU(710)의 정보를 부호화할 때, 참조 프레임(720)의 CU들 중에서 현재 CU(710)에 대응되는 CU(730)의 정보를 통해 현재 부호화하려는 CU(710)의 정보를 예측하여 부호화할 수 있다. 또한, 참조 프레임(720)의 CU들 중에서 현재 CU(710)에 대응하는 CU(730)의 정보에 대한 현재 CU(710)의 정보 변화량을 부호화할 수 있다.
이와 같이, 참조 프레임에서 현재 CU에 대응하는 CU의 정보를 이용하여 현재 CU의 정보를 부호화함으로써, CU 정보의 압축 효율을 개선할 수 있다.
여기에서 참조 프레임은 현재 프레임 이전에 이미 부호화가 수행된 프레임으로서, 현재 프레임의 시간적인 부호화를 위해 사용되는 프레임을 의미한다. 여기서, CU는 LCU부터 제일 작은 단위의 CU를 포함할 수 있다. 또한, 예측하고자 하는 CU 정보는 CU 내에 있는 모든 정보를 포함할 수 있다. 예컨대, CU 정보는 CU, PU(prediction unit), 혹은 TU(transform unit) 분할 정보, 인트라 예측인지 인터 예측인지에 관한 정보, 머지 스킵인지 머지인지 MVP(Motion Vector Prediction)인지 등에 관한 인터 예측의 모드 정보, 움직임 벡터(motion vector), 참조 영상 인덱스(reference picture index), 가중치 예측(weighted prediction) 정보, 인트라 예측의 예측 모드 정보, 인트라 예측의 예측 모드 정보 중 잔여 모드(remaining mode) 정보, DCT(Discrete Cosine Transform)/DST(Discrete Sine Transform), 양자화 매개변수(quantization parameter) 등의 변환 방법에 관한 정보, 엔트로피 부호화 방법에 관한 정보 등을 포함할 수 있다.
도 8은 본 발명이 적용되는 시스템에서, 주변 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 부호화를 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다. 도 8의 예에서는, 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 부호화하는 방법을 설명하고 있다.
도 8을 참조하면, 현재 CU의 정보를 부호화할 때, 부호화기는 참조 프레임에서 현재 현재 CU에 대응되는 CU 정보를 통해 현재 CU에 대한 정보를 예측한다(S810).
부호화기는 예측된 정보와 현재 CU의 정보가 동일한지를 판단하여(S820), 예측된 정보와 현재 CU의 정보가 동일하면 예측 플래그만 부호화하여 전송한다(S830). 이때, 부호화되는 예측 플래그의 값은 예측된 정보가 현재 CU의 정보와 동일하다는 것을 지시하는 값(예컨대, ‘1’)이 된다.
예측된 정보와 현재 CU의 정보가 동일하지 않으면, 두 정보가 동일하지 않다는 것을 지시하는 예측 플래그(예컨대, 예측 플래그의 값은 ‘0’이 될 수 있다)를 부호화하여 전송한다(S840). 이처럼, 예측된 정보와 현재 CU의 정보가 동일하지 않으면, 이를 지시하는 예측 플래그와 함께, 현재 CU의 정보를 부호화하여 전송한다(S850).
현재 CU 정보가 예측된 CU 정보와 같지 않을 때, 현재 CU 정보를 부호화하여 전송하기 위해 아래와 같이 다양한 방법을 적용할 수 있다:
*(1) 현재 CU 정보와 예측된 CU 정보 간의 차이값만을 부호화할 수 있다.
(2) 현재 CU 정보와 관련된 여러 가지 경우의 수 중에서 예측된 CU 정보를 제외하여 코드워드를 다시 생성한 후 현재 CU 정보를 부호화할 수 있다. 예컨대, 현재 CU 정보로서 선택될 수 있는 후보들 중에서 예측된 CU 정보를 제외하고 나머지 후보들을 이용하여 현재 CU 정보를 부호화할 수 있다.
(3) 예측된 CU 정보를 통해 현재 CU 정보에 대한 확률을 다시 생성하여 현재 CU 정보를 부호화할 수 있다.
상술한 (1) 내지 (3)의 방법 외에도, 현재 CU의 정보가 예측된 CU 정보와 상이할 때, 현재 CU의 정보를 부호화하는 방법으로서 다양한 방법이 적용될 수 있다.
도 8에서 설명한 바와 같은 방법을 복호화 과정에도 동일한 방식으로 적용할 수 있다.
도 9는 본 발명이 적용되는 시스템에서, 주변 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 복호화를 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다. 도 9의 예에서는, 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 복호화하는 방법을 설명하고 있다.
도 9를 참조하면, 복호화기는 현재 CU의 정보를 복호화하기 위해, 예측 플래그를 복호화한다(S910). 예측 플래그는 부호화기로부터 부호화되어 비트스트림으로 전송될 수 있다.
복호화기는 예측 플래그의 값이 1인지, 즉 예측 플래그가 현재 CU의 정보가 예측된 정보와 동일하다는 것을 지시하는지를 판단한다(S920). 예측 플래그의 값이 1이면, 참조 프레임에서 현재 CU에 대응되는 CU로부터 현재 CU의 정보를 예측한다(S930). 복호화기는 참조 프레임에서 현재 CU에 대응하는 CU로부터 예측된 CU 정보를 생성하여 현재 CU 정보에 대입한다(S940). 즉, 예측된 CU 정보를 현재 CU의 정보로서 이용한다.
예측 플래그의 값이 0이면, 복호화기는 주변 CU의 정보를 이용하지 않고, 현재 CU 정보에 대한 복호화를 수행한다(S950).
예측 플래그의 값이, 현재 CU의 정보가 예측된 정보와 동일하다는 것을 지시하지 않는 경우에, 현재 CU의 정보는 아래와 같이 다양한 방법에 의해 복호화될 수 있다:
(1) 현재 CU 정보와 예측된 CU 정보 간의 차이값만을 복호화하고, 예측된 CU 정보와 차이 값을 더하여 현재 CU 정보에 대입하여, 현재 CU의 정보로서 사용하도록 할 수 있다.
(2) 현재 CU 정보와 관련된 여러 가지 경우의 수 중에서 예측된 CU정보를 제외하여 코드워드를 다시 생성한 후 현재 CU 정보를 복호화할 수 있다. 예컨대, 현재 CU 정보로서 선택될 수 있는 후보들 중에서 예측된 CU 정보를 제외하고 나머지 후보들을 중에서 현재 CU의 정보로서 이용될 정보를 선택하는 방식으로 현재 CU 정보를 복호화할 수 있다.
(3) 예측된 CU 정보를 통해 현재 CU 정보에 대한 확률을 다시 생성하여 현재 CU 정보를 복호화할 수 있다.
상술한 (1) 내지 (3)의 방법 외에도, 현재 CU의 정보를 복호화하는 방법으로서 다양한 방법이 적용될 수 있다.
도 8과 도 9에서 설명한 본 발명의 실시형태에 대한 일 실시예로서, LCU의 분할 정보를 부호화할 때 참조 프레임 내의 LCU에 대한 분할 정보를 통해 현재 LCU의 분할 정보를 예측하여 부호화를 수행하는 방법을 생각할 수 있다.
실제로, 참조 프레임의 CU와 현재 프레임의 CU를 비교하면, 양 CU의 분할 정보는 상당한 경우 매우 유사하다.
도 10은 참조 프레임에서 현재 LCU에 대응되는 LCU의 정보를 통해 현재 LCU의 정보를 예측하는 것을 설명하기 위한 도면이다. 도 10(a)는 참조 프레임에서 현재 LCU에 대응되는 LCU의 분할 정보를 나타낸다. 도 10(b)는 현재 프레임의 LCU 분할 정보를 나타낸다. 도 10(a)와 도 10(b)의 LCU는 모두 64x64 화소의 분할 분포를 예로서 나타낸 것이다. 도 10을 참조하면, 참조 프레임의 CU에 대한 분할 정보와 현재 프레임의 CU에 대한 분할 정보가 유사하다는 것을 확인할 수 있다.
도 11은 분할 정보를 전송하는 한 방법을 개략적으로 설명하는 도면이다. 도 11에서, 분할 정보의 값이 1이면, 해당 블록이 분할되는 것을 지시하고, 분할 정보의 값이 0이면 해당 블록이 분할되지 않는 것을 지시한다.
도 11의 예에서는, 도 10(a)에 도시된 LCU의 분할 정보를 나타내고 있다. 도 11을 참조하면, 참조 프레임의 분할 구조와 상관없이 현재 프레임의 CU에 대한 분할 정보가 각 CU 레벨에서 전달되는 것을 알 수 있다.
이에 대하여, 본 발명에서는 참조 프레임의 분할 구조를 이용하여 현재 프레임에 대항 분할 정보를 예측하고 부호화할 수 있다.
도 12는 본 발명이 적용되는 시스템에서, 참조 프레임에서 현재 LCU에 대응하는 LCU의 분할 정보를 이용하여 현재 LCU의 분할 정보를 예측하는 방법을 개략적으로 설명하는 도면이다. 도 12의 예에서는 도 10(b)에 도시된 LCU에 대한 분할 정보를 나타내도 있다.
깊이 ‘0’에서 분할 예측 정보는 제일 큰 CU(LCU) 단위로 현재 CU와 참조 프레임의 CU 간에 분할 정보가 같은지를 나타내는 정보로 사용될 수 있다. 분할 정보는 깊이 단위로 예측될 수 있다.
도 12의 예에서는, 깊이 0에 대하여 도 11(a)와 도 11(b)의 LCU 분할 정보가 서로 상이하므로, 깊이 ‘0’에서의 분할 예측 정보로서 ‘0’이 전송된다.
깊이를 ‘1’ 증가시켜 다시 분할 정보를 예측한다. 깊이가 ‘1’인 4개의 32x32 화소 CU 단위의 분할 분포를 참조 프레임의 CU와 비교해서, 분할 분포가 같을 경우 분할 예측 정보에 ‘1’을 전송하고 분할 분포가 같지 않을 경우에는 ‘0’을 전송한다. 좌상단의 32x32 화소 CU는 분할 분포가 같지 않은 경우가 있으므로 분할 예측 정보에 ‘0’이 전송되고, 우상단 32x32 화소 CU는 분할 분포가 같으므로 분할 예측 정보에 ‘1’이 전송된다.
분할 예측 정보가 ‘1’인 경우 참조 프레임 내의 CU의 분할 분포를 현재 CU에 적용할 수 있으며, 현재 깊이보다 큰 깊이에 대한 CU 분할 정보는 전송되지 않을 수 있다. 다음으로 좌하단 32x32 화소 CU의 분할 예측 정보로서 ‘1’이 저장되고, 좌하단에는 32x32화소 CU의 분할 예측 정보로서 ‘0’이 저장된다.
이와 같은 방법으로 분할 예측 정보가 0일 때만 깊이가 ‘1’씩 증가하여 더 작은 단위 CU로 예측을 수행하는 계층적인 방법으로 분할 정보를 부호화할 수 있다.
<실시형태 2>
같은 프레임 내에 인접한 CU 정보를 통해 현재 CU의 정보를 예측하여 부호화하는 방법
도 13은 동일한 프레임 내에서 현재 CU와 인접한 CU를 개략적으로 나타낸 것이다.
고효율 비디오 부호화에서는 현재 CU의 정보를 부호화할 때, 도 13과 같이 같은 프레임 내에서 현재 CU에 인접한 CU의 정보를 통해, 현재 CU의 정보를 예측하여 부호화하거나 혹은, 현재 CU에 인접한 CU의 정보에 대한 현재 CU의 정보 변화량을 부호화함으로써 CU 정보의 압축 효율을 개선할 수 있다.
여기에서 CU는 LCU부터 제일 작은 단위의 CU를 포함할 수 있다. 또한, 여기서 CU 정보란 CU 내에 있는 모든 정보를 포함할 수 있다. 예컨대, CU 정보는 CU, PU(prediction unit), 혹은 TU(transform unit) 분할 정보, 인트라 예측인지 인터 예측인지에 관한 정보, 머지 스킵인지 머지인지 MVP(Motion Vector Prediction)인지 등에 관한 인터 예측의 모드 정보, 움직임 벡터(motion vector), 참조 영상 인덱스(reference picture index), 가중치 예측(weighted prediction) 정보, 인트라 예측의 예측 모드 정보, 인트라 예측의 예측 모드 정보 중 잔여 모드(remaining mode) 정보, DCT(Discrete Cosine Transform)/DST(Discrete Sine Transform), 양자화 매개변수(quantization parameter) 등의 변환 방법에 관한 정보, 엔트로피 부호화 방법에 관한 정보 등을 포함할 수 있다.
아울러, CU 단위로 실시 형태 1과 실시 형태 2를 적응적으로 선택하어 CU 정보를 부호화할 수도 있으며, 두 실시형태를 모두 고려하여 CU 정보를 부호화할 수도 있다.
도 14는 본 발명에 따라서, 현재 CU의 정보를 부호화할 때 현재 CU에 인접한 CU의 정보를 통해 현재 CU의 정보를 예측하여 부호화하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 14를 참조하면, 현재 CU의 정보를 부호화할 때, 부호화기는 현재 CU에 인접한 이미 부호화된 CU의 정보를 통해 현재 CU에 대한 정보를 예측하여 예측 정보를 생성한다(S1410).
부호화기는 현재 CU의 정보와 예측된 CU 정보가 동일한지를 판단한다(S1420). 현재 CU의 정보와 예측된 CU 정보가 같다면, 부호화기는 현재 CU의 정보와 예측된 CU가 동일하다는 것을 지시하는 예측 플래그(‘1’)를 전송한다(S1430). 현재 CU의 정보와 예측된 CU 정보가 동일하지 않으면, 부호화기는 예측 플래그를 ‘0’의 값으로 부호화하여 전송하고(S1440), 이와 함께 현재 CU 정보를 부호화하여 전송한다(S1450).
여기에서 현재 CU의 정보가 예측된 CU 정보와 같지 않을 때, 현재 CU의 정보는 아래와 같이 다양한 방법으로 부호화될 수 있다:
(1) 현재 CU의 정보와 예측된 CU 정보 간의 차이값만을 부호화할 수 있다.
(2) 현재 CU의 정보와 관련된 여러 가지 경우의 수 중에서 예측된 CU 정보를 제외하여 코드워드를 다시 생성한 후 현재 CU의 정보를 부호화할 수 있다. 예컨대, 현재 CU 정보로서 선택될 수 있는 후보들 중에서 예측된 CU 정보를 제외하고 나머지 후보들을 이용하여 현재 CU 정보를 부호화할 수 있다.
(3) 예측된 CU 정보를 통해 현재 CU의 정보에 대한 확률을 다시 생성하여 현재 CU의 정보를 부호화할 수 있다.
이 외에도 현재 CU의 정보가 예측된 CU 정보와 같지 않을 때에는, 다양한 방법을 이용하여 현재 CU의 정보를 부호화할 수 있다.
도 14에서 설명한 방법은 복호화를 수행할 때도 동일하게 적용될 수 있다.
도 15는 본 발명이 적용되는 시스템에서, 주변 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 복호화를 수행하는 방법의 다른 예를 개략적으로 설명하는 순서도이다. 도 15의 예에서는, 현재 프레임에서 현재 CU에 인접하는 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 복호화하는 방법을 설명하고 있다.
도 15를 참조하면, 복호화기는 현재 CU의 정보를 복호화하기 위해, 예측 플래그를 복호화한다(S1510). 예측 플래그는 부호화기로부터 부호화되어 비트스트림으로 전송될 수 있다.
복호화기는 예측 플래그의 값이 1인지, 즉 예측 플래그가 현재 CU의 정보가 예측된 정보와 동일하다는 것을 지시하는지를 판단한다(S1520). 예측 플래그의 값이 1이면, 현재 CU에 인접하는 CU로부터 현재 CU의 정보를 예측한다(S1530). 복호화기는 현재 CU에 인접하는 CU로부터 예측된 CU 정보를 생성하여 현재 CU의 정보에 대입한다(S1540). 즉, 예측된 CU 정보를 현재 CU의 정보로서 이용한다.
예측 플래그의 값이 0이면, 복호화기는 주변 CU의 정보를 이용하지 않고, 현재 CU 정보에 대한 복호화를 수행한다(S1550).
상술한 바와 같이, 주변 CU의 정보를 이용하여 복호화할 수 있는 현재 CU에 관한 정보는 CU, PU(prediction unit), 혹은 TU(transform unit)의 분할 정보, 인트라 예측인지 인터 예측인지에 관한 정보, 머지 스킵인지 머지인지 MVP(Motion Vector Prediction)인지 등에 관한 인터 예측의 모드 정보, 움직임 벡터(motion vector), 참조 영상 인덱스(reference picture index), 가중치 예측(weighted prediction) 정보, 인트라 예측의 예측 모드 정보, 인트라 예측의 예측 모드 정보 중 잔여 모드(remaining mode) 정보, DCT(Discrete Cosine Transform)/DST(Discrete Sine Transform), 양자화 매개변수(quantization parameter) 등의 변환 방법에 관한 정보, 엔트로피 부호화 방법에 관한 정보 등을 포함할 수 있다.
예를 들어, 현재 CU가 인트라 예측 모드인 경우에, 복호화하려는 대상 정보가 현재 CU의 인트라 예측 모드에 관한 것이라면, 예측 플래그는 현재 CU가 주변 CU의 인트라 예측 모드로 부호화되었는지를 나타내는 플래그일 수 있다. 따라서, 이 경우에 상술한 S1520~ S1550의 단계를 적용해 보면, 복호화된 예측 플래그의 값이 1일 때, 현재 CU는 주변 CU의 인트라 예측 모드에 따라서 예측될 수 있고, 복호화된 예측 플래그의 값이 0일 때, 현재 CU는 주변 CU의 인트라 예측 모드가 아닌 다른 인트라 예측 모드에 따라서 예측되도록 할 수 있다.
예측 플래그의 값이, 현재 CU의 정보가 예측된 정보와 동일하다는 것을 지시하지 않는 경우에, 현재 CU의 정보는 아래와 같이 다양한 방법에 의해 복호화될 수 있다:
(1) 현재 CU 정보와 예측된 CU 정보 간의 차이값만을 복호화하고, 예측된 CU 정보와 차이값을 더하여 현재 CU 정보에 대입하여, 현재 CU의 정보로서 사용하도록 할 수 있다.
(2) 현재 CU 정보와 관련된 여러 가지 경우의 수 중에서 예측된 CU 정보를 제외하여 코드워드를 다시 생성한 후 현재 CU 정보를 복호화할 수 있다. 예컨대, 현재 CU 정보로서 선택될 수 있는 후보들 중에서 예측된 CU 정보를 제외하고 나머지 후보들을 중에서 현재 CU의 정보로서 이용될 정보를 선택하는 방식으로 현재 CU 정보를 복호화할 수 있다. 가령, 현재 CU가 인트라 예측 모드인 경우에, 복호화하려는 대상 정보가 현재 CU의 인트라 예측 모드에 관한 것이라면, 예측 플래그의 값이 0인 경우, 즉 현재 CU의 인트라 예측 모드가 주변 CU의 인트라 예측 모드와 다르다는 것이 예측 플래그로 지시된 경우, 현재 CU는 주변 CU의 인트라 예측 모드가 아닌 다른 인트라 예측 모드에 따라서 예측되도록 할 수 있다.
(3) 예측된 CU 정보를 통해 현재 CU 정보에 대한 확률을 다시 생성하여 현재 CU 정보를 복호화할 수 있다.
상술한 (1) 내지 (3)의 방법 외에도, 현재 CU의 정보를 복호화하는 방법으로서 다양한 방법이 적용될 수 있다.
도 16은 인접한 CU를 이용하여 현재 CU의 정보를 예측하고 부호화하는 것을 설명하기 위한 도면이다. 도 16은 인접한 두 64x64 LCU(1610, 1620)의 분할 분포를 도시하고 있다. 본 발명에 따르면, LCU(1610)를 부호화할 때, 인접하는 LCU(1620)의 정보를 이용할 수 있다.
LCU(1620)의 최대 CU가 16x16 화소이고, 최소 CU가 8x8 화소이므로 현재 LCU(1610)도 LCU(1620)와 유사하게 최대 CU와 최소 CU를 정의할 수 있다. 예를 들어, 현재 LCU(1610)를 부호화할 경우, 64x64 화소 단위의 CU부터 시작해서 분할 정보를 부호화하는데, LCU(1620)가 분할되지 않은 64x64 화소 단위의 CU가 아니므로 현재 CU도 분할되지 않은 64x64 화소 단위의 CU는 아닐 확률이 매우 높다. 따라서 분할 정보를 공간적으로 예측함으로써 현재 CU에 대한 분할 정보를 전송하지 않을 수 있다.
<실시 형태 3>
예측 구조를 통해 현재 CU의 정보를 예측하여 부호화하는 방법
고효율 비디오 부호화의 경우에, CU 정보를 부호화할 때, 예측 구조를 통해 현재 부호화하려는 CU의 정보를 예측하여 CU 정보를 부호화함으로써 압축 효율을 개선할 수 있다. 여기에서 CU는 LCU부터 제일 작은 단위의 CU를 포함할 수 있으며, CU 정보는 CU 내에 있는 모든 정보를 포함할 수 있다.
도 17은 본 발명에 따라서 현재 CU 정보를 부호화할 때, 예측 구조로부터 현재 CU 정보를 예측하고 부호화하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 17을 참조하면, 현재 CU의 정보를 부호화할 때, 부호화기는 예측 구조를 통해 현재 CU에 인접한 이미 부호화된 CU의 정보를 통해 현재 CU에 대한 정보를 예측하여 예측 정보를 생성한다(S1710).
부호화기는 현재 CU의 정보와 예측된 CU 정보가 동일한지를 판단한다(S1720). 현재 CU의 정보와 예측된 CU 정보가 같다면, 부호화기는 현재 CU의 정보와 예측된 CU가 동일하다는 것을 지시하는 예측 플래그(‘1’)를 전송한다(S1730). 현재 CU의 정보와 예측된 CU 정보가 동일하지 않으면, 부호화기는 예측 플래그를 ‘0’의 값으로 부호화하여 전송하고(S1740), 이와 함께 현재 CU 정보를 부호화하여 전송한다(S1750).
여기에서, 현재 CU의 정보가 예측된 CU 정보와 같지 않을 때, 현재 CU의 정보는 아래와 같이 다양한 방법으로 부호화될 수 있다:
(1) 현재 CU의 정보와 예측된 CU 정보 간의 차이값만을 부호화할 수 있다.
(2) 현재 CU의 정보와 관련된 여러 가지 경우의 수 중에서 예측된 CU 정보를 제외하여 코드워드를 다시 생성한 후 현재 CU의 정보를 부호화할 수 있다. 예컨대, 현재 CU 정보로서 선택될 수 있는 후보들 중에서 예측된 CU 정보를 제외하고 나머지 후보들을 이용하여 현재 CU 정보를 부호화할 수 있다.
(3) 예측된 CU 정보를 통해 현재 CU의 정보에 대한 확률을 다시 생성하여 현재 CU의 정보를 부호화할 수 있다.
이 외에도 현재 CU의 정보가 예측된 CU 정보와 같지 않을 때에는, 다양한 방법을 이용하여 현재 CU의 정보를 부호화할 수 있다.
도 17에서 설명한 방법은 복호화를 수행할 때도 동일하게 적용될 수 있다.
도 18는 본 발명이 적용되는 시스템에서, 예측 구조를 이용하여 현재 CU의 정보를 예측하고 복호화를 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 18을 참조하면, 복호화기는 현재 CU의 정보를 복호화하기 위해, 예측 플래그를 복호화한다(S1810). 예측 플래그는 부호화기로부터 부호화되어 비트스트림으로 전송될 수 있다.
복호화기는 예측 플래그의 값이 1인지, 즉 예측 플래그가 현재 CU의 정보가 예측된 정보와 동일하다는 것을 지시하는지를 판단한다(S1820). 예측 플래그의 값이 1이면, 예측 구조로부터 현재 CU의 정보를 예측한다(S1830). 복호화기는 예측 구조로부터 예측된 CU 정보를 생성하여 현재 CU의 정보에 대입한다(S1840). 즉, 예측된 CU 정보를 현재 CU의 정보로서 이용한다.
예측 플래그의 값이 0이면, 복호화기는 예측 구조를 이용하지 않고, 현재 CU 정보에 대한 복호화를 수행한다(S1850).
예측 플래그의 값이, 현재 CU의 정보가 예측된 정보와 동일하다는 것을 지시하지 않는 경우에, 현재 CU의 정보는 아래와 같이 다양한 방법에 의해 복호화될 수 있다:
(1) 현재 CU 정보와 예측된 CU 정보 간의 차이값만을 복호화하고, 예측된 CU 정보와 차이값을 더하여 현재 CU 정보에 대입하여, 현재 CU의 정보로서 사용하도록 할 수 있다.
(2) 현재 CU 정보와 관련된 여러 가지 경우의 수 중에서 예측된 CU정보를 제외하여 코드워드를 다시 생성한 후 현재 CU 정보를 복호화할 수 있다. 예컨대, 현재 CU 정보로서 선택될 수 있는 후보들 중에서 예측된 CU 정보를 제외하고 나머지 후보들을 중에서 현재 CU의 정보로서 이용될 정보를 선택하는 방식으로 현재 CU 정보를 복호화할 수 있다.
(3) 예측된 CU 정보를 통해 현재 CU 정보에 대한 확률을 다시 생성하여 현재 CU 정보를 복호화할 수 있다.
상술한 (1) 내지 (3)의 방법 외에도, 현재 CU의 정보를 복호화하는 방법으로서 다양한 방법이 적용될 수 있다.
도 19는 계층적인 예측 구조를 갖는 경우에 본 발명에 따라서 프레임 단위의 예측 구조를 통해 현재 CU의 정보를 예측하여 부호화하는 것을 설명하는 도면이다.
도 19를 참조하면, B 프레임인 4번 프레임(T4)을 0번 프레임(T0)과 8번 프레임(T8)을 통해 예측하여 부호화를 수행할 경우, 프레임 단위의 예측 구조를 통해 현재 부호화하는 CU의 정보를 예측할 수 있다.
현재 프레임으로부터 시간적으로 이전에 있는 프레임과 시간적으로 이후에 있는 프레임을 각각 참조하여 2개의 리스트(List)를 통해 예측할 경우, 4번 프레임(T4) 내에 있는 모든 CU들은 L0는 0번 프레임(T0), L1은 8번 프레임(T8)으로 참조 프레임을 지정하게 된다. 이는 프레임 단위로 계층적인 예측 구조를 가지기 때문인데, 리스트가 1개일 경우에는 0번 프레임(T0) 혹은 8번 프레임(T8)을 참조 프레임으로 각각 지정할 수 있지만, 리스트 2개일 경우에는 참조 프레임이 2개밖에 없기 때문에 L0는 시간적으로 이전에 위치한 프레임을, L1은 시간적으로 이후에 위치한 프레임을 참조 프레임으로 설정한다. 도 19와 같은 예측 구조의 경우, 많은 CU가 시간적으로 이전에 있는 프레임과 시간적으로 이후에 있는 프레임을 각각 참조하여 2개의 리스트를 이용해서 예측을 수행한다. 따라서 CU 정보 내에 참조 프레임을 지정하는 참조 인덱스를 저장할 때, 시간적으로 이전에 있는 프레임과 시간적으로 이후에 있는 프레임을 각각 참조하여 2개의 리스트로 예측을 수행하는 경우에는 각 리스트 별로 참조 인덱스를 보내지 않고, 시간적으로 이전에 있는 프레임과 시간적으로 이후에 있는 프레임을 각각 참조하여 2개의 리스트로 예측을 수행하는 경우라는 정보만을 보낸다. 그 외의 경우에는, 시간적으로 이전에 있는 프레임과 시간적으로 이후에 있는 프레임을 각각 참조하여 2개의 리스트로 예측을 수행하는 경우가 아니라는 정보와 함께 해당 리스트의 참조 인덱스를 보냄으로써 참조 인덱스를 부호화하는데 압축 효율을 개선시킬 수 있다.
도 20은 본 발명에 따라서, 참조 인덱스 예측 정보를 복호화하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 20을 참조하면, 복호화기는 부호화기로부터 수신한 참조 인덱스 예측 플래그를 복호화한다(S2010). 시간적으로 이전에 있는 프레임과 시간적으로 이후에 있는 프레임을 각각 참조하여 2개의 리스트로 예측하는 경우에는 복호된 참조 인덱스 예측 플래그의 값이 1을 나타내게 되며, 그외의 경우에는 복호화된 참조 인덱스 예측 플래그의 값이 0을 나타내게 된다.
복호화기는 참조 인덱스 예측 플래그의 값이 1을 나타내는지를 판단하고(S2020), 참조 인덱스 예측 플래그의 값이 1인 경우에는 예측 구조를 통해 참조 인덱스를 예측한다(S2030). 복호하기는 예측 구조를 통해 L0와 L1에 각각 시간적으로 이전에 위치한 프레임과 이후의 프레임을 참조인덱스로서 지정한다(S2040). 또한 참조 인덱스 예측 플래그가 0일 경우에, 복호화기는 기존의 방식대로 리스트에 해당하는 참조 인덱스를 복호화한다(S2050).
도 21은 본 발명에 따라서, 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 부호화하는 부호화기의 개략적인 구성을 도시한 것이다.
도 21을 참조하면, 부호화기(2100)는 CU 정보 예측부(2110), 판단부(2120), CU 정보 부호화부(2130)를 포함한다.
CU 정보 예측부(2110)는 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 입력받아서 예측된 CU 정보를 출력한다.
판단부(2120)는 현재 CU의 정보와 CU 정보 예측부(2110)에서 예측된 CU 정보를 입력받아서 현재 CU의 정보와 예측된 CU 정보가 같은지를 판단하고, 판단 결과에 따른 예측 플래그 정보를 전송한다. 만일 현재 CU의 정보와 예측된 CU 정보가 같으면, 전송되는 예측 플래그 정보는 ‘1’로 설정된다.
전송되는 예측 플래그 정보가 “1”인 경우에는, 별도로 현재 CU의 정보를 부호화하지 않고, 예측 플래그 정보를 부호화하여 비트스트림을 통해 전송한다.
현재 CU의 정보와 예측된 CU 정보가 같지 않다면, 전송할 예측 플래그 정보가 ‘0’으로 설정된다.
전송할 예측 플래그 정보가 “0”인 경우에, CU 정보 부호화부(2130)는 CU 정보 예측부(2110)에서 예측된 CU 정보를 이용하여 현재 CU의 정보를 부호화할 수 있다. CU 정보 부호화부(2130)에서 부호화된 CU 정보는 비트스트림에 포함되어 복호화기로 전송된다.
도 22는 본 발명에 따라서, 참조 프레임의 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 복호화하는 복호화기의 개략적인 구성을 도시한 것이다.
도 22를 참조하면, 복호화기(2200)는 예측 플래그 복호화부(2210), CU 정보 예측부(2220), CU 정보 복호화부(2230)를 포함한다.
비트스트림이 전송되면, 예측 플래그 복호화부(2210)는 예측 플래그 정보를 복호한다.
CU 정보 예측부(2120)는 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 예측을 수행한다.
복호화한 예측 플래그 정보의 값이 ‘1’이면, 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 예측한 값을 현재 CU의 정보로 저장한다.
복호화한 예측 플래그 정보의 값이 ‘0’이면, CU 정보 복호화부(2130)는 비트스트림 내에 전송된 부호화된 CU의 정보를 복호화하여 현재 CU의 정보로서 저장한다. 이때 CU 정보 복호화부(2130)에서는 CU 정보 예측부(2120)에서 예측된 CU 정보를 이용해서 현재 CU의 정보를 복호화할 수 있다.
도 23은 본 발명에 따라서, 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 부호화하는 부호화기의 다른 예를 도시한 것이다. 도 23에서, 부호화기는 참조 프레임에서 현재 CU에 대응되는 CU를 통해 현재 CU의 분할 정보를 예측하고 부호화한다.
도 23을 참조하면, 부호화기(2300는 CU 분할 정보 예측부(2310), 판단부(2320), CU 분할 정보 부호화부(2330)를 포함한다.
CU 분할 정보 예측부(2310)는 참조 프레임에서 현재 CU에 대응되는 CU의 분할 정보를 입력받아서 예측된 CU 분할 정보를 출력한다.
판단부(2320)는 현재 CU의 분할 정보와 CU 분할 정보 예측부(2310)에서 예측된 CU 분할 정보를 입력받아서 현재 CU의 분할 정보와 예측된 CU 분할 정보가 같은지를 판단하고, 판단 결과에 따른 분할 예측 플래그 정보를 전송한다. 만일 현재 CU의 분할 정보와 예측된 CU 분할 정보가 같으면, 전송되는 분할 예측 플래그 정보는 ‘1’로 설정된다.
전송되는 분할 예측 플래그 정보가 “1”인 경우에는, 별도로 현재 CU의 분할 정보를 부호화하지 않고, 분할 예측 플래그 정보를 부호화하여 비트스트림을 통해 전송한다.
현재 CU의 분할 정보와 예측된 CU 분할 정보가 같지 않다면, 전송할 분할 예측 플래그 정보가 ‘0’으로 설정된다.
전송할 분할 예측 플래그 정보가 “0”인 경우에, CU 분할 정보 부호화부(2330)는 CU 분할 정보 예측부(2310)에서 예측된 CU 분할 정보를 이용하여 현재 CU의 분할 정보를 부호화할 수 있다. CU 분할 정보 부호화부(2330)에서 부호화된 CU 분할 정보는 예측 플래그 정보와 함께 비트스트림에 포함되어 복호화기로 전송된다.
도 24는 본 발명에 따라서, 참조 프레임의 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 정보를 예측하여 복호화하는 복호화기의 다른 예를 도시한 것이다. 도 23에서, 복호화기는 참조 프레임에서 현재 CU에 대응되는 CU를 통해 현재 CU의 분할 정보를 예측하고 복호화한다.
도 24를 참조하면, 복호화기(2400)는 분할 예측 플래그 복호화부(2410), CU 분할 정보 예측부(2420), CU 분할 정보 복호화부(2430)를 포함한다.
비트스트림이 전송되면, 분할 예측 플래그 복호화부(2410)는 분할 예측 플래그 정보를 복호한다.
CU 분할 정보 예측부(2420)는 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 현재 CU의 분할 정보를 예측한다.
복호화한 분할 예측 플래그 정보의 값이 ‘1’이면, 참조 프레임에서 현재 CU에 대응되는 CU의 정보를 통해 예측한 값을 현재 CU의 분할 정보로 저장한다.
복호화한 분할 예측 플래그 정보의 값이 ‘0’이면, CU 분할 정보 복호화부(2430)는 비트스트림 내에 전송된 부호화된 CU의 분할 정보를 복호화하여 현재 CU의 분할 정보로서 저장한다. 이때 CU 분할 정보 복호화부(2430)에서는 CU 분할 정보 예측부(2420)에서 예측된 CU 분할 정보를 이용해서 현재 CU의 분할 정보를 복호화할 수 있다.
도 25는 본 발명에 따라서, 같은 프레임 내 인접한 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 부호화하는 부호화기의 구성을 개략적으로 나타낸 것이다.
도 25를 참조하면, 부호화기(2500)는 CU 정보 예측부(2510), 판단부(2520), CU 정보 부호화부(2530)를 포함한다.
CU 정보 예측부(2510)는 현재 CU에 인접한 CU의 정보를 입력받아서 예측된 CU 정보를 출력한다.
판단부(2520)는 현재 CU의 정보와 CU 정보 예측부(2510)에서 예측된 CU 정보를 입력받아서 현재 CU의 정보와 예측된 CU 정보가 같은지를 판단하고, 판단 결과에 따른 예측 플래그 정보를 전송한다. 만일 현재 CU의 정보와 예측된 CU 정보가 같으면, 전송되는 예측 플래그 정보는 ‘1’로 설정된다.
전송되는 예측 플래그 정보가 “1”인 경우에는, 별도로 현재 CU의 정보를 부호화하지 않고, 예측 플래그 정보를 부호화하여 비트스트림을 통해 전송한다.
현재 CU의 정보와 예측된 CU 정보가 같지 않다면, 전송할 예측 플래그 정보가 ‘0’으로 설정된다.
전송할 예측 플래그 정보가 “0”인 경우에, CU 정보 부호화부(2530)는 CU 정보 예측부(2510)에서 예측된 CU 정보를 이용하여 현재 CU의 정보를 부호화할 수 있다. CU 정보 부호화부(2530)에서 부호화된 CU 정보는 예측 플래그 정보와 함께 비트스트림에 포함되어 복호화기로 전송된다.
도 26은 본 발명에 따라서, 같은 프레임 내 인접한 CU의 정보를 이용하여 현재 CU의 정보를 예측하고 복호화하는 복호화기의 구성을 개략적으로 도시한 것이다.
도 26을 참조하면, 복호화기(2600)는 예측 플래그 복호화부(2610), CU 정보 예측부(2620), CU 정보 복호화부(2630)를 포함한다.
비트스트림이 전송되면, 예측 플래그 복호화부(2610)는 예측 플래그 정보를 복호한다.
CU 정보 예측부(2620)는 현재 CU에 인접하는 CU의 정보를 통해 현재 CU의 정보를 예측한다.
복호화한 예측 플래그 정보의 값이 ‘1’이면, 현재 CU에 인접되는 CU의 정보를 통해 예측한 값을 현재 CU의 정보로 저장한다.
복호화한 예측 플래그 정보의 값이 ‘0’이면, CU 정보 복호화부(2630)는 비트스트림 내에 전송된 부호화된 CU의 정보를 복호화하여 현재 CU의 정보로서 저장한다. 이때 CU 정보 복호화부(2630)에서는 CU 정보 예측부(2620)에서 예측된 CU 정보를 이용해서 현재 CU의 정보를 복호화할 수 있다.
도 27은 본 발명에 따라서, 예측 구조를 통해 현재 CU의 정보를 예측하고 부호화하는 부호화기의 구성을 개략적으로 나타낸 것이다.
도 27을 참조하면, 부호화기(2700)는 CU 정보 예측부(2710), 판단부(2720), CU 정보 부호화부(2730)를 포함한다.
CU 정보 예측부(2710)는 예측 구조를 입력 받아 예측된 CU 정보를 출력한다. 입력되는 예측 구조는 도 6 및 도 19에서 설명한 바와 같다.
판단부(2720)는 현재 CU의 정보와 CU 정보 예측부(2710)에서 예측된 CU 정보를 입력받아서 현재 CU의 정보와 예측된 CU 정보가 같은지를 판단하고, 판단 결과에 따른 예측 플래그 정보를 전송한다. 만일 현재 CU의 정보와 예측된 CU 정보가 같으면, 전송되는 예측 플래그 정보는 ‘1’로 설정된다.
전송되는 예측 플래그 정보가 “1”인 경우에는, 별도로 현재 CU의 정보를 부호화하지 않고, 예측 플래그 정보를 부호화하여 비트스트림을 통해 전송한다.
현재 CU의 정보와 예측된 CU 정보가 같지 않다면, 전송할 예측 플래그 정보가 ‘0’으로 설정된다.
전송할 예측 플래그 정보가 “0”인 경우에, CU 정보 부호화부(2730)는 CU 정보 예측부(2710)에서 예측된 CU 정보를 이용하여 현재 CU의 정보를 부호화할 수 있다. CU 정보 부호화부(2730)에서 부호화된 CU 정보는 예측 플래그 정보와 함께 비트스트림에 포함되어 복호화기로 전송된다.
도 28은 본 발명에 따라서, 예측 구조를 통해 현재 CU의 정보를 예측하고 복호화하는 복호화기의 구성을 개략적으로 도시한 것이다.
도 28을 참조하면, 복호화기(2800)는 예측 플래그 복호화부(2810), CU 정보 예측부(2820), CU 정보 복호화부(2830)를 포함한다.
비트스트림이 전송되면, 예측 플래그 복호화부(2810)는 예측 플래그 정보를 복호한다.
CU 정보 예측부(2820)는 예측 구조를 통해 현재 CU의 정보를 예측한다. 여기서, 예측에 이용되는 예측 구조는 도 6 및 도 19에서 설명한 바와 같다.
복호화한 예측 플래그 정보의 값이 ‘1’이면, 예측 구조를 통해 예측한 CU 정보를 현재 CU의 정보로 저장한다.
복호화한 예측 플래그 정보의 값이 ‘0’이면, CU 정보 복호화부(2830)는 비트스트림 내에 전송된 부호화된 CU의 정보를 복호화하여 현재 CU의 정보로서 저장한다. 이때 CU 정보 복호화부(2830)에서는 CU 정보 예측부(2820)에서 예측된 CU 정보를 이용해서 현재 CU의 정보를 복호화할 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (3)

  1. 현재 블록의 정보를 예측하여 예측 정보를 생성하는 단계; 및
    상기 현재 블록의 정보와 상기 예측 정보가 동일한지를 판단하는 단계를 포함하며,
    상기 현재 블록의 정보와 상기 예측 정보가 동일한 경우에는,
    상기 현재 블록의 정보와 상기 예측 정보가 동일하다는 것을 지시하는 플래그를 부호화하여 전송하고,
    상기 현재 블록의 정보와 상기 예측 정보가 동일하지 않은 경우에는,
    상기 현재 블록의 정보와 상기 예측 정보가 동일하지 않다는 것을 지시하는 플래그 및 상기 현재 블록의 정보와 상기 예측 정보의 차이를 부호화하여 전송하고,
    상기 예측 정보는, 상기 현재 블록의 이웃 블록에 관한 정보를 이용하여 생성되고,
    상기 이웃 블록에 관한 정보는,
    상기 현재 블록이 속하는 프레임에서, 상기 현재 블록에 인접하는 블록의 정보인 것을 특징으로 하는 영상 정보 부호화 방법.
  2. 현재 블록의 정보와 상기 현재 블록의 이웃 블록에 관한 정보로부터 예측한 예측 정보가 동일한지를 지시하는 예측 플래그를 복호화하는 단계; 및
    상기 복호화된 예측 플래그의 값에 기초하여, 상기 현재 블록의 상기 정보를 획득하는 단계를 포함하되,
    상기 복호화된 예측 플래그가 상기 현재 블록의 정보가 상기 이웃 블록으로부터 예측한 예측 정보와 동일함을 지시하는 경우, 상기 이웃 블록으로부터 예측한 예측 정보를 상기 현재 블록의 정보로 이용하고,
    상기 복호화된 예측 플래그가 상기 현재 블록의 정보가 상기 이웃 블록으로부터 예측한 예측 정보와 동일하지 않음을 지시하는 경우, 상기 예측 정보에 차분값을 가산하여 상기 현재 블록의 정보를 획득하고,
    상기 이웃 블록에 관한 정보는,
    상기 현재 블록이 속하는 프레임에서, 상기 현재 블록에 인접하는 블록의 정보인 것을 특징으로 하는 영상 정보 복호화 방법.
  3. 현재 블록의 정보를 예측하여 예측 정보를 생성하는 단계; 및
    상기 현재 블록의 정보와 상기 예측 정보가 동일한지를 판단하는 단계를 포함하며,
    상기 현재 블록의 정보와 상기 예측 정보가 동일한 경우에는,
    상기 현재 블록의 정보와 상기 예측 정보가 동일하다는 것을 지시하는 플래그를 부호화하여 전송하고,
    상기 현재 블록의 정보와 상기 예측 정보가 동일하지 않은 경우에는,
    상기 현재 블록의 정보와 상기 예측 정보가 동일하지 않다는 것을 지시하는 플래그 및 상기 현재 블록의 정보와 상기 예측 정보의 차이를 부호화하여 전송하고,
    상기 예측 정보는, 상기 현재 블록의 이웃 블록에 관한 정보를 이용하여 생성되고,
    상기 이웃 블록에 관한 정보는,
    상기 현재 블록이 속하는 프레임에서, 상기 현재 블록에 인접하는 블록의 정보인 것을 특징으로 하는 영상 정보 부호화 방법에 의하여 생성된 비트스트림을 저장하는 컴퓨터 판독 가능한 기록 매체.
KR1020180018486A 2010-12-31 2018-02-14 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치 KR101920352B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100140721 2010-12-31
KR1020100140721 2010-12-31

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020110147083A Division KR101831311B1 (ko) 2010-12-31 2011-12-30 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20180021755A true KR20180021755A (ko) 2018-03-05
KR101920352B1 KR101920352B1 (ko) 2018-11-20

Family

ID=46711929

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020110147083A KR101831311B1 (ko) 2010-12-31 2011-12-30 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020180018487A KR101920353B1 (ko) 2010-12-31 2018-02-14 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020180018489A KR101920354B1 (ko) 2010-12-31 2018-02-14 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020180018488A KR101969051B1 (ko) 2010-12-31 2018-02-14 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020180018486A KR101920352B1 (ko) 2010-12-31 2018-02-14 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020110147083A KR101831311B1 (ko) 2010-12-31 2011-12-30 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020180018487A KR101920353B1 (ko) 2010-12-31 2018-02-14 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020180018489A KR101920354B1 (ko) 2010-12-31 2018-02-14 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR1020180018488A KR101969051B1 (ko) 2010-12-31 2018-02-14 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치

Country Status (4)

Country Link
US (8) US9955155B2 (ko)
EP (2) EP2661080A4 (ko)
KR (5) KR101831311B1 (ko)
WO (1) WO2012091519A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101831311B1 (ko) 2010-12-31 2018-02-23 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
CN107257480B (zh) * 2011-08-29 2020-05-29 苗太平洋控股有限公司 以amvp模式对图像编码的方法
US11039138B1 (en) * 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
JP6341426B2 (ja) * 2012-09-10 2018-06-13 サン パテント トラスト 画像復号化方法および画像復号化装置
KR102352871B1 (ko) 2012-09-28 2022-01-18 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
KR102126855B1 (ko) * 2013-02-15 2020-06-26 한국전자통신연구원 부호화 모드 결정 방법 및 장치
US20140328406A1 (en) 2013-05-01 2014-11-06 Raymond John Westwater Method and Apparatus to Perform Optimal Visually-Weighed Quantization of Time-Varying Visual Sequences in Transform Space
US20150015782A1 (en) * 2013-07-12 2015-01-15 Vixs Systems, Inc. Video processing device for reformatting an audio/video signal and methods for use therewith
KR101809968B1 (ko) * 2014-02-18 2017-12-18 엘지전자 주식회사 파노라마 서비스를 위한 방송 신호 송수신 방법 및 장치
US10721467B2 (en) * 2015-05-05 2020-07-21 Lg Electronics Inc. Method and device for processing coding unit in image coding system
US9942548B2 (en) * 2016-02-16 2018-04-10 Google Llc Entropy coding transform partitioning information
KR102546142B1 (ko) * 2016-03-18 2023-06-21 로즈데일 다이나믹스 엘엘씨 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
CN116708785A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
KR20180040827A (ko) 2016-10-13 2018-04-23 디지털인사이트 주식회사 부호화 유닛의 그룹을 사용하는 비디오 코딩 방법 및 장치
US10944974B2 (en) 2017-01-11 2021-03-09 Raytheon Company Method for encoding and processing raw UHD video via an existing HD video architecture
US11190724B2 (en) 2017-03-10 2021-11-30 Raytheon Company Adaptive bitrate streaming of UHD image data
KR102438181B1 (ko) 2017-06-09 2022-08-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11317090B2 (en) * 2019-08-12 2022-04-26 Tencent America LLC Method and apparatus for video coding

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1827029A1 (en) * 2002-01-18 2007-08-29 Kabushiki Kaisha Toshiba Video decoding method and apparatus
CN100553338C (zh) * 2002-07-15 2009-10-21 株式会社日立制作所 动态图像编码方法
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
KR100529311B1 (ko) * 2003-01-21 2005-11-17 삼성전자주식회사 신경 회로망을 이용하여 가변 길이 부호화 비트 스트림의길이를 선택하는 장치 및 방법
KR100510136B1 (ko) * 2003-04-28 2005-08-26 삼성전자주식회사 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
KR100727972B1 (ko) 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
WO2008007913A1 (en) * 2006-07-12 2008-01-17 Lg Electronics, Inc. A method and apparatus for processing a signal
JP5151984B2 (ja) * 2006-09-29 2013-02-27 富士通株式会社 動画像符号化装置
KR101365567B1 (ko) 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8494046B2 (en) * 2007-03-23 2013-07-23 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal by performing illumination compensation
KR101366241B1 (ko) 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
JPWO2008136178A1 (ja) * 2007-04-26 2010-07-29 パナソニック株式会社 動き検出装置、動き検出方法、及び動き検出プログラム
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
TWI338869B (en) * 2007-08-03 2011-03-11 Via Tech Inc Method and apparatus for block-based digital encoded picture
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8908763B2 (en) * 2008-06-25 2014-12-09 Qualcomm Incorporated Fragmented reference in temporal compression for video coding
KR101306834B1 (ko) * 2008-09-22 2013-09-10 에스케이텔레콤 주식회사 인트라 예측 모드의 예측 가능성을 이용한 영상 부호화/복호화 장치 및 방법
CN101742278B (zh) * 2008-11-12 2012-11-07 富士通半导体股份有限公司 获取图像的运动矢量和边界强度的方法和系统
KR101456498B1 (ko) * 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101452860B1 (ko) * 2009-08-17 2014-10-23 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8837592B2 (en) * 2010-04-14 2014-09-16 Mediatek Inc. Method for performing local motion vector derivation during video coding of a coding unit, and associated apparatus
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
KR101831311B1 (ko) 2010-12-31 2018-02-23 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
RU2714371C2 (ru) * 2011-07-11 2020-02-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений

Also Published As

Publication number Publication date
KR101920354B1 (ko) 2019-02-08
US11889052B2 (en) 2024-01-30
US20180176555A1 (en) 2018-06-21
US20180176554A1 (en) 2018-06-21
US11025901B2 (en) 2021-06-01
US20130287104A1 (en) 2013-10-31
KR101920353B1 (ko) 2018-11-20
US9955155B2 (en) 2018-04-24
KR101969051B1 (ko) 2019-04-15
EP2661080A1 (en) 2013-11-06
US11082686B2 (en) 2021-08-03
US11064191B2 (en) 2021-07-13
WO2012091519A1 (ko) 2012-07-05
US11102471B2 (en) 2021-08-24
KR101831311B1 (ko) 2018-02-23
KR101920352B1 (ko) 2018-11-20
KR20180021038A (ko) 2018-02-28
KR20120078647A (ko) 2012-07-10
US20140037004A1 (en) 2014-02-06
EP4033760A1 (en) 2022-07-27
US20210306622A1 (en) 2021-09-30
EP2661080A4 (en) 2016-06-29
KR20180023923A (ko) 2018-03-07
US11388393B2 (en) 2022-07-12
US20220159237A1 (en) 2022-05-19
US20180176553A1 (en) 2018-06-21
KR20180021756A (ko) 2018-03-05
US20240107002A1 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
KR101920353B1 (ko) 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
KR101962183B1 (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
JP7387841B2 (ja) 映像復号化方法
KR101595419B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20120131038A (ko) 시공간적 상관도를 이용한 부호화 정보 예측 방법 및 장치
KR20150116338A (ko) 움직임 예측 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant