KR101979284B1 - 인터 예측 모드 스케일러블 코딩 방법 및 장치 - Google Patents

인터 예측 모드 스케일러블 코딩 방법 및 장치 Download PDF

Info

Publication number
KR101979284B1
KR101979284B1 KR1020110131156A KR20110131156A KR101979284B1 KR 101979284 B1 KR101979284 B1 KR 101979284B1 KR 1020110131156 A KR1020110131156 A KR 1020110131156A KR 20110131156 A KR20110131156 A KR 20110131156A KR 101979284 B1 KR101979284 B1 KR 101979284B1
Authority
KR
South Korea
Prior art keywords
motion information
motion
block
mode
prediction
Prior art date
Application number
KR1020110131156A
Other languages
English (en)
Other versions
KR20130045784A (ko
Inventor
심동규
남정학
조현호
최효민
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to US13/659,006 priority Critical patent/US20130107962A1/en
Publication of KR20130045784A publication Critical patent/KR20130045784A/ko
Priority to US15/066,477 priority patent/US9743096B2/en
Priority to US15/643,021 priority patent/US10021406B2/en
Priority to US16/003,376 priority patent/US10334258B2/en
Application granted granted Critical
Publication of KR101979284B1 publication Critical patent/KR101979284B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients

Abstract

본 발명은 인터 예측 모드를 이용한 스케일러블 비디오 코딩 방법 및 장치에 관한 것이다. 복호화 방법은 향상 계층(enhancement layer)의 복호화 대상 블록에 대한 움직임 정보 예측 모드를 판단하는 단계; 움직임 정보 예측 모드가 제1 모드인 경우 향상 계층의 주변 블록에 대한 움직임 정보를 사용하여 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하는 단계; 및 제2 모드인 경우 참조 계층(reference layer)의 대응되는 블록에 대한 움직임 정보를 사용하여 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하는 단계를 포함한다.

Description

인터 예측 모드 스케일러블 코딩 방법 및 장치 {METHOD AND APPARATUS FOR SCALABLE VIDEO CODING USING INTER PREDICTION MODE}
본 발명은 영상 처리 기술에 관한 것으로써, 보다 상세하게는 영상을 부호화/복호화하는 스케일러블 비디오 코딩 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도(1280x1024 혹은 1920x1080)를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 동영상 표준화 단체들은 보다 높은 해상도, 고화질의 영상에 대한 압축기술의 필요성을 인식하게 되었다. 또한 현재 HDTV, 휴대전화 등에 사용되는 동영상 압축 부호화 표준인 H.264/AVC(Advanced Video Coding)보다 높은 압축 효율을 통해, 기존 부호화 방식과 동일한 화질을 제공하면서도 주파수 대역이나 저장 측면에서 많은 이득을 제공할 수 있는 새로운 표준이 요구되고 있다. 현재 MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)은 공동으로 차세대 비디오 코덱인 HEVC(High Efficiency Video Coding)에 대한 표준화 작업을 진행하고 있다. HEVC의 개략적인 목표는 UHD 영상까지 포함한 영상을 H.264/AVC 대비 2배의 압축효율로 부호화하는 것이다. HEVC는 HD, UHD 영상뿐만 아니라 3D 방송 및 이동통신망에서도 현재보다 낮은 주파수로 고화질의 영상을 제공할 수 있다.
HEVC에서는 공간적 또는 시간적으로 영상에 대한 예측(prediction)이 수행되어 예측 영상이 생성될 수 있으며 원본 영상과 예측 영상과의 차이가 부호화될 수 있다. 이러한 예측 부호화에 의해 영상 부호화의 효율이 높아질 수 있다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 코딩 방법 및 장치를 제공하는 것을 목적으로 한다.
상기 과제를 해결하기 위한 본 발명의 일실시예에 따른 스케일러블 비디오 복호화 방법은, 향상 계층(enhancement layer)의 복호화 대상 블록에 대한 움직임 정보 예측 모드를 판단하는 단계; 상기 판단된 움직임 정보 예측 모드가 제1 모드인 경우, 상기 향상 계층의 주변 블록에 대한 움직임 정보를 사용하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하는 단계; 및 상기 판단된 움직임 정보 예측 모드가 제2 모드인 경우, 참조 계층(reference layer)의 대응되는 블록에 대한 움직임 정보를 사용하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하는 단계를 포함한다.
본 발명의 일실시예에 따른 스케일러블 비디오 복호화 장치는, 주변 블록에 대한 움직임 정보를 사용하여 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하는 제1 움직임 예측부; 및 참조 계층의 대응되는 블록에 대한 움직임 정보를 사용하여 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하는 제2 움직임 예측부를 포함하고, 부호화 장치에서 시그널링된 움직임 정보 예측 모드에 따라, 상기 제1, 2 움직임 예측부 중 어느 하나가 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하기 위해 사용된다.
본 발명의 실시예에 따르면, 복수 계층 기반의 스케일러블 비디오 코딩에서 향상 계층의 움직임 정보를 예측하기 위해 주변 블록들의 움직임 정보와 기초 계층의 대응 블록에 대한 움직임 정보 중에서 선택적으로 사용함으로써, 부호화 및 복호화에 필요한 비트 수를 감소시켜 코딩 효율을 높일 수 있으며, 그에 따라 동일 비트율에서 보다 향상된 화질을 제공할 수 있다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에서 사용되는 영상 및 블록의 개념을 나타내는 개념도이다.
도 4는 복수 계층 기반의 스케일러블 비디오 코딩 구조에 대한 일실시예를 개략적으로 나타내는 개념도이다.
도 5는 도 2에 도시된 움직임 보상부의 구성에 대한 일실시예를 나타내는 블록도이다.
도 6은 도 5에 도시된 제2 움직임 예측부의 구성에 대한 일실시예를 나타내는 블록도이다.
도 7은 본 발명의 제1 실시예에 따른 스케일러블 비디오 코딩 방법을 나타내는 흐름도이다.
도 8은 계층 간 움직임 예측 방법에 대한 일실시예를 설명하기 위한 도면이다.
도 9는 본 발명의 제2 실시예에 따른 스케일러블 비디오 코딩 방법을 나타내는 흐름도이다.
도 10은 본 발명의 제3 실시예에 따른 스케일러블 비디오 코딩 방법을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 본 발명이 적용되는 영상 부호화 장치의 일실시예에 따른 구성을 나타내는 블록도이다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력한다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화한다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구한다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성한다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력한다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력한다. 엔트로피 부호화부(150)는 입력된 양자화된 계수를 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력한다.
HEVC는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 화소값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있으며, 고효율이 적용되는 경우에만 수행될 수도 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장된다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일실시예에 따른 구성을 나타내는 블록도이다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력한다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환된다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성한다.
엔트로피 복호화부(210)는 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여 양자화된 계수(quantized coefficient)를 출력한다. 양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 잔여 블록(residual block)이 생성된다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성한다.
인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성한다.
잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.
부호화/복호화 장치의 예측 성능을 향상시키기 위한 방법에는 보간(interpolation) 영상의 정확도를 높이는 방법과 차신호를 예측하는 방법이 있다. 여기서 차신호란 원본 영상과 예측 영상과의 차이를 나타내는 신호이다. 본 발명에서 "차신호"는 문맥에 따라 "차분 신호", "잔여 블록" 또는 "차분 블록"으로 대체되어 사용될 수 있으며, 해당 기술분야에서 통상의 지식을 가진 자는 발명의 사상, 본질에 영향을 주지 않는 범위 내에서 이를 구분할 수 있을 것이다.
보간 영상의 정확도가 높아져도 차신호는 발생할 수 밖에 없다. 따라서 차신호 예측의 성능을 향상시켜 부호화될 차신호를 최대한 줄임으로써 부호화 성능을 향상시킬 필요가 있다.
차신호 예측 방법으로는 고정된 필터 계수를 이용한 필터링 방법이 사용될 수 있다. 그러나, 이러한 필터링 방법은 영상 특성에 따라 적응적으로 필터 계수가 사용될 수 없으므로, 예측 성능에 한계가 있다. 따라서 예측 블록마다 그 특성에 맞게 필터링이 수행되도록 함으로써 예측의 정확도를 향상시킬 필요가 있다.
도 3은 본 발명의 실시예에서 사용되는 영상 및 블록의 개념을 나타내는 개념도이다.
도 3을 참조하면, 부호화 대상 블록은 현재 부호화 대상 영상 내의 공간적으로 연결된 화소들의 집합이다. 부호화 대상 블록은 부호화 및 복호화가 이루어지는 단위이며, 사각형 또는 임의의 모양일 수 있다. 주변 복원 블록은 현재 부호화 대상 영상 내에서 현재 부호화 대상 블록이 부호화되기 이전에 부호화 및 복호화가 완료된 블록이다.
예측 영상은 현재 부호화 대상 영상 내에서, 영상의 첫 번째 부호화 대상 블록에서부터 현재 부호화 대상 블록까지, 각 블록의 부호화에 사용되는 예측 블록을 모아놓은 영상이다. 여기서 예측 블록이란, 현재 부호화 대상 영상 내에서 각 부호화 대상 블록들의 부호화에 사용되는 예측 신호를 가지는 블록을 말한다. 즉, 예측 블록은 예측 영상 내에 있는 각각의 블록을 말한다.
주변 블록은 현재 부호화 대상 블록의 주변 복원 블록 및 각 주변 복원 블록의 예측 블록인 주변 예측 블록을 의미한다. 즉, 주변 블록은 주변 복원 블록과 주변 예측 블록을 함께 지칭한다.
현재 부호화 대상 블록의 예측 블록은 도 1의 실시예에 따라 움직임 보상부(112) 또는 인트라 예측부(120)에서 생성된 예측 블록일 수 있다. 이 경우, 움직임 보상부(112) 또는 인트라 예측부(120)에서 생성된 예측 블록에 대한 예측 블록 필터링 과정이 수행된 후, 감산기(125)는 필터링된 최종 예측 블록과 원 블록의 차분을 수행할 수 있다.
주변 블록은 도 1의 실시예에서의 참조 영상 버퍼(190) 또는 별도의 메모리에 저장된 블록일 수 있다. 또한 영상 부호화 과정에서 생성된 주변 복원 블록 또는 주변 예측 블록이 그대로 주변 블록으로 사용될 수도 있다.
도 4는 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일실시예를 개략적으로 나타내는 개념도이다. 도 4에서 GOP(Group of Picture)는 픽쳐군 즉, 픽쳐의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러블 비디오 코딩 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 부호화 방법을 이용하여 영상 데이터를 압축하여 처리하는 기초 계층을 포함할 수 있고, 기초 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.
여기서, 계층(layer)은 공간(예를 들어, 영상 크기), 시간(예를 들어, 부호화 순서, 영상 출력 순서), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.
도 4를 참조하면, 예를 들어 기초 계층(base layer)은 QCIF(Quarter Common Intermediate Format), 15Hz의 프레임율, 3Mbps 비트율로 정의될 수 있고, 제1 향상 계층(enhanced layer)은 CIF(Common Intermediate Format), 30Hz의 프레임율, 0.7Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 SD(Standard Definition), 60Hz의 프레임율, 0.19Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.
이 때, 만일 CIF 0.5Mbps 비트스트림(bit stream)이 필요하다면, 제1 향상 계층에서 비트율이 0.5Mbp가 되도록 비트스트림이 잘려서 전송될 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.
이하, 대상 계층, 대상 영상, 대상 슬라이스, 대상 유닛, 대상 블록, 대상 심볼, 대상 빈은 각각 현재 부호화 또는 복호화되는 계층, 영상, 슬라이스, 유닛, 블록, 심볼 및 빈을 의미한다. 따라서 예를 들어, 대상 계층은 대상 심볼이 속한 계층일 수 있다. 또한 다른 계층은 대상 계층을 제외한 계층으로서, 대상 계층에서 이용 가능한 계층을 의미한다. 즉, 다른 계층은 대상 계층에서의 복호화 수행에 이용될 수 있다. 대상 계층에서 이용 가능한 계층에는 예를 들어, 시간적, 공간적, 화질적 하위 계층이 있을 수 있다.
또한 이하, 대응 계층, 대응 영상, 대응 슬라이스, 대응 유닛, 대응 블록, 대응 심볼, 대응 빈은 각각 대상 계층, 대상 영상, 대상 슬라이스, 대상 유닛, 대상 블록, 대상 심볼, 대상 빈에 대응되는 계층, 영상, 슬라이스, 유닛, 블록, 심볼 및 빈을 의미한다. 대응 영상이란, 대상 영상과 동일한 시간축에 존재하는 다른 계층의 영상을 의미한다. 대상 계층 내의 영상과 다른 계층 내의 영상의 디스플레이 순서(display order)가 동일하면, 대상 계층 내의 영상과 다른 계층 내의 영상은 동일한 시간축에 존재한다고 할 수 있다. 영상들이 동일한 시간축에 존재하는 지 여부는 POC (picture order count)와 같은 부호화 파라미터를 이용해서 식별될 수 있다. 대응 슬라이스는 상기 대응 영상 내에서, 대상 영상의 대상 슬라이스와 공간적으로 동일하거나 유사하게 대응되는 위치에 존재하는 슬라이스를 의미한다. 대응 유닛은 상기 대응 영상 내에서, 대상 영상의 대상 유닛과 공간적으로 동일하거나 유사하게 대응되는 위치에 존재하는 유닛을 의미한다. 대응 블록은 상기 대응 영상 내에서, 대상 영상의 대상 블록과 공간적으로 동일하거나 유사하게 대응되는 위치에 존재하는 블록을 의미한다.
또한 이하, 영상이 분할되는 단위를 나타내는 슬라이스는 타일(tile), 엔트로피 슬라이스(entropy slice) 등의 분할 단위를 통칭하는 의미로 사용된다. 각 분할된 단위 간에는 독립적인 영상 부호화 및 복호화가 가능하다.
또한 이하, 블록은 영상 부호화 및 복호화의 단위를 의미한다. 영상 부호화 및 복호화 시 부호화 혹은 복호화 단위는, 하나의 영상을 세분화된 유닛으로 분할하여 부호화 혹은 복호화 할 때 그 분할된 단위를 말하므로, 매크로 블록, 부호화 유닛 (CU: Coding Unit), 예측 유닛 (PU: Prediction Unit), 변환 유닛(TU: Transform Unit), 변환 블록(transform block) 등으로 불릴 수 있다. 하나의 블록은 크기가 더 작은 하위 블록으로 더 분할될 수 있다.
상기한 바와 같은 스케일러블 비디오 코딩의 특성을 고려하여, 계층 간 중복성을 제거하기 위해 계층 간 인트라 예측, 계층 간 인터 예측 또는 계층 간 차분 신호 예측 등이 수행될 수 있다.
상기 계층 간 인터 예측은 참조 계층(reference layer)의 대응되는 블록에 대한 움직임 정보를 향상 계층에서 사용하는 방법으로서, 이에 대한 상세한 설명은 이하에서 상세히 기술하기로 한다.
이하, 도 5 내지 도 10을 참조하여 본 발명의 일실시예에 따른 스케일러블 비디오 코딩 방법에 대해 상세히 설명하기로 한다. 한편, 이하에서는 도 4를 참조하여 설명한 바와 같은 향상 계층을 코딩하는 방법에 대해 설명한다.
도 5는 본 발명의 일실시예에 따른 복호화 장치의 구성을 간략하게 블록도로 도시한 것으로, 도 2에 도시된 움직임 보상부(250)의 구체적인 구성을 나타낸 것이다.
도 5를 참조하면, 움직임 보상부(250)는 복수의 움직임 예측 방식들을 이용하여 움직임 정보(예를 들어, 움직임 벡터)를 예측하며, 그를 위해 서로 다른 방식으로 향상 계층의 복호화 대상 블록을 예측하는 제1 움직임 예측부(251)와 제2 움직임 예측부(255)를 포함하여 구성될 수 있다.
제1 움직임 예측부(251)는, 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하기 위해, 해당 향상 계층 내의 주변 블록에 대한 움직임 정보를 사용할 수 있다.
예를 들어, 제1 움직임 예측부(251)에 포함된 움직임 병합부(252)는 주변 후보 블록의 움직임 정보를 상기 복호화 대상 블록에 대한 움직임 정보로 사용하며, 예를 들어 HEVC에서 정의된 움직임 병합(merge) 방법을 이용하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측할 수 있다.
좀 더 구체적으로, 상기 움직임 병합 방법에 있어서, 부호화 장치는 주변 블록들에 대한 움직임 정보가 조합된 움직임 병합 후보 리스트(merge candidate list) 중 어느 하나를 병합할 후보로 선택하고, 상기 선택된 움직임 병합 후보에 대한 인덱스를 시그널링 할 수 있다.
한편, 복호화 장치는 상기 부호화 장치에서 시그널링된 움직임 병합 후보 인덱스를 이용해 미리 만들어진 상기 움직임 병합 후보 리스트 중 어느 하나를 복호화 대상 블록에 대한 움직임 벡터로 선택할 수 있다.
움직임 벡터 예측부(253)는 주변 후보 블록들 각각의 움직임 정보 중 율-왜곡(rate-distortion) 관점에서 최적의 성능을 내는 후보 블록 하나를 사용하며, 예를 들어 HEVC에서 정의된 향상된 움직임 벡터 예측(AMVP, Advanced Motion Vector Prediction) 방법을 이용하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측할 수 있다.
구체적으로, 상기 향상된 움직임 벡터 예측 방법에 있어서, 부호화 장치는 주변 블록들에 대한 움직임 정보를 포함하는 움직임 예측 후보 리스트(AMVP candidate list) 중에서 율-왜곡(rate-distortion) 비용 값을 비교하여 어느 하나의 움직임 예측 후보를 선택하고, 상기 선택된 움직임 예측 후보에 대한 인덱스를 시그널링할 수 있다.
한편, 복호화 장치는 상기 부호화 장치에서 시그널링된 움직임 예측 후보 인덱스를 이용하여 미리 만들어진 상기 움직임 예측 후보 리스트 중 어느 하나를 선택하고, 상기 선택된 움직임 예측 후보에 움직임 벡터 차분값(MVD)를 합성하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터를 생성할 수 있다.
한편, 제2 움직임 예측부(255)는 참조 계층의 대응되는 블록에 대한 움직임 정보를 사용하여 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측할 수 있다.
도 6을 참조하면, 제2 움직임 예측부(255)는 스케일링부(256)와 움직임 벡터 생성부(257)를 포함할 수 있다.
스케일링부(256)는 상기 참조 계층의 대응되는 블록에 대한 움직임 정보를 계층 간 해상도 차이에 따라 적응적으로 스케일링하고, 움직임 벡터 생성부(257)는 상기 스케일링된 움직임 정보에 움직임 벡터 차분값(MVD)을 합성하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터를 생성할 수 있다.
예를 들어, 상기 참조 계층은 기초 계층(base layer)일 수 있다.
본 발명의 일실시예에 따른 복호화 장치는, 상기한 바와 같은 움직임 병합부(252), 움직임 벡터 예측부(253) 및 제2 움직임 예측부(255) 중 움직임 예측 모드에 따라 선택된 모듈은, 엔트로피부(101)로부터 전달되는 움직임 정보 또는 참조 계층으로부터 추론(derivation)된 움직임 정보를 이용하여 움직임 보상부(250)에서 사용될 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터를 구성할 수 있다.
도 7은 본 발명의 제1 실시예에 따른 스케일러블 비디오 코딩 방법을 흐름도로 도시한 것으로, 도시된 비디오 코딩 방법을 도 5 및 도 6에 도시된 본 발명의 일실시예에 따른 복호화 장치의 구성을 나타내는 블록도들과 결부시켜 설명하기로 한다.
도 7을 참조하면, 향상 계층의 현재 복호화 대상 블록에 대한 움직임 정보 예측 모드가 계층 간 움직임 예측을 수행하는 것인지 여부가 판단된다(S300 단계).
예를 들어, 상기 움직임 정보 예측 모드는 부호화 장치에서 시그널링되는 정보에 따라 판단되며, 구체적으로 상기 시그널링 정보는 계층 간 움직임 예측(Inter-layer inter coding)의 수행 여부를 나타내는 플래그(flag)를 포함할 수 있다.
또한, 상기 움직임 정보 예측 모드를 판단하는 S400 단계 및 그 이후의 일련의 단계들은 부호화 유닛(CU, Coding Unit) 단위로 수행될 수 있다.
상기 판단된 움직임 정보 예측 모드가 계층간 움직임 예측을 수행하지 않는 제1 모드인 경우, 제1 움직임 예측부(251)는 상기 향상 계층의 주변 블록에 대한 움직임 정보를 획득한 후(S310 단계), 상기 획득된 주변 블록의 움직임 정보를 사용하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측한다(S320 단계).
한편, 상기 판단된 움직임 정보 예측 모드가 계층간 움직임 예측을 수행하는 제2 모드인 경우, 제2 움직임 예측부(255)는 참조 계층의 대응되는 블록에 대한 움직임 정보를 획득한 후(S320 단계), 상기 획득된 참조 계층의 대응 블록에 대한 블록의 움직임 정보를 사용하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측한다(S320 단계).
도 8을 참조하면, 제2 움직임 예측부(255)의 스케일링부(256)는, 향상 계층의 복호화 대상 블록(B1)에 대한 움직임 정보를 예측하기 위해, 기초 계층의 대응되는 블록(B2)에 대한 움직임 벡터를 상기 향상 계층과 기초 계층 사이의 해상도 차이에 기초해 스케일링하여 상기 복호화 대상 블록(B1)에 대한 움직임 벡터를 생성할 수 있다.
예를 들어, 상기 기초 계층의 대응되는 블록(B2)은, 상기 기초 계층에 존재하는 블록들 중 상기 향상 계층의 복호화 대상 블록(B1)과 가장 잘 매치되는 블록이거나, 또는 상기 향상 계층의 복호화 대상 블록(B1)과 대응되는 위치를 가지는 블록(co-located block)일 수 있다.
또한, 현재 복호화 대상 블록이 향상 계층이 아닌 기초 계층에 포함된 블록인 경우, 제1 움직임 예측부(251)가 주변 블록에 대한 움직임 정보를 사용하여 상기 기초 계층의 복호화 대상 블록에 대한 움직임 정보를 예측할 수 있다.
한편, 비디오 코딩 시 예측 영상의 생성과 관련하여, 스킵 모드에서는 움직임 정보를 주변 블록으로부터 유도한 뒤, 유도된 움직임 정보를 사용하여 예측 영상(또는 블록)을 생성하고, 움직임 정보나 잔여 영상 정보를 부호화 또는 복호화하지 않을 수 있다.
본 발명의 실시예에 따른 비디오 코딩 방법은 상기 스킵 모드의 적용 여부에 따라 서로 상이하게 수행될 수 있다.
도 9는 본 발명의 제2 실시예에 따른 스케일러블 비디오 코딩 방법을 흐름도로 도시한 것으로, 스킵 모드가 아닌 경우 수행되는 비디오 복호화 방법에 대한 일예를 나타낸 것이다.
도 9를 참조하면, 먼저 향상 계층의 현재 복호화 대상 블록에 대해 계층 간 움직임 예측이 수행되는지 여부가 판단된다(S400 단계).
상기 계층간 움직임 예측을 수행되지 않는 경우, 움직임 병합부(252)는 부호화 장치에서 시그널링된 움직임 병합 후보 인덱스(merge candidate index)를 복호화한 후(S410 단계), 상기 복호화된 움직임 병합 후보 인덱스를 이용하여 미리 만들어진 움직임 병합 후보 리스트(merge candidate list) 중 어느 하나를 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터로 선택한다(S420 단계).
한편, 상기 계층간 움직임 예측을 수행되는 경우, 제2 움직임 예측부(255)는 참조 계층의 대응되는 블록에 대한 움직임 벡터를 추론(derivation)한 후(S430 단계), 상기 추론된 움직임 벡터를 해상도에 따라 스케일링한다(S440 단계).
예를 들어, 제2 움직임 예측부(255)에 구비된 스케일링부(256)는 상기 참조 계층의 대응되는 블록으로부터 획득된 움직임 벡터를 계층 간 해상도에 맞추어 스케일링하며, 상기 향상 계층과 참조 계층의 해상도가 동일한 경우 상기 S440 단계는 생략되고 상기 참조 계층의 대응되는 블록에 대한 움직임 벡터가 상기 향상 계층의 복호화 블록에 대한 움직임 벡터로 사용될 수 있다.
도 10은 본 발명의 제3 실시예에 따른 스케일러블 비디오 코딩 방법을 흐름도로 도시한 것으로, 스킵 모드인 경우 수행되는 비디오 복호화 방법에 대한 일예를 나타낸 것이다.
도 10을 참조하면, 먼저 향상 계층의 현재 복호화 대상 블록에 대해 계층 간 움직임 예측이 수행되는지 여부가 판단된다(S500 단계).
상기 계층간 움직임 예측을 수행되지 않는 경우, 움직임 벡터 예측부(253)는 부호화 장치에서 시그널링된 움직임 예측 후보 인덱스(prediction candidate index)를 복호화한 후(S510 단계), 상기 복호화된 움직임 예측 후보 인덱스를 이용하여 미리 만들어진 움직임 예측 후보 리스트(prediction candidate list)에서 움직임 벡터를 선택한다(S520 단계).
그 후, 움직임 벡터 예측부(253)는 부호화 장치에서 시그널링되는 움직임 벡터 차분 값(MVD, Motion Vector Difference)을 복호화한 후(S530 단계), 상기 S520 단계에서 선택된 움직임 벡터에 상기 복호화된 움직임 벡터 차분 값(MVD)을 합성하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터를 생성한다(S540 단계).
한편, 상기 계층간 움직임 예측을 수행되는 경우, 제2 움직임 예측부(255)는 참조 계층의 대응되는 블록에 대한 움직임 벡터를 추론(derivation)한 후(S430 단계), 스케일링부(256)를 통해 상기 추론된 움직임 벡터를 계층간 해상도 차이에 따라 스케일링한다(S440 단계).
그 후, 움직임 벡터 생성부(257)는 부호화 장치에서 시그널링되는 움직임 벡터 차분 값(MVD)을 복호화한 후(570 단계), 상기 S440 단계에서 스케일링된 움직임 벡터에 상기 복호화된 움직임 벡터 차분값(MVD)을 합성하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터를 생성한다(S580 단계).
상기에서는 비디오 복호화 방법 및 장치를 중심으로 본 발명의 일실시예에 따른 스케일러블 비디오 코딩 방법 및 장치에 대해 설명하였으나, 본 발명의 일실시예에 따른 스케일러블 비디오 부호화 방법은 도 5 내지 도 10을 참조하여 설명한 바와 같은 복호화 방법에 따른 일련의 단계들을 수행함에 의해 구현될 수 있다.
구체적으로, 본 발명의 실시예에 따른 스케일러블 비디오 부호화 방법 및 장치는 도 5 내지 도 10을 참조하여 설명한 바와 같은 복호화 방법 및 장치와 동일한 구성의 인터 예측을 수행하여 향상 계층의 부호화 대상 블록에 대한 움직임 정보를 예측하고, 상기 예측된 움직임 정보에 따라 예측 신호를 생성할 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (13)

  1. 복수 계층(layer) 기반의 스케일러블(scalable) 비디오 복호화 방법으로서,
    향상 계층(enhancement layer)의 복호화 대상 블록에 대한 움직임 정보 예측 모드를 판단하는 단계;
    상기 판단된 움직임 정보 예측 모드가 제1 모드인 경우, 상기 향상 계층의 주변 블록에 대한 움직임 정보를 사용하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하는 단계; 및
    상기 판단된 움직임 정보 예측 모드가 제2 모드인 경우, 참조 계층(reference layer)의 대응되는 블록에 대한 움직임 정보를 사용하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 정보를 예측하는 단계를 포함하고,
    상기 제2 모드에서 움직임 정보를 예측하는 단계는,
    계층 간 해상도 차이에 따라 상기 참조 계층의 대응되는 블록에 대한 움직임 정보를 스케일링(scaling)하는 단계를 포함하는 스케일러블 비디오 복호화 방법.
  2. 제1항에 있어서, 상기 움직임 정보 예측 모드는
    부호화 장치에서 시그널링되는 정보에 따라 판단되며, 상기 시그널링 정보는 계층 간 움직임 예측의 수행 여부를 나타내는 플래그(flag)를 포함하는 스케일러블 비디오 복호화 방법.
  3. 제1항에 있어서, 상기 움직임 정보 예측 모드를 판단하는 단계는
    부호화 유닛(CU, Coding Unit) 단위로 수행되는 스케일러블 비디오 복호화 방법.
  4. 제1항에 있어서, 상기 제1 모드에서 움직임 정보를 예측하는 단계는
    스킵(skip) 모드가 아닌 경우, 움직임 병합 후보 인덱스(merge candidate index)를 복호화하는 단계; 및 상기 복호화된 움직임 병합 후보 인덱스를 이용하여 주변 블록들에 대한 움직임 정보가 조합된 움직임 병합 후보 리스트(merge candidate list) 중 어느 하나를 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터로 선택하는 단계를 포함하는 스케일러블 비디오 복호화 방법.
  5. 제1항에 있어서, 상기 제1 모드에서 움직임 정보를 예측하는 단계는
    스킵 모드인 경우, 움직임 예측 후보 인덱스(prediction candidate index)를 복호화하는 단계; 상기 복호화된 움직임 예측 후보 인덱스를 이용하여 주변 블록들에 대한 움직임 정보를 포함하는 움직임 예측 후보 리스트(prediction candidate list) 중 어느 하나를 선택하는 단계; 및 상기 선택된 움직임 예측 후보에 움직임 벡터 차분값(MVD, Motion Vector Difference)를 합성하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터를 생성하는 단계를 포함하는 스케일러블 비디오 복호화 방법.
  6. 삭제
  7. 제1항에 있어서, 상기 제2 모드에서 움직임 정보를 예측하는 단계는
    스킵 모드인 경우, 상기 스케일링된 움직임 정보에 움직임 벡터 차분값(MVD)을 합성하여 상기 향상 계층의 복호화 대상 블록에 대한 움직임 벡터를 생성하는 단계를 더 포함하는 스케일러블 비디오 복호화 방법.
  8. 제1항에 있어서, 상기 참조 계층은
    기초 계층(base layer)인 스케일러블 비디오 복호화 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 복수 계층(layer) 기반의 스케일러블(scalable) 비디오 부호화 방법으로서,
    향상 계층(enhancement layer)의 부호화 대상 블록에 대한 움직임 정보 예측 모드를 결정하는 단계;
    상기 결정된 움직임 정보 예측 모드가 제1 모드인 경우, 상기 향상 계층의 주변 블록에 대한 움직임 정보를 사용하여 상기 향상 계층의 부호화 대상 블록에 대한 움직임 정보를 예측하는 단계; 및
    상기 결정된 움직임 정보 예측 모드가 제2 모드인 경우, 참조 계층(reference layer)의 대응되는 블록에 대한 움직임 정보를 사용하여 상기 향상 계층의 부호화 대상 블록에 대한 움직임 정보를 예측하는 단계를 포함하고,
    상기 제2 모드에서 움직임 정보를 예측하는 단계는,
    계층 간 해상도 차이에 따라 상기 참조 계층의 대응되는 블록에 대한 움직임 정보를 스케일링(scaling)하는 단계를 포함하는 스케일러블 비디오 부호화 방법.
KR1020110131156A 2011-10-26 2011-12-08 인터 예측 모드 스케일러블 코딩 방법 및 장치 KR101979284B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/659,006 US20130107962A1 (en) 2011-10-26 2012-10-24 Scalable video coding method and apparatus using inter prediction mode
US15/066,477 US9743096B2 (en) 2011-10-26 2016-03-10 Scalable video coding method and apparatus using inter prediction mode
US15/643,021 US10021406B2 (en) 2011-10-26 2017-07-06 Scalable video coding method and apparatus using inter prediction mode
US16/003,376 US10334258B2 (en) 2011-10-26 2018-06-08 Scalable video coding method and apparatus using inter prediction mode

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161551442P 2011-10-26 2011-10-26
US61/551,442 2011-10-26

Publications (2)

Publication Number Publication Date
KR20130045784A KR20130045784A (ko) 2013-05-06
KR101979284B1 true KR101979284B1 (ko) 2019-05-17

Family

ID=48657729

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020110131156A KR101979284B1 (ko) 2011-10-26 2011-12-08 인터 예측 모드 스케일러블 코딩 방법 및 장치
KR1020110131155A KR102176539B1 (ko) 2011-10-26 2011-12-08 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020200145267A KR102324462B1 (ko) 2011-10-26 2020-11-03 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020210150300A KR102435739B1 (ko) 2011-10-26 2021-11-04 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020220103812A KR102475242B1 (ko) 2011-10-26 2022-08-19 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020220166484A KR102508989B1 (ko) 2011-10-26 2022-12-02 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020230029992A KR102616143B1 (ko) 2011-10-26 2023-03-07 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020230183038A KR20240000416A (ko) 2011-10-26 2023-12-15 인트라 예측 모드 스케일러블 코딩 방법 및 장치

Family Applications After (7)

Application Number Title Priority Date Filing Date
KR1020110131155A KR102176539B1 (ko) 2011-10-26 2011-12-08 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020200145267A KR102324462B1 (ko) 2011-10-26 2020-11-03 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020210150300A KR102435739B1 (ko) 2011-10-26 2021-11-04 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020220103812A KR102475242B1 (ko) 2011-10-26 2022-08-19 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020220166484A KR102508989B1 (ko) 2011-10-26 2022-12-02 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020230029992A KR102616143B1 (ko) 2011-10-26 2023-03-07 인트라 예측 모드 스케일러블 코딩 방법 및 장치
KR1020230183038A KR20240000416A (ko) 2011-10-26 2023-12-15 인트라 예측 모드 스케일러블 코딩 방법 및 장치

Country Status (1)

Country Link
KR (8) KR101979284B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979284B1 (ko) * 2011-10-26 2019-05-17 인텔렉추얼디스커버리 주식회사 인터 예측 모드 스케일러블 코딩 방법 및 장치
WO2014163418A1 (ko) * 2013-04-04 2014-10-09 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20140121315A (ko) 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
KR102418524B1 (ko) * 2013-04-04 2022-07-07 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR102212631B1 (ko) * 2013-05-24 2021-02-05 주식회사 케이티 멀티 레이어 구조에 있어서 움직임 정보의 유도 방법 및 이를 이용하는 장치
KR102325977B1 (ko) * 2013-07-08 2021-11-15 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
KR102246545B1 (ko) * 2013-10-12 2021-04-30 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
CN105959611B (zh) * 2016-07-14 2018-09-21 同观科技（深圳）有限公司 一种自适应的从h264到hevc的帧间快速转码方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
US8374239B2 (en) * 2005-07-11 2013-02-12 Thomson Licensing Method and apparatus for macroblock adaptive inter-layer intra texture prediction
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
JP2013012846A (ja) 2011-06-28 2013-01-17 Sony Corp 画像処理装置及び画像処理方法
KR101979284B1 (ko) 2011-10-26 2019-05-17 인텔렉추얼디스커버리 주식회사 인터 예측 모드 스케일러블 코딩 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이범식외 3명, "스케일러블 비디오 부호화에서 공간 계층간 움직임 벡터 예측을 이용한 고속 모드 결정", 한국방송공학회 학술발표대회 논문집 (2007.02.): 13-17.*

Also Published As

Publication number Publication date
KR20130045783A (ko) 2013-05-06
KR20240000416A (ko) 2024-01-02
KR102324462B1 (ko) 2021-11-12
KR20210134590A (ko) 2021-11-10
KR20200128375A (ko) 2020-11-12
KR20220121231A (ko) 2022-08-31
KR102508989B1 (ko) 2023-03-10
KR102435739B1 (ko) 2022-08-24
KR20230037527A (ko) 2023-03-16
KR20220165710A (ko) 2022-12-15
KR102176539B1 (ko) 2020-11-10
KR20130045784A (ko) 2013-05-06
KR102475242B1 (ko) 2022-12-07
KR102616143B1 (ko) 2023-12-20

Similar Documents

Publication Publication Date Title
US10334258B2 (en) Scalable video coding method and apparatus using inter prediction mode
KR102324462B1 (ko) 인트라 예측 모드 스케일러블 코딩 방법 및 장치
US9762923B2 (en) Scalable video coding method and apparatus using intra prediction mode
JP2015065688A (ja) スケーラブルビデオコーディングのためのテクスチャ予想及びリサンプリングの方法及び装置
KR102209109B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20140016823A (ko) 영상의 복호화 방법 및 이를 이용하는 장치
KR20160085237A (ko) 머지를 기반으로 한 복호화 방법 및 장치
KR101850152B1 (ko) 적응적 루프 필터 적용 방법 및 그를 이용한 스케일러블 비디오 부호화 장치
KR20140077824A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20210022598A (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR102506469B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20140088015A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20210013254A (ko) 영상 부호화/복호화 방법 및 장치
KR20150008337A (ko) 영상의 복호화 방법 및 이를 이용하는 장치
KR20150007205A (ko) 영상의 복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right