WO2017047897A1 - Hdr 양자화 혹은 마스킹 방법 및 장치 - Google Patents

Hdr 양자화 혹은 마스킹 방법 및 장치 Download PDF

Info

Publication number
WO2017047897A1
WO2017047897A1 PCT/KR2016/004195 KR2016004195W WO2017047897A1 WO 2017047897 A1 WO2017047897 A1 WO 2017047897A1 KR 2016004195 W KR2016004195 W KR 2016004195W WO 2017047897 A1 WO2017047897 A1 WO 2017047897A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
weighting function
residual signal
decoding apparatus
scaling
Prior art date
Application number
PCT/KR2016/004195
Other languages
English (en)
French (fr)
Inventor
류호찬
Original Assignee
디지털인사이트주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지털인사이트주식회사 filed Critical 디지털인사이트주식회사
Priority to KR1020187010314A priority Critical patent/KR20180064411A/ko
Publication of WO2017047897A1 publication Critical patent/WO2017047897A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to an image encoding and decoding technique, and more particularly, to a method and technique for quantizing or masking an HDR image.
  • HDR high dynamic range
  • the image decoding apparatus in decoding the encoded bitstream of the HDR image received as an input value, the parameter and the prediction block transmitted as additional information
  • the residual signal is scaled using the brightness information of to efficiently decode the HDR bitstream.
  • FIG. 1 illustrates a decoding apparatus including a residual signal scaling unit according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a residual signal scaling unit according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a weighting function determined by the residual signal scaling unit according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an operation sequence of a residual signal scaling unit in a decoder device including a residual signal scaling unit according to an exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating that a de-blocking filter should be taken differently in a residual signal scaled block and a residual signal unscaled block according to an embodiment of the present invention.
  • a part when a part is connected to another part, this includes not only the case where the part is directly connected, but also the case where the part is electrically connected with another element in between.
  • a part when a part includes a certain component, this means that it may further include other components, without excluding other components unless otherwise stated.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is composed of separate hardware or one software unit. That is, each component is described by listing each component for convenience of description, and at least two of the components may be combined to form one component, or one component may be divided into a plurality of components to perform a function. The integrated and separated embodiments of each of these components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), a notebook computer, a portable multimedia player (PMP), a wireless communication terminal (Wireless Communication Terminal), a smart phone (Smart Phone) , A device included in a server terminal such as a TV application server and a service server, and a user terminal such as various devices, a communication device such as a communication modem for performing communication with a wired / wireless communication network, or between screens for decoding or decoding an image.
  • Various devices may include various programs for predicting the screen and a memory for storing data, a microprocessor for executing and controlling a program, and the like.
  • the image encoded in the bitstream by the encoder is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like, cable, universal serial bus (USB, It may be transmitted to a video decoding apparatus through various communication interfaces such as a universal serial bus), decoded, reconstructed, and played back.
  • wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like, cable, universal serial bus (USB, It may be transmitted to a video decoding apparatus through various communication interfaces such as a universal serial bus), decoded, reconstructed, and played back.
  • dynamic range is the difference between the maximum and minimum signals that can be measured simultaneously in the measurement system.
  • dynamic range can refer to the range of brightness that can represent an image.
  • Standard Dynamic Range has a contrast ratio of 1,000: 1 and a maximum brightness of 100 nits, commonly referred to as the standard contrast ratio.
  • High Dynamic Range typically means a high contrast ratio of more than 100,000: 1 and has a maximum brightness of 4,000 nits. In addition, it corresponds to the brightness range that the human eye can see without luminance adaptation.
  • EDR Enhanced Dynamic Range
  • the HDR image used in the present application means an image having a high dynamic range, and may include an image having a dynamic range of HDR and EDR in a concept contrasted with an SDR image.
  • a video may be composed of a series of pictures, and each picture may be divided into a coding unit such as a block.
  • a coding unit such as a block.
  • FIG. 1 illustrates a decoding apparatus including a residual signal scaling unit according to an embodiment of the present invention.
  • the decoding apparatus including the residual signal scaling unit includes an entropy decoding unit 110, an inverse quantization or inverse transform unit 115, 120, and 125, a residual signal scaling unit 140, an intra- or inter-screen prediction unit 135, and a loop filter.
  • the unit 150 includes a reconstructed image storage unit 155.
  • the residual signal and the additional information may be obtained through the entropy decoder 110 and the inverse quantizer or the inverse transformer.
  • both the quantifier and the inverse transformer may be performed 115, only the inverse quantizer 120 may be performed, or only the inverse transformer 125 may be performed.
  • Residual signal scaling unit 140 using the residual signal obtained through inverse quantization or inverse transformation, the parameter 130 obtained through entropy decoding, and the brightness information of the prediction block obtained through the intra prediction unit or the inter prediction unit 135. Scales the residual signal.
  • the scaled residual signal is added to the prediction block (145), stored in the reconstructed image storage unit 155 via the loop filter unit 150, and used as a reference image or output to the reconstructed image 160.
  • a part when a part is connected to another part, this includes not only the case where the part is directly connected, but also the case where the part is electrically connected with another element in between.
  • a part when a part includes a certain component, this means that it may further include other components, without excluding other components unless otherwise stated.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is composed of separate hardware or one software unit. That is, each component is described by listing each component for convenience of description, and at least two of the components may be combined to form one component, or one component may be divided into a plurality of components to perform a function. The integrated and separated embodiments of each of these components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), a notebook computer, a portable multimedia player (PMP), a wireless communication terminal (Wireless Communication Terminal), a smart phone (Smart Phone) , A device included in a server terminal such as a TV application server and a service server, and a user terminal such as various devices, a communication device such as a communication modem for performing communication with a wired / wireless communication network, or between screens for decoding or decoding an image.
  • Various devices may include various programs for predicting the screen and a memory for storing data, a microprocessor for executing and controlling a program, and the like.
  • the image encoded in the bitstream by the encoder is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like, cable, universal serial bus (USB, It may be transmitted to a video decoding apparatus through various communication interfaces such as a universal serial bus), decoded, reconstructed, and played back.
  • wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network or the like, cable, universal serial bus (USB, It may be transmitted to a video decoding apparatus through various communication interfaces such as a universal serial bus), decoded, reconstructed, and played back.
  • dynamic range is the difference between the maximum and minimum signals that can be measured simultaneously in the measurement system.
  • dynamic range can refer to the range of brightness that can represent an image.
  • Standard Dynamic Range has a contrast ratio of 1,000: 1 and a maximum brightness of 100 nits, commonly referred to as the standard contrast ratio.
  • High Dynamic Range typically means a high contrast ratio of more than 100,000: 1 and has a maximum brightness of 4,000 nits. In addition, it corresponds to the brightness range that the human eye can see without luminance adaptation.
  • EDR Enhanced Dynamic Range
  • the HDR image used in the present application means an image having a high dynamic range, and may include an image having a dynamic range of HDR and EDR in a concept contrasted with an SDR image.
  • a video may be composed of a series of pictures, and each picture may be divided into a coding unit such as a block.
  • a coding unit such as a block.
  • FIG. 2 is a diagram illustrating a residual signal scaling unit according to an exemplary embodiment of the present invention.
  • the residual signal scaling unit may be divided into a weighting function determination unit 230 and a scaling unit 250.
  • the weighting function determination unit 230 determines the weighting function using the brightness information of the prediction block 210 obtained through inverse quantization or inverse transformation and the spatial scaling parameter 220 obtained through entropy decoding, and uses the scaling factor (240). )
  • the scaling unit 250 obtains the scaled residual signal 270 by scaling the residual block 260 using the scaling factor 240 determined by the weighting function determination unit 230.
  • the spatial scaling parameter transmitted as additional information of the decoder may be transmitted in units of a block, a slice, a frame, a sequence, and the like, and the residual information is performed by performing prediction between the spatial scaling parameters. Can only transmit.
  • FIG. 3 is a diagram illustrating a weighting function determined by the residual signal scaling unit according to an embodiment of the present invention.
  • the additional information transmitted to the residual signal scaling unit to determine the weighting function may include information for determining the shape of the weighting function.
  • the output value 320 of the function by the brightness information 310 of the pixel may be differently determined according to the brightness information section of the pixel by the additional information transmitted to the decoder as shown in FIG. 3.
  • FIG. 4 is a flowchart illustrating an operation sequence of a residual signal scaling unit in a decoder device including a residual signal scaling unit according to an exemplary embodiment of the present invention.
  • an average brightness value of a prediction block obtained through intra prediction or inter prediction is determined 410.
  • the weighting function is determined using the parameter transmitted as the side information and the average brightness value of the prediction block (420).
  • the scaling degree of the residual signal is calculated 430 using the determined weighting function to perform scaling of the residual signal 440.
  • FIG. 5 is a diagram illustrating that a de-blocking filter should be taken differently in a residual signal scaled block and a residual signal unscaled block according to an embodiment of the present invention.
  • the block 510 to which residual signal scaling is applied is a quantized block in the spatial domain
  • the block 520 to which the residual signal scaling is not applied is a quantized block in the frequency domain
  • a boundary between two blocks is applied.
  • the de-blocking filter 530 taken at should be taken into account in this regard.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

잔차신호 스케일링부, 역양자화를 선택적으로 수행할 수 있는 역양자화부 및 역변환을 선택적으로 수행할 수 있는 역변환부를 포함하는 비디오 복호화 장치에서, 상기 비디오 복호화 장치는 부가정보 및 예측블록의 밝기 정보를 사용하여 가중함수를 판단하는 가중함수 판단부 및 가중함수 판단부에서 결정된 정보를 이용해 잔차블록의 값을 조절하는 스케일링부를 더 포함한다. 상기 비디오 복호화 장치는 HDR 영상 복호화를 효율적으로 수행하는 것을 목적으로 한다.

Description

HDR 양자화 혹은 마스킹 방법 및 장치
본 발명은 영상 부호화 및 복호화 기술에 관한 것으로, 더욱 상세하게는 HDR 영상을 양자화 혹은 마스킹하는 방법 및 기술에 관한 것이다.
4K-UHD, 8K-UHD급의 고해상도 비디오에 대한 시장의 수요가 늘어남에 따라, 고해상도 비디오를 효율적으로 압축할 수 있는 압축 표준이 필요하게 되었다. 이러한 시장의 요구에 따라 ISO/IEC의 MPEG (Moving Picture Expert Group)과 ITU-T의 VCEG (Video Coding Expert Group)이 공동으로 JCT-VC (Joint Collaborative Team on Video Coding)를 결성하여, HEVC (High Efficiency Video Coding)이라는 차세대 비디오 압축 표준이 2013년 1월 개발이 완료되었다. HEVC 개발이 완료됨에따라, 고해상도의 영상 서비스 수요와 고품질의 영상 서비스 수요가 증가하였다.
본 발명의 일부 실시예는 효과적으로 HDR (High Dynamic Range) 영상을 부호화 및 복호화하기 위하여 잔차신호를 스케일링 하는 방법 및 장치를 제공하는 것을 그 목적으로 한다.
다만 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 복호화 장치는, 입력 값으로 들어오는 HDR 영상의 부호화된 비트스트림을 복호화함에 있어, 부가정보로 전송된 파라미터와 예측블록의 밝기정보를 이용해 잔차신호를 스케일링(Scaling)하여 효율적으로 HDR 비트스트림에 대한 복호화를 수행한다.
전술한 본 발명의 과제 해결 수단에 의하면, 복호화기에서 잔차신호를 스케일링을 통해 원본영상에 더 가까운 HDR 복원영상을 얻을 수 있다.
도 1은 본 발명의 일 실시예에 따른 잔차신호 스케일링부를 포함하는 복호화 장치를 도시한다.
도 2는 본 발명의 일 실시예에 따른 잔차신호 스케일링부를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 잔차신호 스케일링부에서 결정되는 가중함수에 대해 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 잔차신호 스케일링부를 포함하는 복호화기 장치에서, 잔차신호 스케일링부의 동작 순서를 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 잔차신호 스케일링된 블록과 잔차신호 스케일링 되지 않은 블록에서 de-blocking 필터가 다르게 취해져야 함을 도시한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.
또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.
이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.
다이나믹 레인지(DR, Dynamic Range)의 일반적인 의미는 계측시스템에서 동시에 계측할 수 있는 최대, 최소의 신호의 차를 말한다. 영상 처리 및 비디오 압축 분야에서 다이나믹 레인지는 영상을 표현할 수 있는 밝기의 범위를 말할 수 있다.
스탠다드 다이나믹 레인지(SDR, Standard Dynamic Range)는 1,000:1의 명암비와 100nit의 최대 밝기를 가지며, 일반적으로 표준명암비라 불린다.
하이 다이나믹 레인지(HDR, High Dynamic Range)는 일반적으로 100,000:1 이상의 고명암비를 의미하며 4,000nits의 최대 밝기를 갖는다. 또한, 인간의 눈이 휘도 순응(Luminance adaptation) 없이 볼 수 있는 밝기 범위에 해당한다.
EDR(Enhanced Dynamic Range)은 SDR과 HDR 중간 수준의 명암비(1,000:1 이상 ~ 100,000:1 미만)를 의미하며, 최대 밝기 1,000nits를 갖는다.
또한, 본 출원에서 사용하는 HDR 영상이란 하이 다이나믹 레인지를 갖는 영상을 의미하며, SDR 영상과 대조되는 개념으로 HDR 및 EDR의 다이나믹 레인지를 갖는 영상을 포함할 수 있다.
통상적으로 동영상은 일련의 픽쳐(Picture)들로 구성될 수 있으며, 각 픽쳐들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽쳐라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 잔차신호 스케일링부를 포함하는 복호화 장치를 도시한다.
잔차신호 스케일링부를 포함하는 복호화 장치는 엔트로피 복호화부(110), 역양자화 또는 역변환부(115, 120, 125), 잔차신호 스케일링부(140), 화면 내 또는 화면 간 예측부(135), 루프 필터부(150), 복원 영상 저장부(155)를 포함한다.
복호화기의 입력으로 비트스트림(105)이 주어지면 엔트로피 복호화부(110), 역양자화 또는 역변환부를 통해 잔차신호와 부가정보를 얻을 수 있다. 잔차신호를 얻기위해 영양자화부와 역변환부는 모두 수행(115)될 수 있거나, 역양자화부만 수행(120)되거나, 역변환부만 수행(125)될 수 있다. 역양자화 또는 역변환을 통해 얻은 잔차신호와 엔트로피 복호화를 통해 얻은 파라미터(130), 그리고 화면 내 예측 부 또는 화면간 예측부 (135)를 통해 얻은 예측블록의 밝기 정보를 이용해 잔차신호 스케일링부(140)에서 잔차신호를 스케일링한다. 스케일링된 잔차신호는 예측블록과 더해지고(145), 루프 필터부(150)를 거쳐 복원 영상 저장부(155)에 저장되어 참조영상으로 쓰이거나 복원영상(160)으로 출력된다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 ~(하는) 단계 또는 ~의 단계는 ~를 위한 단계를 의미하지 않는다.
또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
먼저, 본 출원에서 사용되는 용어를 간략히 설명하면 다음과 같다.
이하에서 후술할 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC, Personal Computer), 노트북 컴퓨터, 휴대형 멀티미디어 플레이어(PMP, Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 스마트 폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기에 포함된 장치일 수 있으며, 각종 기기 등과 같은 사용자 단말기, 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 복호화하거나 복호화를 위해 화면 간 또는 화면 내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.
또한, 부호화기에 의해 비트스트림(bitstream)으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB, Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 복호화되어 영상으로 복원되고 재생될 수 있다.
다이나믹 레인지(DR, Dynamic Range)의 일반적인 의미는 계측시스템에서 동시에 계측할 수 있는 최대, 최소의 신호의 차를 말한다. 영상 처리 및 비디오 압축 분야에서 다이나믹 레인지는 영상을 표현할 수 있는 밝기의 범위를 말할 수 있다.
스탠다드 다이나믹 레인지(SDR, Standard Dynamic Range)는 1,000:1의 명암비와 100nit의 최대 밝기를 가지며, 일반적으로 표준명암비라 불린다.
하이 다이나믹 레인지(HDR, High Dynamic Range)는 일반적으로 100,000:1 이상의 고명암비를 의미하며 4,000nits의 최대 밝기를 갖는다. 또한, 인간의 눈이 휘도 순응(Luminance adaptation) 없이 볼 수 있는 밝기 범위에 해당한다.
EDR(Enhanced Dynamic Range)은 SDR과 HDR 중간 수준의 명암비(1,000:1 이상 ~ 100,000:1 미만)를 의미하며, 최대 밝기 1,000nits를 갖는다.
또한, 본 출원에서 사용하는 HDR 영상이란 하이 다이나믹 레인지를 갖는 영상을 의미하며, SDR 영상과 대조되는 개념으로 HDR 및 EDR의 다이나믹 레인지를 갖는 영상을 포함할 수 있다.
통상적으로 동영상은 일련의 픽쳐(Picture)들로 구성될 수 있으며, 각 픽쳐들은 블록(Block)과 같은 코딩 유닛(coding unit)으로 분할될 수 있다. 또한, 이하에 기재된 픽쳐라는 용어는 영상(Image), 프레임(Frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 발명의 일 실시예에 따른 잔차신호 스케일링부를 도시한 도면이다.
잔차신호 스케일링부는 가중함수 판단부(230)와 스케일링부(250)으로 구분될 수 있다. 가중함수 판단부(230)에서는 역양자화 또는 역변환을 통해 얻은 예측블록(210)의 밝기 정보와 엔트로피 복호화를 통해 얻은 spatial scaling parameter(220)를 이용하여 가중함수를 판단하고, 이를 이용해 scaling factor(240)를 구한다. 스케일링부(250)에서는 가중함수 판단부(230)에서 결정된 scaling factor(240)를 이용해 잔차블록(260)을 스케일링하여 스케일링된 잔차신호(270)을 얻는다.
복호화기의 부가정보로 전달되는 spatial scaling parameter는 블록(block), 슬라이스(slice), 프레임(frame), 시퀀스(sequence) 등의 단위로 전송될 수 있으며, spatial scaling parameter 간에 예측을 수행하여 잔차 정보만을 전송할 수 있다.
도 3은 본 발명의 일 실시예에 따른 잔차신호 스케일링부에서 결정되는 가중함수에 대해 도시한 도면이다.
가중함수 판단을 위해 잔차신호 스케일링부로 전달되는 부가정보에는 가중함수의 모양을 결정할 수 있는 정보가 포함될 수 있다. 일 실시예로 도3과 같이 복호화기로 전달된 부가정보에 의해 픽셀의 밝기 정보(310)에 의한 함수의 출력 값(320)이 픽셀의 밝기 정보 구간에 따라 다르게 결정 될 수 있다.
도 4는 본 발명의 일 실시예에 따른 잔차신호 스케일링부를 포함하는 복호화기 장치에서, 잔차신호 스케일링부의 동작 순서를 나타낸 순서도이다.
먼저 화면 내 예측 또는 화면 간 예측을 통해 얻은 예측블록의 평균 밝기 값을 판단(410)한다. 그리고 부가정보로 전달된 파라미터와 예측 블록의 평균 밝기 값을 이용해 가중함수를 결정(420)한다. 결정된 가중함수를 이용해 잔차신호의 스케일링 정도를 계산(430)하여 잔차신호 스케일링을 수행(440)한다.
도 5는 본 발명의 일 실시예에 따른 잔차신호 스케일링된 블록과 잔차신호 스케일링 되지 않은 블록에서 디블록킹(de-blocking) 필터가 다르게 취해져야 함을 도시한 도면이다.
잔차신호 스케일링이 적용된 블록(510)은 공간 도메인(spatial domain)에서 양자화된 블록이고, 잔차신호 스케일링이 적용되지 않은 블록(520)은 주파수 도메인(frequency domain)에서 양자화된 블록이므로, 두 블록의 경계에서 취해지는 디블록킹(de-blocking) 필터(530)는 이를 고려하여 취해져야 한다.
비디오 부/복호화 관련산업으로 방송장비 제조, 단말제조 등 제조업체나 원천기술 관련 산업에서 이용가능
해당없음.

Claims (3)

  1. 비디오 복호화 장치에 있어서.
    HDR 영상의 복호화를 위해 잔차신호 스케일링부를 사용하는 비디오 복호화 장치;
    상기 복호화 장치에서 역양자화를 선택적으로 수행할 수 있는 역양자화부를 포함하는 복호화 장치; 및
    상기 복호화 장치에서 역변환을 선택적으로 수행할 수 있는 역변환부를 포함하는 복호화 장치.
  2. 제 1항의 복호화 장치에 있어서.
    부가정보 및 예측블록의 밝기기 정보를 사용하여 가중함수를 판단하는 가중함수 판단부; 및
    상기 가중함수 판단부에서 결정된 정보를 이용해 잔차블록의 값을 조절하는 스케일링부; 및
    상기 가중함수 판단부에서 사용되는 부가정보를 블록(block), 슬라이스(slice), 프레임(frame), 시퀀스(sequence) 단위로 전송하는 방법; 및
    상기 가중함수 판단부에서 사용되는 부가정보를 예측하여 사용하는 방법.
  3. 제 1항의 복호화 장치에 있어서.
    잔차신호 스케일링 여부에 따라 다르게 수행되는 디블록킹(de-blocking) 필터를 포함하는 루프 필터부.
PCT/KR2016/004195 2015-09-15 2016-04-22 Hdr 양자화 혹은 마스킹 방법 및 장치 WO2017047897A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020187010314A KR20180064411A (ko) 2015-09-15 2016-04-22 Hdr 양자화 혹은 마스킹 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150130108 2015-09-15
KR10-2015-0130108 2015-09-15

Publications (1)

Publication Number Publication Date
WO2017047897A1 true WO2017047897A1 (ko) 2017-03-23

Family

ID=58289415

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/004195 WO2017047897A1 (ko) 2015-09-15 2016-04-22 Hdr 양자화 혹은 마스킹 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20180064411A (ko)
WO (1) WO2017047897A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030081469A (ko) * 2002-01-07 2003-10-17 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치
KR20110062748A (ko) * 2009-12-04 2011-06-10 에스케이 텔레콤주식회사 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
KR20120028844A (ko) * 2010-09-14 2012-03-23 삼성전자주식회사 다계층 영상 부호화 및 복호화 장치와 방법
US20150016512A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Inter-color component residual prediction
KR20150083826A (ko) * 2015-06-30 2015-07-20 에스케이텔레콤 주식회사 인터 예측을 이용한 영상 복호화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030081469A (ko) * 2002-01-07 2003-10-17 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치
KR20110062748A (ko) * 2009-12-04 2011-06-10 에스케이 텔레콤주식회사 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
KR20120028844A (ko) * 2010-09-14 2012-03-23 삼성전자주식회사 다계층 영상 부호화 및 복호화 장치와 방법
US20150016512A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Inter-color component residual prediction
KR20150083826A (ko) * 2015-06-30 2015-07-20 에스케이텔레콤 주식회사 인터 예측을 이용한 영상 복호화 방법 및 장치

Also Published As

Publication number Publication date
KR20180064411A (ko) 2018-06-14

Similar Documents

Publication Publication Date Title
US9729881B2 (en) Video encoding/decoding apparatus and method
Lin et al. Mixed chroma sampling-rate high efficiency video coding for full-chroma screen content
KR102118234B1 (ko) 프레임 버퍼 압축을 위한 혼합 모드
US7751478B2 (en) Prediction intra-mode selection in an encoder
US11375219B2 (en) Coding method and system with improved dynamic internal bit depth
CN108810552B (zh) 图像预测方法和相关产品
KR20190030230A (ko) 비디오 코딩/디코딩 시스템들을 위한 다차원 양자화 기법들
US9883190B2 (en) Video encoding using variance for selecting an encoding mode
US20160337668A1 (en) Method and apparatus for encoding image data and method and apparatus for decoding image data
US10887591B2 (en) Method and device for transmitting block division information in image codec for security camera
EP3568981A1 (en) Method and apparatus for selecting a coding mode used for encoding/decoding a residual block
CN113784126A (zh) 图像编码方法、装置、设备及存储介质
WO2018070556A1 (ko) 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치
KR20150000908A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
CN110234010A (zh) 视频编码方法/装置以及视频解码方法/装置
Jacobson et al. A new display stream compression standard under development in VESA
KR20170125154A (ko) 곡선 화면 내 예측을 사용하는 비디오 복호화 방법 및 장치
CN103581688A (zh) 一种视频图像的编码和解码方法及装置
US7613351B2 (en) Video decoder with deblocker within decoding loop
WO2017047897A1 (ko) Hdr 양자화 혹은 마스킹 방법 및 장치
WO2012118569A1 (en) Visually optimized quantization
WO2023044868A1 (zh) 视频编解码方法、设备、系统、及存储介质
JP7176132B2 (ja) 画像処理方法および電子デバイス
KR20150081240A (ko) 무손실 비디오 부호화/복호화 방법 및 장치
CN114205582A (zh) 用于视频编解码的环路滤波方法、装置及设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16846719

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187010314

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16846719

Country of ref document: EP

Kind code of ref document: A1