KR20220019220A - 영상 압축 및 저장 시스템의 프레임 압축 방법 - Google Patents

영상 압축 및 저장 시스템의 프레임 압축 방법 Download PDF

Info

Publication number
KR20220019220A
KR20220019220A KR1020210033878A KR20210033878A KR20220019220A KR 20220019220 A KR20220019220 A KR 20220019220A KR 1020210033878 A KR1020210033878 A KR 1020210033878A KR 20210033878 A KR20210033878 A KR 20210033878A KR 20220019220 A KR20220019220 A KR 20220019220A
Authority
KR
South Korea
Prior art keywords
sample
value
residual
reconstruction
maximum
Prior art date
Application number
KR1020210033878A
Other languages
English (en)
Inventor
비자야락하반 띠루마라이
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20220019220A publication Critical patent/KR20220019220A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템의 프레임 압축 방법은, 최우선 표본 값(highest priority sample value)에 대하여 최저 재건 오차(lowest reconstruction error)를 부여할 수 있도록, 원래 표본의 비트 깊이와 최대 허용 오차에 기초하여 상기 원래 표본을 사상 표본(mapped sample)으로 사상하는 단계, 사상 이전 재건 표본(mapped previous reconstructed sample)에 기초하여 상기 사상 표본의 잔차(residue)를 결정하는 단계, 상기 잔차에 모듈로 덧셈(modulo addition)을 인가하여 편향 잔차(biased residue)를 생성하는 단계, 상기 최대 허용 오차에 기초하여 상기 편향 잔차를 양자화하여 양자화 편향 잔차(quantized biased residue)를 생성하는 단계, 그리고 상기 양자화 편향 잔차에 대응하는 값을 부호화하여 부호화 값(encoded value)을 생성하는 단계를 포함한다.

Description

영상 압축 및 저장 시스템의 프레임 압축 방법 {METHOD OF COMPRESSING FRAME IN IMAGE COMPRESSION AND STORAGE SYSTEM}
본 발명은 영상 압축 및 저장 시스템과 프레임 압축 방법에 관한 것이다.
본 출원은 2020년 8월 7일에 미국 특허청에 출원한 미국 특허출원번호 제63/063,004호 및 제63/062,963호를 우선권 주장하며, 여기에 인용함으로써 이 출원의 전체 내용을 본원에 포함한다.
본 출원은 또한 미국에 동일자로 제출하는 "COMPRESSION WITH POSITIVE RECONSTRUCTION ERROR "라는 제목의 미국 특허 출원과 관련 있다.
크기가 작고, 화질이 우수하며, 전력 소비가 작기 때문에 액정 표시 장치(LCD: liquid crystal displays), 발광 다이오드(LCD: light emitting diode) 표시 장치 등 평판 표시 장치는 보편적인 장치가 되고 있다.
표시 패널의 화소는 특정한 응답 시간을 가지고 있다. 화소에 공급되어 표시되는 데이터는 화소가 반응하는 것보다 더 빠르게 변화할 수 있다. 이 때문에, 모션 블러나 환영 효과 등 바람직하지 않은 효과가 나타날 수 있다. 표시 영상이 더 만족스럽도록 하기 위해서, 영상 보정 기술이 필요하다. 오버드라이브 알고리즘이 개발되어 영상 데이터를 보정함으로써 표시 화소가 보여 주는 모션 블러를 줄여 주고 있다.
배경 기술에 기재한 정보는 본 발명의 이해를 높이기 위한 것이므로, 당업자에게 이미 알려진 종래 기술에 해당하지 않는 정보를 포함할 수 있다.
본 발명이 해결하고자 하는 과제는 음 아닌 유계 재건 오차를 확보할 수 있는 영상 압축, 저장 및 압축 해제 시스템 및 방법을 제공하는 것이다.
본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템의 프레임 압축 방법은, 최우선 표본 값(highest priority sample value)에 대하여 최저 재건 오차(lowest reconstruction error)를 부여할 수 있도록, 원래 표본의 비트 깊이와 최대 허용 오차에 기초하여 상기 원래 표본을 사상 표본(mapped sample)으로 사상하는 단계, 사상 이전 재건 표본(mapped previous reconstructed sample)에 기초하여 상기 사상 표본의 잔차(residue)를 결정하는 단계, 상기 잔차에 모듈로 덧셈(modulo addition)을 인가하여 편향 잔차(biased residue)를 생성하는 단계, 상기 최대 허용 오차에 기초하여 상기 편향 잔차를 양자화하여 양자화 편향 잔차(quantized biased residue)를 생성하는 단계, 그리고 상기 양자화 편향 잔차에 대응하는 값을 부호화하여 부호화 값(encoded value)을 생성하는 단계를 포함한다.
상기 최우선성 표본 값은 0이고, 상기 사상 단계는,
Figure pat00001
[f(x)는 상기 사상 표본을 나타내고, x는 상기 원래 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal는 상기 원래 표본의 최대값을 나타냄]으로 상기 사상 표본을 계산하는 단계를 포함할 수 있다.
상기 원래 표본의 최대값은,
Figure pat00002
(bitdepth는 상기 원래 표본의 비트 깊이를 나타냄)으로 표현되고, 상기 원래 표본은 상기 프레임의 화소의 색 값(color value)에 대응하고, 상기 프레임은 적녹청(RGB) 포맷 또는 적녹청녹(RGBG) 포맷일 수 있다.
상기 원래 표본의 비트 깊이는 3이고, c는 0이고, 상기 최대 허용 오차는 1일 수 있다.
상기 최우선 표본 값은 0보다 크고, 상기 사상 단계는,
Figure pat00003
[f(x)는 상기 사상 표본을 나타내고,i는 상기 최우선 표본 값이고, x는 상기 원래 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal는 상기 원래 표본의 최대값을 나타냄]으로 상기 사상 표본을 계산하는 단계를 포함할 수 있다.
상기 잔차 결정 단계는, 상기 사상 표본에서 상기 사상 이전 재건 표본을 빼서 상기 원래 표본의 잔차를 생성하는 단계를 포함할 수 있다.
상기 양자화 편향 잔차에 대응하는 값은 상기 양자화 편향 잔차에 대응하는 양자화 색인일 수 있다.
본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템의 프레임 압축 방법은, 상기 양자화 편향 잔차에 역양자화를 수행하여 재건 편향 잔차(reconstructed biased residue)를 생성하는 단계, 상기 재건 편향 잔차에 상기 사상 이전 재건 표본를 더하여 재건 편향 표본(reconstructed biased sample)을 생성하는 단계, 상기 재건 편향 표본에 모듈로 뺄셈을 인가하여 사상 재건 표본(mapped reconstructed sample)을 생성하는 단계, 그리고 상기 최우선 표본 값, 상기 원래 표본의 비트 깊이 및 상기 최대 허용 오차에 기초하여 상기 사상 재건 표본을 비사상 재건 표본으로 역사상하는 단계를 더 포함할 수 있다.
상기 최우선 표본 값은 0이고, 상기 역사상 단계는,
Figure pat00004
[g(x')는 상기 비사상 재건 표본을 나타내고, x'는 상기 사상 재건 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal은 상기 원래 표본의 최대값을 나타내고,
Figure pat00005
는
Figure pat00006
의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타냄]으로 상기 비사상 재건 표본을 계산하는 단계를 포함할 수 있다.
상기 최우선 표본 값은 0보다 크고, 상기 역사상 단계는,
Figure pat00007
[g(x')는 상기 비사상 재건 표본을 나타내고, i는 상기 최우선 표본 값이고, x'는 상기 사상 재건 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal은 상기 원래 표본의 최대값을 나타내고,
Figure pat00008
는
Figure pat00009
의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타내고,
Figure pat00010
는
Figure pat00011
의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타냄]으로 상기 비사상 재건 표본을 계산하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템의 프레임 압축 방법은, 상기 비사상 재건 표본에 기초하여 비사상 다음 재건 표본의 예측을 생성하는 단계, 그리고 상기 비사상 다음 재건 표본의 예측을 상기 사상 이전 재건 표본으로 사상하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템의 프레임 압축 방법은, 상기 사상 재건 표본에 기초하여 사상 다음 재건 표본의 예측을 생성하는 단계를 더 포함할 수 있다.
상기 최우선 표본 값에 대한 재건 오차는 상기 원래 표본의 다른 값 이하일 수 있다.
상기 편향 잔차 생성 단계는 상기 원래 표본의 비트 깊이와 상기 최대 허용 오차에 기초할 수 있다.
본 발명의 한 실시예에 따른 압축 해제 방법은, 영상 압축 및 저장 시스템에서 프레임에 대응하는 저장된 영상 데이터를 압축 해제하는 방법으로서, 상기 프레임의 원래 표본에 대응하는 부호화 값(encoded value)을 복호화하여 양자화 편향 잔차(quantized biased residue)에 대응하는 복호화 값(decoded value)을 생성하는 단계, 상기 복호화 값에 역양자화를 수행하여 재건 편향 잔차(reconstructed biased residue)를 생성하는 단계, 상기 재건 편향 잔차에 사상 이전 재건 표본(mapped previous reconstructed sample)의 예측(prediction)을 더하여 재건 편향 표본(reconstructed biased sample)을 생성하는 단계, 상기 재건 편향 표본에 모듈로 뺄셈을 인가하여 사상 재건 표본(mapped reconstructed sample)을 생성하는 단계, 그리고 최우선 표본 값(highest priority sample value), 상기 원래 표본의 비트 깊이 및 최대 허용 오차에 기초하여 상기 사상 재건 표본을 비사상 재건 표본(unmapped reconstructed sample)으로 역사상하는 단계를 포함한다.
상기 최우선 표본 값은 0이고, 상기 역사상 단계는,
Figure pat00012
[g(x')는 상기 비사상 재건 표본을 나타내고, x'는 상기 사상 재건 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal은 상기 원래 표본의 최대값을 나타내고,
Figure pat00013
는
Figure pat00014
의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타냄)으로 상기 비사상 재건 표본을 계산하는 단계를 포함할 수 있다.
상기 최우선 표본 값은 0보다 크고, 상기 역사상 단계는,
Figure pat00015
[g(x')는 상기 비사상 재건 표본을 나타내고,i는 상기 최우선 표본 값이고, x'는 상기 사상 재건 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고,
Figure pat00016
는 δ보다 작은 일정한 음 아닌 정수이고, maxVal은 상기 원래 표본의 최대값을 나타내고,
Figure pat00017
는
Figure pat00018
의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타내고,
Figure pat00019
는
Figure pat00020
의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타냄)으로 상기 비사상 재건 표본을 계산하는 단계를 포함할 수 있다.
본 발명의 한 실시예에 따른 압축 해제 방법은, 상기 비사상 재건 표본에 기초하여 사상 다음 재건 표본의 예측을 생성하는 단계를 더 포함할 수 있다.
본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템은, 프로세서, 그리고 상기 프로세서에 인접한(local to) 프로세서 메모리를 포함하며, 상기 프로세서 메모리는 인스트럭션을 저장하고, 상기 프로세서는 상기 인스트럭션을 실행하여, 상기 원래 표본의 비트 깊이와 최대 허용 오차에 기초하여 원래 표본을 사상 표본으로 사상하고, 사상 이전 재건 표본(mapped previous reconstructed sample)에 기초하여 상기 사상 표본의 잔차(residue)를 결정하고, 상기 잔차(residue)에 모듈로 덧셈(modulo addition)을 인가하여 편향 잔차(biased residue)를 생성하고, 상기 최대 허용 오차에 기초하여 상기 편향 잔차를 양자화하여 양자화 편향 잔차(quantized biased residue)를 생성하고, 상기 양자화 편향 잔차에 대응하는 값을 부호화하여 저장 매체에 저장하기 위한 부호화 값(encoded value)을 생성하고, 상기 부호화 값을 복호화하여 양자화 편향 잔차(quantized biased residue)에 대응하는 복호화 값(decoded value)을 생성하고, 상기 복호화 값에 역양자화를 수행하여 재건 편향 잔차(reconstructed biased residue)를 생성하고, 상기 재건 편향 잔차에 사상 이전 재건 표본(previous reconstructed sample)의 예측(prediction)을 더하여 재건 편향 표본(reconstructed biased sample)을 생성하고, 상기 재건 편향 표본에 모듈로 뺄셈을 인가하여 사상 재건 표본(mapped reconstructed sample)을 생성하고, 최우선 표본 값(highest priority sample value), 상기 원래 표본의 비트 깊이 및 최대 허용 오차에 기초하여 상기 사상 재건 표본을 비사상 재건 표본(unmapped reconstructed sample)으로 역사상한다.
상기 최우선 표본 값에 대하여 상기 원래 표본과 상기 비사상 재건 표본의 차이는 상기 원래 표본의 다른 값 이하일 수 있다.
이와 같이 함으로써 영상 압축, 저장 및 압축 해제 시스템 및 방법에서 음 아닌 유계 재건 오차를 확보할 수 있다.
도 1은 본 발명의 한 실시예에 따라 영상 압축 및 저장 시스템을 사용하는 프레임 보정 시스템의 개략적인 도면이다.
도 2a는 본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템의 부호기의 개략도이다.
도 2b는 본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템의 복호기의 개략도이다.
도 3a는 본 발명의 한 실시예에 따른 부호기의 일부를 복호기의 일부와 함께 도시한 개략도이다.
도 3b는 도 3a를 단순화한 도면으로서, 본 발명의 한 실시예에 따른 엔트로피 부호기와 복호기의 항등 연산(identity operation)을 보여준다.
도 4a는 본 발명의 한 실시예에 따른 양자화기가 사용하는 양자화표를 나타낸다.
도 4b는 본 발명의 한 실시예에 따른 양자화기의 연산을 나타낸다.
도 4c 및 도 4d는 각각 본 발명의 한 실시예에 따른 양자화기가 사용하는 균일 및 불균일 양자화표를 나타낸다.
도 5a는 본 발명의 한 실시예에 따른 내환(in-loop) 사상(mapping)이 있는 부호기의 개략적인 블록도이다.
도 5b는 본 발명의 한 실시예에 따른 오프라인(offline)/외환(outer-loop) 사상이 있는 부호기의 개략적인 블록도이다.
도 6a 및 도 6b는 각각 본 발명의 한 실시예에 따른 내환 사상이 있는 복호기 및 오프라인/외환 사상이 있는 복호기의 개략적인 블록도이다.
도 7a 및 도 7b는 본 발명의 한 실시예에 따른 서로 다른 값의 최대 오차 δ와 상수 c가 주어진 서로 다른 표본 값에 대해서 잠재 재건 오차의 수치 예를 보여주는 표이다.
도 8은 본 발명의 한 실시예에 따른 0 아닌 표본 값의 중요성이 주어진 서로 다른 표본 값에 대해서 잠재 재건 오차의 수치 예를 보여주는 표이다.
도 9a 및 도 9B는 본 발명의 한 실시예에 따라 음 아닌 재건 오차가 보장되지 않는 영상 압축 및 저장 시스템의 사상 및 역사상 함수에 기초하여 서로 다른 표본 값에 대한 잠재 재건 오차의 수치 예를 보여주는 표이다.
이제 첨부한 도면을 참고하여 뒤에서 설명할 상세한 설명은 데이터 압축 시스템 및 방법의 실시예에 관한 것으로서, 본 발명에 의하여 구현 또는 이용될 형태를 모두 표현한 것은 아니다. 이제 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 상세하게 설명한다. 그러나 서로 다른 실시예에서 구현되는 것과 동일한 또는 균등한 기능과 구조도 본 발명의 범위 내에 포함된다. 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면 부호를 붙였다.
도 1은 본 발명의 한 실시예에 따라 영상 압축 및 저장 시스템(10)을 사용하는 프레임 보정 시스템(1)의 개략적인 도면이다.
본 발명의 한 실시예에 따르면, 영상 압축 및 저장 시스템(10)은 부호기(100), 저장 매체(200) 및 복호기(300)를 포함한다. 부호기(100)는 데이터를 부호화(보기: 압축)하여 크기를 줄이고, 저장 매체(200)는 부호화된 데이터를 저장하며, 복호기(300)는 저장된 데이터를 복호화(보기: 압축 해제)하여 데이터를 재건한다. 4K 영상 프레임 등 어떤 데이터를 저장하려면 많은 메모리 공간이 소비된다. 여기에서, 부호기(100) 및 복호기(300)는 공간과 비용을 절약할 수 있는 더 작은 저장 매체(200)를 사용할 수 있도록 한다. 도 1에 도시한 바와 같이, 본 발명의 한 실시예에 따르면, 영상 압축 및 저장 시스템(10)이 프레임 보정 시스템(1)의 일부를 이룰 수 있으며, 프레임 보정 시스템(1) 내에 있는 오버드라이브 시스템(20)이 이전 프레임을 사용하여 현재 프레임을 보정한다[보기: 환영 현상(ghosting effect) 또는 흐림(blurring)을 줄인다]. 본 발명의 한 실시예에 따르면, 절단 및 지연 회로(truncation and delay circuit)(30)는 [예를 들어 색상 당 8 비트(bpc)의] 프레임을 수신하고, 그 프레임을 절단하고(즉, 프레임의 화소 값의 bpc 수를 예를 들어 3 bpc로 줄이고), 그 프레임을 지연시켜 절단된 이전 프레임을 생성한다. 영상 압축 및 저장 시스템(10)은 이어 이전 프레임을 압축하고 이를 저장하여 나중에 오버드라이브 시스템(20)이 쓸 수 있도록 한다. 여기에서, 절단 및 압축은 저장된 프레임의 크기를 원래 (이전) 프레임보다 매우 작게 만들 수 있다. 예를 들면, 각 색 값(color value)이 8 비트[또는 화소 당 24 비트(bpp)]로 표현되는 RGB 입력 프레임의 경우에, 절단으로 인하여 3 bpc/9 bpp의 프레임 표현이 되고, 부호기(100)가 1.5:1 압축을 수행하면 이를 다시 2 bpc/6 bpp로 줄일 수 있다. 그러나 본 발명의 실시예는 RGB 입력 프레임에 한정되지 않으며, RGBG [펜타일(pentile) 부화소(sub-pixel) 배열의 경우] 등 적절한 입력 프레임 포맷이면 어떠한 것이라도 사용할 수 있다. 예를 들면, RGBG 입력 프레임의 경우, 절단을 통하여 프레임 크기를 16 bpp에서 6 bpp로 줄일 수 있으며, 부호기(100)가 1.5:1 압축을 수행하여 그 크기를 다시 4 bpp로 줄일 수 있다. 또한, 본 발명의 실시예는 앞서의 절단 동작을 사용하는 것에 한정되지 않으며, 본 발명의 한 실시예에 따르면, 앞서 설명한 과정에서 절단 및 지연 회로(30)를 지연 블록으로 대체하고 절단 동작을 생략할 수 있다.
재건 오차(reconstruction error), 즉, 영상 압축 및 저장 시스템(10)이 도입하는 오차(모두 양자화 오차임)가 오직 음이 아닌 경우에 오버드라이브 시스템(20)의 성능이 개선될 수 있다. 종래의 암호화 방식은 보통 평균 제곱 오차(MSE: mean square error) 또는 첨두 신호 대 잡음 비(PSNR: peak signal to noise ratio)를 적정화하는 것이며, 이는 재건 영상의 오차의 극성(polarity)이 양일 수도 음일 수도 있다는 것을 의미한다. 본 발명의 한 실시예에 따르면, 영상 압축 및 저장 시스템(10)은 오버드라이브 시스템(20)의 성능을 개선하며, 이는 재건 프레임과 원래 프레임의 차이로 정의되는 재건 오차(즉, 양자화 오차)가 항상 음이 아니고(즉, 0 이상이고) 설정 최대값으로 제한되도록 함으로써 가능하다.
본원 명세서 전체를 통틀어, 프레임은 복수의 화소를 포함하는 영상 프레임의 데이터를 뜻한다. 프레임의 각 화소는 복수의 색 값(보기: 적색, 녹색 및 청색)으로 표현될 수 있다.
도 2a는 본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템(10)의 부호기(100)의 개략도이다. 도 2b는 본 발명의 한 실시예에 따른 영상 압축 및 저장 시스템(10)의 복호기(300)의 개략도이다.
도 2a를 참고하면, 본 발명의 한 실시예에 따르면, 부호기(100)는 원래 표본(보기: 절단된 프레임) 자체가 아니라 원래 표본의 잔차(residual)를 부호화하는 예측 암호화 방식을 사용한다. 잔차(오차 e 라고도 함)는 원래 표본과 하나 이상의 인접 표본에 기초한 예측(보기: 이전 표본의 예측)의 차이로 정의한다. 본 발명의 한 실시예에 따르면, 표본 예측기(110)는 이전 표본의 예측을 생성하고, 뺄셈기(120)는 원래 표본과 예측 표본에 기초하여 잔차 값을 계산한다. 계산한 잔차는 양의 값 또는 음의 값일 수 있다. 모듈로 덧셈기(130)는 1 비트 부호 정보를 알리는 비용을 줄이기 위하여 잔차에 편향 값(bias value)을 더한다. 양자화기(140)는 편향 잔차 값(biased residual value)을 양자화하여 양자화 편향 값(quantized biased value)을 생성하고, 해당하는 양자화 색인을 엔트로피 부호기(150)에 전달하여 압축(보기: 엔트로피 부호화 등 무손실 압축) 등이 더 이루어지도록 한다. 이 압축 데이터(compressed data)[또는 부호화 값(encoded value)]을 저장 매체(200)에 저장한다. 뒤에서 더 설명하겠지만, 본 발명의 한 실시예에 따르면, 편향 값은 양자화 단계 크기(step size)의 함수이다.
본 발명의 한 실시예에 따르면, 예측 표본을 생성하기 위하여, 역양자화기(160)는 양자화기(140)가 수행한 연산의 역연산을 양자화 편향 잔차에 수행하여 재건 편향 잔차(reconstructed biased residue)를 생성하고, 덧셈기(170)는 이전 재건 표본의 예측을 재건 편향 잔차에 더하여 재건 편향 표본을 생성하고, 모듈로 뺄셈기(180)는 모듈로 덧셈기(130)가 더한 값을 빼서 재건 표본을 생성한다. 본 발명의 한 실시예에 따르면, 클리핑(clipping) 함수를 재건 표본에 적용하여 주어진 비트 깊이에 대해서 [0, 2bitDepth-1]로 표현될 수 있는 소기의 동적 범위(desired dynamic range) 내에 존재하도록 할 수 있다. 표본 예측기(110)는 이 재건 표본(보기: 클리핑된 재건 표본)을 사용하여 다음 표본을 예측한다.
도 2b를 참고하면, 본 발명의 한 실시예에 따르면, 복호기(300)는 저장 매체(200)에서 받은 저장된 표본을 압축 해제하는 엔트로피 복호기(310), 그리고 앞서 설명한 것과 동일한 역양자화기(160), 덧셈기(170), 모듈로 뺄셈기(180) 및 표본 예측기(110)를 포함한다. 엔트로피 복호기(310)를 제외하면, 복호기(300)의 나머지 부분은 부호기(100)와 동일하며 동일한 방식으로 구성된다. 따라서 간결함을 위하여 이들에 대한 상세한 설명은 생략한다.
복호기(300)는 원래 표본에는 접근하지 않고, 재건 표본에만 접근하므로, 복호기(300)의 표본 예측기(110)는 재건 표본을 사용하여 이전 표본의 예측을 생성한다. 또한, 부호기(100)와 복호기(300)의 동작이 거울과 같으므로, 부호기(100)의 표본 예측기(110) 또한 동일한 재건 표본을 사용하여 이전 표본의 예측을 생성하며, 이에 따라 부호기(100)가 원래 표본에 접근하지 않더라도 복호기(300)와 동기화할(in-sync with) 수 있다.
본 발명의 한 실시예에 따르면, 부호기(100)와 복호기(300)는 화소의 단일 색 값에 동작할 수 있다. 따라서, 복수의 부호기(100)와 복호기(300)가 병렬로 동작하여(보기: 동시에 동작하여) 한 화소의 여러 색상을 처리할 수 있다.
도 3a는 본 발명의 한 실시예에 따른 부호기의 일부를 복호기의 일부와 함께 도시한 개략도이다. 도 3b는 도 3a를 단순화한 도면으로서, 본 발명의 한 실시예에 따른 엔트로피 부호기와 복호기의 항등 연산(identity operation)을 보여준다.
본 발명의 한 실시예에 따르면, 부호기(100)와 복호기(300)의 성분들이 수행하는 연산은, 양자화기(140)를 제외하면, 모두 무손실 연산이다. 예를 들면, 도 3a에 (블록 A로) 도시한 엔트로피 부호기(150)와 엔트로피 복호기(310)의 순차 연산은 항등 연산이므로 도 3b와 같이 생략해도 무방하다. 따라서, 복호기(300) 출력의 재건 표본과 부호기(100) 입력의 원래 표본의 차이로 정의되는 신호 공간에서의 오차는 잔차 공간에서의 오차와 균등하다.
Error (residual) = R - e' = Q[e'] - e' (수식 1)
여기에서 e'는 양자화기(140)에 입력되는 편향 잔차이고, R은 역양자화기(160)의 출력이며, Q[.]는 양자화기(140)의 양자화와 역양자화기(160)의 역양자화가 결합된 함수이다.
따라서, 잔차 공간에서의 오차가 음이 아닌 채로 유지되면, 신호 공간에서의 오차 또한 음이 아닐 것이다. 또한, 잔차 공간에서의 오차가 유계이면(bounded), 즉 R - e' ≤ δ (여기에서 δ는 최대 허용 오차를 나타내는 양의 정수)이면, 신호 공간에서의 오차 역시 δ로 한정될 것이다. 이러한 관계는 모듈로 덧셈기(130)와 모듈로 뺄셈기(180)가 존재하더라도 유지된다. 이와는 달리, 종래의 변환 암호화(transform coding)[보기: HEVC(high efficiency video coding), JPEG-2000, 또는 VDC-M(VESA display compression-M)]는 음 아닌 재건 오차를 보장하기에 적합하지 않은데, 이는 변환된 도메인(transformed domain)에서의 양의 오차가 신호 공간에서의 음 아닌 재건 오차를 보장하지 않기 때문이다. 이는 이산 코사인 변환(DCT: discrete cosine transform) 등의 변환이 원본과 변환 계수 사이의 L2-norm(또는 에너지)을 보존하지만, L1-norm을 보존하지는 않기 때문이다.
따라서, 본 발명의 한 실시예에 따르면, 모듈로 덧셈기(130) 및 양자화기(140)는 잔차 공간에서의 오차가 음 아닌 상태를 유지하고 유계(즉, δ로 제한)라는 것을 보장하여, 신호 공간에서도 동일하도록 구성된다.
양자화기(140)와 역양자화기(160)는 양자화 밴드 크기와 각 밴드에서의 재건 포인트를 적절하게 조정함으로써 음 아닌 유계 오차를 보장한다. 본 발명의 한 실시예에 따르면, 최대 허용 오차(δ)에 대해서, 양자화기(140)는 δ+1의 최대 양자화 스텝 크기를 가지는 균일 또는 불균일 양자화 밴드를 이용하며, 밴드의 오른쪽 끝(right edge)(즉, 최대값)에 재건 포인트를 사용한다. 또한, 본 발명의 한 실시예에 따르면, 0의 값(value zero)이 밴드(보기: 인덱스 1의 제1 양자화 밴드)의 오른쪽 끝에 있어서, 재건 값에 0이 나타난다. 이는 잔차가 0에서 정점이기 때문이다.
도 4a는 본 발명의 한 실시예에 따른 양자화기(140) 및 역양자화기(160)가 사용하는 양자화표를 나타낸다. 도 4b는 본 발명의 한 실시예에 따른 양자화기(140) 및 역양자화기(160)의 연산을 나타내며, 입력이 e'이고 출력이 R이다. 도 4c 및 도 4d는 각각 본 발명의 한 실시예에 따른 양자화기(140)가 사용하는 균일 및 불균일 양자화표를 나타낸다.
도 4a를 참고하면, 양자화기(140)는 재건 포인트가 각 밴드의 오른쪽 끝에 있는 양자화 스텝 크기 δ+1 의 균일 밴드를 사용한다. 본 발명의 한 실시예에 따르면, 제1 양자화 밴드는 오른쪽 끝이 0이다(즉, 재건 포인트가 0이다). 여기에서, 편향 잔차 e'은 정수이다. 본 발명의 한 실시예에 따르면, 수식 6과 수식 8에서 정의한 모듈로 덧셈 및 뺄셈 파라미터[적정화(optimized) 모듈로 덧셈 및 뺄셈 파라미터라고도 함]를 사용할 때, 밴드 수 NB 는 다음과 같이 표현할 수 있다.
Figure pat00021
) (수식 2)
여기에서 δ는 최대 허용 오차를 나타내고, Ceiling(.)은 천장 함수(ceiling function)를 나타낸다. 여기에서, δ+1는 최대 허용 스텝 크기이므로, 즉, 더 작은 스텝 크기를 선택할 수 있다. 본 발명의 한 실시예에서는, 비적정화(un-optimized) 모듈로 덧셈 및 뺄셈 파라미터(즉, 수식 6과 수식 8로 정의되지 않은 파라미터)를 사용할 때, 밴드 수 NB는 다음과 같이 표현할 수 있다.
Figure pat00022
(수식 3)
본 발명의 한 실시예에 따르면, 편향 잔차를 양자화할 때, 양자화기(140)는 편향 잔차의 양자화 색인을 다음과 같이 계산한다.
Figure pat00023
(수식 4)
여기에서 수식 6과 수식 8의 적정화 모듈로 덧셈 및 뺄셈 파라미터를 사용할 때,
Figure pat00024
. 그와는 달리 비적정화 모듈로 덧셈 및 뺄셈 파라미터를 사용할 때는
Figure pat00025
.
I[e']는 양자화 색인을 나타내고, Ceiling(.)는 천장 함수를 나타내고, e'는 편향 잔차를 나타내며, δ는 최대 허용 오차를 나타낸다.
이와 마찬가지로, 양자화 편향 잔차에 역양자화를 적용하는 것은 재건 편향 잔차를 다음과 같이 계산하는 것을 포함할 수 있다.
Figure pat00026
(수식 5)
여기에서 Q(e')는 재건 편향 잔차를 나타내고, I[e']는 양자화 색인을 나타내고, e'는 편향 잔차를 나타낸다. 수식 2와 수식 3은 균일 양자화를 사용하는 실시예에 적용한다. 불균일 양자화를 사용하면, 최대 스텝 크기가 δ+1일 수 있다.
도 4b는 δ = 2, 비트 깊이(즉, 색상 당 비트 수)가 3인 예를 나타낸다. 여기에서, 비트 깊이는 영상에 저장된 색 정보를 뜻하며, 영상의 동적 범위에 영향을 미친다. 영상의 비트 깊이가 클수록, 저장할 수 있는 색이 많다. 가장 간단한 영상, 1 비트 영상은 흑백 두 가지 색만을 보여줄 수 있다. 이는 1 비트가 두 개의 값, 0(백)과 1(흑) 중 하나만을 저장할 수 있기 때문이다. 비트 깊이가 커지면 동적 범위도 커지고 이에 따라 양자화 밴드의 수도 많아진다.
도 4b의 예에 도시한 바와 같이, 1의 편향 잔차 e'는 3의 재건 값을 낳는다.
본 발명의 한 실시예에 따르면, 모듈로 덧셈기(130)는 편향 잔차 e'를 다음과 같이 계산한다.
Figure pat00027
(수식 6)
이는 편향 잔차가 다음과 같이 표현되는 범위 내에 있다는 것을 의미한다.
Figure pat00028
(수식 7)
편향 잔차 e'의 상한은 어떤 편향 값에 대한 오차를 줄이고 이에 따라 성능을 개선하는 불균일 양자화 밴드를 허용한다.
예를 들면, δ = 2, 비트 깊이 = 3인 경우,
Figure pat00029
이고, 양자화기(140)는 도 4c에 도시한 균일 양자화표와 도 4d에 도시한 불균일 양자화표를 사용할 수 있다. 균일 밴드 크기가 2인 도 4c에서, 4 개의 밴드 모두에 대해 양자화 오차는 δ(즉, 2)에 의하여 한정되어 있다. 그러나 본 발명의 실시예는 또한 도 4d에 도시한 양자화표의 불균일 밴드도 허용하는데, 여기에서 제3 및 제4 밴드는 (2가 아니라) 1에 의하여 한정되어 있는 더 작은 양자화 오차를 가진다. 본 발명의 한 실시예에서, 양자화기(140)는 통계적으로 더 중요한 밴드[보기: 편향 잔차가 더 많이 위치하는 밴드, 또는 오버드라이브 시스템(20)의 성능에 더 큰 영향을 주는 값의 밴드]를 위해 더 좁은 밴드들을 남겨 둔다. 이 때문에, 모듈로 덧셈기의 연산에 의하여 양자화 오차가 작아지므로 오버드라이브 시스템(20)의 성능이 개선될 수 있다.
모듈로 뺄셈기(180)는 모듈로 덧셈기(130)가 잔차에 더한 편향 값을 제거함으로써 모듈로 덧셈기(130)의 반대 연산을 수행할 수 있다. 본 발명의 한 실시예에 따르면, 입력 x에 대하여, 모듈로 뺄셈기(180)의 출력 y는 다음과 같이 표현된다.
Figure pat00030
(수식 8)
앞서 언급한 것처럼, 본 발명의 한 실시예에 따르면, 재건 표본에 클리핑 함수를 적용하여 주어진 비트 깊이에 대해 [0, 2 bitDepth -1]로 표현되는 소기의 동적 범위 내에 반드시 존재하도록 할 수 있다. 8 bpc의 예에서, 클리핑 함수는 뺄셈기의 출력을 [0, 7]로 제한할 수 있다.
따라서, 앞서 설명한 바와 같이, 적절한 양자화 밴드 크기와 더해진 편향을 사용함으로써, 영상 압축 및 저장 시스템(10)은 오버드라이브 시스템(20)의 성능을 개선할 수 있는, 재건 영상에 대한 음 아닌 유계 오차를 확보(보기: 보장)한다.
음 아닌 유계 재건 오차를 확보함과 동시에, 본 발명의 한 실시예에 따르면, 특정 그레이 레벨들(보기: 0의 그레이 값)은 0이거나 적어도 다른 그레이 값의 오차보다 작은 것이 바람직하다. 예를 들면, 3의 색 깊이에 대해서, 그레이 값은 0에서 7의 범위일 수 있다. 본 발명의 한 실시예에 따르면, 오버드라이브 보정은 그레이 값이 7에서 0으로 떨어질수록 중요성(또는 우선성)이 커지도록 할 수 있고, 0이 가장 중요할 수 있다(가장 우선일 수 있다). 이러한 예에서는, 5, 6, 7과 같은 우선성이 낮은 그레이 값에 대해서는 큰 재건 오차를 허용할 수 있다. 이는 모든 그레이 레벨을 동등하게 취급하고 재건 오차가 화소 표본의 진폭(또는 그레이 레벨)과 무관한 종래의 코덱과 배치된다.
본 발명의 한 실시예에 따르면, 영상 압축 및 저장 시스템(10)은 중요한 그레이 레벨에 대해서는 더 작은 재건 오차, 다른 그레이 레벨에 대해서는 음 아닌 재건 오차를 확보한다. 본 발명의 한 실시예에 따르면, 부호기는 원래 그레이 값을 수정하여 특정 그레이 레벨에 대해서 더 낮은 오차를 달성한다. 이는 다른 중요하지 않은 그레이 레벨에 대해서 더 큰 오차를 줌으로서 가능하다.
도 5a는 본 발명의 한 실시예에 따른 내환(in-loop) 사상(mapping)이 있는 부호기(400)의 개략적인 블록도이다. 도 5b는 본 발명의 한 실시예에 따른 오프라인(offline)/외환(outer-loop) 사상이 있는 부호기(400-1)의 개략적인 블록도이다. 도 6a 및 도 6b는 각각 본 발명의 한 실시예에 따른 내환 사상이 있는 복호기(500) 및 오프라인/외환 사상이 있는 복호기(500-1)의 개략적인 블록도이다.
본 발명의 한 실시예에 따르면, 부호기(400/400-1)는 부호화에 앞서 원래 표본의 그레이 값 x를 사상 값(mapped value)(사상 표본이라고도 함) f(.)으로 사상하는 사상기(mapper)(보기: 그레이 값 사상 회로)(202)를 포함하며, 사상기(202)의 역연산 g(.)을 수행하는 역사상기(inverse mapper)(보기: 그레이 값 역사상 회로)(204)를 더 포함한다. 따라서, 부호기(400/400-1)는 신호 공간에서가 아니라 사상된 공간에서 원래 표본을 부호화한다. 여기에서 사상된 공간의 동적 범위는 원래 공간과 동일하다. 다시 말하면, 사상된 공간과 원래 공간의 비트 깊이는 동일하다.
본 발명의 한 실시예에 따르면, 도 5a에 도시한 내환 방식의 경우, 부호기(400)는 덧셈기(170) 앞에서 원래 표본에 동작하는 제1 사상기(202), 그리고 표본 예측기(110)에 동작하는 제2 사상기(203)를 포함하며, 모듈로 뺄셈기(180)의 출력에 동작하는 역사상기(204)를 더 포함한다. 본 실시예에서, 역사상기(204)는 모듈로 뺄셈기(180)가 생성한 사상 재건 표본(mapped reconstructed sample)에 역사상 연산을 수행하여 비사상 재건 표본(unmapped reconstructed sample)을 생성하고, 표본 예측기(110)는 이를 사용하여 비사상 이전 재건 표본의 예측을 생성한다. 제2 사상기(203)는 이 값을 사상 이전 재건 표본(mapped previous reconstructed sample)으로 사상하여 뺄셈기(120)로 보내고, 뺄셈기(120)는 사상 표본에서 사상 이전 재건 표본을 뺀다.
본 발명의 한 실시예에 따르면, 도 5b에 도시한 오프라인/외환 방식의 경우, 역사상기(204)는 표본 예측기(110)의 입력에 동작하지 않으며, 이에 따라 표본 예측기(110)의 출력에 동작하는 제2 사상기(203)가 필요하지 않다. 이러한 실시예에서, 사상 동작은 완전히 부호기 루프의 바깥에서 수행된다. 이러한 외환 방식은 현존하는 코덱을 사용하기 쉬운데, 이는 사상기(202) 및 역사상기(204)의 동작이 코덱의 외부에서 이루어지기 때문이다. 또한, 외환 방식은 내환 방식에 비해서 덜 복잡한데, 이는 수행하는 연산(operations/calculations)의 수가 적기 때문이다. 그러나 내환 방식을 사용하면 성능이 더 좋아질 수 있다.
도 6a 및 도 6b에 도시한 바와 같이, 내환 사상 방식의 복호기(500)는 사상기(203)와 역사상기(204)를 모두 사용하며, 외환 사상 방식의 복호기(500-1)는 단일한 역사상기(204)(사상기 불필요)를 사용한다.
두 가지 방식에서, 사상기(202, 203)와 역사상기(204)를 제외하면, 부호기(400/400-1)는 부호기(100)와 동일한 구성을 가지는 동일한 성분을 포함한다. 이와 마찬가지로, 인라인, 오프라인의 두 가지 방식에서 모두, 사상기(203)와 역사상기(204)를 제외하면, 복호기(500/500-1)는 복호기(300)와 동일한 구성을 가지는 동일한 성분을 포함한다. 그러므로 부호기(100) 및 복호기(300)와 공통인 부호기(400/400-1) 및 복호기(500/500-1)의 구성 요소들에 대해서는 간결성을 위하여 반복해서 설명하지 않는다. 모듈로 덧셈기(130), 양자화기(140), 역양자화기(160) 및 모듈로 뺄셈기(180)가 음 아닌 유계 재건 오차를 보장하지만, 부호기(400, 400-1) 및 복호기(500, 500-1)는 이에 한정되지 않는다. 예를 들면, [예를 들어 오버드라이브 시스템(20)이] 음의 재건 오차를 견딜 수 있으면, 어떠한 적절한 모듈로 덧셈기, 양자화기, 역양자화기 및 모듈로 뺄셈기라도 사용할 수 있다.
본 발명의 한 실시예에 따르면, 0의 그레이 레벨이 중요한 경우 (보기: 0의 재건 오차를 바라는 경우), 사상기(202)의 사상 함수 f(.)는 다음과 같이 표현한다.
Figure pat00031
(수식 9)
여기에서 δ는 재건 표본과 원래 표본 사이의 최대 양의 오차를 나타내고, c는 δ보다 작은(즉,
Figure pat00032
) 일정한 음 아닌 정수이고, maxVal은 주어진 비트 깊이(또는 색상 당 비트)에 대해서, 사상기 입력 표본(보기: 원래 표본)
Figure pat00033
의 최대값이며 다음과 같이 표현할 수 있다.
Figure pat00034
(수식 10)
또한, 역사상기(204)의 역사상 함수 g(.)는 다음과 같이 표현할 수 있다.
Figure pat00035
(수식 11)
여기에서 x는 역사상기(204)에 대한 입력[보기: 모듈로 뺄셈기(180)가 출력하는 사상 재건 표본]을 나타내고,
Figure pat00036
는 출력 값
Figure pat00037
를 최소값 0과 최대값 maxVal로 한정하는 클리핑 함수이다. 달리 말하면, 클리핑 함수는 0보다 작은 모든
Figure pat00038
값에 대해서 0을 산출하고, maxVal보다 큰 모든
Figure pat00039
값에 대해서 maxVal를 산출하고, 그 외의 경우에는
Figure pat00040
를 산출한다.
뒤에서 설명하겠지만, 상수 c = 0일 때, 원래 표본 값 0에서 재건 오차는 없는데, 이는 최대 오차 δ를 넘는 다른 원래 표본 값에 대해서 오차를 크게 함으로써 가능한 것이다.
도 7a 및 도 7b는 본 발명의 한 실시예에 따른 서로 다른 값의 최대 오차 δ와 상수 c가 주어진 서로 다른 표본 값에 대해서 잠재 재건 오차의 수치 예를 보여주는 표이다. 도 7a 및 도 7b에 도시한 표에서, 값 x'은 (도 5a의) 부호기(400)의 인라인 방식에서 모듈로 뺄셈기(180)의 가능한 출력을 나타내고, y는 역사상기(204)의 출력에서 재건 표본을 나타낸다.
도 7a에서, 비트 깊이는 3이고(즉, 원래 표본 값은 0에서 7의 범위이고), 최대 오차 δ = 1 이고, 상수 c = 0으로 가정한다. 이 표에서, 각 값 x 에 대한 값 x'는 예측 재건 표본(predicted reconstructed sample)에 따라 하나 이상의 가능성을 가질 수 있다. 예를 들면, x=3 이고 f(x)=4 인 경우, 가능한 시나리오의 수는 다음과 같다. 1) 표본 예측기(110)가 3의 값을 예측하면, 잔차 e' 은 1 (= 4-3)이고, 양자화 색인 = 1, 역양자화기(160)의 출력(R) = 2, 모듈로 뺄셈기(180)의 출력(x') = 5 (=3+2), 이는 재건 값 y = 4 를 산출한다. 2) 표본 예측기(110)가 2의 값을 예측하면, 잔차 e' = 2 (= 4-2), 양자화 색인 = 1, R = 2, x' = 4 (= 2+2), 이는 재건 값 y = 3 을 산출한다. 3) 표본 예측기(110)가 5의 값을 예측하면, 잔차 e' = -1 (= 4-5), 양자화 색인 = 0, R = 0, x' = 5 (= 0+5), 이는 다시 재건 값 y = 4 를 산출한다.
도 7a를 보면 분명하듯이, 상수 c = 0, 원래 표본 0 (보기: 통계적으로, 가장 중요한 표본 값)에 대한 재건 오차는 0이다. 그러나 원래 표본 5(보기: 우선성이 낮은 표본)에 대한 오차는 최대 희망 오차 δ인 1보다 큰 2에 달할 수 있다.
도 7b에서, 비트 깊이는 3이고, 최대 오차 δ = 2 이고, 상수 c = 1로 가정한다. 여기에서, 상수 c는 0보다 크며, 원래 표본 0 에 대하여 가능한 재건 오차가 0이라고 보장하지 못하지만, 원래 표본 0에 대한 최대 오차는 다른 원래 표본 값에 대한 최대 오차 이하이다.
본 발명의 한 실시예에 따르면, 그레이 레벨 i > 0 가 중요한 경우, 사상기(202)의 사상 함수 f(.)는 다음과 같이 표현된다.
Figure pat00041
(수식 12)
역사상기(204)의 역사상 함수 g(.)는 다음과 같이 표현될 수 있다.
Figure pat00042
(수식 13)
도 8은 본 발명의 한 실시예에 따른 0 아닌 표본 값의 중요성이 주어진 서로 다른 표본 값에 대해서 잠재 재건 오차의 수치 예를 보여주는 표이다.
도 8의 예에서, 비트 깊이는 3이고, 최대 오차 δ = 1 이고, 상수 c = 0인 것으로 가정한다. 본 실시예에서, 원래 표본 4 는 오버드라이브 시스템(20)에 대해 통계적으로 더 중요했고, 이 표본에 대한 재건 오차는 0이다. 그러나 이는 원래 표본 3 및 5에 대하여 최대 오차를 소기의 최대 오차보다 크게 함으로써 가능했다.
도 7a, 도 7b 및 도 8의 표에서, 부호기(400/400-1) 및 복호기(500/500-1)는 음 아닌 재건 오차를 보장한다. 그러나 음의 재건 오차를 감당할 수 있으며[보기: 적절한 모듈로 덧셈기/뺄셈기 및 양자화기/역양자화기를 사용하지만 꼭 부호기(400/400-1) 및 복호기(500/500-1)의 것일 필요는 없는 실시예] 가장 중요한 원래 값이 0인 예에서, 함수 f(.) 및 g(.)를 대체하는 사상 함수 F(.) 및 역사상 함수 G(.)는 다음과 같이 표현할 수 있다.
Figure pat00043
(수식 14)
Figure pat00044
(수식 15)
이러한 예에서, 사상 함수 F(.) 및 역사상 함수 G(.)는 그 대신 다음과 같이도 표현할 수 있다.
Figure pat00045
(수식 16)
Figure pat00046
Figure pat00047
(수식 17)
도 9a는 본 발명의 한 실시예에 따른 수식 9-10의 사상 및 역사상 함수에 기초한 서로 다른 표본 값에 대한 잠재 재건 오차의 수치 예를 보여주는 표이다. 도 9b는 본 발명의 한 실시예에 따른 본 발명의 한 실시예에 따른 수식 11-12의 사상 및 역사상 함수에 기초한 서로 다른 표본 값에 대한 잠재 재건 오차의 수치 예를 보여주는 표이다. 도 9a 및 도 9b의 표에서, 비트 깊이는 3이고, 최대 오차 δ = 1 인 것으로 가정한다. 여기에서 원래 표본 0은 오버드라이브 시스템(20)의 오버드라이브 시스템(20)의 관점에서 가장 중요하고, 이 표본에 대한 재건 오차는 두 표에서 모두 0이다.
일반적으로, DSC 및 DPCM와 같은 종래의 영상/비디오 암호기는 특정 그레이 값에 대해서 특별한 중요성을 부여하지 않는다. 따라서 재건 오차의 크기는 통상 그레이 값과 무관하다. 또한, HEVC, JPEG-2000, VDC-M 등 코덱에 사용되는 변환 암호화는 음 아닌 오차를 충족하기에 적합하지 않은데, 이는 종래 기술에서 양자화가 변환 계수에 적용되고, 변환된 도메인에서의 양의 오차가 신호 공간에서도 양의 오차가 된다는 것을 의미하지 않기 때문이다.
이와는 달리, 본 발명의 실시예에 따르면, 영상 저장 및 압축 시스템이 특정 그레이 값에 높은 우선성을 부여하고, 그러한 그레이 값에 대해서 낮은 재건 오차를 보여준다. 이는 원래 영상을 다른 공간으로 화소별로(pixel-wise) 사상하고 사상된 공간에서 영상을 압축함으로써 얻어질 수 있다. 중요한 그레이 레벨에 대해서 낮은 오차를 유지함과 더불어, 본 발명의 한 실시예에 따르면, 영상 저장 및 압축 시스템의 부호기 및 복호기는 재건 영상에 대한 음 아닌 오차를 보장하고 이에 따라 해당하는 오버드라이브 시스템의 성능이 개선될 수 있다.
부호기(100/400/400-1) 및 복호기(300/500/500-1)의 구성 요소가 수행하는 동작 또는 연산은 "처리 회로" 또는 "처리기" 또는 "프로세서"로 구현될 수 있다. "처리 회로"는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합을 사용하여 구현할 수 있다. 처리 회로는 예를 들면, 응용 주문형 집적 회로(ASIC), 범용 또는 전용 중앙 처리 장치(CPU), 디지털 신호 처리기(DSP), 그래픽 처리 장치(GPU), FPGA 등의 프로그램가능 논리 장치를 포함할 수 있다. 처리 회로에서 각각의 함수는 그 기능을 수행하는 유선 하드웨어 또는 비순간(non-transitory) 저장 매체에 저장된 명령을 수행하는 CPU 등의 범용 하드웨어로 수행될 수 있다. 처리 회로는 하나의 인쇄 배선 기판(PWB: printed wiring board)에 제작되거나 서로 연결된 PWB에 분산 배치될 수 있다. 처리 회로는 다른 처리 회로를 포함할 수 있는데, 예를 들면 PWB 상에서 서로 연결된 FPGA와 CPU를 포함할 수 있다.
"제1", "제2", "제3" 등의 용어를 여러 가지 원소, 성분, 영역, 층, 부분 등에 사용하지만, 이들은 이런 수식어에 의하여 한정되지 않는다. 이러한 용어는 어떤 원소, 성분, 영역, 층, 부분을 다른 원소, 성분, 영역, 층, 부분과 구별하기 위하여 사용하는 것이며 본 발명의 취지와 범위를 벗어나지 않는다.
여기에서 사용된 용어는 특정 실시예를 설명할 목적으로 사용할 뿐이며 본 발명을 제한하고자 하는 것은 아니다. 여기에서 수를 특별히 언급하지 않으면 단수 또는 복수의 경우를 모두 포함한다. 어떤 특징, 단계, 동작, 부분, 성분 등을 "포함"한다는 표현은 해당 부분 외에 다른 특징, 단계, 동작, 부분, 성분 등도 포함할 수 있다는 것을 의미한다. "및/또는"이라는 표현은 나열된 것들 중 하나 또는 둘 이상의 모든 조합을 포함한다. 또한, 본 발명의 실시예를 설명할 때 사용하는 "수 있다"는 표현은 "본 발명의 하나 이상의 실시예"에 적용 가능하다는 것을 뜻한다. "예시적인"이라는 용어는 예 또는 도면을 나타낸다.
"사용", "이용" 등은 이와 유사한 다른 표현과 함께 비슷한 의미로 사용될 수 있다.
"X, Y, Z 중 적어도 하나" 및 "X, Y, Z를 포함하는 그룹 중에서 선택된 적어도 하나"라는 표현은 X만, Y만, Z만, X, Y, Z의 둘 이상의 조합, 예를 들면 XYZ, XYY, YZ, ZZ 등을 나타낸다.
앞에서는 구체적인 실시예를 들어 상세하게 설명하였지만, 여기에서 설명한 실시예는 본 발명의 범위를 기재한 그대로 한정하기 위한 것이 아니다. 당업자라면 앞에서 설명한 결합 및 동작의 구조 및 방법을 다음 청구범위 및 그 등가물에 표현된 발명의 원리 및 범위에서 크게 벗어나지 않고 변경 또는 수정하는 것이 가능하다는 점을 알 수 있다.
1: 프레임 보정 시스템
10: 영상 압축 및 저장 시스템
20: 오버드라이브 시스템
30: 절단 및 지연 회로
100, 400, 400-1: 부호기
110: 표본 예측기
120: 뺄셈기
130: 모듈로 덧셈기
140: 양자화기
150: 엔트로피 부호기
160: 역양자화기
170: 덧셈기
180: 모듈로 뺄셈기
200: 저장 매체
203, 203: 사상기
204: 역사상기
300, 500, 500-1: 복호기
310: 엔트로피 복호기

Claims (10)

  1. 최우선 표본 값(highest priority sample value)에 대하여 최저 재건 오차(lowest reconstruction error)를 부여할 수 있도록, 원래 표본의 비트 깊이와 최대 허용 오차에 기초하여 상기 원래 표본을 사상 표본(mapped sample)으로 사상하는 단계,
    사상 이전 재건 표본(mapped previous reconstructed sample)에 기초하여 상기 사상 표본의 잔차(residue)를 결정하는 단계,
    상기 잔차에 모듈로 덧셈(modulo addition)을 인가하여 편향 잔차(biased residue)를 생성하는 단계,
    상기 최대 허용 오차에 기초하여 상기 편향 잔차를 양자화하여 양자화 편향 잔차(quantized biased residue)를 생성하는 단계, 그리고
    상기 양자화 편향 잔차에 대응하는 값을 부호화하여 부호화 값(encoded value)을 생성하는 단계
    를 포함하는 영상 압축 및 저장 시스템의 프레임 압축 방법.
  2. 제1항에서,
    상기 최우선성 표본 값은 0이고,
    상기 사상 단계는,
    Figure pat00048

    [f(x)는 상기 사상 표본을 나타내고, x는 상기 원래 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal는 상기 원래 표본의 최대값을 나타냄]으로 상기 사상 표본을 계산하는 단계를 포함하는
    영상 압축 및 저장 시스템의 프레임 압축 방법.
  3. 제2항에서,
    상기 원래 표본의 최대값은,
    Figure pat00049

    (bitdepth는 상기 원래 표본의 비트 깊이를 나타냄)으로 표현되고,
    상기 원래 표본은 상기 프레임의 화소의 색 값(color value)에 대응하고,
    상기 프레임은 적녹청(RGB) 포맷 또는 적녹청녹(RGBG) 포맷인
    영상 압축 및 저장 시스템의 프레임 압축 방법.
  4. 제2항에서,
    상기 원래 표본의 비트 깊이는 3이고, c는 0이고, 상기 최대 허용 오차는 1인 영상 압축 및 저장 시스템의 프레임 압축 방법.
  5. 제1항에서,
    상기 최우선 표본 값은 0보다 크고,
    상기 사상 단계는,
    Figure pat00050

    [f(x)는 상기 사상 표본을 나타내고,i는 상기 최우선 표본 값이고, x는 상기 원래 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal는 상기 원래 표본의 최대값을 나타냄]으로 상기 사상 표본을 계산하는 단계를 포함하는
    영상 압축 및 저장 시스템의 프레임 압축 방법.
  6. 제1항에서,
    상기 잔차 결정 단계는,
    상기 사상 표본에서 상기 사상 이전 재건 표본을 빼서 상기 원래 표본의 잔차를 생성하는 단계
    를 포함하는
    영상 압축 및 저장 시스템의 프레임 압축 방법.
  7. 제1항에서,
    상기 양자화 편향 잔차에 대응하는 값은 상기 양자화 편향 잔차에 대응하는 양자화 색인인 영상 압축 및 저장 시스템의 프레임 압축 방법.
  8. 제1항에서,
    상기 양자화 편향 잔차에 역양자화를 수행하여 재건 편향 잔차(reconstructed biased residue)를 생성하는 단계,
    상기 재건 편향 잔차에 상기 사상 이전 재건 표본를 더하여 재건 편향 표본(reconstructed biased sample)을 생성하는 단계,
    상기 재건 편향 표본에 모듈로 뺄셈을 인가하여 사상 재건 표본(mapped reconstructed sample)을 생성하는 단계, 그리고
    상기 최우선 표본 값, 상기 원래 표본의 비트 깊이 및 상기 최대 허용 오차에 기초하여 상기 사상 재건 표본을 비사상 재건 표본으로 역사상하는 단계
    를 더 포함하는
    영상 압축 및 저장 시스템의 프레임 압축 방법.
  9. 제8항에서,
    상기 최우선 표본 값은 0이고,
    상기 역사상 단계는,
    Figure pat00051

    [g(x')는 상기 비사상 재건 표본을 나타내고, x'는 상기 사상 재건 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal은 상기 원래 표본의 최대값을 나타내고,
    Figure pat00052
    는
    Figure pat00053
    의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타냄]으로 상기 비사상 재건 표본을 계산하는 단계를 포함하는
    영상 압축 및 저장 시스템의 프레임 압축 방법.
  10. 제8항에서,
    상기 최우선 표본 값은 0보다 크고,
    상기 역사상 단계는,
    Figure pat00054

    [g(x')는 상기 비사상 재건 표본을 나타내고, i는 상기 최우선 표본 값이고, x'는 상기 사상 재건 표본을 나타내고, δ는 상기 최대 허용 오차를 나타내고, c는 δ보다 작은 일정한 음 아닌 정수이고, maxVal은 상기 원래 표본의 최대값을 나타내고,
    Figure pat00055
    는
    Figure pat00056
    의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타내고,
    Figure pat00057
    는
    Figure pat00058
    의 값을 최소 0, 최대 maxVal으로 한정하는 클리핑 함수를 나타냄]으로 상기 비사상 재건 표본을 계산하는 단계를 포함하는
    영상 압축 및 저장 시스템의 프레임 압축 방법.
KR1020210033878A 2020-08-07 2021-03-16 영상 압축 및 저장 시스템의 프레임 압축 방법 KR20220019220A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063062963P 2020-08-07 2020-08-07
US202063063004P 2020-08-07 2020-08-07
US63/062,963 2020-08-07
US63/063,004 2020-08-07
US17/070,893 US11503322B2 (en) 2020-08-07 2020-10-14 DPCM codec with higher reconstruction quality on important gray levels
US17/070,893 2020-10-14

Publications (1)

Publication Number Publication Date
KR20220019220A true KR20220019220A (ko) 2022-02-16

Family

ID=75904832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210033878A KR20220019220A (ko) 2020-08-07 2021-03-16 영상 압축 및 저장 시스템의 프레임 압축 방법

Country Status (4)

Country Link
US (2) US11503322B2 (ko)
EP (1) EP3952310A1 (ko)
KR (1) KR20220019220A (ko)
CN (1) CN114071152A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11503322B2 (en) * 2020-08-07 2022-11-15 Samsung Display Co., Ltd. DPCM codec with higher reconstruction quality on important gray levels

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2619307A1 (de) 1976-04-30 1977-11-10 Inst Mat I Mekh Akademii Nauk Multipliziereinrichtung
US6226327B1 (en) 1992-06-29 2001-05-01 Sony Corporation Video coding method and apparatus which select between frame-based and field-based predictive modes
GB2295753B (en) * 1992-09-17 1996-10-16 Sony Uk Ltd Data coding
AU2002228884A1 (en) 2000-11-03 2002-05-15 Compression Science Video data compression system
EP1320266A3 (en) 2001-11-27 2005-09-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding data
EP2302930B1 (en) * 2001-11-27 2015-07-15 Samsung Electronics Co., Ltd. Coding and decoding of a bitstream with a coordinate interpolator
US7026960B2 (en) 2001-11-27 2006-04-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key data
KR100703778B1 (ko) 2005-04-29 2007-04-06 삼성전자주식회사 고속 ｆｇｓ를 지원하는 비디오 코딩 방법 및 장치
US8447121B2 (en) 2005-09-14 2013-05-21 Microsoft Corporation Efficient integrated digital video transcoding
US20090067495A1 (en) 2007-09-11 2009-03-12 The Hong Kong University Of Science And Technology Rate distortion optimization for inter mode generation for error resilient video coding
US8352530B2 (en) 2008-12-08 2013-01-08 International Business Machines Corporation Residue calculation with built-in correction in a floating point unit positioned at different levels using correction values provided by multiplexer
US20100278232A1 (en) 2009-05-04 2010-11-04 Sehoon Yea Method Coding Multi-Layered Depth Images
CN102577379B (zh) 2009-10-05 2017-12-19 汤姆逊许可证公司 用于视频编码和译码中的嵌入量化参数调节的方法和装置
KR101798079B1 (ko) * 2010-05-10 2017-11-16 삼성전자주식회사 픽셀값의 차분을 이용하여 영상 프레임을 부호화하는 방법 및 이를 위한 장치
US8885701B2 (en) 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
GB2484969B (en) 2010-10-29 2013-11-20 Canon Kk Improved reference frame for video encoding and decoding
US9066070B2 (en) * 2011-04-25 2015-06-23 Dolby Laboratories Licensing Corporation Non-linear VDR residual quantizer
US10390046B2 (en) 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
EP2618309A1 (en) 2012-01-19 2013-07-24 Siemens Aktiengesellschaft Methods and devices for pixel-prediction for compression of visual data
US9712185B2 (en) 2012-05-19 2017-07-18 Olsen Ip Reserve, Llc System and method for improved fractional binary to fractional residue converter and multipler
US9319684B2 (en) 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
WO2014064295A1 (en) 2012-10-26 2014-05-01 Universiteit Gent Calibration of monolithic crystal-based detectors
AU2013206815A1 (en) * 2013-07-11 2015-03-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data
US20150264404A1 (en) 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
WO2015176280A1 (en) 2014-05-22 2015-11-26 Microsoft Technology Licensing, Llc Re-encoding image sets using frequency-domain differences
US9628803B2 (en) 2014-11-25 2017-04-18 Blackberry Limited Perceptual image and video coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
GB2551199B (en) 2016-06-10 2019-12-18 Advanced Risc Mach Ltd Video data processing system
US10694200B2 (en) * 2017-01-23 2020-06-23 Samsung Display Co., Ltd. System and method for lightweight high quality image compression for display screens
US11922136B2 (en) 2018-02-23 2024-03-05 The George Washington University Residue arithmetic nanophotonic system
DE102018112215B3 (de) 2018-04-30 2019-07-25 Basler Ag Quantisiererbestimmung, computerlesbares Medium und Vorrichtung, die mindestens zwei Quantisierer implementiert
US10911751B2 (en) 2018-09-14 2021-02-02 Tencent America LLC Method and apparatus for video coding
US11051017B2 (en) 2018-12-20 2021-06-29 Qualcomm Incorporated Adaptive loop filter (ALF) index signaling
US10645386B1 (en) * 2019-01-03 2020-05-05 Sony Corporation Embedded codec circuitry for multiple reconstruction points based quantization
CN109712583B (zh) 2019-02-14 2021-01-01 惠州市华星光电技术有限公司 显示装置的过驱动表的调整方法
EP3764286A1 (fr) 2019-07-10 2021-01-13 STMicroelectronics (Rousset) SAS Procédé et outil informatique de détermination de fonctions de transferts entre des paires de couches successives d'un réseau de neurones
US11272187B2 (en) 2019-08-13 2022-03-08 Tencent America LLC Method and apparatus for video coding
US11503322B2 (en) * 2020-08-07 2022-11-15 Samsung Display Co., Ltd. DPCM codec with higher reconstruction quality on important gray levels

Also Published As

Publication number Publication date
US20230033083A1 (en) 2023-02-02
US11936898B2 (en) 2024-03-19
CN114071152A (zh) 2022-02-18
US20220046264A1 (en) 2022-02-10
EP3952310A1 (en) 2022-02-09
US11503322B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
US20230379484A1 (en) Simplified binary arithmetic coding engine
RU2619886C2 (ru) Кодирование перцепционно-квантованного видеоконтента в многоуровневом кодировании vdr
US10757428B2 (en) Luma and chroma reshaping of HDR video encoding
US11412235B2 (en) Color transform for video coding
KR20220019221A (ko) 영상 압축 및 저장 시스템과 영상 압축 및 해제 방법
CN114598890A (zh) 用于对图像进行编码和解码的方法以及相关装置和系统
JP2022507985A (ja) ピクチャのブロックのイントラ予測の方法
JP2022539937A (ja) 画像成分予測方法、符号化器、復号化器、並びに記憶媒体
KR20010043394A (ko) 정보 스트림 디코더에서 메모리 자원 이용을 증가시키는방법 및 장치
JP2022172137A (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
CN116074516A (zh) 一种图像编解码方法及装置
Kim et al. Fixed-ratio compression of an RGBW image and its hardware implementation
KR20220019220A (ko) 영상 압축 및 저장 시스템의 프레임 압축 방법
WO2024022359A1 (zh) 一种图像编解码方法及装置
Pan et al. Architecture design of full HD JPEG XR encoder for digital photography applications
JP2008271039A (ja) 画像符号化装置及び画像復号化装置
EP4047929A1 (en) Systems and methods for joint color channel entropy
CN110087074A (zh) 图像处理装置和用于操作图像处理装置的方法
KR20100013142A (ko) 프레임 메모리 압축방법
US11244476B2 (en) Systems and methods for low-complexity near lossless fixed-rate hybrid data compression codecs
WO2023203243A1 (en) Video encoder comprising a frame buffer assembly
JP2013126139A (ja) 画像符号化装置、画像復号化装置、画像符復号化システム、画像符号化方法及び画像復号化方法
KR20190091178A (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법