KR102304892B1 - 이미지 프레임의 시퀀스를 코딩하는 방법 및 그 시스템 - Google Patents

이미지 프레임의 시퀀스를 코딩하는 방법 및 그 시스템 Download PDF

Info

Publication number
KR102304892B1
KR102304892B1 KR1020160036370A KR20160036370A KR102304892B1 KR 102304892 B1 KR102304892 B1 KR 102304892B1 KR 1020160036370 A KR1020160036370 A KR 1020160036370A KR 20160036370 A KR20160036370 A KR 20160036370A KR 102304892 B1 KR102304892 B1 KR 102304892B1
Authority
KR
South Korea
Prior art keywords
block
frame
coding
display
sequence
Prior art date
Application number
KR1020160036370A
Other languages
English (en)
Other versions
KR20160116298A (ko
Inventor
스토리츠카 데일
루 닝
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20160116298A publication Critical patent/KR20160116298A/ko
Application granted granted Critical
Publication of KR102304892B1 publication Critical patent/KR102304892B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 디스플레이에 비디오 데이터의 프레임을 전송하기 위한 시스템 및 방법에 관한 것으로, 각 프레임은 복수의 블록으로 분할되고, 각 블록의 데이터는 인트라프레임 코딩과 함께 시간적 참조 코딩을 사용하여 코딩된다. 일 실시예에 따르면, 프레임 시퀀스의 제2 프레임의 한 블록과 제1 프레임의 동일 위치의 해당 블록 사이의 차분을 취하여 차분 블록이 형성된다. 차분 블록은 인트라프레임 코딩을 이용해 코딩되어 코딩된 차분 블록을 형성하고, 코딩된 차분 블록은 디스플레이로 전송된다. 디스플레이의 프로세싱 하드웨어는 프레임 시퀀스를 재구성한다.

Description

이미지 프레임의 시퀀스를 코딩하는 방법 및 그 시스템{METHOD FOR CODING SEQUENCE OF IMAGE FRAMES}
본 발명의 하나 이상의 실시예는 비디오 디스플레이에 관한 것으로, 특히 디스플레이 시스템을 위한 광 코딩 시스템에서 시간적 기준 코딩을 하는 방법 및 그 장치에 관한 것이다.
비디오 데이터를 디스플레에 전송하기 위한 인터페이스는, 만약 완전 비율 비압축 데이터를 전송하는 경우, 상당한 전력을 소비하고 많은 수의 병렬 데이터 채널 또는 고비율 데이터를 전송할 수 있는 데이터 채널을 필요로 할 수 있고, 어떤 경우든 비용을 증가시킨다. 비디오 전자 표준 협회(Video Electronics Standards Association, VESA) 디스플레이 스트림 압축(Display Stream Compression, DSC) 규격과 같이 비디오 데이터를 전송하기 위한 종래 기술 표준은 각 화상 또는 프레임을 개별적으로 압축할 수 있고, 그 결과, 일부 응용 장치에서는 수용될 수 없는 압축비가 얻어질 수 있다.
인트라프레임 코딩은 현재 프레임과 이전 또는 이후의 화상 프레임 사이의 비의존성을 만들 수 있다. 하지만, 시간적 코딩은 기준 프레임을 코딩할 수 있고, 복수의 후속 프레임은 원래 프레임과 기준 프레임 사이의 차분만을 포함하는 예측 프레임일 수 있다. 원래 프레임 없이는 예측 프레임을 디코딩하는 것은 불가능할 수 있고, 이로 인해 한 그룹의 프레임에 대한 평균 압축이 인트라프레임 코딩만을 이용한 방법으로 얻어진 압축보다 상당히 작을 수 있다. 시간적 코딩 코덱의 예로는 MPEG-2, ITU- T Rec., H.264, Rec.H.265 등을 포함한다.
그러나, 개선된 성능을 제공하는 코딩을 위한 방법 및 장치에 대한 필요성이 여전히 존재한다.
본 기재의 실시예들은 디스플레이 시스템을 위한 광 코딩 시스템에서 시간적 기준 코딩을 하는 방법 및 그 장치를 제공하기 위한 것이다.
본 개시의 실시예들은 디스플레이 시스템을 위한 광 코딩 시스템을 이용한 시간적 기준 코딩의 방법 및 장치를 제공하기 위한 것이다.
본 발명의 한 실시예에 따르면, 이미지 프레임들의 시퀀스를 코딩하는 방법이 제공되고, 상기 방법은 상기 이미지 프레임들의 시퀀스의 제1 프레임을 제1 블록을 포함하는 제1 블록군으로 분할하는 단계; 상기 이미지 프레임들의 시퀀스의 제2 프레임을 제2 블록을 포함하는 제2 블록군으로 분할하는 단계, 상기 제2 블록과 상기 제1 블록 사이의 차분을 계산하여 차분 블록을 형성하는 단계; 상기 차분 블록을 코딩하여 코딩된 차분 블록을 형성하는 단계; 그리고 0인 화소 값을 가지는 상기 차분 블록의 화소 위치에서 상기 차분 블록에 의사 랜덤 변화를 추가하는 단계를 포함한다. 여기에서 상기 제2 프레임은 상기 이미지 프레임들의 시퀀스에서 상기 제1 프레임의 바로 다음이고, 상기 제2 프레임 내에서 상기 제2 블록은 상기 제1 블록의 상기 제1 프레임 내에서의 위치와 동일한 위치에 있고, 상기 제2 블록블록은 상기 제1 블록과 동일한 사이즈를 가진다.
한 실시예에 따르면, 상기 코딩된 차분 블록을 디스플레이에 전송하는 단계를 더 포함한다.
한 실시예에 따르면, 상기 복수의 제1 블록의 상기 대응하는 블록을 상기 디스플레이에 전송하는 단계를 더 포함한다.
한 실시예에 따르면, 상기 차분 블록을 코딩하는 단계는 고정 비트 레이트 코딩 프로세스를 이용하여 상기 차분 블록을 코딩하는 단계를 포함한다.
한 실시예에 따르면, 상기 차분 블록을 코딩하는 단계는 가변 비트 레이트 코딩 프로세스를 이용하여 상기 차분 블록을 코딩하는 단계를 포함한다.
한 실시예에 따르면, 0인 화소 값을 가지는 상기 차분 블록의 화소 위치에서 상기 차분 블록에 의사 랜덤 변화를 추가하는 단계를 더 포함한다.
한 실시예에 따르면, 상기 차분 블록을 디코딩하여 디코딩된 차분 블록을 형성하는 단계; 상기 디코딩된 차분 블록을 이전 프레임의 이미지 블록에 추가하여 디스플레이 이미지 블록을 형성하는 단계; 그리고 디스플레이 패널을 이용하여 상기 이미지 블록을 표시하는 단계를 더 포함한다.
한 실시예에 따르면, 0인 화소 값을 가지는 상기 디코딩된 차분 블록의 화소 위치에서 상기 디코딩된 차분 블록에 의사 랜덤 변화를 추가하는 단계를 더 포함한다.
한 실시예에 따르면, 상기 차분 블록의 화소의 값은 8 비트의 이진수로 표현된다.
한 실시예에 따르면, 상기 8 비트의 이진수는 8 비트의 이진 부동 소수점 수이고, 상기 8 비트의 이진 부동 소수점 수는 부호화된 가수부 및 부호화되지 않은 지수부를 포함한.
한 실시예에 따르면, 상기 부호화된 가수부는 4 비트의 부호화된 가수부이고, 상기 부호화되지 않은 지수부는 4 비트의 부호화되지 않은 지수부이다.
본 발명의 한 실시예에 따르면, 시스템이 제공되고, 상기 시스템은 비디오 생성부; 그리고 디스플레이를 포함하고, 상기 비디오 생성부는, 이미지 프레임들의 시퀀스를 생성하고; 상기 이미지 프레임들의 시퀀스의 제1 프레임을 복수의 제1 블록으로 분할하고; 상기 이미지 프레임들의 시퀀스의 제2 프레임을 복수의 제2 블록으로 분할하고, 상기 제2 프레임은 상기 이미지 프레임들의 시퀀스에서 상기 제1 프레임의 바로 다음이고, 상기 복수의 제2 블록의 한 블록은 상기 복수의 제1 블록의 대응하는 블록과 동일한 사이즈를 가지고, 상기 제2 프레임 내에서 상기 복수의 제2 블록의 상기 블록은 상기 복수의 제1 블록의 상기 대응하는 블록의 상기 제1 프레임 내에서의 위치와 동일한 위치에 있고; 상기 복수의 제2 블록의 상기 블록과 상기 복수의 제1 블록의 상기 대응하는 블록 사이의 차분 블록을 형성하고; 그리고 모션 벡터를 이용하지 않고, 상기 차분 블록을 코딩하여 코딩된 차분 블록을 형성하도록 구성되어 있다.
한 실시예에 따르면, 상기 비디오 생성부는 상기 코딩된 차분 블록을 디스플레이에 전송한다.
한 실시예에 따르면, 상기 비디오 생성부는 상기 복수의 제1 블록의 상기 대응하는 블록을 상기 디스플레이에 전송한다.
한 실시예에 따르면, 상기 차분 블록의 코딩은 고정 비트 레이트 코딩 프로세스를 이용하여 상기 차분 블록을 코딩하는 것을 포함한다.
한 실시예에 따르면, 상기 차분 블록의 코딩은 가변 비트 레이트 코딩 프로세스를 이용하여 상기 차분 블록을 코딩하는 것을 포함한다.
한 실시예에 따르면, 상기 비디오 생성부는 0인 화소 값을 가지는 상기 차분 블록의 화소 위치에서 상기 차분 블록에 의사 랜덤 변화를 추가한다.
한 실시예에 따르면, 상기 디스플레이는: 상기 차분 블록을 디코딩하여 디코딩된 차분 블록을 형성하고; 상기 디코딩된 차분 블록을 이전 프레임의 이미지 블록에 추가하여 디스플레이 이미지 블록을 형성하고; 그리고 디스플레이 패널을 이용하여 상기 이미지 블록을 표시한다.
한 실시예에 따르면, 상기 디스플레이는 0인 화소 값을 가지는 상기 디코딩된 차분 블록의 화소 위치에서 상기 디코딩된 차분 블록에 의사 랜덤 변화를 추가한다.
본 발명의 한 실시예에 따르면, 시스템이 제공되고, 상기 시스템은 비디오 생성부; 그리고 디스플레이를 포함하고, 상기 비디오 생성부는: 프레임들의 시퀀스의 제1 프레임을 복수의 제1 블록으로 분할하는 수단; 상기 프레임들의 시퀀스의 제2 프레임을 복수의 제2 블록으로 분할하는 수단, 상기 제2 프레임은 상기 이미지 프레임들의 시퀀스에서 상기 제1 프레임의 바로 다음이고, 상기 복수의 제2 블록의 한 블록은 상기 복수의 제1 블록의 대응하는 블록과 동일한 사이즈를 가지고, 상기 제2 프레임 내에서 상기 복수의 제2 블록의 상기 블록은 상기 복수의 제1 블록의 상기 대응하는 블록의 상기 제1 프레임 내에서의 위치와 동일한 위치에 있고; 상기 복수의 제2 블록의 상기 블록과 상기 복수의 제1 블록의 상기 대응하는 블록 사이의 차분 블록을 형성하는 수단; 그리고 모션 벡터를 이용하지 않고, 상기 차분 블록을 코딩하여 코딩된 차분 블록을 형성하는 수단을 포함한다.
실시예들에 따르면 디스플레이 시스템을 위한 광 코딩 시스템에서 시간적 기준 코딩을 하는 방법 및 그 장치가 제공된다.
도 1은 본 발명의 한 실시예에 따른 코딩 및 디코딩을 보여주는 블록도 및 데이터 흐름 다이어그램이다.
도 2a는 본 발명의 한 실시예에 따른 코딩 및 디코딩을 보여주는 블록도 및 데이터 흐름 다이어그램이다.
도 2b는 본 발명의 한 실시예에 따라, 시간에 따른 화상 에러를 보여주는 그래프이다.
도 3a는 본 발명의 한 실시예에 따라, 16×16 이미지 블록 안에서 래스터 스캔으로 스캔하는 순서를 나타낸다.
도 3b는 본 발명의 한 실시예에 따라, 16×16 이미지 블록 안에서 연속 스캔으로 스캔하는 순서를 나타낸다.
도 3c는 본 발명의 한 실시예에 따라, 16×16 이미지 블록 안에서 코흐 곡선 스캔으로 스캔하는 순서를 나타낸다.
도 4a는 본 발명의 한 실시예에 따라, 원래 이미지의 화소 값을 나타낸 다이어그램이다.
도 4b는 본 발명의 한 실시예에 따라, 제1 프레임에서 양자화된 이미지의 화소 값을 나타낸 다이어그램, 제2 프레임에서 디더링된 이미지의 화소 값을 나타낸 다이어그램, 그리고 평균 이미지의 화소 값을 나타낸 다이어그램이다.
도 5는 본 발명의 한 실시예에 따른 디스플레이를 포함하는 시스템의 블록도이다.
첨부 도면들과 관련하여 아래에서 진술되는 상세한 발명은 본 발명에 따라 제공되는 디스플레이 시스템에 대한 광 코딩 시스템에서 시간적 기준 코딩을 하는 방법 및 그 장치의 예시적인 실시예들에 대한 설명으로서 의도되고 본 발명이 구성되거나 활용될 수 있는 형태들만을 표현하는 것으로 의도되지 않는다. 상세한 설명은 예시되는 실시예들과 관련되는 본 발명의 특징들을 진술한다. 그러나, 본 발명의 사상 및 범위 내에 포함되도록 또한 의도되는 상이한 실시예들에 의해 동일하거나 동등의 기능들 및 구조들이 달성될 수 있음이 이해될 수 있다. 본원 다른 곳에 언급되는 바와 같이, 동일한 요소 번호들은 동일한 요소들 또는 특징들을 표시하도록 의도된다.
본 발명의 실시예들은 종래 기술의 한계를 넘어서 종래 기술에 따른 코딩 시스템 압축비를 확장하며 복잡하지 않은 방법을 제공한다. 일부 실시예에서, 간단한 인트라프레임 코딩과 공지의 예측 기준 이미지에 대한 간단한 시간적 델타 코딩 또는 디더링의 조합이 사용된다. 각 프레임은 독립적으로 디코딩될 수 있고, 렌더링된 화상 품질은 모든 표시 프레임들로부터의 정보를 이용하여 개선될 수 있다. 그 결과, 목표 압축이 종래 기술에 따른 인트라프레임 코딩만을 이용한 경우보다 좋으면서 동일한 품질을 얻을 수 있다. 본 발명의 실시예는 복잡성이 거의 증가하지 않으며 역방향 호환성(backward compatibility)으로 종래 기술에 따른 코딩 시스템을 확장할 수 있다. 본 발명의 실시예들은 래스터 스캔 또는 블록 기반 순서의 스캔에서의 데이터 전송에 적용 가능하다.
광 코딩을 이용한 시간적 기준 코딩은 래스터 스캔 및 블록 기반 시스템에 적용할 수 있다. 예를 들어, 관련 기술의 일부 이미지 및 비디오 압축 기술은 작업 단위로서 정사각형 화상 조각을 얻는다. 정사각형 화상 조각은, 예를 들면, 서브 화소의 8×8 또는 16×16 블록으로 구성될 수 있다.
도 1을 참조하면, 한 실시예에서, 코딩된 이미지 데이터가 저장되고, 한 번에 한 블록씩 순차적으로 전송된다. 블록(b1, b2,..., bn)은 각각 독립적으로 코딩되고 전송된다. 관련 기술의 일부 코딩 시스템은 디스플레이 프로세서에 데이터를 쉽게 제공하기 위해 특정 위치에 블록 크기를 고정하기도 한다. 도 1의 실시예에 따르면. 블록 기반 시스템 및 코딩 및 전송 방법이 이용된다. 관련 기술의 이미지 및 비디오 압축 기술은, 예를 들어 8×8 또는 16×16 서브 화소와 같은 정사각형 화상 조각을 작업 단위로 얻을 수 있다. 본 발명의 실시예에 따르면, 도 1에 도시된 바와 같이. 코딩된 이미지 데이터는 저장되고 한 번에 한 블록씩 순차적으로 전송될 수 있다. 관련 기술의 일부 코딩 시스템은 디스플레이 프로세서에 데이터를 쉽게 제공하기 위해 특정 위치에 블록 크기를 고정할 수 있다. 그러나, 고정된 블록은 코딩 효율에 있어서 비용이 더 들 수 있다. 만약 블록이 주변에서 코딩 공간을 빌려 변할 수 있도록 허용되면, 코딩 효율은 증가될 수 있다. 이는, 예를 들어, 화소의 넓은 영역이 더 많은 영역을 가지도록 하여 이미지의 압축하기 어려운 조각을 에브리지아웃(average out)할 수 있도록 한다.
몇몇 실시예에서 이러한 개념의 하이브리드 방식이 사용된다. 낮은 지연(low latency) 전송을 위해, 하나의 이미지 프레임은 코딩 블록들의 그룹들로 분할된다. 블록의 데이터 크기는 달라질 수 있지만, 각 그룹의 크기는 고정되어 있다. 코딩될 그룹이 하나의 블록인 경우, 이미지는 고정된 블록 크기로 코딩된다고 말한다. 코딩될 그룹이 전체 프레임이면, 이미지는 고정된 프레임 크기로 코딩된다고 말한다(시간적 도메인에서 블록 간 또는 프레임 간 빌리며).
스트리밍과 같이 주어진 전송 대역폭에 대한 지연 예산(latency budget)이 주어지면, 코딩된 프레임 크기를 변화시켜 이미지 및 비디오의 질이 최적화될 수 있으며, 이는 고정 비트 레이트(constant bit rate, CBR)로 지칭될 수 있다. 전송 대역폭이 변할 수 있는 모델에서, 개조된 이미지 및 비디오 코딩은 가변 비트 레이트(variable bitrate, VBR)로 지칭될 수 있다.
디스플레이에서, 허용 가능한 사용자 경험을 제공하기 위해 낮은 지연이 바람직할 수 있다. 고정 크기의 코딩은 그러한 낮은 지연을 제공할 수 있다. 또한, 디스플레이 패널의 화소 배열은, 공간적으로 각 블록이 고정된 채로, 라인 스캔에서 블록 기반 순서 스캔으로 변경될 수 있다. 일부 실시예에서, 디스플레이 (수신기) 프레임 버퍼들은 렌더링을 위한 이미지를 저장한다.
디스플레이는 동작시, 렌더링을 위한 이미지를 저장하는 프레임 버퍼 (도 1에서 RX 프레임 메모리)에서 블록 그룹을 수신한다. 수신기의 프레임 버퍼들은, 이미지가 정지 이미지이거나(즉, 프레임 간 차이가 없음) 이미지가 변하는 경우(시간적으로 작은 차이), 전력 절약상 유용할 수 있다. 높은 비율의 모션이 있어도, 순차적 프레임 간의 시간적 차분은 작을 수 있다. 그 차분이 각 프레임을 개별적으로 완전히 코딩하기 위해 필요한 양자화보다 평균적으로 작다면, 시간적 기준 이미지와 다음 이미지 사이의 차분 코딩을 이용하면 양(positive)의 코딩 이득을 얻을 수 있다. 디스플레이 프레임은 다수의 위치에서 유사하거나 동일할 수 있으므로, 시간적 상관 관계는 유리할 수 있다.
도 2a 및 도 2b를 참조하면, 몇몇 실시예에서, 디스플레이 이미지 데이터를 전송하는 대신, 초기 이미지가 전송된 후 시간적 차분 데이터만을 압축하여 전송한다. 계산 편의상, 시간적 기준 코딩은 새로운 블록의 예측된 메모리 안에서 동일한 공간에 위치하는 블록과의 차분을 취한다. 코딩은 각 차분 프레임을 코딩하기 위해 필요한 양자화를 줄여 프로그램된 비트 레이트의 품질을 개선할 수 있다. CBR 코딩에서, 화소 당 비트의 하위 타겟 넘버에서의 이미지 질은 인트라프레임 코딩에 비해 개선될 수 있다. VBR 코딩에 대해서, 시스템은 시간적 데이터 정보만을 포함하는 적은 데이터를 송신할 수 있고, 이에 따라 전력 소모를 줄일 수 있다. 어떤 경우든, 디코더는 프로세스를 반대로 할 수 있다. 디코더는 로컬 프레임 버퍼에 저장된 기준 블록을 포함한다.
압축된 손실 포맷의 시간적 차분을 작은 데이터 레이트로 전송하면서, 디스플레이 품질은 높게 유지된다. 디스플레이 품질은 관찰자가 시각적으로 무손실 압축을 보도록 여러 가지 방법으로 조절될 수 있다. 정지 이미지의 경우, 디스플레이 이미지는, 도 2b에 도시된 바와 같이, 시간 경과에 따라 수학적으로 무손실(완벽)인 것으로 개선될 수 있다. 수신된 제1 데이터 블록이 손실이 있어 에러를 포함하는 경우, 생성된 이미지가 원래 이미지에 대하여 완벽할 때까지 후속 데이터 블록들이 오류를 정정하기 위해 사용된다. 이와 유사하게, 작은 모션이 차분 코딩에서 작게 양자화될 수 있고(예를 들어, 더 나은 품질이 얻어짐), 큰 모션은 관련 기술의 시스템으로 생성된 품질보다 나쁘지 않은 품질을 얻을 수 있다. 또한, 빠른 모션은 에러를 가릴 수 있으며, 육안으로는 어떠한 경우에도 에러를 인식하기 어려울 수 있다. 일부 실시예에서, 시간적 차분 방법은 높은 데이터 전송 효율뿐 아니라 향상된 디스플레이를 위한 새로운 핵심 기술을 제공한다.
한 실시예에 따르면, DSC 또는 CBR 모드를 사용하는 다른 광 코딩 시스템은 시간적 기준 코딩 확장을 추가하도록 구성된 코딩 시스템을 이용하여 확장될 수 있다. 한 예에서, 시간적 기준 코딩 확장은 기존의 인트라프레임 코딩 메커니즘(코어 코딩)을 사용한다. 코딩 시스템은 다양한 코딩 시스템의 관련 기술의 예측 방법을 이용하여 시간적 디자인으로 확장된다. 예를 들어, 코딩 시스템은 코어 코딩, 수정된 중앙값 적응형 예측(Modified Median Adaption Prediction, MMAP), 중간 지점 예측(Mid-point Prediction, MP) 및 다른 시스템 내에서 동작한다. 코딩 시스템은 예측된 슬라이스에 대한 시간적 차분 데이터를 가산함으로써 동작하고, 래스터 스캔 구성과 호환 가능하다. 수신기로 전송된 각각의 새로운 슬라이스(프레임)에 대해, 새로운 슬라이스와 이전 슬라이스 사이의 시간적 차분이 계산된다. 두 프레임 사이의 시간적 차분은 기존의 인트라프레임 코딩(코어 코딩)을 이용해 코딩될 수 있다. 그 결과, 어떠한 주어딘 비트 레이트 타겟 및 메모리 할당에 대해 품질이 향상될 수 있고, 라인 버퍼 디자인이 개선될 수 있다.
몇몇 실시예에서, 차분 데이터를 송신하기 위해 부호화되지 않은 지수와 함께 8 비트의 부호화된 부동 소수점 표현이 사용될 수 있다(이는 8 비트 시간적 부가 데이터로 지칭될 수 있다). 각 8 비트 데이터에 대해, 4 비트는 부호화되지 않은 2 승수의 파워(즉, 지수부)로 사용되고, 1 비트는 가수부(significand)의 부호로 사용되고, 3비트는 가수부의 상위 3 비트(최상위)로 사용된다. 이러한 표현을 사용하여, 어떠한 19 비트의 부호 있는 숫자도 좋은 정확도로 근사될 수 있다. 정적 데이터의 경우, 이러한 표현 방법은 6 프레임 내에서 수학적으로 무손실일 수 있다.
예를 들어, 전송될 정수 값이 1513인 경우, 이는 2진 포맷으로 1513 = 1024 + 256 + 128 + 64 + 32 + 8 + 1 = 0101 1110 1001와 같은 비트, 즉 12비트로 표현될 수 있다. 최상위 1부터 시작하는 상위 (최상위) 3비트는 256(28, 즉 파워는 8)이다. 따라서, 정수 1513이 8 비트의 폼: SMMMEEEE (S-부호, M-최상위 비트(즉, 가수부), E-승수의 파워(즉, 지수부))으로 표현되면 0 101 1000이 된다. 여기서, 부호 필드 S(첫 번째 비트, 즉, 0), 가수부 MMM (그 다음 세 비트, 즉, 101) 및 지수부 EEEE(최종 네 비트, 즉, 1000) 사이의 경계를 나타내기 위해 공간이 삽입되었다. 이러한 8비트 숫자(0101 1000)는 수 1280 (= 1024 + 256)을 나타내고, 중간 프레임(예를 들어, 제1 프레임)에서 값 1513으로 근사될 수 있다. 이러한 예에서, 중간 프레임 Frame 1 에서, 값 1280이 1513 대신 사용될 것이다. 그 다음 프레임은 나머지 233의 224를 더할 것이다:
비트로(예를 들어, 2진 포맷), 233 = 128 + 64 + 32 + 8 + 1 = 1110 1001.
8 비트의 SMMMEEEE 부동 소수점 표현에서, 233은
111b x 25 => 0 111 0101 => 224로 표현된다.
따라서, 프레임 2에서, 값 1504 (= 1280 + 224 )이 표시될 것이다. 그리고 두 프레임 후에, 시스템은 제3 프레임에서 그 나머지:
비트로(예를 들어, 2진 포맷), 9 = 8 + 1 = 1001 을 보낼 것이다.
8 비트 SMMMEEEE 부동 소수점 표현에서, 9는
100b x 2 => 0 100 0001 => 8 로 표현된다.
2진 표현 0 100 0001은 SMMMEEE 부동 소수점 표현법에서 정수 8을 표현하는 유일한 방법은 아니고, 예를 들어 0 001 0011로도 표현될 수 있다. 따라서 값 1512이 프레임 3에서 표시될 것이다. 다음, 값 1513이 4번째 및 후속 프레임에서 표시될 것이다.
순차적으로 한 값으로 근사하도록 전송되는 숫자의 시퀀스는 유일하지 않고, 예를 들어, 위에서 설명한 바와 다른 시퀀스가 사용될 수 있으며, 표시 이미지의 더 높은 품질을 얻을 수도 있다. 예를 들어, 같은 값 1513은 아래와 같이 분해될 수 있다:
1513 = (1024 +512) - (16+4) - (2+1),
즉, 세 개의 부동 소수점 숫자 01101000, 11010010, 그리고 10110000 가 대신 전송되어 처음 3개의 프레임에서의 값은 대신 1536, 1516 및 1513이 될 것이다.
따라서, 12 비트 블록의 데이터를 전송하는 것은 손실 포맷에서 8 비트 블록의 데이터로 축약되어 이미지가 변하지 않는 경우 충실도를 개선할 수 있다. 일부의 경우, 디스플레이 장치는 비디오 소스가 새로운 것을 제공하는 속도보다 훨씬 더 높은 비율로 리프레시될 수 있다. 예를 들어, 디스플레이는 240 Hz로 리프레시될 수 있지만, 비디오는 초당 30 프레임으로 기록될 수 있다. 이러한 차이로 인해 비디오의 동일한 프레임이 8개의 연속한 프레임에서 표시될 수 있다. 이러한 예를 이용하여, 표시되는 처음 2개의 프레임은 원래 이미지에 비해 약간의 왜곡을 나타낼 것이다. 그러나, 두 번째 프레임에 이르러 에러가 상대적으로 작을 수 있고, 세 번째부터 여덟 번째 프레임에 대해서 이미지는 무손실이 되고 사용자의 디스플레이에 대한 인식은 무손실일 수 있다.
일반적으로, 이미지 프레임들의 시퀀스를 송신할 때 각 프레임은 복수의 블록으로 분할될 수 있다. 블록 분할은 각 영상 프레임, 즉 프레임들 중 하나의 각 블록에 대해 이미지 프레임들의 시퀀스의 다른 프레임들 각각에서 동일한 사이즈 및 동일한 위치를 가지는 대응하는 블록이 존재할 수 있다. 차분들은 블록 별로 코딩(또는 인코딩)될 수 있거나, 블록들이 블록의 그룹들로 그루핑되고 차분들이 각 그룹에 대해 인코딩될 수 있다.
한 실시예에서, 송신기는 손실 코딩을 사용하여 전송될 제1 이미지 블록을 인코딩하여 제1 인코딩 블록을 형성하고, 제1 인코딩 블록을 디스플레이에 전송한다. 다음, 송신기는 수신기(즉, 디스플레이)에서 사용되는 동일한 프로세스를 이용하여 첫 번째 블록을 디코딩하여 제1 디스플레이 블록을 형성한다. 제1 디스플레이 블록은 손실 코딩에 의해 도입된 에러를 포함한다. 디스플레이에서, 수신기는 또한 제1 인코딩 블록을 디코딩하여 제1 디스플레이 블록을 형성하고, 디스플레이는 이를 표시한다. 다음, 송신기는 전송될 제2 이미지 블록과 제1 디스플레이 블록 사이의 차분으로서의 제1 차분 블록을 형성한다. 이러한 제 1 차분 블록은 인코딩되어 제1 인코딩 차분 블록을 형성하고, 이는 디스플레이로 전송된다. 디스플레이에서, 제1 인코딩 차분 블록은 디코딩되어 제1 디코딩 차분 블록을 형성하고, 제1 디코딩 차분 블록은 (표시된 후 예측 메모리에 있는) 제1 디스플레이 블록에 더해져 제2 디스플레이의 블록을 형성하고, 제2 디스플레이 블록이 표시된다.
전송될 제3 이미지 블록은 유사한 방식으로 처리될 수 있다. 송신기는 수신기에서 사용되는 동일한 프로세스를 이용하여 제2 디스플레이 블록을 형성한 다음 제3 이미지 블록과 제2 디스플레이 블록 사이의 차분으로서의 제2 차분 블록을 형성한다. 송신기는 제2 차분 블록을 인코딩하여 제2 인코딩 차분 블록을 형성하고, 디스플레이는 그것을 디코딩하여 제2 디코딩 차분 블록을 형성하고, 제2 디코딩 차분 블록을 제2 디스플레이 블록에 더하여 제3 디스플레이 블록을 형성하고 제3 디스플레이 블록을 표시한다. 상기 코딩(또는 인코딩)은 어떤 순서로든 CBR 또는 VBR 인코딩 및/또는 DSC 및/또는 8 비트 부동 소수점 표현과 같은 부동 소수점 표현을 이용하여 화소 데이터를 표현(예를 들어, 정수)하는 것을 수반할 수 있고, 상기 디코딩은 역순으로 수행되는 상응하는 디코딩 동작을 수반할 수 있다.
다른 실시예에 따르면, 시스템은 블록 기반 디스플레이를 어드레싱으로 전환될 수 있는 압축 화소 데이터의 블록 기반 입력을 받아들인다. 디스플레이는 각 블록 내에서의 래스터 스캔을 하면서 블록들 안의 로컬 열 및 행의 배치들이 업데이트될 수 있다. 블록 내의 화소 순서는 더 나은 하드웨어 구현을 위해 사용자에 맞춰질 수 있다. 예를 들어, 도 3a 내지 도 3c는 16×16 블록에 대한 세 가지 효율적인 인트라 블록 스캐닝 방법을 도시한다. 사용되는 방법은 디스플레이 기술 및 액티브 매트릭스 패널 안에서의 전통적인 "행" 및 "열" 어드레싱 방식에 의존할 수 있다. 디스플레이의 리프레시 레이트가 콘텐츠 캡쳐 레이트보다 훨씬 더 높을 수 있다는 것을 고려하면, 차분 데이터의 시간적 디더링은 8 비트 채널 미만을 사용하여 하이 다이내믹 레인지(HDR) 데이터를 표시하는 데 효과적인 방법일 수 있다.
일부 실시예에 따르면, 시간적 디더링은 화소 고정성(stickiness)을 감소시킬 수 있다. 일부 디스플레이에서는, 패널의 수명은 오랜 시간 동일한 위치에서 동일한 화소 값을 표시함으로써 발생하는 컬러 고정성의 결과로 감소될 수 있다. 일부 실시예에서, 이러한 수명의 감소는 화소 값을 시간적으로 디더링하여, 즉 시간적으로 어떤 랜덤한 변화를 추가하여 완화될 수 있다. 어느 화소가 디더링으로 인해 이득을 보는지를 추적하기 위해 로직이 디스플레이에 추가될 수 있다. 시간적 차분 데이터가 디스플레이로 전송되면, 시간적 차분 데이터는 어느 화소가 디더링되어야 하는지 추적하는데 사용될 수 있고, 이에 따라 추가적인 로직이 불필요할 수 있다. 예를 들어, 0인 차분은 디더링되어야 하는 화소를 식별하고, 이 정보는 자동으로 시간적 디더링 엔진을 시작시키는 데 사용될 수 있다. 랜덤한 변화(즉, 디더링)는 디스플레이 패널의 수명을 연장하기 위해 디스플레이를 구동하는 그래픽 프로세서에 추가되거나 수신기(예를 들어, 디스플레이의 수신기)에 추가될 수 있다.
에러 전파 전송을 제어하기 위해, 시간적 기준 코딩을 하지 않는 경우보다 훨씬 낮은 레이트로 전체 프레임을 리프레시하기 위해 비 차분 데이터를 끼울 수 있다. 예를 들어 양자화된 것이 2인 경우, 도 4a에 도시된 원래 프레임에 대해, 도 4b의 왼쪽의 두 프레임이 표시될 수 있고, 도 4b의 가장 오른쪽과 같이 평균이 될 수 있으며, 이는 원래 프레임과 같다(즉, 평균 이미지는 원래 프레임과 동일하다).
제1 실시예에서, 고정 비트 레이트 코딩(CBR 코딩)이 사용된다. 본 실시예는 간단한 시간적 기준 코딩 확장을 이용한 CBR 모드를 사용하는 경우 DSC 또는 다른 광 코딩 시스템을 확장할 수 있다. 본 실시예는 관련 기술의 인터프레임 코딩(코어 코딩)을 사용할 수 있고, 수정된 중앙값 적응형 예측(MMAP) 또는 중간 지점 예측(MP) 방법과 같이 코어 코딩에서 사용될 수 있는 관련 기술의 예측 방법들을 시간적 디자인으로 확장할 수 있다. 본 실시예는 예측된 슬라이스 대한 시간적 차분을 추가할 수 있고, 역방향 호환성을 위한 래스터 스캔과 함께 사용될 수 있다. 메모리 할당 및 라인 버퍼 디자인은 디스플레이로의 블록 (슬라이스) 기반 입력을 이용하여 개선될 수 있다. 제1 실시예는 디스플레이로의 래스터 스캔 기반 입력에 적용할 수 있고, DSC 및 간단한 시간적 기준 압축 확장을 이용하는 광 코딩 시스템을 확장할 수 있다.
이는 다음과 같이 구현될 수 있다. 시스템은 새로운 슬라이스 및 이전 예측된 슬라이스 사이의 시간적 차분을 계산할 수 있다. 그 후 두 프레임 사이의 시간적 차분은 관련 기술의 인트라 코딩(코어 코딩)을 이용하여 코딩될 수 있다. 본 실시예는 어떤 주어진 비트 레이트에서도 품질을 향상시킬 수 있고, 역방향 호환성을 위한 래스터 스캔과 함께 사용될 수 있으며, 블록 (슬라이스) 기반 입력을 이용하여 메모리 할당 및 라인 버퍼 디자인을 향상시킬 수 있다.
제2 실시예에 따르면, 가변 비트 레이트 코딩(VBR 코딩)이 사용된다. 본 실시예는 간단한 시간적 기준 코딩 확장을 이용한 VBR 모드에서 사용되는 경우 DSC 또는 다른 광 코딩 시스템을 확장한다. 본 실시예는 관련 기술의 인터프레임 코딩(코어 코딩)을 사용할 수 있다; 예를 들어, 두 프레임 사이의 시간적 차분을 계산하고 존재하는 인트라프레임 수단(코어 코딩)으로 코딩할 수 있다. VBR 코딩은 코딩될 이전에 예측된 프레임으로부터의 차분만을 허용하고, 그 결과 데이터 및 소비 전력이 감소될 수 있다. 본 실시예는 역방향 호환성을 위한 래스터 스캔과 함께 사용될 수 있고, 블록 (슬라이스) 기반 입력을 이용하여 메모리 할당 및 라인 버퍼 디자인을 향상시킬 수 있으며, 디스플레이로의 래스터 스캔 기반의 입력에 적용할 수 있다. 제2 실시예에서, 시스템은 새로운 슬라이스 및 이전 예측된 슬라이스 사이의 시간적 차분을 계산할 수 있다. VBR 코딩은 디스플레이 링크를 통해 전송될 이전 예측된 프레임으로부터의 차분만을 허용하고, 이에 따라서 데이터 페이로드 및 전력을 줄일 수 있다; 이는 링크가 수면 상태로 있을 수 있게 할 수 있다. 여기서 사용된 "수면" 상태는 어떠한 전력 저감 관리 모드로, 예를 들어 "동면" 상태라고도 할 수 있다. 이와 같은 전력 저감 관리 모드에서 링크는 데이터를 보내지 않거나 데이터를 상당히 감소된 데이터 레이트로 전송할 수 있다.
제3 실시예에 따르면, 시스템은 블록-기반 디스플레이 어드레싱으로 전환될 수 있는 압축 화소 데이터의 블록-기반의 입력을 수용한다. 디스플레이는 각 블록 내에서의 래스터 스캔을 하면서 블록들 안의 로컬 열 및 행의 배치들이 업데이트될 수 있다. 블록 내의 화소 순서는 더 나은 하드웨어 구현을 위해 예를 들어 도 3a 내지 도 3c에 도시한 바와 같이 사용자에 맞춰질 수 있다.
도 5를 참조하면, 한 실시예에서, 비디오 생성부(예를 들어, 그래픽 카드)(712)를 포함하는 컴퓨터(710)와 같은 비디오 데이터를 생성하는 시스템은 디스플레이 패널(725) 및 디스플레이 프로세서(714)(예를 들어, 타이밍 콘트롤러(TCON))를 포함하는 디스플레이(715)에 데이터 링크(720)를 통하여 연결되어 있다. 비디오 생성부(712)는 비디오 데이터를 생성하고, 비디오 데이터를 본 발명의 한 실시예에 따른 방법을 이용하여 비디오 데이터를 인코딩한다. 디스플레이 프로세서(714)는 인코딩된 비디오 데이터를 수신하고, 이를 디코딩한 후 디코딩된 비디오 데이터를 디스플레이 패널(725)에 표시한다. 여기서, 본 발명의 한 실시예에 따르면, 디스플레이 패널(725)은 유기 발광 다이오드(OLED) 디스플레이 패널 또는 액정 디스플레이(LCD) 패널일 수 있다.
"제1", "제2", "제3" 등과 같은 용어가 다양한 요소, 성분, 영역, 층 및/또는 섹션을 설명하기 위해 여기에 사용될 수 있지만, 이러한 요소, 성분, 영역, 층 및/또는 섹션은 이러한 용어에 의해 한정되어서는 안 된다는 것이 이해될 것이다. 이들 용어는 다른 요소, 성분, 영역, 층 또는 섹션으로부터 하나의 요소, 성분, 영역, 층 또는 섹션을 구분하기 위해 사용된다. 따라서, 후술하는 제1 요소, 성분, 영역, 층 또는 섹션은 본 발명의 사상 및 범위를 벗어나지 않고, 제2 요소, 성분, 영역, 층 또는 섹션으로 칭해질 수 있다.
"아래", "하위", "하부", "밑", "위", "상위" 등과 같은 공간적으로 상대적인 용어는 도면에 나타내어진 다른 요소(들) 또는 피쳐(들)에 대한 하나의 요소 또는 특징의 관계를 기술하는 설명의 편의를 위해 여기에 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시된 방향 외에도, 사용 또는 동작 중인 디바이스의 상이한 방향을 포함하도록 의도되었다는 것이 이해될 것이다. 예를 들어, 도면의 디바이스가 뒤집힌다면, 다른 요소 또는 특징의 "하위" 또는 "아래" 또는 "밑"으로 설명된 요소는 다른 요소 또는 특징의 "위"로 배향될 것이다. 따라서, "하위" 및 "밑"이라는 예시적인 용어는 위 아래의 방향 모두를 포함할 수 있다. 디바이스는 다르게 배향될 수 있으며(예를 들어 90도 또는 다른 방향으로 회전), 여기에 사용되는 공간적으로 상대적인 설명은 그에 따라 해석되어야 한다. 또한 어떤 층이 두 층 "사이"에 위치한다고 칭해질 때 두 층 사이에 그 층만이 위치할 수도 있고 하나 이상의 중간 층이 더 위치할 수도 있음으로 이해되어야 한다.
여기에서 사용되는 용어는 단지 특정 실시예를 설명하기 위한 것이며, 본 발명의 사상을 한정하려는 의도가 아니다. 여기에서 사용되는 "실질적으로", "대략"과 같은 용어 및 유사 용어는 정도의 용어로서가 아니라 근사의 용어로서 사용되었으며, 본 기술 분야의 당업자에 의해 인식되는 측정 또는 계산된 값의 본질적인 편차를 고려하도록 의도된 것이다. 여기에서 사용된 "주요 구성 요소"라는 용어는 한 구성의 무게적으로 적어도 반을 구성하는 요소를 의미하고, 복수의 아이템에 적용될 때 있어서"주요 부분"은 그 아이템들의 적어도 반을 의미한다.
여기에서 사용된 바와 같이, 단수 형태의 "어느(a)", "어떤(an)" 및 "그(the)"는 문맥이 명백히 다르게 제시하지 않는 한, 복수형도 포함하는 것으로 의도된다. 본 명세서에서 사용되었을 때의 "포함하는", "포함하고 있는", "갖는" 및 "갖고 있는"과 같은 용어는 언급된 특징, 숫자, 스텝, 동작, 요소 및/또는 성분의 존재를 특정하지만, 하나 이상의 다른 특징, 숫자, 스텝, 동작, 요소, 성분 및/또는 그 그룹의 존재 또는 추가를 배제하지 않는다는 것이 또한 이해될 것이다. 여기에서 사용되는 "및/또는"이라는 용어는 하나 이상의 관련된 열거 항목의 임의의 그리고 모든 조합을 포함한다. 요소의 열거에 선행할 때의 "적어도 하나의"와 같은 표현은 요소들의 전체 열거를 수식하고, 열거의 개별 요소를 수식하지 않는다. 나아가, 본 발명의 실시예를 설명할 때의 "할 수 있다"의 사용은 "본 발명의 하나 이상의 실시예"를 칭하는 것이다. "예시적인"이라는 용어는 예 또는 예시를 칭하는 것으로 의도된 것이다. 여기에서 사용되는 "사용하다", "사용하는" 및 "사용되는"과 같은 용어는 "이용하다", "이용하는" 및 "이용되는"이라는 용어와 각각 동의어로 고려될 수 있다.
한 요소 또는 층이 다른 요소 또는 층 "상"에 있거나, "접속되거나", "연결되거나" 또는 "인접한" 것으로 칭해질 때, 다른 요소 또는 층의 직접적으로 그 상에 있거나, 접속되거나 연결될 수 있거나, 인접할 수 있거나, 하나 이상의 중간 요소 또는 층이 존재할 수 있다는 것이 이해될 것이다. 이에 반해, 요소 또는 층이 다른 요소 또는 층의 "직접 위에 위치"하거나, "직접 접속하거나", "직접 연결되어 있거나"또는 "바로 인접"한다고 칭해질 경우 다른 중간 요소 또는 층이 존재하지 않는 것으로 이해되어야 한다.
본 명세서에서 인용된 임의의 수치적 범위는 인용된 범위 내에서 포함되는 동일한 수치적 정밀도의 모든 하위-범위들을 포함하도록 의도된다. 예를 들어, "1.0 내지 10.0"의 범위는 1.0의 인용된 최소 값과 10.0의 인용된 최대 값 간의 (및 이를 포함하는) 모든 하위 범위들, 즉 예를 들어, 2.4 내지 7.6과 같이, 1.0보다 크거나 이와 동일한 최소 값 및 10.0과 같거나 이보다 작은 최대 값을 갖는 하위범위를 포함하는 것으로 의도된다. 본 명세서에서 인용된 임의의 최대 수치적 한정사항은 그 내에 포함된 모든 하위 수치적 한정사항들을 포함하는 것으로 의도되며, 본 명세서에서 인용된 임의의 최소 수치적 한정사항은 그 내부에 포함된 모든 보다 높은 수치적 한정사항들을 포함하는 것으로 의도된다.
본 명세서에서 기술된 본 발명의 실시예들에 따른, 비디오 데이터의 인코딩 및 디코딩 장치 및/또는 다른 어떤 관련 장치 또는 구성 요소들은 임의의 적합한 하드웨어, 펌웨어(예를 들어, 애플리케이션-특정 집적 회로), 소프트웨어, 또는 소프트웨어, 펌웨어, 및 하드웨어의 조합을 이용하여서 구현될 수 있다. 예를 들어, 이러한 디바이스들의 다양한 컴포넌트들은 단일 집적 회로(IC) 칩 상에 또는 개별 IC 칩들 상에 형성될 수 있다. 또한, 이러한 디바이스들의 다양한 컴포넌트들은 플렉시블 인쇄 회로필름, 테이프 캐리어 패키지(TCP), 인쇄 회로보드(PCB) 상에서 구현될 수 있으며, 또는 하나의 기판 위에 형성될 수도 있다. 또한, 이러한 디바이스들의 다양한 컴포넌트들은 본 명세서에서 기술되는 다양한 기능들을 수행하기 위해서 컴퓨터 프로그램 인스트럭션들을 실행하고 다른 시스템 컴포넌트들과 상호작용하는, 하나 이상의 컴퓨팅 디바이스들 내의, 하나 이상의 프로세서들 상에서 실행되는, 프로세스 또는 쓰레드일 수 있다. 컴퓨터 프로그램 인스트럭션들은 예를 들어 랜덤 액세스 메모리(RAM)와 같은 표준 메모리 디바이스를 사용하여서 컴퓨팅 디바이스 내에서 구현될 수 있는 메모리 내에 저장된다. 컴퓨터 프로그램 인스트럭션들은 또한 예를 들어, CD-ROM, 플래시 드라이브, 등과 같은 다른 비-일시적 컴퓨터 판독가능한 매체 내에 저장될 수도 있다. 본 기술 분야의 당업자는 본 발명의 예시적인 실시예들의 사상 및 범위를 벗어나지 않으면서, 다양한 컴퓨팅 디바이스들의 기능들이 단일 컴퓨팅 디바이스 내로 조합 또는 통합되거나, 특정 컴퓨팅 디바이스의 기능들이 하나 이상의 다른 컴퓨팅 디바이스들에 거쳐서 분산될 수 있다는 것을 인식해야 한다.
디스플레이 시스템 용 광 코딩 시스템을 이용한 시간적 기준 코딩 방법 및 장치의 예시적인 실시예들이 본 명세서에서 구체적으로 기술 및 예시되었지만, 수많은 수정사항들 및 변경 사항들이 본 기술 분야의 당업자에게 명백할 것이다. 따라서, 본 발명의 원리들에 따른 디스플레이 시스템 용 광 코딩 시스템을 이용한 시간적 기준 코딩 방법 및 장치는 본 명세서에서 특정하게 기술된 것과는 달리 구현될 수 있다는 것이 이해되어야 한다. 또한, 본 발명은 다음의 청구항들 및 이의 균등 범위들 내에서 규정된다.

Claims (20)

  1. 이미지 프레임들의 시퀀스를 코딩하는 방법으로서,
    상기 이미지 프레임들의 시퀀스의 제1 프레임을 제1 블록을 포함하는 제1 블록군으로 분할하는 단계,
    상기 이미지 프레임들의 시퀀스의 제2 프레임을 제2 블록을 포함하는 제2 블록군으로 분할하는 단계,
    상기 제2 블록과 상기 제1 블록의 차분을 계산하여 차분 블록을 형성하는 단계,
    상기 차분 블록을 코딩하여 코딩된 차분 블록을 형성하는 단계, 그리고
    0인 화소 값을 가지는 상기 차분 블록의 화소 위치에서 상기 차분 블록에 의사 랜덤 변화를 추가하는 단계
    를 포함하며,
    상기 제2 프레임은 상기 이미지 프레임들의 시퀀스에서 상기 제1 프레임의 바로 다음이고,
    상기 제2 프레임 내에서 상기 제2 블록은 상기 제1 블록의 상기 제1 프레임 내에서의 위치와 동일한 위치에 있고,
    상기 제2 블록은 상기 제1 블록과 동일한 사이즈를 가지는
    방법.
  2. 제1항에서,
    상기 코딩된 차분 블록을 디스플레이에 전송하는 단계를 더 포함하는 방법.
  3. 제2항에서,
    상기 제1 블록을 상기 디스플레이에 전송하는 단계를 더 포함하는 방법.
  4. 제1항에서,
    상기 차분 블록을 코딩하는 단계는 고정 비트 레이트 코딩 프로세스를 이용하여 상기 차분 블록을 코딩하는 단계를 포함하는 방법.
  5. 제1항에서,
    상기 차분 블록을 코딩하는 단계는 가변 비트 레이트 코딩 프로세스를 이용하여 상기 차분 블록을 코딩하는 단계를 포함하는 방법.
  6. 삭제
  7. 제1항에서,
    상기 차분 블록을 디코딩하여 디코딩된 차분 블록을 형성하는 단계;
    상기 디코딩된 차분 블록을 이전 프레임의 이미지 블록에 추가하여 디스플레이 이미지 블록을 형성하는 단계; 그리고
    디스플레이 패널을 이용하여 상기 이미지 블록을 표시하는 단계
    를 더 포함하는 방법.
  8. 삭제
  9. 제1항에서,
    상기 차분 블록의 화소의 값은 8 비트의 이진수로 표현되는 방법.
  10. 제9항에서,
    상기 8 비트의 이진수는 8 비트의 이진 부동 소수점 수이고,
    상기 8 비트의 이진 부동 소수점 수는 부호화된 가수부 및 부호화되지 않은 지수부를 포함하는
    방법.
  11. 제10항에서,
    상기 부호화된 가수부는 4 비트의 부호화된 가수부이고,
    상기 부호화되지 않은 지수부는 4 비트의 부호화되지 않은 지수부인
    방법.
  12. 비디오 생성부, 그리고
    디스플레이
    를 포함하며,
    상기 비디오 생성부는,
    이미지 프레임들의 시퀀스를 생성하고,
    상기 이미지 프레임들의 시퀀스의 제1 프레임을 제1 블록을 포함하는 제1 블록군으로 분할하고,
    상기 이미지 프레임들의 시퀀스의 제2 프레임을 제2 블록을 포함하는 제2 블록군으로 분할하고,
    상기 제2 블록과 상기 제1 블록의 차분을 계산하여 차분 블록을 형성하고,
    상기 차분 블록을 코딩하여 코딩된 차분 블록을 형성하고,
    0인 화소 값을 가지는 상기 차분 블록의 화소 위치에서 상기 차분 블록에 의사 랜덤 변화를 추가하며,
    상기 제2 프레임은 상기 이미지 프레임들의 시퀀스에서 상기 제1 프레임의 바로 다음이고,
    상기 제2 프레임 내에서 상기 제2 블록은 상기 제1 블록의 상기 제1 프레임 내에서의 위치와 동일한 위치에 있고,
    상기 제2 블록은 상기 제1 블록과 동일한 사이즈를 가지는
    시스템.
  13. 제12항에서,
    상기 비디오 생성부는 상기 코딩된 차분 블록을 디스플레이에 전송하는 시스템.
  14. 제13항에서,
    상기 비디오 생성부는 상기 제1 블록을 상기 디스플레이에 전송하는 시스템.
  15. 제12항에서,
    상기 차분 블록의 코딩은 고정 비트 레이트 코딩 프로세스를 이용하여 상기 차분 블록을 코딩하는 것을 포함하는 시스템.
  16. 제12항에서,
    상기 차분 블록의 코딩은 가변 비트 레이트 코딩 프로세스를 이용하여 상기 차분 블록을 코딩하는 것을 포함하는 시스템.
  17. 삭제
  18. 제12항에서,
    상기 디스플레이는:
    상기 차분 블록을 디코딩하여 디코딩된 차분 블록을 형성하고;
    상기 디코딩된 차분 블록을 상기 제1 블록에 추가하여 디스플레이 이미지 블록을 형성하고; 그리고
    디스플레이 패널을 이용하여 상기 이미지 블록을 표시하는
    시스템.
  19. 삭제
  20. 비디오 생성부, 그리고
    디스플레이
    를 포함하며,
    상기 비디오 생성부는 이미지 프레임들의 시퀀스를 생성하고,
    상기 비디오 생성부는,
    프레임들의 시퀀스의 제1 프레임을 제1 블록을 포함하는 제1 블록군으로 분할하는 수단,
    상기 프레임들의 시퀀스의 제2 프레임을 제2 블록을 포함하는 제2 블록군으로 분할하는 수단,
    상기 제2 블록과 상기 제1 블록의 차분을 계산하여 차분 블록을 형성하는 수단,
    상기 차분 블록을 코딩하여 코딩된 차분 블록을 형성하는 수단, 그리고
    0인 화소 값을 가지는 상기 차분 블록의 화소 위치에서 상기 차분 블록에 의사 랜덤 변화를 추가하는 수단
    을 포함하며,
    상기 제2 프레임은 상기 이미지 프레임들의 시퀀스에서 상기 제1 프레임의 바로 다음이고,
    상기 제2 프레임 내에서 상기 제2 블록은 상기 제1 블록의 상기 제1 프레임 내에서의 위치와 동일한 위치에 있고,
    상기 제2 블록은 상기 제1 블록과 동일한 사이즈를 가지는
    시스템.
KR1020160036370A 2015-03-25 2016-03-25 이미지 프레임의 시퀀스를 코딩하는 방법 및 그 시스템 KR102304892B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562138226P 2015-03-25 2015-03-25
US62/138,226 2015-03-25
US15/077,833 2016-03-22
US15/077,833 US10015496B2 (en) 2015-03-25 2016-03-22 Method and apparatus for temporal reference coding with light coding systems for display systems

Publications (2)

Publication Number Publication Date
KR20160116298A KR20160116298A (ko) 2016-10-07
KR102304892B1 true KR102304892B1 (ko) 2021-09-24

Family

ID=56975948

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160036370A KR102304892B1 (ko) 2015-03-25 2016-03-25 이미지 프레임의 시퀀스를 코딩하는 방법 및 그 시스템

Country Status (2)

Country Link
US (1) US10015496B2 (ko)
KR (1) KR102304892B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109326251B (zh) * 2017-08-01 2021-02-26 奇景光电股份有限公司 影像数据压缩方法以及时序控制器
US10796660B2 (en) 2018-10-12 2020-10-06 Samsung Display Co., Ltd. Content adaptive display interface
CN111294600A (zh) * 2020-03-17 2020-06-16 广州致远电子有限公司 一种视频序列帧的压缩方法、解压方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128797A1 (en) 2008-11-24 2010-05-27 Nvidia Corporation Encoding Of An Image Frame As Independent Regions

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5719632A (en) * 1996-01-25 1998-02-17 Ibm Corporation Motion video compression system with buffer empty/fill look-ahead bit allocation
US8879623B2 (en) 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture
EP2795897A4 (en) * 2011-12-21 2015-08-05 Intel Corp PERFECTLY LOSS-FREE COMPRESSION OF IMAGE DATA TO REDUCE MEMORY BANDWIDTH AND STORAGE
US9883180B2 (en) 2012-10-03 2018-01-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Bounded rate near-lossless and lossless image compression
US20140362098A1 (en) 2013-06-10 2014-12-11 Sharp Laboratories Of America, Inc. Display stream compression

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100128797A1 (en) 2008-11-24 2010-05-27 Nvidia Corporation Encoding Of An Image Frame As Independent Regions

Also Published As

Publication number Publication date
US20160286220A1 (en) 2016-09-29
KR20160116298A (ko) 2016-10-07
US10015496B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
ES2869204T3 (es) Dispositivo de codificación de imágenes, dispositivo de decodificación de imágenes, método de codificación de imágenes, método de decodificación de imágenes
US20170347094A1 (en) Block size adaptive directional intra prediction
TW201639363A (zh) 用於顯示串流壓縮之速率受限回退模式
KR102304892B1 (ko) 이미지 프레임의 시퀀스를 코딩하는 방법 및 그 시스템
TW201842771A (zh) 用於顯示串流壓縮之中點預測誤差擴散
US11102493B2 (en) Method and apparatus for image compression that employs multiple indexed color history buffers
WO2017019387A1 (en) Encode/decode strategy for mitigating irregular decoding time
JP4834590B2 (ja) 動画像復号化装置及び動画像復号化方法
CN1399472A (zh) 多信道图像编码装置及其编码方法
US20220256159A1 (en) Compression with positive reconstruction error
JP2009239779A (ja) 画像符号化装置、画像復号化装置及び集積回路装置
JP2010098352A (ja) 画像情報符号化装置
US9967562B2 (en) Method, device and system for changing quantization parameter for coding unit in HEVC
Kim et al. Fixed-ratio compression of an RGBW image and its hardware implementation
JP7442972B2 (ja) 表示装置、その駆動方法およびそのストレス補償システム
US11936898B2 (en) DPCM codec with higher reconstruction quality on important gray levels
KR102401851B1 (ko) 영상 압축 방법 및 이를 수행하는 표시 장치
US9554131B1 (en) Multi-slice/tile encoder with overlapping spatial sections
KR20200079186A (ko) 표시 장치의 표시 스트림 코덱 및 표시 데이터의 부호화 방법
US11244476B2 (en) Systems and methods for low-complexity near lossless fixed-rate hybrid data compression codecs
JP2010050833A (ja) 映像符号化装置
KR102199358B1 (ko) 이미지들의 시퀀스를 송신하기 위한 방법, 이미지들의 시퀀스를 포함하는 비디오 데이터를 송신하기 위한 시스템
JP2009105639A (ja) 画像符号化方法および装置ならびに画像処理機器

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant