KR20090037939A - 비디오 인코딩 전의 동적 범위 감축 - Google Patents

비디오 인코딩 전의 동적 범위 감축 Download PDF

Info

Publication number
KR20090037939A
KR20090037939A KR1020097002728A KR20097002728A KR20090037939A KR 20090037939 A KR20090037939 A KR 20090037939A KR 1020097002728 A KR1020097002728 A KR 1020097002728A KR 20097002728 A KR20097002728 A KR 20097002728A KR 20090037939 A KR20090037939 A KR 20090037939A
Authority
KR
South Korea
Prior art keywords
multimedia data
pixel intensity
range
intensity range
image
Prior art date
Application number
KR1020097002728A
Other languages
English (en)
Other versions
KR101023632B1 (ko
Inventor
비자얄라크시미 알 라빈드란
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090037939A publication Critical patent/KR20090037939A/ko
Application granted granted Critical
Publication of KR101023632B1 publication Critical patent/KR101023632B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 출원은 인코더 보조 프리-프로세싱에 기초하여 수신기에서 인핸싱된 멀티미디어 데이터를 생성하기 위해 멀티미디어 데이터를 프로세싱하는 디바이스 및 방법을 포함한다. 일 양태에서, 멀티미디어 데이터를 프로세싱하는 것은, 멀티미디어 데이터의 적어도 하나의 화상 내의 적어도 하나의 화소 강도 범위를 식별하는 단계, 화소 강도 범위를 감소시키기 위해 멀티미디어 데이터의 적어도 일부를 변경하는 단계, 및 인코딩된 멀티미디어 데이터를 형성하기 위해 변경된 멀티미디어 데이터를 인코딩하는 단계를 포함한다.
프리-프로세싱, 인핸싱된 멀티미디어 데이터, 화소 강도 범위, 인코딩

Description

비디오 인코딩 전의 동적 범위 감축{DYNAMIC RANGE REDUCTION BEFORE VIDEO ENCODING}
본 특허출원은 본 양수인에게 양도되고, 모든 목적을 위해 여기에 참조로 완전히 포함되며, 2006년 7월 20일자로 출원되고, 그 명칭이 "METHOD AND APPARATUS FOR ENCODER ASSISTED POST-PROCESSING" 인 미국 가출원 제 60/832,348 호로부터 우선권의 이익을 주장한다.
배경
분야
본 출원은 일반적으로 멀티미디어 데이터 프로세싱에 관한 것으로서, 특히 디코더 프로세싱 기술을 사용하여 비디오를 인코딩하는 것에 관한 것이다.
배경
고해상도 멀티미디어 데이터를 디스플레이 디바이스, 예를 들어, 셀폰, 컴퓨터, 및 PDA 로 송신하는 것에 대한 요구가 계속 증가하고 있다. 소정의 원하는 상세 및 특징 (details and features) 을 보는데 필요한 해상도를 나타내기 위해 여기에서 사용된 용어, 고해상도는 소정의 멀티미디어 데이터, 예를 들어 스포츠, 비디오, 텔레비젼 방송 피드, 및 다른 그러한 화상에 대한 최적의 관람을 위해 요구된다. 고해상도 멀티미디어 데이터를 제공하는 것은 일반적으로 디스플레이 디바이스로 전송되는 데이터의 양을 증가시키는 것을 요구하며, 더욱 많은 통신 자원 및 송신 대역폭을 요구하는 프로세스를 요구한다.
고해상도 정보, 특히 고주파수 데이터가 인코딩되어 저해상도 데이터의 베이스 계층 (base layer) 으로 인핸스먼트 계층 (enhancement layer) 으로서 송신되는 공간 스케일러빌리티 (spatial scalability) 가 해상도를 향상시키는데 사용되는 통상의 방법이다. 그러나, 그러한 데이터는 노이즈형 통계 특성을 갖고 열악한 코딩 효율을 갖기 때문에 공간 스케일러빌리티는 비효율적이다. 부가적으로, 업-샘플링 해상도는 인핸스먼트 계층이 생성/인코딩될 때 미리 결정되기 때문에 공간 스케일러빌리티는 매우 제약적이다. 따라서, 공간 스케일러빌리티 및 종래 기술에서 공지된 다른 해상도 향상 방법의 결함을 극복하기 위해서는 다른 방법이 요구된다.
개요
여기에 기술된 장치 및 방법의 각각은 수개의 양태들을 가지며, 그들 중 어떤 단일의 것도 단독으로 그것의 바람직한 속성을 담당하지 않는다. 본 개시의 범위를 제한함 없이, 그것의 더욱 두드러진 특징들이 이제 간단히 논의될 것이다. 이러한 논의를 고려한 후, 특히 "상세한 설명" 부분을 읽은 후에는, 본 개시의 특징들이 어떻게 멀티미디어 데이터 프로세싱 장치 및 방법에 대한 개선을 제공하는 지를 이해할 것이다.
일 실시형태에서, 멀티미디어 데이터를 프로세싱하는 방법은, 멀티미디어 데이터의 적어도 하나의 화상 내의 적어도 하나의 화소 강도 범위를 식별하는 단계, 상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 멀티미디어 데이터의 적어도 일부를 변경하는 단계, 및 인코딩된 멀티미디어 데이터를 형성하기 위해 상기 변경된 멀티미디어 데이터를 인코딩하는 단계를 포함한다. 상기 적어도 하나의 화소 강도 범위를 변경하는 단계는 인버스 히스토그램 등화 동작, 감마 보정, 또는 화소 값들의 검출된 범위 및 화소 강도 값들의 범위에 대한 한계를 정의하는 임계값에 적어도 부분적으로 기초하여 적어도 하나의 화소 강도 범위를 변경하는 것을 포함할 수 있다. 그 방법은 또한 인코딩된 멀티미디어 데이터를 단말기 디바이스로 송신하는 단계를 포함할 수 있다.
디코더에서 사용되는 포스트-프로세싱 기술은 히스토그램 등화, 감마 보정, 콘트라스트 인핸스먼트 프로세스 또는 또 다른 화소 강도 리맵핑 동작을 포함할 수 있다. 그 방법은 상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 멀티미디어 데이터에 행해진 변경을 나타내는 표시자를 유지하는 단계, 및 단말기 디바이스로의 송신을 위해 상기 표시자를 인코딩하는 단계를 포함할 수 있다. 몇몇 실시형태에서, 단말기 디바이스는 멀티미디어 데이터의 상기 적어도 하나의 화소 강도 범위를 조정하기 위해 표시자를 사용하도록 구성될 수 있다. 또한, 그 방법은 단말기 디바이스로 상기 표시자 멀티미디어 데이터를 송신하는 단계를 포함할 수 있다. 표시자는 또한 저장될 수 있으며, 그 표시자는 화소 강도 범위를 변경하기 위해 단말기 디바이스의 디코더에서 사용되는 포스트-프로세싱 기술을 나타내며, 그 표시자에 기초하여 인코딩 이전에 멀티미디어 데이터의 상기 적어도 하나의 화소 강도 범위를 변경하는 단계를 포함한다.
또 다른 실시형태에서, 멀티미디어 데이터를 프로세싱하는 시스템은, 멀티미디어 데이터의 일부의 화소 강도 범위를 식별하도록 구성되고, 그 화소 강도 범위를 감소시키기 위해 멀티미디어 데이터를 변경하도록 또한 구성되는 화상 프로세싱 모듈, 및 인코딩된 멀티미디어 데이터를 형성하기 위해 그 변경된 멀티미디어 데이터를 인코딩하도록 구성된 인코더를 포함한다. 화상 프로세싱 모듈은 화소 강도 범위를 감소시키기 위해 멀티미디어 데이터에 행해진 변경을 나타내는 표시자를 발생시킬 수 있으며, 여기서 상기 인코더는 상기 표시자를 인코딩하도록 구성된다. 몇몇 실시형태에서, 표시자는 상기 인코딩된 멀티미디어 데이터를 디코딩하는데 사용하기 위해 상기 인코딩된 멀티미디어 데이터와 함께 송신된다. 시스템은 또한 화소 강도 범위를 변경하기 위해 단말기 디바이스의 디코더에서 사용되고 표시자에 기초하여 인코딩 이전에 멀티미디어 데이터의 상기 적어도 하나의 화소 강도 범위를 변경하는 포스트-프로세싱 기술의 상기 표시자를 저장하도록 구성된 저장 디바이스를 포함한다.
또 다른 실시형태에서, 멀티미디어 데이터를 프로세싱하는 시스템은, 멀티미디어 데이터의 적어도 하나의 화상 내의 적어도 하나의 화소 강도 범위를 식별하는 수단, 상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 멀티미디어 데이터의 적어도 일부를 변경하는 수단, 및 인코딩된 멀티미디어 데이터를 형성하기 위해 그 변경된 멀티미디어 데이터를 인코딩하는 수단을 포함한다.
또 다른 실시형태에서, 머신 판독가능 매체는, 실행시 머신으로하여금, 멀티미디어 데이터의 적어도 하나의 화상 내의 적어도 하나의 화소 강도 범위를 식별하 게 하고, 상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 멀티미디어 데이터의 적어도 일부를 변경하게 하고, 인코딩된 멀티미디어 데이터를 형성하기 위해 그 변경된 멀티미디어 데이터를 인코딩하게 하는, 멀티미디어 데이터를 처리하기 위한 명령들을 포함한다.
도면의 간단한 설명
도 1은 멀티미디어를 전달하는 통신 시스템을 나타내는 블록도이다.
도 2는 멀티미디어를 인코딩하는 통신 시스템의 소정의 컴포넌트를 나타내는 블록도이다.
도 3은 멀티미디어를 인코딩하는 통신 시스템의 소정의 컴포넌트의 또 다른 실시형태를 나타내는 블록도이다.
도 4는 멀티미디어를 인코딩하는 소정의 컴포넌트의 또 다른 실시형태를 나타내는 블록도이다.
도 5는 멀티미디어 데이터를 인코딩하도록 구성된 프로세서를 갖는 인코딩 디바이스를 나타내는 블록도이다.
도 6은 멀티미디어 데이터를 인코딩하도록 구성된 프로세서를 갖는 인코딩 디바이스의 또 다른 실시형태를 나타내는 블록도이다.
도 7은 멀티미디어 데이터를 인코딩하는 프로세스를 나타내는 흐름도이다.
도 8은 보간 필터 계수 팩터의 예를 나타내는 표이다.
도 9는 디코더에서 수행되는 포스트-프로세싱 동작의 타입을 특정하는 표시자들, 및 그들의 파라미터를 나타내는 표이다.
도 10은 멀티미디어 데이터의 적어도 일부의 화소 휘도값을 리맵핑함으로써 멀티미디어 데이터를 인코딩하는 프로세스를 나타내는 흐름도이다.
도 11은 인코딩 이전에 멀티미디어 데이터를 변경하도록 구성된 프리프로세서를 갖는 인코딩 디바이스의 블록도이다.
상세한 설명
다음의 설명에서, 상술된 양태의 철저한 이해를 제공하기 위해 특정의 상세가 제공된다. 그러나, 그 양태들은 이들 특정의 상세가 없이도 실시될 수도 있다는 것은 당업자라면 이해할 것이다. 예를 들어, 불필요한 상세함으로 그 양태들을 모호하게 하지 않도록 회로들이 블록도로 도시될 수도 있다. 다른 예에서, 잘 알려진 회로, 구조 및 기술은 양태들을 모호하게 하지 않도록 상세하게 도시되지 않을 수도 있다.
여기서 "일 양태", "양태", "몇몇 양태들", 또는 "소정의 양태" 라는 말과 용어 "실시형태" 또는 "실시형태들" 을 사용하는 유사한 어구는 양태와 관련하여 기술되는 하나 이상의 특정의 특징, 구조, 또는 특성이 적어도 하나의 양태에 포함될 수 있다는 것을 의미한다. 본 명세서 내의 다양한 위치에서 그러한 어구의 출현은 반드시 모두 동일한 양태를 지칭하는 것이 아니고, 또한 다른 양태들에 대해 서로 배타적인 개별 또는 대안의 양태들도 아니다. 또한, 몇몇 양태들에 의해 나타나지만 다른 양태들에 의해서는 나타나지 않을 수도 있는 다양한 특징들이 기술된다. 유사하게, 몇몇 양태들에 대한 요건이지만 다른 양태들에 대한 요건은 아닌 다양한 요건들이 기술된다.
여기서 사용된 "멀티미디어 데이터" 또는 단지 "멀티미디어" 는 (오디오 데이터를 포함할 수 있는) 비디오 데이터, 오디오 데이터, 또는 비디오 데이터와 오디오 데이터 양자를 포함하며 그래픽 데이터를 또한 포함할 수도 있는 광의의 용어이다. 광의의 용어로서 여기서 사용된 "비디오 데이터" 또는 "비디오" 는 텍스트 또는 화상 정보 및/또는 오디오 데이터를 포함하는 화상의 시퀀스를 지칭한다.
하나 이상의 디스플레이 디바이스에 원하는 고해상도 멀티미디어 데이터를 제공하기 위하여, 공간 스케일러빌리티 및 업샘플링 알고리즘은 통상, 선형 또는 적응형 (때때로 비선형) 필터링 프로세스가 뒤따르는 에지 검출을 사용하는 화상 또는 에지 인핸스먼트 기술을 포함한다. 그러나, 인코더에서의 압축 및 다운-샘플링 동안 상실되는 중요하고 미세한 상세 에지는 이들 메커니즘을 통해 높은 퍼센트의 신뢰도로 검출될 수 없거나, 디코딩 및 업-샘플링 시 효과적으로 재생성될 수 없다. 여기서 기술된 방법 및 시스템의 소정의 특징은 압축으로 인해 상실되는 멀티미디어 데이터의 상세에 관련된 정보를 식별하는 프로세스를 포함한다. 다른 특징은 그러한 정보를 사용함으로써 디코딩된 멀티미디어 데이터 내의 그러한 상세를 복구하는 것에 관련된다. 여기에서 도입되는 그러한 시스템 및 방법은 도 1 내지 도 7 과 관련하여 더욱 기술되고 도시된다. 하나의 예시적인 실시형태에서, 멀티미디어 데이터를 인코딩하는 프로세스를 용이하게 하기 위해, 인코딩 방법은 특정의 인코딩 및/또는 디코딩 프로세스 (예를 들어, 인코더에서 구현되는 다운-샘플링 및/또는 디코더에서 구현되는 업-샘플링 알고리즘(들)) 에 의해 생성되는 데이터 불일치 (data discrepancy) 를 설명하도록 멀티미디어 데이터를 인코딩하기 위해 (예를 들어, 디스플레이 디바이스에서) 포스트-프로세싱 또는 디코딩 프로세스에 관련된 정보를 사용할 수 있다.
일 예에서, 멀티미디어 데이터가 먼저 인코딩 (예를 들어, 다운-샘플링 및 압축) 되어 적어도 하나의 디스플레이 디바이스로 후속하여 송신되는 압축된 데이터를 형성한다. 인코딩된 데이터의 복사본은 디코더의 알려진 디코딩 및 업-샘플링 알고리즘(들)을 사용하여 압축해제 및 업-샘플링되며, 결과로서 생성된 데이터는 원래 수신된 (압축되지 않은) 멀티미디어 데이터와 비교된다. 원래의 멀티미디어 데이터와 압축해제된 업-샘플링된 데이터 간의 차이는 "차이 정보" 로서 표현된다. 포스트-프로세싱 기술 (예를 들어, 다운-샘플링 및 업-샘플링 필터) 에 포함된 인핸스먼트 프로세는 노이즈를 제거하거나, 특징 (예를 들어, 피부, 얼굴 특징, "급속-운동" 물체로 나타내는 데이터 내의 빠르게 변화하는 영역) 을 인핸싱하거나, 또는 발생된 차이 정보 내의 엔트로피를 감소시킬 수 있다. 차이 정보는 "보조 정보 (assist information)" 로서 인코딩된다. 보조 정보는 또한 디코더로 송신되며, 거기에서 그것은 인코딩 동안 열화되었을 수 있는 디코딩된 화상의 상세를 인핸싱하는데 사용된다. 그 후, 인핸싱된 화상은 디스플레이 디바이스 상에 제공될 수 있다.
도 1은 멀티미디어 데이터의 스트리밍 또는 다른 형태의 멀티미디어 데이터를 전달하는 통신 시스템 (10) 의 블록도이다. 이러한 기술은 디지털 압축 멀티미디어 데이터를 다수의 디스플레이 디바이스 또는 단말기 (16) 로 송신하는 디지털 송신 설비 (12) 에서의 응용을 발견한다. 디지털 송신 설비 (12) 에 의해 수신된 멀티미디어 데이터는 디지털 비디오 소스, 예를 들어 디지털 케이블 피드 또는 디지털화되는 아날로그 고 신호/비율 소스일 수 있다. 비디오 소스는 디지털 송신 설비 (12) 에서 프로세싱되고 하나 이상의 단말기 (16) 로의 네트워크 (14) 를 통한 송신용의 캐리어 상으로 변조된다.
네트워크 (14) 는, 데이터를 송신하기에 적합한, 유선 또는 무선의, 임의의 타입의 네트워크로서, 이더넷, 전화 (예를 들어, POTS), 케이블, 전력선, 및 광섬유 시스템의 하나 이상, 및/또는 코드분할 다중접속 (CDMA 또는 CDMA2000) 통신 시스템, 주파수분할 다중접속 (FDMA) 시스템, 직교주파수분할 다중접속 (OFDMA) 시스템, GSM/GPRS (General Packet Radio Service)/EDGE (enhanced data GSM environment) 등의 시간분할 다중접속 (TDMA) 시스템, TETRA (Terrestrial Trunked Radio) 이동 전화 시스템, 광대역 코드분할 다중접속 (WCDMA) 시스템, 고데이터속도 (1xEV-DO 또는 1xEV-DO Gold Multicast) 시스템, IEEE 802.11 시스템, MediaFLOTM 시스템, DMB 시스템, 또는 DVB-H 시스템 중 하나 이상을 포함하는 무선 시스템을 포함한다. 예를 들어, 네트워크는 셀룰러폰 네트워크, 인터넷 등의 글로벌 컴퓨터 통신 네트워크, 광역 네트워크, 도시 지역 통신망, 근거리통신망, 및 위성 네트워크 뿐아니라 이들 및 다른 형태의 네트워크의 일부 또는 조합일 수 있다.
네트워크 (14) 로부터 인코딩된 멀티미디어 데이터를 수신하는 각각의 단말기 (16) 는 무선 전화, 개인 휴대정보단말 (PDA), 개인용 컴퓨터, 텔레비젼, 셋-톱 박스, 데스크톱, 랩톱, 팜톱 컴퓨터 (PDA), 비디오 카세트 리코더 (VCR), 디지털 비디오 리코더 (DVR) 등의 비디오/이미지 저장 디바이스 뿐아니라 이들 및 다른 디바이스의 일부 또는 조합을 포함하지만, 이것에 제한되지 않는다.
도 2는 멀티미디어를 인코딩하는 디지털 송신 설비 (12) 내의 통신 시스템의 소정의 컴포넌트들을 도시하는 블록도이다. 디지털 송신 설비 (12) 는 그것이 수신하거나 액세스하는 멀티미디어에 기초하여 예를 들어 저장 디바이스로부터 인코딩 디바이스 (20) 로 멀티미디어 데이터를 제공하도록 구성된 멀티미디어 소스 (26) 를 포함한다. 인코딩 디바이스 (20) 는 단말기 (16) 등의 하류측 수신 디바이스에서 후속하여 사용되거나 사용될 수도 있는 디코딩 알고리즘에 관련된 정보에 (적어도 부분적으로) 기초하여 멀티미디어 데이터를 인코딩한다.
인코딩 디바이스 (20) 는 멀티미디어 데이터를 인코딩하는 제 1 인코더 (21) 를 포함한다. 제 1 인코더 (21) 는 하나 이상의 단말기 (16) 로의 송신을 위해 통신 모듈 (25) 로 인코딩된 멀티미디어 데이터를 제공한다. 제 1 인코더 (21) 는 또한 디코더 (22) 로 인코딩된 데이터의 복사본을 제공한다. 디코더 (22) 는 인코딩된 데이터를 디코딩하고 수신 디바이스에서의 디코딩 프로세스에 바람직하게 사용되는 포스트-프로세싱 기술을 적용하도록 구성된다. 디코더 (22) 는 비교기 (23) 로 디코딩된 데이터를 제공한다.
표시자가 디코더 (22) 에 의한 사용을 위해 식별되고, 포스트-프로세싱 기술을 표시한다. 앞 문장에서 사용된 "식별" 은 표시자를 유지, 저장, 선택, 또는 액세스하는 디코더를 지칭한다. 몇몇 실시형태에서, 표시자는 디코더 (22) 의 메모리 디바이스에 또는 디코더 (22) 와 통신하는 또 다른 디바이스에 유지 또는 저장될 수 있다. 몇몇 실시형태에서는, 표시자는 복수의 표시자로부터 선택될 수 있고, 각각의 표시자는 포스트-프로세싱 기술을 나타낸다. 몇몇 실시형태에서는, 디코더 (22) 는 또한 수신 디바이스 내의 디코더에 의해 사용되는 특정의 프로세싱 기술을 알지 못하고 다른 공지의 또는 통상의 프로세싱 기술을 사용할 수 있다.
디코더 (22) 는 하나 이상의 포스트-프로세싱 기술을 수행하도록 구성될 수 있다. 몇몇 실시형태에서는, 디코더 (22) 는 어느 기술을 사용하여야할지를 나타내는 입력에 기초하여 복수의 포스트-프로세싱 기술 중 하나를 사용하도록 구성된다. 통상적으로, 멀티미디어 데이터를 인코딩하는 제 1 인코더 (21) 에서 사용되는 압축 및 다운샘플링 프로세스, 및 멀티미디어 데이터를 디코딩하는 디코더 (22) 에서 사용되는 압축해제 및 업샘플링 프로세스의 결과로서, 디코딩된 데이터는 원래의 멀티미디어 데이터와는 적어도 다소 상이할 (및 열화될) 것이다. 비교기 (23) 는 원래의 멀티미디어 데이터와 디코딩된 멀티미디어 데이터를 수신 및 비교하여 비교 정보를 결정하도록 구성된다. 비교 정보는 원래의 멀티미디어 데이터와 디코딩된 멀티미디어 데이터를 비교함으로써 결정된 임의의 정보를 포함할 수 있다. 몇몇 실시형태에서는, 비교 데이터는 그 두 개의 데이터 세트에 있어서의 차이를 포함하고, "차이 정보" 로서 지칭된다. 차이 정보는 예를 들어 프레임 단위로 생성될 수 있다. 비교는 또한 블록 단위로 행해질 수도 있다. 여기서 언급된 블록은 하나의 화소 (1×1) 의 "블록" 으로부터 M×N 임의 사이즈의 화소들의 "블록" 까지 여러 가지일 수 있다. 블록의 형상은 반드시 정사각형일 필요는 없다.
"차이 정보" 는 인코딩/디코딩 프로세스의 결과로서 단말기 (16) 에서 표시되는 멀티미디어 데이터에 나타난 화상 열화를 나타낸다. 비교기 (23) 는 제 2 인코더 (24) 로 비교 정보를 제공한다. 비교 정보는 제 2 인코더 (24) 에서 인코딩되고, 인코딩된 "보조 정보" 는 통신 모듈 (25) 로 제공된다. 통신 모듈 (25) 은 인코딩된 멀티미디어 및 인코딩된 보조 정보를 포함하는 데이터 (18) 를 단말기 디바이스 (16) (도 1) 로 송신할 수 있다. 단말기 디바이스 내의 디코더는 인코딩 및 디코딩 동안 영향을 받거나 열화된 디코딩된 멀티미디어 데이터에 인핸스를 부가하기 위해 (예를 들어, 디테일을 부가하기 위해) "보조 정보" 를 사용한다. 이것은 수신된 인코딩된 멀티미디어 데이터의 화질을 높이고, 따라서 더욱 높은 해상도의 디코딩된 화상이 디스플레이 디바이스 상에 제공될 수 있다. 몇몇 실시형태에서, 제 1 인코더 (21) 및 제 2 인코더 (24) 는 단일의 인코더로서 구현될 수 있다.
포스트-프로세싱 기술은 멀티미디어 데이터 내의 소정의 특징 (예를 들어, 피부 및 얼굴 특징) 을 인핸싱하는 하나 이상의 기술을 포함할 수 있다. 인코딩된 차이 정보는 수신 디바이스로 송신된다. 수신 디바이스는 인코딩 및 디코딩 동안 영향을 받은 디테일에 대해 보상하기 위해 보조 정보를 사용하여 디코딩된 화상에 디테일을 부가한다. 이리하여, 고해상도 및/또는 고화질 화상이 수신 디바이스상에 제공될 수 있다.
차이 정보는 주요 코딩된 비트스트림 내의 보조 정보로서 식별된다. 사용자 데이터 또는 "필러 (filler)" 패킷은 보조 정보를 전송하기 위해 코딩된 데이터의 사이즈를 코딩된 미디어 데이터의 송신 프로토콜 패킷 (예를 들어, IP 데이터그램 또는 MTU) 의 사이즈로 적응시키는데 사용될 수 있다. 몇몇 실시형태에서, 차이 정보는 저-해상도 코딩된 데이터 내의 현존하는 정보의 관계 (방정식, 결정 로직, 양자화된 잔여 계수의 수 및 위치, 퍼지 로직 룰) 의 세트로서 식별될 수 있고, 이들 관계로의 인덱스는 보조 정보로서 인코딩될 수 있다. 모든 차이 정보가 반드시 인코딩되는 것은 아니고 이러한 정보의 포맷이 관계의 룩-업 테이블의 인덱스로 환원될 수 있기 때문에, 인코더 보조 업-샘플링 메타데이터는 송신될 필요가 있는 정보의 엔트로피를 감소시키기 위해 수신 디바이스 내의 정보를 더욱 효율적으로 인코딩하고 활용한다.
기술된 인코딩 디바이스 (20) 의 다른 구성을 또한 고려할 수 있다. 예를 들어, 도 3은 (도 2 에 도시된) 2 개의 인코더 대신에 하나의 인코더 (31) 를 사용하는 인코딩 디바이스 (30) 의 대안적인 실시형태를 나타낸다. 이러한 실시형태에서, 비교기 (23) 는 인코딩을 위해 단일의 인코더 (31) 로 차이 정보를 제공한다. 인코더 (31) 는 인코딩된 멀티미디어 데이터 (예를 들어, 제 1 인코딩된 데이터) 및 인코딩된 보조 정보 (예를 들어, 제 2 인코딩된 데이터) 를 단말기 (16) 로의 송신을 위해 통신 모듈 (25) 로 제공한다.
도 4는 도 2 및 도 3 에 도시된 시스템의 일부의 예, 특히 인코더 (21), 디코더 (40), 및 비교기 (23) 를 나타내는 블록도이다. 디코더 (40) 는 인코딩된 멀티미디어 데이터를 디코딩하고 수신 단말기 (16) (도 1) 에서 사용되는 포스트-프로세싱 기술을 적용하도록 구성된다. 디코더 (40) 의 기능은 여기에 기술된 디코더, 예를 들어 도 2 및 도 3 에 도시된 디코더 (22) 에서 구현될 수 있다. 디코더 (22) 는 인코더 (21) 로부터 인코딩된 멀티미디어 데이터를 수신한다. 디코더 (40) 내의 디코더 모듈 (41) 은 인코딩된 멀티미디어 데이터를 디코딩하고 그 디코딩된 데이터를 디코더 (40) 내의 포스트-프로세싱 모듈로 제공한다. 이러한 예에서, 포스트-프로세싱 모듈은 디노이저 모듈 (denoiser module) (42) 및 데이터 인핸서 모듈 (43) 을 포함한다.
통상 비디오 시퀀스 내의 노이즈는 부가적 백색 가우시안인 것으로 가정된다. 그러나, 비디오 신호는 시간 및 공간 양자에서 고도로 상관된다. 따라서, 시간적 및 공간적으로 그것의 백색성 (whiteness) 을 이용함으로써 신호로부터 노이즈를 부분적으로 제거하는 것이 가능하다. 몇몇 실시형태에서는, 디노이저 모듈 (42) 은 시간적 디노이징, 예를 들어 칼만 필터 (Kalman filter) 를 포함한다. 디노이저 모듈 (42) 은 다른 디노이징 프로세스, 예를 들어 웨이블릿 수축 필터 및/또는 웨이블릿 위너 필터 (wavelet Wiener filter) 를 포함할 수 있다. 웨이블릿은 공간 및 스케일링 도메인 양자에서 소정의 신호를 국부화하는데 사용되는 일종의 함수이다. 웨이블릿의 배후의 기본적 아이디어는 웨이블릿 표현에서의 작은 변화가 원래의 신호에서의 대응하는 작은 변화를 생성하도록 상이한 스케일 또는 해상도에서 신호를 분석하는 것이다. 웨이블릿 수축 또는 웨이블릿 위너 필터는 또한 디노이저 모듈 (42) 로서 적용될 수 있다. 웨이블릿 수축 디 노이징은 웨이블릿 변환 도메인에서 수축하는 것을 수반할 수 있고, 통상 3 단계: 선형 포워드 웨이블릿 변환, 비선형 수축 디노이징, 및 선형 인버스 웨이블릿 변환을 포함한다. 위너 필터는 부가적인 노이즈 및 블러링에 의해 열화된 화상을 개선하는데 사용될 수 있는 MSE-최적 선형 필터이다. 몇몇 양태에서, 디노이징 필터는 (4, 2) 바이-직교 큐빅 B-스플라인 웨이블릿 필터의 양태에 기초한다.
디노이저 모듈 (42) 은 데이터 인핸서 모듈 (43) 로 디노이징된 디코딩된 데이터를 제공한다. 데이터 인핸서 모듈 (43) 은 예를 들어, 피부, 얼굴 특징, 및 (예를 들어 스포츠 이벤트와 연관된 멀티미디어 데이터를 위한) 빠르게 변화하는 데이터를 관람하는데 바람직하다고 생각되는 데이터의 소정의 특징을 인핸스하도록 구성될 수 있다. 데이터 인핸서 모듈의 일차적 기능은 데이터의 플레이백 또는 소비 동안 화상 또는 비디오 인핸스먼트를 제공하는 것이다. 통상의 화상 인핸스먼트는 샤프닝, 색재현율/포화/휴 개선, 콘트라스트 개선, 히스토그램 등화 및 고주파 강조를 포함한다. 피부 특징을 인핸싱하는 것에 대해, 수개의 피부 톤 검출 방법이 존재한다. 일단 피부 톤을 갖는 영역이 화상에서 식별된다면, 이러한 영역에 대응하는 크로마 성분은 원하는 칼라 팔레트에 적합시키도록 휴를 개선하기 위해 수정될 수 있을 것이다.
얼굴 특징을 개선하는 것에 대해, 만일 링잉 노이즈가 얼굴 특징에서 검출, 예를 들어 피부-톤-검출을 통해 식별되면, 디-링잉 필터 (de-ringing filter) 및/또는 적절한 평활화/노이즈 감소 필터가 적용되어 이들 아티팩트 (artifact) 를 최소화하고 콘텍스트/콘텐츠 선택적 화상 인핸스먼트를 수행할 수 있다. 비디오 인핸스먼트는 플리커 감소, 프레임 레이트 인핸스먼트 등을 포함한다. 비디오 내의 일 그룹의 프레임에 걸친 평균 휘도의 표시자를 전송하는 것은 플리커 감소와 관련된 디코더/포스트-디코더/포스트 프로세싱을 도울 수 있다. 플리커는 종종 동일한 라이팅 조건/휘도를 갖는 원래의 것에 존재했던 이들 프레임들에 걸친 평균 휘도 레벨에 있어서 변동을 갖는 재구성된 비디오를 초래하는 DC 양자화에 의해 생성된다. 플리커 감소는 통상 연속하는 프레임에 대한 평균 휘도의 계산 (예를 들어, DC 히스토그램) 및 각각의 프레임의 평균 휘도를 문제의 프레임들에 걸친 계산된 평균 휘도로 되돌리기 위해 평균 필터를 적용하는 것을 수반한다. 이러한 경우에, 차이 정보는 각각의 프레임에 적용될 미리 계산된 평균 휘도 시프트일 수 있다. 데이터 인핸서 모듈 (43) 은 비교기 (23) 로 인핸싱된 디코딩된 멀티미디어 데이터를 제공한다.
도 5 는 멀티미디어 데이터를 인코딩하도록 구성된 프로세서 (51) 를 갖는 인코딩 디바이스 (50) 의 예를 나타내는 블록도이다. 인코딩 디바이스 (50) 는 송신 설비, 예를 들어 디지털 송신 설비 (12) (도 1) 에서 구현될 수 있다. 인코딩 디바이스 (50) 는 프로세서 (51) 와 통신하도록 구성되고 통신 모듈 (59) 과 통신하도록 구성된 저장 매체 (58) 를 포함한다. 몇몇 실시형태에서, 프로세서 (51) 는 도 2 에 도시된 인코딩 디바이스 (20) 와 유사하게 멀티미디어 데이터를 인코딩하도록 구성된다. 프로세서 (51) 는 제 1 인코더 모듈 (52) 을 사용하여 수신된 멀티미디어 데이터를 인코딩한다. 그 후, 인코딩된 멀티미디어는 단말기 (16) (도 1) 에서 구현되는 적어도 하나의 포스트-프로세싱 기술을 사용하여 멀 티미디어 데이터를 디코딩하도록 구성된 디코더 모듈 (53) 을 사용하여 디코딩된다. 프로세서 (51) 는 디노이저 모듈 (55) 을 사용하여 디코딩된 멀티미디어 데이터 내의 노이즈를 제거한다. 프로세서 (51) 는 얼굴 특징 또는 피부 등의 소정의 특징을 위한 디코딩된 멀티미디어 데이터를 인핸싱하도록 구성되는 데이터 인핸서 모듈 (56) 을 포함할 수 있다.
디코딩된 (및 인핸싱된) 멀티미디어 데이터와 원래의 멀티미디어 데이터 간의 차이는 디코딩된 멀티미디어 데이터와 원래의 멀티미디어 데이터 간의 차이를 나타내는 차이 정보를 생성하는 비교기 모듈 (54) 에 의해 결정된다. 인핸싱된 차이 정보는 제 2 인코더 (57) 에 의해 인코딩된다. 제 2 인코더 (57) 는 통신 모듈 (59) 로 제공되는 인코딩된 보조 정보를 생성한다. 인코딩된 멀티미디어 데이터도 또한 통신 모듈 (59) 로 제공된다. 인코딩된 멀티미디어 데이터와 보조 정보 양자는 디스플레이 디바이스 (예를 들어, 도 1 의 단말기 (16)) 로 통신되고, 그것은 보조 정보를 사용하여 멀티미디어 데이터를 디코딩하여 인핸싱된 멀티미디어 데이터를 생성한다.
도 6은 멀티미디어 데이터를 인코딩하도록 구성된 프로세서 (61) 를 갖는 인코딩 디바이스 (60) 의 또 다른 실시형태를 나타내는 블록도이다. 이러한 실시형태는 프로세서 (61) 가 멀티미디어 데이터 및 차이 정보 양자를 인코딩하는 하나의 인코더 (62) 를 포함하는 것을 제외하고는, 도 5 와 유사하게 멀티미디어 데이터를 인코딩할 수 있다. 인코딩된 멀티미디어 데이터와 보조 정보 양자는 그 후 통신 모듈 (59) 에 의해 디스플레이 디바이스 (예를 들어, 도 1 의 단말기 (16)) 로 통신된다. 그 후, 디스플레이 디바이스 내의 디코더는 보조 정보를 사용하여 멀티미디어 데이터를 디코딩하여 인핸싱된 해상도 데이터를 생성하고 그러한 데이터를 디스플레이한다.
디코더에서 구현될 수 있는 소정의 포스트-프로세싱 기술의 예가 이하에 리스트되지만, 이들 예의 설명은 본 개시를 설명된 이들 개시에만 제한하는 것을 의미하지 않는다. 상술된 바와 같이, 디코더 (22) 는 다수의 포스트-프로세싱 기술 중 임의의 것을 구현하여 차이 정보를 식별하고 대응하는 보조 정보를 발생시킬 수 있다.
크로마 처리
포스트-프로세싱 기술의 일 예는 크로마 프로세싱이며, 이것은 디스플레이될 멀티미디어 데이터의 색도 (chromaticity) 에 속하는 동작을 지칭한다. 칼라 공간 변환은 하나의 그런 예이다. 통상의 압축 동작 (디코딩, 디블록킹 등) 및 몇몇의 포스트-프로세싱 동작 (예를 들어, 히스토그램 등화 등의, 루마 또는 Y 성분에 의해 표현되는 강도가 크로마에 독립하여 수정되는 기능) 이 YCbCr 또는 YUV 도메인 또는 칼라 공간에서 발생하는 반면 디스플레이들은 통상 RGB 칼라 공간에서 동작한다. 칼라 공간 변환은 이러한 차이를 어드레드하기 위해 포스트-프로세서 및 디스플레이 프로세서에서 수행된다. RGB 와 YCC/YUV 간의 데이터 변환은, R, G 및 B 에서의 강도 정보에서의 잉여분이 그들이 Y 성분으로 변환될 때 감소되기 때문에 동일한 비트-깊이가 유지되는 경우 데이터 압축을 초래할 수 있어, 소스 신호의 상당한 압축을 초래한다. 따라서, 임의의 포스트-프로세싱 기반 압축은 잠재적으로 YCC/YUV 도메인에서 동작한다.
크로마 서브샘플링은 칼라 (를 나타내는 양) 보다 휘도 (를 나타내는 양) 에 대한 더욱 많은 해상도를 구현하는 실시에 관련된다. 그것은 다수의 비디오 인코딩 스킴 (아날로그 및 디지털 양자) 에서 사용되고 또한 JPEG 인코딩에서 사용된다. 크로마 서브샘플링에서, 루마 및 크로마 성분은 선형 (트리스티뮬러스) RGB 성분 대신에 감마-보정된 (트리스티뮬러스) R'G'B' 성분의 가중된 합으로서 형성된다. 서브샘플링 스킴은, 때때로 4 부분 비 (예를 들어, 4:2:2:4) 로서 표현되지만, 통상 3 부분 비 (예를 들어, 4:2:2) 로서 표현된다. 4 개의 부분은 (그들의 각각의 순서로) (본래, NTSC 텔레비젼 시스템에서의 3.579 MHz 의 배수로서) 제 1 부분 루마 수평 샘플링 참조, (제 1 디지트에 관한) 제 2 부분 Cb 및 Cr (크로마) 수평 팩터, 제로일 때 Cb 및 Cr 이 2:1 로 수직으로 서브샘플링되는 것을 나타내는 것을 제외하고 제 2 디지트와 동일한 제 3 부분, 및 존재하는 경우, (알파 "키" 성분을 나타내는) 루마 디지트와 동일한 제 4 부분이다. 포스트-프로세싱 기술은 (예를 들어, 4:2:0 데이터를 4:2:2 데이터로 변환하는) 크로마 업샘플링 또는 (예를 들어, 4:4:4 데이터를 4:2:0 데이터로 변환하는) 다운샘플링을 포함할 수 있다. 저-내지-중 (low-to-mid) 비트 레이트 압축은 통상 4:2:0 비디오 상에서 수행된다. 소스 멀티미디어 데이터가 4:2:0 보다 더 높은 색차 (예를 들어, 4:4:4 또는 4:2:2) 로 이루어지는 경우, 그것은 포스트-프로세싱 동작 동안 4:2:0 으로 다운샘플링, 인코딩, 송신, 디코딩된 후 원래의 색차로 다시 업샘플링될 수 있다. 디스플레이 디바이스에서, 디스플레이를 위해 RGB 로 변환하는 경 우, 색차는 그것의 풀 (full) 4:4:4 비로 복구된다. 디코더 (22) 는 하류측 디스플레이 디바이스에서 발생할지도 모르는 디코딩/프로세싱 동작을 복제하도록 그러한 포스트-프로세싱 동작을 갖도록 구성될 수 있다.
그래픽 동작
그래픽 프로세싱에 관련된 포스트-프로세싱 기술이 또한 디코더 (22) 에서 구현될 수 있다. 몇몇 디스플레이 디바이스는 그래픽 프로세서, 예를 들어 멀티미디어 및 2D 또는 3D 게이밍을 지원하는 디스플레이 디바이스를 포함한다. 그래픽 프로세서의 기능은 화소 프로세싱 동작들을 포함할 수 있으며, 그것의 일부 (또는 전부) 는 비디오 품질을 개선하기 위해 적절히 적용되거나 압축/압축해제를 포함하는 비디오 프로세싱에 잠재적으로 포함될 수도 있다.
알파- 블렌드
2 개의 장면 간에 천이하는데 또는 GUI 상의 현재의 화면상의 비디오의 중첩에서 통상 사용되는 동작, 즉 알파-블렌드는 디코더 (22) 에서 구현될 수 있는 화소 동작 포스트-프로세싱 기술의 일 예이다. 알파-블렌드에서, 칼라 코드에서의 알파의 값은 0.0 으로부터 1.0 까지 변하고, 여기서 0.0 은 완전히 투명한 칼라를 나타내고, 1.0 은 완전히 불투명한 칼라를 나타낸다. "블렌드"하기 위해, 픽쳐 버퍼로부터 독출된 화소는 "알파" 로 곱해진다. 디스플레이 버퍼로부터 독출된 화소는 1 마이너스 알파가 곱해진다. 이 둘은 함께 가산되고 결과가 디스플레이된다. 비디오 콘텐츠는, 흑색 또는 다른 균일한/일정한 칼라로부터/로 페이드 천이, 장면 간의 크로스 페이드, 및 콘텐츠의 타입들 (예를 들어, 애니메이 션 내지 상업용 비디오 등) 간의 접합점 (splice point) 을 포함하는 다양한 형태의 천이 효과 (transition effect) 를 포함한다. H.264 표준은 천이를 위해 POC (picture order count) 또는 프레임 번호를 사용하여 시작 및 정지 포인트용 표시자 및 알파 값을 통신하는 조항을 갖는다. 천이를 위한 균일한 칼라가 또한 특정될 수도 있다.
천이 영역은 새로운 장면의 시작 (제 1 프레임) 이 I-프레임으로서 코딩되고 후속하는 프레임들이 예측된 프레임으로서 코딩될 수 있는 갑작스런 장면 변경이 아니기 때문에 인코딩하는데 어려울 수 있다. 디코더에서 통상 사용되는 모션 추정/보상 기술의 특성으로 인해, 모션은 데이터의 블록들로서 추적될 수 있고 일정한 휘도 시프트는 레지듀얼 (residual) 로 흡수된다 (가중된 예측은 이것을 어느 정도까지 해결할 수도 있다). 추적되고 있는 모션 및 휘도의 변화가 진정한 모션이 아니라 큰 레지듀얼을 초래하는 하나의 화상으로부터 또 다른 화상으로의 점진적인 전환이기 때문에 크로스 페이드는 더더욱 문제이다. 양자화 후의 이들 큰 레지듀얼 (낮은 비트레이트에 대한 코스 (course)) 은 큰 스케일 모션 및 블록킹 아티팩트를 초래한다. 천이 영역을 정의하는 완전한 화상을 코딩하는 것과 페이드/크로스 페이드에 영향을 주기 위해 알파-블렌딩 구성을 특정하는 것은 천이의 무 아티팩트 (artifact free) 플레이백 및 압축 효율/비에 있어서의 개선 또는 블록킹 아티팩트가 도입되는 경우에 대한 유사하거나 더욱 양호한 지각적/시각적 품질을 위한 비트레이트에 있어서의 감소를 초래할 것이다.
인코더에서의 디코더의 알파-블렌딩 능력에 대한 지식은 종래의 코딩을 통해 비트들을 큰 레지듀얼에 소비하는 대신 메타데이터로서 천이 효과의 코딩을 용이하게 할 수 있다. 그러한 메타데이터의 몇몇 예는, 알파 값 뿐아니라, 주밍, 회전, 디졸브 및 페이딩 등의, 디코더/포스트-프로세서에서 지원되는 천이 효과의 세트로의 인덱스를 포함한다.
투명성
"투명성" 은 인코딩 디바이스 (20) 의 디코더 (22) 에 포함될 수 있는 또 다른 비교적 간단한 포스트-프로세싱 화소 동작이다. 투명성 프로세스에서는, 하나의 화소 값이 디스플레이 버퍼로부터 독출되고 또 다른 화소 값이 픽쳐 버퍼 (디스플레이될 프레임) 로부터 독출된다. 픽쳐 버퍼로부터 독출된 값이 투명성 값과 매칭하는 경우, 디스플레이 버퍼로부터 독출된 값이 디스플레이에 기입된다. 그렇지 않은 경우, 픽쳐 버퍼로부터 독출된 값이 디스플레이로 기입된다.
비디오 스케일링 (×2, /2, /4, 임의의 스케일)
비디오 스케일링 ("업스케일링" 또는 "다운스케일링") 의 의도는 통상 하나의 신호 포맷 또는 해상도로 전달된 정보를 또 다른 상이한 신호 포맷 또는 해상도로 바꾸면서 원래의 신호 정보 및 품질과 같게 보존하는 것이다. 그것은 두 (2) 배 또는 네 (4) 배만큼 다운스케일링하는데 있어서 효과가 있고 화소 값들의 단순한 평균을 통해 수행된다. 업스케일링은 보간 필터를 수반하고, 양 축상에서 행해질 수 있다. 바이-큐빅 보간이 Y 값 상에서 수행되며, 가장 가까운 네이버 필터링 (nearest neighbor filtering) 이 크로마 값 상에서 수행된다.
예를 들어, Y 의 보간된 값은:
행에 있어서 각각의 보간된 Y 에 대해
Figure 112009008205323-PCT00001
및 열에 있어서 각각의 보간된 Y 에 대해
Figure 112009008205323-PCT00002
에 의해 계산될 수 있다.
나란한 비교로부터, 바이리니어 및 바이-큐빅 보간 스킴은 매우 적은 가시적인 차이를 나타낸다. 바이-큐빅 보간은 약간 더 샤프한 화상을 초래한다. 더욱 큰 라인 버퍼가 바이-큐빅 보간을 행하기 위해 구축되어야한다. 모든 바이-큐빅 필터는 일차원적이고, 계수들은 단지 스케일링 비에만 종속한다. 일 예에서, 8 비트는 화질을 보장하기 위해 계수들을 코딩하는데 충분하다. 모든 계수는 부호를 갖지 않는 것으로 코딩될 필요가 있으며, 부호는 회로를 사용하여 하드 코딩될 수 있다. 계수들에 대한 부호는 바이-큐빅 보간에 대해 항상 [-++-] 이다.
도 8은 소정의 스케일 팩터에 대한 필터의 다양한 선택을 나타낸다. 도 8에 리스트된 스케일 팩터는 이동 디바이스에서 가장 통상적으로 만나는 스케일 팩터들의 예이다. 각각의 스케일 팩터에 대해, 필터의 상이한 페이즈가 검출된 에지의 타입 및 원하는 롤 오프 특성에 기초하여 선택될 수 있다. 몇몇 필터는 소정의 텍스쳐 및 에지 영역에 대해 다른 것보다 더욱 양호하게 작동한다. 필터 탭은 실험적 결과 및 시각적 평가에 기초하여 도출되었다. 몇몇 실시형태에서, 수신기 (디코더/디스플레이 드라이버) 에서의 적당히 정교한 스케일러가 블록/타일 단위로 필터들 간에 적응적으로 선택할 수 있다. 수신기의 스케일러에 있어서의 특징에 대해 인식하고 있는 인코더는 각각의 블록에 대해 필터들 중 어느 것을 선택해야 하는지를 (원래의 것과의 비교에 기초하여) 나타낼 (예를 들어, 필터들의 테이블로의 인덱스를 제공할) 수 있다. 이러한 접근 방법은 에지 검출을 통한 적절한 필터에 관해 결정하는 디코더에 대한 대안일 수 있다. 그것은 에지 검출과 연관된 결정 로직 (예를 들어, 많은 프로세서 사이클을 소비하는 프루닝 (pruning) 및 지향성 동작) 을 수행할 필요가 없기 때문에 디코더 내의 프로세싱 사이클 및 전력을 최소화한다.
감마 보정
감마 보정, 감마 비선형성, 감마 인코딩, 또는 종종 간단히 감마는 비디오 또는 정지 화상 시스템에서 휘도 또는 트리스티뮬러스 값을 코딩 및 디코딩하는데 사용되는 비선형 동작의 이름이며, 그것은 또한 디코더 (22) 에서 구현될 수 있는 또 다른 포스트-프로세싱 기술이다. 감마 보정은 화상의 전체 휘도를 제어한다. 적절하게 보정되지 않은 화상은 표백된 것으로 보이거나 너무 어둡게 보일 수 있다. 칼라를 정확하게 재생하려고 시도하는 것은 또한 감마 보정에 대한 약간의 지식을 필요로 한다. 감마 보정의 양을 변화시키는 것은 휘도 뿐아니라 적색 대 녹색 대 청색의 비를 변경한다. 감마 보정은 가장 간단한 경우에 다음 의 전력-법칙 표현에 의해 정의된다.
Figure 112009008205323-PCT00003
여기서, 입력 및 출력 값은 음이 아닌 실수값, 통상 0 내지 1 등의 소정의 범위 내에 있다. γ < 1 경우는 종종 감마 압축으로 불리며, γ > 1 은 감마 확장으로 불린다. 디코더 포스트-프로세싱이 감마 보정을 포함하는 구현들에서, 대응하는 감마 포스트-프로세싱 기술이 디코더 (22) 에서 구현될 수 있다. 통상적으로, 감마 보정은 LCD 패널 내부의 아날로그 도메인에서 행해진다. 비록 소정의 경우에 디더링 (dithering) 이 먼저 수행되지만, 통상, 디더링은 감마 보정을 뒤따른다.
히스토그램 등화
히스토그램 등화는 화소 값들의 히스토그램을 사용하여 화상 내의 화소의 동적 범위를 변경하는 프로세스이다. 통상, 화상 내의 정보는 값들의 가능한 범위에 걸쳐 고르게 분포되지 않는다. 화상의 이러한 화소 강도 주파수 분포는 화상 히스토그램을 형성하기 위해 각각의 화소의 (예를 들어, 8비트 단색 화상에 대해 0 내지 255 의) 휘도 (x-축) 에 대한 화소의 수 (y-축) 를 그래프로 나타냄으로써 도시될 수 있다. 화상 히스토그램은 화상 내의 얼마나 많은 화소들이 다양한 휘도 레벨 경계 내에 있게 되는지에 대한 그래픽적 표현을 나타낸다. 동적 범위는 히스토그램의 점유된 부분이 얼마나 넓은 지에 대한 측정이다. 일반적으로, 작은 동적 범위를 갖는 화상은 또한 낮은 콘트라스트를 갖고, 큰 동적 범 위를 갖는 화상은 높은 콘트라스트를 갖는다. 화상의 동적 범위는 매핑 동작, 예를 들어, 히스토그램 등화, 콘트라스트 또는 감마 조정, 또는 다른 리매핑 동작을 사용하여 변경될 수 있다. 화상의 동적 범위가 감소되면, 결과로 생성된 "평탄화된" 화상은 더욱 적은 비트들을 사용하여 표현 (및 인코딩) 될 수 있다.
동적 범위 조정은 화소 강도 범위, 예를 들어 화소 휘도 값들의 범위 상에 수행될 수 있다. 비록 통상적으로 전체 화상에 대해 수행될지라도, 동적 범위 조정은 또한 화상의 일부, 예를 들어 화상의 일부를 나타내는 식별된 화소 강도 범위에 대해 수행될 수 있다. 몇몇 실시형태에서, 화상은 (예를 들어, 상이한 화상 대상물 콘텐츠, 공간적 위치에 의해 또는 화상 히스토그램의 상이한 부분들에 의해 구별되는) 2 이상의 식별된 부분을 가질 수 있고 각각의 부분에 대한 동적 범위는 개별적으로 조정될 수 있다.
히스토그램 등화는, 특히 화상의 사용가능한 데이터가 가까운 콘트라스트 값들에 의해 표현되는 경우에, 화상의 국부적 콘트라스트를 증가시키는데 사용될 수 있다. 이러한 조정을 통해, 강도가 히스토그램 상에 더욱 양호하게 분포될 수 있다. 이것은 더욱 낮은 국부적 콘트라스트의 영역이 전체 콘트라스트에 영향을 주지 않고 더욱 높은 콘트라스트를 얻는 것을 허용한다. 히스토그램 등화는 화소 강도 값을 효과적으로 분산시킴으로써 이것을 달성한다. 그 방법은 둘 다 밝거나 둘 다 어두운 배경 및 전경 (foreground) 을 갖는 화상에서 유용한다.
비록 히스토그램 등화가 콘트라스트를 개선하지만, 그것은 또한 화상의 압축 효율을 감소시킨다. 몇몇 인코딩 프로세스에서, 히스토그램 등화 특성의 "인버 스" 는 압축 효율을 일반적으로 개선하기 위해 인코딩 이전에 사용될 수 있다. 인버스 히스토그램 등화 프로세스에서, 화소 휘도 값은 콘트라스트를 감소시키기 위해 리맵핑되고; 결과로 생성된 화상 히스토그램은 더욱 작은 (압축된) 동적 범위를 갖는다. 그러한 프로세스의 몇몇 실시형태에서, 각각의 화상의 히스토그램은 화상을 인코딩하기 전에 도출될 수 있다. 멀티미디어의 화상 내의 화소의 휘도는 휘도 값들의 더욱 좁은 범위로 화상 히스토그램을 효과적으로 압축하기 위해 스케일링될 수 있다. 따라서, 화상의 콘트라스트는 감소될 수 있다. 그러한 화상이 압축되는 경우, 인코딩 효율은 휘도 값의 낮은/작은 범위에 기인하여 히스토그램 압축이 없는 것보다 더욱 높다. 화상이 단말기 디바이스에서 디코딩되는 경우, 단말기 디바이스에서 실행되고 있는 히스토그램 등화 프로세스는 원래의 분포로 화상의 콘트라스트를 복구한다. 몇몇 실시형태에서, 인코더는 단말기 디바이스의 디코더에서 사용되는 히스토그램 등화 알고리즘을 식별하는 표시자를 유지 (또는 수신) 할 수 있다. 그러한 경우에, 인코더는 압축 효율을 향상시키기 위해 히스토그램 등화 알고리즘의 인버스를 사용할 수 있고, 그 후 콘트라스트의 복구를 위해 디코더에 충분한 정보를 제공할 수 있다.
도 11은 더욱 적은 비트를 사용하여 멀티미디어 데이터를 인코딩하기 위해 그것이 인코딩되기 전에 멀티미디어 데이터의 동적 범위를 감소시킬 수 있는 인코딩 디바이스 (1120) 의 실시형태를 도시한다. 도 11에서, 멀티미디어 소스 (1126) 는 인코딩 디바이스 (1120) 로 멀티미디어 데이터를 제공한다. 인코딩 디바이스 (1120) 는 멀티미디어 데이터를 수신하고 그 멀티미디어 데이터에 포함된 적어도 하나의 화상의 동적 범위를 감소시키는 프리프로세서 (1118) 를 포함한다. 결과로서 생성된 데이터 "압축" 은 멀티미디어 데이터의 사이즈를 감소시키고 인코딩될 필요가 있는 멀티미디어 데이터의 양을 대응하여 감소시킨다. 그 결과로서 생성된 데이터는 인코더 (1121) 로 제공된다.
인코더 (1121) 는 조정된 멀티미디어 데이터를 인코딩하고, 도 1에 도시된 바와 같은 단말기 디바이스 (16) (예를 들어, 핸드셋) 로의 송신을 위해 통신 모듈 (1125) 로 인코딩된 데이터를 제공한다. 몇몇 실시형태에서, 동적 범위 조정과 연관된 정보가 또한 인코더 (1121) 로 제공된다. 그 정보는 화소 강도 범위에 행해진 변경을 나타내는 표시자로서 인코더 (1121) 에 유지될 수 있다. 동적 범위 조정과 연관된 정보 (또는 표시자) 가 제공되는 경우, 인코더 (1121) 는 또한 그러한 정보를 인코딩하고 그것을 단말기 디바이스 (16) 로의 송신을 위해 통신 모듈 (1125) 로 제공할 수 있다. 후속하여, 단말기 디바이스 (16) 는 그것이 디스플레이되기 전에 화상의 동적 범위를 리맵핑 (확장) 한다. 몇몇 실시형태에서, 도 2 의 인코더 (21) 와 같은 인코더는 이러한 프리프로세싱 동적 범위 조정을 수행하도록 구성될 수 있다. 몇몇 실시형태에서, 프리프로세싱 동적 범위 조정은 예를 들어 도 1 내지 도 9를 참조하여 여기에 기술된 인코딩 실시형태를 포함하여 다른 인코딩 실시형태에 부가하여 수행될 수 있다.
디코더에서 수행될 포스트-프로세싱 동작의 타입을 특정하는 메타데이터 (또는 표시자) 및 그들의 파라미터가 도 9에 도시된다. 스케일링을 위한 옵션은 도 9 에 기재된 보간 필터에 대한 계수의 상이한 세트이다. 기능 특정자 (function specifier) 는 도 9 에 도시된 표의 열 2 에 리스트된 포스트-프로세싱 기능의 세트의 인덱스이다. 인코더는 이러한 세트로부터 코딩될 차이 정보의 최소 엔트로피를 생성하는 (블록 단위로) 기능을 선택할 수도 있다. 선택적으로, 선택 기준은 또한 가장 높은 품질일 수도 있으며, 품질은 PSNR, SSIM, PQR 등과 같은 몇몇 객체적 수단을 통해 측정된다. 부가적으로, 특정된 각각의 기능에 대해, 옵션의 세트가 이러한 기능에 사용되는 방법에 기초하여 제공된다. 예를 들어, 에지 인핸스먼트는 고주파 강조가 후속하는 에지 검출 방법 (예를 들어, 3×3 또는 5×5 가우시안 마스크 또는 소벨 필터 (Sobel filter) 의 세트) 을 사용하여 루프 밖에서 (out-of-loop) 발생할 수 있다. 몇몇 실시형태에서, 에지 인핸스먼트는 인-루프 디블록커 회로를 사용하여 루프 안에서 발생할 수 있다. 후자의 경우, 인-루프 디블록킹 동안 사용되는 에지 검출 방법은 에지를 식별하기 위해 사용되고 디블록킹 필터에 의해 행해진 통상의 저역통과 필터링에 대한 상보적인 기능이 에지를 인핸싱하는 샤프닝 필터이다. 유사하게 히스토그램 등화는 강도 값들의 전체 범위에 걸쳐 등화하기 위해 옵션을 갖거나, 부분 및 감마 보정은 디더링을 위한 옵션을 갖는다.
도 7은 인코딩 디바이스 (20) (도 2), 인코딩 디바이스 (30) (도 3), 인코딩 디바이스 (40) (도 4), 및 인코딩 디바이스 (50) (도 5) 등의 구조를 인코딩함으로써 멀티미디어 데이터를 인코딩하는 프로세스 (70) 의 예를 나타낸다. 단계 (71) 에서, 프로세스는 포스트-프로세싱 기술의 표시자를 유지한다. 예를 들어, 포스트-프로세싱 기술은 디스플레이 디바이스, 예를 들어 단말기 (16) (도 1) 의 디코더에서 사용될 수 있다. 메타데이터는 또한, 존재하는 경우 무슨 포스트-프로세싱 기술이 수신 디스플레이 디바이스에서 수행되는지를 구체적으로 알지 못하고 잘 알려진 또는 인기있는 프로세싱 기술을 나타낼 수 있다. 수신된 제 1 멀티미디어 데이터는 단계 (72) 에서 제 1 인코딩된 멀티미디어 데이터를 형성하기 위해 인코딩된다.
프로세스 (70) 는 제 1 인코딩된 멀티미디어 데이터를 디코딩하고 표시자에 의해 식별된 포스트-프로세싱 기술을 적용함으로써 단계 (73) 에서 제 2 멀티미디어 데이터를 생성한다. 포스트-프로세싱 기술은 여기에 기술된 포스트-프로세싱 기술 중 하나, 또는 또 다른 포스트-프로세싱 기술일 수 있다. 단계 (74) 에서, 프로세스 (70) 는 비교 정보를 결정하기 위해 제 2 멀티미디어 데이터를 제 1 멀티미디어 데이터와 비교한다. 비교 정보는 제 2 멀티미디어 데이터와 제 1 멀티미디어 데이터 간의 차이를 나타내는 차이 정보일 수 있다. 단계 (75) 에서, 프로세스 (70) 는 보조 정보 (제 2 인코딩된 데이터) 를 형성하기 위해 비교 정보를 인코딩한다. 보조 정보 및 인코딩된 멀티미디어 데이터는 후속하여 멀티미디어 데이터를 디코딩하기 위해 보조 정보를 사용할 수 있는 디스플레이 디바이스로 통신될 수 있다.
도 10은 도 11 의 인코더 (1120) 에 의해 수행되는 바와 같이, 멀티미디어 데이터가 인코딩되기 전에 멀티미디어 데이터의 적어도 일부의 화소 휘도 강도 범위를 감소시킴으로써 멀티미디어 데이터를 인코딩하는 프로세스 (1000) 를 나타내는 흐름도이다. 단계 (1005) 에서, 프로세스 (1000) 는 멀티미디어 데이터 내 의 화소 휘도 강도 범위를 식별한다. 예를 들어, 멀티미디어 데이터가 화상을 포함하는 경우, 프로세스 (1000) 는 그 화상에 대한 화소 강도 범위를 식별 또는 결정할 수 있다. 멀티미디어 데이터가 화상의 시퀀스 (예를 들어, 비디오) 를 포함하는 경우, 화소 강도 범위가 하나 이상의 화상에 대해 식별될 수 있다. 화소 강도 범위는 예를 들어 휘도 값들의 90 % (또는, 예를 들어 95 %, 또는 99 %) 를 포함하는 화상 내의 화소들의 휘도 값들의 범위일 수 있다. 몇몇 실시형태에서, 화상 시퀀스 내의 화상들이 유사하다면, 동일한 화소 강도 범위가 그 화상 시퀀스 내의 화상들의 전부 (또는 적어도 다수) 에 대해 식별될 수 있다. 몇몇 실시형태에서, 2 이상의 화상의 화소 휘도 강도 범위가 식별되고 평균될 수 있다.
단계 (1010) 에서, 프로세스 (1000) 는 화소 휘도 강도 범위를 감소시키기 위해 멀티미디어 데이터의 일부를 변경한다. 통상, 화상의 화소 휘도 값은 이용가능한 강도 범위의 일부에 걸쳐 집중된다. 더욱 작은 범위를 커버하는 화소 값들을 감소 (또는 리맵핑) 시키는 것은 화상 내의 데이터의 양을 매우 감소시킬 수 있으며, 이것은 더욱 효율적인 데이터 인코딩 및 송신을 용이하게 한다. 화소 휘도 강도 범위를 감소시키는 예는 "리버스" 히스토그램 등화, 감마 보정, 또는 "전체" 범위 (예를 들어, 8비트 화상에 대해 0 내지 255) 로부터 원래의 강도 범위의 단지 일부의 감소된 범위로 휘도 값을 리맵핑하는 것을 포함한다.
단계 (1015) 에서, 프로세스 (1000) 는 변경된 멀티미디어 데이터를 인코딩하여 인코딩된 데이터를 형성한다. 인코딩된 데이터는 그것이 디코딩되는 단말기 디바이스 (16) (도 1) 로 송신될 수 있다. 단말기 디바이스 내의 디코더는 멀티미디어 데이터의 강도 범위를 확장하는 프로세스를 수행한다. 예를 들어, 몇몇 실시형태에서, 디코더는 히스토그램 등화, 감마 보정, 또는 또 다른 화상 리맵핑 프로세스를 수행하여 화소 강도 범위에 걸친 멀티미디어 데이터의 화소 값을 확장한다. 결과로서 확장된 멀티미디어 데이터는 그것의 원래의 모습과 유사하게 보일 수 있으므로, 적어도 단말기 디바이스의 디스플레이 상에서 관람하는 것을 만족시킨다. 몇몇 실시형태에서, 강도 범위 감소를 나타내는 표시자가 생성되고, 인코딩되어 단말기 디바이스로 송신될 수 있다. 단말기 디바이스 내의 디코더는 수신된 멀티미디어 데이터를 디코딩하기 위해 보조 정보로서 표시자를 사용할 수 있다.
양태들이 플로우챠트, 흐름도, 구조도, 또는 블록도로서 나타내는 프로세스로서 기술될 수도 있다. 흐름도가 순차적인 프로세스로서 동작들을 기술할 수도 있지만, 다수의 동작들은 병렬로 또는 동시적으로 수행될 수 있다. 또한, 동작의 순서는 재배열될 수도 있다. 프로세스는 그것의 동작이 완료되는 경우 종료된다. 프로세스는 방법, 함수, 절차, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응하는 경우, 그것의 종료는 호출 함수 또는 메인 함수로의 함수의 리턴에 대응한다.
당업자에게는 여기에 개시된 디바이스의 하나 이상의 엘리먼트가 그 디바이스의 동작에 영향을 주지 않고 재배열될 수도 있다는 것이 분명할 것이다. 유사하게, 여기에 개시된 디바이스의 하나 이상의 엘리먼트는 디바이스의 동작에 영향을 주지 않고 결합될 수도 있다. 당업자는 정보 및 신호가 다양한 상이한 기 술 및 기능의 임의의 것을 사용하여 표현될 수도 있다는 것을 이해할 것이다. 당업자는 또한 여기에 개시된 예와 관련하여 기술된 다양한 예시적인 논리 블록, 모듈, 및 알고리즘 단계가 전자 하드웨어, 펌웨어, 컴퓨터 소프트웨어, 미들웨어, 마이크로코드, 또는 이들의 조합으로서 구현될 수도 있다는 것을 인정할 것이다. 하드웨어 및 소프트웨어의 상호교환가능성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트, 블록, 모듈, 회로 및 단계가 일반적으로 그들의 기능에 의해 상술되었다. 그러한 기능이 하드웨어로 구현되는지 소프트웨어로 구현되는지 여부는 특정의 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 달려있다. 숙련된 기능공은 각각의 특정의 애플리케이션에 대해 다양한 방식으로 기술된 기능을 구현할 수 있지만, 그러한 구현 결정은 개시된 방법의 범위로부터의 일탈을 초래하는 것으로 해석되지 않아야 한다.
여기에 개시된 예와 관련하여 기술된 방법 또는 알고리즘의 단계는 하드웨어로 직접, 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이들 둘의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드디스크, 착탈식 디스크, CD-ROM, 또는 본 기술에 알려진 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 예시적인 저장 매체가 프로세서에 결합되어 프로세서가 그 저장매체로부터 정보를 판독하고, 그 저장매체에 정보를 기입할 수 있도록 한다. 대안적으로, 저장 매체는 프로세서와 일체일 수도 있다. 프로세서 및 저장 매체는 주문형 반도체 (ASIC: Application Specific Integrated Circuit) 에 상주할 수도 있다. ASIC 은 무선 모뎀에 상주할 수도 있다. 대안적으로, 프로세서 및 저장 매체는 무선 모뎀 내의 개별 콤포넌트로서 상주할 수도 있다.
또한, 여기에 개시된 예와 관련하여 기술된 다양한 예시적인 논리 블록, 콤포넌트, 모듈 및 회로는 범용 프로세서, 디지털 신호 처리기 (DSP), 주문형 반도체 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA) 또는 다른 프로그래머블 논리 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 콤포넌트, 또는 여기에 기술된 기능을 수행하도록 설게된 이들의 임의의 조합을 사용하여 구현될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 계산 디바이스의 조합, 예를 들어 DSP 및 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 결합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.
개시된 예의 이전의 설명은 당업자가 개시된 방법 및 장치를 실시하거나 사용하는 것을 가능하게 하도록 제공된다. 이들 예에 대한 다양한 변경이 당업자에게는 분명하고, 여기에 기술된 원리가 다른 예에 적용될 수도 있고, 부가적인 엘리먼트가 개시된 방법 및 장치의 사상 또는 범위로부터 이탈하지 않고 부가될 수도 있다. 양태들에 대한 설명은 예시적인 것이며, 청구범위의 범위를 제한하는 것을 의도되지 않는다.

Claims (35)

  1. 멀티미디어 데이터를 프로세싱하는 방법으로서,
    멀티미디어 데이터의 적어도 하나의 화상 내의 적어도 하나의 화소 강도 범위를 식별하는 단계,
    상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터의 적어도 일부를 변경하는 단계, 및
    인코딩된 멀티미디어 데이터를 형성하기 위해 상기 변경된 멀티미디어 데이터를 인코딩하는 단계를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  2. 제 1 항에 있어서,
    상기 인코딩된 멀티미디어 데이터를 단말기 디바이스로 송신하는 단계를 더 포함하는, 멀티미디어 데이터 프로세싱 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터에 행해진 상기 변경을 나타내는 표시자를 유지하는 단계, 및
    단말기 디바이스로의 송신을 위해 상기 표시자를 인코딩하는 단계를 더 포함하는, 멀티미디어 데이터 프로세싱 방법.
  4. 제 3 항에 있어서,
    상기 표시자 멀티미디어 데이터를 단말기 디바이스로 송신하는 단계를 더 포함하는, 멀티미디어 데이터 프로세싱 방법.
  5. 제 1 항에 있어서,
    화소 강도 범위를 변경하기 위해 단말기 디바이스의 디코더에서 사용되는 포스트-프로세싱 기술의 표시자를 저장하는 단계, 및 상기 표시자에 기초하여 인코딩 이전에 상기 멀티미디어 데이터의 상기 적어도 하나의 화소 강도 범위를 변경하는 단계를 더 포함하는, 멀티미디어 데이터 프로세싱 방법.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 변경하는 단계는 인버스 히스토그램 등화 동작을 포함하는, 멀티미디어 데이터 프로세싱 방법.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 변경하는 단계는 감마 보정을 포함하는, 멀티미디어 데이터 프로세싱 방법.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 화소 강도 범위는 화소 값들의 검출된 범위 및 화소 강 도 값들의 범위에 대한 한계를 정의하는 임계값에 적어도 부분적으로 기초하여 변경되는, 멀티미디어 데이터 프로세싱 방법.
  9. 제 1 항에 있어서,
    상기 식별하는 단계는 상기 멀티미디어 데이터의 적어도 하나의 화상 내의 2 이상의 화소 강도 범위를 식별하는 단계를 포함하고,
    상기 변경하는 단계는 상기 2 이상의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터를 변경하는 단계를 포함하는, 멀티미디어 데이터 프로세싱 방법.
  10. 제 9 항에 있어서,
    상기 2 이상의 화소 강도 범위는 상기 적어도 하나의 화상의 상이한 화상 대상물 콘텐츠를 나타내는, 멀티미디어 데이터 프로세싱 방법.
  11. 제 9 항에 있어서,
    상기 2 이상의 화소 강도 범위는 상기 적어도 하나의 화상의 화소들의 상이한 공간적 위치를 나타내는, 멀티미디어 데이터 프로세싱 방법.
  12. 제 9 항에 있어서,
    상기 2 이상의 화소 강도 범위는 상기 적어도 하나의 화상의 화상 히스토그 램의 상이한 부분들을 나타내는, 멀티미디어 데이터 프로세싱 방법.
  13. 멀티미디어 데이터를 프로세싱하는 시스템으로서,
    멀티미디어 데이터의 일부의 화소 강도 범위를 식별하도록 구성되고, 상기 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터를 변경하도록 또한 구성된 화상 프로세싱 모듈, 및
    인코딩된 멀티미디어 데이터를 형성하기 위해 상기 변경된 멀티미디어 데이터를 인코딩하도록 구성된 인코더를 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  14. 제 13 항에 있어서,
    상기 화상 프로세싱 모듈은 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터에 행해진 상기 변경을 나타내는 표시자를 발생시키며,
    상기 인코더는 상기 인코딩된 멀티미디어 데이터와 함께 송신을 위해 상기 표시자를 인코딩하도록 구성되는, 멀티미디어 데이터 프로세싱 시스템.
  15. 제 13 항에 있어서,
    화소 강도 범위를 변경하기 위해 단말기 디바이스의 디코더에서 사용되는 포스트-프로세싱 기술의 표시자를 저장하도록 구성된 저장 디바이스를 더 포함하고, 상기 표시자에 기초하여 인코딩 이전에 상기 멀티미디어 데이터의 상기 적어도 하 나의 화소 강도 범위를 변경하는, 멀티미디어 데이터 프로세싱 시스템.
  16. 제 13 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 변경하는 것은 인버스 히스토그램 등화 동작을 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  17. 제 13 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 변경하는 것은 감마 보정을 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  18. 제 13 항에 있어서,
    상기 화상 프로세싱 모듈은 상기 멀티미디어 데이터의 적어도 하나의 화상 내의 2 이상의 화소 강도 범위를 식별하고, 상기 2 이상의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터를 변경하도록 구성되는, 멀티미디어 데이터 프로세싱 시스템.
  19. 제 18 항에 있어서,
    상기 2 이상의 화소 강도 범위는 상기 적어도 하나의 화상의 상이한 화상 대상물 콘텐츠를 나타내는, 멀티미디어 데이터 프로세싱 시스템.
  20. 제 18 항에 있어서,
    상기 2 이상의 화소 강도 범위는 상기 적어도 하나의 화상의 화소들의 상이한 공간적 위치를 나타내는, 멀티미디어 데이터 프로세싱 시스템.
  21. 제 18 항에 있어서,
    상기 2 이상의 화소 강도 범위는 상기 적어도 하나의 화상의 화상 히스토그램의 상이한 부분들을 나타내는, 멀티미디어 데이터 프로세싱 시스템.
  22. 멀티미디어 데이터를 프로세싱하는 시스템으로서,
    멀티미디어 데이터의 적어도 하나의 화상 내의 적어도 하나의 화소 강도 범위를 식별하는 수단,
    상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터의 적어도 일부를 변경하는 수단, 및
    인코딩된 멀티미디어 데이터를 형성하기 위해 상기 변경된 멀티미디어 데이터를 인코딩하는 수단을 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  23. 제 22 항에 있어서,
    상기 인코딩된 멀티미디어 데이터를 단말기 디바이스로 송신하는 수단을 더 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  24. 제 22 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터에 행해진 상기 변경을 나타내는 표시자를 유지하는 수단; 및
    단말기 디바이스로의 송신을 위해 상기 표시자를 인코딩하는 수단을 더 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  25. 제 22 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 변경하는 수단은 인버스 히스토그램 등화 동작을 수행하는 수단을 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  26. 제 22 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 변경하는 수단은 감마 보정을 수행하는 수단을 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  27. 제 22 항에 있어서,
    상기 적어도 하나의 화소 강도 범위는 화소 값들의 검출된 범위 및 화소 강도 값들의 범위에 대한 한계를 정의하는 임계값에 적어도 부분적으로 기초하여 변경되는, 멀티미디어 데이터 프로세싱 시스템.
  28. 제 22 항에 있어서,
    상기 식별하는 수단은 상기 멀티미디어 데이터의 적어도 하나의 화상 내의 2 이상의 화소 강도 범위를 식별하는 수단을 포함하고,
    상기 변경하는 수단은 상기 2 이상의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터를 변경하는 수단을 포함하는, 멀티미디어 데이터 프로세싱 시스템.
  29. 하나 이상의 머신 상에서 실행가능한, 저장된 명령들을 포함하는 머신 판독가능 매체로서,
    상기 명령들은,
    멀티미디어 데이터의 적어도 하나의 화상 내의 적어도 하나의 화소 강도 범위를 식별하기 위한 명령;
    상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터의 적어도 일부를 변경하기 위한 명령; 및
    인코딩된 멀티미디어 데이터를 형성하기 위해 상기 변경된 멀티미디어 데이터를 인코딩하기 위한 명령을 포함하는, 머신 판독가능 매체.
  30. 제 29 항에 있어서,
    상기 인코딩된 멀티미디어 데이터를 단말기 디바이스로 송신하기 위한 명령을 더 포함하는, 머신 판독가능 매체.
  31. 제 29 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터에 행해진 상기 변경을 나타내는 표시자를 유지하기 위한 명령; 및
    단말기 디바이스로의 송신을 위해 상기 표시자를 인코딩하기 위한 명령을 더 포함하는, 머신 판독가능 매체.
  32. 제 29 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 변경하기 위한 명령은 인버스 히스토그램 등화 동작을 수행하기 위한 명령을 포함하는, 머신 판독가능 매체.
  33. 제 29 항에 있어서,
    상기 적어도 하나의 화소 강도 범위를 변경하기 위한 명령은 감마 보정을 수행하기 위한 명령을 포함하는, 머신 판독가능 매체.
  34. 제 29 항에 있어서,
    상기 적어도 하나의 화소 강도 범위는 화소 값들의 검출된 범위 및 화소 강도 값들의 범위에 대한 한계를 정의하는 임계값에 적어도 부분적으로 기초하여 변경되는, 머신 판독가능 매체.
  35. 제 29 항에 있어서,
    상기 식별하기 위한 명령은 상기 멀티미디어 데이터의 적어도 하나의 화상 내의 2 이상의 화소 강도 범위를 식별하기 위한 명령을 포함하고,
    상기 변경하기 위한 명령은 상기 2 이상의 화소 강도 범위를 감소시키기 위해 상기 멀티미디어 데이터를 변경하기 위한 명령을 포함하는, 머신 판독가능 매체.
KR1020097002728A 2006-07-20 2007-07-19 비디오 인코딩 전의 동적 범위 감축 KR101023632B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US83234806P 2006-07-20 2006-07-20
US60/832,348 2006-07-20
US11/779,869 2007-07-18
US11/779,869 US8253752B2 (en) 2006-07-20 2007-07-18 Method and apparatus for encoder assisted pre-processing

Publications (2)

Publication Number Publication Date
KR20090037939A true KR20090037939A (ko) 2009-04-16
KR101023632B1 KR101023632B1 (ko) 2011-03-22

Family

ID=38920499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097002728A KR101023632B1 (ko) 2006-07-20 2007-07-19 비디오 인코딩 전의 동적 범위 감축

Country Status (6)

Country Link
US (1) US8253752B2 (ko)
EP (1) EP2052547A2 (ko)
JP (1) JP5290171B2 (ko)
KR (1) KR101023632B1 (ko)
TW (1) TW200818918A (ko)
WO (1) WO2008011502A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110028351A (ko) * 2008-06-12 2011-03-17 톰슨 라이센싱 감소된 비트 깊이 갱신 모드와 감소된 크로마 샘플링 갱신 모드로 비디오 코딩 및 디코딩하기 위한 방법 및 장치

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
CN102158697B (zh) * 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US7456760B2 (en) 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
TWI499414B (zh) 2006-09-29 2015-09-11 Lexicon Pharmaceuticals Inc 鈉與葡萄糖第２型共同運輸體（ｃｏ-ｔｒａｎｓｐｏｒｔｅｒ ２）的抑制物與其應用方法
TWI368443B (en) * 2006-11-09 2012-07-11 Lg Electronics Inc Method and apparatus for decoding/encoding a video signal
KR101349836B1 (ko) * 2006-11-17 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8238424B2 (en) * 2007-02-09 2012-08-07 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US8127233B2 (en) * 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
US8750390B2 (en) * 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
US8160132B2 (en) 2008-02-15 2012-04-17 Microsoft Corporation Reducing key picture popping effects in video
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8208543B2 (en) * 2008-05-19 2012-06-26 Microsoft Corporation Quantization and differential coding of alpha image data
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US20110135012A1 (en) * 2008-08-08 2011-06-09 Zhen Li Method and apparatus for detecting dark noise artifacts
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
BRPI0921986A2 (pt) * 2008-11-25 2018-06-05 Thomson Licensing métodos e aparelho para filtralçao por eliminação de artefatos à base de matrizes esparsas para codificação e decodificação de vídeo
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US8761531B2 (en) 2009-07-09 2014-06-24 Qualcomm Incorporated Image data compression involving sub-sampling of luma and chroma values
JP2011123587A (ja) * 2009-12-09 2011-06-23 Seiko Epson Corp 画像処理装置、画像表示装置および画像処理方法
US9082203B2 (en) * 2009-12-10 2015-07-14 Harris Corporation Image processing system for image resizing based upon operational feedback parameters and related methods
US20110249736A1 (en) * 2010-04-09 2011-10-13 Sharp Laboratories Of America, Inc. Codeword restriction for high performance video coding
KR20120014804A (ko) * 2010-08-10 2012-02-20 삼성전자주식회사 밝기 신호와 색차 신호 간의 크로스토크를 감소시키는 비디오 신호 생성 장치 및 방법
EP2429192A1 (en) * 2010-08-17 2012-03-14 Streamworks International S.A. Video signal processing
US20130156113A1 (en) * 2010-08-17 2013-06-20 Streamworks International, S.A. Video signal processing
GB2488396A (en) * 2010-08-17 2012-08-29 Streamworks Internat S A Video signal processing
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
WO2012090334A1 (ja) * 2010-12-29 2012-07-05 富士通株式会社 映像信号符号化装置、映像信号符号化方法およびプログラム
US8989261B2 (en) 2011-02-23 2015-03-24 Qualcomm Incorporated Multi-metric filtering
EP2635027A1 (en) * 2012-03-01 2013-09-04 Thomson Licensing Method and device for encoding a picture with increased precision, method and device for reconstructing a picture with increased precision
KR20220131366A (ko) * 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
ES2702614T3 (es) * 2013-01-02 2019-03-04 Dolby Laboratories Licensing Corp Codificación retrocompatible para señales de vídeo de ultra alta definición con dominio dinámico aumentado
WO2014124215A2 (en) * 2013-02-07 2014-08-14 Services Petroliers Schlumberger Borehole image compression
JP6337353B2 (ja) * 2014-02-18 2018-06-06 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法
US9786251B1 (en) * 2014-05-28 2017-10-10 Musco Corporation Apparatus, method, and system for visually indicating perceived glare thresholds
US10455230B2 (en) * 2015-01-09 2019-10-22 Avago Technologies International Sales Pte. Limited Methods for improving low-cost video/image compression
CN105791848B (zh) * 2015-01-09 2019-10-01 安华高科技股份有限公司 用于改善低成本视频/图像压缩的方法
US10349064B2 (en) 2015-03-10 2019-07-09 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US9794540B2 (en) * 2015-04-17 2017-10-17 Google Inc. Hardware-based convolutional color correction in digital images
US9336582B1 (en) 2015-04-17 2016-05-10 Google Inc. Convolutional color correction
US9736366B1 (en) 2015-05-23 2017-08-15 Google Inc. Tile-based digital image correspondence
US9342873B1 (en) * 2015-05-23 2016-05-17 Google Inc. Tile-based optical flow
CN107533768B (zh) 2015-06-23 2021-07-30 惠普发展公司有限责任合伙企业 基于目标颜色空间范围的图像直方图压缩端点对选择
TWI565271B (zh) * 2015-06-26 2017-01-01 晨星半導體股份有限公司 可修正信雜特徵值估計的接收電路與相關方法
JP6803378B2 (ja) * 2015-08-31 2020-12-23 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 逆トーンマッピングの方法及び装置
CN108140130B (zh) 2015-11-05 2019-10-18 谷歌有限责任公司 图像处理方法及非暂时性计算机可读介质
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US20180183998A1 (en) * 2016-12-22 2018-06-28 Qualcomm Incorporated Power reduction and performance improvement through selective sensor image downscaling
US11706404B2 (en) * 2018-04-28 2023-07-18 Intel Corporaton Weighted prediction mechanism
KR102285738B1 (ko) * 2018-10-19 2021-08-05 삼성전자주식회사 영상의 주관적 품질을 평가하는 방법 및 장치
EP3989587A1 (en) 2020-10-21 2022-04-27 Axis AB Image processing device and method of pre-processing images of a video stream before encoding

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930003757A (ko) * 1991-07-31 1993-02-24 오오가 노리오 영상 신호 전송 장치 및 방법
JP3053576B2 (ja) * 1996-08-07 2000-06-19 オリンパス光学工業株式会社 コードイメージデータ出力装置及び出力方法
KR100262453B1 (ko) 1996-08-19 2000-08-01 윤종용 비디오데이터처리방법및장치
US5973755A (en) * 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
US5890120A (en) * 1997-05-20 1999-03-30 At&T Corp Matching, synchronization, and superposition on orginal speaking subject images of modified signs from sign language database corresponding to recognized speech segments
JP4219552B2 (ja) 1997-07-31 2009-02-04 ユニヴァーシティ オブ カリフォルニア バークレイ 画像及び信号処理のための装置及び方法
US6560285B1 (en) 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
US6034733A (en) * 1998-07-29 2000-03-07 S3 Incorporated Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data
US6374197B1 (en) * 1999-05-10 2002-04-16 The United States Of America As Represented By The Secretary Of The Navy Fuzzy logic based model assessment system and method for contact tracking
JP3701522B2 (ja) 1999-09-21 2005-09-28 シャープ株式会社 画像符号化装置、画像符号化方法及びコンピュータ読み取り可能な記録媒体
JP2001186323A (ja) * 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
US6621865B1 (en) * 2000-09-18 2003-09-16 Powerlayer Microsystems, Inc. Method and system for encoding and decoding moving and still pictures
GB0110748D0 (en) 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
US6909745B1 (en) * 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US20030018672A1 (en) * 2001-07-18 2003-01-23 Koninklijke Philips Electronics N.V. System and method for fast median filters, with a predetermined number of elements, in processors
KR100393071B1 (ko) * 2001-08-18 2003-07-31 삼성전자주식회사 영상의 히스토그램 평활화 장치 및 방법
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
WO2003036979A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using adaptive content filtering
WO2004004354A1 (en) 2002-06-28 2004-01-08 Koninklijke Philips Electronics N.V. Spatial scalable compression
DE10241353B4 (de) 2002-09-06 2004-07-15 Sp3D Chip Design Gmbh Verfahren und Vorrichtung zum Umwandeln eines Farbbildes
KR101051604B1 (ko) * 2003-01-09 2011-07-22 소니 주식회사 화상 처리 장치 및 방법
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US20060193384A1 (en) * 2003-06-19 2006-08-31 Boyce Jill M Method and apparatus for low-complexity spatial scalable decoding
EP1634461A2 (en) * 2003-06-19 2006-03-15 THOMSON Licensing Method and apparatus for low-complexity spatial scalable decoding
KR20060126984A (ko) 2003-12-08 2006-12-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 데드 존을 갖는 공간 스케일링 가능한 압축 기법
US7430336B2 (en) 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
CN1728827A (zh) * 2004-07-26 2006-02-01 皇家飞利浦电子股份有限公司 一种视频流分级压缩方法及装置
JP2006050042A (ja) 2004-08-02 2006-02-16 Megachips Lsi Solutions Inc 画像処理装置
KR20070090245A (ko) * 2004-12-13 2007-09-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 스케일러블 화상 인코딩

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110028351A (ko) * 2008-06-12 2011-03-17 톰슨 라이센싱 감소된 비트 깊이 갱신 모드와 감소된 크로마 샘플링 갱신 모드로 비디오 코딩 및 디코딩하기 위한 방법 및 장치

Also Published As

Publication number Publication date
EP2052547A2 (en) 2009-04-29
KR101023632B1 (ko) 2011-03-22
US20080024513A1 (en) 2008-01-31
US8253752B2 (en) 2012-08-28
JP2009545212A (ja) 2009-12-17
WO2008011502A2 (en) 2008-01-24
JP5290171B2 (ja) 2013-09-18
TW200818918A (en) 2008-04-16
WO2008011502A3 (en) 2008-04-03

Similar Documents

Publication Publication Date Title
KR101023632B1 (ko) 비디오 인코딩 전의 동적 범위 감축
KR101074301B1 (ko) 디코더에서 수행되는 포스트프로세싱을 고려한 비디오 코딩
CN101491102B (zh) 将后处理视为在解码器中执行的视频编码
CN112929670A (zh) 自适应色度下采样和色彩空间转换技术
RU2758035C2 (ru) Способ и устройство для реконструкции данных изображений по декодированным данным изображений
EP3069513B1 (en) Pre-dithering in high dynamic range video coding
US20220167019A1 (en) Method and device for reconstructing image data from decoded image data
EP3493150A1 (en) Tone mapping adaptation for saturation control
US11741585B2 (en) Method and device for obtaining a second image from a first image when the dynamic range of the luminance of the first image is greater than the dynamic range of the luminance of the second image
CN1218560C (zh) 增强编码视频清晰度的方法和系统
US7676099B2 (en) Method of down-sampling data values
US7224832B2 (en) Image coding device, and image decoding device using irreversable coding without mask image
US20050100189A1 (en) Image processing apparatus
JP2013524659A (ja) ハンドヘルド及びモバイル用途に適した低減された記憶容量及び処理要求を有するブロードキャストビデオレコーダ
Claßen et al. Weighted Edge Sharpening Filtering for Upscaled Content in Adaptive Resolution Coding
KR20180054623A (ko) Hdr 코딩/디코딩을 위한 컬러 성분 샘플의 코-로케이팅된 루미넌스 샘플의 결정

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171228

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee