KR20060115739A - 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법 - Google Patents

디지털 이미지 및/또는 비디오 데이터를 처리하는 방법 Download PDF

Info

Publication number
KR20060115739A
KR20060115739A KR1020067008695A KR20067008695A KR20060115739A KR 20060115739 A KR20060115739 A KR 20060115739A KR 1020067008695 A KR1020067008695 A KR 1020067008695A KR 20067008695 A KR20067008695 A KR 20067008695A KR 20060115739 A KR20060115739 A KR 20060115739A
Authority
KR
South Korea
Prior art keywords
data
pixel
frame
filtering
luminance value
Prior art date
Application number
KR1020067008695A
Other languages
English (en)
Other versions
KR101069975B1 (ko
Inventor
페르 토렐
Original Assignee
텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) filed Critical 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Publication of KR20060115739A publication Critical patent/KR20060115739A/ko
Application granted granted Critical
Publication of KR101069975B1 publication Critical patent/KR101069975B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

디지털 이미지 및/또는 비디오 데이터가 처리되는데, 데이터의 프레임은 루미넌스 값 및 크로미넌스 값을 포함하는 각각의 픽셀에 대한 데이터를 갖는 복수의 로우 및 컬럼의 픽셀들을 포함한다. 현재 픽셀 및 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값이 수신되고, 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들이 비교될 수 있다. 현재 픽셀의 루미넌스 값은 필터링될 수 있는데, 루미넌스 값을 필터링하는 강도는 현재 픽셀의 크로미넌스 값과 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초한다.
픽셀, 루미넌스 값, 크로미넌스 값, 필터링 강도

Description

디지털 이미지 및/또는 비디오 데이터를 처리하는 방법{METHODS OF PROCESSING DIGITAL IMAGE AND/OR VIDEO DATA INCLUDING LUMINANCE FILTERING BASED ON CHROMINANCE DATA}
본 발명은 이미지 및/또는 비디오 분야에 관한 것으로, 보다 상세히는 디지털 이미지 및/또는 비디오 데이터의 처리 및 관련 시스템과 컴퓨터 프로그램 제품에 관한 것이다.
디지털 비디오용 픽셀 적응형 잡음 제거 필터가 "시우-웨이 우" 등이 저술한 미국 특허 제5,959,693에 기재되어 있다. "우" 등이 요약에서 설명한 바와 같이, 비디오 이미지의 현재 픽셀은 잡음이 존재할 가능성이 매우 높을 때, 더 강력한 필터링을 제공하도록 적응되어 필터링된다. 크로미넌스 및/또는 명도 테두리가 비디오 이미지에 존재할 가능성이 있을 때는 더 약한 필터링이 제공된다. 각각의 픽셀은 루미넌스 및 크로미넌스 진폭 값을 가진다. 필터링 방법에서, 현재 픽셀은 비디오 프레임에서 제1 픽셀과 제2 픽셀의 중간이다. 차분 신호들은 현재 픽셀과 제1 및 제2 인접 픽셀들 간의 진폭 차이에 기초하여 결정된다. 복수의 이용가능한 필터는 현재 픽셀 진폭에 연속적으로 보다 강한 필터링을 제공한다. 차분 신호에 따라 현재 픽셀을 필터링하기 위하여 필터들 중 하나가 선택된다. 현재 픽셀과 제 1 및 제2 픽셀에 인접한 픽셀들 간의 진폭 차이를 나타내는 보조적인 차분 신호 또한 이 선택 처리에서 고려된다. 선택 과정은 또한 사용자-선택가능한 제어 단어에 의해 바이어스(biased)될 수 있다. 이 스킴은 또한 연속적인 비디오 프레임 또는 이미지를 가지는 시간적 필터링을 제공할 수 있다. 픽셀 보간법을 가지는 필터링 또한 이용될 수 있다. 미국 특허 제5,959,593의 개시물은 그 전체가 본원에 참조로서 포함된다.
<발명의 요약>
본 발명의 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 방법이 제공되는데, 여기에서 데이터의 프레임은, 루미넌스 값 및 크로미넌스 값을 포함하는 각각의 픽셀에 대한 데이터를 갖는 복수의 로우 및 컬럼의 픽셀들을 포함한다. 보다 상세히는, 현재 픽셀 및 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값이 수신될 수 있으며, 현재 픽셀과 적어도 하나의 인접하는 픽셀의 크로미넌스 값들이 비교될 수 있다. 현재 픽셀의 루미넌스 값은 필터링될 수 있는데, 여기에서 루미넌스 값을 필터링하는 강도는 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초한다.
현재 픽셀의 루미넌스 값을 필터링하는 단계는 현재 픽셀의 루미넌스 값과 적어도 하나의 인접 픽셀의 루미넌스 값의 평균을 구하는 단계를 포함할 수 있고, 필터링의 강도는 루미넌스 값들의 평균을 구할 때 루미넌스 값에 적용되는 가중치들에 의해 결정될 수 있다. 현재 픽셀과 인접 픽셀의 크로미넌스 값들을 비교하는 단계는 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이를 계산하는 단계를 포 함할 수 있다. 또한, 필터링 강도는 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이가 소정의 임계치를 초과하는 경우 감소할 수 있고, 필터링 강도는 현재 픽셀 값과 인접 픽셀의 크로미넌스 값들 간의 차이가 소정의 임계치 미만인 경우 증가할 수 있다.
데이터는 YCrCb 포맷으로 제공될 수 있는데, 각 픽셀에 대하여 Y는 루미넌스 값이고 Cr 및 Cb는 각각 적색 및 녹색 크로미넌스 값이다. 또한, 현재 픽셀과 인접 픽셀들의 크로미넌스 값들을 비교하는 단계는 각 픽셀에 대한 Cr 값의 차의 절대값에 각 픽셀에 대한 Cb 값의 차의 절대값을 합하는 단계를 포함할 수 있다. 보다 상세히는, 각 픽셀에 대한 Cr 값의 차이의 절대값은 Cr 값들의 차를 제곱한 것일 수 있고 각 픽셀에 대한 Cb 값의 차의 절대값은 Cb 값들의 차를 제곱한 것일 수 있다. 또한, 필터링 강도를 감소시키는 단계는 필터링을 하지 않고 픽셀에 대한 루미넌스 값을 통과시키는 단계를 포함할 수 있다. 또한, 현재 픽셀과 적어도 하나의 인접 픽셀의 루미넌스 값들은 현재 픽셀의 루미넌스 값을 필터링하기 전에 비교될 수 있고, 필터링의 강도는 제1 픽셀과 제2 픽셀의 크로미넌스 값들의 비교, 및 루미넌스 값들의 비교에 기초할 수 있다.
현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값들 및 루미넌스 값들을 수신하는 단계는 디지털 카메라로부터 크로미넌스 및 루미넌스 값들을 수신하는 단계를 포함할 수 있고, 필터링된 루미넌스 값을 포함하는 데이터는 인코딩되고 무선 인터페이스를 통해 송신될 수 있다. 인코딩은 데이터의 압축 레이트를 변경시키는 것을 포함할 수 있고, 필터링 강도는 제1 및 제2 픽셀의 루미넌스 값들의 비교 및 인코딩 중에 적용된 압축 레이트에 기초할 수 있다. 디지털 카메라로부터 크로미넌스 값과 루미넌스 값을 수신하는 단계는 데이터의 프레임에 대한 크로미넌스 값과 루미넌스 값을 수신하는 단계를 포함할 수 있고, 루미넌스 값을 필터링하는 단계는 데이터의 프레임에 대한 루미넌스 값을 필터링하는 단계를 포함할 수 있다. 또한, 텍스처(texture)가 적용되어야 하는 필터링된 프레임의 부분들이 식별될 수 있고, 텍스처가 적용되어야 하는 프레임의 부분들의 식별정보가 송신될 수 있다. 적용되어야 하는 복수의 텍스처들 중 하나의 식별정보도 송신될 수 있다.
인코딩된 데이터는 무선 인터페이스를 통해 수신될 수 있고, 인코딩된 데이터는 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값들과 루미넌스 값들을 수신하기 이전에 디코딩되어 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값들 및 루미넌스 값들을 제공할 수 있다. 루미넌스 값을 필터링하는 단계는 데이터의 프레임에 대한 루미넌스 값들을 필터링하는 단계, 및 텍스처가 적용되어야 하는 프레임의 부분을 식별하는 단계를 포함할 수 있고, 및 데이터의 프레임으로부터 루미넌스 값을 필터링한 이후에, 텍스처는 프레임의 식별된 부분들에 적용될 수 있다.
또한, 제1 픽셀과 인접 픽셀은 수평으로 인접한 픽셀, 수직으로 인접한 픽셀, 대각선으로 인접한 픽셀 및/또는 시간적으로 인접한 픽셀 중 하나일 수 있다. 또한, 현재 픽셀의 루미넌스 값을 필터링하는 단계는 현재 픽셀의 루미넌스 값을 로우패스 필터링하는 단계를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 송신 장치로부터의 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 방법이 제공되는데, 여기에서 데이터의 프레임은, 루미넌스 값 및 크로미넌스 값을 포함하는 각각의 픽셀에 대한 데이터를 갖는 복수의 로우 및 컬럼의 픽셀들을 포함한다. 또한, 데이터는 송신 이전에 프리필터링되고 인코딩되며, 데이터는 프리필터링 알고리즘에 따라 프리필터링될 수 있다. 프리필터링되고 인코딩된 데이터는 송신 장치로부터 수신될 수 있고, 송신 장치로부터의 프리필터링되고 인코딩된 데이터는 디코딩될 수 있다. 디코딩된 데이터는 프리필터링 알고리즘과 매칭되는 포스트필터링 알고리즘에 따라 포스트필터링될 수 있다.
본 발명의 또 다른 실시예에 따르면, 송신 장치로부터 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 방법이 제공되는데, 여기에서 데이터의 프레임은, 루미넌스 값 및 크로미넌스 값을 포함하는 각각의 픽셀에 대한 데이터를 갖는 복수의 로우 및 컬럼의 픽셀들을 포함한다. 데이터는 송신 이전에 프리필터링되고 인코딩될 수 있으며, 데이터는 프리필터링 알고리즘에 따라 프리필터링 알고리즘의 매개변수가 송신 장치로부터 송신되면서 프리필터링될 수 있다. 프리필터링되고 인코딩된 데이터 및 프리필터링 알고리즘의 매개변수는 송신 장치로부터 수신될 수 있다. 송신 장치로부터의 프리필터링되고 인코딩된 데이터는 디코딩될 수 있고, 디코딩된 데이터는 그 동작이 송신 장치로부터 수신된 포스트필터링 알고리즘의 매개변수에 따라 적응되는 포스트필터링 알고리즘에 따라 포스트필터링될 수 있다.
본 발명의 또 다른 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 방법이 제공될 수 있는데 여기에서 데이터의 프레임은 복수의 로 우 및 컬럼의 픽셀들을 포함한다. 현재 픽셀에 대한 루미넌스 값이 수신될 수 있고, 현재 픽셀의 루미넌스 값이 필터링될 수 있다. 필터링된 루미넌스 값을 포함하는 데이터는 인코딩될 수 있는데 데이터를 인코딩하는 단계는 데이터의 압축 레이트를 변경하는 단계를 포함하고, 루미넌스 값의 필터링 강도는 인코딩 중에 적용되는 압축 레이트에 응답하여 변경된다.
본 발명의 또 다른 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 방법이 제공되는데 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함한다. 프레임의 픽셀에 대한 데이터가 수신되고 필터링될 수 있고, 텍스처가 적용되어야 하는 데이터의 프레임의 부분이 식별될 수 있다. 프레임의 픽셀에 대한 필터링된 데이터가 인코딩될 수 있고, 프레임의 픽셀에 대한 이러한 인코딩되고 필터링된 데이터는 송신될 수 있다. 또한, 텍스처가 적용되어야 하는 데이터의 프레임의 부분의 식별정보가 송신될 수 있다.
본 발명의 또 다른 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 방법이 제공될 수 있는데 여기에서 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함한다. 데이터의 프레임의 픽셀에 대한 데이터가 수신되고 디코딩될 수 있다. 텍스처가 적용되어야 하는 데이터의 프레임의 부분이 식별될 수 있고, 프레임의 픽셀에 대한 데이터를 디코딩한 이후에, 데이터의 프레임의 식별된 부분에 텍스처가 적용될 수 있다.
본 발명의 추가적인 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 컴퓨터 프로그램 제품이 제공될 수 있는데, 여기에서 데이터의 프레임은, 루미넌스 값 및 크로미넌스 값을 포함하는 각각의 픽셀에 대한 데이터를 갖는 복수의 로우 및 컬럼의 픽셀들을 포함한다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 컴퓨터 판독가능 저장 매체를 포함한다. 컴퓨터 판독가능 프로그램 코드는 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값을 수신하고, 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들을 비교하고, 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값의 비교에 기초하는 루미넌스 값의 필터링 강도로 현재 픽셀의 루미넌스 값을 필터링하는 컴퓨터 판독가능 프로그램 코드를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 송신 장치로부터 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 컴퓨터 프로그램 제품이 제공될 수 있는데, 여기에서 데이터의 프레임은, 루미넌스 값 및 크로미넌스 값을 포함하는 각각의 픽셀에 대한 데이터를 갖는 복수의 로우 및 컬럼의 픽셀들을 포함하며, 데이터는 송신 이전에 프리필터링되고 인코딩되며, 데이터는 프리필터링 알고리즘에 따라 프리필터링된다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 프로그램 코드는 송신 장치로부터 프리필터링되고 인코딩된 데이터를 수신하고, 송신 장치로부터의 프리필터링되고 인코딩된 데이터를 디코딩하고, 프리필터링과 매치되는 포스트필터링 알고리즘에 따라 디코딩된 데이터를 포스트필터링하는 컴퓨터 판독가능 프로그램 코드를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 송신 장치로부터 디지털 이미지 및/또 는 비디오 데이터를 처리하기 위한 컴퓨터 프로그램 제품이 제공될 수 있는데, 여기에서 데이터의 프레임은, 루미넌스 값 및 크로미넌스 값을 포함하는 각각의 픽셀에 대한 데이터를 갖는 복수의 로우 및 컬럼의 픽셀들을 포함한다. 또한, 데이터는 함께 송신되기 전에 프리필터링 알고리즘에 따라 프리필터링되고 인코딩될 수 있으며, 프리필터링 알고리즘의 매개변수는 송신 장치로부터 송신된다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 송신 장치로부터의 프리필터링되고 인코딩된 데이터를 수신하고, 송신 장치로부터 송신된 프리필터링 알고리즘의 매개변수를 수신하고, 송신 장치로부터 프리필터링되고 인코딩된 데이터를 디코딩하고, 그 동작이 송신 장치로부터 수신된 프리필터링 알고리즘의 매개변수에 따라 적응되는 포스트필터링 알고리즘에 따라 디코딩된 데이터를 포스트필터링하는 컴퓨터 판독가능 프로그램 코드를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 컴퓨터 프로그램 제품이 제공될 수 있는데, 여기에서 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함한다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 프로그램 코드는 현재 픽셀에 대한 루미넌스 값을 수신하고, 현재 픽셀의 루미넌스 값을 필터링하고, 필터링된 루미넌스 값을 포함하는 데이터를 인코딩하는 컴퓨터 판독가능 프로그램 코드를 포함할 수 있는데, 여기에서 데이터를 인코딩하는 단계는 데이터의 압축 레이트를 변경시키는 단계를 포함하며, 루미넌스 값의 필터링 강도는 인코딩 중에 적용되는 압축 레이트에 응답하여 변경된다.
본 발명의 또 다른 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 컴퓨터 프로그램 제품이 제공될 수 있는데, 여기에서 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함한다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 프로그램 코드는 데이터의 프레임의 픽셀에 대한 데이터를 수신하고, 프레임의 픽셀에 대한 데이터를 필터링하고, 텍스처가 적용되어야 하는 데이터의 프레임의 부분을 식별하고, 프레임의 픽셀에 대한 필터링된 데이터를 인코딩하고 프레임의 픽셀에 대한 인코딩되고 필터링된 데이터를 송신하고, 텍스처가 적용되어야 하는 데이터의 프레임의 부분의 식별정보를 송신하는 컴퓨터 판독가능 프로그램 코드를 포함할 수 있다.
본 발명의 또 다른 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 컴퓨터 프로그램 제품이 제공될 수 있는데, 여기에서 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함한다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 프로그램 코드가 구현되어 있는 컴퓨터 판독가능 저장 매체를 포함할 수 있다. 컴퓨터 판독가능 프로그램 코드는 데이터의 프레임의 픽셀에 대한 데이터를 수신하고, 프레임의 픽셀에 대한 데이터를 디코딩하고, 텍스처가 적용되어야 하는 데이터의 프레임의 부분을 식별하고, 프레임의 픽셀에 대한 데이터를 디코딩한 후에 데이터의 프레임의 식별된 부분에 텍스처를 적용하는 컴퓨터 판독가능 프로그램 코드를 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 통신 시스템의 도면.
도 2는 본 발명의 실시예에 따른 이동 단말기의 블럭도.
도 3 내지 9는 본 발명의 실시예에 따른 이미지 및/또는 비디오 데이터를 처리하는 동작을 도시하는 흐름도.
도 10 내지 12는 본 발명의 실시예에 따른 프로세서를 도시하는 블럭도.
지금부터 본 명세서에서는 본 발명의 바람직한 실시예가 도시된 첨부된 도면을 참조하여 본 발명이 보다 완전하게 기술될 것이다. 그러나, 본 발명은 다양한 다른 형태로 실행될 수 있고, 본원에 설명된 실시예로 제한된다고 해석되어서는 안되며, 오히려, 본 기술 분야에서 숙련된 기술을 가진 자에게 본 발명의 범위를 완전히 전달할 수 있고 본 개시물이 철저하고 완전하게 되도록 이들 실시예가 제공된다. 전반적으로 동일한 참조 번호는 동일한 구성 요소를 참조한다.
본 기술 분야에서 숙련된 기술을 가진 자들은 본 발명이 방법 또는 장치로서 실행될 수 있다고 인식할 것이다. 따라서, 본 발명은 하드웨어 실시예, 소프트웨어 실시예 또는 소프트웨어 및 하드웨어 양태를 결합한 실시예 형태를 취할 수 있다. 또한 구성요소가 다른 구성요소에 "접속"되거나 "연결"되었다고 언급될 때, 이 구성요소는 다른 구성요소에 직접 접속 또는 연결될 수도 있고 개재하는 구성요소가 존재할 수도 있다고 이해할 것이다. 대조적으로, 구성요소가 다른 구성 요소 에 "직접 접속"되거나 "직접 연결"되었다고 언급될 때, 개재하는 구성요소는 존재하지 않는다.
용어 "포함한다/포함하는"은, 본 명세서에서 사용될 때, 진술한 특징, 정수, 단계, 또는 컴포넌트가 존재한다고 기술하는 데에 이용되지만 하나 이상의 다른 특징, 정수, 단계, 컴포넌트 또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것을 강조해야 한다.
이제 도 1을 참조하면, 이동 전화 교환국(MTSO)(103) 및 복수의 기지국(105a-c)을 포함하는 무선 통신 시스템에 의해 본 발명의 실시예에 따른 무선 통신이 제공될 수 있다. 각 기지국은, 예를 들면, 하나 또는 복수의 이동 단말기(MT)(107a-d)와의 무선 통신을 제공할 수 있고, 이동 전화 교환국은 또한 인트라넷 및/또는 인터넷과 같은 데이터 통신 네트워크(109) 및/또는 공중전화 통신망(PSTN)(101)과의 통신을 제공할 수 있다. 그러므로 무선 통신 시스템은 2개의 이동 단말기(107)들 간에서, 이동 단말기(107)와 공중전화 통신망(101)에 연결된 통상적인 전화 간에서, 및/또는 공중전화 통신망에 연결되고/거나 데이터 통신 네트워크(109)에 연결된 (퍼스널 컴퓨터 또는 랩탑 컴퓨터와 같은) 컴퓨팅 장치와 이동 단말기(107) 간에서, 음성, 이미지 및/또는 비디오, 비디오, 및/또는 데이터 통신을 제공할 수 있다.
무선 통신 시스템은, 예를 들면, WiFi 네트워크, 셀룰러 네트워크, PCS(Personal Communications Services) 네트워크, 위성 통신 네트워크, 초광대역폭(ultrawideband) 네트워크 및/또는 블루투스(Bluetooth) 네트워크와 같은 무선 통신 네트워크일 수 있다. 각 이동 단말기(107)는, 예를 들면, 무선 전화, (팜 파일럿(Palm Pilot)TM 또는 포켓 PCTM와 같은) 무선으로 이용가능한 PDA, 페이저, (블랙베리(Blackberry)TM 무선 핸드헬드 장치와 같은) 무선 메세징 장치, 무선으로 이용가능한 랩탑 컴퓨터, 및/또는 이들의 조합일 수 있다. 또한, 기지국(105) 및/또는 이동 전화 교환국(103)을 사용하지 않는 이동 단말기들(107) 간의 직접적인 통신이 이용될 수 있다.
그러므로 이동 단말기(107)는 무선 음성 및/또는 데이터 통신을 제공하는 데에 이용될 수 있고 무선 통신은 디지털일 수 있다. 또한 이동 단말기(107)에 디지털 카메라가 포함되고/거나 연결될 수 있다. 디지털 카메라는 복수의 픽셀의 로우 및 컬럼으로 구성된 프레임을 캡처하여 디지털 이미지 및/또는 비디오(화상)를 제공할 수 있고/거나, 디지털 카메라는 복수의 일련의 프레임을 캡처하여 비디오를 제공할 수 있다. 이러한 디지털 이미지 및/또는 비디오들 및/또는 비디오는 이동 단말기의 메모리에 저장되거나 이동 단말기의 화면에 보일 수 있다. 디지털 이미지 및/또는 비디오 데이터는 또한 (또는 그 대안으로) 이동 단말기(107)로부터 무선 인터페이스를 통해 다른 이동 단말기(107), 및/또는 공중전화 통신망(101) 및/또는 데이터 통신 네트워크(109)에 연결된 다른 장치로 송신될 수 있다. 디지털 이미지 및/또는 비디오 데이터는 또한 (또는 그 대안으로) 이동 단말기(107)로부터 (포트(218) 등을 이용하는) 유선 인터페이스를 통해 다른 이동 단말기 또는 장치로 송신될 수 있다.
무선 인터페이스를 통하여 이미지 및/또는 비디오를 송신할 경우, 송신 대역폭은 송신 이전에 이미지 및/또는 비디오를 필터링함으로써 줄어들 수 있다. 이미지 및/또는 비디오를 표시하는 데이터는, 예를 들면, 비교적 인지하기 어렵고/거나 비교적 작은 시각적 정보를 제공하는 반면에 큰 대역폭을 소비하는 이미지 및/또는 비디오의 고주파 성분을 감소시키기 위하여 로우패스(low-pass) 필터링될 수 있다. 또한, 데이터의 필터링 강도는 객체들 간의 테두리와 같은 시각적으로 중요한 정보가 인지될 수 있는 한편 시각적으로 중요하지 않거나 보다 인지되기 어려울 수 있는 고주파 성분이 보다 강하게 필터링되도록 픽셀 단위로 변경될 수 있다. 본 발명의 실시예에 따르면, 텍스처의 고주파 정보를 포함하는 픽셀들 간의 루미넌스 값에서의 변경이 거의 없는 텍스처의 고주파 정보는 이미지 및/또는 비디오의 주관적인 품질에 거의 큰 영향 없이 제거될 수 있다.
보다 상세히는, 디지털 이미지 및/또는 비디오 데이터의 프레임의 각 픽셀은 한개의 루미넌스 값 및 이와 관련된 복수의 크로미넌스 값을 가질 수 있고, 현재 픽셀의 루미넌스 값은 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초하는 루미넌스 값의 필터링 강도로 필터링될 수 있다. 그 다음 필터링된 이미지 및/또는 비디오 데이터는 송신에 소비되는 대역폭을 더 감소시키고/거나 저장소에서 소비되는 메모리를 더 줄이기 위하여 다른 장치 및/또는 메모리의 저장소에 송신되기 전에 인코딩될 수 있다. 이에 추가하여 또는 대안으로, 본 발명의 실시예에 따른 필터링은 디지털 이미지 및 비디오 데이터를 수신하는 장치에서 디지털 이미지 및/또는 비디오를 재생하고/거나 저장하기 이전에 수행될 수 있다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 이동 단말기(207)는 안테나(211), 트랜시버(213), 프로세서(215), 메모리(217), 포트(218), 사용자 인터페이스(219), 및/또는 디지털 카메라(220)를 포함할 수 있다. 보다 상세히는, 사용자 인터페이스(219)는 하나 이상의 스피커(221), 마이크로폰(223), 키패드(225), (평면 스크린 또는 액정 디스플레이와 같은) 디스플레이(227), 및/또는 접촉 감응식 스크린(229)을 포함할 수 있다. 이동 단말기(207)는 무선전화, (팜 파일럿(Palm Pilot)TM 또는 포켓 PCTM와 같은) 무선으로 이용가능한 PDA, 페이저, (블랙베리(Blackberry)TM 무선 핸드헬드 장치와 같은) 무선 메세징 장치, 무선으로 이용가능한 랩탑 컴퓨터, 및/또는 이들의 조합일 수 있다. 또한, 도 1에 관련하여 상술한 바와 같이 이동 단말기는 WiFi 네트워크, 셀룰러 네트워크, PCS(Personal Communication Services) 네트워크, 위성 통신 네트워크, 초광대역폭 네트워크 및/또는 블루투스 네트워크와 같은 하나 이상의 통신 네트워크를 통하는 무선 통신을 제공할 수 있다.
또한, 이동 단말기(207)는 중간 통신 시스템 또는 네트워크를 사용하지 않고서 다른 장치와의 직접적인 통신을 제공할 수 있다. 예를 들면, 이동 단말기(207)는 무선 주파수, 적외선 및/또는 광 연결을 이용하는 다른 이동 단말기와의 직접적인 무선 통신을 제공할 수 있다. 대안으로, 이동 단말기(207)는 포트(218)를 통해 연결된 유선 및/또는 광 섬유를 이용하는 다른 이동 단말기와의 직접적인 통신을 제공할 수 있다. 이동 단말기는 또한 다른 통신 및/또는 컴퓨팅 기능을 제공하지 않는 디지털 정지 화상 카메라 및/또는 디지털 비디오 카메라일 수 있다.
본 발명의 실시예에 따르면, 디지털 카메라(220)는 정지 이미지 및/또는 비디오와 같은 단일 프레임을 캡처하여 한 화상을 제공하고/하거나 복수의 연속된 프레임을 캡처하여 비디오를 제공할 수 있다. 보다 상세히는, 이미지 및/또는 비디오가 복수의 로우 및 컬럼의 픽셀들을 포함하는 프레임으로서 정의될 수 있고, 각 픽셀에 대한 데이터는 한 루미넌스 값 및 복수의 크로미넌스 값을 포함할 수 있다. YCbCr 포맷에 따르면, 예를 들어, 각 픽셀은 루미넌스 값 Y, 크로미넌스 청색 값 Cb, 및 크로미넌스 적색 값 Cr에 의해 정의된다. 또한, 몇몇의 포맷에 따르면, 크로미넌스 값은 데이터 처리, 메모리 및/또는 송신 대역폭 요구량을 줄이기 위하여 서브샘플링될 수 있다. 예를 들어, YCbCr 4:2:2 포맷에 따르면, 각 픽셀 마다 샘플링된 Y(루미넌스 값)가 보유되지만, 각 픽셀 쌍마다 오직 하나의 Cb(크로미넌스 청색 값) 및 오직 하나의 Cr(크로미넌스 적색 값)이 보유된다. YCbCr 4:2:0 포맷에 따르면, 각 픽셀 마다 샘플링된 Y(루미넌스 값)가 보유되지만, 4개의 픽셀 블럭마다 오직 하나의 Cb 및 오직 하나의 Cr이 보유된다.
디지털 카메라(220)에 의해 캡처된 픽셀 데이터는 프로세서(215) 및/또는 메모리(217) 중 하나 또는 모두에 제공될 수 있거나, 픽셀 데이터는 초기에 디지털 카메라(220)에 포함된 메모리에 저장될 수 있다. 예를 들면, 디지털 카메라로부터의 본래의 픽셀 데이터는 프로세서(215)에서 처리되기 전에 메모리(217)에 저장될 수 있다. 대안으로, 픽셀 데이터는 메모리(217)에 처리된 픽셀 데이터를 저장하기 이전에 프로세서(215)에서 처리될 수 있다. 다른 대안으로, 픽셀 데이터는 프로세 서(215)에서 처리되고 본래의 픽셀 데이터나 처리된 픽셀 데이터 어떤 것도 메모리(217)에 저장하지 않고 트랜시버(213) 및 안테나(211)를 통해 송신될 수 있다.
그러므로 도 2의 프로세서(215)는 디지털 카메라(220), 메모리(217), 트랜시버(213), 및/또는 포트(218)로부터 수신된 이미지 및/또는 비디오 데이터를 필터링할 수 있다. 예를 들면, 프로세서는 무선 인터페이스를 통해 트랜시버(213) 및 안테나(211)로부터의 송신을 위해 데이터를 인코딩하기 전에 디지털 카메라(220) 및/또는 메모리(217)로부터 데이터를 수신할 수 있다. 대안으로, 프로세서(215)는 무선 인터페이스를 통해 수신한 이후에 트랜시버(213)로부터 데이터를 수신할 수 있고, 프로세서는 필터링 이전에 데이터를 디코딩할 수 있다.
보다 상세히는, 프로세서(215)는 프레임의 픽셀의 루미넌스 값이 현재 처리되는 픽셀에 인접한 픽셀과 현재 픽셀의 크로미넌스 값들의 비교에 기초하여 필터링될 수 있도록 디지털 이미지 및/또는 비디오 데이터를 처리할 수 있다. 보다 상세히는, 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들과 루미넌스 값들은 메모리(217), 디지털 카메라(220), 트랜시버(213), 및/또는 포트(218)로부터 수신될 수 있다. 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값들은 비교될 수 있고, 현재 픽셀에 대한 루미넌스 값은 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초하는 루미넌스 값의 필터링 강도로 필터링될 수 있다. 따라서, 프레임의 루미넌스 값에 대한 필터링 강도는 각 픽셀과 인접 픽셀에 대한 크로미넌스 값들의 비교에 기초하여 픽셀 단위로 변경될 수 있다.
본원에 이용되는, 현재 픽셀이라는 용어는 현재 처리되는 픽셀을 칭하고, 인 접 픽셀이라는 용어는 현재 처리되는 픽셀에 인접한 픽셀을 칭한다. 인접 픽셀은 수평으로, 수직으로, 또는 대각선으로 현재 픽셀에 인접할 수 있고, 인접 픽셀은 인접 픽셀과 현재 픽셀 사이에 개재하는 픽셀 없이 현재 픽셀에 직접적이거나 즉시 인접할 수 있다. 대안으로, 개재하는 픽셀이 현재 픽셀과 인접 픽셀 간에 존재할 수 있다. 또한, 인접 픽셀은 이 인접 픽셀이 현재 픽셀의 프레임의 이전 또는 이후의 프레임의 대응하는 픽셀 위치를 차지하도록 일련의 비디오 프레임에서 시간적으로 현재 픽셀에 인접할 수 있다.
또한, 현재 픽셀과 인접 픽셀이 동일한 크로미넌스 값 또는 값들을 공유하지 않도록 인접 픽셀이 선택될 수 있다. 크로미넌스 값들은 4개의 픽셀 블럭이, 예를 들어, YCbCr 4:2:0 포맷에 따라, 동일한 Cb 및 Cr 값을 공유하도록 서브샘플링된다면, 인접 픽셀은 현재 픽셀을 포함하는 픽셀 블럭과는 다른 픽셀의 인접 블럭으로부터 선택될 수 있다. 마찬가지로, 크로미넌스 값이 2개의 픽셀 쌍이 YCbCr 4:2:2 포맷에 따라 동일한 Cb 및 Cr 값을 공유하도록 서브샘플링된다면, 인접 픽셀은 현재 픽셀을 포함하는 픽셀 쌍과는 다른 픽셀의 인접 쌍으로부터 선택될 수 있다.
보다 상세히는, 프로세서(215)는 현재 픽셀의 루미넌스 값과 하나 이상의 인접 픽셀의 루미넌스 값의 평균을 구함으로써 현재 픽셀의 루미넌스 값을 필터링할 수 있고, 필터링 강도는 평균을 구할 때 루미넌스 값들에 적용되는 가중치들에 의해 결정될 수 있다. 특정 실시예에 따르면, 현재 픽셀의 루미넌스 값과 이 픽셀의 한쪽에서 2개의 수평으로, 수직으로, 및/또는 대각선으로 인접한 픽셀들의 루미넌스 값들의 평균을 구할 수 있다. 비교적 강한 필터링에서는, 대략 동일한 가중치 (즉, 대략 33.33%)가 현재 픽셀에 대한 필터링된 루미넌스 값을 제공하도록 평균이 계산되는 3개의 루미넌스 값 각각에 적용될 수 있다. 비교적 약한 필터링에서는, 3개의 픽셀의 루미넌스 값들의 평균을 구하여 현재 픽셀에 대한 필터링된 루미넌스 값을 제공할 때 상대적으로 낮은 가중치(즉, 대략 10%)가 2개의 인접 픽셀의 루미넌스 값에 적용될 수 있고 상대적으로 높은 가중치(즉, 대략 80%)가 현재 픽셀의 루미넌스 값에 적용될 수 있다. 2개의 인접 픽셀의 루미넌스 값에 0%의 가중치를 적용하고 현재 픽셀의 루미넌스 값에 100%의 가중치를 적용함으로써, 현재 픽셀의 본래의 루미넌스 값은 필터링 없이 통과될 수 있다. 특정 픽셀의 루미넌스 값을 필터링하지 않는 것이 바람직하다면, 픽셀의 본래 루미넌스 값은 0 필터링을 제공하도록 변경하거나 평균을 구하지 않는 필터링을 통과할 수 있다. 필터링은 단지 예로서 기술되었고, 예를 들면, 보다 확장된 구현이 보다 많은 주변 픽셀을 고려할 수 있다.
프로세서(215)는 현재 픽셀과 인접 픽셀의 루미넌스 값들 간의 차이를 계산함으로써 현재 픽셀과 인접 픽셀의 크로미넌스 값들을 비교할 수 있다. 프로세서에 의해 적용된 필터링 강도는 비교되는 픽셀들의 크로미넌스 값들 간의 차이가 소정의 임계치를 초과할 때 감소할 수 있고, 프로세서에 의해 적용된 필터링 강도는 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이가 소정의 임계치 미만일 때 증가할 수 있다. 예를 들면, 크로미넌스 값들 간의 차이가 소정의 임계치보다 작을 경우 0보다 큰 소정의 가중치들이 평균 계산될 때 인접 픽셀의 루미넌스 값들에 적용될 수 있고, 크로미넌스 값들 간의 차이가 소정의 임계치보다 클 경우 0인 가 중치들이 평균계산될 때 인접 픽셀의 루미넌스 값에 적용될 수 있다. 또한, 크로미넌스 값들 간의 차이가 소정의 임계치보다 작을 때 적용된 0이 아닌 가중치들이 루미넌스 값들의 비교, 인코딩 중에 적용된 압축 정도(degree), 및/또는 송신 또는 수신 장치의 필터링 특징 일치와 같은 다른 인자에 기초하여 변경될 수 있다. 대안으로, 필터링 강도는 현재 픽셀과 인접 픽셀의 루미넌스 값들 간의 차이에 반비례하는 현재 픽셀의 루미넌스 값의 필터링 강도의 정도를 척도로 하여 픽셀들 간에 변경될 수 있다.
본 발명의 특정 실시예에 따르면, 프레임의 각 픽셀에 대한 디지털 데이터는 Y가 루미넌스 값이고 Cr 및 Cb가 각각 적색 및 청색 크로미넌스 값인 YCbCr 포맷으로 제공될 수 있다. 프로세서(215)에 의해 현재 픽셀과 인접 픽셀의 크로미넌스 값들이 각 픽셀에 대한 Cr 값의 차이의 절대값과 각 픽셀에 대한 Cb 값의 차이의 절대값을 합함으로써 비교될 수 있다. 또한, 각 픽셀에 대한 Cr 값의 차이의 절대값은 Cr 값들의 차이의 제곱일 수 있고, 각 픽셀에 대한 Cb 값의 차이의 절대값은 Cb 값들의 차이의 제곱일 수 있다. 따라서, 프로세서에 의해 크로미넌스 값들은 다음 공식에 따라 차이 D를 계산함으로서 비교될 수 있다.
D = (Cbi - Cbj)2 + (Cri - Crj)2 ........ 수학식 1
이 공식에서, Cri 및 Crj는 각각 현재(i) 픽셀 및 인접(j) 픽셀에 대한 적색 크로미넌스 값이고, Cbi 및 Cbj는 각각 현재(i) 픽셀 및 인접(j) 픽셀에 대한 청색 크로미넌스 값이다.
상술한 바와 같이, 프로세서(215)에 의해 현재 픽셀의 루미넌스 값에 적용되는 필터링 강도는 수학식 1의 공식에 따라 크로미넌스 값들을 비교할 때 계산된 값 D에 반비례하며 변경될 수 있다. 값 D(현재 픽셀과 인접 픽셀의 크로미넌스 값의 차이)가 소정의 임계치 K를 초과한다면, 현재 픽셀에 대한 루미넌스 값은 어떠한 필터링도 유효하게 적용되지 않도록 변경 없이 통과될 수 있다. 상술한 바와 같이, 예를 들어, 단지 현재 픽셀에 대한 본래 루미넌스 값을 통과시킴으로써, 또는 현재 픽셀과 다른 픽셀들의 평균을 구하지만 인접 픽셀에 0(0%)인 가중치를 적용함으로써, 필터링은 획득되지 않을 수 있다. 경험적인 테스트는 K=25인 값이 본 발명의 실시예에 따른 현재 픽셀의 루미넌스 값에 대한 로우패스 필터링을 생략하는 시점을 결정하기 위한 적절한 임계치를 제공할 수 있음을 보여주었다.
현재 픽셀의 루미넌스 값을 필터링하기 전에, 현재 픽셀과 적어도 하나의 인접 픽셀의 루미넌스 값이 또한 비교될 수 있고, 프로세서(125)에 의해 적용되는 필터링 강도는 크로미넌스 값들의 비교 및 루미넌스 값들의 비교에 기초할 수 있다. 본 발명의 몇몇의 실시예에 따르면, 현재 픽셀에 대한 크로미넌스 값들 간의 차이(예를 들면, 수학식 1의 값 D)가 소정의 임계치(예를 들면, K)를 초과한다면, 현재 픽셀은 필터링 없이 통과될 수 있다. 크로미넌스 값들 간의 차이가 소정의 임계치보다 작다면, 현재 픽셀이 눈에 띄는 색 성분을 가지는지에 대한 결정이 이루어질 수 있다. 예를 들면, 크로미넌스 값 Cbi 및 Cri 중 하나가 M과 같은 소정의 임계치를 초과한다면, 현재 픽셀은 눈에 띄는 색 성분을 가진다고 가정될 수 있으며, 로 우패스 필터링을 진행할 수 있다.
크로미넌스 값 Cbi와 Cri 중 어느 것도 M과 같은 소정의 임계치를 초과하지 않는다면, 픽셀은 흑백(검정 또는 흰색) 픽셀일 수 있고, 프로세서(215)는 필터링 이전에 현재 픽셀과 인접 픽셀 간의 루미넌스 값들에 있어 큰 변경이 있는지를 더 결정할 수 있다. 루미넌스 값들에 있어 큰 변경이 없다면, 현재 픽셀의 루미넌스 값은 로우패스 필터링될 수 있다. 루미넌스 값들에 큰 변경이 있다면, 현재 픽셀에 대한 루미넌스 값은 변경 없이 필터링을 통과할 수 있다. 따라서, 이미지 및/또는 비디오의 흑백 부분 간의 테두리는 현재 픽셀의 크로미넌스 값들 모두가 충분히 낮지만 인접 루미넌스 값들에 큰 변경이 있을 때 필터링을 중지시킴으로써 보다 정확하게 보존될 수 있다.
도 10에 도시된 바와 같이, 프로세서(215a)는 본 발명의 실시예에 따라 인코더(1011) 및 필터(1015)를 포함하도록 구성될 수 있다. 프로세서(215a)에서 크로미넌스 값 및 루미넌스 값을 수신하는 단계는 디지털 카메라로부터 직접적으로, 또는 값들을 저장하는 데에 이용되는 메모리를 통하여 크로미넌스 값 및 루미넌스 값을 수신하는 단계를 포함할 수 있다. 또한, 디지털 이미지 및/또는 비디오 데이터는 필터(1015)에 의해 필터링되고 인코더(1011)에 의해 인코딩되고 무선 인터페이스를 통해 트랜시버에 의해 송신될 수 있다. 상술한 바와 같이 필터(1015)를 이용하여 루미넌스 값을 필터링함으로써, 쉽게 인지되지 않는 고주파 정보는 인코딩된 이미지 및/또는 비디오 데이터가 무선 인터페이스를 통해 송신될 때 더 적은 대역 폭을 소비할 수 있도록 필터링될 수 있다.
또한, 디지털 이미지 및/또는 비디오 데이터를 인코딩하는 데에 이용되는 인코더(1011)는 디지털 이미지 및/또는 비디오 데이터에 적용되는 압축 레이트를 변경시킬 수 있고, 필터(1015)에서의 필터링 강도는 크로미넌스 값들의 비교 및 인코더(1011)에 의해 적용되는 압축 레이트에 기초할 수 있다. 압축 레이트는, 예를 들면, 무선 인터페이스를 통해 송신되는 이미지 및/또는 비디오에 대하여 비교적 일정한 비트 레이트를 보유하도록 변경될 수 있다. 예를 들면, 양자화 매개변수(QP)를 이용하여 낮은 QP 값으로 비교적 낮은 압축 레이트 및 비교적 높은 품질을 제공하고 높은 QP 값으로 비교적 높은 압축 레이트 및 비교적 낮은 품질을 제공함으로써 인코딩 중의 손실량이 결정될 수 있다. 비교적 높은 QP 값 및 높은 압축으로는, 결과 이미지 및/또는 비디오에 복수의 압축 가공물(artifact)를 증가시킬 수 있다.
인코딩된 비디오 이미지 및/또는 비디오 데이터를 송신할 때, 예를 들면, 인코더(1011)의 비율 제어 메카니즘은 비교적 일정한 비트 레이트를 제공하도록 QP 값을 변경할 수 있다. 인코딩 이전에 상술한 바와 같이 루미넌스 값들을 필터링할 때, 필터(1015)의 강도는 QP 값에 응답하여 변경될 수 있다. 보다 상세히는, 필터(1015)의 강도는 QP 값이 비교적 높을 때 증가할 수 있고, 필터의 강도는 QP 값이 비교적 낮을 때 감소할 수 있다. 그러므로 필터(1015)의 강도는 인코더(1011)에 의해 적용되는 압축 레벨에 응답하여 수정될 수 있고, 그러므로 왜곡이 줄어들 수 있다. 모션 벡터 및/또는 매크로-블럭 스킵 정보와 같은 다른 인코딩 정보 또 한 필터(1015)의 동작을 수정하는 데에 이용될 수 있다.
본 발명의 몇몇의 실시예에 따르면, 크로미넌스 값들의 비교는 필터(1015)에서의 필터링에 대한 임계치를 결정하는 데에 이용될 수 있다. 예를 들면, 수학식 1을 이용하여 결정된 크로미넌스 값들의 차이가 임계치 K를 초과할 경우, 현재 픽셀에 대한 루미넌스 값은 필터(1015)에 의한 변경 없이(즉, 약하게 필터링하거나 필터링 없이) 통과될 수 있다. 크로미넌스 값들의 차이가 임계치 K 보다 작다면, 현재 픽셀에 대한 루미넌스 값은 인접 픽셀들의 평균을 구함으로써 필터링될 수 있다. 루미넌스 값들의 평균을 구할 때 적용되는 가중치들은 상술한 바와 같이 QP 값의 함수로서 변경될 수 있다.
또한, 인코더(1011)로부터의 QP 값은 필터(1015)의 필터링 강도를 변경시키는 데에 이용될 수 있고, 이미지 및/또는 비디오 데이터의 이전 블럭의 인코딩을 완료한 이후에 필터(1015)에 QP 값이 제공될 수 있다. 픽셀들은 예를 들면, 블럭, 매크로-블럭, 및/또는 매크로-블럭 라인들과 같은 픽셀의 그룹으로 인코딩될 수 있고, 픽셀들의 이전 그룹을 인코딩할 때 결정된 QP 값은 현재 픽셀을 포함하는 픽셀들의 현재 그룹에 대한 필터(1015)의 필터링 강도를 설정하는 데에 이용될 수 있다. 대안으로, 현재 픽셀을 인코딩하는 데에 이용되는 QP 값이 최종 인코딩 및/또는 송신 이전에 현재 픽셀에 대한 필터링 강도를 결정하는 데에 이용될 수 있도록 멀티-패스 필터링 및 인코딩이 채용될 수 있다.
도 11에 도시된 바와 같이, 본 발명의 실시예에 따른 프로세서(215b)는 필터(1101), 인코더(1105), 및 텍스처 결정 블럭(1017)을 포함할 수 있다. 상술한 바와 같이, 필터(1101)에 의하여 이미지 및/또는 비디오 프레임의 픽셀들에 대하여 필터링 동작이 수행될 수 있고, 프레임에 대한 필터링된 픽셀 데이터 또는 그 일부는 인코더(1105)에 의해 인코딩되고, 트랜시버로부터 무선 인터페이스를 통해 다른 장치로 송신될 수 있다. 보다 상세히는, 프로세서(215b)에서 크로미넌스 값 및 루미넌스 값을 수신하는 단계는 이미지 및/또는 비디오 데이터의 프레임에 대한 크로미넌스 값 및 루미넌스 값을 수신하는 단계를 포함할 수 있다. 또한, 각 픽셀에 대하여 필터(1101)에서 루미넌스 값들의 필터링 및 크로미넌스 값들의 비교가 수행될 수 있다. 또한, 텍스처가 적용되어야 하는 필터링된 프레임의 부분들이 텍스처 결정 블럭(1107)에 의해 결정될 수 있고, 텍스처가 적용되어야 하는 프레임의 부분들의 식별정보가 트랜시버에 의해 송신될 수 있다. 또한, 적용되어야 하는 복수의 텍스처 중 하나의 식별정보가 수신 장치로 송신될 수 있다.
상술한 바와 같이 필터링할 때, 이미지 및/또는 비디오에 텍스처링된 표면(즉, 표면에 포함된 픽셀들 간에 크로미넌스는 비교적 균일하나 표면에 포함된 픽셀들 간에 루미넌스 값은 변화하는 표면)이 필터링의 결과로서 시각적으로 평활한 표면으로 전환될 수 있다. 표면 텍스처의 상세한 사항은 표면을 포함하는 객체를 인지하는 데에 중요하지 않을 수 있지만, 필터링은 부자연스러운 외관을 제공할 수 있다. 그러므로 필터링이 완료된 본래 텍스처를 ("미세 잡음(comfort noise)"과 같은) 인위적인 텍스처로 교체함으로써 보다 자연스러운 외관이 제공될 수 있는데, 여기에서 인위적인 텍스처의 특징화를 송신하는 데에 이용되는 대역폭은 실제 텍스처 정보를 송신하는 데에 이용되는 대역폭보다 작을 수 있다.
텍스처가 적용되어야 하는 필터링된 프레임의 부분들은, 텍스처 결정 블럭(1107)에 의해, 필터(110)로부터 필터링된 프레임에 대한 픽셀 데이터를, 필터링되지 않은 디지털 카메라 및/또는 프레임으로부터의 직접적인 프레임에 대한 픽셀 데이터와 비교함으로써 결정될 수 있다. 텍스처가 제거된 프레임의 각 부분에 대하여, 제거된 텍스처는 텍스처 결정 블럭(1107)에 의해 분류되고 매개변수화될 수 있고, 그 다음 텍스처 매개변수 및/또는 분류가 필터링되고 인코딩된 프레임에 대한 픽셀 데이터를 송신하는 데에 이용되는 비트스트림과 함께 송신될 수 있다. 그러므로 이미지 및/또는 비디오 프레임을 수신하는 장치는 프레임에 대한 텍스처 분류 및/또는 매개변수를 수신할 수 있고 이 텍스처 매개변수 및/또는 분류를 이용하여 실제 텍스트를 필터링하였던 표면에 인위적으로 고주파 정보(즉, 인위적인 텍스처 및/또는 "미세 잡음")를 추가할 수 있다.
상술한 본 발명의 실시예에 따라 로우패스 필터링되었던 표면에서 크로미넌스 값들이 비교적 변동이 적을 수 있기 때문에, 인위적인 텍스처 및/또는 "미세 잡음"의 적용을 위하여 비교적 변동이 적은 크로미넌스 값을 가지는 프레임의 부분이 선택될 수 있다. 다시 말하자면, 수신 장치는 크로미넌스 값들을 이용하여 프레임의 어느 부분이 이 부분으로부터 필터링된 텍스처 정보를 가졌는지, 및 이들 부분에서 어느 텍스처 및/또는 "미세 잡음"이 적용되는지를 결정할 수 있다. 복수의 비디오 프레임을 수신할 때, 수신 장치는 또한 인위적인 텍스처 및/또는 "미세 잡음"이 비디오 시퀀스의 프레임 간에서 움직일 수 있는 표면에 안정적으로 적용될 수 있게 하도록 적응될 수 있다. 인위적인 텍스처 및/또는 "미세 잡음"을 포함하 는 표면이 프레임 간에서 움직이기 때문에, 인위적인 텍스처 및/또는 "미세 잡음"은 이 표면을 따라 움직여야 한다.
도 12에 도시된 바와 같이, 본 발명의 추가적인 실시예에 따른 프로세서(215c)는 디코더(1201), 포스트필터(1203), 및 텍스처 복원 블럭(1205)을 포함할 수 있다. 그러므로 프로세서(215c)는 예를 들면 도 11에 관련하여 상술한 바와 같이 텍스처 정보를 송신하는 송신 장치로부터 이미지 및/또는 비디오 데이터를 수신하는 것을 용이하게 할 수 있다. 포스트필터(1203)는, 예를 들면, 도 10 및 11의 프리필터(1015 및 1101)에 관련하여 상술한 바와 같이 동작할 수 있다. 보다 상세히는, 포스트필터(1203)는 무선 인터페이스를 통해 인코딩된 이미지 및/또는 비디오 데이터를 수신하는 장치의 디코더(1201)에서 디코딩된 이후에 포스트필터링을 제공할 수 있다. 보다 상세히는, 인코딩된 디지털 이미지 및/또는 비디오 데이터는 무선 인터페이스를 통해 수신될 수 있다. 또한, 인코딩된 디지털 이미지 및/또는 비디오 데이터는 디코더(1201)에 의해 디코딩되어 수신된 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값들 및 루미넌스 값들을 제공할 수 있다.
"미세 잡음"과 같은 인위적인 텍스처 정보에 대한 매개변수 및/또는 분류가 이미지 및/또는 비디오 데이터와 함께 송신되었다면, 인위적인 텍스처가 적용되어야 하는 프레임의 부분들이 텍스처 복원 블럭(1205)에 의해 결정될 수 있고, 인위적인 텍스처는 포스트필터(1203)가 이미지 및/또는 비디오 데이터의 프레임으로부터 루미넌스 값들을 필터링한 후에 적용될 수 있다.
따라서, 이미지 및/또는 비디오 데이터는 인코딩되고 송신 장치로부터 송신 되기 전에 프리필터에 의해 프리필터링될 수 있고/거나, 또한 이미지 및/또는 비디오 데이터는 수신 장치에서 수신되고 디코딩된 이후에 포스트필터링될 수 있다. 프리필터링 및 포스트필터링을 모두 수행함으로써, 인코딩 및/또는 디코딩에 의한 복수의 고주파 가공물 및 왜곡이 줄어들 수 있다. 프리필터링 및 포스트필터링 모두를 이용하는 본 발명의 몇몇의 실시예에 따르면, 프리필터 유형 및/또는 매개변수에 대한 정보는 송신 장치로부터 수신 장치에게 송신될 수 있다. 그 다음 수신 장치는 포스트필터의 동작을 대응하는 프리필터의 동작과 매치되도록 적응시킬 수 있다. 프리필터 유형 및/또는 매개변수는 이미지 및/또는 비디오 비트스트림에서의 사용자 데이터로서 송신되거나 캡슐화된 파일 포맷에 저장될 수 있다. 이에 더하여 또는 대안으로, 이미지 및/또는 비디오 코덱 표준은 프리필터 유형 및/또는 매개변수를 비트스트림의 일부로서 포함할 수 있다. 필터 유형 및/또는 매개변수의 송신은 프리필터 및 포스트필터가 공통된 표준에 따라 제공되는 경우에는 요구되지 않을 수 있다.
또한, 본 발명의 실시예에 따라 프리필터와 포스트필터 유형의 정확한 매치 및/또는 매개변수는 요구되지 않을 수 있다. 프리필터 매개변수에 대한 정보를 이용하고 포스트필터용으로 약간 다른 필터를 선택함으로써, 충분하고/거나 더 좋은 결과가 제공될 수 있다.
도 10 내지 12의 프로세서는 프로세서의 동작을 도시되고 기술된 특정 기능으로 제한하지 않고 본 발명의 실시예를 예시하기 위하여 제공된다. 예로서, 도 10 내지 12의 프로세서는 셀룰러 무선전화 통신과 같은 무선 통신을 지원하는 알려 진 동작을 예시하지 않는다. 또한, 본 발명의 실시예에 따라 도 10 내지 12의 프로세서의 기능들이 혼합될 수 있고/거나 본 발명의 실시예에 따른 동작을 위해 도 10 내지 12에 도시된 모든 기능들이 필요한 것은 아니다. 예를 들면, 이동 단말기(207)의 프로세서(215)는 텍스처 정보를 가지는 이미지 및/또는 비디오 데이터를 다른 장치로 송신하기를 지원하고, 텍스처 정보를 가지는 이미지 및/또는 비디오 데이터를 다른 장치로부터 수신하기를 지원하는 프로세서(215b 및 215c) 모두의 기능들을 포함할 수 있다. 대안으로, 이동 단말기(207)의 프로세서(215)는 QP 값 피드백을 가지거나 가지지 않는 프로세서(215a)의 기능을 포함할 수 있다. 다른 대안으로, 이동 단말기(207)의 프로세서(215)는 텍스처 결정 블럭(125b)을 가지지 않는 프로세서(215b)의 기능을 포함할 수 있고/거나, 프로세서(215)는 텍스처 복원 블럭(1205)을 가지지 않는 프로세서(215c)의 기능을 포함할 수 있다. 또 다른 대안으로, 프로세서(215)는 도 10에 도시된 바와 같이 QP 값 피드백을 추가한 프로세서(215b)의 기능을 가지도록 구현될 수 있다.
도 3에 도시된 본 발명의 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터는 이미지 및/또는 비디오 프레임의 픽셀의 루미넌스 값이 현재 픽셀과 현재 처리되는 픽셀에 인접한 픽셀의 크로미넌스 값들의 비교에 기초하여 필터링될 수 있도록 처리될 수 있다. 보다 상세히는, 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값들 및 루미넌스 값들은 블럭(301)에서 수신될 수 있다. 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들은 블럭(303)에서 비교될 수 있고, 블럭(305)에서, 현재 픽셀에 대한 루미넌스 값은 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값의 비교에 기초하는 루미넌스 값의 필터링 강도로 필터링될 수 있다. 따라서, 프레임의 루미넌스 값에 대한 필터링 강도는 각 픽셀과 인접 픽셀에 대한 크로미넌스 값들의 비교에 기초하여 픽셀 단위로 변경될 수 있다.
본원에 이용되는, 현재 픽셀이라는 용어는 현재 처리되는 픽셀을 칭하고, 인접 픽셀이라는 용어는 현재 처리되는 픽셀에 인접한 픽셀을 칭한다. 인접 픽셀은 수평으로, 수직으로, 또는 대각선으로 현재 픽셀에 인접할 수 있고, 인접 픽셀은 인접 픽셀과 현재 픽셀 사이에 개재하는 픽셀 없이 현재 픽셀에 직접적으로 인접할 수 있다. 대안으로, 개재하는 픽셀이 현재 픽셀과 인접 픽셀 간에 존재할 수 있다. 또한, 인접 픽셀은 이 인접 픽셀이 현재 픽셀의 프레임의 이전 또는 이후의 프레임의 대응하는 픽셀 위치를 차지하도록 일련의 비디오 프레임에서 시간적으로 현재 픽셀에 인접할 수 있다.
또한, 현재 픽셀과 인접 픽셀이 동일한 크로미넌스 값 또는 값들을 공유하지 않도록 인접 픽셀이 선택될 수 있다. 크로미넌스 값들은 4개의 픽셀 블럭이, 예를 들어, YCbCr 4:2:0 포맷에 따라, 동일한 Cb 및 Cr 값을 공유하도록 서브샘플링된다면, 인접 픽셀은 현재 픽셀을 포함하는 픽셀 블럭과는 다른 픽셀의 인접 블럭으로부터 선택될 수 있다. 마찬가지로, 크로미넌스 값이 2개의 픽셀 쌍이 YCbCr 4:2:2 포맷에 따라 동일한 Cb 및 Cr 값을 공유하도록 서브샘플링된다면, 인접 픽셀은 현재 픽셀을 포함하는 픽셀 쌍과는 다른 픽셀의 인접 쌍으로부터 선택될 수 있다.
보다 상세히는, 블럭(305)에서 현재 픽셀의 루미넌스 값을 필터링하는 단계는 현재 픽셀의 루미넌스 값과 하나 이상의 인접 픽셀들의 루미넌스 값의 평균을 구하는 단계를 포함하고, 필터링 강도는 평균을 구할 때 루미넌스 값에 적용될 가중치에 의해 결정될 수 있다. 특정 실시예에 따르면, 현재 픽셀의 루미넌스 값과 이 픽셀의 한쪽에서 2개의 수평으로, 수직으로, 및/또는 대각선으로 인접한 픽셀들의 루미넌스 값들의 평균을 구할 수 있다. 비교적 강한 필터링에서는, 대략 동일한 가중치(즉, 대략 33.33%)가 현재 픽셀에 대한 필터링된 루미넌스 값을 제공하도록 평균이 계산되는 3개의 루미넌스 값 각각에 적용될 수 있다. 비교적 약한 필터링에서는, 3개의 픽셀의 루미넌스 값들의 평균을 계산하여 현재 픽셀에 대한 필터링된 루미넌스 값을 제공할 때 상대적으로 낮은 가중치(즉, 대략 10%)가 2개의 인접 픽셀의 루미넌스 값에 적용될 수 있고 상대적으로 높은 가중치(즉, 대략 80%)가 현재 픽셀의 루미넌스 값에 적용될 수 있다. 2개의 인접 픽셀의 루미넌스 값에 0%의 가중치를 적용하고 현재 픽셀의 루미넌스 값에 100%의 가중치를 적용함으로써, 현재 픽셀의 본래의 루미넌스 값은 필터링 없이 통과될 수 있다. 특정 픽셀의 루미넌스 값을 필터링하지 않는 것이 바람직하다면, 픽셀의 본래 루미넌스 값은 0 필터링을 제공하도록, 변경하거나 평균을 구하지 않고서 필터링을 통과할 수 있다.
블럭(303)에서 현재 픽셀과 인접 픽셀의 크로미넌스 값들을 비교하는 단계는 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이를 계산하는 단계를 포함할 수 있다. 블럭(305)에서 적용되는 필터링 강도는 비교되는 픽셀들의 크로미넌스 값들 간의 차이가 소정의 임계치를 초과할 때 감소할 수 있고, 블럭(305)에서 적용되는 필터링 강도는 현재 픽셀과 인접 픽셀의 크로미넌스 값들의 차이가 소정의 임계치 미만일 때 증가할 수 있다. 예를 들면, 크로미넌스 값들 간의 차이가 소정의 임계 치보다 작을 경우 0보다 큰 소정의 가중치들이 평균 계산될 때 인접 픽셀의 루미넌스 값에 적용될 수 있고, 크로미넌스 값들 간의 차이가 소정의 임계치보다 클 경우 0인 가중치들이 평균계산될 때 인접 픽셀의 루미넌스 값들에 적용될 수 있다. 또한, 크로미넌스 값들 간의 차이가 소정의 임계치보다 작을 때 적용된 0이 아닌 가중치들이 루미넌스 값들의 비교, 인코딩 중에 적용된 압축 정도, 및/또는 송신 또는 수신 장치의 필터링 특징 일치와 같은 다른 인자에 기초하여 변경될 수 있다. 대안으로, 필터링 강도는 현재 픽셀과 인접 픽셀의 루미넌스 값들 간의 차이에 반비례하는 현재 픽셀의 루미넌스 값의 필터링 강도의 정도를 척도로 하여 픽셀들 간에 변경될 수 있다.
본 발명의 특정 실시예에 따르면, 프레임의 각 픽셀에 대한 디지털 데이터는 Y가 루미넌스 값이고 Cr 및 Cb가 각각 적색 및 청색 크로미넌스 값인 YCbCr 포맷으로 제공될 수 있다. 블럭(303)에서 현재 픽셀과 인접 픽셀에 대한 크로미넌스 값들이 각 픽셀에 대한 Cr 값의 차이의 절대값과 각 픽셀에 대한 Cb 값의 차이의 절대값을 합함으로써 비교될 수 있다. 또한, 각 픽셀에 대한 Cr 값의 차이의 절대값은 Cr 값들의 차이의 제곱일 수 있고, 각 픽셀에 대한 Cb 값의 차이의 절대값은 Cb 값들의 차이의 제곱일 수 있다. 따라서, 블럭(303)에서 크로미넌스 값들은 다음 공식에 따라 차이 D를 계산함으로서 비교될 수 있다.
D = (Cbi - Cbj)2 + (Cri - Crj)2 ........ 수학식 1
이 공식에서, Cri 및 Crj는 각각 현재(i) 픽셀 및 인접(j) 픽셀에 대한 적색 값이고, Cbi 및 Cbj는 각각 현재(i) 픽셀 및 인접(j) 픽셀에 대한 청색 값이다.
상술한 바와 같이, 블럭(305)에서 현재 픽셀의 루미넌스 값에 적용되는 필터링 강도는 수학식 1의 공식에 따라 블럭(303)에서 크로미넌스 값들을 비교할 때 계산된 값 D에 반비례하며 변경될 수 있다. 값 D(현재 픽셀과 인접 픽셀의 크로미넌스 값들의 차이)가 소정의 임계치 K를 초과한다면, 블럭(305)에서 현재 픽셀에 대한 루미넌스 값은 어떠한 필터링도 유효하게 적용되지 않도록 변경 없이 통과될 수 있다. 상술한 바와 같이, 예를 들어, 단지 현재 픽셀에 대한 본래 루미넌스 값을 통과시킴으로써, 또는 현재 픽셀과 다른 픽셀들의 평균을 구하지만 인접 픽셀에 0(0%)인 가중치를 적용함으로써, 필터링은 획득되지 않을 수 있다. 경험적인 테스트는 K=25인 값이 본 발명의 실시예에 따른 현재 픽셀의 루미넌스 값에 대한 로우패스 필터링을 생략하는 시점을 결정하기 위한 적절한 임계치를 제공할 수 있음을 보여주었다.
블럭(305)에서 현재 픽셀의 루미넌스 값을 필터링하기 전에, 현재 픽셀과 적어도 하나의 인접 픽셀의 루미넌스 값이 또한 비교될 수 있고, 블럭(305)에서 필터링 강도는 크로미넌스 값들의 비교 및 루미넌스 값들의 비교에 기초할 수 있다. 본 발명의 몇몇의 실시예에 따르면, 현재 픽셀에 대한 크로미넌스 값들 간의 차이(예를 들면, 수학식 1의 값 D)가 소정의 임계치(예를 들면, K)를 초과한다면, 블럭(305)에서 현재 픽셀은 필터링 없이 통과될 수 있다. 크로미넌스 값들 간의 차이가 소정의 임계치보다 작다면, 현재 픽셀이 눈에 띄는 색 성분을 가지는지에 대 한 결정이 이루어질 수 있다. 예를 들면, 크로미넌스 값 Cbi 및 Cri 중 하나가 M과 같은 소정의 임계치를 초과한다면, 현재 픽셀은 눈에 띄는 색 성분을 가진다고 가정될 수 있으며, 블럭(305)에서 로우패스 필터링을 진행할 수 있다.
크로미넌스 값 Cbi 또는 Cri 중 어느 것도 M과 같은 소정의 임계치를 초과하지 않으면, 픽셀은 계조(흑색 또는 백색) 픽셀일 수 있고, 블럭(305)에서의 필터링 이전에, 현재 픽셀과 인접 픽셀 사이에 루미넌스 값의 큰 변화가 있는지에 대한 추가의 결정이 이루어질 수 있다. 루미넌스 값의 큰 변화가 없으면, 블럭(305)에서, 현재 픽셀의 루미넌스 값은 로우패스 필터링될 수 있다. 루미넌스 값의 큰 변화가 있으면, 블럭(305)에서, 현재 픽셀에 대한 루미넌스 값은 변경없이 필터링을 통과할 수 있다. 따라서, 현재 픽셀의 크로미넌스 값 둘 다가 충분히 낮지만 인접한 루미넌스 값의 큰 변화가 있을 때, 필터링을 불가능하게 함으로써 이미지 및/또는 비디오의 흑색 부분과 백색 부분 간의 테두리는 더 정밀하게 보존될 수 있다.
블럭(301)에서 크로미넌스 및 루미넌스 값을 수신하는 단계는 디지털 카메라로부터 직접적으로, 또는 그 값을 저장하는 데 사용된 메모리를 통해 크로미넌스 및 루미넌스 값을 수신하는 단계를 포함할 수 있다. 또한, 현재 픽셀에 대한 필터링된 루미넌스 값을 포함하는 디지털 이미지 및/또는 비디오 데이터는 무선 인터페이스를 통해 인코딩 및 송신될 수 있다. 상술한 바와 같이 루미넌스 값을 필터링함으로써, 쉽게 인지되지 못하는 고주파 정보가 필터링되어, 인코딩된 이미지 및/또는 비디오 데이터가 무선 인터페이스를 통해 송신될 때 더 작은 대역폭을 소비할 수 있도록 할 수 있다.
또한, 디지털 이미지 및/또는 비디오 데이터를 인코딩하는 단계는 디지털 이미지 및/또는 비디오 데이터에 적용된 압축의 레이트를 변경시키는 단계를 포함할 수 있고, 블럭(305)에서의 필터링의 강도는 블럭(303)에서의 크로미넌스 값들의 비교, 및 인코딩동안 적용된 압축의 레이트에 기초할 수 있다. 예를 들어, 압축의 레이트는 무선 인터페이스를 통해 송신되는 이미지 및/또는 비디오에 대해 비교적 일정한 비트 레이트를 유지하도록 변화될 수 있다. 예를 들어, 인코딩동안의 손실량은 비교적 낮은 압축과 비교적 높은 품질을 제공하는 낮은 양자화 매개변수(QP) 값, 및 비교적 높은 압축과 비교적 낮은 품질을 제공하는 높은 QP 값을 갖는 양자화 매개변수(QP)를 이용하여 결정될 수 있다. 비교적 높은 QP 값 및 높은 압축으로, 결과로서 생긴 이미지 및/또는 비디오 내의 다수의 압축 가공물이 증가할 수 있다.
인코딩된 비디오 이미지 및/또는 비디오 데이터를 송신할 때, 예를 들어, 레이트 제어 메커니즘은 QP 값을 변경시켜, 비교적 일정한 비트 레이트를 제공할 수 있다. 인코딩 이전에 도 3에 관하여 상술된 바와 같이 루미넌스 값을 필터링할 때, 블럭(305)에서의 필터링의 강도는 QP 값에 응답하여 변화될 수 있다. 특히, 필터링의 강도는 QP 값이 비교적 높을 때 증가할 수 있고, 필터링의 강도는 QP 값이 비교적 낮을 때 감소될 수 있다. 따라서, 필터링 강도는 인코딩동안에 적용되는 압축의 레벨에 응답하여 수정될 수 있고, 따라서, 왜곡이 감소될 수 있다. 모션 벡터 및/또는 매크로-블럭 스킵 정보와 같은 다른 인코딩 정보도 필터링을 수정 하는 데 사용될 수 있다.
본 발명의 몇몇 실시예에 따라, 필터링을 위한 임계치를 결정하기 위해 블럭(303)에서의 크로미넌스 값들의 비교가 사용될 수 있다. 예를 들어, 수학식 1을 이용하여 결정된 크로미넌스 값들의 차이가 임계치 K를 초과하면, 현재 픽셀에 대한 루미넌스 값은 블럭(305)에서 변경없이 통과될 수 있다(즉, 약하게 필터링되거나 아예 필터링되지 않음). 크로미넌스 값들의 차이가 임계치 K보다 작으면, 현재 픽셀에 대한 루미넌스 값은 인접 픽셀들과 함께 평균을 구함으로써 블럭(305)에서 필터링될 수 있다. 루미넌스 값들의 평균을 구할 때 적용된 가중치는 상술된 QP 값의 함수로서 변화될 수 있다.
또한, 필터링 강도를 변경시키는 데 사용된 QP 값은 이미지 및/또는 비디오 데이터의 이전 블럭의 완료 이후에 제공될 수 있다. 픽셀은 예를 들어, 블럭, 매크로-블럭 및/또는 매크로-블럭 라인과 같은 픽셀들의 그룹으로 인코딩될 수 있고, 이전의 픽셀들의 그룹을 인코딩할 때 결정된 QP 값은 현재 픽셀을 포함하는 현재 픽셀들의 그룹에 대한 필터링 강도를 설정하는 데 사용될 수 있다. 하나의 대안으로, 멀티패스 필터링 및 인코딩이 채용되어, 현재 픽셀을 인코딩하는 데 사용된 QP 값이 최종 인코딩 및/또는 송신 전에 현재 픽셀에 대한 필터링 강도를 결정하는 데 사용될 수 있도록 할 수 있다.
상술한 바와 같이, 도 3의 동작은 이미지 및/또는 비디오 프레임의 픽셀에 대해 수행될 수 있고, 프레임 또는 그것의 부분들에 대한 필터링된 픽셀 데이터는 다른 장치에 인코딩 및 송신될 수 있다. 더 상세하게, 블럭(301)에서 크로미넌스 및 루미넌스 값을 수신하는 단계는 이미지 및/또는 비디오 데이터의 프레임에 대한 크로미넌스 및 루미넌스 값을 수신하는 단계를 포함할 수 있다. 또한, 블럭(303)에서의 크로미넌스 값들의 비교 및 블럭(305)에서의 루미넌스 값의 필터링은 각각의 픽셀에 대해 수행될 수 있다. 또한, 텍스처가 적용되어야 하는 필터링된 프레임의 부분이 결정될 수 있고, 텍스처가 적용되어야 하는 프레임의 부분의 식별정보가 송신될 수 있다. 또한, 적용되어야 하는 복수의 텍스처들 중 하나의 식별정보가 수신 장치에 송신될 수 있다.
도 3에 관하여 상술된 바와 같이 픽셀을 필터링할 때, 이미지 및/또는 비디오 내의 텍스처링된 표면(즉, 표면에 포함된 픽셀들에 걸쳐 비교적 통일된 크로미넌스를 갖지만, 표면에 포함된 픽셀들에 걸쳐 루미넌스가 다양한 표면)은 필터링의 결과로서 시각적으로 평활한 표면으로 변환될 수 있다. 표면 텍스처의 세부는 표면을 포함하는 객체를 인지하는 데 있어서 중요하지 않을 수 있지만, 필터링은 자연스럽지 못한 외관을 제공할 수 있다. 따라서, 필터링된 원래의 텍스처를 ("미세 잡음"과 같은) 인위적인 텍스처로 대체함으로써 더 자연스러운 외관을 제공할 수 있는데, 여기서, 인위적인 텍스처의 특징화를 송신하는 데 사용된 대역폭은 실제의 텍스처 정보를 송신하는 데 사용된 대역폭보다 더 작을 수 있다.
텍스처가 적용되어야 하는 필터링된 프레임의 부분은 프레임에 대한 필터링된 픽셀 데이터를 프레임에 대한 필터링되지 않은 픽셀 데이터와 비교함으로써 결정될 수 있다. 텍스처가 제거된 프레임의 각각의 부분에 있어서, 제거된 텍스처는 분류되고 매개변수화될 수 있고, 그러면 텍스처 매개변수 및/또는 분류는 프레임에 대한 필터링되고 인코딩된 픽셀 데이터를 송신하는 데 사용된 비트스트림과 함께 송신될 수 있다. 따라서, 이미지 및/또는 비디오 프레임을 수신하는 장치는 프레임에 대한 텍스처 매개변수 및/또는 분류를 수신할 수 있고, 그 텍스처 매개변수 및/또는 분류를 이용하여, 실제 텍스처가 필터링된 표면에 고주파 정보(즉, 인위적인 텍스처 및/또는 "미세 잡음")를 인위적으로 추가할 수 있다.
크로미넌스 값들은 도 3에 관하여 상술된 본 발명의 실시예에 따라 로우패스 필터링된 표면 상에서 비교적 변동이 적을 수 있기 때문에, 인위적인 텍스처 및/또는 "미세 잡음"의 적용을 위해, 비교적 변동이 적은 크로미넌스 값들을 갖는 프레임의 부분들이 선택될 수 있다. 다시 말하면, 수신 장치는 크로미넌스 값을 이용하여, 프레임의 어느 부분들이 그로부터 필터링된 텍스처 정보를 가졌는지, 및 어느 텍스처 및/또는 "미세 잡음"가 이들 부분에 적용되는지를 결정할 수 있다. 복수의 비디오 프레임들을 수신할 때, 수신 장치는 또한, 가공 텍스처 및/또는 "미세 잡음"가 비디오 시퀀스의 프레임 간에서 움직일 수 있는 표면에 안정적으로 적용될 수 있게 하도록 적응될 수 있다. 인위적인 텍스처 및/또는 "미세 잡음"를 포함하는 표면이 프레임 간에서 움직이기 때문에, 인위적인 텍스처 및/또는 "미세 잡음"은 이 표면을 따라 움직여야 한다.
본 발명의 추가적 실시예에 따르면, 도 3에 관하여 상술된 처리방법은, 무선 인터페이스를 통해 인코딩된 이미지 및/또는 비디오 데이터를 수신하는 장치에서 디코딩 이후의 포스트필터링을 제공하기 위해 수행될 수 있다. 더 상세하게, 인코딩된 디지털 이미지 및/또는 비디오 데이터는 무선 인터페이스를 통해 수신될 수 있다. 또한, 인코딩된 디지털 이미지 및/또는 비디오 데이터는 디코딩되어, 블럭(301)에서 수신된 현재 픽셀 및 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값을 제공할 수 있다. "미세 잡음"과 같은 인위적인 텍스처 정보에 대한 분류 및/또는 매개변수가 이미지 및/또는 비디오 데이터와 함께 송신되었다면, 인위적인 텍스처가 적용되어야 하는 프레임의 부분이 결정될 수 있고, 인위적인 텍스처는 이미지 및/또는 비디오 데이터의 프레임으로부터 루미넌스 값을 필터링한 후에 적용될 수 있다.
따라서, 이미지 및/또는 비디오 데이터는 송신 장치로부터의 인코딩 및 송신 이전에 도 3의 동작에 따라 프리필터링될 수 있고/있거나, 또한, 이미지 및/또는 비디오 데이터는 수신 장치에서의 수신 및 디코딩 이후에 포스트필터링될 수 있다. 프리필터링 및 포스트필터링 둘 다를 수행함으로써, 인코딩 및/또는 디코딩으로 인한 다수의 고주파 가공물 및 왜곡은 감소될 수 있다. 프리필터링 및 포스트필터링 둘 다를 사용하는 본 발명의 몇몇 실시예에 따라, 프리필터 타입 및/또는 매개변수에 관한 정보는 송신 장치에서 수신 장치로 송신될 수 있다. 그러면, 수신 장치는 포스트필터의 동작을 대응하는 프리필터의 동작과 매칭시키도록 적응시킬 수 있다. 프리필터 타입 및/또는 매개변수는 이미지 및/또는 비디오 비트스트림 내의 사용자 데이터, 또는 캡슐화된 파일 포맷으로 저장된 사용자 데이터로서 송신될 수 있다. 그에 더하여, 또는 한 대안으로, 이미지 및/또는 비디오 코덱 표준은 프리필터 타입 및/또는 매개변수를 비트스트림의 일부분으로서 포함할 수 있다. 필터 타입 및/또는 매개변수의 송신은 프리필터 및 포스트필터가 공통의 표준에 따라 제공되는 경우 요구되지 않을 수 있다.
또한, 프리필터와 포스트필터 타입 및/또는 매개변수의 정확한 매칭은 본 발명의 실시예에 따라 요구되지 않을 수 있다. 프리필터 매개변수에 관한 정보를 이용하고 포스트필터를 위해 약간 다른 필터를 선택함으로써, 충분하고/하거나 더 양호한 결과가 제공될 수 있다.
본 발명에 따른 필터링의 추가적 실시예가 도 4에 도시된다. 이미지 및/또는 비디오 데이터의 프레임의 각각의 픽셀에 대하여, 블럭(401)에서 현재 픽셀의 루미넌스 값 Yi이 수신될 수 있고, 블럭(403)에서 현재 픽셀의 크로미넌스 값 Cbi 및 Cri가 수신될 수 있고, 블럭(405)에서 인접 픽셀의 크로미넌스 값 Cbj 및 Crj가 수신될 수 있다. 블럭(407)에서, 수학식 1에서 제공된 공식에 따라 현재 픽셀과 인접 픽셀의 크로미넌스 값들의 차이 D가 계산될 수 있다.
블럭(409)에서 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이 D가 임계치 K보다 크면, 블럭(415)에서 현재 픽셀의 루미넌스 값은 변경없이 (인코딩과 같은) 후속하는 처리를 위해 통과될 수 있다. 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 매우 큰 차이는, 현재 픽셀이 오브젝트들, 표면들 등의 사이의 테두리 부분을 형성할 수 있다는 표시일 수 있고, 테두리 특징은 로우패스 필터링없이 현재 픽셀의 루미넌스 값을 통과시킴으로써 더 정확하게 보존될 수 있다.
블럭(409)에서 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이 D가 임계치 K보다 작고, 블럭(411)에서 현재 픽셀의 크로미넌스 값들 Cbi 또는 Cri가 임계 치 M보다 더 크면, 블럭(417)에서 현재 픽셀의 루미넌스 값은 후속하는 처리 이전에 로우패스 필터링을 필요로 할 수 있다. 블럭(409)에서 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이 D가 임계치 K보다 작고, 블럭(411)에서 현재 픽셀의 크로미넌스 값들 중 어느 것도 임계치 M보다 크지 않으면, 블럭(413)에서 루미넌스 값의 변화가 검출될 수 있다.
블럭(411)에서 현재 픽셀의 색채 값들 중 어느 것도 임계치 M을 초과하지 않으면, 현재 픽셀은 흑색 또는 백색일 수 있고, 현재 픽셀과 인접 픽셀 간의 루미넌스 값들의 큰 변화는 프레임 내의 흑색 부분과 백색 부분 간의 테두리를 표시할 수 있다. 따라서, 블럭(411)에서, 현재 픽셀의 색채 값들 중 어느 것도 임계치 M을 초과하지 않고, 블럭(413)에서 현재 픽셀과 인접 픽셀 간의 루미넌스 값들에 큰 변화가 있으면, 블럭(415)에서 현재 픽셀의 루미넌스 값은 필터링없이 통과되어, 프레임의 흑색 부분과 백색 부분 간의 테두리를 보존할 수 있다. 블럭(411)에서 현재 픽셀의 색채 값들 중 어느 것도 임계치 M을 초과하지 않고, 블럭(413)에서 현재 픽셀과 인접 픽셀의 루미넌스 값들 간에 큰 변화가 없으면, 블럭(417)에서 현재 픽셀의 루미넌스 값은 로우패스 필터링을 필요로 할 수 있다.
블럭(407)에서 차이 D를 계산하기 위해 색채 값 Cbj 및 Crj가 선택되는 인접 픽셀, 블럭(413)에서의 루미넌스 값들의 비교를 위한 인접 픽셀, 및/또는 블럭(417)에서 평균을 구하는 데 사용된 인접 픽셀(들)은 현재 픽셀에 인접한 동일하거나 상이한 픽셀일 수 있다. 상술된 바와 같이, 현재 픽셀이라는 용어는 현재 처 리되고 있는 픽셀을 말하며, 인접 픽셀이라는 용어는 현재 처리되고 있는 픽셀에 인접 픽셀을 말한다. 인접 픽셀은 현재 픽셀에 수평, 수직 또는 대각선으로 인접할 수 있고, 인접 픽셀은 어떤 개재하는 픽셀없이, 현재 픽셀에 직접적으로 인접해 있을 수 있다. 한 대안으로, 현재 픽셀과 인접 픽셀 사이에는 개재하는 픽셀이 존재할 수 있다. 또한, 인접 픽셀은 일련의 비디오 프레임에서 시간적으로 현재 픽셀에 인접하여, 인접 픽셀이 현재 픽셀의 프레임 이전 또는 이후의 프레임에서 대응하는 픽셀 위치를 차지하도록 할 수 있다.
블럭(419)에서 프레임 내에 처리되어야 할 다른 픽셀이 존재하면, 블럭(401 내지 417)에 관하여 상술된 바와 같이 다음의 픽셀을 위해 루미넌스 값이 처리될 수 있다. 블럭(421)에서 처리되어야 할 다른 프레임이 존재하면, 블럭(410 내지 419)에 관하여 상술된 바와 같이 다음의 프레임을 위해 루미넌스 값이 처리될 수 있다.
따라서, 블럭(415 내지 417)의 동작은 루미넌스 값에 대한 비교적 낮은 강도의 필터링(블럭 415), 및 루미넌스 값에 대한 비교적 높은 강도의 필터링(블럭 417)을 제공할 수 있다. 특히, 루미넌스 값의 비교적 낮은 강도의 필터링은 블럭(415)에서, 변경없이 루미넌스 값을 통과시킴으로써 제공될 수 있다. 비교적 높은 강도의 필터링은 블럭(417)에서, 현재 픽셀에 대한 루미넌스 값과 하나 이상의 인접 픽셀에 대한 루미넌스 값들의 평균을 구함으로써 제공되고, 그것의 강도는 평균을 구하는 현재 및 인접한 루미넌스 값들에 가중치를 적용함으로써 결정될 수 있다. 또한, 블럭(417)에서 적용된 필터링의 강도는 인코더에 의해 적용된 비교의 레벨과 같은 다른 요인에 응답하여, 및/또는 송신 또는 수신 장치의 필터링 특징과 매칭되어 변할 수 있다. 예를 들어, 평균을 구하는 현재 및 인접 픽셀의 루미넌스 값에 적용된 상대적인 가중치는 인코더에 의해 적용된 비교의 레벨의 기능으로서, 및/또는 송신 또는 수신 장치의 필터링 특징과 매칭되어 변할 수 있다.
또한, 도 4의 동작은 선택된 픽셀, 또는 프레임 내의 모든 픽셀의 루미넌스 값에 대해 수행될 수 있다. 예를 들어, 프레임의 테두리에 있는 픽셀은 다르게 처리되어, 테두리 픽셀을 처리할 때 인접 픽셀의 정의가 적용될 수 없는 가능성에 대해 보상할 수 있다. 더 상세하게, 인접 픽셀의 정의는 처리될 현재 픽셀이 프레임의 테두리에 있는 경우 다를 수 있다. 한 대안으로, 테두리 픽셀의 루미넌스 값은 필터링을 필요로 하지 않을 수 있다. 다른 대안으로, 처리될 현재 픽셀이 프레임의 테두리에 있을 때 인접 픽셀 데이터를 제공하기 위해 외삽법이 사용될 수 있다.
상술된 바와 같이, 이미지 및/또는 비디오 데이터의 필터링은 인코딩 및 송신 이전에 송신 장치에서 적용될 수 있고, 필터링은 또한, 디코딩 이후에 수신 장치에서 적용되어, 이에 의해 인코딩 및/또는 디코딩으로부터 생길 수 있는 가공물 및/또는 왜곡을 감소시킬 수 있다. 인코딩 및 송신 이전의 프리필터링과 디코딩 이후의 포스트필터링 둘 다를 제공함으로써, 고주파 가공물 및/또는 왜곡의 추가적 감소가 달성될 수 있다.
본 발명의 추가적인 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함할 수 있는데, 각각의 픽셀에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함한다. 디지털 이미지 및/또는 비디오 데이터는 송신 이전에 송신 장치에서 프리필터링되고 인코딩될 수 있고, 프리필터링은 프리필터링 알고리즘에 따라 수행될 수 있다. 도 5에 도시된 바와 같이, 블럭(501)에서 송신 장치로부터의 프리필터링 및 인코딩된 데이터는 수신 장치에서 수신될 수 있고, 블럭(503)에서 프리필터링 및 인코딩된 데이터는 디코딩될 수 있고, 블럭(505)에서 디코딩된 데이터는 포스트필터링 알고리즘에 따라 포스트필터링될 수 있는데, 프리필터링과 포스트필터링 알고리즘은 매칭된다. 예를 들어, 프리필터링과 포스트필터링 알고리즘 각각은 도 3 및 도 4에 관하여 상술된 바와 같이 구현될 수 있다.
본 발명의 특정 실시예에 따르면, 프리필터링 알고리즘의 매개변수는 송신 장치로부터 송신될 수 있고, 수신 장치에서 수신될 수 있다. 또한, 포스트필터링 알고리즘의 동작은 송신 장치로부터 수신된 프리필터링 알고리즘의 매개변수에 따라 적응될 수 있다. 예를 들어, 프리필터링과 포스트필터링 알고리즘 둘 다는 도 3 및/또는 도 4에 관하여 상술된 바와 같이 구현될 수 있다. 다른 비디오 필터는 예를 들어, 시우-웨이 유 등의 미국 특허 제5,959,693호, 및 오카다의 미국 특허 제6,456,328호에 개시되어 있다. 미국 특허 제5,959,693호 및 제6,456,328호의 개시는 여기에서 참조로서 통합된다.
송신 장치로부터 수신 장치로 송신된 매개변수는 예를 들어, 블럭(417)에서의 로우패스 필터링 시에 현재 및 인업 휘도 값에 적용할 가중치, 블럭(407)의 계산을 위한 인접 픽셀의 정의, 블럭(409)의 임계치 K의 숫자값, 블럭(411)의 임계치 M의 숫자값, 및/또는 블럭(413)을 위한 루미넌스의 큰 변화의 정의를 포함할 수 있 다. 포스트필터 알고리즘은 이들 매개변수들 및/또는 다른 매개변수들 중 하나 이상에 응답하여 적응될 수 있다.
도 3 및/또는 도 4에 관하여 상술된 바와 같이 송신 장치의 프리필터와 수신 장치의 포스트필터가 구현될 수 있지만, 다른 필터링 알고리즘이 사용될 수 있다. 따라서, 송신 장치의 프리필터링 알고리즘의 식별정보가 수신 장치에 송신될 수 있다. 따라서, 포스트필터링 알고리즘은 프리필터링 알고리즘의 식별정보를 수신하는 것에 응답하여 프리필터링 알고리즘에 매칭되도록 적응될 수 있다.
본 발명의 또 다른 추가적인 실시예에 따르면, 디지털 이미지 및/또는 비디오 데이터의 프레임은 프리필터링 알고리즘에 따라 프리필터링되는 데이터와 함께 송신 이전에 프리필터링 및 인코딩될 수 있고, 프리필터링의 매개변수는 송신 장치로부터 송신될 수 있다. 도 6에 도시된 바와 같이, 블럭(601)에서 송신 장치로부터 프리필터링되고 인코딩된 디지털 데이터가 수신되고, 블럭(603)에서 프리필터링 알고리즘의 매개변수가 수신되고, 블럭(605)에서 디지털 데이터가 디코딩될 수 있다. 또한, 디코딩된 디지털 이미지 및/또는 비디오 데이터는 포스트필터링 알고리즘에 따라 포스트필터링될 수 있는데, 블럭(607)에서 포스트필터링 알고리즘의 동작은 송신 장치로부터 수신된 프리필터링 알고리즘의 매개변수에 따라 적응된다.
상술된 바와 같이, 프리필터링 및 포스트필터링 알고리즘은 매칭될 수 있다. 또한, 도 3 및/또는 도 4에 관하여 상술된 바와 같이 프리필터링 및 포스트필터링 알고리즘이 구현될 수도 있고, 다른 알고리즘이 사용될 수도 있다. 다른 비디오 필터는 예를 들어, 시우-웨이 우 등의 미국 특허 제5,959,693호 및 오카다의 미국 특허 제6,456,328호에 개시되어 있다. 송신 장치로부터 수신된 프리필터링 알고리즘의 매개변수는 블럭(417)에서의 로우패스 필터링 시에 현재 및 인업 휘도 값에 적용할 가중치, 블럭(407)의 계산을 위한 인접 픽셀의 정의, 블럭(409)의 임계치 K의 숫자값, 블럭(411)의 임계치 M의 숫자값, 및/또는 블럭(413)을 위한 루미넌스의 큰 변화의 정의를 포함할 수 있다. 포스트필터 알고리즘은 이들 매개변수들 및/또는 다른 매개변수들 중 하나 이상에 응답하여 적응될 수 있다.
그에 더하여, 또는 한 대안으로, 송신 장치의 프리필터링 알고리즘의 식별정보가 수신 장치에 송신될 수 있다. 따라서, 포스트필터링 알고리즘은 프리필터링 알고리즘의 식별정보를 수신하는 것에 응답하여 프리필터링 알고리즘에 매칭되도록 적응될 수 있다.
프리필터 매개변수는 이미지 및/또는 비디오 비트스트림 내의 사용자 데이터로서 수신될 수도 있고, 캡슐화 파일 포맷으로 저장될 수도 있다. 또한, 프리필터 매개변수는 이미지 및/또는 비디오 코덱 표준에 따라 비트스트림의 일부분으로서 포함될 수 있다. 본 발명의 실시예에 따라 프리필터와 포스트필터 유형 및/또는 매개변수의 정확한 매칭이 요구되지 않을 수 있다. 포스트필터에 대해 프리필터 매개변수에 관한 정보를 사용하고 약간 다른 필터를 선택함으로써, 충분하고/충분하거나 더 양호한 결과가 제공될 수 있다.
본 발명의 또 다른 추가적인 실시예에 따르면, 이미지 및/또는 비디오 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함할 수 있다. 도 7에 도시된 바와 같이, 블럭(701)에서 현재 픽셀의 루미넌스 값이 수신될 수 있고, 블럭(703) 에서 루미넌스 값이 필터링될 수 있다. 블럭(705)에서, 필터링된 루미넌스 값을 포함하는 디지털 이미지 및/또는 비디오 데이터는 인코딩될 수 있고, 디지털 데이터의 압축의 레이트는 변경될 수 있다. 또한, 루미넌스 값의 필터링의 강도는 인코딩동안 적용된 압축의 레이트에 응답하여 변경될 수 있다.
예를 들어, 블럭(703)의 필터링은 도 3 및/또는 도 4에 관하여 상술된 바와 같이 구현될 수 있다. 다른 비디오 필터는 예를 들어, 시우-웨이 우 등의 미국 특허 제5,959,693호 및 오카다의 미국 특허 제6,456,328호에 개시되어 있다. 도 4에 관하여 상술된 필터링 시에, 블럭(417)에서 적용된 필터링의 강도는 압축의 레이트에 응답하여 변경될 수 있다. 또한, 필터링된 루미넌스 값을 포함하는 인코딩된 디지털 이미지 및/또는 비디오 데이터는 무선 인터페이스를 통해 송신될 수 있다.
인코딩동안 제공된 압축의 레벨에 기초하여 필터링의 강도를 변경시킴으로써 필터링으로부터의 왜곡은 비교적 "손실" 압축 이후에 감소될 수 있다. 인코딩동안의 손실량은 양자화 매개변수(QP) 값에 의해 결정될 수 있다. 비교적 낮은 QP 값은 비교적 낮은 압축 및 비교적 높은 품질을 제공할 수 있고, 비교적 높은 QP 값은 비교적 높은 압축 및 비교적 낮은 품질을 제공할 수 있다. 따라서, 더 낮은 QP 값으로 인해, 결과로서 생긴 이미지 및/또는 비디오 내의 압축 가공물이 증가한다.
레이트 제어 메커니즘은 인코딩동안 비교적 일정한 비트레이트를 제공하기 위해, 사용되는 QP 값을 변경시킬 수 있다. 따라서, 현재 인코딩동안 사용되는 QP 값에 관한 정보는 루미넌스 값의 필터링의 강도를 변경시키는 데 사용될 수 있다. 더 상세하게, 루미넌스 값의 필터링의 강도는 인코딩을 위한 QP 값이 증가할 때 증 가될 수 있고, 루미넌스 값의 필터링의 강도는 인코딩을 위한 QP 값이 감소할 때 감소될 수 있다. 따라서, 이미지 및/또는 비디오 송신의 성능은 결과로서 생긴 이미지 및/또는 비디오의 명백히 가시적인 왜곡을 증가시키지 않고서 개선될 수 있다. 루미넌스 값에 대한 필터링의 강도는 또한, 모션 벡터 및/또는 매크로-블럭 스킵 정보에 응답하여 변경될 수 있다.
디지털 이미지 및/또는 비디오 데이터를 처리하는 추가적인 실시예를 도 8에 도시되어 있다. 도 8에 도시된 바와 같이, 블럭(801)에서 디지털 이미지 및/또는 비디오 데이터의 프레임의 픽셀들에 대한 정보가 수신되고, 블럭(803)에서 프레임의 픽셀들에 대한 데이터가 필터링될 수 있다. 블럭805)에서 텍스처가 적용되어야 하는 프레임의 부분이 식별되고, 블럭(807)에서 픽셀들에 대한 필터링된 데이터는 인코딩될 수 있다. 블럭(809)에서 프레임의 픽셀들에 대한 인코딩되고 필터링된 데이터는 송신되고, 블럭(811)에서 텍스처가 적용되어야 하는 프레임의 부분의 식별정보가 송신될 수 있다. 또한, 적용될 텍스처의 특징화가 제공되고 송신될 수 있고, 특징화는 복수의 소정의 특징화들 중 하나일 수 있다.
더 상세하게, 텍스처가 적용되어야 하는 디지털 이미지 및/또는 비디오 데이터의 프레임의 부분을 식별하는 단계는 프레임의 픽셀들에 대한 필터링된 데이터를 프레임의 픽셀들에 대한 필터링되지 않은 데이터에 비교하는 단계, 및 필터링된 데이터와 필터링되지 않은 데이터의 비교에 기초하여, 텍스처가 적용되어야 하는 디지털 이미지 및/또는 비디오 데이터의 프레임의 부분을 식별하는 단계를 포함할 수 있다. 또한, 프레임의 픽셀들에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함할 수 있고, 텍스처가 적용되어야 하는 디지털 데이터의 프레임의 부분을 식별하는 단계는 유사한 크로미넌스 값을 갖는 픽셀들을 식별하는 단계를 포함할 수 있다. 또한, 텍스처는 텍스처가 적용되어야 하는 프레임의 식별된 부분 내에 포함된 다양한 루미넌스 값들을 포함할 수 있다. 블럭(803)에서 예를 들어, 도 3 및/또는 도 4에 관하여 상술된 바와 같이 필터링의 동작이 수행될 수 있고, 블럭(801)에서의 픽셀들에 대한 데이터를 수신하는 단계는 디지털 카메라로부터 픽셀들은 수신하는 단계를 포함할 수 있다. 다른 비디오 필터는 예를 들어, 시우-웨이 우 등의 미국 특허 제5,959,693호 및 오카다의 미국 특허 제6,456,32호에 개시되어 있다.
본 발명의 또 다른 추가적인 실시예는 도 9에 도시되어 있다. 도 9에 도시된 바와 같이, 블럭(901)에서 디지털 이미지 및/또는 비디오 데이터의 프레임의 픽셀들에 대한 데이터가 수신되고, 블럭(903)에서 픽셀들에 대한 데이터가 인코딩되고, 블럭(905)에서 텍스처가 적용되어야 하는 프레임의 부분이 식별될 수 있다. 또한, 텍스처는 프레임의 픽셀에 대한 데이터를 디코딩한 이후에 블럭(907)에서 프레임의 식별된 부분에 적용될 수 있다. 또한, 디코딩된 데이터는 텍스처를 적용하기 전에 필터링될 수 있다. 예를 들어, 디코딩된 데이터는 도 3 및/또는 도 4에 관하여 상술된 동작에 따라 필터링될 수 있다. 다른 비디오 필터는 예를 들어, 시우-웨이 우 등의 미국 특허 제5,959,693호 및 오카다의 미국 특허 제6,456,328호에 개시되어 있다.
더 상세하게, 텍스처의 특징화는 예를 들어, 도 8에 관하여 상술된 바와 같이 송신 장치 동작으로부터 수신될 수 있고, 텍스처는 수신된 특징화에 따라 적용 될 수 있다. 또한, 특징화는 복수의 소정의 텍스처들 중 하나를 식별할 수 있다. 또한, 텍스처가 적용되어야 하는 프레임의 부분을 식별하는 단계는 유사한 크로미넌스 값을 갖는 픽셀들을 식별하는 단계를 포함할 수 있다.
상술된 바와 같이, 본 발명의 실시예에 따른 프리필터링 및 포스트필터링으로 인해, 처리된 이미지 및/또는 비디오 내의 텍스처가 손실될 수 있다. 예를 들어, 객체의 표면은 비교적 일정한 색(즉, 표면을 구성하는 픽셀들에 걸친 유사한 크로미넌스 값들)을 가질 수 있지만, 표면은 표면을 구성하는 픽셀들의 루미넌스 값의 변경으로부터 생기는 텍스처를 가질 수 있다. 그러나, 본 발명의 실시예에 따른 필터링은 비교적 일정한 색의 표면에 걸친 루미넌스 값들의 이러한 변경을 감소시켜, 처리된 이미지 및/또는 비디오 내의 표면이 비교적 평평하고/하거나 평활하게 보일 수 있도록 할 수 있고/있거나 자연스럽지 못한 외관을 가질 수 있다. 원래의 텍스처의 정확한 세부는 표면을 포함하는 객체를 인지하는 데 비교적 중요하지 않을 수 있고, 원래의 텍스처를 ("미세" 노이즈와 같은) 인위적인 텍스처로 대체함으로써 처리 이미지 및/또는 비디오의 표면은 더 자연스럽게 보이도록 만들어질 수 있다.
원래의 픽셀 데이터를 필터링된 픽셀 데이터에 비교함으로써, 제거된 텍스처는 분류 및/또는 매개변수화될 수 있다. 그러면, 텍스처 분류 및/또는 매개변수는 비트스트림과 함께 송신될 수 있고, "미세" 노이즈와 같은 고주파 정보를 식별된 표면에 인위적으로 추가함으로써 수신 장치에서 텍스처를 재형성하는 데 사용될 수 있다.
도 3 내지 도 9에 관하여 상술된 동작은 다양한 프로토콜에 따라 이동 단말 동작에서 구현될 수 있다. 예를 들어, 본 발명의 실시예에 따른 이동 단말은 WiFi 네트워크, 셀룰러 무선전화 네트워크, 개인용 통신 서비스 네트워크, 위성 통신 네트워크, 초광대역 네트워크, 및/또는 블루투스 네트워크와 같은 하나 이상의 통신 네트워크를 통한 통신을 제공할 수 있다. 도 3 내지 도 9의 동작은 또한, 본 발명의 대안적인 실시예에 따라 서로 다른 통신 프로토콜에 따른 이동 단말 동작에서 구현될 수 있다. 또한, 본 발명의 양태는 방법, 시스템 및/또는 컴퓨터 프로그램 제품으로서 실시될 수 있다. 따라서, 본 발명은 (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함하여) 하드웨어 및/또는 소프트웨어로 실시될 수 있다.
도 3 내지 도 9의 순서도는 예를 들어, 프로세서(215)에 의해 본 발명의 실시예에 따라 통신 장치를 제어하는 데 사용된 소프트웨어 및 데이터의 예시적인 구현예의 아키텍처, 기능 및 동작을 도시한다. 이에 관하여, 각각의 블럭은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행가능 명령어를 포함하는 모듈, 세그먼트 또는 코드 부분을 나타낼 수 있다. 또한, 몇몇 대안적인 실시예에서, 블럭 내에 기록된 기능은 여기에 기록된 순서에서 벗어나 일어날 수 있음을 유념해야 한다. 예를 들어, 연속으로 도시된 두개의 블럭은 실질적으로 동시에 실행될 수도 있고, 때때로, 관련된 기능에 따라 반대 순서로 실행될 수도 있다.
본 발명은 본 발명의 실시예에 따른 방법, 장치(시스템) 및/또는 컴퓨터 프로그램 제품의 블럭도 및/또는 순서도를 참조하여 상술되었다. 블럭도 및/또는 순서도의 각각의 블럭, 및 그 블럭들의 조합은 컴퓨터 프로그램 명령어에 의해 구현 될 수 있음을 이해해야 한다. 이들 컴퓨터 프로그램 명령어는 머신을 생성하기 위해 범용 컴퓨터, 특수 목적 컴퓨터 및/또는 다른 프로그램가능한 데이터 처리 장치의 프로세서에 제공되어, 컴퓨터 및/또는 다른 프로그램가능한 데이터 처리 장치의 프로세서를 통해 실행되는 이 명령어들이 블럭도 및/또는 순서도 블럭 또는 블럭들 내에 지정된 기능/단계를 구현하기 위한 수단을 생성하도록 한다.
이들 컴퓨터 프로그램 명령어는 또한, 컴퓨터 또는 다른 프로그램가능한 데이터 처리 장치가 특정 방식으로 기능하기를 지시할 수 있는 컴퓨터 판독가능 메모리 내에 저장되어, 컴퓨터 판독가능 메모리 내에 저장된 명령어가 블럭도 빛/또는 순서도 블럭 또는 블럭들 내에 지정된 기능/단계를 구현하는 명령어를 포함하는 제품 하나를 생성하도록 할 수 있다.
컴퓨터 프로그램 명령어는 또한, 컴퓨터 또는 다른 프로그램가능한 데이터 처리 장치 상에 로딩되어, 일련의 동작 단계들이 컴퓨터 또는 다른 프로그램가능한 장치 상에서 수행되게 하여, 컴퓨터 또는 다른 프로그램가능한 장치 상에서 실행되는 명령어가 블럭도 및/또는 순서도 블럭 또는 블럭들 내에 지정된 기능/단계를 구현하기 위한 단계를 제공하도록 하는 컴퓨터-구현된 프로세스를 생성할 수 있다.
또한, 몇몇 실시예에서, 기록된 기능/단계는 순서도에 기록된 순서에서 벗어나 일어날 수 있음을 유념해야 한다. 예를 들어, 연속으로 도시된 두개의 블럭은 사실상, 실질적으로 동시에 실행될 수도 있고, 때때로, 관련된 기능/단계에 따라 반대 순서로 실행될 수도 있다.
도면 및 명세서에서는, 본 발명의 일반적인 바람직한 실시예를 개시하였고, 이것은 특정 용어를 사용하지만, 일반적이고 설명적인 의미만으로 사용된 것이고 제한하려는 목적은 아니며, 본 발명의 범주는 다음의 청구범위에서 밝혀진다.

Claims (49)

  1. 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법으로서,
    상기 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함하고, 각각의 픽셀에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함하고,
    현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값을 수신하는 단계;
    상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들을 비교하는 단계; 및
    상기 현재 픽셀의 루미넌스 값을 필터링하는 단계
    를 포함하고,
    상기 루미넌스 값을 필터링하는 강도는 상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초하는 디지털 이미지 및/또는 비디오 데이터 처리 방법.
  2. 제1항에 있어서,
    상기 현재 픽셀의 루미넌스 값을 필터링하는 단계는 상기 현재 픽셀의 루미넌스 값과 적어도 하나의 인접 픽셀의 루미넌스 값의 평균을 구하는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    상기 필터링의 강도는 상기 루미넌스 값들의 평균을 구할 때 상기 루미넌스 값들에 적용되는 가중치에 의해 결정되는 방법.
  4. 제1항에 있어서,
    상기 현재 픽셀과 인접 픽셀의 크로미넌스 값들을 비교하는 단계는 상기 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이를 계산하는 단계를 포함하는 방법.
  5. 제4항에 있어서,
    상기 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이가 소정의 임계치를 초과할 때 상기 필터링의 강도를 감소시키는 단계; 및
    상기 현재 픽셀과 인접 픽셀의 크로미넌스 값들 간의 차이가 상기 소정의 임계치 미만일 때 상기 필터링의 강도를 증가시키는 단계
    를 더 포함하는 방법.
  6. 제4항에 있어서,
    상기 데이터는 YCrCb 포맷으로 제공되고, 상기 Y는 루미넌스 값이고, Cr 및 Cb는 각각, 각각의 픽셀에 대한 적색 및 청색 크로미넌스 값인 방법.
  7. 제6항에 있어서,
    상기 현재 픽셀과 인접 픽셀의 크로미넌스 값들을 비교하는 단계는 각각의 픽셀에 대한 Cr 값의 차이의 절대값과, 각각의 픽셀에 대한 Cb 값의 차이의 절대값을 합하는 단계를 포함하는 방법.
  8. 제7항에 있어서,
    상기 각각의 픽셀에 대한 Cr 값의 차이의 절대값은 Cr 값들의 차이의 제곱을 포함하고, 상기 각각의 픽셀에 대한 Cb 값의 차이의 절대값은 Cb 값들의 차이의 제곱을 포함하는 방법.
  9. 제5항에 있어서,
    상기 필터링의 강도를 감소시키는 단계는 상기 픽셀에 대한 루미넌스 데이터를 필터링없이 통과시키는 단계를 포함하는 방법.
  10. 제1항에 있어서,
    상기 현재 픽셀의 루미넌스 값을 필터링하기 전에, 상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 루미넌스 값들을 비교하는 단계를 더 포함하고,
    상기 필터링의 강도는 상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교, 및 상기 루미넌스 값들의 비교에 기초하는 방법.
  11. 제1항에 있어서,
    상기 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값을 수신하는 단계는 디지털 카메라로부터 상기 크로미넌스 및 루미넌스 값을 수신하는 단계를 포함하고, 상기 방법은,
    상기 필터링된 루미넌스 값을 포함하는 데이터를 인코딩하는 단계; 및
    상기 인코딩된 데이터를 송신하는 단계
    를 더 포함하는 방법.
  12. 제11항에 있어서,
    상기 인코딩하는 단계는 상기 데이터의 압축의 레이트를 변경시키는 단계를 포함하고, 상기 필터링의 강도는 상기 제1 및 제2 픽셀의 크로미넌스 값들의 비교, 및 인코딩동안에 적용된 압축의 레이트에 기초하는 방법.
  13. 제11항에 있어서,
    상기 디지털 카메라로부터 크로미넌스 값 및 루미넌스 값을 수신하는 단계는 데이터의 프레임에 대한 크로미넌스 값 및 루미넌스 값을 수신하는 단계를 포함하고, 상기 루미넌스 값을 필터링하는 단계는 상기 데이터의 프레임에 대한 루미넌스 값을 필터링하는 단계를 포함하고, 상기 방법은,
    텍스처가 적용되어야 하는 상기 필터링된 프레임의 부분들을 식별하는 단계; 및
    텍스처가 적용되어야 하는 상기 프레임의 부분들의 식별정보를 송신하는 단계
    를 더 포함하는 방법.
  14. 제13항에 있어서,
    적용되어야 하는 복수의 텍스처들 중 하나의 식별정보를 송신하는 단계를 더 포함하는 방법.
  15. 제1항에 있어서,
    인코딩된 데이터를 수신하는 단계; 및
    상기 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값을 수신하기 전에, 상기 인코딩된 데이터를 디코딩하여 상기 현재 픽셀과 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값을 제공하는 단계
    를 더 포함하는 방법.
  16. 제15항에 있어서,
    상기 루미넌스 값을 필터링하는 단계는 데이터의 프레임에 대한 루미넌스 값을 필터링하는 단계를 포함하고, 상기 방법은,
    텍스처가 적용되어야 하는 상기 프레임의 부분을 식별하는 단계; 및
    상기 데이터의 프레임으로부터의 루미넌스 값을 필터링한 후에, 상기 텍스처 를 상기 프레임의 식별된 부분에 적용하는 단계
    를 더 포함하는 방법.
  17. 제1항에 있어서,
    상기 제1 및 인접 픽셀은 수평으로 인접하거나, 수직으로 인접하거나, 대각선으로 인접하거나, 시간적으로 인접하거나, 및/또는 간접적으로 인접한 것 중 하나인 방법.
  18. 제1항에 있어서,
    상기 현재 픽셀의 루미넌스 값을 필터링하는 단계는 상기 현재 픽셀의 루미넌스 값을 로우패스 필터링하는 단계를 포함하는 방법.
  19. 송신 장치로부터의 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법으로서,
    상기 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함하고, 각각의 픽셀에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포하고, 상기 데이터는 송신 전에, 프리필터링 알고리즘에 따라 프리필터링되고 인코딩되며, 상기 방법은,
    상기 송신 장치로부터 상기 프리필터링되고 인코딩된 데이터를 수신하는 단계;
    상기 송신 장치로부터의 상기 프리필터링되고 인코딩된 데이터를 디코딩하는 단계; 및
    상기 디코딩된 데이터를 포스트필터링 알고리즘에 따라 포스트필터링하는 단계
    를 포함하고,
    상기 프리필터링 알고리즘과 포스트필터링 알고리즘은 매칭되는 디지털 이미지 및/또는 비디오 데이터 처리 방법.
  20. 제19항에 있어서,
    상기 프리필터링 알고리즘의 매개변수는 상기 송신 장치로부터 송신되고, 상기 방법은,
    상기 송신 장치로부터 송신된 프리필터링 알고리즘의 매개변수를 수신하는 단계를 더 포함하고,
    상기 포스트필터링 알고리즘의 동작은 상기 송신 장치로부터 수신된 프리필터링 알고리즘의 매개변수에 따라 적응되는 방법.
  21. 제20항에 있어서,
    상기 송신 장치로부터 송신된 프리필터링 알고리즘의 매개변수는 상기 프리필터링 알고리즘에 의해 상기 데이터의 루미넌스 값에 적용된 필터링 강도를 포함하고, 상기 포스트필터링의 강도는 상기 프리필터링 알고리즘에 의해 적용된 필터 강도에 따라 적응되는 방법.
  22. 제20항에 있어서,
    상기 송신 장치로부터 송신된 프리필터링 알고리즘의 매개변수는 상기 프리필터링 알고리즘의 식별정보를 포함하고, 상기 포스트필터링 알고리즘은 상기 프리필터링 알고리즘의 식별정보를 수신하는 것에 응답하여 상기 프리필터링 알고리즘에 매칭되도록 적응되는 방법.
  23. 제19항에 있어서,
    상기 프리필터링 알고리즘과 포스트필터링 알고리즘 각각은 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들을 비교하고, 상기 현재 픽셀의 루미넌스 값의 필터링의 강도가 상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초하도록, 상기 현재 픽셀의 루미넌스 값을 필터링하는 방법.
  24. 송신 장치로부터의 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법으로서,
    상기 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함하고, 각각의 픽셀에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함하고,
    상기 데이터는 송신 전에, 프리필터링 알고리즘에 따라 프리필터링되고 인코딩되고, 상기 프리필터링 알고리즘의 매개변수는 상기 송신 장치로부터 송신되고, 상기 방법은,
    상기 송신 장치로부터 상기 프리필터링되고 인코딩된 데이터를 수신하는 단계;
    상기 송신 장치로부터 송신된 프리필터링 알고리즘의 매개변수를 수신하는 단계;
    상기 송신 장치로부터의 상기 프리필터링되고 인코딩된 데이터를 디코딩하는 단계; 및
    상기 디코딩된 데이터를 포스트필터링 알고리즘에 따라 포스트필터링하는 단계
    를 포함하고,
    상기 포스트필터링 알고리즘의 동작은 상기 송신 장치로부터 수신된 프리필터링 알고리즘의 매개변수에 따라 적응되는 디지털 이미지 및/또는 비디오 데이터 처리 방법.
  25. 제24항에 있어서,
    상기 프리필터링 알고리즘과 포스트필터링 알고리즘은 매칭되는 방법.
  26. 제24항에 있어서,
    상기 프리필터링 알고리즘과 포스트필터링 알고리즘 각각은 현재 픽셀과 적어도 하나의 인접 픽셀의 크로미넌스 값들을 비교하고, 상기 현재 픽셀의 루미넌스 값의 필터링 강도가 상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초하도록, 상기 현재 픽셀의 루미넌스 값을 필터링하는 방법.
  27. 제24항에 있어서,
    상기 송신 장치로부터 송신된 프리필터링 알고리즘의 매개변수는 상기 프리필터링 알고리즘에 의해 상기 데이터의 루미넌스 값에 적용된 필터링 강도를 포함하고, 상기 포스트필터링의 강도는 상기 프리필터링 알고리즘에 의해 적용된 필터 강도에 따라 적응되는 방법.
  28. 제24항에 있어서,
    상기 송신 장치로부터 송신된 프리필터링 알고리즘의 매개변수는 상기 프리필터링 알고리즘의 식별정보를 포함하고, 상기 포스트필터링 알고리즘은 상기 프리필터링 알고리즘의 식별정보를 수신하는 것에 응답하여 상기 프리필터링 알고리즘에 매칭되도록 적응되는 방법.
  29. 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법으로서,
    상기 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함하고,
    현재 픽셀에 대한 루미넌스 값을 수신하는 단계;
    상기 현재 픽셀의 루미넌스 값을 필터링하는 단계; 및
    상기 필터링된 루미넌스 값을 포함하는 데이터를 인코딩하는 단계
    를 포함하고,
    상기 데이터를 인코딩하는 단계는 상기 데이터의 압축의 레이트를 변경시키는 단계를 포함하고, 상기 루미넌스 값의 필터링의 강도는 인코딩동안 적용된 상기 압축의 레이트에 응답하여 변화하는 디지털 이미지 및/또는 비디오 데이터 처리 방법.
  30. 제29항에 있어서,
    상기 수신하는 단계는 상기 현재 픽셀에 대한 크로미넌스 값을 수신하는 단계, 및 적어도 하나의 인접 픽셀에 대한 루미넌스 및 크로미넌스 값을 수신하는 단계를 더 포함하고, 상기 방법은,
    상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들을 비교하는 단계
    를 더 포함하고,
    상기 루미넌스 값을 필터링하는 강도는 또한, 상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초하는 방법.
  31. 제29항에 있어서,
    상기 필터링된 루미넌스 값을 포함한 상기 인코딩된 데이터를 무선 인터페이스를 통해 송신하는 단계를 더 포함하는 방법.
  32. 제29항에 있어서,
    상기 현재 픽셀 루미넌스 값을 필터링하는 단계는 상기 현재 픽셀의 루미넌스 값과 적어도 하나의 인접 픽셀의 루미넌스 값의 평균을 구하는 단계를 포함하는 방법.
  33. 제32항에 있어서,
    상기 필터링의 강도는 상기 루미넌스 값의 평균을 구할 때 상기 루미넌스 값에 적용된 가중치에 의해 결정되는 방법.
  34. 제29항에 있어서,
    인코딩동안 적용된 상대적으로 높은 압축의 레이트에 응답하여 상기 필터링의 강도를 증가시키는 단계; 및
    인코딩동안 적용된 상대적으로 낮은 압축의 레이트에 응답하여 상기 필터링의 강도를 감소시키는 단계
    를 더 포함하는 방법.
  35. 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 방법으로서,
    상기 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함하고,
    한 프레임의 픽셀들에 대한 데이터를 수신하는 단계;
    상기 프레임의 픽셀들에 대한 데이터를 필터링하는 단계;
    텍스처가 적용되어야 하는 상기 데이터의 프레임의 부분을 식별하는 단계;
    상기 프레임의 픽셀들에 대한 필터링된 데이터를 인코딩하는 단계;
    상기 프레임의 픽셀들에 대한 필터링되고 인코딩된 데이터를 송신하는 단계; 및
    텍스처가 적용되어야 하는 상기 데이터의 프레임의 부분의 식별정보를 송신하는 단계
    를 포함하는 디지털 이미지 및/또는 비디오 데이터 처리 방법.
  36. 제35항에 있어서,
    상기 프레임의 식별된 부분에 적용될 텍스처의 특징화(characterization)를 제공하는 단계; 및
    상기 프레임의 식별된 부분에 적용될 텍스처의 특징화를 송신하는 단계
    를 더 포함하는 방법.
  37. 제36항에 있어서,
    상기 텍스처의 특징화를 제공하는 단계는 복수의 소정의 텍스처들 중 하나를 식별하는 단계를 포함하는 방법.
  38. 제35항에 있어서,
    상기 텍스처가 적용되어야 하는 데이터의 프레임의 부분을 식별하는 단계는 상기 프레임의 픽셀들에 대한 필터링된 데이터와, 상기 데이터의 프레임의 픽셀들 에 대한 필터링되지 않은 데이터를 비교하고, 상기 프레임에 대한 필터링된 데이터와 필터링되지 않은 데이터의 비교에 기초하여, 상기 텍스처가 적용되어야 하는 데이터의 프레임의 부분을 식별하는 단계를 포함하는 방법.
  39. 제35항에 있어서,
    상기 프레임의 픽셀들에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함하고,
    상기 텍스처가 적용되어야 하는 데이터의 프레임의 부분을 식별하는 단계는 유사한 크로미넌스 값들을 갖는 픽셀들을 식별하는 단계를 포함하는 방법.
  40. 제35항에 있어서,
    상기 프레임의 픽셀들에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함하고,
    상기 텍스처는 상기 텍스처가 적용되어야 하는 프레임의 식별된 부분 내에 포함된 루미넌스 값의 변화를 포함하는 방법.
  41. 제35항에 있어서,
    상기 프레임의 픽셀들에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함하고, 상기 프레임의 픽셀들에 대한 데이터를 필터링하는 단계는,
    현재 픽셀 및 적어도 하나의 인접 픽셀에 대한 크로미넌스 값 및 루미넌스 값을 수신하는 단계;
    상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들을 비교하는 단계; 및
    상기 현재 픽셀의 루미넌스 값을 필터링하는 단계
    를 포함하고,
    상기 루미넌스 값을 필터링하는 강도는 상기 현재 픽셀과 상기 적어도 하나의 인접 픽셀의 크로미넌스 값들의 비교에 기초하는 방법.
  42. 제35항에 있어서,
    상기 데이터의 프레임의 픽셀들에 대한 데이터를 수신하는 단계는 디지털 카메라로부터 상기 데이터를 수신하는 단계를 포함하는 방법.
  43. 디지털 이미지 및/또는 비디오 데이터를 처리하기 위한 방법으로서,
    상기 데이터의 프레임은 복수의 로우 및 컬럼의 픽셀들을 포함하고,
    상기 데이터의 한 프레임의 픽셀들에 대한 데이터를 수신하는 단계;
    상기 프레임의 픽셀들에 대한 데이터를 디코딩하는 단계;
    텍스처가 적용되어야 하는 상기 데이터의 프레임의 부분을 식별하는 단계; 및
    상기 프레임의 픽셀들에 대한 데이터를 디코딩한 후, 상기 텍스처를 상기 데이터의 프레임의 식별된 부분에 적용하는 단계
    를 포함하는 디지털 이미지 및/또는 비디오 데이터 처리 방법.
  44. 제43항에 있어서,
    상기 프레임의 식별된 부분에 적용될 텍스처의 특징화를 수신하는 단계를 더 포함하고, 상기 텍스처를 상기 프레임의 식별된 부분에 적용하는 단계는 상기 수신된 특징화에 따라 상기 텍스처를 적용하는 단계를 포함하는 방법.
  45. 제44항에 있어서,
    상기 특징화는 복수의 소정의 텍스처들 중 하나를 식별하는 방법.
  46. 제43항에 있어서,
    상기 프레임의 픽셀들에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함하고, 상기 텍스처가 적용되어야 하는 데이터의 프레임의 부분을 식별하는 단계는 유사한 크로미넌스 값들을 갖는 픽셀들을 식별하는 단계를 포함하는 방법.
  47. 제43항에 있어서,
    상기 프레임의 픽셀들에 대한 데이터는 루미넌스 값 및 크로미넌스 값을 포함하고,
    상기 텍스처는 상기 텍스처가 적용되는 프레임의 식별된 부분 내에 포함된 픽셀들의 루미넌스 값의 변화를 포함하는 방법.
  48. 제43항에 있어서,
    상기 텍스처를 적용하기 전에, 상기 프레임의 픽셀들에 대한 디코딩된 데이터를 필터링하는 단계
    를 더 포함하는 방법.
  49. 제43항에 있어서,
    상기 데이터의 프레임의 픽셀들에 대한 데이터를 수신하는 단계는 상기 데이터를 무선 인터페이스를 통해 수신하는 단계를 포함하는 방법.
KR1020067008695A 2003-11-05 2006-05-04 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법 KR101069975B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/701,730 US20050094003A1 (en) 2003-11-05 2003-11-05 Methods of processing digital image and/or video data including luminance filtering based on chrominance data and related systems and computer program products
US10/701,730 2003-11-05
PCT/EP2004/012292 WO2005051003A2 (en) 2003-11-05 2004-10-29 Methods of processing digital image and/or video data including luminance filtering based on chrominance data

Publications (2)

Publication Number Publication Date
KR20060115739A true KR20060115739A (ko) 2006-11-09
KR101069975B1 KR101069975B1 (ko) 2011-10-04

Family

ID=34551482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067008695A KR101069975B1 (ko) 2003-11-05 2006-05-04 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법

Country Status (5)

Country Link
US (2) US20050094003A1 (ko)
EP (1) EP1680928B1 (ko)
KR (1) KR101069975B1 (ko)
CN (1) CN1879421A (ko)
WO (1) WO2005051003A2 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US20050094003A1 (en) * 2003-11-05 2005-05-05 Per Thorell Methods of processing digital image and/or video data including luminance filtering based on chrominance data and related systems and computer program products
US8203617B2 (en) * 2003-11-05 2012-06-19 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for increasing coding efficiency with an adaptive pre-filter
JP2005167399A (ja) * 2003-11-28 2005-06-23 Noritsu Koki Co Ltd 画像ノイズ除去方法
US20080084932A1 (en) * 2006-10-06 2008-04-10 Microsoft Corporation Controlling loop filtering for interlaced video frames
KR100922898B1 (ko) * 2007-12-17 2009-10-20 한국전자통신연구원 ＩＰ 미디어의 ＱｏＥ 보장형 영상품질 측정장치 및측정방법
JP4900722B2 (ja) * 2008-03-12 2012-03-21 株式会社メガチップス 画像処理装置
TWI387319B (zh) * 2009-06-02 2013-02-21 Novatek Microelectronics Corp 影像處理電路及方法
US10477249B2 (en) 2009-06-05 2019-11-12 Apple Inc. Video processing for masking coding artifacts using dynamic noise maps
DE102010028746B4 (de) * 2010-05-07 2012-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bildsensor und Verfahren zum Aufnehmen eines Bildes
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
US8948253B2 (en) * 2011-12-15 2015-02-03 Flextronics Ap, Llc Networked image/video processing system
US20130279882A1 (en) 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
CN103391416A (zh) * 2012-05-08 2013-11-13 联咏科技股份有限公司 图像处理方法
KR102192674B1 (ko) 2014-06-26 2020-12-17 삼성전자 주식회사 이미지 처리 장치 및 방법
US9811882B2 (en) * 2014-09-30 2017-11-07 Electronics And Telecommunications Research Institute Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
CN104581345B (zh) * 2014-12-29 2017-11-24 广东欧珀移动通信有限公司 一种调整显示帧的方法及装置
GB2536904B (en) * 2015-03-30 2017-12-27 Imagination Tech Ltd Image filtering based on image gradients
US9842410B2 (en) * 2015-06-18 2017-12-12 Samsung Electronics Co., Ltd. Image compression and decompression with noise separation
CN105183755B (zh) * 2015-07-17 2018-10-12 小米科技有限责任公司 一种图片的显示方法及装置
EP3341913B1 (en) * 2015-08-25 2019-06-26 InterDigital VC Holdings, Inc. Inverse tone mapping based on luminance zones
EP3203439B1 (en) * 2016-02-04 2019-10-02 InterDigital VC Holdings, Inc. Method and device for reducing noise in a component of a picture
KR20180056313A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 텍스처를 처리하는 방법 및 장치
WO2018120021A1 (zh) * 2016-12-30 2018-07-05 陶霖密 显示面板、显示装置和像素渲染方法
US10945525B2 (en) * 2017-05-12 2021-03-16 Carpin Manufacturing, Inc. Self-adjustment restrictor
CN116320402A (zh) 2018-04-04 2023-06-23 日本放送协会 预测图像校正装置、图像编码装置、图像解码装置以及程序
CN110930962B (zh) * 2019-11-26 2020-12-11 浪潮集团有限公司 一种细微亮度变化放大显示方法及电路
CN113518227B (zh) * 2020-04-09 2023-02-10 于江鸿 数据处理的方法和系统
CN111614901A (zh) * 2020-05-27 2020-09-01 惠州Tcl移动通信有限公司 一种图像拍摄方法、装置、存储介质及终端
WO2022146215A1 (en) * 2020-12-28 2022-07-07 Telefonaktiebolaget Lm Ericsson (Publ) Temporal filter

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4942466A (en) * 1985-12-24 1990-07-17 British Broadcasting Corporation Bandwidth compression for television signals
JP2576989B2 (ja) * 1986-06-07 1997-01-29 ドイツチエ・トムソン−ブラント・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング 運動検出によりデイジタルビデオ信号のノイズを低減する方式
JPH0822072B2 (ja) * 1987-09-04 1996-03-04 日本ビクター株式会社 搬送色信号処理回路
DE68919431T2 (de) * 1988-04-30 1995-03-30 Victor Company Of Japan Schaltung zur Verbesserung der Bildqualität.
US5012329A (en) * 1989-02-21 1991-04-30 Dubner Computer Systems, Inc. Method of encoded video decoding
JPH0374970A (ja) * 1989-08-16 1991-03-29 Toshiba Corp 輝度信号高域強調回路
US6134373A (en) * 1990-08-17 2000-10-17 Samsung Electronics Co., Ltd. System for recording and reproducing a wide bandwidth video signal via a narrow bandwidth medium
US5323232A (en) * 1990-08-01 1994-06-21 Matsushita Electric Industrial Co., Ltd. Filter device for decimation and interpolation of chrominance components of a video signal
US5150203A (en) * 1990-12-26 1992-09-22 The Grass Valley Group, Inc. Variable chrominance filtering for encoding television signals
DE69228983T2 (de) * 1991-12-18 1999-10-28 Koninkl Philips Electronics Nv System zum Übertragen und/oder Speichern von Signalen von texturierten Bildern
KR0148130B1 (ko) * 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
JPH07231396A (ja) * 1993-04-19 1995-08-29 Mitsubishi Electric Corp 画質補正回路
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
US5557538A (en) * 1994-05-18 1996-09-17 Zoran Microelectronics Ltd. MPEG decoder
US6026190A (en) * 1994-10-31 2000-02-15 Intel Corporation Image signal encoding with variable low-pass filter
JP3746540B2 (ja) * 1995-06-07 2006-02-15 オリンパス株式会社 画像処理装置
US5974186A (en) * 1995-10-24 1999-10-26 Georgia Tech Research Corporation Video coding system and method for noisy signals
GB2306833B (en) * 1995-10-30 2000-03-29 Sony Uk Ltd Video data compression
US5712687A (en) * 1996-04-25 1998-01-27 Tektronix, Inc. Chrominance resampling for color images
DE69605106T2 (de) * 1996-07-09 2000-07-20 St Microelectronics Srl Schaltung zur Chrominanzübergangsverbesserung in Echtzeitvideoempfang
US6456328B1 (en) * 1996-12-18 2002-09-24 Lucent Technologies Inc. Object-oriented adaptive prefilter for low bit-rate video systems
US5959693A (en) * 1997-05-07 1999-09-28 General Instrument Corporation Pixel adaptive noise reduction filter for digital video
JP3925588B2 (ja) * 1997-11-25 2007-06-06 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
KR100282389B1 (ko) * 1997-12-31 2001-02-15 구자홍 에이치디티브이 비디오 디코더의 메모리 제어 방법
US6480538B1 (en) * 1998-07-08 2002-11-12 Koninklijke Philips Electronics N.V. Low bandwidth encoding scheme for video transmission
JP2002026801A (ja) * 2000-07-05 2002-01-25 Toshiba Corp 無線通信端末
JP2002041285A (ja) * 2000-07-28 2002-02-08 Toshiba Corp データ処理装置およびデータ処理方法
JP3630622B2 (ja) * 2000-08-31 2005-03-16 シャープ株式会社 パターンアンテナ及びそれを備えた無線通信装置
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US8275047B2 (en) * 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
US7606435B1 (en) * 2002-02-21 2009-10-20 At&T Intellectual Property Ii, L.P. System and method for encoding and decoding using texture replacement
US7181086B2 (en) 2002-06-06 2007-02-20 Eastman Kodak Company Multiresolution method of spatially filtering a digital image
US7280703B2 (en) * 2002-11-14 2007-10-09 Eastman Kodak Company Method of spatially filtering a digital image using chrominance information
US20050094003A1 (en) 2003-11-05 2005-05-05 Per Thorell Methods of processing digital image and/or video data including luminance filtering based on chrominance data and related systems and computer program products

Also Published As

Publication number Publication date
CN1879421A (zh) 2006-12-13
EP1680928A2 (en) 2006-07-19
US20070291141A1 (en) 2007-12-20
WO2005051003A3 (en) 2005-10-27
WO2005051003A2 (en) 2005-06-02
EP1680928B1 (en) 2013-05-15
US20050094003A1 (en) 2005-05-05
US8274577B2 (en) 2012-09-25
KR101069975B1 (ko) 2011-10-04

Similar Documents

Publication Publication Date Title
KR101069975B1 (ko) 디지털 이미지 및/또는 비디오 데이터를 처리하는 방법
US10743033B2 (en) Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image
CN107211128B (zh) 自适应色度下采样和色彩空间转换技术
EP3298780B1 (en) Pixel processing and encoding
WO2011014637A1 (en) System and method of compressing video content
US20110249133A1 (en) Compression-quality driven image acquisition and processing system
JP2001320713A (ja) 画像予備処理方法
Shin et al. Variable block-based deblocking filter for H. 264/AVC on low-end and low-bit rates terminals
KR20210135333A (ko) 적응형 교차 성분 필터링을 위한 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150909

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190917

Year of fee payment: 9