KR101812860B1 - Ｈｄｒ 비디오를 디노이징하기 위한 시간적 필터 - Google Patents

Ｈｄｒ 비디오를 디노이징하기 위한 시간적 필터 Download PDF

Info

Publication number
KR101812860B1
KR101812860B1 KR1020157015036A KR20157015036A KR101812860B1 KR 101812860 B1 KR101812860 B1 KR 101812860B1 KR 1020157015036 A KR1020157015036 A KR 1020157015036A KR 20157015036 A KR20157015036 A KR 20157015036A KR 101812860 B1 KR101812860 B1 KR 101812860B1
Authority
KR
South Korea
Prior art keywords
pixel
frame
filter
temporal
color space
Prior art date
Application number
KR1020157015036A
Other languages
English (en)
Other versions
KR20150082554A (ko
Inventor
라훌 바남
유리이 레즈니크
Original Assignee
브이아이디 스케일, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이아이디 스케일, 인크. filed Critical 브이아이디 스케일, 인크.
Publication of KR20150082554A publication Critical patent/KR20150082554A/ko
Application granted granted Critical
Publication of KR101812860B1 publication Critical patent/KR101812860B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

시간적 필터를 사용하여 HDR(high dynamic range) 비디오를 디노이징하기 위한 시스템, 방법, 및 수단이 개시된다. 비압축 비디오 스트림의 프레임이 수신될 수 있다. 프레임은 복수의 픽셀들을 포함할 수 있다. 복수의 픽셀들의 픽셀의 크로마 성분이 미리 정의된 영역 내에 속한다고 결정될 수 있다. 영역은 하나 이상의 크로마 성분에 기초하여 미리 정의될 수 있다. 미리 정의된 영역은 CbCr 공간일 수 있다. 픽셀의 크로마 성분은, 같은 위치의 픽셀의 크로마 성분이 미리 정의된 영역에 속하는지 여부를 결정하도록, 같은 위치의 픽셀의 크로마 성분과 비교될 수 있다. 픽셀은 디노이징 필터를 사용하여 필터링될 수 있다. 디노이징 필터는 시간적 필터일 수 있다. 디노이징 필터는 크로포드(Crawford) 필터일 수 있다. 필터링된 픽셀을 포함하는 비압축 비디오 스트림이 인코딩될 수 있다.

Description

ＨＤＲ 비디오를 디노이징하기 위한 시간적 필터{TEMPORAL FILTER FOR DENOISING A HIGH DYNAMIC RANGE VIDEO}
관련 출원에 대한 상호 참조
본 출원은 2012년 11월 7일 출원된 미국 가특허 출원 번호 제61/723,715호의 이점을 주장하며, 이의 내용은 참조에 의해 여기에 포함된다.
시간적 잡음(temporal noise)(예를 들어, 영역 특유의(region-specific) 시간적 잡음)은 컨텐츠 제작 및 준비 프로세스의 특징들(하지만 이에 한정되는 것은 아님)과 같은 많은 요인들로 인해 비디오 시퀀스에서 나타날 수 있다. 예를 들어, 시간적 잡음은 상이한 카메라들을 사용하여 또는 상이한 조명 조건들 하에 찍은 비디오들의 구성 등의 결과일 수 있다.
시간에 따라 변하는 잡음을 갖는 컨텐츠를 인코딩할 때, 인코더는 잡음을 보존될 수 있는 고주파수 성분인 것으로 간주할 수 있다. 인코더는 잡음을 인코딩할 비트를 할당(allocate)할 수 있다. 이는 비디오의 남아있는 영역들을 인코딩하는 데에 이용 가능한 비트들을 감소시킬 수 있으며, 그 결과 고정 비트레이트에서 더 낮은 시각적 품질을 초래할 수 있다. HDR(high dynamic range) 비디오를 디노이징(denoising)하기 위한 디노이징 필터에 대한 필요성이 존재할 수 있다.
시간적 필터(temporal filter)를 사용하여 HDR 비디오를 디노이징하기 위한 시스템, 방법, 및 수단이 개시된다. 방법으로서, 비디오 스트림의 프레임 - 상기 프레임은 복수의 픽셀들을 포함함 - 을 수신하는 단계, 복수의 픽셀들의 픽셀의 크로마(chroma) 성분이 크로미넌스(chrominance) 색 공간(color space)의 미리 정의된 영역 내에 있는지 여부를 결정하는 단계, 및 픽셀의 크로마 성분이 크로미넌스 색 공간의 미리 정의된 영역 내에 있는 경우, 픽셀에 디노이징(denoising) 필터를 적용하는 단계를 포함하는 방법이 기재된다. 또한, 비디오 스트림의 프레임 - 상기 프레임은 복수의 픽셀들을 포함함 - 을 수신하는 단계, 복수의 픽셀들의 픽셀의 크로마 성분이 크로미넌스 색 공간의 미리 정의된 영역 내에 있는지 여부를 결정하는 단계, 비디오 스트림의 이전(previous) 프레임 내의 같은 위치의(co-located) 픽셀의 크로마 성분이 크로미넌스 색 공간의 미리 정의된 영역 내에 있는지 여부를 결정하는 단계, 및 픽셀의 크로마 성분이 크로미넌스 색 공간의 미리 정의된 영역 내에 있고 비디오 스트림의 이전 프레임 내의 같은 위치의 픽셀의 크로마 성분이 크로미넌스 색 공간의 미리 정의된 영역 내에 있는 경우, 픽셀에 디노이징 필터를 적용하는 단계를 포함하는 방법이 기재된다. 또한, 비디오 스트림의 프레임 - 상기 프레임은 복수의 픽셀들을 포함함 - 을 수신하는 단계, 복수의 픽셀들의 픽셀의 크로마 성분을, 비디오 스트림의 이전 프레임 내의 같은 위치의 픽셀의 크로마 성분과 비교하는 단계, 및 픽셀의 크로마 성분과, 비디오 스트림의 이전 프레임 내의 같은 위치의 픽셀의 크로마 성분 간의 차이가, 크로미넌스 색 공간의 미리 정의된 영역 내에 있을 수 있는 미리 정의된 거리(r)보다 작은 경우, 픽셀에 디노이징 필터를 적용하는 단계를 포함하는 방법이 기재된다. 또한, 비디오 디바이스로서, 비디오 스트림의 프레임 - 상기 프레임은 복수의 픽셀들을 포함함 - 을 수신하고, 복수의 픽셀들의 픽셀의 크로마 성분이 크로미넌스 색 공간의 미리 정의된 영역 내에 있는지 여부를 결정하고, 픽셀의 크로마 성분이 크로미넌스 색 공간의 미리 정의된 영역 내에 있는 경우, 픽셀에 디노이징 필터를 적용하도록 구성된 프로세서를 포함하는 비디오 디바이스가 기재된다.
도 1은 디노이징 구현의 예를 예시한 도면이다.
도 2a는 같은 위치의 이전 픽셀 "A"와 A 주변의 크로마토그래피 영역에 대한 크로마를 예시한 도면이다.
도 2b는 현재 프레임 내의 픽셀 "B"에 대한 크로마를, A 주변의 크로마토그래피 영역에서 같은 위치의 이전 픽셀 "A"의 크로마에 비교하여 예시한 도면이다.
도 3은 시간적 필터링 결정 프로세스를 예시한 도면이다.
도 4는 크로포드(Crawford) 필터의 예를 예시한 도면이다.
도 5는 하늘(sky) 영역을 디노이징하기 위한 시간적 필터링 결정 프로세스를 예시한 도면이다.
도 6은 그림자 영역이 스카이 블루(sky blue)의 쉐이드(shade)를 나타내는 Cb 대 Cr 플롯의 예를 예시한 도면이다.
도 7은 시간적 필터링 결정 프로세스를 예시한 도면이다.
도 8은 아티팩트(artifact)를 감소시키기 위한 시간적 필터링 결정 프로세스를 예시한 도면이다.
도 9는 τ의 상이한 값들에 대하여 δ와 f(δ) 간의 관계의 예를 예시한 도면이다.
도 10은 디노이징 필터의 구현을 예시한 도면이다.
도 11은 RD 플롯을 예시한 도면이다.
도 12는 블록 기반의 비디오 인코더의 예를 예시한 블록도이다.
도 13은 블록 기반의 비디오 디코더의 예를 예시한 블록도이다.
도 14a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템의 시스템 도면이다.
도 14b는 도 14a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 시스템 도면이다.
도 14c는 도 14a에 예시된 통신 시스템 내에서 사용될 수 있는 예시적인 무선 액세스 네트워크 및 예시적인 코어 네트워크의 시스템 도면이다.
도 14d는 도 14a에 예시된 통신 시스템 내에서 사용될 수 있는 또다른 예시적인 무선 액세스 네트워크 및 또다른 예시적인 코어 네트워크의 시스템 도면이다.
도 14e는 도 14a에 예시된 통신 시스템 내에서 사용될 수 있는 또다른 예시적인 무선 액세스 네트워크 및 또다른 예시적인 코어 네트워크의 시스템 도면이다.
여기에 기재된 구현은 HDR(high dynamic range) 비디오 스트림에서 시간적 잡음을 필터링하기 위한 접근을 제공할 수 있다. HDR 카메라는 상이한 노출들로 여러 이미지들을 캡처할 수 있다. HDR 카메라는 이미지들을 결합하여 단일 이미지를 생성할 수 있는데, 예를 들어 단일 이미지는 소정 장면에서 발견되는 강도 범위를 정확하게 나타낼 수 있다. HDR 비디오 카메라는, 평범한 비디오 카메라에 의해서는 보통 캡처되지 않을 수 있는, 장면 내의 다양한 범위의 강도들을 캡처할 수 있다. 예를 들어, HDR 카메라는 주간 동안 별들을 캡처할 수 있다.
HDR 비디오 카메라는 시간에 따라 변하는 잡음을 도입할 수 있으며, 이는 전반적인 시각적 품질에 해로울 수 있다. 예를 들어, 2개의 연속 프레임들로부터 하늘(sky)에 대응하는 세그먼트들은 차이(예를 들어, 루마(Luma) 차이)를 나타낼 수 있는데, 이는 스펙클(speckle) 또는 "솔트 앤 페퍼(salt and pepper) 잡음"으로 보일 수 있는 시간적 잡음을 생성할 수 있다. 시간적 잡음(예를 들어, 영역 특유의 시간적 잡음)은 컨텐츠 제작 및 준비 프로세스에서 생기는 것과 같은 하나 이상의 요인들로 인해 나타날 수 있다. 예를 들어, 시간적 잡음은 상이한 카메라들을 사용하여 또는 상이한 조명 조건들 하에 찍은 비디오들의 구성 등의 결과일 수 있다.
구현은 비디오 스트림 내의 하나 이상의 관심 영역(ROI; regions-of-interest)을 선택적으로 디노이징하도록 확장될 수 있다. 구현은 HDR 비디오를 디노이징하기 위한 접근을 제공할 수 있고, 예를 들어, 블루 스카이(blue sky), 폴리지(foliage) 등(이에 한정되는 것은 아님)과 같은 비디오 스트림의 ROI에서의 잡음을 필터링하도록 확장될 수 있다. 필터는 인코더에 대한 전처리(preprocessing) 단계로서 사용될 수 있다. 결과적인 비트스트림은 고정 비트레이트에서 필터링되지 않은 압축 비디오에 비교하여 보다 나은 시각적 품질을 가질 수 있다. 전처리 필터는, 비트 할당, 모션 추정 등에 사용될 수 있는 ROI 정보(이에 한정되는 것은 아님)와 같은 정보를 제공함으로써, 인코더가 비트를 절약하고 시각적 품질을 개선하는 것을 도울 수 있다. 비디오 코딩의 효과를 개선하기 위한 툴 및 이러한 툴에 대한 응용이 제공될 수 있다. 전체 프레임의 디노이징이 제공될 수 있다. 입력 프레임에 걸친 시간적 필터링이 제공될 수 있다.
도 1은 디노이징 구현(100)의 예를 예시한 도면이다. 예를 들어, 입력 픽셀(102)에 대하여, 입력 픽셀(102)의 크로마(chroma)가 조건(예를 들어, CbCr 공간의 지정된 영역)(104)에 속하는지 여부를 결정하기 위한 체크가 수행될 수 있다. 조건(104)을 충족시키는 픽셀들(예를 들어, CbCr 공간의 지정된 영역 내에 있는 픽셀들)에 시간적 필터가 적용될 수 있다(106)(예를 들어, 이 픽셀들에만 적용될 수 있음). 조건(104)이 충족된다면 출력 픽셀(108)은 필터링될 수 있다. 조건(104)이 충족되지 않으면 출력 픽셀(108)은 필터링되지 않을 수 있다.
필터링 결정 구현이 제공될 수 있다. 예를 들어 유사한 크로마를 갖는 픽셀들에 걸쳐 시간적 필터링이 적용될 수 있음을 보장하도록, 시간적 필터링에 대한 제약(constraint)이 정의될 수 있다. 현재 프레임 내의 입력 픽셀에 대하여, 이전(previous) 프레임 내의 같은 위치의(co-located) 픽셀이, 현재 픽셀이 필터링될 수 있는지 여부를 결정할 조건을 정의하는 데에 사용될 수 있다. 예를 들어, CbCr 공간 내의 조건이 정의될 수 있다.
도 2a 및 도 2b는 예시적인 필터링 결정 프로세스를 예시한 도면이다. 도 2a는, "A"가 (예를 들어, 이전 프레임 내의) 같은 위치의 이전 픽셀에 대한 크로마를 나타낼 수 있고, 현재 프레임 내의 픽셀이 필터링될 수 있는지 여부를 결정하도록 A 주변의 점선 영역이 사용될 수 있는 예시적인 필터링 프로세스를 예시한 도면이다. 도 2b는, "B"가 현재 프레임 내의 픽셀의 크로마를 나타낼 수 있는 예시적인 필터링 프로세스를 예시한 도면이다. 현재 프레임 내의 픽셀의 크로마가 점선 영역 안에 있으므로, 픽셀은 필터링될 수 있다. 예를 들어, "B" 및 "A"는 각각 현재 픽셀 및 같은 위치의 픽셀일 수 있다. 예를 들어, A 및 B의 크로마는 각각 (Cba, Cra) 및 (Cbb, Crb)일 수 있다. CbCr 공간에서 픽셀 A 주변의 영역이 정의될 수 있다.
영역은 예를 들어 도 2a에 예시된 바와 같이 B를 필터링하기 위한 제약을 정의할 수 있다. 파라미터 r, R, 및 α는 영역의 파라미터들일 수 있는데, 여기에서,
Figure 112015054453876-pct00001
이다. 예를 들어 도 2b에 예시된 바와 같이, B가 영역 안에 있는 경우, 시간적 필터링이 적용될 수 있다. 그렇지 않은 경우에는, 시간적 필터링이 적용되지 않을 수 있다.
도 3은 시간적 필터링(300)을 예시한 도면이다. 입력 픽셀(예를 들어, 도 2b의 "B")(302)은 비디오 스트림의 이전 프레임 내의 같은 위치의 픽셀(예를 들어, 도 2b의 "A")에 대하여 비교된다. 304에서 각도 β1 및 β2가 계산된다. 체크(306)는 β1과 β2 간의 차이의 절대값이 파라미터 α(도 2a) 이하인지 여부를 결정한다. 그렇지 않은 경우, 출력 픽셀(316)은 필터링되지 않는다. β1과 β2 간의 차이의 절대값이 파라미터 α(예를 들어, 도 2a) 이하인 경우에는, Rb가 계산된다(308). 체크(310)는 Rb가 파라미터 R(예를 들어, 도 2a)에 파라미터 r(예를 들어, 도 2a)을 더한 합 이하인지 여부를 결정한다. 그렇지 않은 경우, 출력 픽셀(316)은 필터링되지 않는다. Rb가 파라미터 R에 파라미터 r을 더한 합 이하인 경우에는, 체크(312)는 Cra와 Crb의 곱이 0보다 더 큰지 여부를 결정한다. 그렇지 않은 경우, 출력 픽셀(316)은 필터링되지 않는다. Cra와 Crb의 곱이 0보다 더 큰 경우에는, 시간적 필터(314)가 적용될 수 있다. 예를 들어, 시간적 필터는 크로포드(Crawford) 필터에 기초할 수 있다. 시간적 필터는 루미넌스(luminance) 픽셀에 대해(예를 들어, 루미넌스 픽셀에만) 동작할 수 있다.
도 4는 크로포드 필터의 예를 예시한 도면이다. 차이 δ는 현재 프레임 내의 픽셀과 이전 프레임 내의 같은 위치의 픽셀 사이에 계산될 수 있다. 비선형 전달 함수가 δ에 적용될 수 있다. 예를 들어:
Figure 112015054453876-pct00002
여기에서, γ 및 τ는 각각 컷오프의 선예도(sharpness) 및 필터 임계치를 결정할 수 있는 필터 파라미터일 수 있다.
HDR 비디오에서 ROI(예를 들어, 하늘 영역)를 디노이징하기 위한 구현이 제공될 수 있다. 시간적 필터, 예를 들어 여기에 기재된 예시적인 크로포드 필터가 이용될 수 있다. 스카이 블루(sky blue) 픽셀을 검출하는 것에 의한 디노이징이 제공될 수 있다.
도 5는 색(color) 영역, 예를 들어 하늘 영역(500)에 대한 디노이징 구현의 예를 예시한 도면이다. 입력 픽셀(502)(예를 들어, 입력 프레임과 연관된 픽셀)이 수신된다. 체크(504)는 입력 픽셀(502)이 색 영역에 속하는지, 예를 들어 입력 픽셀(502)이 스카이 블루인지 여부를 결정하도록 수행된다. 예를 들어, 픽셀이 스카이 블루의 쉐이드(shade)에 속하는지 아닌지 여부를 결정하기 위해 픽셀의 크로미넌스(chrominance) 성분(예를 들어, Cb 및 Cr)이 이용될 수 있다. 표 1은 스카이 블루의 상이한 쉐이드들의 RGB 및 YCbCr 값들의 예를 열거한다.
Figure 112015054453876-pct00003
표 1: 스카이 블루의 상이한 쉐이드들과 그의 연관된 RGB 및 YCbCr 값들의 예
예를 들어, 표 1에 나타낸 바와 같이, 스카이 블루에 대한 Cb 및 Cr은 각각 [0.04,0.3] 및 [-0.01,0.4]의 근사 범위 내에 있을 수 있다. 입력 픽셀(502)이 스카이 블루인 경우, 시간적 필터(506)가 적용될 수 있고, 이러한 경우의 출력 픽셀(508)은 필터링된다. 입력 픽셀(502)이 스카이 블루가 아닌 경우에는, 시간적 필터(506)가 적용되지 않을 수 있고, 이러한 경우의 출력 픽셀(508)은 필터링되지 않는다.
하늘 영역 내의 잡음의 일부는 대부분이 [Cb,Cr]=[0,0]를 가질 수 있는 하늘의 별들에 의해 생성될 수 있다. 별들에 의해 생성된 잡음에 대한 크로마 성분은 검출을 위한 범위에 포함될 수 있다. 픽셀은, 예를 들어 다음의 부등식이 충족되는 경우, 스카이 블루 픽셀로서 분류될 수 있다.
Figure 112015054453876-pct00004
식 (1)
도 6은 그림자 영역이 식 (1)에서 정의된 바와 같은 스카이 블루의 쉐이드들을 나타내는 Cb 대 Cr 플롯의 예를 예시한 도면이다. 예를 들어, 이 부등식에 의해 커버되는 CbCr 색 공간 내의 영역은 도 6의 도면의 하단 우측 구역에서 예시될 수 있다. 이 부등식을 충족하는 픽셀들은 시간적 필터를 사용하여 필터링될 수 있다. 현재 및 같은 위치의 스카이 블루 픽셀들을 이용하는 디노이징 구현이 제공될 수 있다.
도 7은 시간적 필터(708)를 사용하여 수행된 디노이징 구현(700)의 예를 예시한 도면이다. 입력 프레임(702)은 입력 픽셀을 포함하는 관심 영역을 갖고, 입력 픽셀이 색 영역 안에 있는지, 예를 들어 입력 픽셀이 스카이 블루인지 여부의 체크(704)가 구현된다. 그렇지 않은 경우, 대응하는 출력 프레임(710) 내의 픽셀은 필터링되지 않는다. 픽셀을 필터링할 때, 이전의 같은 위치의 픽셀(예를 들어, 이전 프레임 내의 같은 위치의 픽셀)은 스카이 블루가 아닐 수 있다. 상이한 색에 속하는 픽셀들을 사용하는 것을 피하기 위해, 같은 위치의 픽셀이 스카이 블루인지 여부를 결정하기 위한 체크(706)가 수행될 수 있다. 예를 들어, 체크는 식 (1)에서 정의된 조건을 이용하여 수행될 수 있다. 픽셀 및 같은 위치의 픽셀이 스카이 블루인 경우, 시간적 필터(708)가 픽셀에 적용될 수 있다. 필터링된 픽셀은 대응하는 출력 프레임(710) 내에 있을 수 있다.
시간적 필터의 하나 이상의 파라미터를 조정함으로써 색 영역(예를 들어, 하늘 영역)을 디노이징하는 것이 제공될 수 있다. 예를 들어, 물체가 하늘 배경에 대하여 이동하고 있을 수 있는 빠르게 움직이는 장면에서, 물체의 경계는 스카이 블루의 쉐이드일 수 있는 픽셀을 포함할 수 있다. 하늘 영역에 속하는 현재 픽셀들이 물체의 경계(예를 들어, 물체 경계)로부터의 스카이 블루 픽셀들을 사용하여 필터링될 때, 거짓 윤곽(false contouring) 아티팩트(artifact)로 인해 필터링된 프레임이 될 수 있다. 이러한 아티팩트를 막기 위한 구현이 제공될 수 있다.
도 8은 시간적 필터 구현(800)의 예를 예시한 도면이다. 시간적 필터 구현(800)은 거짓 윤곽 아티팩트를 완화시킬 수 있다. 입력 프레임(802)은 입력 픽셀을 포함하는 관심 영역을 가질 수 있고, 체크(804)는 입력 픽셀이 스카이 블루인지 여부를 결정하도록 수행될 수 있다. 그렇지 않은 경우, 대응하는 출력 프레임(814) 내의 픽셀은 필터링되지 않는다. 그러한 경우에는, 같은 위치의 픽셀이 스카이 블루인지 여부를 결정하도록 체크(806)가 수행될 수 있다. 그렇지 않은 경우, 대응하는 출력 프레임(814) 내의 픽셀은 필터링되지 않는다.
픽셀 및 같은 위치의 픽셀이 스카이 블루인 경우, 같은 위치의 픽셀과 그의 가장 가까운 스카이 아닌(non sky) 픽셀 사이의 거리 "r"가 결정된다(808). 같은 위치의 픽셀의, 가장 가까운 스카이 블루 아닌(non-sky blue) 픽셀로부터의 거리에 기초하여, 파라미터 τ가 계산된다(810). 예를 들어, 32×32 픽셀 서치 윈도우가 이용될 수 있다. 필터 파라미터 τ에 대한 거리 r은, 예를 들어 다음 식을 사용하여 매핑될 수 있다:
Figure 112015054453876-pct00005
여기에서 K는 일정한 축척 계수(scale factor)일 수 있다. 상기 식은, r의 더 작은 값에 대하여 더 작은 값의 τ을 내놓을 수 있다. 픽셀 및 같은 위치의 픽셀 둘 다가 스카이 블루인 경우, 시간적 필터(812)가 픽셀에 적용될 수 있으며, 픽셀은 대응하는 출력 프레임(814) 내에서 필터링될 수 있다.
도 9는 τ의 상이한 값들에 대한 δ와 f(δ) 간의 관계의 예를 예시한 도면이다. 예를 들어, 도 9는 γ가 0으로 설정될 때 상이한 τ에 대한 δ와 f(δ) 간의 관계를 예시할 수 있다. 더 작은 τ에 대하여,
Figure 112015054453876-pct00006
이며, 그 결과
Figure 112015054453876-pct00007
Figure 112015054453876-pct00008
의 출력이 될 수 있고, 이는 더 부드러운(milder) 필터링에 대응할 수 있다. 이러한 구현은, 같은 위치의 픽셀들이 스카이 아닌 영역에 매우 가까울 때에 더 부드러운 시간적 필터가 사용될 수 있음을 제공할 수 있다. 더 부드러운 시간적 필터의 사용은 윤곽 아티팩트의 발생을 완화시킬 수 있다.
크로포드 필터 파라미터 γ 및 τ는 변할 수 있다. γ=1 및 τ=4는 원하는 디노이징된 출력을 낼 수 있다. 연속 디노이징된 프레임은 원래(original) 프레임에 대응하는 바람직한 차이 이미지(difference image)를 가질 수 있다. 차이 이미지는, 예를 들어, 원래 이미지로부터 획득한 차이 이미지에 비교하여 볼 때, 더 낮은 시간적 잡음(예를 들어, 상당히 더 낮은 시간적 잡음)을 가질 수 있다.
비디오 압축에 대한 디노이징 필터의 응용이 제공될 수 있다. 시간에 따라 변하는 잡음을 갖는 컨텐츠를 인코딩할 때, 인코더는 잡음을 보존되어야 할 수 있는 고주파수 성분인 것으로 간주할 수 있다. 인코더는 잡음을 인코딩하도록 하나 이상의 비트를 할당할 수 있으며, 이는 비디오의 남아있는 영역을 인코딩하는 데에 이용 가능할 수 있는 비트를 감소시킬 수 있고, 그 결과 고정 비트레이트에서 더 낮은 시각적 품질을 초래할 수 있다.
도 10은 비디오 스트림을 디노이징하는 프로세스(1000)의 예를 예시한 도면이다. 비압축(uncompressed) 비디오(1002)가 디노이징 필터(1004)에 적용될 수 있다. 비압축 비디오의 특정 픽셀은 예를 들어 여기에 기재된 바와 같이 필터링될 수 있다. 디노이징 필터(1004)는 압축 비트스트림(1008)을 생성할 수 있는 인코더(1006)에 대한 전처리 단계로서 사용될 수 있다. 예를 들어 도 10에 도시된 전처리 단계로서, 디노이징 필터(1004)를 사용하는 것은, 잡음에 할당된 비트를 감소시킬 수 있다. 이 결과, 더 나은 시각적 품질이 될 수 있다.
디노이징 필터(1004)는 인코더(1006)의 성능을 돕는데 사용될 수 있다. 에를 들어, 디노이징 필터(1004)가 하늘 영역을 결정하는 경우, 디노이징 필터는 인코더(1006)에 이 정보를 중계할 수 있다. 하늘 영역은 실질적으로 균질한(homogeneous) 경향이 있으므로(예를 들어, 낮은 시간적 변동을 갖는 몇몇 세부사항을 포함함), 인코더(1006)는, 예를 들어 스킵 매크로블록(skip macroblock)으로서 하늘 영역에 속하는 매크로블록을 인코딩함으로써, 사용된 비트의 수를 감소시킬 수 있다.
예를 들어, x264 인코더의 율 왜곡(RD; rate-distortion) 성능은 인코딩 전에 디노이징 전처리 필터를 사용할 때 분석될 수 있다. 이는 프리필터링(pre-filtering)이 없는 경우와 비교될 수 있다. 341 프레임을 포함하는 비디오의 세그먼트가 테스트 비디오로서 사용될 수 있다. 세그먼트는, 예를 들어 하이프로파일 x264 인코더를 사용하여, 4개의 상이한 양자화 파라미터(예를 들어, [30,34,38,42]임)로 인코딩될 수 있다. 도 11은 결과적인 RD 플롯의 예를 예시한 도면이다. 도 11의 RD 플롯은, 디노이징 필터를 사용하여 인코더의 PSNR이 최대 0.7 dB만큼(예를 들어, 더 높은 비트레이트에서) 개선될 수 있음을 예시한다.
도 12는 블록 기반의 비디오 인코더, 예를 들어 하이브리드 비디오 인코딩 시스템의 예를 예시한 블록도이다. 비디오 인코더(1200)는 입력 비디오 신호(1202)를 수신할 수 있다. 입력 비디오 신호(1202)는 블록별로 처리될 수 있다. 비디오 블록은 임의의 크기로 이루어질 수 있다. 예를 들어, 비디오 블록 유닛은 16x16 픽셀을 포함할 수 있다. 16x16 픽셀의 비디오 블록 유닛은 매크로블록(MB; macroblock)이라 지칭될 수 있다. 고효율 비디오 코딩(HEVC; High Efficiency Video Coding)에서는, 확장된 블록 크기(예를 들어, 코딩 유닛 또는 CU라 지칭될 수 있음)가 고해상도(예를 들어, 1080p 이상) 비디오 신호를 효율적으로 압축하는 데에 사용될 수 있다. HEVC에서, CU는 최대 64x64 픽셀일 수 있다. CU는 예측 유닛(PU; prediction unit)으로 분할될 수 있으며, PU에 대하여 개별 예측 방법이 적용될 수 있다.
입력 비디오 블록(예를 들어, MB 또는 CU)에 대하여, 공간적 예측(1260) 및/또는 시간적 예측(1262)이 수행될 수 있다. 공간적 예측(예를 들어, "인트라 예측(intra prediction)")은 현재 비디오 블록을 예측하기 위해 동일한 비디오 영상/슬라이스 내의 이미 코딩된 이웃 블록들로부터의 픽셀들을 사용할 수 있다. 공간적 예측은 비디오 신호에 내재한 공간적 리던던시(redundancy)를 감소시킬 수 있다. 시간적 예측(예를 들어, "인터 예측(inter prediction)" 또는 "모션 보상 예측")은 현재 비디오 블록을 예측하기 위해 이미 코딩된 비디오 영상(예를 들어, "참조 영상(reference picture)"으로 지칭될 수 있음)으로부터의 픽셀들을 사용할 수 있다. 시간적 예측은 비디오 신호에 내재한 시간적 리던던시를 감소시킬 수 있다. 비디오 블록에 대한 시간적 예측 신호는 하나 이상의 모션 벡터에 의해 시그널링될 수 있으며, 이는 현재 블록과 참조 영상 내의 그의 예측 블록 사이의 모션의 양 및/또는 방향을 나타낼 수 있다. 복수의 참조 영상이 지원되는 경우(예를 들어, H.264/AVC 및/또는 HEVC의 경우일 수 있음), 비디오 블록에 대하여, 그의 참조 영상 인덱스가 보내질 수 있다. 참조 인덱스는, 시간적 예측 신호가 참조 영상 저장소(164)(디코딩된 영상 버퍼 또는 DPB(decoded picture buffer)라 지칭될 수 있음) 내의 어느 참조 영상으로부터 온 것인지 식별하는 데에 사용될 수 있다.
인코더 내의 모드 결정 블록(1280)은, 예를 들어 공간적 및/또는 시간적 예측 후에, 예측 모드를 선택할 수 있다. 1216에서 예측 블록은 현재 비디오 블록으로부터 감산될 수 있다. 예측 잔차(prediction residual)가 변환되고(1204) 그리고/또는 양자화될 수 있다(1206). 양자화된 잔차 계수(residual coefficient)는 역 양자화되고(1210) 그리고/또는 역 변환되어(1212), 재구성된 잔차를 형성할 수 있으며, 이는 재구성된 비디오 블록을 형성하도록 예측 블록(1226)에 다시 더해질 수 있다.
재구성된 비디오 블록이 참조 영상 저장소(1264)에 놓이고 그리고/또는 추후의 비디오 블록을 코딩하는 데 사용되기 전에, 인루프(in-loop) 필터링(예를 들어, 디블로킹 필터, 샘플 적응형 오프셋, 적응형 루프 필터 등)이 재구성된 비디오 블록에 적용될 수 있다(1266). 비디오 인코더(1200)는 출력 비디오 스트림(1220)을 출력할 수 있다. 출력 비디오 비트스트림(1220)을 형성하기 위해, 코딩 모드(예를 들어, 인터 예측 모드 또는 인트라 예측 모드), 예측 모드 정보, 모션 정보, 및/또는 양자화된 잔차 계수가 엔트로피 코딩 유닛(1208)에 보내지며, 비트 스트림을 형성하도록 압축 및/또는 패킹될 수 있다.
도 13은 블록 기반의 비디오 디코더의 예를 예시한 블록도이다. 비디오 디코더(1300)는 비디오 비트스트림(1302)을 수신할 수 있다. 비디오 비트스트림(1302)은 엔트로피 디코딩 유닛(1308)에서 언패킹 및/또는 엔트로피 디코딩될 수 있다. 비디오 비트스트림을 인코딩하는 데에 사용된 코딩 모드 및/또는 예측 정보가 예측 블록을 형성하도록 공간적 예측 유닛(1360)(예를 들어, 인트라 코딩된 경우) 및/또는 시간적 예측 유닛(1362)(예를 들어, 인터 코딩된 경우)에 보내질 수 있다. 인터 코딩된 경우, 예측 정보는 예측 블록 크기, 하나 이상의 모션 벡터(예를 들어, 모션의 방향 및 양을 나타낼 수 있음), 및/또는 하나 이상의 참조 인덱스(예를 들어, 예측 신호가 획득될 참조 영상을 나타낼 수 있음)를 포함할 수 있다.
시간적 예측 블록을 형성하도록 모션 보상 예측이 시간적 예측 유닛(1362)에 의해 적용될 수 있다. 잔차 블록을 재구성하도록 잔차 변환 계수가 역 양자화 유닛(1310) 및 역 변환 유닛(1312)에 보내질 수 있다. 1326에서 예측 블록 및 잔차 블록이 함께 더해질 수 있다. 재구성된 블록은 참조 영상 저장소(1364)에 저장되기 전에 인루프 필터링을 거칠 수 있다. 참조 영상 저장소(1364) 내의 재구성된 비디오는 디스플레이 디바이스를 구동시키는 데에 사용되고 그리고/또는 추후의 비디오 블록을 예측하는 데에 사용될 수 있다. 비디오 디코더(1300)는 디바이스(1324)에 의해 수신될 재구성된 비디오 신호(1320)를 출력할 수 있다.
단일 계층 비디오 인코더는 단일 비디오 시퀀스 입력을 취하고, 단일 계층 디코더에 전송되는 단일 압축 비트 스트림을 생성할 수 있다. 비디오 코덱은 (예를 들어, 위성, 케이블 및 지상 전송 채널을 통한 TV 신호 송출과 같은) 디지털 비디오 서비스를 위해 설계될 수 있다. 이종 환경에 배치된 비디오 중심 애플리케이션들로, 다양한 애플리케이션을 가능하게 하도록 다층 비디오 코딩 기술들이 비디오 코딩 표준의 확장으로서 전개될 수 있다. 예를 들어, 스케일러블 비디오 코딩 기술은 하나보다 많은 비디오 계층을 다루도록 설계될 수 있으며, 각각의 계층은 특정 공간 해상도, 시간 해상도, 충실도 및/또는 뷰의 비디오 신호를 재구성하도록 디코딩될 수 있다. 단일 계층 인코더 및 디코더가 도 12 및 도 13에 관련하여 기재되어 있지만, 여기에 기재된 개념은, 예를 들어 다층 또는 스케일러블 코딩 기술에 대하여, 다층 인코더 및 디코더를 이용할 수 있다.
도 14a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템(1600)의 도면이다. 통신 시스템(1600)은 복수의 무선 사용자에게 음성, 데이터, 비디오, 메시징, 방송 등의 컨텐츠를 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(1600)은 무선 대역폭을 포함한 시스템 자원의 공유를 통해 복수의 무선 사용자가 이러한 컨텐츠에 액세스할 수 있게 할 수 있다. 예를 들어, 통신 시스템(1600)은 CDMA(code division multiple access), TDMA(time division multiple access), FDMA(frequency division multiple access), OFDMA(orthogonal FDMA), SC-FDMA(single-carrier FDMA) 등과 같은 하나 이상의 채널 액세스 방법을 채용할 수 있다.
도 14a에 도시된 바와 같이, 통신 시스템(1600)은 무선 송수신 유닛(WTRU; wireless transmit/receive unit)(1602a, 1602b, 1602c, 1602d), 무선 액세스 네트워크(RAN; radio access network)(1603/1604/1605), 코어 네트워크(1606/1607/1609), PSTN(public switched telephone network)(1608), 인터넷(1610), 및 기타 네트워크(1612)를 포함할 수 있지만, 개시된 실시예는 임의의 수의 WTRU, 기지국, 네트워크, 및/또는 네트워크 요소를 고려해볼 수 있다는 것을 알 수 있을 것이다. 각각의 WTRU(1602a, 1602b, 1602c, 1602d)는 무선 환경에서 동작 및/또는 통신하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로써, WTRU(1602a, 1602b, 1602c, 1602d)는 무선 신호를 전송 및/또는 수신하도록 구성될 수 있고, 사용자 기기(UE; user equipment), 이동국, 고정 또는 이동 가입자 유닛, 페이저, 셀룰러 전화, PDA, 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 소비자 전자기기, 또는 압축 비디오 통신신호를 수신 및 처리할 수 있는 임의의 기타 단말기를 포함할 수 있다.
통신 시스템(1600)은 또한 기지국(1614a) 및 기지국(1614b)을 포함할 수 있다. 각각의 기지국(1614a, 1614b)은 코어 네트워크(1606/1607/1609), 인터넷(1610), 및/또는 네트워크(1612)와 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하도록 WTRU(1602a, 1602b, 1602c, 1602d) 중의 적어도 하나와 무선 인터페이스하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로써, 기지국(1614a, 1614b)은 BTS(base transceiver station), 노드 B(Node-B), e 노드 B(eNode B), 홈 노드 B(Home Node B), 홈 e 노드 B(Home eNode B), 사이트 컨트롤러, 액세스 포인트(AP; access point), 무선 라우터 등일 수 있다. 기지국(1614a, 1614b)이 각각 단일 요소로서 도시되어 있지만, 기지국(1614a, 1614b)은 임의의 수의 상호접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것을 알 수 있을 것이다.
기지국(1614a)은 RAN(1603/1604/1605)의 일부일 수 있으며, 이는 또한 BSC, RNC, 릴레이 노드 등과 같은 다른 기지국 및/또는 네트워크 요소(도시되지 않음)를 포함할 수 있다. 기지국(1614a) 및/또는 기지국(1614b)은 셀(도시되지 않음)로도 지칭될 수 있는 특정 지리 영역 내에서 무선 신호를 전송 및/또는 수신하도록 구성될 수 있다. 셀은 셀 섹터(cell sector)로 더 나뉘어질 수 있다. 예를 들어, 기지국(1614a)과 연관된 셀은 3개의 섹터로 나뉘어질 수 있다. 따라서, 하나의 실시예에서, 기지국(1614a)은 3개의 트랜시버, 즉 셀의 각 섹터마다 하나씩 포함할 수 있다. 다른 실시예에서, 기지국(1614a)은 다중 입력 다중 출력(MIMO; multiple-input multiple output) 기술을 채용할 수 있고, 따라서 셀의 각각의 섹터에 대하여 다수의 트랜시버를 이용할 수 있다.
기지국(1614a, 1614b)은 임의의 적합한 무선 통신 링크(예를 들어, 무선 주파수(RF; radio frequency), 마이크로파, 적외선(IR), 자외선(UV), 가시광 등)일 수 있는 무선 인터페이스(air interface)(1615/1616/1617)를 통해 WTRU(1602a, 1602b, 1602c, 1602d) 중의 하나 이상과 통신할 수 있다. 무선 인터페이스(1615/1616/1617)는 임의의 적합한 무선 액세스 기술(RAT)을 사용하여 확립될 수 있다.
보다 구체적으로, 상기 언급한 바와 같이, 통신 시스템(1600)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 채용할 수 있다. 예를 들어, RAN(1603/1604/1605) 내의 기지국(1614a)과 WTRU(1602a, 1602b, 1602c)은, WCDMA(wideband CDMA)를 사용하여 무선 인터페이스(1615/1616/1617)를 확립할 수 있는 UTRA(UMTS terrestrial radio access)와 같은 무선 기술을 구현할 수 있다. WCDMA는 HSPA(High-Speed Packet Access) 및/또는 HSPA+(Evolved HSPA)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 HSDPA(High-Speed Downlink Packet Access) 및/또는 HSUPA(High-Speed Uplink Packet Access)를 포함할 수 있다.
다른 실시예에서, 기지국(1614a) 및 WTRU(1602a, 1602b, 1602c)는 LTE(Long Term Evolution) 및/또는 LTE-A(LTE-Advanced)를 사용하여 무선 인터페이스(1615/1616/1617)를 확립할 수 있는 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 무선 기술을 구현할 수 있다.
다른 실시예에서, 기지국(1614a)과 WTRU(1602a, 1602b, 1602c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95, IS-856, GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GERAN(GSM EDGE) 등과 같은 무선 기술을 구현할 수 있다.
도 14a에서의 기지국(1614b)은 예를 들어 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 액세스 포인트일 수 있고, 사업 장소, 집, 차량, 캠퍼스 등과 같은 국부적인 영역에서의 무선 접속을 용이하게 하기 위해 임의의 적합한 RAT를 이용할 수 있다. 하나의 실시예에서, 기지국(1614b) 및 WTRU(1602c, 1602d)는 무선 로컬 영역 네트워크(WLAN; wireless local area network)를 확립하도록 IEEE 802.11과 같은 무선 기술을 구현할 수 있다. 다른 실시예에서, 기지국(1614b) 및 WTRU(1602c, 1602d)는 무선 개인 영역 네트워크(WPAN; wireless personal area network)를 확립하도록 IEEE 802.15와 같은 무선 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(1614b) 및 WTRU(1602c, 1602d)는 피코셀 또는 펨토셀을 확립하도록 셀룰러 기반의 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)을 이용할 수 있다. 도 14a에 도시된 바와 같이, 기지국(1614b)은 인터넷(1610)에 대한 직접 접속을 가질 수 있다. 따라서, 기지국(1614b)은 코어 네트워크(1606/1607/1609)를 통해 인터넷(1610)에 액세스할 필요가 없을 수 있다.
RAN(1603/1604/1605)은 코어 네트워크(1606)와 통신할 수 있으며, 코어 네트워크(1606)는 WTRU(1602a, 1602b, 1602c, 1602d) 중의 하나 이상에 음성, 데이터, 애플리케이션 및/또는 VoIP(voice over internet protocol)를 제공하도록 구성된 임의의 유형의 네트워크일 수 있다. 예를 들어, 코어 네트워크(1606/1607/1609)는 호 제어, 청구 서비스, 모바일 위치 기반의 서비스, 선불 전화, 인터넷 접속, 비디오 배포 등을 제공할 수 있고, 그리고/또는 사용자 인증과 같은 하이 레벨 보안 기능을 수행할 수 있다. 도 14a에는 도시되지 않았지만, RAN(1603/1604/1605) 및/또는 코어 네트워크(1606/1607/1609)가 RAN(1603/1604/1605)과 동일한 RAT 또는 상이한 RAT를 채용한 다른 RAN과 직접적으로 또는 간접적으로 통신할 수 있다는 것을 알 수 있을 것이다. 예를 들어, E-UTRAN 무선 기술을 이용한 것일 수 있는 RAN(1603/1604/1605)에 접속되는 것 이외에도, 코어 네트워크(1606/1607/1609)는 또한 GSM 무선 기술을 채용하는 다른 RAN(도시되지 않음)과도 통신할 수 있다.
코어 네트워크(1606/1607/1609)는 또한 PSTN(1608), 인터넷(1610), 및/또는 기타 네트워크(1612)에 액세스하도록 WTRU(1602a, 1602b, 1602c, 1602d)에 대한 게이트웨이로서의 역할을 할 수 있다. PSTN(1608)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화 네트워크를 포함할 수 있다. 인터넷(1610)은 TCP/IP 인터넷 프로토콜 슈트 내의 TCP(transmission control protocol), UDP(user datagram protocol) 및 인터넷 프로토콜(IP; internet protocol)과 같은 일반적인 통신 프로토콜을 사용하는 상호접속된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수 있다. 네트워크(1612)는 다른 서비스 제공자에 의해 소유 및/또는 동작되는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들어, 네트워크(1612)는 RAN(1603/1604/1605)과 동일한 RAT 또는 상이한 RAT를 채용할 수 있는 하나 이상의 RAN에 접속된 또다른 코어 네트워크를 포함할 수 있다.
통신 시스템(1600) 내의 WTRU(1602a, 1602b, 1602c, 1602d)의 일부 또는 전부는 다중 모드 능력을 포함할 수 있으며, 즉 WTRU(1602a, 1602b, 1602c, 1602d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위해 다수의 트랜시버를 포함할 수 있다. 예를 들어, 도 14a에 도시된 WTRU(1602c)는 셀룰러 기반의 무선 기술을 채용할 수 있는 기지국(1614a) 및 IEEE 802 무선 기술을 채용할 수 있는 기지국(1614b)과 통신하도록 구성될 수 있다.
도 14b는 예시적인 WTRU(1602)의 시스템 도면이다. 도 14b에 도시된 바와 같이, WTRU(1602)는 프로세서(1618), 트랜시버(1620), 송수신 요소(transmit/receive element)(1622), 스피커/마이크로폰(1624), 키패드(1626), 디스플레이/터치패드(1628), 비분리식(non-removable) 메모리(1630), 분리식(removable) 메모리(1632), 전원(1634), GPS 칩셋(1636), 및 기타 주변장치(1638)를 포함할 수 있다. WTRU(1602)는 실시예에 맞도록 유지되면서 전술한 요소들의 임의의 부분 조합을 포함할 수 있다는 것을 알 수 있을 것이다. 또한, 실시예는, 그 중에서도 BTS, 노드 B, 사이트 컨트롤러, 액세스 포인트(AP), 홈 노드 B, e노드 B, 홈 e노드 B(HeNB), 홈 e노드 B 게이트웨이, 및 프록시 노드(이에 한정되는 것은 아님)와 같은, 기지국(1614a 및 1614b) 및/또는 기지국(1614a 및 1614b)이 나타낼 수 있는 노드가, 도 14b에 도시되고 여기에 기재된 요소 중의 일부 또는 전부를 포함할 수 있음을 고려해볼 수 있다.
프로세서(1618)는 범용 프로세서, 특수 용도 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP; digital signal processor), 그래픽 프로세싱 유닛(GPU; graphics processing unit), 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 컨트롤러, 마이크로컨트롤러, ASIC(Application Specific Integrated Circuits), FPGA(Field Programmable Gate Array) 회로, 임의의 기타 유형의 집적 회로(IC; integrated circuit), 상태 머신 등일 수 있다. 프로세서(1618)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱 및/또는 WTRU(1602)가 무선 환경에서 동작할 수 있게 하는 임의의 기타 기능을 수행할 수 있다. 프로세서(1618)는 트랜시버(1620)에 연결될 수 있으며, 트랜시버(1620)는 송수신 요소(1622)에 연결될 수 있다. 도 14b는 프로세서(1618)와 트랜시버(1620)를 개별 컴포넌트로서 도시하고 있지만, 프로세서(1618)와 트랜시버(1620)가 전자 패키지 또는 칩에 같이 통합될 수 있다는 것을 알 수 있을 것이다.
송수신 요소(1622)는 기지국(예를 들어, 기지국(1614a))으로부터 무선 인터페이스(1615/1616/1617)를 통해 신호를 전송하거나 신호를 수신하도록 구성될 수 있다. 예를 들어, 하나의 실시예에서, 송수신 요소(1622)는 RF 신호를 전송 및/또는 수신하도록 구성된 안테나일 수 있다. 다른 실시예에서, 송수신 요소(1622)는 예를 들어 IR, UV 또는 가시광 신호를 전송 및/또는 수신하도록 구성된 이미터/검출기일 수 있다. 또 다른 실시예에서, 송수신 요소(1622)는 RF 및 광 신호를 둘 다 전송 및 수신하도록 구성될 수 있다. 송수신 요소(1622)는 무선 신호의 임의의 조합을 전송 및/또는 수신하도록 구성될 수 있다는 것을 알 수 있을 것이다.
또한, 송수신 요소(1622)가 도 14b에서는 단일 요소로서 도시되어 있지만, WTRU(1602)는 임의의 수의 송수신 요소(1622)를 포함할 수 있다. 보다 구체적으로, WTRU(1602)는 MIMO 기술을 채용할 수 있다. 따라서, 하나의 실시예에서, WTRU(1602)는 무선 인터페이스(1615/1616/1617)를 통해 무선 신호를 전송 및 수신하기 위한 둘 이상의 송수신 요소(1622)(예를 들어, 다중 안테나)를 포함할 수 있다.
트랜시버(1620)는 송수신 요소(1622)에 의해 전송될 신호를 변조하고 송수신 요소(1622)에 의해 수신되는 신호를 복조하도록 구성될 수 있다. 상기 언급한 바와 같이, WTRU(1602)는 다중 모드 능력을 가질 수 있다. 따라서, 트랜시버(1620)는 WTRU(1602)가 예를 들어 UTRA 및 IEEE 802.11과 같은 다수의 RAT를 통하여 통신할 수 있도록 다수의 트랜시버를 포함할 수 있다.
WTRU(1602)의 프로세서(1618)는 스피커/마이크로폰(1624), 키패드(1626) 및/또는 디스플레이/터치패드(1628)(예를 들어, LCD 디스플레이 유닛 또는 OLED 디스플레이 유닛)에 연결될 수 있고, 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(1618)는 또한 스피커/마이크로폰(1624), 키패드(1626) 및/또는 디스플레이/터치패드(1628)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(1618)는 비분리식 메모리(1630) 및/또는 분리식 메모리(1632)와 같은 임의의 유형의 적합한 메모리로부터의 정보에 액세스할 수 있고 이에 데이터를 저장할 수 있다. 비분리식 메모리(1630)는 RAM, ROM, 하드 디스크, 또는 임의의 기타 유형의 메모리 저장 디바이스를 포함할 수 있다. 분리식 메모리(1632)는 SIM(subscriber identity module) 카드, 메모리 스틱, SD 메모리 카드 등을 포함할 수 있다. 다른 실시예에서, 프로세서(1618)는 서버 또는 홈 컴퓨터(도시되지 않음)와 같이 WTRU(1602) 상에 물리적으로 위치되지 않은 메모리로부터의 정보에 액세스하고 이에 데이터를 저장할 수 있다.
프로세서(1618)는 전원(1634)으로부터 전력을 받을 수 있고, WTRU(1602) 내의 다른 컴포넌트에 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전원(1634)은 WTRU(1602)에 전력을 제공하기 위한 임의의 적합한 디바이스일 수 있다. 예를 들어, 전원(1634)은 하나 이상의 건전지 배터리(예를 들어 NiCd, NiZn, NiMH, Li-ion 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(1618)는 또한 GPS 칩셋(1636)에 연결될 수 있으며, 이는 WTRU(1602)의 현재 위치에 관한 위치 정보(예를 들어, 위도 및 경도)를 제공하도록 구성될 수 있다. GPS 칩셋(1636)으로부터의 정보에 더하여 또는 이 대신에, WTRU(1602)는 기지국(예를 들어, 기지국(1614a, 1614b))으로부터 무선 인터페이스(1615/1616/1617)를 통해 위치 정보를 수신하고 그리고/또는 둘 이상의 가까이 있는 기지국으로부터 수신되는 신호의 타이밍에 기초하여 그의 위치를 결정할 수 있다. WTRU(1602)는 실시예에 맞도록 유지되면서 임의의 적합한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것을 알 것이다.
프로세서(1618)는 추가의 특징, 기능성 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변장치(1638)에 더 연결될 수 있다. 예를 들어, 주변장치(1638)는 가속도계, 전자 나침반, 위성 트랜시버, 디지털 카메라(사진 또는 동영상용), USB 포트, 진동 장치, 텔레비전 트랜시버, 핸즈프리 헤드셋, 블루투스 모듈, FM 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 14c는 실시예에 따른 RAN(1603) 및 코어 네트워크(1606)의 시스템 도면을 도시한다. 상기 언급한 바와 같이, RAN(1603)은 무선 인터페이스(1615)를 통해 WTRU(1602a, 1602b, 1602c)와 통신하도록 UTRA 무선 기술을 채용할 수 있다. RAN(1604)은 또한 코어 네트워크(1606)와 통신할 수 있다. 도 14c에 도시된 바와 같이, RAN(1603)은 노드 B(1640a, 1640b, 1640c)를 포함할 수 있으며, 이들은 각각 무선 인터페이스(1615)를 통해 WTRU(1602a, 1602b, 1602c)와 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 노드 B(1640a, 1640b, 1640c)는 각각 RAN(1603) 내의 특정 셀(도시되지 않음)과 연관될 수 있다. RAN(1603)은 또한 RNC(1642a, 1642b)를 포함할 수 있다. RAN(1603)은 실시예에 맞도록 유지되면서 임의의 수의 노드 B 및 RNC를 포함할 수 있다는 것을 알 수 있을 것이다.
도 14c에 도시된 바와 같이, 노드 B(1640a, 1640b)는 RNC(1642a)와 통신할 수 있다. 또한, 노드 B(1640c)는 RNC(1642b)와 통신할 수 있다. 노드 B(1640a, 1640b, 1640c)는 Iub 인터페이스를 통해 각자의 RNC(1642a, 1642b)와 통신할 수 있다. RNC(1642a, 1642b)는 Iur 인터페이스를 통해 서로 통신할 수 있다. RNC(1642a, 1642b)의 각각은 접속되어 있는 각자의 노드 B(1640a, 1640b, 1640c)를 제어하도록 구성될 수 있다. 또한, RNC(1642a, 1642b)의 각각은, 외부 루프 전력 제어, 로드 제어, 승인 제어, 패킷 스케줄링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은 다른 기능을 수행하거나 지원하도록 구성될 수 있다.
도 14c에 도시된 코어 네트워크(1606)는 미디어 게이트웨이(MGW; media gateway)(1644), MSC(mobile switching center)(1646), 서빙 GPRS 지원 노드(SGSN; serving GPRS support node)(1648), 및/또는 게이트웨이 GPRS 지원 노드(GGSN; gateway GPRS support node)(1650)를 포함할 수 있다. 전술한 요소의 각각은 코어 네트워크(1606)의 일부로서 도시되어 있지만, 이들 요소 중의 임의의 요소는 코어 네트워크 오퍼레이터가 아닌 다른 엔티티에 의해 소유 및/또는 동작될 수 있다는 것을 알 수 있을 것이다.
RAN(1603) 내의 RNC(1642a)는 IuCS 인터페이스를 통해 코어 네트워크(1606) 내의 MSC(1646)에 접속될 수 있다. MSC(1646)는 MGW(1644)에 접속될 수 있다. MSC(1646) 및 MGW(1644)는, WTRU(1602a, 1602b, 1602c)와 전통적인 지상선 통신 디바이스 간의 통신을 용이하게 하도록, PSTN(1608)과 같은 회선 교환형 네트워크에 대한 액세스를 WTRU(1602a, 1602b, 1602c)에 제공할 수 있다.
RAN(1603)에서의 RNC(1642a)는 또한 IuPS 인터페이스를 통해 코어 네트워크(1606) 내의 SGSN(1648)에 접속될 수 있다. SGSN(1648)은 GGSN(1650)에 접속될 수 있다. SGSN(1648) 및 GGSN(1650)는, WTRU(1602a, 1602b, 1602c)와 IP 가능 디바이스 간의 통신을 용이하게 하도록, 인터넷(1610)과 같은 패킷 교환형 네트워크에 대한 액세스를 WTRU(1602a, 1602b, 1602c)에 제공할 수 있다.
상기 언급한 바와 같이, 코어 네트워크(1606)는 또한, 다른 서비스 제공자에 의해 소유 및/또는 동작될 수 있는 다른 유선 및/또는 무선 네트워크를 포함할 수 있는 네트워크(1612)에 접속될 수 있다.
도 14d는 또다른 실시예에 따른 RAN(1604) 및 코어 네트워크(1607)의 시스템 도면을 도시한다. 상기 언급한 바와 같이, RAN(1604)은 무선 인터페이스(1616)를 통해 WTRU(1602a, 1602b, 1602c)와 통신하도록 E-UTRA 무선 기술을 채용할 수 있다. RAN(1604)은 또한 코어 네트워크(1607)와 통신할 수 있다.
RAN(1604)는 eNode B(1660a, 1660b, 1660c)를 포함할 수 있지만, RAN(1604)은 실시예에 맞도록 유지되면서 임의의 수의 eNode B를 포함할 수 있다는 것을 알 수 있을 것이다. eNode B(1660a, 1660b, 1660c)는 각각 무선 인터페이스(1616)를 통해 WTRU(1602a, 1602b, 1602c)와 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 하나의 실시예에서, eNode B(1660a, 1660b, 1660c)는 MIMO 기술을 구현할 수 있다. 따라서, eNode B(1660a)는 예를 들어 WTRU(1602a)에 무선 신호를 전송하고 그리고/또는 WTRU(1602a)로부터 무선 신호를 수신하도록 다중 안테나를 사용할 수 있다.
eNode B(1660a, 1660b, 1660c)의 각각은 특정 셀(도시되지 않음)과 연관될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에 있어서의 사용자의 스케줄링, 및/또는 기타를 처리하도록 구성될 수 있다. 도 14d에 도시된 바와 같이, eNode B(1660a, 1660b, 1660c)는 X2 인터페이스를 통해 서로 통신할 수 있다.
도 14d에 도시된 코어 네트워크(1607)는 모빌리티 관리 게이트웨이(MME; mobility management gateway)(1662), 서빙 게이트웨이(1664), 및 패킷 데이터 네트워크(PDN; packet data network) 게이트웨이(1666)를 포함할 수 있다. 전술한 요소의 각각은 코어 네트워크(1607)의 일부로서 도시되어 있지만, 이들 요소 중의 임의의 요소는 코어 네트워크 오퍼레이터가 아닌 다른 엔티티에 의해 소유 및/또는 동작될 수 있다는 것을 알 수 있을 것이다.
MME(1662)는 S1 인터페이스를 통해 RAN(1604)에서의 eNode B(1660a, 1660b, 1660c)의 각각에 접속될 수 있고, 제어 노드로서의 역할을 할 수 있다. 예를 들어, MME(1662)는 WTRU(1602a, 1602b, 1602c)의 사용자 인증, 베어러 활성화/비활성화, WTRU(1602a, 1602b, 1602c)의 초기 연결 중의 특정 서빙 게이트웨이 선택, 및/또는 기타를 담당할 수 있다. MME(1662)는 또한, RAN(1604)과, GSM 또는 WCDMA와 같이 다른 무선 기술을 채용할 수 있는 다른 RAN(도시되지 않음) 사이의 전환을 위해 제어 평면 기능을 제공할 수 있다.
서빙 게이트웨이(1664)는 S1 인터페이스를 통해 RAN(1604)에서의 eNode B(1660a, 1660b, 1660c)의 각각에 접속될 수 있다. 서빙 게이트웨이(1664)는 일반적으로 WTRU(1602a, 1602b, 1602c)로/로부터 사용자 데이터 패킷을 라우팅 및/또는 전송할 수 있다. 서빙 게이트웨이(1664)는 또한, eNode B 간의 핸드오버 중의 사용자 평면 앵커링, 다운링크 데이터가 WTRU(1602a, 1602b, 1602c)에 대하여 이용 가능할 때 페이징 트리거, WTRU(1602a, 1602b, 1602c)의 컨텍스트 관리 및 저장, 및/또는 기타와 같은 다른 기능을 수행할 수 있다.
서빙 게이트웨이(1664)는 또한 PDN 게이트웨이(1666)에 접속될 수 있고, PDN 게이트웨이(1666)는 WTRU(1602a, 1602b, 1602c)와 IP 가능 디바이스 간의 통신을 용이하게 하도록 인터넷(1610)과 같은 패킷 교환형 네트워크에 대한 액세스를 WTRU(1602a, 1602b, 1602c)에 제공할 수 있다.
코어 네트워크(1607)는 다른 네트워크와의 통신을 용이하게 할 수 있다. 예를 들어, 코어 네트워크(1607)는, WTRU(1602a, 1602b, 1602c)와 전통적인 지상선 통신 디바이스 간의 통신을 용이하게 하도록 PSTN(1608)과 같은 회선 교환형 네트워크에 대한 액세스를 WTRU(1602a, 1602b, 1602c)에 제공할 수 있다. 예를 들어, 코어 네트워크(1607)는, 코어 네트워크(1607)와 PSTN(1608) 사이의 인터페이스로서의 역할을 하는 IP 게이트웨이(예를 들어, IMS(IP multimedia subsystem) 서버)를 포함할 수 있거나 이와 통신할 수 있다. 또한, 코어 네트워크(1607)는, 다른 서비스 제공자에 의해 소유 및/또는 동작될 수 있는 다른 유선 및/또는 무선 네트워크를 포함할 수 있는 네트워크(1612)에 대한 액세스를 WTRU(1602a, 1602b, 1602c)에 제공할 수 있다.
도 14e는 또다른 실시예에 따른 RAN(1605) 및 코어 네트워크(1609)의 시스템 도면을 도시한다. RAN(1605)는 무선 인터페이스(1617)를 통해 WTRU(1602a, 1602b, 1602c)와 통신하도록 IEEE 802.16 무선 기술을 채용한 액세스 서비스 네트워크(ASN; access service network)일 수 있다. 아래에 더 기재되는 바와 같이, WTRU(1602a, 1602b, 1602c), RAN(1605), 및 코어 네트워크(1609)의 상이한 기능 엔티티들 간의 통신 링크는 기준 포인트로서 정의될 수 있다.
도 14e에 도시된 바와 같이, RAN(1605)는 기지국(1680a, 1680b, 1680c), 및 ASN 게이트웨이(1682)를 포함할 수 있지만, RAN(1605)는 실시예에 맞도록 유지되면서 임의의 수의 기지국 및/또는 ASN 게이트웨이를 포함할 수 있다는 것을 알 수 있을 것이다. 기지국(1680a, 1680b, 1680c)은 각각 RAN(1605)에서의 특정 셀(도시되지 않음)과 연관될 수 있고, 각각 무선 인터페이스(1617)를 통해 WTRU(1602a, 1602b, 1602c)와 통신하기 위한 하나 이상의 트랜시버를 포함할 수 있다. 하나의 실시예에서, 기지국(1680a, 1680b, 1680c)은 MIMO 기술을 구현할 수 있다. 따라서, 기지국(1680a)은, 예를 들어 WTRU(1602a)에 무선 신호를 전송하고 WTRU(1602a)로부터 무선 신호를 수신하도록 다중 안테나를 사용할 수 있다. 기지국(1680a, 1680b, 1680c)은 핸드오프 트리거링, 터널 확립, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 강화, 및/또는 기타와 같은 모빌리티 관리 기능을 제공할 수 있다. ASN 게이트웨이(1682)는 트래픽 집적 포인트로서의 역할을 할 수 있고, 페이징, 가입자 프로파일의 캐시, 코어 네트워크(1609)에의 라우팅, 및/또는 기타를 담당할 수 있다.
WTRU(1602a, 1602b, 1602c)와 RAN(1605) 사이의 무선 인터페이스(1617)는, IEEE 802.16 사양을 구현하는 R1 기준 포인트로서 정의될 수 있다. 또한, WTRU(1602a, 1602b, 1602c)의 각각은 코어 네트워크(1609)와 논리 인터페이스(도시되지 않음)를 확립할 수 있다. WTRU(1602a, 1602b, 1602c)와 코어 네트워크(1609) 간의 논리 인터페이스는, 인증, 인가, IP 호스트 구성 관리, 및/또는 모빌리티 관리에 사용될 수 있는 R2 기준 포인트로서 정의될 수 있다.
기지국(1680a, 1680b, 1680c)의 각각 사이의 통신 링크는, WTRU 핸드오버 및/또는 기지국들 간의 데이터 전달을 용이하게 하기 위한 프로토콜을 포함하는 R8 기준 포인트로서 정의될 수 있다. 기지국(1680a, 1680b, 1680c)과 ASN 게이트웨이(1682) 간의 통신 링크는 R6 기준 포인트로서 정의될 수 있다. R6 기준 포인트는 WTRU(1602a, 1602b, 1602c)의 각각과 연관된 모빌리티 이벤트에 기초한 모빌리티 관리를 용이하게 하기 위한 프로토콜을 포함할 수 있다.
도 14e에 도시된 바와 같이, RAN(1605)는 코어 네트워크(1609)에 접속될 수 있다. RAN(1605)과 코어 네트워크(1609) 간의 통신 링크는, 예를 들어 데이터 전달 및 모빌리티 관리 능력을 용이하게 하기 위한 프로토콜을 포함할 수 있는 R3 기준 포인트로서 정의될 수 있다. 코어 네트워크(1609)는 모바일 IP 홈 에이전트(MIP-HA; mobile IP home agent)(1684), AAA(authentication, authorization, accounting) 서버(1686), 및/또는 게이트웨이(1688)를 포함할 수 있다. 전술한 요소의 각각이 코어 네트워크(1609)의 일부로서 도시되어 있지만, 이들 요소 중의 임의의 요소는 코어 네트워크 오퍼레이터가 아닌 다른 엔티티에 의해 소유 및/또는 동작될 수 있다는 것을 알 수 있을 것이다.
MIP-HA(1684)는 IP 어드레스 관리를 담당할 수 있고, WTRU(1602a, 1602b, 1602c)가 상이한 ASN들 및/또는 상이한 코어 네트워크들 사이에 로밍할 수 있게 할 수 있다. MIP-HA(1684)는, WTRU(1602a, 1602b, 1602c)와 IP 가능 디바이스 간의 통신을 용이하게 하도록, 인터넷(1610)과 같은 패킷 교환형 네트워크에 대한 액세스를 WTRU(1602a, 1602b, 1602c)에 제공할 수 있다. AAA 서버(1686)는 사용자 인증 및 사용자 서비스 지원을 담당할 수 있다. 게이트웨이(1688)는 다른 네트워크와의 인터워킹을 용이하게 할 수 있다. 예를 들어, 게이트웨이(1688)는, WTRU(1602a, 1602b, 1602c)와 전통적인 지상선 통신 디바이스 간의 통신을 용이하게 하도록, PSTN(1608)과 같은 회선 교환형 네트워크에 대한 액세스를 WTRU(1602a, 1602b, 1602c)에 제공할 수 있다. 또한, 게이트웨이(1688)는, 다른 서비스 제공자에 의해 소유 및/또는 동작될 수 있는 다른 유선 및/또는 무선 네트워크를 포함할 수 있는 네트워크(1612)에 대한 액세스를 WTRU(1602a, 1602b, 1602c)에 제공할 수 있다.
도 14e에는 도시되지 않았지만, RAN(1605)는 다른 ASN에 접속될 수 있고 코어 네트워크(1609)는 다른 코어 네트워크에 접속될 수 있다는 것을 알 수 있을 것이다. RAN(1605)과 다른 ASN 간의 통신 링크는, RAN(1605)과 다른 ASN 사이의 WTRU(1602a, 1602b, 1602c)의 모빌리티를 조정하기 위한 프로토콜을 포함하는 R4 기준 포인트로서 정의될 수 있다. 코어 네트워크(1609)와 다른 코어 네트워크 간의 통신 링크는, 홈 코어 네트워크와 방문 코어 네트워크 사이의 인터워킹을 용이하게 하기 위한 프로토콜을 포함할 수 있는 R5 기준 포인트로서 정의될 수 있다.
상기에 기재된 프로세스는 컴퓨터 및/또는 프로세서에 의한 실행을 위해 컴퓨터 판독가능한 매체에 통합된 컴퓨터 프로그램, 소프트웨어, 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능한 매체의 예는 전자 신호(유선 또는 무선 접속을 통해 전송됨) 및/또는 컴퓨터 판독가능한 저장 매체를 포함하지만, 이에 한정되는 것은 아니다. 컴퓨터 판독가능한 저장 매체의 예는, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내부 하드 디스크와 분리식 디스크와 같은 자기 매체, 광자기 매체, 및/또는 CD-ROM 디스크와 DVD와 같은 광 매체를 포함하지만, 이에 한정되는 것은 아니다. 소프트웨어와 연관된 프로세서는 WTRU, UE, 단말기, 기지국, RNC, 및/또는 임의의 호스트 컴퓨터에서 사용하기 위한 무선 주파수 트랜시버를 구현하도록 사용될 수 있다.

Claims (21)

  1. 방법에 있어서,
    비디오 스트림의 제1 프레임 및 상기 비디오 스트림의 제2 프레임을 수신하는 단계;
    상기 제1 프레임과 연관된 픽셀의 크로마(chroma) 성분이 크로미넌스(chrominance) 색 공간(color space)의 미리 정의된 영역 내에 있는지 여부를 결정하는 단계;
    상기 제2 프레임 내의 같은 위치의(co-located) 픽셀의 크로마 성분이 상기 크로미넌스 색 공간의 미리 정의된 영역 내에 있는지 여부를 결정하는 단계;
    상기 제1 프레임과 연관된 픽셀의 크로마 성분이 상기 크로미넌스 색 공간의 미리 정의된 영역 내에 있고 상기 같은 위치의 픽셀의 크로마 성분이 상기 크로미넌스 색 공간의 미리 정의된 영역 내에 있는 경우 상기 제1 프레임과 연관된 픽셀에 시간적 디노이징 필터(temporal denoising filter)를 적용하는 단계; 및
    상기 같은 위치의 픽셀과, 상기 크로미넌스 색 공간의 미리 정의된 영역 내에 있지 않은 상기 제2 프레임 내의 가장 가까운 픽셀 사이의 거리(r)를 결정하는 단계
    를 포함하고,
    상기 시간적 디노이징 필터는 상기 거리(r)의 함수로서 상기 제1 프레임과 연관된 픽셀에 적용되는 것인 방법.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서, 상기 시간적 디노이징 필터는 상기 거리(r)가 감소함에 따라 상기 제1 프레임과 연관된 픽셀에 더 부드럽게(mildly) 적용되는 것인 방법.
  5. 청구항 1에 있어서, 상기 시간적 디노이징 필터를 적용한 후에 상기 비디오 스트림을 인코딩하는 단계를 더 포함하는 방법.
  6. 청구항 1에 있어서, 상기 제2 프레임은 상기 제1 프레임 전에 수신되는 것인 방법.
  7. 청구항 1에 있어서, 상기 크로미넌스 색 공간의 미리 정의된 영역은 CbCr 공간인 것인 방법.
  8. 청구항 7에 있어서, 상기 크로미넌스 색 공간의 미리 정의된 영역은 Cb의 최소값을 한정함으로써 정의되는 것인 방법.
  9. 청구항 1에 있어서, 상기 크로미넌스 색 공간의 미리 정의된 영역은 Cb의 값을 제1 범위로 한정하고 Cr의 값을 제2 범위로 한정함으로써 정의된 색(color)과 연관된 것인 방법.
  10. 비디오 디바이스에 있어서,
    프로세서를 포함하고, 상기 프로세서는,
    비디오 스트림의 제1 프레임 및 상기 비디오 스트림의 제2 프레임을 수신하고;
    상기 제1 프레임과 연관된 픽셀의 크로마 성분이 크로미넌스 색 공간의 미리 정의된 영역 내에 있는지 여부를 결정하고;
    상기 제2 프레임 내의 같은 위치의 픽셀의 크로마 성분이 상기 크로미넌스 색 공간의 미리 정의된 영역 내에 있는지 여부를 결정하고;
    상기 제1 프레임과 연관된 픽셀의 크로마 성분이 상기 크로미넌스 색 공간의 미리 정의된 영역 내에 있고 상기 같은 위치의 픽셀의 크로마 성분이 상기 크로미넌스 색 공간의 미리 정의된 영역 내에 있는 경우 상기 제1 프레임과 연관된 픽셀에 시간적 디노이징 필터를 적용하고;
    상기 같은 위치의 픽셀과, 상기 크로미넌스 색 공간의 미리 정의된 영역 내에 있지 않은 상기 제2 프레임 내의 가장 가까운 픽셀 사이의 거리(r)를 결정하도록 구성되고,
    상기 시간적 디노이징 필터는 상기 거리(r)의 함수로서 상기 제1 프레임과 연관된 픽셀에 적용되는 것인 비디오 디바이스.
  11. 삭제
  12. 삭제
  13. 청구항 10에 있어서, 상기 시간적 디노이징 필터는 상기 거리(r)가 감소함에 따라 상기 제1 프레임과 연관된 픽셀에 더 부드럽게 적용되는 것인 비디오 디바이스.
  14. 청구항 10에 있어서, 상기 프로세서는 또한, 상기 시간적 디노이징 필터를 적용한 후에 상기 비디오 스트림을 인코딩하도록 구성된 것인 비디오 디바이스.
  15. 청구항 10에 있어서, 상기 제2 프레임은 상기 제1 프레임 전에 수신되는 것인 비디오 디바이스.
  16. 청구항 10에 있어서, 상기 크로미넌스 색 공간의 미리 정의된 영역은 CbCr 공간인 것인 비디오 디바이스.
  17. 청구항 16에 있어서, 상기 크로미넌스 색 공간의 미리 정의된 영역은 Cb의 최소값을 한정함으로써 정의되는 것인 비디오 디바이스.
  18. 청구항 10에 있어서, 상기 크로미넌스 색 공간의 미리 정의된 영역은 Cb의 값을 제1 범위로 한정하고 Cr의 값을 제2 범위로 한정함으로써 정의된 색과 연관된 것인 비디오 디바이스.
  19. 삭제
  20. 삭제
  21. 삭제
KR1020157015036A 2012-11-07 2013-11-06 Ｈｄｒ 비디오를 디노이징하기 위한 시간적 필터 KR101812860B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261723715P 2012-11-07 2012-11-07
US61/723,715 2012-11-07
PCT/US2013/068752 WO2014074601A2 (en) 2012-11-07 2013-11-06 Temporal filter for denoising a high dynamic range video

Publications (2)

Publication Number Publication Date
KR20150082554A KR20150082554A (ko) 2015-07-15
KR101812860B1 true KR101812860B1 (ko) 2017-12-27

Family

ID=50685307

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157015036A KR101812860B1 (ko) 2012-11-07 2013-11-06 Ｈｄｒ 비디오를 디노이징하기 위한 시간적 필터

Country Status (6)

Country Link
US (1) US10044913B2 (ko)
EP (1) EP2917892A2 (ko)
JP (1) JP2016503613A (ko)
KR (1) KR101812860B1 (ko)
CN (1) CN104769639A (ko)
WO (1) WO2014074601A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI595776B (zh) * 2012-06-27 2017-08-11 Sony Corp Image processing device and method
US9413951B2 (en) 2014-07-31 2016-08-09 Apple Inc. Dynamic motion estimation and compensation for temporal filtering
US9479695B2 (en) 2014-07-31 2016-10-25 Apple Inc. Generating a high dynamic range image using a temporal filter
US9514525B2 (en) 2014-07-31 2016-12-06 Apple Inc. Temporal filtering for image data using spatial filtering and noise history
US9374526B2 (en) 2014-07-31 2016-06-21 Apple Inc. Providing frame delay using a temporal filter
WO2016154123A2 (en) 2015-03-21 2016-09-29 Mine One Gmbh Virtual 3d methods, systems and software
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
WO2019109061A1 (en) * 2017-12-02 2019-06-06 Mine One Gmbh Temporal de-noising
WO2017075804A1 (en) 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Flexible reference picture management for video encoding and decoding
US20180343449A1 (en) * 2017-05-26 2018-11-29 Ati Technologies Ulc Application specific filters for high-quality video playback
US11216912B2 (en) * 2017-10-18 2022-01-04 Gopro, Inc. Chrominance denoising
FR3083415B1 (fr) * 2018-06-29 2020-09-04 Electricite De France Traitement d'un bruit impulsionnel dans une sequence video
US11847737B2 (en) * 2021-04-09 2023-12-19 Nvidia Corporation Temporal denoiser quality in dynamic scenes
WO2022241758A1 (en) * 2021-05-21 2022-11-24 Qualcomm Incorporated Face detection based filtering for image processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999045713A1 (en) * 1998-03-05 1999-09-10 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding / decoding method, image coder, or image recording/reproducing apparatus
US20090109238A1 (en) * 2007-10-29 2009-04-30 Via Technologies, Inc. Method for adjusting color values of pixels
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3365229B2 (ja) * 1996-11-22 2003-01-08 松下電器産業株式会社 画像表示装置
US6980326B2 (en) * 1999-12-15 2005-12-27 Canon Kabushiki Kaisha Image processing method and apparatus for color correction of an image
JP2002222416A (ja) * 2001-01-26 2002-08-09 Mitsubishi Electric Corp 画質改善装置
US6903782B2 (en) 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
US7519907B2 (en) 2003-08-04 2009-04-14 Microsoft Corp. System and method for image editing using an image stack
US20050185836A1 (en) 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces
JP2006157239A (ja) * 2004-11-26 2006-06-15 Canon Inc 画像処理装置及び画像処理方法
US7551234B2 (en) 2005-07-28 2009-06-23 Seiko Epson Corporation Method and apparatus for estimating shot boundaries in a digital video sequence
US7821578B2 (en) 2006-04-07 2010-10-26 Marvell World Trade Ltd. Reconfigurable self-calibrating adaptive noise reducer
JP5330246B2 (ja) 2006-09-29 2013-10-30 トムソン ライセンシング 適応ピクセルベースのフィルタリングのための自動パラメータ推定
US8493313B2 (en) 2008-02-13 2013-07-23 Dolby Laboratories Licensing Corporation Temporal filtering of video signals
CN101262559B (zh) * 2008-03-28 2010-09-29 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
KR101351126B1 (ko) 2009-07-21 2014-01-14 퀄컴 인코포레이티드 비디오 이미지들의 검출 및 개선을 위한 방법 및 시스템
JP2012100066A (ja) * 2010-11-02 2012-05-24 Canon Inc 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999045713A1 (en) * 1998-03-05 1999-09-10 Matsushita Electric Industrial Co., Ltd. Image coding method, image coding / decoding method, image coder, or image recording/reproducing apparatus
US20090109238A1 (en) * 2007-10-29 2009-04-30 Via Technologies, Inc. Method for adjusting color values of pixels
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video

Also Published As

Publication number Publication date
US10044913B2 (en) 2018-08-07
JP2016503613A (ja) 2016-02-04
EP2917892A2 (en) 2015-09-16
WO2014074601A3 (en) 2015-04-23
WO2014074601A2 (en) 2014-05-15
US20150288856A1 (en) 2015-10-08
WO2014074601A8 (en) 2014-12-18
CN104769639A (zh) 2015-07-08
KR20150082554A (ko) 2015-07-15

Similar Documents

Publication Publication Date Title
KR101812860B1 (ko) Ｈｄｒ 비디오를 디노이징하기 위한 시간적 필터
US20220329831A1 (en) Enhanced chroma coding using cross plane filtering
JP7433019B2 (ja) ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
US10484686B2 (en) Palette coding modes and palette flipping
TWI750637B (zh) 螢幕內容編碼區塊內複製模式
US10277910B2 (en) Escape color coding for palette coding mode
US10972731B2 (en) Systems and methods for coding in super-block based video coding framework
US10321130B2 (en) Enhanced deblocking filters for video coding
CN109982081B (zh) 用于多层视频编码的自适应上采样
US20170374384A1 (en) Palette coding for non-4:4:4 screen content video
US20180309995A1 (en) High dynamic range video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant