KR20120049893A

KR20120049893A - 비디오 이미지들의 검출 및 개선을 위한 방법 및 시스템

Info

Publication number: KR20120049893A
Application number: KR1020127004426A
Authority: KR
Inventors: 루이 리; 블라디미르 라친; 그렉 스미스
Original assignee: 퀄컴 인코포레이티드
Priority date: 2009-07-21
Filing date: 2010-07-21
Publication date: 2012-05-17
Also published as: JP2013500625A; EP2457196A4; US20110019096A1; CN102612697A; EP2457196A1; CN102612697B; JP5701874B2; US8395708B2; WO2011011542A1; KR101351126B1

Abstract

프레임에서의 픽셀 영역의 이미지 품질을 측정하고, 이미지 품질 측정에 기초하여 이미지 분류를 수행하며, 영역의 이미지 분류에 따라 연산들을 적용함으로써 이미지 품질을 개선하는 적응형 이미지 개선을 위한 방법 및 시스템이 제공된다. 또한, 프레임을 P개의 픽셀 영역들로 분할하는 단계를 포함하고, 픽셀 영역들 각각에 대해, 이미지 품질을 측정하는 단계, 이미지 품질 클래스를 할당하는 단계, 및 이미지를 개선하는 단계를 포함하는 상기와 같은 방법이 제공된다. 또한, 소스 비디오 이미지에서의 프레임에서 픽셀 영역의 이미지 품질을 측정하기 위한 회로, 이미지 품질 측정에 기초하여 영역의 이미지 분류를 수행하기 위한 회로, 및 프레임의 이미지 분류에 기초하여 연산들을 적용함으로써 소스 비디오 이미지에서의 영역의 이미지 품질을 개선하기 위한 회로를 포함하는 적응형 이미지 개선을 위한 시스템이 제공된다.

Description

비디오 이미지들의 검출 및 개선을 위한 방법 및 시스템{A METHOD AND SYSTEM FOR DETECTION AND ENHANCEMENT OF VIDEO IMAGES}

관련 출원들에 대한 상호 참조

본 출원은 2009년 7월 21일 출원된 미국 가특허 출원 번호 61/227,422 호, 및 2010년 7월 21일 출원된 미국 본 특허 출원 번호 12/840,973 호에 관한 것이고, 그들에 대한 우선권을 주장하고, 이들 양자는 그 전체가 참조로 여기에 통합된다.

여기에 설명된 실시형태들은 일반적으로 비디오 프로세싱 회로들 및 방법들에 관한 것으로, 더욱 구체적으로는, 비디오 이미지의 품질을 측정하고 개선하는 회로들 및 방법들에 관한 것이다.

다양한 해상도 포맷들 및 압축 방법들에서 다수의 소스들로부터 비디오 콘텐츠의 확산을 증가시킴으로써, 콘텐츠의 이미지 품질이 실질적으로 변한다. 이미지 품질 문제들 중 일부는, "모스키토 (mosquito)" 및 "블록" 잡음을 발생시키는 과도하게 낮거나 높은 콘트라스트, 과도하게 낮거나 높은 밝기, 소프트 또는 낮은 대역폭 이미지, 변하는 랜덤 잡음의 양, 및 이미지 압축 방식들을 포함할 수도 있다. 기존의 비디오 및 이미지 프로세싱 기술들은 이미지 디테일 (detail) 을 선명하게 하고 개선하며, 시간적 잡음 및 압축 가공물들을 감소시키기 위해 밝기 및 콘트라스트를 조정하도록 이용가능하다. 그러나, 사용자는 각 입력 소스, 예를 들어, 고해상도 블루레이 (Bluray) 플레이어, 저해상도 휴대용 미디어 플레이어에 따라, 또는 브로드캐스트 TV의 천연 및 상향 변환된 콘텐츠에서의 변동에 따라 이들 기술들의 파라미터들을 조정할 필요가 있다. 인터넷 콘텐츠는 해상도 및 압축에서 더욱 변할 수도 있다. 이러한 상황에서, 몇몇 사용자들은 기술들을 효율적으로 사용하기 위해 기술들을 완전하게 이해하지 못할 수도 있거나 동기부여가 안될 수도 있거나, 조정을 지속적으로 하는데 충분히 신속하게 응답하지 못할 수도 있다. 따라서, 콘텐츠에 적응할 수 있고 최적의 비디오 품질에 대한 필요한 보상을 수행할 수 있는 비디오 이미지 프로세서에 대한 필요성이 존재한다.

적응형 이미지 개선을 위한 방법 및 시스템이 제공된다. 본 발명의 몇몇 실시형태들에 따른 방법은, 소스 비디오의 프레임에서 픽셀 영역의 이미지 품질을 측정하는 단계, 이미지 품질 측정에 기초하여 이미지 분류를 수행하는 단계, 및 프레임의 이미지 분류에 기초하여 연산들을 적용함으로써 소스 비디오 이미지의 픽셀 영역의 이미지 품질을 개선하는 단계를 포함한다.

소스 비디오 이미지에서의 프레임을 P개의 픽셀 영역들로 분할하는 단계를 포함하는 적응형 이미지 개선을 위한 방법이 또한 제공되고, P 는 1 보다 크고 출력 디스플레이에서 픽셀들의 총 수 만큼 큰 수이고, 이 방법은, 소스 비디오 이미지의 프레임에서의 픽셀 영역의 이미지 품질을 측정하는 단계; 이미지 품질 클래스를 픽셀 영역의 선택된 부분들에 할당하는 단계; 및 이미지 분류에 따라 소스 비디오 이미지의 프레임에서의 픽셀 영역들 각각을 개선하는 단계를 더 포함할 수도 있다.

본 발명의 몇몇 실시형태들에 따른 적응형 이미지 개선 시스템은, 소스 비디오 이미지에서의 프레임의 영역의 이미지 품질을 측정하기 위한 회로; 이미지 품질 측정치에 기초하여 영역의 이미지 분류를 수행하기 위한 회로; 및 프레임의 이미지 분류에 기초하여 연산들을 적용함으로써 소스 비디오 이미지에서 영역의 이미지 품질을 개선하기 위한 회로를 포함한다.

본 발명의 이들 및 다른 실시형태들은 아래의 도면들을 참조하여 더 후술된다.

도 1 은 본 발명의 몇몇 실시형태들에 따른 시스템의 블록도를 도시한다.
도 2 는 본 발명의 몇몇 실시형태들에 따른 스펙트럼 히스토그램을 사용한 디테일에 따른 이미지 분류를 도시한다.
도 3 은 본 발명의 몇몇 실시형태들에 따른 스펙트럼 히스토그램을 사용한 대역폭에 따른 이미지 분류를 도시한다.
도 4 는 본 발명의 몇몇 실시형태들에 따른 휘도 히스토그램을 사용한 콘트라스트 및 밝기에 따른 이미지 분류를 도시한다.
도 5a 는 16:9 콘텐츠를 갖는 16:9 애스펙트비를 갖는 표준 화질 입력 비디오 이미지를 예시한다.
도 5b 는 4:3 '필터 박스 (pillar-box)' 콘텐츠를 갖는 16:9 애스펙트비를 갖는 표준 화질 입력 비디오 이미지를 예시한다.
도 5c 는 4:3 콘텐츠를 갖는 4:3 애스펙트비를 갖는 표준 화질 입력 비디오 이미지를 예시한다.
도 5d 는 16:9 '레터박스 (letterbox)' 콘텐츠를 갖는 4:3 애스펙트비를 갖는 표준 화질 입력 비디오 이미지를 예시한다.
도 6 은 본 발명의 몇몇 실시형태들에 따른 로컬 히스토그램 및 로컬 분류를 사용한 시스템의 블록도를 도시한다.
도면들에서, 동일한 참조 번호를 갖는 엘리먼트들은 동일하거나 유사한 기능들을 갖는다.

고화질 (HD) 텔레비전과 같은 비디오 콘텐츠는 기본 해상도 (HD 에서 1920×1080 픽셀들) 또는 HD 해상도로 업-샘플링된 720×480 픽셀들을 갖는 표준 화질 (SD) 과 같은 다른 해상도들의 이미지들을 포함할 수도 있다. 이러한 업-샘플링된 이미지들이 높은 픽셀 해상도를 가질 수도 있지만, 그들의 실제 스펙트럼은 업-샘플링된 해상도의 범위가 아닌 원래의 범위를 가질 수도 있다. 본 발명의 몇몇 실시형태들에 따르면, 이미지의 스펙트럼 히스토그램의 분석은 이미지의 고유 해상도를 결정할 수 있다. 스펙트럼 측정은 대역통과 필터를 사용하여 또는 이산 코사인 변환 (DCT) 에 의해 수행될 수 있고, 본 발명의 몇몇 실시형태들에 따라 1 또는 2 차원에서 수행될 수 있다.

또한, 몇몇 비디오 애플리케이션들은 본 발명의 몇몇 실시형태들에 따라, 전체 프레임에 걸친 이미지 품질의 조정에 대한 차동 접근방식으로부터 이점을 얻을 수도 있다. 예를 들어, 프레임, 영역들 또는 오브젝트들의 상이한 부분들은 상이한 타입의 개선을 요구할 수도 있다. 프레임의 이러한 블록들 또는 부분들은 또한, 하늘의 부분, 또는 풀의 섹션, 또는 물의 부분과 같은 이미지 오브젝트들을 포함할 수도 있다. 영역이 하늘의 부분과 같은 잡음이 있는 배경을 갖는 낮은 디테일의 섹션을 포함할 수도 있지만, 다른 영역은 숲에서의 풀, 식물들, 또는 나무들과 같은 분산 에지들 (diffuse edges) 을 나타내는 매우 디테일한 부분을 포함할 수도 있다. 이러한 영역들을 포함하는 프레임은 각 서브-프레임에 대한 상이한 개선 접근방식으로부터 이점을 얻을 수도 있고, 이것은 전체 프레임에 걸쳐 고품질을 갖는 이미지를 발생시킨다. 이러한 접근방식은 고급 비디오 시스템들에서 계산 능력들의 사용을 더욱 효율적으로 만들 수 있다. 따라서, 더욱 효율적인 비디오 개선 방법 및 시스템이 관측자에 의한 비디오 스트림의 인지에 영향을 미치지 않고 실시간으로 동작하는 본 발명의 몇몇 실시형태들에서 획득될 수도 있다.

본 발명의 몇몇 실시형태들은 소스 비디오 이미지에서의 프레임을 P개의 픽셀 영역들로 분할하는 방법을 제공할 수도 있고, 여기서 P 는 1 보다 크고 출력 디스플레이에서 픽셀들의 총 수 만큼 큰 수이고; P개의 픽셀 영역들 중 각각 하나에 대해, 방법은 소스 비디오 이미지의 프레임에서 픽셀 영역의 이미지 품질을 측정하는 단계; 이미지 품질 클래스를 픽셀 영역의 선택된 부분들에 할당하는 단계; 및 이미지 분류에 따라 소스 비디오 이미지의 프레임에서 픽셀 영역들 각각을 개선하는 단계를 더 포함할 수도 있다.

도 1 은 본 발명의 몇몇 실시형태들에 따른 적응형 이미지 개선 시스템 (AIE; 100) 을 도시한다. AIE 시스템 (100) 은 스펙트럼 필터 (101), 스펙트럼 히스토그램 (102), 박스 검출기 (104), 및 휘도 히스토그램 (105) 과 같은 측정 기능들을 포함한다. 시스템 (100) 은 또한, 이미지 분류 기능 (103) 과 같은 분류 기능들을 포함한다. 시스템 (100) 은 잡음 감소기 (110), 신호 천이 향상 기능 (111), 적응형 스케일러 (112), 디테일 개선 기능 (113), 및 콘트라스트 개선 기능 (114) 과 같은 이미지 프로세싱 기능들을 더 포함한다. 도 1 에 도시된 시스템 (100) 은 도시된 이미지 프로세싱 기능들 중 하나 이상을 포함할 수도 있다. 본 발명의 다른 실시형태들은 도 1 에 도시된 이미지 프로세싱 기능들에 제한되지 않을 수도 있다. 또한, 몇몇 실시형태들에서, 이미지 프로세싱 기능들의 순서는 도 1 에 도시된 바와 같지 않을 수도 있고, 프로세싱 순서는 애플리케이션 또는 사용자 선호도에 따라 변화한다.

시스템 (100) 의 몇몇 실시형태에서, 측정 기능들은 소스 입력 프레임 시간 동안 수행된다. 측정치들은 다음 프레임 시간 이전에 분석될 수도 있고, 이미지 개선이 다음 프레임 디스플레이 시간 동안 소스 프레임에 적용될 수도 있다. 따라서, 본 발명의 몇몇 실시형태들에 따르면, 측정, 분석, 및 개선은 동일한 소스 프레임에서 수행될 수도 있다. 몇몇 실시형태들은 다른 프로세싱 또는 시스템 기능들로 인해 측정, 분석 및 개선에서 추가의 지연들을 가질 수도 있다.

비디오 소스 데이터는 RGB 또는 YCrCb (YUV) 포맷에 있을 수도 있다. 본 발명의 몇몇 실시형태들은 YCrCb 포맷에서 측정 및 프로세싱을 수행하고, RGB 소스들이 AIE 시스템 (100) 에 의해 프로세싱되기 이전에 변환된다는 가정으로부터 시작한다. 본 발명의 몇몇 실시형태들이 RGB 데이터로 측정, 분석, 및 개선을 수행할 수도 있지만, 몇몇 실시형태들은 YCrCb 포맷을 사용할 수도 있다. YCrCb 포맷은 인간의 시각 시스템을 밀접하게 표현하는 비디오 소스들의 크로매틱 (chromatic) 포맷이어서, 본 발명의 일부 실시형태들은 YCrCb 포맷을 사용할 수도 있다. 본 발명의 몇몇 실시형태들은 HSI 포맷 (H - 색조 (hue), S - 채도 (saturation), I - 강도 (intensity)) 에서 데이터를 또한 사용할 수도 있다. 본 발명의 몇몇 실시형태들에 따르면, YCrCb 포맷 또는 HSI 포맷은 '컬러 스페이스 (color space)' 로서 칭할 수도 있다. 현재의 입력 프레임 데이터는 병렬 측정 프로세싱을 위해 스펙트럼 측정 (101), 박스 검출기 (104), 및 휘도 히스토그램 (105) (도 1 참조) 에 의해 동시에 수신된다.

스펙트럼 측정 스테이지 (101) 는 소스 비디오 이미지의 스펙트럼 분해를 수행한다. 스펙트럼 분해는 본 발명의 몇몇 실시형태들에 따라, YCrCb 포맷에서 Y, Cr 및 Cb 신호들 각각에 대해 개별적으로 통해 실시될 수 있다. 본 발명의 몇몇 실시형태들에서, 이러한 스펙트럼 분해는 신호 (Y, Cr, 및 Cb) 의 퓨리에 변환 (FT), 또는 고속 퓨리에 변환 (FFT) 에 의해 제공될 수도 있다. 또한, 신호 (Y, Cr, 및 Cb) 의 FT 는 본 발명의 몇몇 실시형태들에 따라 2차원 퓨리에 변환 (2D-FT 또는 2D-FFT) 일 수도 있다. 이하, '주파수', '주파수 대역', 또는 '스펙트럼 측정' 에 대한 임의의 참조는 다르게 표현되지 않으면, 스펙트럼 측정 스테이지 (101) 의 몇몇 실시형태들에 따라 소스 비디오 이미지 입력의 공간 퓨리에 주파수 또는 공간 퓨리에 변환에 관한 것이다.

이미지 주파수 스펙트럼은 측정을 위해 다중의 선택 대역들로 분리될 수도 있다. 본 발명의 몇몇 실시형태들은 측정을 위한 스펙트럼 대역을 선택하기 위해 주파수 복조 및 저역통과 필터링의 조합을 사용한다. 몇몇 실시형태들은 스펙트럼 필터링 기능들을 수행하기 위해 대역통과 필터들 또는 이산 코사인 변환 (DCT) 을 사용한다.

스펙트럼 측정 (101) 의 몇몇 실시형태들에서, 스펙트럼 분해는 하나 (1) 이상의 대역통과 필터들로 수행될 수도 있다. 구현 비용을 감소시키기 위해, 더 작은 수의 대역통과 필터들 (예를 들어, 1) 이 이미지의 상이한 영역들 및 다수의 프레임들상에서 선택된 수의 스펙트럼 대역들 (예를 들어, 4) 각각을 통해 순차적으로 동작할 수도 있다. 따라서, 풀 프레임 통계치가 안정하고 신뢰가능한 결과들을 제공하기 위해 누산될 수도 있다. 본 발명의 몇몇 실시형태들은 수평 방향에서만 수행된 스펙트럼 측정 (101) 및 스펙트럼 히스토그램 (102) 을 포함하여서, 감소된 구현 비용을 제공한다. 본 발명의 몇몇 실시형태들은 수평 및 수직 방향들 양자에서 스펙트럼 측정 (101) 및 스펙트럼 히스토그램 (102) 을 수행할 수도 있어서, 측정치들의 더 많은 신뢰도 및 일관성에 대한 추가의 정확도를 제공한다. 수직 방향에서의 추가의 측정치들은 수평으로 배향되고 낮은 대역폭 오브젝트들로서 수평 필터에 나타나는 오브젝트들을 검출할 수도 있어서, 더욱 로버스트한 구현을 제공한다. 수직 스펙트럼 측정치들은 수평 스펙트럼 측정치와 상관하여 또는 독립적으로 사용될 수 있어서, 수직적으로 특정한 이미지 개선을 가능하게 한다.

스펙트럼 측정 (101) 은 콘텐츠의 품질을 검출하고 품질을 개선의 주파수 대역과 상관하는 경험적으로 또는 구체적으로 선택될 수도 있는 관심의 주파수 대역들로 분할된다. 예를 들어, 1080p HD 신호가 수신될 때, 이것은 기본 해상도 1920×1080 일 수도 있거나 컴팩트 디스크 디지털 비디오 (VCD), NTSC (National Television System Committee)(아날로그 텔레비전 시스템용), 디지털 비디오 디스크 (DVD), 또는 720p (720 픽셀들의 수직 해상도를 갖는 HDTV) 와 같은 다양한 소스들로부터 업-스케일링될 수도 있다.

1080p HD 의 기본 대역폭이 'Fs' 인 경우에, 상기 언급한 업-스케일링된 콘텐츠들 (VCD, NTSC, DVD, 및 HDTV) 은 0.188×, 0.25×, 0.38× 및 0.67× 의 Fs 각각으로 제한된 대역폭들을 갖는다. 이러한 예에서, 4개의 필터들이 콘텐츠 품질 : .188× 로부터 0.25× 까지의 B₁, 0.25× 로부터 0.38× 까지의 B₂, 0.38× 로부터 0.67× 까지의 B₃ 및 0.67× 로부터 1.00×Fs 까지의 B₄ 를 평가하기 위해 대역통과에 대해 설정될 수도 있다. 아날로그 비디오 포맷들인 상향 변환된 NTSC 신호 또는 비디오 리코더 신호 (VCR) 와 관련하여, 스펙트럼 측정 스테이지 (101) 는 본 발명의 몇몇 실시형태들에 따라, (NTSC 포맷에서) 3.58MHz 의 송신 주파수로, 아날로그 컬러 캐리어의 검출을 수행하는 스펙트럼 필터를 더 포함할 수도 있다. 그 후, 스펙트럼 측정 스테이지 (101) 는 요구될 때 컬러 가공물을 제거하기 위해 턴 '온' 되는 압축 회로에 제공된다.

본 발명의 몇몇 실시형태들은 크로미넌스 채널들 (Cr 및 Cb) 의 스펙트럼 측정을 수행하고, 추가 또는 독립적 프로세싱을 수행하는 스테이지 (101) 를 포함한다. Cr 및 Cb 대역폭들은, 소스가 그래픽스 비디오인 경우 (어느 경우에서나 Cr 및 Cb 대역폭들이 Y 신호와 동일함) 또는 소스가 NTSC 또는 VCR 인 경우 (어느 경우에서는 대역폭들은 1.5MHz 아래로 제약됨) 를 제외하고는 통상적으로 Y 신호의 0.5×Fs 이다. 이러한 비디오 콘텐츠로, Cr 및 Cb 컴포넌트들은 대역 잡음 및 가공물을 대역외에서 감소시키기 위해 필터링될 수도 있다. 이러한 실시형태에서, Cr 및 Cb 컴포넌트들은 대역에 걸쳐 동일한 강도를 갖는 연속 스펙트럼 대역을 포함할 수도 있다. 풀 대역폭 크로미넌스가 검출되면, 이들 필터들은 Cr 및 Cb 컴포넌트들을 연화 (soften) 하지 않고 풀 대역폭을 유지하기 위해 턴 '오프' 될 수 있다. 비디오 크로미넌스 컴포넌트들 (Cr 및 Cb) 가 대역 제한되었으면, 이것은 Y 와 Cr/Cb 채널들 사이의 타이밍 부정합을 나타낼 수도 있다. 이를 정정하기 위해, 본 발명의 몇몇 실시형태들은 신호 천이 개선을 가능하게 하는 지연 보상 회로들을 포함하고, 이것은 Y 에지에 대해 Cr 및 Cb 에지 천이들을 정합시킨다. 따라서, Cr 및 Cb 채널들에서의 위상 지연들이 보상될 수도 있다.

일 실시형태는 관심의 N개의 스펙트럼 대역들의 커버리지에 대해 스테이지 (101) 에서 N개의 스펙트럼 대역 필터들을 구현할 수도 있다. 본 발명의 더 낮은 비용의 실시형태는 N개의 스펙트럼 대역들을 측정하기 위해 감소된 수의 필터들 (M) 을 사용할 수도 있고, 이미지를 서브-프레임들로 더 분할하고 N/M 프레임들에 걸쳐 측정치들을 누산한다. 이러한 더 낮은 비용의 실시형태에서, 필터 파라미터들은 순차적으로 변화되고, 측정 히스토그램들은 각 대역에 대한 풀 프레임이 다수의 프레임에 걸쳐 획득될 때까지 각 서브-프레임에서 M개의 대역들에 대해 누산된다. 예시적인 실시형태는 네 개 (4) 의 스펙트럼 대역들을 커버하기 위해 두 개 (2) 의 필터들을 사용할 수도 있어서, 이미지는 2개의 서브-프레임들로 세그먼트화될 수 있다. 제 1 필터는 제 1 서브-프레임에서 대역들 (1 및 2) 을 커버할 수도 있고, 제 2 필터는 제 2 서브-프레임에서 대역들 (3 및 4) 을 커버할 수도 있다. 비디오 스트림으로부터의 다음 프레임에서, 제 2 필터는 제 1 서브-프레임에 대한 대역들 (3 및 4) 을 커버할 수도 있고 제 1 필터는 제 2 서브-프레임에 대한 대역들 (1 및 2) 을 커버할 수도 있다.

스펙트럼 히스토그램 (102) 은 스펙트럼 측정 스테이지 (101) 로부터의 출력을 수신하고, 다수의 프레임들에 걸쳐 M개의 서브-프레임들에서 N개의 스펙트럼 대역들에 대한 히스토그램 데이터를 누산한다. 몇몇 실시형태들에서, 4개의 스펙트럼 대역들 및 4개의 서브-프레임들의 구현을 위해, 전체 이미지에 걸친 모든 4개의 스펙트럼 대역들에 대한 히스토그램은 설정된 수의 프레임들, 예를 들어, 네 개 (4) 를 프로세싱한 이후에 이용가능할 수도 있다. 상기 언급한 예시적인 경우의 몇몇 실시형태들에서, 히스토그램은 소정의 수의 프레임들이 완전하게 업데이트된 이후에 판독된다. 다른 실시형태들에서, 히스토그램은 프레임 마다 판독되고, 부분 업데이트는 이전의 소정의 수의 프레임들로부터의 데이터의 누산을 포함한다. 몇몇 실시형태들에서, 각 대역의 수직 영역들은 더욱 디테일한 분석을 제공하기 위해, 더 큰 세분화 (granularity) 를 위한 수평 세그먼트들에서 더 분할될 수 있다. 서브-프레임들에서의 프레임의 분할은 스펙트럼 히스토그램 (102) 에서 더욱 세분화한 결과들을 제공하여, 로컬 변동이 관측될 수 있다.

측정된 스펙트럼 히스토그램 (102) 으로부터, 스펙트럼 진폭, 분포, 및 범위는 낮은, 중간, 또는 높은 콘트라스트; 낮은, 중간 또는 높은 밝기; 낮은, 중간, 또는 높은 대역폭; 및 낮은, 중간, 또는 높은 레벨의 디테일과 같은 타입들에 관하여 이미지들을 분류하기 위해 사용될 수 있다. 이들 분류는 선택된 타입 및 비디오 프로세싱의 레벨을 제어하여, 이미지를 개선하기 위해 사용될 수 있고, 이미지 분류 스테이지 (103) 에서 수행된다.

본 발명의 몇몇 실시형태들은 프로세싱될 비디오 이미지의 풀 프레임을 포함하는 글로벌 레벨에서 이미지 분류 스테이지 (103) 를 적용한다. 또한, 이미지 분류 (103) 는 몇몇 실시형태들에 따라 영역에서 및 또한 픽셀 레벨에서 적용될 수 있다. 픽셀 영역은 풀 프레임내에 포함된 임의의 서브-프레임으로서 풀 프레임으로부터 선택될 수도 있고, 여기서, 서브-프레임은 본 발명의 몇몇 실시형태들에 따라 프레임내의 단일 픽셀로부터 풀 프레임까지의 임의의 사이즈일 수 있다. 영역 또는 픽셀 레벨 분류는 매우 디테일하고, 불량하게 디테일하고, 높거나 낮은 콘트라스트, 높거나 낮은 밝기, 샤프한 에지들, 또는 플랫 영역들인 영역들 또는 픽셀들을 정의하는 2D 분류 맵을 생성할 수도 있다. 이러한 이미지 맵은 디스플레이 동작을 제어하고 변화시키기 위해 다른 프로세싱 기능들에 의해 사용될 수도 있다.

이미지 분류 스테이지 (103) 는 콘텐츠의 품질을 결정하기 위해, 특정한 영역내의 각 대역, 영역, 및 부분에 대한 히스토그램 데이터를 평가한다. 몇몇 실시형태들에서, 이미지 분류 스테이지 (103) 는 구현의 플렉시빌리티를 위해, 마이크로프로세서상에서 소프트웨어에 의해 구현될 수도 있다. 본 발명의 몇몇 실시형태들은 개별 히스토그램으로 지역 영역들에 걸친 측정치들을 파티셔닝함으로써 로컬 이미지 분류 스테이지 (607) 를 사용할 수도 있다 (아래의 도 6 참조). 로컬 측정은 이미지 콘텐츠에서의 편차에 대한 더 큰 적응성을 제공하고, 로컬 이미지 개선을 수행하기 위해 사용될 수도 있다.

본 발명의 몇몇 실시형태들에서, 이미지 품질 및 해상도는 스테이지 101 에서 측정될 때 스펙트럼 대역들 사이의 상대 전력 및 각 스펙트럼 대역의 절대 전력에 의해 분류된다. 잡음에 걸친 대역 전력은 경험적으로 확립된 임계값에 의해 결정된다. 예를 들어, 임계값은 필터 잡음 전력, 또는 양자화 유도 대역 전력에 대한 절대 전력 레벨의 비율일 수도 있다. 제 2 예시적인 임계값은 이미지 밝기 및 콘트라스트와는 독립적으로, 모든 대역들로부터의 총 전력에 대한 대역 전력의 상대적 비율일 수도 있다. 계산된 전력이 해상도 의존형이기 때문에, 이들 임계값들은 또한, 입력 해상도에 따라 적응되어서, 해상도 독립형 임계값을 제공한다.

도 1 에서의 박스 검출 스테이지 (104) 는 디스플레이 애스펙트비 및 해상도에 대해 원래의 소스 콘텐츠의 애스펙트비 및 해상도를 조정하기 위해 구현될 수도 있다. 원래의 애스펙트비에서 소스를 디스플레이하기 위해, 이미지는 비활성 디스플레이 영역들이 단색으로 설정되는 '레터 박스' 또는 '필러 박스' 에 배치될 수도 있다. SD 비디오는 4:3 또는 16:9 애스펙트비들을 가질 수도 있다. 추가로, 4:3 애스펙트비를 갖는 SD 비디오는 16:9 애스펙트비, 또는 2:35 애스펙트비 이미지를 갖는 '레터 박스' 를 그 내부에 포함할 수도 있다. 16:9 애스펙트비를 갖는 SD 또는 HD 비디오는 4:3 애스펙트비 이미지를 갖는 '필러' 박스를 더 포함할 수도 있다. 따라서, SD 비디오가 HD 로 상향 변환될 때, 활성 이미지 영역은 디스플레이 영역 보다 작을 수도 있고, 비활성 영역은 단색, 또는 블랙으로 설정될 수도 있다. 브로드캐스트 비디오에서, 콘텐츠는 '레터 박스', '필터 박스', 및 '필터 박스' 내의 '레터 박스' 의 변화하는 포맷들에서 시퀀스들로 지속적으로 변화한다. 이러한 시나리오에서, 활성 이미지 영역은 스케일링될 수도 있고 사용자 선호도 만큼 확장될 수도 있어서, 디스플레이된 이미지를 최대화하거나, 디스플레이 영역을 채우거나, 플랫 경계를 감소시킨다.

박스 검출 스테이지 (104) 는 이미지의 상부, 바닥, 좌측, 및 우측 경계들을 평가하고, 그것의 사이즈를 측정하기 위해 구현된다. 사이즈는 이미지 주위의 블랙 또는 단색의 로우들 및 컬럼들의 수의 검출에 의해 결정되어서, 검출된 경계들은 모션을 갖지 않는다. 블랙 또는 단색 영역들은 잡음으로부터의 에러들을 회피하기 위해, 필터링된 인접 픽셀 차이들의 판정 임계값에 의해 결정될 수 있다. 본 발명의 몇몇 실시형태들에 따른 박스 검출을 위한 다른 방법은, 컬러 키잉의 사용이고, 여기서, 특정 키 값들 사이의 컬러들은 동일한 것으로 고려되어서, 단색 영역을 형성한다. 상부 및 바닥 경계들, 및 좌측 및 우측 경계들의 검출 및 사이즈는 가능한 업-샘플링 포맷들에 대해 상관될 수도 있고 원하는 스케일링 조정치들을 형성한다. 박스 검출 정보는 그것의 동작을 활성 영역에 대해 마스크하기 위해 다른 측정 및 프로세싱 기능들로 패스될 수도 있다. 박스 검출 결정에 영향을 미칠 수 있는 잠재적 시나리오들은 다크 (dark) 및 블랭크 (blank) 장면들을 포함한다. 이것을 방지하기 위해, 본 발명의 몇몇 실시형태들에는 거짓 검출을 감소시키기 위해 활성 이미지에서 블랭크 또는 다크 장면들의 검출을 포함하는 전환 (switchover) 판정들이 제공된다.

잡음 감소 스테이지 (110) 가 도 1 에 또한 도시되어 있다. 스테이지 (110) 는 스테이지 (103) 에서 획득된 이미지 분류 결과들에 따라 동작하도록 구현된다. 잡음 감소 레벨은, 그 강도가 높은 해상도 콘텐츠에 대해 작아서 디테일 손실을 최소화하고, 낮은 해상도 콘텐츠에 대해 더 높도록 조정될 수도 있어서, 잡음 감쇠는 전체 이미지에 대해 더욱 적극적이다. 이것은 "모스키토" 또는 "블록" 잡음과 같은 랜덤 시간적 잡음 또는 압축 가공물들에 대해 적용된다. 잡음 감소 스테이지 (110) 는 박스 검출기 (104) 에 의해 검출된 영역내에서 게이트될 수 있고, 검출된 경계들에서 더 높은 잡음 감소 레벨들을 제공한다.

도 1 은 신호 천이 향상 스테이지 (STI; 111) 을 더 도시한다. 스테이지 (111) 는 저하될 수도 있는 신호 에지들의 천이를 개선한다. 본 발명의 몇몇 실시형태들에서, 이러한 저하는 비디오 신호의 송신 주파수에서의 대역폭 제한의 결과일 수도 있다. 이들 제한은 통상적으로, NTSC 및 PAL (phase alternating line) 인코딩과 같은 아날로그 비디오 플랫폼들에서 발생한다. 저해상도 콘텐츠는 또한, 몇몇 실시형태들에 따른 업스케일 이미지와 같은 디지털 비디오 포맷에서도 신호 에지들의 천이의 저하에 대한 원인일 수도 있다. 본 발명의 몇몇 실시형태들에서, STI 스테이지 (111) 는 모든 3개의 컴포넌트들 (Y, Cb, 및 Cr 에서와 같이) 에 대한 세 개 (3) 의 스펙트럼 대역들의 개선을 지원한다. 이들 대역들은 스펙트럼 측정 스테이지 (101) 에서 설정된 스펙트럼 대역들 및 예상 소스 콘텐츠와 관련될 수도 있거나, 0.12×, 0.25×, 및 0.50× 의 Fs와 같은 소정의 값으로 설정될 수도 있다. 이미지 개선을 위해 상이한 주파수 대역들을 사용하는 것은, 이미징 가공물들의 재발을 감소시킬 수도 있다. 몇몇 가공물들은 잡음 컴포넌트들을 증가시키는, 저대역폭 신호에서의 고주파수 단부의 개선으로 인해 발생할 수도 있다. 다른 가공물들은 기울기에 의사 윤곽을 도입할 수도 있는, 고대역 신호에서의 저주파수 단부의 개선으로 인해 발생할 수도 있다. 수신된 이미지 분류에 기초하여, STI 스테이지 (111) 는 본 발명의 몇몇 실시형태들에 따라, 휘도 및 크로미넌스 컴포넌트들에 대해 독립적으로 개선을 적응적으로 조정할 수 있다. 아날로그 콘텐츠 (예를 들어, NTSC, VCR 또는 PAL) 를 갖는 비디오 데이터를 포함하는 본 발명의 몇몇 실시형태들에서, 스테이지 (103) 에 의해 제공된 Cr 및 Cb 분류는 낮게 설정될 수도 있다. 따라서, STI 스테이지 (111) 에서의 저대역이 인에이블된다. 본 발명의 몇몇 실시형태들에서, 스테이지 (103) 에 의해 제공된 Y 분류는 '중간'에서 설정될 수도 있어서, STI 의 중간 대역이 인에이블된다. 본 발명의 몇몇 실시형태들에서, STI (111) 개선은 박스 검출기 (104) 에서 검출된 사전 결정된 영역에 의해 게이트될 수도 있다.

본 발명의 몇몇 실시형태들에서, 상이한 입력 비디오 프레임들은 휘도 컴포넌트 (Y) 의 개선을 위해 0.12×, 0.25×, 및 0.50× 의 Fs 로서 설정된 3개의 스펙트럼 대역들에서 프로세싱될 수도 있다. 몇몇 실시형태들에서, 상이한 비디오 프레임들은 Cb 또는 Cr 과 같은 크로미넌스 컴포넌트들 중 하나의 개선을 위해 0.12×, 0.25×, 및 0.50× 의 Fs 로서 설정된 3개의 스펙트럼 대역들에서 프로세싱될 수도 있다.

도 2 는, 본 발명의 몇몇 실시형태들에 따라 이미지 분류 출력을 제공하기 위해 입력 비디오 스트림으로부터의 데이터가 스펙트럼 측정 스테이지들 (101, 102, 및 103) 에 의해 어떻게 프로세싱되는지를 도시한다. 특히, 도 2 는 이미지에서 디테일의 증가하는 레벨을 갖는 프레임들 (201, 202, 및 203) 을 갖는 입력 비디오 스트림들을 도시한다. 도 2 에 도시된 실시형태에 따르면, 스테이지 (101) 가 점점 더 높은 주파수 대역들을 커버하는 4개의 스펙트럼 대역들 (B₁, B₂, B₃, 및 B₄) 을 사용하여 측정을 수행한다는 것에 유의한다. 스테이지 (101) 의 결과는 프레임들 (201, 202, 및 203) 각각에 대응하는 히스토그램들 (211, 212, 및 213) 을 제공하기 위해 스테이지 (102) 에 입력된다. 도 2 는, 프레임 (203) 이 덜 디테일한 프레임들 (202 및 201) 에 비교하여 고주파수 대역들 (B₃ 및 B₄) 에서 다수의 컴포넌트들을 갖는 히스토그램 (213) 을 발생시킨다는 것을 도시한다. 또한, 3개의 수직 스트라이프들을 갖는 설계를 포함하는 프레임 (201) 은 고주파수 대역 (B₄) 에서 적은 수의 컴포넌트들을 갖고, 저주파수 대역들 (B₂ 및 B₁) 에서 비례하게 더 높은 수의 컴포넌트들을 갖는 히스토그램 (211) 을 발생시킨다. 프레임 (202) 은 프레임 (201) 보다 더욱 디테일하지만 프레임 (203) 보다 덜 디테일한 설계를 포함한다. 히스토그램 (212) 은 상이한 주파수 대역들 (B₁ - B₄) 중에 더욱 균일한 분포를 나타냄으로써 이러한 사실을 반영한다. 분류 스테이지 (103) 로부터의 결과는, 본 발명의 몇몇 실시형태들에 따라, 프레임 (201) 에 대한 출력 (221) 에서 '낮은' 디테일, 프레임 (202) 에 대한 출력 (222) 에서 '중간' 디테일, 및 프레임 (203) 에 대한 출력 (223) 에서 '높은' 디테일 (223)일 수도 있다. 출력들 (221, 222, 및 223) 이 도 2 에 도시된 3개의 입력 비디오 스트림들에 의해 제공된 다음의 프레임에서 상이할 수도 있다는 것에 유의한다.

도 3 은 스펙트럼 히스토그램 스테이지 (102) 로부터의 출력이 대역폭에 따른 입력 프레임의 글로벌 분류 : 낮음, 중간 및 높음을 제공하기 위해 이미지 분류 스테이지 (103) 에 의해 사용되는 본 발명의 실시형태를 예시한다. 3개의 상이한 입력 비디오 스트림들이 도시되어 있고, 프레임들 (301, 302, 및 303) 은 패턴들의 에지들 주위에서 상이한 '첨예도 (sharpness)' 를 갖는 유사한 패턴을 도시한다. 대역들 (B₁, B₂, B₃, 및 B₄) 에 대해 필터들을 사용하여, 스테이지 (101) 는 각 프레임의 스펙트럼 콘텐츠를 측정하고 그 결과를 히스토그램 스테이지 (102) 에 입력한다. 스테이지 (102) 는 프레임들 (301, 302, 및 303) 각각에 대응하는 히스토그램들 (311, 312, 및 313) 을 제공한다. 프레임들 (302 및 301) 에 비해 더 샤프한 에지들을 갖는 프레임 (303) 은 더 높은 주파수 대역들 (B₃ 및 B₄) 을 포함하여, 히스토그램들 (312 및 311) 에 비해 더욱 균일한 분포의 주파수 컴포넌트들을 갖는 히스토그램 (312) 을 발생시킨다. 히스토그램 (312) 은 저주파수 컴포넌트들 (B₁ 및 B₂) 에 비해 고주파수 컴포넌트들 (B₃ 및 B₄) 에서 감소된 진폭을 나타낸다. 히스토그램 (312) 은 프레임 (301) 의 특징들 보다 덜 샤프한 특징들을 갖는 프레임 (302) 의 결과이다. 히스토그램 (311) 은 가장 높은 주파수 대역 (B₄) 에서 거의 제로의 진폭, 주파수 대역 (B₃) 에서 낮은 진폭, 및 저주파수 대역들 (B₁ 및 B₂) 에서 더 높은 진폭들을 나타낸다. 따라서, 히스토그램 (311) 은 프레임 (303) 의 샤프한 에지들 대신에 둥근 에지들을 나타내는 프레임 (301) 에 대응한다. 따라서, 도 3 에 도시된 실시형태에서 이미지 분류 스테이지 (103) 의 결과는, 프레임 (303) 에 대해 '높은' 대역폭 출력 (323)이고, 프레임 (302) 에 대해 '중간' 대역폭 출력 (322)이며, 프레임 (301) 에 대해 '낮은' 대역폭 출력 (321) 이다. 출력 (323, 322, 및 321) 이 도 3 에 도시된 입력 비디오 스트림들로부터의 다음 프레임에서 상이할 수도 있다는 것에 유의한다.

다시 도 1 을 참조하면, 휘도 히스토그램 스테이지 (105) 는 본 발명의 몇몇 실시형태들에 따라 이미지 분류 스테이지 (103) 에서 분류 임계값을 평가하기 위해 사용될 수 있는 결과를 제공한다. 휘도 히스토그램 스테이지 (105) 는 프레임의 사전선택된 영역내의 각 픽셀에 대해 수신된 Y 신호의 히스토그램을 생성한다. 몇몇 실시형태들에서, 사전선택된 영역은 전체 프레임을 포함할 수도 있다. 이미지 프로세싱 기능들을 통지하기 위한 분류 출력은 낮은, 중간, 또는 높은 콘트라스트 및 낮은, 중간, 또는 높은 밝기를 포함하지만 이에 제한되지 않는다.

도 4 는 본 발명의 몇몇 실시형태에 따라, 낮고, 중간 및 높은 휘도 레벨들을 결정하기 위해 3개의 상이한 입력 비디오 프레임들이 휘도 히스토그램 (105) 및 이미지 분류 스테이지 (103) 에 의해 프로세싱되는 예를 도시한다. 본 발명의 몇몇 실시형태들에서, 2가지 모드 히스토그램은 높은 콘트라스트 레벨들의 존재를 나타낼 수도 있다. 넓은 정규 분포 또는 연속 분포는 평균 밝기 및 높은 콘트라스트를 나타낼 수도 있고, 중앙 분포는 더 낮은 콘트라스트를 갖는 평균 밝기를 나타낼 수도 있다. 또한, 본 발명의 몇몇 실시형태들에 따라, 히스토그램에서의 모든 빈들의 합은 프레임에서의 절대 밝기의 표시일 수도 있고, 빈 진폭들의 분포는 이미지의 콘트라스트 범위를 나타낼 수도 있다. 밝기의 다른 측정은 강도에서 특정한 임계값을 사용할 수도 있다. 따라서, 임계값 이상의 빈들의 합은 밝기의 측정을 제공하기 위해 임계값 아래의 빈들의 합에 비교될 수도 있다.

도 4 는 입력 비디오 프레임들 (401, 402, 및 403) 이 '낮은' (421), '중간' (422), 또는 '높은' (423) 휘도 콘트라스트 및 밝기를 결정하기 위해 휘도 히스토그램 (105) 및 이미지 분류 스테이지 (103) 에 의해 프로세싱되는 예를 도시한다. 상이한 입력 비디오 스트림들은 프레임들 (401, 402 및 403) 을 제공한다. 그 결과, 스테이지 (105) 는 프레임들 (401, 402, 및 403) 에서의 휘도 컴포넌트를 사용하여 히스토그램들 (411, 412, 및 413) 을 발생시킨다. 상술한 바와 같이, 히스토그램 (413) 은 프레임 (403), 즉 넓은 휘도 분포에 포함되고 높은 강도 단부를 향해 가중된 높은 밝기, 높은 콘트라스트의 특징을 도시한다. 따라서, 스테이지 (103) 는 '높은' 콘트라스트 및 밝기 출력 (423) 을 프레임 (403) 에 할당한다. 프레임들 (402 및 401) 에서의 이미지는 콘트라스트 및 밝기를 점진적으로 상실한다. 태양은 프레임 (402) 에서 구름에 의해 부분적으로 가려지고, 프레임 (401) 에서 완전히 사라진다. 나무에 의해 드리워진 그림자는 프레임 (402) 에서 줄어들고 프레임 (401) 에서 사라진다. 따라서, 프레임들 (402 및 401) 각각으로부터의 히스토그램들 (412 및 411) 이 발생한다. 히스토그램들 (412 및 411) 은 좁아지는 점진적인 분포 및 더 낮은 강도 레벨들을 향한 시프트를 나타낸다. 따라서, 스테이지 (103) 는 '중간' 및 '낮은' 콘트라스트 및 밝기 출력들 (422 및 421) 을 프레임들 (402 및 401) 각각에 할당한다. 상기 도 2 및 도 3 의 경우에서와 같이, 출력들 (423, 422 및 421) 은 입력 비디오 스트림들에 의해 제공된 다음의 프레임에 대해 변화할 수도 있다. 도 4 에 도시된 본 발명의 실시형태들에 따르면, 히스토그램들 (411, 412, 및 413) 은 대략 동일한 적산 수의 카운트들을 가질 수도 있다. 즉, 히스토그램 (413) 과 같은 더 넓은 스펙트럼을 나타내는 히스토그램은 바들 각각에서 더 낮은 사이즈를 가질 수도 있고, 히스토그램 (412) 과 같은 더 좁은 피크들을 나타내는 히스토그램은 피크들의 중심에서 바들 중 몇몇에서 더 높은 사이즈를 가질 수도 있다. 도 4 에 도시된 바와 같은 본 발명의 실시형태들에 따르면, 히스토그램들 각각에서 바들의 적산합은 이미지에서의 프레임 또는 프레임의 영역 이내인 것으로 고려되는 픽셀들의 총 수를 나타낸다.

다시 도 1 을 참조하면, 적응형 스케일러 (112) 는 출력 이미지에 대해 요구된 해상도로 입력 이미지를 스케일링하는 기능을 수행한다. 적응형 스케일러 (112) 는 박스 검출 스테이지 (104) 에 의해 검출된 이미지 포맷 정보를 수신할 수도 있고, 소스 이미지에 대한 포지션 및 스케일링 팩터를 적응적으로 채워진 선택된 출력 포맷으로 조정한다.

도 5a 내지 도 5d 는 본 발명의 몇몇 실시형태들에 따른, 박스 검출 스테이지 (104) 및 적응형 스케일러 (112) 에 의해 프로세싱될 때 소스 이미지 포맷, 노멀하게 스케일링된 출력 포맷, 및 적응적으로 스케일링된 출력 포맷의 여러 예들을 도시한다. 적응형 스케일러 스테이지 (112) 는 필터 응답을 조정하기 위해 임지 분류 스테이지 (103) 로부터의 입력을 사용한다. 예를 들어, 스케일러 (112) 는 낮은 품질 소스들을 갖는 대역폭을 감소시켜서, 잡음 및 가공물들이 감소된다. 또한, 스케일러 (112) 는 최적이고 플랫한 대역통과 재생을 위해, 높은 품질 소스들에 대한 대역폭을 증가시킬 수도 있다.

도 5a 는 16:9 콘텐츠를 갖는 16:9 애스펙트비를 갖는 SD 입력 비디오 이미지 (500) 를 예시한다. 프레임 (501) 은 노멀하게 스케일링된 포맷에 따른 원의 복구를 도시한다. 프레임 (500) 은 16:9 및 4:3 애스펙트 이미지 양자에 대해 정사각형이 아닌 픽셀 애스펙트비를 갖는 720×480 픽셀 프레임으로서 SD 비디오가 인코딩될 수도 있다는 것을 나타내기 위해 수평적으로 압착되는 것으로 나타난다. 프레임 (502) 은 스케일러 (112) 에서 적응적으로 채워진 출력 포맷을 사용한 결과를 도시한다.

도 5b 는 4:3 '필러 박스' 콘텐츠를 갖는 16:9 애스펙트비를 갖는 SD 입력 비디오 이미지 (510) 를 예시한다. 프레임 (511) 은, 노멀하게 스케일링된 포맷이 사용될 때 디스플레이의 영역들이 비어 있을 수도 있다는 것을 도시한다. 프레임 (512) 은, '필러 박스' 콘텐츠의 경우에서, 박스 검출 스테이지 (104) 및 적응형 스케일러 스테이지 (112) 에서의 절차가 디스플레이 영역을 수평적으로 채우기 위해 이미지를 확장시킨다는 것을 도시한다. 동시에, 디스플레이를 오버레이하는 수직 부분은 프레임 (512) 에 도시된 바와 같이 가장자리가 잘려진다.

도 5c 는 4:3 콘텐츠를 갖는 4:3 애스펙트비를 갖는 SD 입력 비디오 이미지 (520) 를 예시한다. 출력 프레임 (522) 에 비교하여 출력 프레임 (521) 의 설명은 상술한 도 5b 와 유사하다.

도 5d 는 16:9 '레터박스' 콘텐츠를 갖는 4:3 애스펙트비를 갖는 SD 입력 비디오 이미지 (530) 를 예시한다. 프레임 (531) 은, 입력 프레임 (530) 을 프로세싱하기 위해 노멀하게 스케일링된 포맷이 사용될 때 디스플레이의 영역들이 미사용으로 남아 있다는 것을 도시한다. 프레임 (532) 은, 입력 프레임 (530) 을 조정하기 위해 박스 검출 (104) 및 적응형 스케일러 (112) 를 사용한 결과를 도시한다. 수평 및 수직 방향 양자는 스크린을 채우기 위해 확장되고 블랭크 파티션들은 가장자리가 잘려진다.

도 5a 내지 도 5d 는, 비디오 디스플레이가 박스 검출 스테이지 (104) 및 적응형 스케일러 스테이지 (112) 를 통한 프로세싱 이후에 이미지에 의해 완전하게 점유된다는 것을 예시한다. 따라서, 뷰잉 영역 및 해상도의 증가가 도 5a 내지 도 5d 에 도시된 바와 같은 본 발명의 몇몇 실시형태들에 따라 획득될 수도 있다.

도 1 의 시스템 (100) 에서, 디테일 개선 스테이지 (113) 는 프레임에서 미세 디테일들의 추출 및 개선을 위해 의도된다. 저품질 소스로, 스테이지 (113) 는 잡음 및 가공물들의 개선을 회피할 수도 있다. 본 발명의 몇몇 실시형태들에서, 스테이지 (103) 로부터 스테이지 (113) 에 의해 수신된 분류 결과들에 기초하여, 디테일 개선 스테이지 (113) 는 '낮은' 품질 소스들에 대해서는 낮도록; '중간' 품질 소스들에 대해서는 높도록; 그리고 '높은' 품질 소스들에 대해서는 높도록 이미지 개선을 적응적으로 조정할 수도 있다. 품질 레벨에 대한 변화하는 조정들로, 더욱 일관된 시각 품질, 외관, 및 첨예도가 획득된다. 또한, 품질 레벨에 대한 반대의 조정 방식은, 저품질 신호들에서 잡음 가공물들의 증폭을 회피하고, 고품질 신호들의 첨예도를 오버슈팅 (over-shooting) 하는 것을 방지한다. 본 발명의 몇몇 실시형태들에서, 디테일 개선 기능 (113) 은 검출된 경계들에서 잡음 또는 가공물들을 개선하는 것을 회피하기 위해 박스 검출기 (104) 에서 검출된 영역에 의해 게이트될 수 있다. 본 발명의 몇몇 실시형태들에서, 디테일 개선 스테이지 (113) 는 스펙트럼 히스토그램 (102) 및 이미지 분류 (103) 에 따라 조정될 수도 있는 개선의 다중 또는 변화하는 스펙트럼 대역들을 가질 수도 있다.

도 1 에 도시된 콘트라스트 개선 스테이지 (114) 는 소스 휘도 히스토그램 (105) 에 기초하여 적응형 콘트라스트 개선을 수행한다. 본 발명의 몇몇 실시형태들에서, 콘트라스트 개선 스테이지 (114) 는 이미지 분류 결과들에 따라 추가의 콘트라스트 조정을 제공한다. 저품질 콘텐츠는 낮은 콘트라스트 및 플랫 외관을 갖는 경향이 있다. 콘트라스트 개선의 양은, '낮은' 품질 콘텐츠가 식별될 때 증가될 수 있거나, '중간' 또는 '높은' 품질 콘텐츠가 식별될 때 노멀할 수 있다. 몇몇 실시형태들에서, 콘트라스트 개선 스테이지 (114) 는 박스 검출기 (104) 에 의해 검출된 영역내에서 게이트될 수 있어서, 검출된 경계들의 개선을 회피한다. 또한, 휘도 히스토그램 (105) 이 낮은 휘도 분포를 나타내는 경우에, 분포는 스펙트럼을 넓히기 위해 휘도 레벨들을 재매핑함으로써 등화될 수도 있다. 등화는, 개선된 프레임의 부분에서 콘트라스트 및 디테일의 개선을 발생시킬 수도 있다. 예를 들어, 본 발명의 몇몇 실시형태들에 따른 등화 절차에서, 히스토그램의 중간 휘도 영역에 위치된 휘도 피크는 더 어두운 휘도 영역들 및 더 밝은 휘도 영역들을 향해 동일하게 확장될 수도 있다. 이것은 중간 휘도 피크에 의해 표현된 픽셀들의 영역에서 동일한 밝기를 갖는 확장된 콘트라스트를 발생시킨다. 히스토그램의 더 밝은 휘도 영역에 위치된 휘도 피크들에 대해, 등화는 콘트라스트를 확장하면서 피크의 밝기의 감소를 발생시킬 수도 있다. 또한, 히스토그램의 더 어두운 휘도 영역에 위치된 휘도 피크에 대해, 등화는 피크에 의해 표현된 픽셀들의 영역에서 콘트라스트의 발광 및 확장을 발생시킬 수도 있다.

도 6 은 본 발명의 몇몇 실시형태들에 따른 다른 시스템 (600) 을 예시한다. 시스템 (600) 에서, 이미지 분류는 각 영역에 대해 개별 히스토그램들을 갖는 지역 영역들에 걸쳐 측정치들을 파티셔닝함으로써 개선될 수도 있다. 도 6 에 도시된 실시형태는 로컬 및 글로벌 스테이지 (602), 로컬 및 글로벌 분류 스테이지 (603), 로컬 및 글로벌 휘도 히스토그램 (605) 을 포함한다. 스테이지들 (602, 603, 및 605) 에서 획득된 로컬 측정치들은 로컬 콘텐츠에 대한 더 큰 감도를 제공하고 로컬 이미지 개선을 수행하기 위해 사용될 수 있다. 본 발명의 몇몇 실시형태들에서, 로컬 분류 스테이지 (603) 는 픽셀 퍼 픽셀 (pixel per pixel) 콘텐츠 적응형 프로세싱을 지원하도록 확장될 수도 있다.

로컬 및 글로벌 히스토그램 스테이지 (602) 는 스펙트럼 측정 스테이지 (101) 를 사용하여 획득될 수도 있다. 스테이지 (603) 는 블록 (103) (도 1 참조) 의 설명에 따라 글로벌 이미지 분류를 수행할 수도 있다. 또한, 스테이지 (603) 는 로컬 히스토그램 (602) 을 지원하기 위해 서브-프레임 또는 지역 측정에 의한 로컬 이미지 분류를 수행할 수도 있다. 본 발명의 몇몇 실시형태들에서, 로컬 히스토그램 (602) 은 로컬 및 글로벌 히스토그램들의 순차적 출력을 제공하여 스테이지 (603) 에서 글로벌 및 로컬 이미지 분류 양자를 지원하도록 변경될 수 있다. 스테이지 (602) 에서 히스토그램을 획득하기 위해 사용된 스펙트럼 대역들은 기본 실시형태, 또는 변경된 스펙트럼 대역들과 동일할 수도 있거나, 추가의 기능을 가능하게 하기 위해 추가의 스펙트럼 대역들을 포함할 수도 있다. 도 6 에 도시된 실시형태에 대해, 병렬 스펙트럼 대역 필터링이 글로벌 이미지 분류를 위해 구현되고, 새로운 스펙트럼 대역들이 로컬 이미지 분류를 위해 추가될 수도 있다. 상기 언급한 바와 같이, 본 발명의 몇몇 실시형태들은 픽셀 바이 픽셀 (pixel by pixel) 분류인 로컬 이미지 분류를 포함할 수도 있다.

로컬 및 글로벌 분류 스테이지 (603) 에서의 로컬 분류는, 본 발명의 몇몇 실시형태들에 따라 각 소스 픽셀에 대한 콘텐츠 타입을 분류하는 맵을 생성하기 위해 스테이지 (602) 로부터 출력된 로컬 히스토그램을 분석하고 필터링할 수도 있다. 스테이지 (603) 에 따라 프로세싱된 데이터는 임의의 또는 모든 개선 스테이지들에서 사용된다. 분류 맵은 입력 및 출력 이미지 포맷들에 따라, 적응형 스케일러 (612) 에 의해 상향 또는 하향 스케일될 수도 있다.

본 발명의 몇몇 실시형태들에서, 이미지 분류 스테이지 (603) 는 이미지 품질을 결정하기 위해 선택된 픽셀 영역내에서 휘도 및 스펙트럼 히스토그램 데이터를 평가한다. 또한, 스테이지 (603) 는 마이크로프로세서상에 이전에 프로그램되고 메모리에 저장된 소프트웨어에 의해 구현될 수도 있다.

스테이지 (603) 에서 로컬 분류를 추가하여, 이미지 개선의 더 높은 레벨의 적응이 획득될 수도 있다. 예를 들어, 이미지 개선은 지역적으로 또는 픽셀 레벨 마다 수행될 수 있다. '플랫', '디테일한', 및 '에지 영역' 과 같은 지역적 분류는 스펙트럼 대역 선택 및 로컬 히스토그램 결과에 의해 결정될 수 있다. 현재의 비디오 프레임에 대한 로컬 분류는 이전의 비디오 프레임에 대해 수행된 로컬 분류와 상관될 수도 있다. 따라서, 이미지에서의 모션 또는 시간적 잡음의 식별이 자동상관 또는 상호 상관 기법들을 사용함으로써 가능해진다.

상술한 본 발명의 실시형태들은 단지 예시이다. 당업자는 구체적으로 개시된 바로부터 다양한 대안의 실시형태들을 인식할 수도 있다. 이들 대안의 실시형태들은 또한, 본 개시물의 범위내에 있는 것으로 의도된다. 이와 같이, 본 발명은 아래의 청구범위에 의해서만 제한된다.

Claims

적응형 이미지 개선을 위한 방법으로서,
소스 비디오에서의 프레임에서 픽셀 영역의 이미지 품질을 측정하는 단계;
상기 이미지 품질의 측정치에 기초하여 상기 픽셀 영역의 이미지 분류를 수행하는 단계; 및
상기 프레임의 상기 이미지 분류에 기초하여 연산들을 적용함으로써 소스 비디오 이미지의 상기 픽셀 영역의 상기 이미지 품질을 개선하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 1 항에 있어서,
상기 소스 비디오 이미지의 프레임의 상기 이미지 품질을 개선하는 단계는, 잡음 감소 단계를 수행하고, 신호 천이 향상 단계를 수행하고, 적응형 스케일링 단계를 수행하고, 디테일 (detail) 개선 단계를 수행하며, 콘트라스트 개선 단계를 수행하는 것으로 이루어진 그룹으로부터 선택된 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 1 항에 있어서,
상기 픽셀 영역은 상기 프레임과 동일한 영역을 차지하는, 적응형 이미지 개선을 위한 방법.
제 1 항에 있어서,
상기 픽셀 영역은 풀 (full) 프레임내에 포함된 임의의 서브 프레임으로서 상기 풀 프레임으로부터 선택되고, 서브 프레임은 상기 프레임내의 단일 픽셀로부터 상기 풀 프레임까지의 임의의 사이즈일 수 있는, 적응형 이미지 개선을 위한 방법.
제 4 항에 있어서,
상기 소스 비디오 이미지에서의 프레임의 이미지 품질을 측정하는 단계는,
하나 이상의 대역들로 소스 비디오 이미지에서의 상기 픽셀 영역의 스펙트럼 분해를 수행하는 단계;
상기 픽셀 영역의 스펙트럼 대역들의 히스토그램 (histogram) 을 측정하고 평가하는 단계;
상기 픽셀 영역에 이미지 품질 클래스를 할당하는 단계; 및
잡음 감소 단계, 신호 천이 향상 단계, 적응형 스케일링 단계, 디테일 개선 단계, 및 콘트라스트 개선 단계로 이루어진 그룹으로부터 선택된 하나 이상의 이미지 개선 단계들의 파라미터들을 조정하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 픽셀 영역의 스펙트럼 분해를 수행하는 단계는,
N개의 스펙트럼 대역들의 커버리지에 대해 M개의 스펙트럼 대역 필터들의 수로 필터링하는 단계로서, N 은 1 이상의 수이고, M 은 N 이하의 수인, 상기 필터링하는 단계;
상기 M개의 필터들에 의한 필터링을 위해 상기 프레임을 M개의 서브 프레임들로 세그먼트화하는 단계;
모든 N개의 스펙트럼 대역들이 측정될 때까지 다음의 이미지 프레임을 필터링하기 위해 상기 M개의 필터들의 상기 파라미터들 및 측정 히스토그램들을 스펙트럼 대역들의 세트로 변화시키는 단계;
각 대역이 이미지 프레임에서 모든 서브 프레임들을 통해 시퀀스화될 때까지 상기 서브 프레임들상에서 필터 스펙트럼 대역을 순차적으로 시프트하는 단계; 및
복수의 프레임에 대한 각 스펙트럼 대역의 상기 히스토그램을 누산하는 단계를 더 포함하는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 스펙트럼 대역들의 히스토그램을 측정하고 평가하는 단계는, 대역 측정 임계값 전력을 사용하는 단계를 포함하고, 상기 대역 측정 임계값 전력은, 잡음 전력을 필터링하기 위한 절대 전력 레벨, 및 스펙트럼 대역 히스토그램으로부터의 양자화 유도 대역 전력으로 이루어진 그룹으로부터 선택되는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 이미지 품질 클래스를 할당하는 단계는 분류 임계값을 사용하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 8 항에 있어서,
상기 분류 임계값은 하나 이상의 스펙트럼 대역들에서의 절대 스펙트럼 대역 전력인, 적응형 이미지 개선을 위한 방법.
제 8 항에 있어서,
상기 분류 임계값은 하나 이상의 스펙트럼 대역들의 가중된 전력에 대한 상대적 스펙트럼 대역 전력이고, 상기 분류 임계값은 밝기 및 콘트라스트에 독립적인, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 소스 비디오 이미지에서의 프레임의 스펙트럼 분해를 수행하는 단계는, YCrCb 컬러 공간에서 Y, Cr, 및 Cb 이미지 컴포넌트들 중 하나 이상의 분해를 더 포함하는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 픽셀 영역에서 스펙트럼 분해를 수행하는 단계는, HSI 컬러 공간에서 H, S, 및 I 이미지 컴포넌트들 중 하나 이상의 컴포넌트들의 분해를 포함하는, 적응형 이미지 개선을 위한 방법.
제 1 항에 있어서,
상기 소스 비디오에서의 프레임에서 픽셀 영역의 이미지 품질을 측정하는 단계는,
상기 픽셀 영역의 HSI 컬러 공간에서의 I 컴포넌트 또는 YCrCb 컬러 공간에서의 Y 컴포넌트의 휘도 히스토그램을 수집하는 단계;
상기 픽셀 영역에 밝기 클래스 및 콘트라스트 클래스를 할당하는 단계; 및
상기 휘도 히스토그램에 기초하여 이미지 컬러 컴포넌트들의 이득 및 오프셋을 조정하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 1 항에 있어서,
상기 소스 비디오의 프레임의 이미지 품질을 측정하는 단계는,
소스 비디오 이미지에서의 상기 픽셀 영역의 HSI 컬러 공간에서 I 컴포넌트의 휘도 히스토그램을 수집하는 단계;
상기 픽셀 영역에 밝기 클래스 및 콘트라스트 클래스를 할당하는 단계; 및
상기 밝기 클래스 및 상기 콘트라스트 클래스에 따라 이미지 컬러 컴포넌트들의 이득 및 오프셋을 조정하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 1 항에 있어서,
상기 소스 비디오 이미지에서의 프레임의 이미지 품질을 측정하는 단계는,
상기 소스 비디오 이미지에서의 상기 프레임의 비활성 경계들을 측정하는 단계; 및
교호 이미지 개선 단계를 위해 상기 소스 비디오 이미지에서의 상기 프레임의 비활성 영역을 할당하는 단계를 더 포함하는, 적응형 이미지 개선을 위한 방법.
제 15 항에 있어서,
상기 교호 이미지 개선 단계는, 잡음 감소 단계, 신호 천이 향상 단계, 디테일 개선 단계, 및 적응형 스케일링 단계로 이루어진 그룹으로부터 선택된 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 1 항에 있어서,
상기 픽셀 영역의 이미지 품질을 개선하는 단계는 잡음 감소 레벨을 갖는 잡음 감소 단계를 수행하는 단계를 포함하고, 상기 잡음 감소 레벨은 고해상도 콘텐츠에 대한 감소된 강도를 갖고, 저해상도 콘텐츠에 대한 증가된 강도를 갖는, 적응형 이미지 개선을 위한 방법.
제 15 항에 있어서,
상기 픽셀 영역의 이미지 품질을 개선하는 단계는 잡음 감소 레벨을 갖는 잡음 감소 단계를 포함하고, 또한, 상기 잡음 감소 레벨은 상기 비활성 영역에서 증가되고, 그렇지 않으면 이미지 분류에 적응되는, 적응형 이미지 개선을 위한 방법.
제 15 항에 있어서,
상기 픽셀 영역의 이미지 품질을 개선하는 단계는 신호 천이 향상 단계 및 디테일 개선 단계를 포함하고, 상기 개선은 상기 비활성 영역에서 감소되고, 그렇지 않으면, 이미지 분류에 적응되는, 적응형 이미지 개선을 위한 방법.
제 15 항에 있어서,
상기 픽셀 영역의 이미지 품질을 개선하는 단계는, 적응형 스케일링 단계를 포함하여서, 잡음을 감소시키기 위해 상기 비활성 영역에서 스케일러 대역폭이 감소되고, 활성 이미지에 대한 디스플레이된 면적을 최적화하도록 스케일 팩터가 조정되는, 적응형 이미지 개선을 위한 방법.
제 15 항에 있어서,
상기 프레임의 이미지 품질을 개선하는 단계는 콘트라스트 개선 단계를 포함하여서, 휘도 측정 및 밝기 및 콘트라스트 개선이 상기 비활성 영역에서 디스에이블되는, 적응형 이미지 개선을 위한 방법.
제 1 항에 있어서,
상기 프레임의 이미지 분류를 수행하는 단계는, 이전에 저장된 소프트웨어를 실행하는 마이크로프로세서상에서 구현되는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 픽셀 영역에 이미지 품질 클래스를 할당하는 단계는, 낮은 콘트라스트 및 로컬 콘텐츠에 대한 더 큰 감도를 제공하여서, 로컬 이미지 개선을 가능하게 하는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 픽셀 영역에 이미지 품질 클래스를 할당하는 단계는, 플랫 픽셀 영역, 디테일한 픽셀 영역, 및 에지 구역 픽셀 영역으로 이루어진 그룹으로부터 선택된 이미지 품질을 할당하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 픽셀 영역에 이미지 품질 클래스를 할당하는 단계는, 컬러 컴포넌트 마다 넓은 대역폭, 중간 대역폭, 및 낮은 대역폭으로 이루어진 그룹으로부터 선택된 이미지 품질 클래스를 할당하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 픽셀 영역의 선택된 부분에 이미지 품질 클래스를 할당하는 것은, 높은 디테일, 중간 디테일, 및 낮은 디테일로 이루어진 그룹으로부터 이미지 품질 클래스를 선택하는 것을 포함하는, 적응형 이미지 개선을 위한 방법.
제 5 항에 있어서,
상기 픽셀 영역에 이미지 품질 클래스를 할당하는 단계는, 높은 디테일, 중간 디테일, 및 낮은 디테일로 이루어진 그룹으로부터 이미지 품질 클래스를 선택하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
적응형 이미지 개선을 위한 방법으로서,
소스 비디오 이미지에서의 프레임을 P개의 픽셀 영역들로 분할하는 단계를 포함하고,
P는 1 보다 크고 출력 디스플레이에서의 픽셀들의 총 수 만큼 큰 수이고,
상기 P개의 픽셀 영역들의 각 하나에 대해, 상기 방법은,
소스 비디오 이미지의 프레임에서 상기 픽셀 영역의 이미지 품질을 측정하는 단계;
상기 픽셀 영역의 선택된 부분들에 이미지 품질 클래스를 할당하는 단계; 및
이미지 분류에 따라 소스 비디오 이미지의 프레임에서 상기 픽셀 영역들 각각을 개선하는 단계를 더 포함하는, 적응형 이미지 개선을 위한 방법.
제 28 항에 있어서,
상기 소스 비디오 이미지에서의 픽셀 영역의 이미지 품질 클래스를 측정하는 단계는,
경계들에 의해 제한된 상기 소스 비디오 이미지에서 픽셀 영역을 갖는 단계;
상기 선택된 픽셀 영역의 상기 경계들을 평가하기 위해 박스 검출기 스테이지를 사용하는 단계;
상기 선택된 픽셀 영역의 스펙트럼 분해를 수행하는 단계;
상기 선택된 픽셀 영역에서의 휘도 컴포넌트의 히스토그램을 평가하는 단계; 및
상기 스펙트럼 분해 및 상기 휘도 히스토그램에 기초하여 상기 선택된 픽셀 영역의 상기 이미지 품질을 측정하는 단계를 포함하는, 적응형 이미지 개선을 위한 방법.
적응형 이미지 개선을 위한 시스템으로서,
소스 비디오 이미지에서의 프레임의 영역의 이미지 품질을 측정하기 위한 회로;
이미지 품질 측정에 기초하여 상기 영역의 이미지 분류를 수행하기 위한 회로; 및
상기 프레임의 상기 이미지 분류에 기초하여 연산들을 적용함으로써 상기 소스 비디오 이미지에서의 상기 영역의 상기 이미지 품질을 개선하기 위한 회로를 포함하는, 적응형 이미지 개선을 위한 시스템.
제 30 항에 있어서,
상기 소스 비디오 이미지에서의 프레임의 영역의 이미지 품질을 측정하기 위한 회로는,
상기 소스 비디오 이미지에서의 상기 영역의 경계들을 평가하기 위한 박스 검출 회로;
상기 소스 비디오 이미지에서의 상기 영역의 스펙트럼 측정을 수행하기 위한 회로;
상기 소스 비디오 이미지에서의 상기 영역의 휘도 히스토그램을 평가하기 위한 회로;
상기 스펙트럼 측정 및 상기 휘도 히스토그램에 기초하여 상기 소스 비디오 이미지에서의 상기 영역의 상기 이미지 품질을 측정하기 위한 회로; 및
상기 소스 비디오 이미지에서의 상기 영역의 선택된 부분들에 이미지 분류를 할당하는 회로를 포함하는, 적응형 이미지 개선을 위한 시스템.
제 30 항에 있어서,
상기 이미지 분류에 따라, 상기 소스 비디오 이미지에서의 상기 영역에 대한 잡음 감소를 수행하기 위한 회로;
상기 이미지 분류에 따라, 상기 잡음 감소된 영역에 대한 신호 천이 향상을 수행하기 위한 회로;
상기 이미지 분류 및 박스 검출 회로에 의해 평가된 박스 경계들에 따라, 상기 신호 천이 향상된 영역에 대한 적응형 스케일링을 수행하기 위한 회로;
상기 이미지 분류에 따라, 상기 적응적으로 스케일링된 영역에 대한 디테일 개선을 수행하기 위한 회로; 및
상기 디테일 개선된 영역에 대한 콘트라스트 개선을 수행하기 위한 회로를 더 포함하는, 적응형 이미지 개선을 위한 시스템.