KR101059403B1 - 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터 - Google Patents

이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터 Download PDF

Info

Publication number
KR101059403B1
KR101059403B1 KR1020097004675A KR20097004675A KR101059403B1 KR 101059403 B1 KR101059403 B1 KR 101059403B1 KR 1020097004675 A KR1020097004675 A KR 1020097004675A KR 20097004675 A KR20097004675 A KR 20097004675A KR 101059403 B1 KR101059403 B1 KR 101059403B1
Authority
KR
South Korea
Prior art keywords
filter
image information
sharpening
parameter values
sharpening filter
Prior art date
Application number
KR1020097004675A
Other languages
English (en)
Other versions
KR20090039824A (ko
Inventor
샤오윈 장
친추안 앤드류 치우
데니스 류
빅터 에이치 찬
신 중
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090039824A publication Critical patent/KR20090039824A/ko
Application granted granted Critical
Publication of KR101059403B1 publication Critical patent/KR101059403B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G06T5/70—
    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H04N1/4092—Edge or detail enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Abstract

본 개시물은, 비디오 또는 스틸 이미지와 같이, 캡쳐링된 이미지 정보의 품질을 향상시키기 위한 적응적 필터링 기술들을 설명한다. 이미지 센서는, 이미지 정보를 캡쳐링하고, 이미지 정보의 현재의 노출 지수 및 현재의 스케일링 팩터에 기초하여 복수의 파라미터 값들을 결정한다. 적응적 공간 이미지 필터는, 수평의 선명화 필터 및 수직의 선명화 필터 양자를 포함하고, 이미지 센서에 의해 결정된 복수의 파라미터 값들에 기초하여 수평의 선명화 필터 및 수직의 선명화 필터를 구성, 즉, 적응시킨다. 적응적 공간 이미지 필터는, 이미지 정보의 적어도 하나의 채널에 수평의 선명화 필터 및 수직의 선명화 필터를 적용하여 필터링된 이미지 정보를 생성한다.
Figure R1020097004675
파라미터 값, 수평의 선명화 필터, 수직의 선명화 필터, 이미지 정보

Description

이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터{ADAPTIVE SPATIAL IMAGE FILTER FOR FILTERING IMAGE INFORMATION}
기술 분야
본 개시물은, 이미지 캡쳐 디바이스에 관한 것으로, 더 상세하게는, 이미지 캡쳐 디바이스 내에서의 이미지 정보의 필터링에 관한 것이다.
배경
디지털 스틸 사진 카메라와 같은 이미지 캡쳐 디바이스에 의해 캡쳐링된 이미지 정보는, 이미지 센서의 물리적 한계, 광원 (illumination source) 으로부터의 간섭 등의 결과로서 잡음의 영향을 받기 쉽다. 예를 들어, 이동 무선 통신 디바이스와 같은 다목적 이동 디바이스 내의 소형 이미지 캡쳐 디바이스에 대한 요구의 증가로, 보다 컴팩트한 이미지 센서 모듈이 필요해진다. 이미지 센서 모듈의 사이즈 감소는, 이미지 정보 내에서 캡쳐링된 잡음의 양을 상당히 증가시킨다.
이미지 정보 필터링은, 잡음을 제거 또는 감소시키고 렌더링된 이미지의 품질을 향상시키기 위해 이용된 공통의 프로세스이다. 캡쳐링된 이미지 정보에 대한 저역 통과 필터링의 적용은, 이미지 내의 잡음의 양을 감소시키지만, 이는 또한 고주파수 신호를 포함하는 선명한 에지 (sharp edge) 를 소멸 (destroy) 시킴으로써 이미지를 흐리게 하는 경향이 있다. 캡쳐링된 이미지 데이터에 대한 고역 통과 필터링의 적용은, 선명한 에지 및 콘트라스트를 높이지만, 불가피하게 잡음을 또한 높인다.
개요
본 개시물은, 비디오 또는 스틸 이미지와 같이, 캡쳐링된 이미지 정보의 품질을 향상시키기 위한 적응적 필터링 기술들을 설명한다. 예를 들어, 다목적 이동 디바이스 내의 이미지 캡쳐 디바이스는, 이러한 디바이스에 의해 캡쳐링된 이미지의 품질을 향상시키기 위해 적응적 필터링 기술들을 이용할 수도 있다. 본 개시물은, 캡쳐링된 이미지 정보와 관련된 현재의 노출 레벨 (current exposure level) 및 현재의 스케일링 레벨 (current scaling level) 에 적응하는 적응적 필터링 기술들을 설명한다.
이미지 캡쳐 디바이스는, 이미지 정보를 캡쳐링하는 이미지 센서, 및 본 개시물에서 설명된 적응적 필터링 기술들에 따라 이미지 정보의 품질을 향상시키는 적응적 공간 이미지 필터를 포함할 수도 있다.
적응적 공간 이미지 필터는, 이미지 센서에 의해 캡쳐링된 이미지 정보의 현재의 노출 지수 레벨 및 현재의 스케일링 팩터 레벨에 기초하여 조정되는 일 세트의 파라미터 값들을 이용한다.
적응적 공간 이미지 필터는, 수평의 선명화 필터 및 수직의 선명화 필터 양자를 포함하는데, 그것은 캡쳐링된 이미지 정보의 적어도 하나의 채널에 적용된다. 수평의 선명화 필터와 수직의 선명화 필터 각각은, 저역 통과 성분 및 고역 통과 성분을 포함할 수도 있는데, 이들 각각은, 그 선명화 필터들의 적용으로부터 발생하는 어둡게 된 에지 (darkened dege) 주위에 후광 효과 (halo effect) 또는 잔 여 백색 윤곽 (residual white outline) 을 줄이도록 구성가능할 수도 있다.
적응적 공간 이미지 필터는 또한, 수평으로 및 수직으로 선명화된 이미지 정보를 클램핑 및 조정함으로써 수평의 선명화 필터 및 수직의 선명화 필터로부터의 출력을 정련 (refine) 할 수도 있다. 캡쳐링된 이미지 정보에 대해 적응적 공간 이미지 필터를 적용한 결과로서, 이미지 정보는, 잡음 및 다른 이미지 이상 (anomaly) 이 상당히 감소되도록 정련될 수도 있다.
일 실시형태에서, 본 개시물은, 이미지 정보의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하여 하나 이상의 파라미터 값들을 결정하는 단계, 파라미터 값들에 기초하여 수평의 선명화 필터를 구성하는 단계, 파라미터 값들에 기초하여 수직의 선명화 필터를 구성하는 단계, 및 필터링된 이미지 정보를 생성하기 위해, 이미지 정보의 적어도 하나의 채널에 수평의 선명화 필터 및 수직의 선명화 필터를 적용하는 단계를 포함하는 방법을 제공한다.
다른 실시형태에서, 본 개시물은, 이미지 정보를 캡쳐링하는 이미지 센서, 및 수평의 선명화 필터 및 수직의 선명화 필터를 포함하는 적응적 공간 이미지 필터를 포함하는 디바이스를 제공하며, 이 적응적 공간 이미지 필터는, 이미지 정보의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하는 하나 이상의 파라미터 값들에 기초하여 수평의 선명화 필터 및 수직의 선명화 필터를 구성하고, 필터링된 이미지 정보를 생성하기 위해, 이미지 정보의 적어도 하나의 채널에 수평의 선명화 필터 및 수직의 선명화 필터를 적용한다.
본 개시물에서 설명된 기술들은, 하드웨어, 소프트웨어, 펌웨어, 또는 이들 의 임의의 조합에서 구현될 수도 있다. 소프트웨어에서 구현된다면, 그 소프트웨어는, 디지털 신호 프로세서 (DSP) 와 같이, 프로세서에서 실행될 수도 있다. 이 기술들을 실행시키는 소프트웨어는, 컴퓨터 판독가능 매체 내에 초기 저장되고 프로세서에서 로딩 및 실행될 수도 있다. 따라서, 본 개시물은 또한, 적응적 필터링 기술들을 수행하기 위한 명령들을 포함하는 컴퓨터 판독가능 매체를 계획한다.
본 개시물의 하나 이상의 실시형태들에 대한 세부사항은, 첨부 도면들 및 이하 설명부에서 설명된다. 본 개시물의 다른 특징들, 목적들, 및 이점들은, 설명부 및 도면들로부터, 그리고 특허청구범위로부터 명백해질 것이다.
도면의 간단한 설명
도 1 은, 이미지 정보를 캡쳐링하기 위한 예시적인 이미지 캡쳐 디바이스를 나타낸 블록도이다.
도 2 는, 도 1 의 이미지 캡쳐 디바이스를 더욱 상세히 나타낸 블록도이다.
도 3 은, 이미지 정보의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하여 이미지 정보를 필터링할 때의 적응적 공간 이미지 필터의 예시적인 동작을 나타낸 흐름도이다.
도 4a 및 도 4b 는, 선형 보간을 통해 복수의 파라미터 값들을 결정할 때의 도 2 의 이미지 센서의 예시적인 동작을 나타낸 그래프들이다.
도 5a 는, 선명화를 위해 일 디멘젼에서의 고역 통과 필터에 대한 계수들을 나타낸 그래프이다.
도 5b 는, 평활화를 위해 다른 디멘젼에서의 저역 통과 필터에 대한 계수들을 나타낸 그래프이다.
도 6a 및 도 6b 는, 예시적인 이미지 정보 및 필터링된 이미지 정보를 각각 나타낸 이미지들이다.
도 7 은, 도 2 의 수직의 선명화 필터 또는 수평의 선명화 필터 중 어느 하나에 대한 파라미터 세트를 나타낸 그래프이다.
도 8a 및 도 8b 는, 예시적인 이미지 정보 및 필터링된 이미지 정보를 각각 나타낸 이미지들이다.
상세한 설명
도 1 은, 이미지 정보를 캡쳐링하기 위한 예시적인 이미지 캡쳐 디바이스 (10) 를 나타낸 블록도이다. 도 1 에 나타낸 것처럼, 이미지 캡쳐 디바이스 (10) 는, 이미지 센서 (12), 적응적 공간 이미지 필터 (14), 이미지 프로세서 (16), 및 이미지 저장 디바이스 (18) 를 포함한다. 도 1 에 도시된 특징부들은, 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트의 임의의 적절한 조합에 의해 실현될 수도 있다. 유닛들로서의 상이한 특징부들의 서술은, 이미지 캡쳐 디바이스 (10) 의 상이한 기능적 양태들을 강조하도록 의도되며, 이는, 이러한 유닛들이 분리된 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트에 의해 실현되어야 하는 것을 반드시 의미하는 것은 아니다. 오히려, 하나 이상의 유닛들과 관련된 기능성은 공통의 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트 내에 통합될 수도 있다.
일 예시적인 실시형태에서, 적응적 공간 이미지 필터 (14) 는, 이미지 센서 (12) 에 의해 획득된 이미지 정보와 관련된 화소 값들에 적용되는 5×5 공간 필터에 기초할 수도 있다. 5×5 공간 필터는, 일 디멘젼에서 고역 통과 필터를 제공하고 다른 디멘젼에서 저역 통과 필터를 제공한다. 이런 적응적 공간 이미지 필터 (14) 의 설계는, 효율성을 제공하고, 에지에 약간의 잡음이 있을 때에도 밝고 깨끗한 (clear and clean) 선명화 효과를 야기할 수도 있는데, 이 약간의 잡음은 렌즈 및 센서 품질로 인해 소형 카메라에 의해 획득된 이미지에 대해서는 공통적이다. 적응적 공간 이미지 필터 (14) 는, 조정가능한 잡음 감소 제어, 수평 및 수직의 선명화 정도 제어, 및 최대 선명화 효과 제어를 제공할 수도 있다. 또한, 적응적 공간 이미지 필터 (14) 의 효율성은, 조명광 강도, 이미지 사이즈, 및 스케일링 팩터에 따라 제어될 수 있다. 특히, 적응적 공간 이미지 필터 (14) 는, 이미지 센서 (12) 에 의해 획득된 이미지 정보에 대한 현재의 노출 레벨 및 현재의 스케일링 레벨에 적응할 수도 있다.
적응적 공간 이미지 필터 (14) 가 잡음의 감소를 돕고 에지들의 선명화를 돕기 때문에, 그 적응적 공간 이미지 필터 (14) 는, 이미지 센서 (12) 에 의해 획득된 이미지에 대한 사후-프로세싱으로서 제공될 수도 있다. 일부 실시형태들에서, 적응적 공간 이미지 필터 (14) 는, 이미지 압축 전에 휘도 (Y) 채널에만 적용될 수도 있다. 필터 파라미터들은, 이미지 센서 (12) 에 의해 캡쳐링된 이미지의 조건들에 기초하여 런타임에서 생성될 수도 있다. 필터 파라미터들은, Y 채널을 프로세싱하고, 공간적으로 필터링된 Y 신호들을 이미지 프로세서 (16) 로 출력하는 적응적 공간 이미지 필터 (14) 로 전송된다. 필터 Y 채널은, 예를 들어, JPEG 압축을 이용하여, 원시의 CbCr 채널들로 압축될 수도 있다. 상이한 적응적 공간 필터 파라미터들은, 현재의 노출 레벨 및 현재의 스케일링 레벨과 같이, 상이한 조건들에 따라 생성될 수도 있다. 현재의 노출 레벨은, 조명 상태 (lighting condition) 를 나타내고, 현재의 스케일링 레벨은, 이미지 업-사이즈 (up-size) 또는 다운-사이즈 (down-size) 비율, 즉, 줌 팩터를 나타낸다. 일반적으로, 적응적 공간 필터 파라미터들은, 평활화 정도 (smoothing degree), 선명화 정도, 잡음 레벨 및 최대 선명화 레벨을 포함한다.
이미지 캡쳐 디바이스 (10) 는, 디지털 비디오 카메라, 디지털 스틸 이미지 카메라, 또는 양자의 조합과 같은 디지털 카메라일 수도 있다. 이미지 캡쳐 디바이스 (10) 는, 독립형 카메라와 같은 독립형 디바이스일 수도 있고, 또는, 무선 통신 디바이스과 같은 또 다른 다목적 디바이스 내에 통합될 수도 있다. 일 예로서, 이미지 캡쳐 디바이스 (10) 는, 소위, 카메라폰 또는 비디오폰을 형성하기 위해 이동 전화기 내에 통합될 수도 있다. 이미지 캡쳐 디바이스 (10) 는 바람직하게, 컬러 영상, 흑백 영상, 또는 양자를 캡쳐링하도록 구비된다. 본 개시물에 있어서, "이미지 (image)", "영상 (imagery)" 의 용어, 또는 그와 유사한 용어가 비디오나 스틸 사진을 상호교환가능하게 나타낼 수도 있다.
이미지 센서 (12) 는, 관심 장면에 대한 이미지 정보를 획득한다. 이미지 센서 (12) 는, 예를 들어, 행과 열로 배열된 2 차원 어레이의 개별 이미지 센서 엘리먼트들을 포함할 수도 있다. 이미지 센서 (12) 의 이미지 센서 엘리먼트들 각각은, 단일의 화소와 관련될 수도 있다. 즉, 이미지 센서 엘리먼트들과 화소들 간에는 일-대-일 대응이 있을 수도 있다. 그러나, 일부 실시형태들에서는, 2 개 이상의 이미지 센서 엘리먼트가 각각의 화소와 관련될 수도 있다. 이미지 센서 (12) 는, 예를 들어, 상보적 금속-산화물 반도체 (CMOS) 센서, 전하 결합된 디바이스 (CCD) 센서 등과 같은 고체 상태 센서들의 어레이를 포함할 수도 있다.
또한, 이미지 센서 (12) 는, 이미지 센서 엘리먼트들을 커버하여 관심 장면의 컬러 성분들을 분리하는 2 차원 어레이의 컬러 필터들을 포함할 수도 있다. 이미지 센서 (12) 는, 예를 들어, 베이어 패턴 (bayer pattern) 으로 배열된 적색, 녹색, 및 청색 필터들의 어레이, 즉, 적색 컬러 필터와 녹색 컬러 필터를 교번하는 행과, 청색 컬러 필터와 녹색 컬러 필터를 교번하는 행을 교번하는 컬러 필터들의 반복 배열을 포함할 수도 있다. 이미지 센서 (12) 는, 청록색, 자홍색, 황색, 및 흑색 (CMYK) 컬러 필터들과 같은 다른 컬러 필터들을 이용할 수도 있다. 부가적으로, 이미지 센서 (12) 는, 컬러 필터들을 베이어 패턴 외의 패턴들로 배열할 수도 있다.
이미지 센서 (12) 내의 이미지 센서 엘리먼트들은, 이미지 정보를 캡쳐링하기 위해 이미지 장면에 대해 노출된다. 이미지 센서 (12) 의 이미지 센서 엘리먼트들 각각은, 예를 들어, 특정한 화소 위치에 있는 장면의 광의 강도를 나타내는 강도 값을 캡쳐링할 수도 있다. 이미지 센서 (12) 의 이미지 센서 엘리먼트들 각각은, 센서들을 커버하는 컬러 필터들로 인해, 하나의 컬러, 또는 컬러 대역에 대해서만 민감할 수도 있다. 따라서, 이미지 센서 (12) 의 이미지 센서 엘리먼 트들 각각은, 3 개의 컬러들 중 단 하나에 대한 이미지 정보 (예를 들어, 강도 값들) 를 캡쳐링할 수도 있다.
통상적으로, 이미지 센서 (12) 는 또한, 하드웨어, 소프트웨어, 또는 양자를 통해, 캡쳐링된 컬러 필터링 이미지 정보를 YCbCr (luminance, chromatic blue, chromatic red) 컬러 공간으로 바꾸는 알고리즘을 이용한다. 이미지 센서 (12) 는 또한, 캡쳐링된 이미지 정보의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하여 복수의 파라미터들을 결정할 수도 있다. 현재의 노출 레벨은, 이미지가 캡쳐링될 때 이미지 센서 (12) 가 노출되는 조명 강도의 양을 나타내는 노출 지수 값으로서 표현될 수도 있다. 현재의 스케일링 레벨은, 이미지 센서 (12) 에 의해 획득된 이미지의 업스케일링 (upscaling) 또는 다운스케일링 (downscaling) 의 양, 예를 들어, 줌 팩터를 나타내는 스케일링 팩터로서 표현될 수도 있다.
적응적 공간 이미지 필터 (14) 는, 이미지 센서 (12) 에 의해 캡쳐링된 이미지 정보를 필터링한다. 특히, 적응적 공간 이미지 필터 (14) 는, 이미지 센서 (12) 에 의해 캡쳐링된 이미지 정보의 적어도 하나의 채널, 즉, Y, Cb, 또는 Cr 채널들 중 하나 이상을 필터링한다. 적응적 공간 이미지 필터 (14) 는, 이미지 센서 (12) 에 의해 특정된 하나 이상의 파라미터들에 기초하여, 그 자체를 적응, 즉, 구성할 수도 있다. 예시적인 파라미터들은, 평활화 정도 (p), 수평의 선명화 정도 (kH), 수직의 선명화 정도 (kV), 선명화 감산 (subtraction) 임계값 (e1), 최대 포지티브 선명화 한계 (maximum positive sharpening limit; e2), 및 최대 네 거티브 선명화 한계 (maximum negative sharpening limit; e3) 를 포함한다. 수평의 선명화 필터 및 수직의 선명화 필터는, 필터 함수들 (FH 및 FV) 로 나타내진다.
일단 구성되면, 적응적 공간 이미지 필터 (14) 는 먼저, YCbCr-인코딩된 이미지 정보의 Y (즉, 휘도) 채널에 평활화 필터를 적용하여 평활화된 이미지 정보를 생성할 수도 있다. 일부 실시형태들에서, 평활화 필터는 3×3 평활화 필터일 수도 있다. 또한, 적응적 공간 이미지 필터 (14) 는, 평활화된 이미지 정보의 Y 채널에 수평의 선명화 필터를 적용하여 수평으로 선명화된 이미지 정보를 생성할 수도 있다. 또한, 적응적 공간 이미지 필터 (14) 는, 평활화된 이미지 정보의 Y 채널에 수직의 선명화 필터를 적용하여 수직으로 선명화된 이미지 정보를 생성할 수도 있다. 일부 실시형태들에서는, 수평의 선명화 필터 및 수직의 선명화 필터의 적용이 동시에 발생할 수도 있고, 다른 실시형태들에서는, 이러한 수평의 선명화 필터 및 수직의 선명화 필터의 적용이 순차적으로 발생할 수도 있다.
적응적 공간 이미지 필터 (14) 는, 최대 포지티브 선명화 한계 (e2) 및 최대 네거티브 선명화 한계 (e3) 에 따라 수평으로 및 수직으로 선명화된 이미지 정보를 클램핑할 수도 있을 뿐만 아니라, 수평으로 및 수직으로 선명화된 이미지 정보 양자로부터 선명화 감산 임계값 (e1) 을 감산할 수도 있다. 클램핑 및 감산 후, 적응적 공간 이미지 필터 (14) 는, 평활화된 이미지 정보, 수평으로 선명화된 이미 지 정보, 및 수직으로 선명화된 이미지 정보를 합산하여, 필터링된 이미지 정보를 생성할 수도 있다. 이런 방식으로, 적응적 공간 이미지 필터 (14) 는, 이하 더 상세히 설명되는 것처럼, 잡음을 제거하고 동시에 이미지를 개선시킬 수도 있다. 캡쳐링된 이미지 정보에 대해 적응적 공간 이미지 필터를 적용한 결과로서, 이미지 정보는, 적응적 공간 이미지 필터가 종래에는 이미지를 더욱 일그러뜨리는데 이용되었을 평활화 필터 및 선명화 필터 양자를 적용하더라도 잡음 및 다른 이미지 이상이 상당히 감소되도록 정련될 수도 있다.
이미지 프로세서 (16) 는, 적응적 공간 이미지 필터 (14) 로부터 필터링된 이미지 정보를 수신하고, 그 필터링된 이미지 정보에 대해 임의의 필요한 프로세싱을 수행한다. 이미지 프로세서 (16) 는, 예를 들어, 이미지 센서 (12) 에 의해 캡쳐링된 이미지 정보의 크로핑 (cropping), 압축, 이미지 개선, 또는 다른 프로세싱을 수행할 수도 있다. 이미지 프로세서 (16) 및 적응적 공간 이미지 필터 (14) 는, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 집적 회로들 (ASICs), 필드 프로그램가능한 게이트 어레이들 (FPGAs), 또는 임의의 다른 등가의 개별 또는 통합된 로직 회로에 의해 실현될 수도 있다. 일부 실시형태들에서, 적응적 공간 이미지 필터 (14) 및 이미지 프로세서 (16) 는, MPEG-2, MPEG-4, ITU H.263, ITU H.264, JPEG, GIF, TIFF 등과 같이, 특정 인코딩 기술 또는 포맷에 따라 이미지 정보를 인코딩하는 인코더-디코더 (CODEC) 의 일부를 형성할 수도 있다.
이미지 프로세서 (16) 는, 필터링된 이미지 정보를 이미지 저장 디바이스 (18) 내에 저장한다. 이미지 프로세서 (16) 는, 미가공 이미지 정보, 프로세싱된 이미지 정보, 또는 인코딩된 정보를 이미지 저장 디바이스 (18) 내에 저장할 수도 있다. 이미지 정보에 오디오 정보가 수반된다면, 그 오디오 정보는 또한 비디오 정보와 별개로 또는 비디오 정보와 함께 이미지 저장 디바이스 (18) 내에 저장될 수도 있다. 이미지 저장 디바이스 (18) 는, ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable ROM), 또는 FLASH 메모리와 같이, 또는 자기 데이터 저장 디바이스 또는 광학 데이터 저장 디바이스와 같이, 임의의 휘발성 또는 불휘발성 메모리 또는 저장 디바이스를 포함할 수도 있다.
도 2 는, 이미지 캡쳐 디바이스 (10) 를 더 상세히 도시한 블록도이다. 상기 설명한 것처럼, 이미지 캡쳐 디바이스 (10) 는, 이미지 센서 (12) 로부터의 YCbCr-인코딩된 이미지 정보의 Y 채널에 대해 이미지 프로세싱 동작들을 수행하는 적응적 공간 이미지 필터 (14) 를 포함한다. 도 2 에 도시된 것처럼, 적응적 공간 이미지 필터 (14) 는, 평활화 필터 (20), 수평의 선명화 필터 (22A), 수직의 선명화 필터 (22B), 클램프들 (24A, 24B) ("클램프들 (24)"), 감산기들 (26A, 26B) ("감산기들 (26)"), 합산 유닛 (28) 을 포함한다. 유닛들로서의 상이한 특징부들의 서술은, 적응적 공간 이미지 필터 (14) 의 상이한 기능적 양태들을 강조하도록 의도되며, 이는, 이러한 유닛들이 분리된 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트에 의해 실현되어야 하는 것을 반드시 의미하는 것은 아니다. 오히려, 하나 이상의 유닛들과 관련된 기능성은 공통의 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트 내에 통합될 수도 있다.
상기 설명된 것처럼, 이미지 센서 (12) 는, 캡쳐링된 이미지 정보 (30A) 의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하여 복수의 파라미터 값들 (19) 을 결정한다. 따라서, 도 2 의 예에서, 이미지 센서 (12) 는, 적절한 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트를 포함하여 파라미터 값들 (19) 을 결정한다. 대안으로, 파라미터 값들 (19) 의 결정은, 이미지 센서 (12) 외부의 상이한 하드웨어 또는 소프트웨어 유닛에서 수행될 수도 있다. 이미지 센서 (12) 내에서의 파라미터 값들 (19) 의 결정이 예시를 목적으로 설명될 것이다.
이미지 센서 (12) 는, 도 4a 및 도 4b 에서의 차트들에 나타낸 것처럼 커브들에 따라 선형 보간을 수행할 수도 있다. 커브들에 의해 나타내진 보간 값들은, 예를 들어, 함수로부터 유도되거나, 다른 방식으로 제시된 LUT (lookup table) 내에 저장될 수도 있다. 선형 보간을 수행할 때, 이미지 센서 (12) 는, 도 4a 의 차트에 따라 현재의 노출 레벨에 기초하여 파라미터 값들 (19) 을 보간할 수도 있다. 이미지 센서 (12) 는, 캡쳐링된 이미지 정보 (30A) 의 특성들에 기초하여 현재의 노출 레벨을 계산한다. 이 현재의 노출 레벨로부터, 이미지 센서 (12) 는, 복수의 정적 파라미터 값들을 각각 정의하는 노출 레벨들에 따라 현재의 노출 레벨을 분급한다.
정적 파라미터 값들은, 파라미터 값들의 보간을 위한 개시 데이터 포인트들로서의 역할을 하는 일 세트의 소정의 파라미터 값들을 칭한다. 부가적인 파라미터 값들은, 보간을 이용하여 정적 파라미터 값들 사이에서 결정될 수도 있다. 이미지 센서 (12) 는 또한, 노출 지수와 분급 (classification) 간의 차이를 결정 한다. 이런 차이를 이용하여, 이미지 센서 (12) 는, 그 차이의 결정에 기초하여 분급의 복수의 정적 파라미터 값들로부터 파라미터 값들 (19) 을 보간한다.
또한, 이미지 센서 (12) 는, 도 4b 의 차트에 따라 이미지 정보 (30A) 의 스케일링 팩터에 기초하여 파라미터 값들 (19) 을 보간할 수도 있다. 이미지 센서 (12) 는, 복수의 정적 파라미터 값들을 각각 정의하는 스케일링 팩터 레벨들에 따라 이미지 정보 (30A) 의 스케일링 팩터를 분급한다. 이미지 센서 (12) 는, 스케일링 팩터와 분급 간의 차이를 결정한다. 그 차이를 결정한 후, 이미지 센서 (12) 는, 그 차이의 결정에 기초하여 분급의 복수의 정적 파라미터 값들로부터 파라미터 값들 (19) 을 보간한다. 선형 보간은, 예를 들어, 도 4a 및 도 4b 의 차트들에 나타낸 것과 유사한 커브들에 따라, 임의의 순서로 수행될 수도 있고, 후속의 선형 보간은, 선행하는 선형 보간으로부터 결정된 파라미터 값들 (19) 을 변형시킬 수도 있다. 파라미터 값들 (19) 은, 평활화 정도, 수평의 선명화 정도, 수직의 선명화 정도, 최대 포지티브 선명화 한계, 및 최대 네거티브 선명화 한계를 포함할 수도 있다.
이미지 센서 (12) 는, 보간된 파라미터 값들 (19) 을, 필터의 특성들을 이미지 정보에 적응시키는데 사용하기 위한 적응적 공간 이미지 필터 (14) 로 출력한다. 보간된 파라미터 값들 (19) 을 수신할 때, 적응적 공간 이미지 필터 (14) 는, 평활화 필터 (20), 수평의 선명화 필터 (22A), 수직의 선명화 필터 (22B), 클램프들 (24), 및 감산기들 (26) 내의 관련 파라미터들을 이미지 센서 (12) 로부터 수신된 파라미터 값들 (19) 에 의해 정의된 대응 값들로 설정함으로써, 그 자체를 적응, 즉 구성한다. 또한, 파라미터 값들 (19) 은, 이미지 센서 (12) 또는 이미지 캡쳐 디바이스 (10) 내의 일부 다른 컴포넌트에 의해 결정될 수도 있다. 적응적 공간 이미지 필터 (14) 는, 평활화 정도 (p) 파라미터를 파라미터 값들 (19) 에 포함된 관련 평활화 정도 (p) 파라미터 값으로 설정한다. 평활화 정도 (p) 는, 평활화 정도의 비율로서 표현될 수도 있다. p = 0% 일 때, 필터는, 평활화 효과가 없는 I 필터이다. p = 100% 일 때, 필터는, 소정의 필터, 예를 들어, 3×3 필터에 의해 달성가능한 최대 평활화 효과를 가진 평균 필터이다.
또한, 적응적 공간 이미지 필터 (14) 는, 이미지 센서 (12) 로부터 수신된 파라미터 값들 (19) 에 따라 각각의 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 의 수평의 선명화 정도 (kH) 및 수직의 선명화 정도 (kV) 파라미터를 설정한다. 또한, 적응적 공간 이미지 필터 (14) 는, 감산기들 (26) 의 선명화 감산 임계값 (e1) 파라미터 및 클램프들 (24) 의 최대 포지티브 선명화 한계 (e2) 파라미터 및 최대 네거티브 선명화 한계 (e3) 파라미터를, 파라미터 값들 (19) 의 관련 선명화 감산 임계값 (e1), 최대 포지티브 선명화 한계 (e2) 및 최대 네거티브 선명화 한계 (e3) 파라미터 값들로 설정한다. 일부 실시형태들에서, 설계자는, 이하 설명된 수평의 선명화 필터 (FH; 22A) 및 수직의 선명화 필터 (FV; 22B) 의 메트릭들을 구성하여 적응적 공간 이미지 필터 (14) 를 구현할 수도 있다.
통상적으로, 캡쳐링된 이미지 정보 (30A) 를 평활화 필터 (20) 로 출력하기 전에, 이미지 센서 (12) 는, 캡쳐링된 이미지 정보 (30A) 를 YCbCr 컬러 공간으로 바꾼다. 따라서, 이미지 정보 (30A) 는, YCbCr 컬러 공간의 3 개의 채널들, 즉, Y 채널, Cb 채널, 및 Cr 채널로 배열된 이미지 정보를 포함할 수도 있다.
이미지 정보 (30A) 를 수신할 때, 및 현재의 노출 지수 및 스케일링 팩터에 적응한 후, 평활화 필터 (20) 는, 이미지 정보 (30A) 의 적어도 하나의 채널을 필터링한다. 특히, 평활화 필터 (20) 는, 이미지 정보의 Y 채널을 필터링하여 Y 채널의 잡음 감도를 감소시킬 수도 있다. 일 예로서, 평활화 필터 (20) 는, 다음의 식 (1) 에 의해 설명된 필터를 포함할 수도 있다 :
Figure 112009013570717-pct00001
Figure 112009013570717-pct00002
는, 평활화 필터 (20) 에 대한 표기이다. 식 (1) 에서의 p 변수는, 적응적 공간 이미지 필터 (14) 가 구성 중에 설정하는 평활화 정도 (p) 파라미터를 나타낸다. 일단 설정되면, 적응적 공간 이미지 필터 (14) 는, 식 (1) 을 단일의 공간 필터로 변화시킬 수도 있다. p 가 100 으로 설정된다면, 상기 언급된 것처럼, 결과로 발생한 공간 평활화 필터 (20) 는, 3×3 평균 필터, 즉, 1/9 이 승산된, 1 의 3 개의 행들과 1 의 3 개의 열들을 특정하는 필터를 포함한다. p 가 0 으로 설정된다면, 결과로 발생한 평활화 필터 (20) 는, 평활화 효과가 없는, I 필터, 즉, 중앙 위치에 단일의 1 을 가진 3×3 필터를 포함한다. 특히, p 의 값에 관계없이, 결과로 발생한 평활화 필터 (20) 의 계수들은 합이 1 이 되고, 이 속성은 이미지 정보 (30A) 의 밝기의 유지를 보장한다.
적응적 공간 이미지 필터 (14) 는, 평활화 필터 (20) 및 종래의 화소 단위 프로세스에서 이하 설명된 모든 다른 필터들을 적용할 수도 있다. 프로세스는 일반적으로, 필터, 이를 테면, 평활화 필터 (20) 를, 평활화 필터 (20) 의 상부 좌측 계수가 이미지 정보 (30A) 의 최상의 최좌측부의 위에 놓이도록 이미지 정보 (30A) 의 상부 좌측 코너에 적용함으로써 시작된다. 적응적 공간 이미지 필터 (14) 는, 평활화 필터 (20) 의 각 계수의 값을 기본적인 이미지 정보 (30A) 와 승산하고, 각각의 승산의 결과를 합산하여 평활화된 정보 (30B) 의 일부를 생성한다. 다음에, 적응적 공간 이미지 필터 (14) 는, 평활화 필터 (20) 를 이미지 정보 (30A) 의 1 화소 값을 넘어 우측으로 이동시키고, 상기 승산 및 합산 연산들을 반복한다. 이미지 정보 (30A) 의 최우측 화소에 도달할 때, 적응적 공간 이미지 필터 (20) 는, 평활화 필터 (20) 를 이미지 정보 (30A) 의 일 화소 아래로 이동시키고, 이미지 정보 (30A) 의 모든 행들과 열들이 평활화된 이미지 정보 (30B) 로 바뀔 때까지 승산 및 합산 프로세스를 다시 반복한다.
평활화된 이미지 정보 (30B) 를 생성한 후, 적응적 공간 이미지 필터 (14) 는, 평활화된 이미지 정보 (30B) 에 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 를 연속적으로 또는 동시에 적용하여, 수평으로 선명화된 이미지 정보 (30C) 및 수직으로 선명화된 이미지 정보 (30D) 를 각각 생성한다. 일부 실시형태들에서, 수평의 선명화 필터 및 수직의 선명화 필터는, 제 1 의 5×5 에지 선명화 필터 및 제 2 의 5×5 에지 선명화 필터에 의해 실현될 수도 있다. 예시 적인 수평의 선명화 필터 (22A) 는 예를 들어, 다음의 행렬 식 (2) 에 의해 설명될 수도 있다 :
Figure 112009013570717-pct00003
행렬 식 (2) 에 있어서,
Figure 112009013570717-pct00004
는, 수평의 선명화 필터 (22A) 에 대한 표기이다. 식 (2) 에 나타낸 것처럼, 동일한 행 계수들, 예를 들어,
Figure 112009013570717-pct00005
에 의해, 수평의 선명화 필터 (22A) 는 저역 통과 성분을 포함한다. 또한, 식 (2) 에 나타낸 것처럼, 다양한 열 계수들, 즉,
Figure 112009013570717-pct00006
에 의해, 수평의 선명화 필터 (22A) 는 고역 통과 성분도 포함한다.
예시적인 수직의 선명화 필터 (22B) 는, 다음의 행렬 식 (3) 에 의해 설명될 수도 있다 :
Figure 112009013570717-pct00007
행렬 식 (3) 에 있어서,
Figure 112009013570717-pct00008
는, 수직의 선명화 필터 (22B) 에 대한 표기이다. 식 (3) 에 나타낸 것처럼, 동일한 열 계수들, 예를 들어,
Figure 112009013570717-pct00009
에 의해, 수직의 선명화 필터 (22B) 는, 저역 통과 성분을 포함한다. 또한, 식 (3) 에 나타낸 것처럼, 다양한 행 계수들, 즉,
Figure 112009013570717-pct00010
에 의해, 수직의 선명화 필터 (22B) 는, 고역 통과 성분도 포함한다. 특히, 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 양자의 계수들은 합이 0 이 되지만 식별된 에지들에 따라 이미지를 어둡게 하는 것은 일 방향에서 뿐이다. 따라서, 필터들 (22A, 22B) 은, 각각의 수평 및 수직 방향들에서 에지들을 따라 이미지를 어둡게 함으로써 에지들을 개선, 즉, 이미지를 선명하게 한다. 필터들 (22A, 22B) 은, 시스템 요건들에 따라 독립적으로 프로그램가능할 수도 있다. 예를 들어, 정점 하드웨어 구현을 더 적합하게 하기 위하여, 일부 실시형태들에서, 파라미터 세트가
Figure 112009013570717-pct00011
로 변경될 수도 있다. 2 개의 필터들 (2) 및 (3) 은, 그들이 일 디멘젼에서 고역 통과 필터 (HPF) 이고 다른 디멘젼에서 저역 통과 필터 (LPF) 이도록 공간 속성들을 각각 가질 수도 있다.
수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 를 적용한 후, 및 수평으로 선명화된 이미지 정보 (30C) 및 수직으로 선명화된 이미지 정보 (30D) 를 출력한 후, 적응적 공간 이미지 필터 (14) 는, 클램프 (24A) 및 감산기 (26A) 를 수평으로 선명화된 이미지 정보 (30C) 에 적용하고 클램프 (24B) 및 감산기 (26B) 를 수직으로 선명화된 이미지 정보 (30D) 에 적용한다. 수평으로 선명화된 이미지 정보 (30C) 에 대한 클램프 (24A) 및 감산기 (26A) 의 적용은, 다음의 식 (4) 에 의해 설명될 수도 있다 :
Figure 112009013570717-pct00012
변수
Figure 112009013570717-pct00013
는, 클램핑 후 감산기 (26A) 의 출력을 칭하는 것으로, 도 2 에는, 이미지 변경된 수평으로 선명화된 이미지 정보 (30E) 로 나타내진다. 변수 SH 는, 수평으로 선명화된 이미지 정보 (30C) 를 칭한다. 변수 e1 은, 구성 중에 적응적 공간 이미지 필터 (14) 에 의해 설정된 감산기 (26A) 내의 선명화 감산 임계값 (e1) 파라미터를 칭한다. 변수들 (e2 및 e3) 은, 구성 중에 적응적 공간 이미지 필터 (14) 에 의해 설정된 최대 포지티브 선명화 한계 (e2) 파라미터 및 최대 네거티브 선명화 한계 (e3) 파라미터를 칭한다. 식 (4) 와 실질적으로 유사한 식은,
Figure 112009013570717-pct00014
또는 변경된 수직으로 선명화된 이미지 정보 (30F) 를 정의하도록 존재하며, 예시의 용이함을 위해, 그것은 여기에 명확하게 정의되지 않는다.
Figure 112009013570717-pct00015
에 대 한
Figure 112009013570717-pct00016
의 치환 및 SH 에 대한 SV, 즉 수직으로 선명화된 이미지 정보 (30D) 의 치환은, 예를 들어, 식 (5) 에서와 같이,
Figure 112009013570717-pct00017
에 대한 식을 이끌어 낼 것이다 :
Figure 112009013570717-pct00018
일단, 이미지 정보가 식 (4) 및 식 (5) 에 따라 클램핑 및 감산된다면, 적응적 공간 이미지 필터 (14) 는, 평활화된 이미지 정보 (30B), 변경된 수평으로 선명화된 이미지 정보 (30E), 및 변경된 수직으로 선명화된 이미지 정보 (30F) 를 합산 유닛 (28) 을 통해 합산한다. 합산 유닛 (28) 은, 다음의 가중화된 합산 식 (6) 을 구현할 수도 있다 :
Figure 112009013570717-pct00019
I' 는, 적응적 공간 이미지 필터 (14) 를 적용하여 필터 이미지 정보를 산출하는 결과를 칭하는데, 도 2 에는 필터링된 이미지 정보 (30G) 로 나타내진다. I 는, 평활화된 이미지 정보 (30B) 를 칭한다.
Figure 112009013570717-pct00020
및
Figure 112009013570717-pct00021
는, 상기 설명된 것처럼, 변경된 수평으로 선명화된 이미지 정보 (30E) 및 변경된 수직으로 선명화된 이미지 정보 (30F) 를 칭한다. 변수 kH 는, 구성 중에 설정된 적응적 공간 이미지 필터 (14) 및 수평의 선명화 필터 (22A) 내에 상주할 수도 있는 수평의 선명화 정도 파라미터를 칭한다. 변수 kV 는, 구성 중에 또한 설정된 적응적 공간 이미지 필터 및 수직의 선명화 필터 (22B) 내에 상주할 수도 있는 수직의 선명화 정도 (kV) 파라미터를 칭한다. 평활화된 이미지 정보 I, 수평으로 선명화된 이미지 정보
Figure 112009013570717-pct00022
, 및 수직으로 선명화된 이미지 정보
Figure 112009013570717-pct00023
의 합은, 결과로 발생한 필터링된 이미지 정보 I' 를 산출한다.
일단 합산 유닛 (28) 이 필터링된 이미지 정보 (30G) 를 산출하면, 상기 설명된 프로세싱을 수행할 수도 있는 이미지 프로세서 (16) 로 결과를 출력한다. 통상적으로, 이미지 캡쳐 디바이스 (10) 가 카메라폰 또는 비디오폰을 포함하는 실시형태들에서, 이미지 프로세서 (16) 는, 필터링된 이미지 정보 (30G) 를 JPEG 포맷으로 변환할 수도 있다. 일단 변환되면, 이미지 프로세서 (16) 는, 또한 상기 설명된 것처럼, 필터링된 이미지 정보 (30G) 를 이미지 저장 디바이스 (18) 내에 저장할 수도 있다. 요약하면, 상기 프로세스를 통해, 적응적 공간 이미지 필터 (14) 는, 이미지 정보 (30A) 의 현재의 이미지 노출 레벨 및 현재의 스케일링 팩터 레벨에 따라 이미지 정보 (30A) 를 적응적으로 평활화 및 선명화시켜 필터링된 이미지 정보 (30G) 를 산출한다.
도 3 은, 이미지 정보 (30A) 의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하여 이미지 정보 (30A) 를 필터링할 때의 도 2 의 적응적 공간 이미지 필터 (14) 의 예시적인 동작을 나타낸 흐름도이다. 일부 경우에서, 설계자는, 이하 설명된 방식으로 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 를 구 성하여 선명화 폭의 정도와 관련된 후광 효과를 감소시킬 수도 있다. 통상적으로, 설계자는, 이미지 캡쳐 디바이스 (10) 의 설계 단계 동안 이런 구성을 수행한다. 그러나, 필터들 (22A, 22B) 은, 언제든지 구성될 수도 있고, 일부 실시형태에서는, 이미지 캡쳐 디바이스 (10) 의 액티브 동작 동안 구성될 수도 있다.
초기에, 도 3 의 예에서, 이미지 센서 (12) 는, 이미지 정보 (30A) 를 캡쳐링하고, 이미지 정보 (30A) 를 YCbCr 컬러 공간으로 바꾼다 (32). 이미지 정보 (30A) 와 관련이 있는 복수의 파라미터 값들 (19) 을 예를 들어, 이미지 센서 (12) 에 의해 결정한다 (34). 이미지 센서 (12) 는, 도 4a 및 도 4b 의 그래프들에 따라 선형 보간을 적용하여 파라미터 값들을 산출할 수도 있다 (34). 이 예에서, 이미지 센서 (12) 는, 이미지 정보 (30A) 및 파라미터 값들 (19) 을 적응적 공간 이미지 필터 (14) 로 출력한다. 적응적 공간 이미지 필터 (14) 는, 상기 설명된 것처럼, 파라미터 값들 (19) 에 기초하여, 그 자체를 구성, 즉, 적응시킨다 (36). 예를 들어, 적응적 공간 이미지 필터 (14) 는, 평활화 필터 (20) 에 대한 평활화 정도 (p) 파라미터, 수평의 선명화 필터 (22A) 에 대한 수평의 선명화 정도 (kH) 파라미터, 수직의 선명화 필터 (22B) 에 대한 수직의 선명화 정도 (kV) 파라미터, 감산기 (26) 에 대한 선명화 감산 임계값 (e1) 파라미터, 클램프들 (24) 에 대한 최대 포지티브 선명화 한계 (e2) 파라미터 및 최대 네거티브 선명화 한계 (e3) 파라미터를 설정할 수도 있다. 적응적 공간 이미지 필터 (14) 에 대한 다양한 파라미터 값들은, 이미지 센서 (12) 에 의해 제공된 관련 파라미터 값들 (19) 에 대응한다.
일단 구성되면, 적응적 공간 이미지 필터 (14) 는, 먼저, 평활화 필터 (20) 를 이미지 정보 (30A) 의 적어도 하나의 채널에 적용할 수도 있다 (38). 평활화 필터 (20) 는, 예를 들어, 상기 식 (1) 에 따라 동작하여, 이미지 정보 (30A) 의 Y 채널로부터 평활화된 이미지 정보 (30B) 를 생성할 수도 있다. 다음에, 수평의 선명화 필터 (22A) 와 수직의 선명화 필터 (22B) 양자는, 평활화된 이미지 정보 (30B) 의 Y 채널을 필터링하여 수평으로 선명화된 이미지 정보 (30C) 및 수직으로 선명화된 이미지 정보 (30D) 각각을 생성할 수도 있다 (40, 42). 예를 들어, 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 는, 각각, 상기 식 (2) 및 식 (3) 에 따라 동작할 수도 있다.
수평으로 선명화된 이미지 정보 (30C) 및 수직으로 선명화된 이미지 정보 (30D) 를 생성할 때, 적응적 공간 이미지 필터 (14) 는 또한, 클램프들 (24) 을 통해 수평으로 선명화된 이미지 정보 (30C) 및 수직으로 선명화된 이미지 정보 (30D) 를 클램핑할 수도 있다 (44, 46). 적응적 공간 이미지 필터 (14) 는, 클램프들 (24) 을 이용하여, 원하지 않는 시각적 인공산물을 야기할 수 있는 지나친 선명화를 회피한다. 클램핑 후, 적응적 공간 이미지 필터 (14) 는, 수평으로 선명화된 이미지 정보 (30C) 및 수직으로 선명화된 이미지 정보 (30D) 를 클램핑한 결과에 감산기들 (26) 을 적용하여, 잡음이 선명화되고 있지 않음을 보장한다 (48, 50). 예를 들어, 클램프들 (24) 과 감산기들 (26) 의 결합은, 식 (4) 및 식 (5) 에 따라 동작할 수도 있는데, 이는, 최대 포지티브 선명화 한계 (e2) 및 최대 네거티브 선명화 한계 (e3) 중 어느 하나 또는 양자에 대한 초기 비교에 의존하는 일련의 동작을 특정한다. 감산기들 (26) 의 출력은, 변경된 수평으로 선명화된 이미지 정보 (30E) 및 수직으로 선명화된 이미지 정보 (30F) 를 포함한다.
합산 유닛 (28) 은, 변경된 수평으로 선명화된 이미지 정보 (30E) 및 변경된 수직으로 선명화된 이미지 정보 (30F) 를 수신하고, 이들을 평활화된 이미지 정보 (30B) 와 함께 합산하여 필터링된 이미지 정보 (30G) 를 생성한다 (52). 이미지 프로세서 (16) 는, 필터링된 이미지 정보 (30G) 에 대해 이미지 프로세싱을 수행한 후, 필터링된 이미지 정보 (30G) 를 이미지 저장 디바이스 (18) 에 저장할 수도 있다 (54). 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 에 의한 동시의 수평의 선명화 필터링 및 수직의 선명화 필터링을 제안하는 것이 상기 설명되었지만, 적응적 공간 이미지 필터 (14) 는, 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 각각을, 일 필터가 다른 필터 전에 적용되도록 하여 연속적으로 적용할 수도 있다.
도 4a 및 도 4b 는, 선형 보간을 통해 복수의 파라미터 값들 (19) 을 결정할 때의 도 2 의 이미지 센서 (12) 의 예시적인 동작을 나타낸 그래프들이다. 도 4a 는, 이미지 정보 (30A) 의 현재의 노출 지수 (EI) 에 기초하여 복수의 파라미터 값들 (19) 의 선형 보간을 시각적으로 정의하는 그래프 (56) 를 나타낸다. 도 4b 는, 이미지 정보 (30A) 의 현재의 스케일링 팩터 (SF) 에 기초하여 복수의 파라 미터 값들 (19) 의 선형 보간을 시각적으로 정의하는 그래프 (64) 를 나타낸다.
노출 지수들은, 밝은 광, 보통 광, 및 어두운 광 조명 조건들을 나타낼 수도 있다. 일반적으로, 현재의 노출 레벨이 밝은 광 영역과 보통 광 영역 사이의 제 1 노출 경계와 동일하거나 그보다 낮다면, 밝은 광 영역과 관련된 파라미터들이 적용될 것이다. 현재의 노출 레벨이 대략 제 2 노출 경계에 있다면, 보통 광 영역에 대한 파라미터들이 적용된다. 현재의 노출 레벨이 제 2 노출 경계보다 크다면, 어두운 광 영역에 대한 파라미터들이 적용된다.
제 1 노출 경계와 제 2 노출 경계 사이의 조건들에 대해, 하드 경계를 갖는 대신에, 변형을 원활하게 행하도록 보간이 이용될 수 있다. 예를 들어, 현재의 노출 값이 제 1 노출 경계와 제 2 노출 경계 사이에 있다면, 파라미터들은, 예를 들어, 경계들과 관련된 노출 값들에 대한 노출 값에 비례하여, 밝은 광 영역에 대한 파라미터 값들의 세트와 보통 광 영역에 대한 파라미터 값들의 세트 사이에서 선형으로 보간될 것이다.
유사하게, 현재의 노출 값이 제 2 노출 경계보다 더 크다면, 파라미터들은, 보통 광 영역에 대한 파라미터 값들의 세트와 어두운 광 영역에 대한 파라미터 값들의 세트 사이에서 선형적으로 보간될 수 있다. 현재의 노출 지수가 최대 노출 레벨에 도달할 경우에는, 어두운 광 영역에 대한 값들의 세트가 적용될 수 있다.
도 4a 를 참조하면, 그래프 (56) 는, Y-축 (58A) 및 X-축 (58B) 을 포함하는데, Y-축 (58A) 은, 선명화 정도 (k) 의 증가를 정의하고, X-축 (58B) 은 노출 지수 값들의 증가를 정의한다. Y-축 (58A) 은, 수평의 선명화 정도 (kH) 와 수직의 선명화 정도 (kV) 중 어느 하나 또는 양자를 정의할 수도 있다. 또한, 그래프 (56) 는, 정적 노출 지수 레벨들 (60A 내지 60C) ("노출 지수 레벨들 (60)") 을 포함하는데, 정적 노출 지수 레벨들 (60) 각각은 복수의 정적 파라미터 값들과 관련이 있다. 그래프 (56) 는, 정적 노출 지수 레벨들 (60) 에 기초하여 선형 보간 함수의 시각적 표시를 정의하는 선 (62) 을 더 포함한다.
선 (62) 은, 수평의 선명화 정도 (kH) 를 계산하는데 이용된 다음의 식 (7) 에 의해 나타내질 수도 있다 :
Figure 112009013570717-pct00024
변수 kH 는, 수평의 선명화 정도 파라미터를 나타내는데, 이는 상기 식 (6) 에서 이용된다.
Figure 112009013570717-pct00025
,
Figure 112009013570717-pct00026
및
Figure 112009013570717-pct00027
은, 정적인 현재의 노출 지수 레 벨들 (60), 즉, EI1, EI2, 및 EI3 각각과 관련된 사전-정의된 정적 값들을 나타낸다.
Figure 112009013570717-pct00028
는, 이미지 센서 (12) 에 의해 측정된 것으로, 이미지 정보 (30A) 의 현재의 노출 지수를 나타낸다. 식 (7) 을 보면,
Figure 112009013570717-pct00029
가 EI1 보다 작다면, 수평의 선명화 정도 (kH) 는, 이용가능한 최대 수평의 선명화 정도를 정의하는
Figure 112009013570717-pct00030
와 같다.
Figure 112009013570717-pct00031
가 EI2 보다 작지만, EI1 이상이라면, kH 는,
Figure 112009013570717-pct00032
가 승산되는
Figure 112009013570717-pct00033
에 의해 정의된 기울기와 같다. 그러나,
Figure 112009013570717-pct00034
가 EI3 보다 작지만, EI2 이상이라면, kH 는,
Figure 112009013570717-pct00035
가 승산되는
Figure 112009013570717-pct00036
에 의해 정의된 기울기와 같다. 마지막으로,
Figure 112009013570717-pct00037
가 EI3 이상이라면, kH 는, 0 또는 최하의 가능한 선명화 정도와 같다. 실질적으로 유사한 식 (8) 은, 예를 들어, 다음과 같이, 수직의 선명화 정도 (kV) 를 결정하기 위해 정의될 수도 있다 :
Figure 112009013570717-pct00038
이미지 정보 (30A) 를 캡쳐링한 후, 이미지 센서 (12) 는, 각각의 식 (7) 및 식 (8) 에 따라 수평의 선명화 정도 파라미터 (kH) 및 수직의 선명화 정도 파라미터 (kV) 에 대한 값을 결정할 수도 있다. 이런 선형 보간을 통하여, 이미지 센서 (12) 는, 현재의 노출 지수를 정적인 노출 지수 레벨들과 비교함으로써 현재의 노출 지수를 분급할 수도 있다. 다음에, 이미지 센서 (12) 는, 현재의 노출 지수와 분급 간의 차이를 결정하고, 현재의 노출 지수를 보간하여 선명화 정도들을 결정할 수도 있다. 따라서, 적응적 공간 이미지 필터 (14) 는, 이미지 정보 (30A) 의 현재의 노출 지수에 적응할 수도 있다.
적응적 공간 필터 파라미터들은 또한, 적용가능한 이미지 스케일링 팩터에 따라 조정될 수 있다. 이미지가 스케일링 다운될 때, 다운스케일링 프로세싱 자체가 이미지 선명도를 증가시키고 잡음을 감소시키는 경향이 있기 때문에 선명화 정도는 감소되어야 한다. 또한, 도 4b 에 나타낸 것처럼 상이한 스케일링 팩터들에 대한 파라미터 값들을 산출하기 위해 하드 경계 대신에 선형 보간이 이용될 수 있다. 다운스케일링 팩터가 1 이거나 1 미만이라면, 선명화 정도는 원시의 이미지의 선명화 정도로서 유지될 수 있다. 다운스케일링 팩터가 증가할 경우, 그에 따라 선명화 정도가 감소된다. 다운스케일링 팩터가 원시의 이미지 사이즈에 의존하여 한계, 예를 들어, 4 또는 8 로 증가하는 경우, 이미지들 내에 적용된 선명화가 없다. 소프트 보간을 통하여, 선명화 효과는 점진적으로 그리고 원활하게 조정될 수 있다.
도 4b 를 참조하면, 그래프 (64) 는, Y-축 (66A) 및 X-축 (66B) 을 포함하는데, Y-축 (66A) 은, 선명화 정도 (k) 의 증가를 정의하고, X-축 (66B) 은, 스케일링 팩터 값들의 증가를 정의한다. Y-축 (66A) 은, 수평의 선명화 정도 (kH) 및 수직의 선명화 정도 (kV) 중 어느 하나 또는 양자를 정의할 수도 있다. 또한, 그래프 (64) 는, 정적 스케일링 팩터들 (68A 내지 68C) ("정적 스케일링 팩터들 (68)") 을 포함하며, 정적 스케일링 팩터들 (68) 각각은, 복수의 정적 파라미터 값들과 관계가 있다. 그래프 (64) 는, 정적 스케일링 팩터들 (68) 에 기초하여 선형 보간 함수의 시각적 표시를 정의하는 선 (70) 을 더 포함한다.
선 (70) 은, 수평의 선명화 정도 (kH) 를 계산하는데 이용된 다음의 식 (9) 에 의해 나타내질 수도 있다 :
Figure 112009013570717-pct00039
변수 kH 는, 수평의 선명화 정도 파라미터를 나타내는데, 이는 상기 식 (6) 에서 이용된다.
Figure 112009013570717-pct00040
,
Figure 112009013570717-pct00041
및
Figure 112009013570717-pct00042
은, 정적 스케일링 팩터들 (68), 즉, SF1, SF2 및 SF3 각각과 관련된 사전-정의된 정적 값들을 나타낸다.
Figure 112009013570717-pct00043
은, 이미지 센서 (12) 에 의해 결정된 것으로, 이미지 정보 (30A) 의 현재의 스케일링 팩터를 나타낸다. 식 (9) 를 보면,
Figure 112009013570717-pct00044
가 SF1 미만이라면, 수평의 선명화 정도 (kH) 는, 이용가능한 최대 수평의 선명화 정도를 정의하는
Figure 112009013570717-pct00045
와 같다.
Figure 112009013570717-pct00046
가 SF2 미만이지만, SF1 이상이라면, kH 는,
Figure 112009013570717-pct00047
가 승산되는
Figure 112009013570717-pct00048
에 의해 정의된 기울기와 같다. 그러나,
Figure 112009013570717-pct00049
가 SF3 미만이지만, SF2 이상이라면, kH 는,
Figure 112009013570717-pct00050
가 승산되는
Figure 112009013570717-pct00051
에 의해 정의된 기울기와 같다. 마지막으로,
Figure 112009013570717-pct00052
가 SF3 이상이라면, kH 는, 0, 또는 최하의 가능한 선명화 정도와 같다. 실질적으로 유사한 식 (10) 은, 예를 들어, 다음과 같이, 수직의 선명화 정도 (kV) 를 결정하기 위해 정의될 수도 있다 :
Figure 112009013570717-pct00053
이미지 정보 (30A) 를 캡쳐링한 후, 이미지 센서 (12) 는, 각각의 식 (9) 및 식 (10) 에 따라 수평의 선명화 정도 파라미터 (kH) 및 수직의 선명화 정도 파라미터 (kV) 에 대한 값을 결정할 수도 있다. 이 선형 보간을 통하여, 이미지 센서 (12) 는, 현재의 스케일링 팩터를 정적 스케일링 팩터 (68) 와 비교함으로써 현재의 스케일링 팩터들을 분급할 수도 있다. 다음에, 이미지 센서 (12) 는, 현재의 스케일링 팩터와 분급 간의 차이를 결정하고, 현재의 스케일링 팩터를 보간하여 선명화 정도들을 결정할 수도 있다. 따라서, 적응적 공간 이미지 필터 (14) 는, 이미지 정보 (30A) 의 현재의 스케일링 팩터에 적응할 수도 있다.
도 5a 는, 선명화하기 위해 일 디멘젼에서의 고역 통과 필터에 대한 계수들
Figure 112009013570717-pct00054
을 나타낸 그래프이다. 도 5b 는, 평활화하기 위해 다른 디멘젼에서의 저역 통과 필터에 대한 계수들
Figure 112009013570717-pct00055
을 나타낸 그래프이다. 도 5a 및 도 5b 에 의해 나타내진 계수들은, 도 2 의 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 중 어느 하나에 적용될 수도 있다. 도 5a 는, 화소들의 범위를 넘어 수평의 선명화 필터 (22A) 에 대한 계수 세트, 더 상세하게는 고역 통과 성분을 시각적으로 정의하는 그래프 (72) 를 나타낸다. 도 5a 의 그래프 (72) 는, 상기 행렬 (3) 에 대응한다. 도 5b 는, 화소들의 범위를 넘어 수평의 평활화 필터 (22A) 에 대한 계수 세트, 더 상세하게는 저역 통과 성분을 시각적으로 정의하는 그래프 (78) 를 나타낸다. 일반적으로, 도 5b 의 그래프 (78) 는, 상기 행렬 (2) 에 대응한다. 또한, 그래프들 (72, 78) 양자는, 수직의 선명화 필터의 고역 통과 성분과 저역 통과 성분 각각을 나타낼 수도 있지만, 예시의 용이함을 위해, 그래프들 (72, 78) 은, 수평의 선명화 필터 (22A) 를 참조로 여기에 설명된다.
도 5a 를 참조하면, 그래프 (72) 는, 매그니튜드 및 화소 개수를 각각 정의하는 Y-축 (74A) 및 X-축 (74B) 을 포함한다. 그래프 (72) 내에는, 수평의 선명화 필터 (22A) 의 고역 통과 성분을 정의하는 선 (76) 이 놓인다. 고역 통과 성분의 선 (76) 은, 각 열을 따른 행렬의 계수들이 화소들의 범위를 넘어 매그니튜드를 특정하는 상기 정의된 예시적인 식 (2) 의 행렬에 대응한다. 따라서, 그 행렬의 제 1 열은, 고역 통과 성분의 선 (76) 의 점들에 대응하는
Figure 112010077284205-pct00056
열을 정의한다. 선 (76) 에 의해 도시된 고역 통과 성분은, 수평의 선명화 필터 (22A) 로 하여금 수평의 선들을 선명화할 수 있게 한다.
도 5b 를 참조하면, 그래프 (78) 는, 응답의 매그니튜드 및 화소 개수를 각각 정의하는 Y-축 (80A) 및 X-축 (80B) 을 포함한다. 그래프 (78) 내에는, 수평의 선명화 필터 (22A) 의 저역 통과 성분을 정의하는 선 (82) 이 놓인다. 저역 통과 성분의 선 (74) 은, 각 행에 따른 행렬의 계수들이 화소들의 범위를 넘어 매그니튜드를 특정하는 상기 정의된 예시적인 식 (2) 의 행렬에 대응한다. 따라서, 그 행렬의 제 3 행은, 저역 통과 성분 선 (82) 의 점들에 대응하는
Figure 112010077284205-pct00057
행을 정의한다. 선 (82) 에 의해 도시된 저역 통과 성분은, 수평의 선명화 필터 (22A) 로 하여금 잡음을 감소시킬 수 있게 하고 선명화된 에지를 깨끗해 보이게 할 수 있다.
그래프들 (72, 78) 양자는, 수평의 선명화 필터 (22A) 의 고역 통과 성분 및 저역 통과 성분 각각을 반영하는데, 이는, 이미지 캡쳐 디바이스 (10) 를 동작시키기 전에 설계자에 의해, 또는 이미지 캡쳐 디바이스 (10) 의 동작 중에 사용자에 의해 구성가능할 수도 있다. 정적인 것으로 상기 설명되었지만, 설계자 및/또는 사용자는, 식 (2) 및 식 (3) 중 어느 하나 또는 양자의 행렬에 대해 상이한 행렬 계수들을 특정하여 도 6a 및 도 6b 를 참조로 이하 설명된 후광 효과들에 대해 보정할 수도 있다. 예를 들어, 상이한 주파수 응답을 가진 고역 통과 필터 (HPF) 또는 더 작은 선명화 팩터를 선택함으로써 후광 효과를 감소시키는 것이 가능하다.
도 6a 및 도 6b 는, 예시적인 이미지 정보 (84) 및 필터링된 이미지 정보 (86) 를 각각 나타낸 이미지들이다. 도 6a 에 나타낸 이미지 정보 (84) 는, 이미지 센서 (12) 가 이미지 정보 (84) 를 적응적 공간 이미지 필터 (14) 로 출력할 수도 있는 도 2 의 이미지 정보 (30A) 와 실질적으로 유사할 수도 있다. 필터링된 이미지 정보 (86) 는, 필터링된 이미지 정보 (86) 가 이미지 정보 (84) 에 대한 적응적 공간 이미지 필터 (14) 의 적용으로부터 발생할 수도 있는 필터링된 이미지 정보 (30G) 와 실질적으로 유사할 수도 있다. 필터링된 이미지 정보 (86) 는, 후광 효과 (88) 를 포함하는데, 이는, 적응적 공간 이미지 필터 (14) 의 적용으로부터 발생한다. 특히, 후광 효과 (88) 는, 각각의 수평의 선명화 필터 (22A) 및 수직의 선명화 필터 (22B) 의 적용으로 인해 발생한다. 필터들 (22A, 22B) 이 각각의 수평의 선명화 필터 (FH) 파라미터 및 수직의 선명화 필터 (FV) 파라미터를 통해 구성될 수도 있기 때문에, 후광 효과 (88) 는 도 7 을 참조로 이하 설명된 것처럼 감소될 수도 있다.
도 7 은, 도 2 의 수평의 선명화 필터 (22A) 또는 수직의 선명화 필터 (22B) 중 어느 하나에 대한 파라미터들을 나타낸 그래프이다. 도 7 은, 예를 들어, 화소들의 범위를 넘어 수평의 선명화 필터 (22A) 에 대한 필터 계수들, 상세하게는 저역 통과 성분을 시각적으로 정의하는 그래프 (90) 를 나타낸다. 그래프 (90) 는, 매그니튜드 및 화소 개수를 각각 정의하는 X-축 (92A) 및 Y-축 (92B) 을 포함한다. 그래프 (90) 내에는, 수평의 선명화 필터 (FH) 파라미터를 조정한 후 수평의 선명화 필터 (22A) 의 저역 통과 성분을 정의하는 선 (94) 이 놓인다. 이 경우에, 수평의 선명화 필터 (22A) 는, 다음의 식 (11) 에 의해 설명될 수도 있다 :
Figure 112009013570717-pct00058
저역 통과 성분의 선 (94) 은, 각 행에 따른 행렬의 계수들이 화소들을 넘어 응답의 매그니튜드를 특정하는 상기 정의된 예시적인 식 (11) 의 행렬에 대응한다. 따라서, 그 행렬의 제 3 행은, 저역 통과 성분의 선 (94) 의 점들에 대응하는
Figure 112009013570717-pct00059
행을 정의한다. 선 (94) 에 의해 도시된 저역 통과 성분을 구성함으로써, 수평의 선명화 필터 (22A) 는 평활화 정도를 감소시켜, 될 수 있는 한, 도 6b 의 후광 효과를 감소시킬 수도 있다. 후광 효과 (88) 의 감소는, 어두운 에지들 주위에 백색 공간을 보다 적게 한다. 후광 효과 (88) 는 또한, 수평의 선명화 필터 (22A) 의 고역 통과 성분에 따라, 응답의 더 작은 매그니튜드, 즉 더 작은 계수들을 통하여 감소될 수도 있다.
도 8a 및 도 8b 는, 예시적인 이미지 정보 (96) 및 필터링된 이미지 정보 (98) 를 각각 나타낸 이미지들이다. 도 8a 에 나타낸 이미지 정보 (96) 는, 이미지 센서 (12) 가 이미지 정보 (96) 를 적응적 공간 이미지 필터 (14) 로 출력하는 도 2 의 이미지 정보 (30A) 와 실질적으로 유사할 수도 있다. 도 8b 의 필터링된 이미지 정보 (98) 는, 필터링된 이미지 정보 (98) 가 이미지 정보 (96) 에 대한 적응적 공간 이미지 필터 (14) 의 적용으로부터 발생할 수도 있는 필터링된 이미지 정보 (30G) 와 실질적으로 유사할 수도 있다. 특히, 필터링된 이미지 정보 (98) 는, 도 6b 의 후광 효과 (88) 와 유사한 감소된 후광 효과를 포함한다. 도 7 을 참조로 상기 설명된 기술들은, 이 경우에서 임의의 현저한 후광 효과를 감소시키기 위해 적용될 수 있다. 필터링된 이미지 정보 (98) 에 의해 나타낸 것처럼, 필터링된 이미지 정보 (98) 에 의해 나타내진 이미지는, 더 밝고 현저히 더 선명하게 보인다. 여기에 설명된 기술들의 적용은, 필터링된 이미지 정보 (98) 에 의해 도시된 것처럼, 도 1 및 도 2 의 이미지 캡쳐 디바이스 (10) 와 같은 이미지 캡쳐 디바이스가 캡쳐링된 이미지 정보를 현저히 선명화하는 적응적 공간 이미지 필터 (14) 와 같은 적응적 공간 이미지 필터를 적용하게 할 수도 있다. 적응적 공간 이미지 필터는, 이미지 센서들의 고유의 한계들, 광원들로부터의 간섭 등에도 불구하고 잡음을 감소시키고 이미지 정보를 선명화하는 방식으로 평활화 및 선명화 양자를 적용한다.
본 개시물에 설명된 기술들은, 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합에서 구현될 수도 있다. 특히, 여기에 설명된 것처럼, 인코더 또는 디코더는, 다양한 하드웨어, 소프트웨어 및 펌웨어 컴포넌트들 중 임의의 것에 의해 실현될 수도 있다. 예를 들어, 기술들의 다양한 양태들은, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 집적 회로들 (ASICs), 필드 프로그램가능한 게이트 어레이들 (FPGAs), 또는 임의의 다른 등가의 통합된 또는 분리된 로직 회로는 물론, 이러한 컴포넌트들의 임의의 조합들 내에 구현될 수도 있다. 일반적으로, "프로세서" 또는 "프로세싱 회로" 란 용어는, 전술의 로직 회로, 단독 또는 다른 로직 회로와 함께, 또는 임의의 다른 등가의 회로 중 임의의 것을 칭할 수도 있다. 일부 실시형태들에서, 여기에 설명된 기능성은, 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈들 또는 하드웨어 유닛들 내에 제공될 수도 있고, 또는 결합된 비디오 인코더-디코더 (CODEC) 에 통합될 수도 있다.
소프트웨어에 구현되는 경우, 이 기술들은, 프로세서에 의해 실행될 때, 상기 설명된 기능들 중 하나 이상을 수행하는 프로그램 코드 또는 명령들을 포함하는 컴퓨터 판독가능 매체에 의해 부분적으로 실현될 수도 있다. 이러한 프로그램 코드 또는 명령들을 저장하는 컴퓨터 판독가능 매체는, RAM (Random Access Memory), 이를 테면, SDRAM (Synchronous Dynamic RAM), ROM (Read-Only Memory), NVRAM (Non-Volatile RAM), EEPROM (Electrically Erasable Programmble ROM), FLASH 메모리, 자기 또는 광학 데이터 저장 매체, 또는 이러한 메모리 또는 저장 매체의 임의의 조합을 포함할 수도 있다.
본 개시물의 다양한 실시형태들이 설명되어 있다. 이들 및 다른 실시형 태들은 다음의 특허청구범위 내에 있다.

Claims (50)

  1. 이미지 정보를 필터링하는 방법으로서,
    상기 이미지 정보의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하여 하나 이상의 파라미터 값들을 결정하는 단계로서, 수평의 선명화 정도 (kH) 및 수직의 선명화 정도 (kV) 를 결정하는 단계를 포함하는, 하나 이상의 파라미터 값들을 결정하는 단계;
    상기 수평의 선명화 정도 (kH)에 기초하여 수평의 선명화 필터를 구성하는 단계;
    상기 수직의 선명화 정도 (kV)에 기초하여 수직의 선명화 필터를 구성하는 단계; 및
    필터링된 이미지 정보를 생성하기 위해, 상기 이미지 정보의 적어도 하나의 채널에 상기 구성된 수평의 선명화 필터 및 상기 구성된 수직의 선명화 필터를 적용하는 단계를 포함하고,
    상기 구성된 수평의 선명화 필터는 상기 구성된 수직의 선명화 필터와는 상이한, 이미지 정보 필터링 방법.
  2. 제 1 항에 있어서,
    상기 현재의 노출 레벨은, 상기 이미지 정보의 획득 중에 이미징 디바이스가 노출되는 조명 강도 (illumination intensity) 를 나타내는 노출 지수 값이고, 상기 현재의 스케일링 레벨은, 상기 이미지 정보에 적용된 업스케일링 또는 다운스케일링의 양을 나타내는, 이미지 정보 필터링 방법.
  3. 제 1 항에 있어서,
    상기 하나 이상의 파라미터 값들을 결정하는 상기 단계는,
    하나 이상의 정적 파라미터 값들과 각각 관련되는 복수의 노출 지수 값들에 따라 노출 레벨 범위를 분급하는 단계;
    상기 현재의 노출 레벨과 상기 분급 (classification) 간의 차이를 결정하는 단계; 및
    상기 차이의 결정에 기초하여 상기 분급의 상기 하나 이상의 정적 파라미터 값들로부터 상기 하나 이상의 파라미터 값들을 보간하는 단계를 포함하는, 이미지 정보 필터링 방법.
  4. 제 1 항에 있어서,
    상기 하나 이상의 파라미터 값들을 결정하는 상기 단계는,
    하나 이상의 정적 파라미터 값들과 각각 관련되는 복수의 스케일링 팩터 지수 값들에 따라 스케일링 레벨 범위를 분급하는 단계;
    상기 현재의 스케일링 레벨과 상기 분급 간의 차이를 결정하는 단계; 및
    상기 차이의 결정에 기초하여 상기 분급의 상기 하나 이상의 정적 파라미터 값들로부터 상기 하나 이상의 파라미터 값들을 보간하는 단계를 포함하는, 이미지 정보 필터링 방법.
  5. 제 1 항에 있어서,
    상기 하나 이상의 파라미터 값들을 결정하는 상기 단계는,
    상기 현재의 노출 레벨에 대응하는 노출 지수 값과 관련된 정적 파라미터 값들 및 상기 현재의 스케일링 레벨에 대응하는 스케일링 팩터 지수 값과 관련된 정적 파라미터 값들에 기초하여 상기 하나 이상의 파라미터 값들을 결정하는 단계를 포함하는, 이미지 정보 필터링 방법.
  6. 제 1 항에 있어서,
    상기 파라미터 값들에 기초하여 평활화 필터를 구성하는 단계; 및
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하기 전에, 상기 이미지 정보의 상기 적어도 하나의 채널에 상기 평활화 필터를 적용하여 평활화된 이미지 정보를 생성하는 단계를 더 포함하며,
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 상기 단계는, 상기 평활화된 이미지 정보의 적어도 하나의 채널에 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하여 상기 필터링된 이미지 정보를 생성하는 단계를 포함하는, 이미지 정보 필터링 방법.
  7. 제 6 항에 있어서,
    상기 파라미터 값들은, 평활화 정도 (p), 상기 수평의 선명화 정도 (kH), 상기 수직의 선명화 정도 (kV), 선명화 감산 임계값 (e1), 최대 포지티브 선명화 한계 (e2), 최대 네거티브 선명화 한계 (e3), 수평의 선명화 필터 (FH) 및 수직의 선명화 필터 (FV) 파라미터 값들 중 하나 이상을 포함하는, 이미지 정보 필터링 방법.
  8. 제 7 항에 있어서,
    상기 평활화 필터를 구성하는 상기 단계는, 상기 평활화 필터의 상기 평활화 정도 (p) 를 설정하는 단계를 포함하고,
    상기 수평의 선명화 필터를 구성하는 상기 단계는, 상기 수평의 선명화 필터의 상기 수평의 선명화 정도 (kH) 를 설정하는 단계를 포함하며,
    상기 수직의 선명화 필터를 구성하는 상기 단계는, 상기 수직의 선명화 필터의 상기 수직의 선명화 정도 (kV) 를 설정하는 단계를 포함하는, 이미지 정보 필터링 방법.
  9. 제 6 항에 있어서,
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 상기 단계는,
    상기 평활화된 이미지 정보의 상기 적어도 하나의 채널에 상기 수평의 선명화 필터를 적용하여 수평으로 선명화된 이미지 정보를 생성하는 단계;
    상기 평활화된 이미지 정보의 상기 적어도 하나의 채널에 상기 수직의 선명화 필터를 적용하여 수직으로 선명화된 이미지 정보를 생성하는 단계; 및
    상기 평활화된 이미지 정보, 상기 수평으로 선명화된 이미지 정보, 및 상기 수직으로 선명화된 이미지 정보를 합산하여 상기 필터링된 이미지 정보를 생성하는 단계를 더 포함하는, 이미지 정보 필터링 방법.
  10. 제 9 항에 있어서,
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 상기 단계는,
    상기 파라미터 값들 내에 포함된 최대 포지티브 선명화 한계 (e2) 및 최대 네거티브 선명화 한계 (e3) 에 따라 상기 수평으로 선명화된 이미지 정보를 클램핑하는 단계; 및
    상기 최대 포지티브 선명화 한계 (e2) 및 상기 최대 네거티브 선명화 한계 (e3) 에 따라 상기 수직으로 선명화된 이미지 정보를 클램핑하는 단계를 더 포함하는, 이미지 정보 필터링 방법.
  11. 제 9 항에 있어서,
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 상기 단계는,
    상기 수평으로 선명화된 이미지 정보로부터 상기 하나 이상의 파라미터 값들 내에 포함된 선명화 감산 임계값 (e1) 을 감산하는 단계; 및
    상기 수직으로 선명화된 이미지 정보로부터 상기 선명화 감산 임계값 (e1) 을 감산하는 단계를 더 포함하는, 이미지 정보 필터링 방법.
  12. 제 1 항에 있어서,
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 상기 단계는, 상기 이미지 정보의 휘도 (Y) 채널에 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 단계를 포함하며,
    상기 이미지 정보는, YCrCb 컬러 공간에 따라 정의되는, 이미지 정보 필터링 방법.
  13. 제 1 항에 있어서,
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 상기 단계는, 제 1 고역 통과 성분 및 제 1 저역 통과 성분을 갖는 수평의 선명화 필터 및 제 2 고역 통과 성분 및 제 2 저역 통과 성분을 갖는 수직의 선명화 필터를 적용하여 상기 필터링된 이미지 정보를 생성하는 단계를 포함하는, 이미지 정보 필터링 방법.
  14. 제 13 항에 있어서,
    상기 수평의 선명화 필터를 구성하는 상기 단계는,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수평의 선명화 필터 (FH) 파라미터 값을 설정함으로써 후광 효과를 감소시키도록 상기 수평의 선명화 필터의 상기 제 1 저역 통과 성분을 구성하는 단계; 및
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수평의 선명화 필터 (FH) 파라미터 값을 설정함으로써 상기 후광 효과를 감소시키도록 상기 수평의 선명화 필터의 상기 제 1 고역 통과 성분을 구성하는 단계를 포함하는, 이미지 정보 필터링 방법.
  15. 제 13 항에 있어서,
    상기 수직의 선명화 필터를 구성하는 상기 단계는,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수직의 선명화 필터 (FV) 파라미터 값을 설정함으로써 후광 효과를 감소시키도록 상기 수직의 선명화 필터의 상기 제 2 저역 통과 성분을 구성하는 단계; 및
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수직의 선명화 필터 (FV) 파라미터 값을 설정함으로써 상기 후광 효과를 감소시키도록 상기 수직의 선명화 필터의 상기 제 2 고역 통과 성분을 구성하는 단계를 포함하는, 이미지 정보 필터링 방법.
  16. 이미지 정보를 필터링하는 디바이스로서,
    상기 이미지 정보를 캡쳐링하고, 상기 이미지 정보의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하는 수평의 선명화 정도 (kH) 및 수직의 선명화 정도 (kV) 를 포함하는 하나 이상의 파라미터 값들을 결정하는, 이미지 센서; 및
    수평의 선명화 필터 및 수직의 선명화 필터를 포함하는 적응적 공간 이미지 필터를 포함하며,
    상기 적응적 공간 이미지 필터는, 상기 수평의 선명화 정도 (kH) 및 상기 수직의 선명화 정도 (kV) 에 기초하여 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 구성하고,
    상기 구성된 수평의 선명화 필터는 상기 구성된 수직의 선명화 필터와는 상이하며,
    상기 적응적 공간 이미지 필터는, 상기 이미지 정보의 적어도 하나의 채널에 상기 구성된 수평의 선명화 필터 및 상기 구성된 수직의 선명화 필터를 적용하여 필터링된 이미지 정보를 생성하는, 이미지 정보 필터링 디바이스.
  17. 제 16 항에 있어서,
    상기 현재의 노출 레벨은, 상기 이미지 정보의 획득 중에 이미징 디바이스가 노출되는 조명 강도 (illumination intensity) 를 나타내는 노출 지수 값이고, 상기 현재의 스케일링 레벨은, 상기 이미지 정보에 적용된 업스케일링 또는 다운스케일링의 양을 나타내는, 이미지 정보 필터링 디바이스.
  18. 제 16 항에 있어서,
    상기 이미지 센서는,
    하나 이상의 정적 파라미터 값들과 각각 관련되는 복수의 노출 지수 레벨들에 따라 노출 레벨 범위를 분급하고;
    상기 현재의 노출 레벨과 상기 분급 (classification) 간의 차이를 결정하며;
    상기 차이의 결정에 기초하여 상기 분급의 상기 하나 이상의 정적 파라미터 값들로부터 상기 하나 이상의 파라미터 값들을 보간함으로써,
    상기 파라미터 값들을 결정하는, 이미지 정보 필터링 디바이스.
  19. 제 16 항에 있어서,
    상기 이미지 센서는,
    하나 이상의 정적 파라미터 값들과 각각 관련되는 복수의 스케일링 팩터 지수 값들에 따라 스케일링 레벨 범위를 분급하고;
    상기 현재의 스케일링 레벨과 상기 분급 간의 차이를 결정하며;
    상기 차이의 결정에 기초하여 상기 분급의 상기 하나 이상의 정적 파라미터 값들로부터 상기 하나 이상의 파라미터 값들을 보간함으로써,
    상기 파라미터 값들을 결정하는, 이미지 정보 필터링 디바이스.
  20. 제 16 항에 있어서,
    상기 적응적 공간 이미지 필터는 평활화 필터를 더 포함하며,
    상기 적응적 공간 이미지 필터는 또한, 상기 파라미터 값들에 기초하여 상기 평활화 필터를 구성하고, 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하기 전에, 상기 이미지 정보의 상기 적어도 하나의 채널에 상기 평활화 필터를 적용하여 평활화된 이미지 정보를 생성하며,
    상기 적응적 공간 이미지 필터는, 상기 평활화된 이미지 정보의 적어도 하나의 채널에 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하여 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용함으로써 상기 필터링된 이미지 정보를 생성하는, 이미지 정보 필터링 디바이스.
  21. 제 20 항에 있어서,
    상기 파라미터 값들은, 평활화 정도 (p), 선명화 감산 임계값 (e1), 최대 포지티브 선명화 한계 (e2), 최대 네거티브 선명화 한계 (e3), 수평의 선명화 필터 (FH) 및 수직의 선명화 필터 (FV) 파라미터 값들 중 하나 이상을 더 포함하는, 이미지 정보 필터링 디바이스.
  22. 제 21 항에 있어서,
    상기 적응적 공간 이미지 필터는, 상기 평활화 필터의 상기 평활화 정도 (p) 를 설정하고, 상기 수평의 선명화 필터의 상기 수평의 선명화 정도 (kH) 를 설정하며, 상기 수직의 선명화 필터의 상기 수직의 선명화 정도 (kV) 를 설정하는, 이미지 정보 필터링 디바이스.
  23. 제 21 항에 있어서,
    상기 적응적 공간 이미지 필터는,
    상기 평활화된 이미지 정보의 상기 적어도 하나의 채널에 상기 수평의 선명화 필터를 적용하여 수평으로 선명화된 이미지 정보를 생성하고,
    상기 평활화된 이미지 정보의 상기 적어도 하나의 채널에 상기 수직의 선명화 필터를 적용하여 수직으로 선명화된 이미지 정보를 생성하며;
    상기 평활화된 이미지 정보, 상기 수평으로 선명화된 이미지 정보, 및 상기 수직으로 선명화된 이미지 정보를 합산하여 상기 필터링된 이미지 정보를 생성하는, 이미지 정보 필터링 디바이스.
  24. 제 23 항에 있어서,
    상기 적응적 공간 이미지 필터는,
    상기 하나 이상의 파라미터 값들 내에 포함된 최대 포지티브 선명화 한계 (e2) 및 최대 네거티브 선명화 한계 (e3) 에 따라 상기 수평으로 선명화된 이미지 정보를 클램핑하고;
    상기 최대 포지티브 선명화 한계 (e2) 및 상기 최대 네거티브 선명화 한계 (e3) 에 따라 상기 수직으로 선명화된 이미지 정보를 클램핑하는, 이미지 정보 필터링 디바이스.
  25. 제 24 항에 있어서,
    상기 적응적 공간 이미지 필터는,
    상기 수평으로 선명화된 이미지 정보로부터 상기 하나 이상의 파라미터 값들 내에 포함된 선명화 감산 임계값 (e1) 을 감산하고;
    상기 수직으로 선명화된 이미지 정보로부터 상기 선명화 감산 임계값 (e1) 을 감산하는, 이미지 정보 필터링 디바이스.
  26. 제 16 항에 있어서,
    상기 적응적 공간 이미지 필터는, 상기 이미지 정보의 휘도 (Y) 채널에 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하며,
    상기 이미지 정보는, YCrCb 컬러 공간에 따라 정의되는, 이미지 정보 필터링 디바이스.
  27. 제 16 항에 있어서,
    상기 필터링된 이미지 정보를 생성하기 위해, 상기 수평의 선명화 필터는, 제 1 고역 통과 성분 및 제 1 저역 통과 성분을 갖고, 상기 수직의 선명화 필터는, 제 2 고역 통과 성분 및 제 2 저역 통과 성분을 갖는, 이미지 정보 필터링 디바이스.
  28. 제 27 항에 있어서,
    상기 적응적 공간 이미지 필터는,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수평의 선명화 필터 (FH) 파라미터 값을 설정함으로써 후광 효과를 감소시키도록 상기 수평의 선명화 필터의 상기 제 1 저역 통과 성분을 구성하고,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수평의 선명화 필터 (FH) 파라미터 값을 설정함으로써 상기 후광 효과를 감소시키도록 상기 수평의 선명화 필터의 상기 제 1 고역 통과 성분을 구성하는, 이미지 정보 필터링 디바이스.
  29. 제 27 항에 있어서,
    상기 적응적 공간 이미지 필터는,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수직의 선명화 필터 (FV) 파라미터 값을 설정함으로써 후광 효과를 감소시키도록 상기 수직의 선명화 필터의 상기 제 2 저역 통과 성분을 구성하고,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수직의 선명화 필터 (FV) 파라미터 값을 설정함으로써 상기 후광 효과를 감소시키도록 상기 수직의 선명화 필터의 상기 제 2 고역 통과 성분을 구성하는, 이미지 정보 필터링 디바이스.
  30. 명령들을 포함하고, 이미지 정보를 필터링하는 컴퓨터 판독가능 매체로서,
    상기 명령들은, 프로세서로 하여금,
    상기 이미지 정보의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하여 하나 이상의 파라미터 값들을 결정하게 하고, 상기 결정하는 것은 수평의 선명화 정도 (kH) 및 수직의 선명화 정도 (kV) 를 결정하는 것을 포함하며,
    상기 수평의 선명화 정도 (kH) 에 기초하여 수평의 선명화 필터를 구성하게 하고;
    상기 수직의 선명화 정도 (kV)에 기초하여 수직의 선명화 필터를 구성하게 하며;
    필터링된 이미지 정보를 생성하기 위해, 상기 이미지 정보의 적어도 하나의 채널에 상기 구성된 수평의 선명화 필터 및 상기 구성된 수직의 선명화 필터를 적용하게 하며,
    상기 구성된 수평의 선명화 필터는 상기 구성된 수직의 선명화 필터와는 상이한, 컴퓨터 판독가능 매체.
  31. 제 30 항에 있어서,
    상기 현재의 노출 레벨은, 상기 이미지 정보의 획득 중에 이미징 디바이스가 노출되는 조명 강도 (illumination intensity) 를 나타내는 노출 지수 값이며, 상기 현재의 스케일링 레벨은, 상기 이미지 정보에 적용된 업스케일링 또는 다운스케 일링의 양을 나타내는, 컴퓨터 판독가능 매체.
  32. 제 30 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    하나 이상의 정적 파라미터 값들과 각각 관련되는 복수의 노출 지수 값들에 따라 노출 레벨 범위를 분급하게 하고,
    상기 현재의 노출 레벨과 상기 분급 (classification) 간의 차이를 결정하게 하며,
    상기 차이의 결정에 기초하여 상기 분급의 상기 하나 이상의 정적 파라미터 값들로부터 상기 하나 이상의 파라미터 값들을 보간하게 하는, 컴퓨터 판독가능 매체.
  33. 제 30 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    하나 이상의 정적 파라미터 값들과 각각 관련되는 복수의 스케일링 팩터 지수 값들에 따라 스케일링 레벨 범위를 분급하게 하고;
    상기 현재의 스케일링 레벨과 상기 분급 간의 차이를 결정하게 하며;
    상기 차이의 결정에 기초하여 상기 분급의 상기 하나 이상의 정적 파라미터 값들로부터 상기 하나 이상의 파라미터 값들을 보간하게 하는, 컴퓨터 판독가능 매체.
  34. 제 30 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 현재의 노출 레벨에 대응하는 노출 지수 값과 관련된 정적 파라미터 값들 및 상기 현재의 스케일링 레벨에 대응하는 스케일링 팩터 지수 값과 관련된 정적 파라미터 값들에 기초하여 상기 하나 이상의 파라미터 값들을 결정하게 하는, 컴퓨터 판독가능 매체.
  35. 제 30 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 파라미터 값들에 기초하여 평활화 필터를 구성하게 하고, 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하기 전에, 상기 이미지 정보의 상기 적어도 하나의 채널에 상기 평활화 필터를 적용하여 평활화된 이미지 정보를 생성하게 하며,
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 것은, 상기 평활화된 이미지 정보의 적어도 하나의 채널에 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하여 상기 필터링된 이미지 정보를 생성하는 것을 포함하는, 컴퓨터 판독가능 매체.
  36. 제 35 항에 있어서,
    상기 파라미터 값들은, 평활화 정도 (p), 상기 수평의 선명화 정도 (kH), 상기 수직의 선명화 정도 (kV), 선명화 감산 임계값 (e1), 최대 포지티브 선명화 한계 (e2), 최대 네거티브 선명화 한계 (e3), 수평의 선명화 필터 (FH) 및 수직의 선명화 필터 (FV) 파라미터 값들 중 하나 이상을 포함하는, 컴퓨터 판독가능 매체.
  37. 제 36 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 평활화 필터의 상기 평활화 정도 (p) 를 설정하게 하고,
    상기 수평의 선명화 필터의 상기 수평의 선명화 정도 (kH) 를 설정하게 하며,
    상기 수직의 선명화 필터의 상기 수직의 선명화 정도 (kV) 를 설정하게 하는, 컴퓨터 판독가능 매체.
  38. 제 35 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 평활화된 이미지 정보의 상기 적어도 하나의 채널에 상기 수평의 선명화 필터를 적용하여 수평으로 선명화된 이미지 정보를 생성하게 하고,
    상기 평활화된 이미지 정보의 상기 적어도 하나의 채널에 상기 수직의 선명 화 필터를 적용하여 수직으로 선명화된 이미지 정보를 생성하게 하며;
    상기 평활화된 이미지 정보, 상기 수평으로 선명화된 이미지 정보, 및 상기 수직으로 선명화된 이미지 정보를 합산하여 상기 필터링된 이미지 정보를 생성하게 하는, 컴퓨터 판독가능 매체.
  39. 제 38 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 파라미터 값들 내에 포함된 최대 포지티브 선명화 한계 (e2) 및 최대 네거티브 선명화 한계 (e3) 에 따라 상기 수평으로 선명화된 이미지 정보를 클램핑하게 하고;
    상기 최대 포지티브 선명화 한계 (e2) 및 상기 최대 네거티브 선명화 한계 (e3) 에 따라 상기 수직으로 선명화된 이미지 정보를 클램핑하게 하는, 컴퓨터 판독가능 매체.
  40. 제 38 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 수평으로 선명화된 이미지 정보로부터 상기 하나 이상의 파라미터 값들 내에 포함된 선명화 감산 임계값 (e1) 을 감산하게 하고,
    상기 수직으로 선명화된 이미지 정보로부터 상기 선명화 감산 임계값 (e1) 을 감산하게 하는, 컴퓨터 판독가능 매체.
  41. 제 30 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 이미지 정보의 휘도 (Y) 채널에 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하게 하며,
    상기 이미지 정보는, YCrCb 컬러 공간에 따라 정의되는, 컴퓨터 판독가능 매체.
  42. 제 30 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금, 제 1 고역 통과 성분 및 제 1 저역 통과 성분을 갖는 수평의 선명화 필터 및 제 2 고역 통과 성분 및 제 2 저역 통과 성분을 갖는 수직의 선명화 필터를 적용하여 상기 필터링된 이미지 정보를 생성하게 하는, 컴퓨터 판독가능 매체.
  43. 제 42 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수평의 선명화 필터 (FH) 파라미터 값을 설정함으로써 후광 효과를 감소시키도록 상기 수평의 선명화 필터의 상기 제 1 저역 통과 성분을 구성하게 하고;
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수평의 선명화 필터 (FH) 파라미터 값을 설정함으로써 상기 후광 효과를 감소시키도록 상기 수평의 선명화 필터의 상기 제 1 고역 통과 성분을 구성하게 하는, 컴퓨터 판독가능 매체.
  44. 제 42 항에 있어서,
    상기 명령들은, 상기 프로세서로 하여금,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수직의 선명화 필터 (FV) 파라미터 값을 설정함으로써 후광 효과를 감소시키도록 상기 수직의 선명화 필터의 상기 제 2 저역 통과 성분을 구성하게 하고,
    상기 하나 이상의 파라미터 값들 중 하나 이상으로 수직의 선명화 필터 (FV) 파라미터 값을 설정함으로써 상기 후광 효과를 감소시키도록 상기 수직의 선명화 필터의 상기 제 2 고역 통과 성분을 구성하게 하는, 컴퓨터 판독가능 매체.
  45. 이미지 정보를 필터링하는 디바이스로서,
    상기 이미지 정보의 현재의 노출 레벨 및 현재의 스케일링 레벨에 기초하여 하나 이상의 파라미터 값들을 결정하는 수단으로서, 수평의 선명화 정도 (kH) 및 수직의 선명화 정도 (kV) 를 결정하는 것을 포함하는, 하나 이상의 파라미터 값들을 결정하는 수단;
    상기 수평의 선명화 정도 (kH)에 기초하여 수평의 선명화 필터를 구성하는 수단;
    상기 수직의 선명화 정도 (kV)에 기초하여 수직의 선명화 필터를 구성하는 수단; 및
    필터링된 이미지 정보를 생성하기 위해, 상기 이미지 정보의 적어도 하나의 채널에 상기 구성된 수평의 선명화 필터 및 상기 구성된 수직의 선명화 필터를 적용하는 수단을 포함하고,
    상기 구성된 수평의 선명화 필터는 상기 구성된 수직의 선명화 필터와는 상이한, 이미지 정보 필터링 디바이스.
  46. 제 45 항에 있어서,
    상기 현재의 노출 레벨은, 상기 이미지 정보의 획득 중에 이미징 디바이스가 노출되는 조명 강도 (illumination intensity) 를 나타내는 노출 지수 값이고, 상기 현재의 스케일링 레벨은, 상기 이미지 정보에 적용된 업스케일링 또는 다운스케일링의 양을 나타내는, 이미지 정보 필터링 디바이스.
  47. 제 45 항에 있어서,
    상기 하나 이상의 파라미터 값들을 결정하는 상기 수단은,
    하나 이상의 정적 파라미터 값들과 각각 관련되는 복수의 노출 지수 값들에 따라 노출 레벨 범위를 분급하는 수단;
    상기 현재의 노출 레벨과 상기 분급 (classification) 간의 차이를 결정하는 수단; 및
    상기 차이의 결정에 기초하여 상기 분급의 상기 하나 이상의 정적 파라미터 값들로부터 상기 하나 이상의 파라미터 값들을 보간하는 수단을 포함하는, 이미지 정보 필터링 디바이스.
  48. 제 45 항에 있어서,
    상기 하나 이상의 파라미터 값들을 결정하는 상기 수단은,
    하나 이상의 정적 파라미터 값들과 각각 관련되는 복수의 스케일링 팩터 지수 값들에 따라 스케일링 레벨 범위를 분급하는 수단;
    상기 현재의 스케일링 레벨과 상기 분급 간의 차이를 결정하는 수단; 및
    상기 차이의 결정에 기초하여 상기 분급의 상기 하나 이상의 정적 파라미터 값들로부터 상기 하나 이상의 파라미터 값들을 보간하는 수단을 포함하는, 이미지 정보 필터링 디바이스.
  49. 제 45 항에 있어서,
    상기 파라미터 값들에 기초하여 평활화 필터를 구성하는 수단; 및
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하기 전에, 상기 이미지 정보의 상기 적어도 하나의 채널에 상기 평활화 필터를 적용하여 평활화된 이미지 정보를 생성하는 수단을 더 포함하며,
    상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하는 상기 수단은, 상기 평활화된 이미지 정보의 적어도 하나의 채널에 상기 수평의 선명화 필터 및 상기 수직의 선명화 필터를 적용하여 상기 필터링된 이미지 정보를 생성하는 수단을 포함하는, 이미지 정보 필터링 디바이스.
  50. 제 49 항에 있어서,
    상기 파라미터 값들은, 평활화 정도 (p), 상기 수평의 선명화 정도 (kH), 상기 수직의 선명화 정도 (kV), 선명화 감산 임계값 (e1), 최대 포지티브 선명화 한계 (e2), 최대 네거티브 선명화 한계 (e3), 수평의 선명화 필터 (FH) 및 수직의 선명화 필터 (FV) 파라미터 값들 중 하나 이상을 포함하는, 이미지 정보 필터링 디바이스.
KR1020097004675A 2006-08-07 2007-08-02 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터 KR101059403B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/500,768 US8442344B2 (en) 2006-08-07 2006-08-07 Adaptive spatial image filter for filtering image information
US11/500,768 2006-08-07
PCT/US2007/075098 WO2008021742A2 (en) 2006-08-07 2007-08-02 Adaptive spatial image filter for filtering image information

Publications (2)

Publication Number Publication Date
KR20090039824A KR20090039824A (ko) 2009-04-22
KR101059403B1 true KR101059403B1 (ko) 2011-08-29

Family

ID=38925639

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097004675A KR101059403B1 (ko) 2006-08-07 2007-08-02 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터

Country Status (6)

Country Link
US (1) US8442344B2 (ko)
EP (1) EP2055093B1 (ko)
JP (1) JP5113171B2 (ko)
KR (1) KR101059403B1 (ko)
CN (1) CN101502097B (ko)
WO (1) WO2008021742A2 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4538358B2 (ja) * 2005-03-30 2010-09-08 パイオニア株式会社 画像処理装置
US7809208B2 (en) * 2007-05-30 2010-10-05 Microsoft Corporation Image sharpening with halo suppression
US8897524B2 (en) * 2007-10-29 2014-11-25 Ramot At Tel-Aviv University Ltd. Method and device for processing computerized tomography images
WO2009081394A1 (en) * 2007-12-20 2009-07-02 Ramot At Tel Aviv University Ltd. Method of and apparatus for processing images
EP2315431A4 (en) * 2008-07-14 2012-06-27 Sharp Kk PICTURE SIGNAL PROCESSING DEVICE AND PICTURE DISPLAY DEVICE
US8457194B2 (en) * 2008-09-29 2013-06-04 Microsoft Corporation Processing real-time video
US8913668B2 (en) 2008-09-29 2014-12-16 Microsoft Corporation Perceptual mechanism for the selection of residues in video coders
US8456545B2 (en) * 2009-05-08 2013-06-04 Qualcomm Incorporated Systems, methods, and apparatus for generation of reinforcement pattern and systems, methods, and apparatus for artifact evaluation
US8508330B1 (en) * 2009-05-25 2013-08-13 Cypress Semiconductor Corporation Adaptive filter for lighting assembly control signals
US8643777B2 (en) * 2009-09-25 2014-02-04 Vixs Systems Inc. Pixel interpolation with edge detection based on cross-correlation
US8284314B2 (en) * 2009-12-16 2012-10-09 Vixs Systems, Inc. Adaptive edge enhancement using directional components from non-linear filtering
KR101329969B1 (ko) * 2010-07-09 2013-11-13 엘지디스플레이 주식회사 액정 표시 장치와 그의 로컬 디밍 구동 방법
WO2012017440A1 (en) 2010-08-05 2012-02-09 Ramot At Tel-Aviv University Ltd. Method and system for processing an image featuring multiple scales
TWI501624B (zh) * 2011-05-13 2015-09-21 Innolux Corp 保密顯示系統、保密顯示器、保密顯示方法及保密眼鏡
US8730329B2 (en) 2011-07-11 2014-05-20 Qualcomm, Incorporated Automatic adaptive image sharpening
CN102752480A (zh) * 2011-12-01 2012-10-24 新奥特（北京）视频技术有限公司 一种实现图像锐化特技效果的方法
JP6089436B2 (ja) * 2012-04-18 2017-03-08 ソニー株式会社 画像処理装置と画像処理装置の作動方法および撮像装置
CN102883165B (zh) * 2012-10-19 2015-10-07 北京奇虎科技有限公司 图片缩放处理方法及设备
CN104301578A (zh) * 2012-10-19 2015-01-21 北京奇虎科技有限公司 基于图片类型的处理方法及设备
CN102868847B (zh) * 2012-10-19 2014-12-10 北京奇虎科技有限公司 基于图片类型的处理方法及设备
KR20140063125A (ko) 2012-11-16 2014-05-27 삼성전자주식회사 영역에 따라 다른 계수를 적용하여 화질을 개선하는 영상 처리 방법 및 그 장치
CN103916649B (zh) * 2012-12-31 2017-03-15 展讯通信（上海）有限公司 一种图像处理方法和装置、系统
CN103067661B (zh) * 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
JP6319545B2 (ja) * 2013-03-15 2018-05-09 パナソニックＩｐマネジメント株式会社 画像符号化装置、撮影システム、撮影記録システム、画質符号化方法、及び画像符号化制御プログラム
DE102014200833A1 (de) * 2014-01-17 2015-07-23 Olympus Winter & Ibe Gmbh Verfahren zur Steuerung einer Videobildverarbeitung, Bildverarbeitungssteuerungssoftware sowie Video-Endoskopiesystem
KR20150087701A (ko) * 2014-01-22 2015-07-30 삼성전자주식회사 샤프닝 필터링 기반의 이미지 처리 장치 및 이미지 처리 방법
CN105389776B (zh) * 2014-09-02 2019-05-03 辉达公司 图像缩放技术
CN104320671A (zh) * 2014-11-13 2015-01-28 山东财经大学 一种基于h.264标准的在线视频转码方法
CN105763768B (zh) * 2014-12-15 2019-12-13 深圳市中兴微电子技术有限公司 一种图像处理方法、装置和系统
US9445007B1 (en) * 2015-02-25 2016-09-13 Qualcomm Incorporated Digital zoom methods and systems
US10402696B2 (en) * 2016-01-04 2019-09-03 Texas Instruments Incorporated Scene obstruction detection using high pass filters
US11681001B2 (en) 2018-03-09 2023-06-20 The Board Of Trustees Of The Leland Stanford Junior University Deep learning method for nonstationary image artifact correction
KR102525159B1 (ko) * 2018-03-19 2023-04-25 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
JP2022019359A (ja) * 2020-07-17 2022-01-27 キヤノン株式会社 画像処理装置、画像処理方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209686A (ja) * 2002-01-16 2003-07-25 Noritsu Koki Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696850A (en) * 1995-12-21 1997-12-09 Eastman Kodak Company Automatic image sharpening in an electronic imaging system
DE19703063C2 (de) * 1997-01-29 2000-05-04 Agfa Gevaert Ag Verfahren zum Erzeugen eines Bildes von einer transparenten Vorlage
US5978518A (en) * 1997-02-25 1999-11-02 Eastman Kodak Company Image enhancement in digital image processing
KR19990054793A (ko) * 1997-12-26 1999-07-15 정선종 3차원 형상 데이터로부터 특징형상을 추출하는 방법
US6091861A (en) * 1998-02-03 2000-07-18 Eastman Kodak Company Sharpening algorithm adjusted for measured exposure of photofinishing images
US6167414A (en) 1998-06-11 2000-12-26 Eastman Kodak Company System for adjusting size and scale of digital filters and creating digital filters
US6614474B1 (en) * 1998-08-27 2003-09-02 Polycom, Inc. Electronic pan tilt zoom video camera with adaptive edge sharpening filter
JP2001186353A (ja) * 1999-12-27 2001-07-06 Noritsu Koki Co Ltd 画像処理方法および画像処理プログラムを記録した記録媒体
US6757442B1 (en) * 2000-11-22 2004-06-29 Ge Medical Systems Global Technology Company, Llc Image enhancement method with simultaneous noise reduction, non-uniformity equalization, and contrast enhancement
JP2002344798A (ja) 2001-05-16 2002-11-29 Canon Inc 撮像システム
US7031549B2 (en) * 2002-02-22 2006-04-18 Hewlett-Packard Development Company, L.P. Systems and methods for enhancing tone reproduction
US7433084B2 (en) * 2002-07-01 2008-10-07 Xerox Corporation Digital de-screening technique for scanned documents
EP1523181A4 (en) 2002-07-11 2005-12-07 Seiko Epson Corp PICTURE OUTPUT IMAGE ADJUSTMENT
US7280703B2 (en) * 2002-11-14 2007-10-09 Eastman Kodak Company Method of spatially filtering a digital image using chrominance information
US7616838B2 (en) * 2002-12-20 2009-11-10 Mitsubishi Denki Kabushiki Kaisha Edge-directed images sharpening method
US7876974B2 (en) * 2003-08-29 2011-01-25 Vladimir Brajovic Method for improving digital images and an image sensor for sensing the same
US7412105B2 (en) * 2003-10-03 2008-08-12 Adobe Systems Incorporated Tone selective adjustment of images
US7269300B2 (en) * 2003-10-24 2007-09-11 Eastman Kodak Company Sharpening a digital image in accordance with magnification values
US7391933B2 (en) 2003-10-30 2008-06-24 Samsung Electronics Co., Ltd. Method and apparatus for image interpolation based on adaptive polyphase filters
CN1300744C (zh) * 2003-12-09 2007-02-14 香港中文大学 对数字图像曝光不足的缺陷进行自动修正的方法和系统
US7317841B2 (en) * 2003-12-22 2008-01-08 Ge Medical Systems Global Technology Company, Llc System and method for image noise reduction using a minimal error spatiotemporal recursive filter
US7639892B2 (en) * 2004-07-26 2009-12-29 Sheraizin Semion M Adaptive image improvement
US7860167B2 (en) * 2004-07-30 2010-12-28 Algolith Inc. Apparatus and method for adaptive 3D artifact reducing for encoded image signal
JP2006050155A (ja) 2004-08-03 2006-02-16 Sharp Corp 画像の鮮鋭化装置および方法、画像の鮮鋭化装置を用いた電子機器及び鮮鋭化プログラム、及びそのプログラムを記録した記録媒体
US7343047B2 (en) * 2004-09-22 2008-03-11 Hewlett-Packard Development Company, L.P. Systems and methods for arriving at an auto focus Figure of Merit
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
JP4459137B2 (ja) * 2005-09-07 2010-04-28 株式会社東芝 画像処理装置及びその方法
US7599569B2 (en) * 2006-01-13 2009-10-06 Ati Technologies, Ulc Method and apparatus for bilateral high pass filter

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209686A (ja) * 2002-01-16 2003-07-25 Noritsu Koki Co Ltd 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2010500659A (ja) 2010-01-07
CN101502097B (zh) 2013-10-30
EP2055093B1 (en) 2017-11-01
WO2008021742A2 (en) 2008-02-21
EP2055093A2 (en) 2009-05-06
WO2008021742A3 (en) 2008-04-10
US20080031538A1 (en) 2008-02-07
CN101502097A (zh) 2009-08-05
KR20090039824A (ko) 2009-04-22
US8442344B2 (en) 2013-05-14
JP5113171B2 (ja) 2013-01-09

Similar Documents

Publication Publication Date Title
KR101059403B1 (ko) 이미지 정보를 필터링하기 위한 적응적 공간 이미지 필터
US7860334B2 (en) Adaptive image filter for filtering image information
JP6169186B2 (ja) 画像処理方法及び装置並びに撮影端末
TWI473039B (zh) 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
US9070185B2 (en) Noise filtering method and apparatus considering noise variance and motion detection
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP2009124598A (ja) 画像処理装置及び画像処理方法
JP2012523790A (ja) ビデオカメラ
CN113168669B (zh) 图像处理方法、装置、电子设备及可读存储介质
JP2009093323A (ja) 画像処理装置およびプログラム
US8189066B2 (en) Image processing apparatus, image processing method, and computer-readable medium
WO2018152977A1 (zh) 一种图像降噪方法及终端和计算机存储介质
US9860456B1 (en) Bayer-clear image fusion for dual camera
JP6685198B2 (ja) 撮像装置及びその制御方法及びプログラム
Adams Jr et al. Digital camera image processing chain design
Deever et al. Digital camera image formation: Processing and storage
US9071803B2 (en) Image processing apparatus, image pickup apparatus, image processing method and non-transitory computer-readable storage medium storing image processing program
US9007494B2 (en) Image processing apparatus, method for controlling the same and storage medium
JP6857006B2 (ja) 撮像装置
JP2015211320A (ja) 画像処理装置、その制御方法、及びプログラム
Adams et al. Perceptually based image processing algorithm design
Zhou et al. An Effective Image Demosaicking Algorithm with Correlations among RGB Channels
Pillman et al. Image quality in consumer digital cameras
US9635330B2 (en) Image processing device, image processing method, and program
JP2018151766A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 9