KR20120062722A - 이미지 캡쳐 시스템에서 결함 평가방법 및 관련 시스템 - Google Patents

이미지 캡쳐 시스템에서 결함 평가방법 및 관련 시스템 Download PDF

Info

Publication number
KR20120062722A
KR20120062722A KR1020127004376A KR20127004376A KR20120062722A KR 20120062722 A KR20120062722 A KR 20120062722A KR 1020127004376 A KR1020127004376 A KR 1020127004376A KR 20127004376 A KR20127004376 A KR 20127004376A KR 20120062722 A KR20120062722 A KR 20120062722A
Authority
KR
South Korea
Prior art keywords
image
defect
image capture
capture system
field
Prior art date
Application number
KR1020127004376A
Other languages
English (en)
Other versions
KR101666137B1 (ko
Inventor
프레데리끄 카오
프레데리끄 귀샤흐
아이함 누세이르
Original Assignee
디엑스오 랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디엑스오 랩스 filed Critical 디엑스오 랩스
Publication of KR20120062722A publication Critical patent/KR20120062722A/ko
Application granted granted Critical
Publication of KR101666137B1 publication Critical patent/KR101666137B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Abstract

본 발명은 임의의 장면(S)을 나타내는 임의의 제 1 이미지(I)에 대해 제 1 이미지의 특징의 필드내 변화를 야기하고, 장면에 의해 추가된 상기 특징의 필드내 변화보다 통계적으로 더 낮은 크기 차수를 갖는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법에 관한 것이다. 상기 방법은 제 1 이미지 필드의 적어도 제 1 부분에서, 상기 제 1 이미지의 상기 특징에 대한 측정(μ(I))을 계산하는 단계와, 제 1 이미지의 필드의 적어도 제 2 부분에서 상기 결함의 평가 크기(v)를 구하는 단계를 포함하고, 상기 크기는 계산된 측정에 따르고 상기 결함에 의해 야기된 제 1 이미지의 상기 특징의 필드내 변화와 동일한 크기 차수의 변화를 갖는다.

Description

이미지 캡쳐 시스템에서 결함 평가방법 및 관련 시스템{METHOD FOR ESTIMATING A DEFECT IN AN IMAGE-CAPTURING SYSTEM, AND ASSOCIATED SYSTEMS}
본 발명은 이미지 캡쳐 시스템에서의 결함에 관한 것이다.
이미지 캡쳐 시스템(정지 또는 활동)은 예컨대 디지털 카메라, 리플렉스 카메라(reflex camera), 스캐너, 장난감, 영화 카메라, 전화와 통합되거나 연결된 카메라, 개인휴대정보 단말기 또는 컴퓨터, 적외선 카메라, 자외선 디바이스, MRI(자기공명 이미지) 디바이스, X-레이 방사선 사진촬영장치 등에 사용하기 위한 모듈이 될 수 있다.
편의상 센서와 상기 센서에 광을 집속시키기 위한 하나 이상의 렌즈들을 구비한 광학 시스템을 구비한다.
광학 시스템은 치수, 렌즈 개수, 렌즈에 사용된 재료, 렌즈 형상, 광축을 따른 시스템의 다른 구성요소들의 위치 등을 포함한 많은 특징들에 의해 특징된다.
센서에 대해서, 광감지소자(가령 픽셀)의 시스템은 수신된 광량을 디지털 값으로 변환시키고 각 픽셀에 해당 값 또는 값들을 할당한다. 센서에 의해 직접 캡쳐된 미처리 이미지를 통상적으로 로우 이미지(raw image)라 한다. 각 픽셀에 궁극적으로 기여되는 수치 값의 개수는 이미지 캡쳐 시스템에 따른다.
센서는 가령, CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor), CID(Charge Induced Device), IRCCD(Infrared CCD), ICCD (Intensified CCD), EBCCD(Electron Bombarded CCD), MIS(Metal Insulator Semiconductor), APS(Active Pixel Sensor), QWIP(Quantum Well Infrared Photodetector), MQW(Multiple Quantum Well), 또는 기타 디바이스일 수 있다. 가능하게는 컬러 이미지를 얻기 위해 가령 베이어 필터(Bayer filter) 또는 팬크로마틱 셀(panchromatic cells)과 같은 필터와 결합될 수 있다.
이미지 캡쳐 시스템은 촬영장면의 정확한 이미지를 재현하게 되어 있다. 특히, 이미지 캡쳐 시스템은 대상물의 알베도(albedo)(빛을 어떻게 반사시키는지), 카메라까지의 거리, 또는 기타 속성들과 같은 촬영장면에서 대상의 속성 필드(filed)에서의 변화를 옮길 수 있어야 한다.
그러나, 실제 이미지 캡쳐 시스템은 일반적으로 캡쳐된 이미지 필드에서 변화를 일으키는 설계 또는 제조와 관련된 것들과 같은 결함들을 갖는다. 그 결과, 캡쳐된 이미지에 있는 변화들이 촬영장면의 속성에 대한 것뿐만 아니라 이미지 캡쳐 시스템에서 하나 이상의 결함들로부터 발생된다. 이는 이런 이미지가 사람의 눈에 보여질 때 불쾌감을 야기할 수 있다.
이미지 캡쳐 시스템으로 캡쳐된 이미지의 필드내에 이미지의 적어도 하나의 특징에서의 변화를 야기하는 이미지 캡쳐 시스템에서의 다른 많은 타입의 결함들이 있을 수 있다.
일예는 휘도 비네팅(vignetting)이다. 이는 이미지 캡쳐 시스템에 의해 캡쳐된 이미지가 중심에서보다는 가장자리에서 더 어두워지게 한다. 휘도 비네팅은 이미지 캡쳐 시스템으로 캡쳐된 이미지의 필드내에서 그레이스케일에 해당하는 적어도 한 특징의 변화를 야기한다. 이 결함은 조명과 장면에서 대상물의 반사에 의해 발생된 그레이스케일 변화보다 통계적으로 낮은 크기 차수인 변화를 야기한다.
이미지 캡쳐 시스템에서의 또 다른 예는 컬러 비네팅이다. 이는 이미지 캡쳐 시스템으로 캡쳐된 이미지 필드내에 컬러리메트리(colorimetry)에 따른 적어도 한 특징의 변화를 야기한다. 이 결함은 장면내 대상물의 컬러에 의해 야기된 컬러리메트리 변화보다 통계적으로 낮은 크기 차수인 변화를 야기한다. 이는 필드에서 위치의 함수로서 이미지 캡쳐 시스템(센서+적외선 필터)의 스펙트럼 반응에서의 변화에 해당한다. 그 결과, 단일 광원으로 비춰진 완전히 균일한 표면은 컬러 면에서 센서에 균일하게 반응하지 못한다. 상기 변화는 광원의 스펙트럼 분포에 따르며, 이는 하나의 이미지 단독으로 뿐만 아니라 센서의 각 광감지 소자가 광을 받는 입사각으로는 예측불가능하다. 이 문제는 4개 픽셀들(2개 녹색, 1개 적색, 1개 청색)의 패턴을 만족하는 베이어 어레이(Bayer array) 및 다른 타입의 어레이들을 이용한 센서들과 같은 다른 타입의 광감지 소자들을 포함한 임의의 센서에 발생된다.
이미지 캡쳐 시스템에서 결함의 또 다른 예는 비균일 블러(non-uniform blur)이다. 이 결함은 이미지 캡쳐 시스템으로 캡쳐된 이미지 필드 내에서 변화를 야기한다. 이 결함은 장면에서 대상물에 의해 발생된 선명도의 변화보다 통계적으로 낮은 크기의 차수인 변화를 야기한다. 이 결함은 특히 필드의 곡률에 관계 있다. 실제로, 최상의 집속 위치는 평평하지 않고 구배져 있기 때문에, 블러 변화는 평면센서 이용시 이 만곡부를 따라 발생된다.
만곡부는 또한 파장에 따르므로, 블러 변화는 관찰되는 컬러에 따라 변한다. 이 결함은 색수차로 알려져 있다.
비균일 블러는 또한 렌즈의 제조 품질로 인해 선명도에서 균일성 부족과 같은 다른 요인들에 연결될 수 있음이 주목된다.
사용된 광학 시스템이 자동포커싱되는 경우, 캡쳐된 이미지에서 블러는 또한 센서나 렌즈 서로에 대한 렌즈 또는 렌즈들의 이동에 의해 영향받을 수 있다. 이 렌즈 이동은 항상 완전히 제어되지 않고 렌즈들은 때로 각(角)(중심 이탈, 광학적 경사 등)을 이룰 수 있으며, 이는 광축이 변하는 것을 의미한다. 이들 상대적 이동은 필드내 광특성들을 바꾼다. 예컨대, 제 1 근사로, 이는 필드에서 대상물 거리의 변화 및 이에 따라 이미지에서의 선명도 변화를 의미한다. 이들 움직임은 랜덤이며 이들의 속성이기 때문에 예측불가능하다.
베이어 필터를 이용한 센서를 구비한 이미지 캡쳐 시스템에서 결함의 또 다른 예는 어레이의 동일 셀에 있는 2개 녹색 픽셀들(Gr 및 Gb)가 상당히 다를 수 있다는 사실로부터 발생하며, 이 차는 필드내에 변할 수 있다. 이 결함은 이미지 캡쳐 시스템으로 캡쳐된 이미지의 필드내 노이즈의 구조에 해당하는 적어도 하나의 특징의 변화를 야기한다. 이 결함은 장면에서 대상물에 의해 발생된 구조 변화보다 통계적으로 낮은 크기의 차수인 변화를 야기한다.
상기 결함 리스트는 배타적이지 않다. 당업자에 명백하듯이, 이미지 캡쳐 시스템으로 캡쳐된 이미지의 필드내에 적어도 한 특징의 변화를 야기하는 이미지 캡쳐 시스템에서 다른 결함들을 고려할 수 있다.
예컨대, 장면에서 대상물의 미세한 세부사항들의 변화보다 통계적으로 낮은 크기의 차수인 이미지에서 노이즈 레벨의 변화를 야기하는 불균일 노이즈 결함; 장면에서 대상물의 기하학적 형태의 변화보다 통계적으로 낮은 크기의 차수인 이미지의 국소적 변형에서의 변화를 야기하는 왜곡 또는 색수차와 같은 기하학적 결함; 장면에서 대상물의 블랙레벨 변화보다 통계적으로 낮은 크기의 차수인 이미지의 블랙레벨 변화를 야기하는 불균일 블랙레벨 결함; 장면으로 인한 콘트라스트 변화보다 낮은 크기의 차수인 콘트라스트 변화를 야기하는 플레어(flare) 결함; 이미지에서 적어도 하나의 특징에서의 변화를 야기하는 필드내 불균일 광학결함; 이미지에서 적어도 하나의 특징의 변화를 야기하는 필드내 불균일 센서 결함들이 있다.
이미지 캡쳐 시스템에 의해 표현된 이들 결함들 중 일부는 이미지 캡쳐 조건 및 파라미터에 무관한 캡쳐된 이미지에 변화를 일으킨다. 그러나, 다른 결함들은 적어도 하나의 이미지 캡쳐 조건 및/또는 이미지의 적어도 하나의 이미지 캡쳐 파라미터에 따른 캡쳐된 이미지의 적어도 하나의 특징의 필드내 변화를 야기한다. 상술한 컬러 비네팅 및 불균일 블러는 이 두번째 타입의 결함들의 예이다.
하기의 요소들 중 일부 또는 모두가 이미지 캡쳐 조건을 구성한다: 대상물의 거리(또는 장면과 카메라 사이의 거리), 장면 구성, (스펙트럼 반응, 평균온도, 색조, 광강도, 광원의 위치 등과 같은) 광원 또는 광소스의 특징, (장면에서 대상물의 위치, 평균 컬러 등) 장면의 내용, 온도, (특히 GPS(Global Positioning System) 또는 기타 다른 시스템과 같은 위치 시스템을 갖는 카메라에 대한) 지리적 위치, 및/또는 일자 시간 등.
하기의 요소들 중 일부 또는 모두가 이미지 캡쳐 파라미터를 구성한다: 렌즈가 교체될 수 있을 때 사용된 렌즈 타입, 사용된 캡쳐 시스템의 모델, 초점거리, 과다노출 또는 노출부족, 플래시 작동 및 플래시 강도, 노출시간, 센서 증폭, 압축, 화이트 밸런스 등.
이미지 캡쳐 파라미터들 및 조건들에 무관한 필드내 변화를 초래하는 결함들은 통상적으로 캘리브레이션(calibration)이라고 하는 보정 파라미터를 측정 및 결정하는 단계에 의해 보정된다. 이 캘리브레이션은 일반적으로 이미지 캡쳐 시스템이 생산라인을 떠날 때 실험실에서 수행된다. 이는 예컨대 테스트 패턴과 같은 기설정된 장면을 나타내는 기준 이미지를 이용한다.
캘리브레이션 동안, 기설정된 장면의 적어도 하나의 이미지가 담아지고, 하나 이상의 고정된 세트들의 보정 파라미터들이 이로부터 유도된다. 예컨대, WO 03/007241, WO 03/007237, 및 WO 03/007242가 이런 방법을 기술한다.
따라서, 캘리브레이션은 생산속도에 영향을 끼치는 소정의 시간량을 요구하는 이미지 캡쳐 시스템의 측정에 있어 추가 단계이다. 이는 또한 캘리브레이션으로부터 얻은 보정 파라미터를 영구히 저장하는 것을 필요로 한다.
예컨대 특성 및/또는 제품 허용오차로 인해 한 이미지 캡쳐 시스템으로부터 또 다른 캡쳐 시스템으로 변하는 결함들을 보정하고 싶어할 경우 이들 현상은 악화된다. 이미지 캡쳐 시스템의 타입에 의한 것을 의미하는 모듈이 아니라 유닛에 의한 캘리브레이션이 이 경우 필수적이다. 예컨대, 이미지 캡쳐 시스템의 제조시 적어도 하나의 불활실성에 따른 결함이 있을 때 제조라인상의 각 유닛에 대해 캘리브레이션이 행해져야 한다.
다음은 이미지 캡쳐 시스템의 제조시 불확실성에 따른 결함들의 비제한적인 예들이다:
- 특히 이미지 캡쳐 시스템의 제조시 서로 및 센서에 대해 상대적인 광학소자들의 형태와 위치의 불확실성에 따른 필드내 컬러리메트리 변화의 결함,
- 특히 이미지 캡쳐 시스템의 제조시 서로 및 센서에 대해 상대적인 광학소자들의 형태와 위치의 불확실성에 따른 필드내 휘도 변화의 결함, 및
- 특히 이미지 캡쳐 시스템의 제조시 서로 및 센서에 대해 상대적인 광학소자들의 형태와 위치의 불확실성에 따른 필드내 선명도 변화의 결함.
몇몇 이미지 캡쳐 조건 및/또는 일부 이미지 캡쳐 파라미터들에 대한 의존성을 갖는 결함들에 대해, 상황은 더욱더 주의가 요구된다.
이미지 캡쳐 시스템의 상기 캘리브레이션은 단지 캘리브레이션 단계 동안 특정 이미지 캡쳐 조건 및 파라미터들에 직접 관련된 보정 파라미터들을 효과적으로 얻는다. 캘리브레이션된 이미지 캡쳐 시스템의 나중 사용 동안에는, 이들 보정 파라미터들은 다른 조건 및/또는 파라미터들 하에서 캡쳐된 이미지들에 이들 결함들의 존재를 보정하는데 더 이상 적절하지 않다. 이미지 캡쳐 조건 및 파라미터들에 무관한 이들 동일한 보정 파라미터들을 이용하는 것은 열악한 이미지 품질을 얻게 된다.
예컨대 광원의 온도와 같은 이미지 캡쳐 시스템에 의해 측정될 수 있는 적어도 하나의 이미지 캡쳐 조건에 따라 변하는 결함들에 대해, 다수의 이미지 캡쳐 조건들에 대한 캘리브레이션을 수행하는 것이 알려져 있으며, 보정 파라미터들은 가변 이미지 캡쳐 조건에 따른다. 예컨대, WO 03/007236 및 WO 03/007239가 이런 방법을 기술하고 있다.
초점길이와 같은 적어도 하나의 이미지 캡쳐 파라미터에 따라 변하는 결함들에 대해서도 동일하다. 그런 후 여러 이미지 캡쳐 파라미터들에 대해 캘리브레이션이 행해지고, 보정 파라미터들은 가변 이미지 캡쳐 조건에 따른다. 예컨대, WO 03/007236 및 WO 03/007239가 이런 방법을 기술하고 있다.
예컨대 광원의 스펙트럼 반응과 같은 이미지 캡쳐 시스템에 의해 측정될 수 없는 적어도 하나의 이미지 캡쳐 조건 및/또는 이미지 캡쳐 파라미터에 따라 변하는 결함들에 대해, 캘리브레이션을 기초로 한 방법이 간단히 작용하지 않는다.
그러므로, 이는 복잡하고 캘리브레이션 동안 특정되지 않은 이미지 캡쳐 조건 및/또는 이미지 캡쳐 파라미터들에 맞지 않는 보정 파라미터들을 단지 얻게 되지만 적어도 하나의 이미지 캡쳐 조건 및 이미지 캡텨 파라미터들에 따른 결함들 중 어느 하나가 캘리브레이션 대상일 수 있거나, 캘리브레이션 대상일 수 없고 따라서 보정될 수 없다.
화이트 밸런스 평가와 같은 이미지를 기초로 한 평가 방법이 있으나 이들은 이미지 캡쳐 시스템의 결함이 아니라 오히려 이미지로부터 이미지 캡쳐 파라미터에 관계된 것임에 또한 주목해야 한다.
본 발명의 목적은 상기 단점 중 적어도 일부를 극복하는 것이다.
따라서, 본 발명은 임의의 장면을 나타내는 임의의 제 1 이미지에 대해 제 1 이미지의 적어도 하나의 특징의 필드내 변화를 야기하고, 장면에 의해 도입된 상기 제 1 이미지의 상기 특징의 필드내 변화보다 통계적으로 더 낮은 크기 차수를 갖는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법을 제안한다. 상기 방법은
- 제 1 이미지 필드의 적어도 제 1 부분에서, 상기 제 1 이미지의 상기 특징에 대한 측정을 계산하는 단계와,
- 제 1 이미지의 필드의 적어도 제 2 부분에서, 상기 결함의 평가된 크기를 구하는 단계를 포함하고, 상기 크기는 계산된 측정에 따르고, 상기 결함에 의해 야기된 제 1 이미지의 상기 특징의 필드내 변화와 동일한 크기 차수의 변화를 갖는다.
이런 식으로, 이미지 캡쳐 시스템의 결함을 평가함으로써, 관련된 단점들(실행 비용, 테스트 패턴의 사용, 영구 메모리에서 데이터 저장 등)인 상술한 바와 같은 캘리브레이션 조정 필요성이 없어진다. 또한, 캘리브레이션에 의해 보정될 수 없는 결함들도 평가될 수 있다.
결함의 이 평가는 다른 목적 및/또는 다른 당사자들에 이용될 수 있다. 예컨대, 이는 결함의 보정을 수행하거나 기타 사용을 위한 이미지 캡쳐 시스템 자격에 이용될 수 있다.
다음은 임의의 착상가능한 방식으로 결합될 수 있는 몇몇 이점적인 실시예들이다:
- 상기 방법은 추가로 구해진 크기로부터 이미지 캡쳐 시스템에 의해 캡쳐된 적어도 하나의 이미지에 대한 상기 결함의 적어도 하나의 보정 파라미터들의 결정을 포함하고, 상기 제 2 이미지는 상기 제 1 이미지와 다르거나 같다. 결함의 평가를 위해 사용되는 제 1 이미지와는 다를 수 있는 제 2 이미지 또는 가능하게는 복수의 제 2 이미지들을 보정할 능력은 프로세싱을 저장한다.
- 상기 보정 파라미터는 제 2 이미지의 전체 필드에 대해 결정된다.
- 상기 보정 파라미터를 고려한 이미지 캡쳐 시스템에 의해 캡쳐된 제 2 이미지의 프로세싱을 추가로 포함한다.
- 제 1 이미지는 제 2 이미지보다 낮은 해상도, 채널 개수, 및/또는 차원 개수를 갖는다.
- 상기 결함으로 인해 야기된 상기 제 1 이미지의 적어도 하나의 특징의 필드 내 상기 변화는 제 1 이미지의 적어도 하나의 이미지 캡쳐 파라미터 및/또는 이미지 캡쳐 조건에 따르며, 제 2 이미지는 상기 이미지 캡쳐 파라미터 및/또는 이미지 캡쳐 조건이 제 1 이미지와 같거나 유사한 이미지 캡쳐 시스템에 의해 캡쳐된다. 따라서, 종래 기술에서 캘리브레이션 후 적절히 보정될 수 없거나 전혀 캘리브레이션될 수 없는 이런 타입의 결함을 없앨 수 있다.
- 상기 결함으로 인해 야기된 상기 제 1 이미지의 적어도 하나의 특징의 필드 내 상기 변화는 상기 이미지 캡쳐 시스템에 고유하다. 이 경우, 높은 단가의 캘리브레이션이 방지된다.
- 상기 결함은 상기 이미지 캡쳐 시스템의 제조시 적어도 하나의 불확실성에 따른다.
- 이미지 캡쳐 시스템은 휘도 비네팅(luminance vignetting), 컬러 비네팅(colored vignetting), 비균일 블러(non-uniform blur), 동일한 채널에서 이웃 광감지 소자들 간의 비(比)의 비균일 변화, 비균일 노이즈, 기하학적 왜곡, 측면 색수차, 길이방향 색수차, 비점수차, 플레어(flare), 및 비균일 블랙레벨 중 적어도 하나를 포함한다.
- 상기 방법은 제 1 이미지 필드의 상기 적어도 제 1 부분에서 균일 영역 세트의 식별을 포함하고, 각 영역내에서 상기 계산된 측정은 상기 결함에 의해 야기된 제 1 이미지의 상기 특징의 필드내 변화와 동일한 크기의 차수에 의해 변하고, 상기 크기는 식별된 균일 영역을 고려함으로써 구해진다.
- 상기 계산된 측정을 제 1 이미지의 특징에 대한 그리고 상기 균일 영역의 기준점에서 계산된 측정에 연계시킴으로써 상기 균일 영역 세트의 균일 영역내에 상기 크기가 구해진다.
본 발명은 또한 이미지 캡쳐 시스템에 의해 캡쳐되고 임의의 장면을 나타내는 임의의 적어도 하나의 제 1 이미지에 대해, 결함이 상기 제 1 이미지의 적어도 하나의 특징의 필드내 변화를 야기하며, 상기 변화는 장면에 의해 도입된 제 1 이미지의 상기 특징의 필드내 변화보다 통계적으로 더 낮은 크기 차수인 상기 방법에 따르는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 시스템을 제안한다. 이 시스템은
- 제 1 이미지 필드의 적어도 제 1 부분에서, 상기 제 1 이미지의 상기 특징에 대한 측정을 계산하는 유닛과,
- 제 1 이미지의 필드의 적어도 제 2 부분에서, 상기 결함의 평가된 크기를 구하는 유닛을 구비하고, 상기 크기는 계산된 측정에 따르며 상기 결함에 의해 야기된 제 1 이미지의 상기 특징의 필드내 변화와 동일한 크기 차수의 변화를 갖는다.
본 발명은 또한 상기 방법에 따라 평가된 이미지 캡쳐 시스템의 적어도 하나의 결함을 보정하기 위한 적어도 하나의 파라미터를 결정하기 위한 시스템을 제안한다. 이 시스템은 이미지 캡쳐 시스템에 의해 캡쳐된 적어도 하나의 제 2 이미지에 대해 상기 결함의 적어도 하나의 보정 파라미터를 구해진 크기로부터 결정하는 유닛을 포함하고, 상기 제 2 이미지는 상기 제 1 이미지와 다르다.
본 발명은 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 상기 방법을 실행하기 위한 코드 명령어를 포함하는 컴퓨터 프로그램 제품 및/또는 전자회로를 더 제안한다.
본 발명의 내용에 포함됨.
본 발명의 다른 특징 및 이점들은 첨부도면을 참조로 하기의 몇몇 비제한적인 예들의 설명을 읽을 때 명백해 진다:
도 1은 본 발명이 이용될 수 있는 이미지 캡쳐 시스템의 예를 도시한 도표이다.
도 2는 본 발명에 따라 실행된 순차적 단계들을 도시한 흐름도이다.
도 3은 본 발명의 실시예에 따라 실행될 수 있는 이미지 분할을 도시한 도표이다.
도 4는 컬러 비네팅 결함을 평가하기 위해 본 발명이 이용되는 예에서 순차적 단계들을 도시한 흐름도이다.
도 1은 이미지 캡쳐 시스템(1)의 예를 도시한 것이다. 이는 통상적으로 센서(C)와 적어도 하나의 렌즈(L)를 포함하는 광학 시스템을 구비하며, 도입부에서 설명된 바와 같은 착상될 수 있는 임의의 형태로 될 수 있다.
선택적으로, 이미지 캡쳐 시스템(1)은 광학 시스템(L)과 센서(C) 사이의 상대 변위를 보장하는 예컨대 모터(M)에 의한 자동초점 시스템(AF)을 구비할 수 있다. 다른 이동들 가령 이미지 안정화 효과를 얻기 위해 광축에 수직한 축을 따르는 것도 또한 고려될 수 있으나 이 변위는 이미지 캡쳐 시스템의 광축(A)을 따라 이점적으로 평행이동한다.
광학 시스템(L)이 복수의 렌즈들을 구비할 경우, 이들 중 일부만이 센서(C)에 대한 변위를 받을 수 있다. 광학 시스템(L)의 렌즈들 간의 상대 변위도 또한 가능하다.
선택적으로, 이미지 캡쳐 시스템(1)은 스케일 변화를 가능하게 하도록 광학 줌(optical zoom)을 구비할 수 있다.
이미지 캡쳐 시스템(1)은 임의의 장면(S)을 나타내는 임의의 적어도 한 이미지(I)를 캡쳐할 수 있다. "임의의 장면(S)을 나타내는 임의의 이미지"는 특정 기설정된 조건 하에서 캡쳐되지 않는 이미지를 의미하는 것으로 이해된다. 일반적으로, 이는 특정 구속조건들이 없는 이미지 캡쳐 시스템(1)의 내용연한 동안 캡쳐된 이미지이다. 대조적으로, 실험실에서 캡쳐된 테스트 패턴과 같은 기준 이미지는 이 정의에 있지 않다.
캡쳐된 이미지(I)는 특히 로우(RAW) 이미지인 경우 단일 채널에 해당하는 픽셀당 하나의 값을 구비할 수 있다. 대안으로, 이미지(I)는 픽셀 당 여러 값들을 가질 수 있다. 가령 3개의 값은 적색, 녹색, 및 청색(R,G,B)의 3개 채널들에 해당한다. 다른 가능성도 또한 당업자에 명백히 고려될 수 있다. 이미지(I)는 정지 또는 동영상(비디오)일 수 있다.
이미지 캡쳐 시스템(1)은 많은 결함들이 있는 것으로 추정된다. 이 또는 이들 결함들은 이 이미지(I)의 적어도 하나의 특징의 필드내에 변화를 야기한다. 다시 말하면, 이미지(I)의 특징은 필드내 위치에 따른 값들을 가정한다.
비제한적인 예로서, 이미지 캡쳐 시스템(1)은 도입시 언급된 휘도 비네팅 결함을 가질 수 있다. 이 결함은 이미지(I)에서 필드내 휘도 변화를 야기한다.
추가로 또는 대안으로, 이미지 캡쳐 시스템(1)은 도입시 언급된 컬러 비네팅 결함을 가질 수 있다. 이 결함은 이미지(I)에서 필드내 컬러리메트리 변화를 야기한다.
추가로 또는 대안으로, 이미지 캡쳐 시스템(1)은 필드의 곡률에 대한 비균일 블러 결함을 가질 수 있다. 이 결함은 이미지(I)에서 필드내 블러 변화를 야기한다.
추가로 또는 대안으로, 도 1에 도시된 바와 같이 자동초점(AF)을 이용한 이미지 캡쳐 시스템(1)은 렌즈 또는 렌즈들(L)의 이동(중심 이탈, 광학적 경사 등)에 대한 블러 결함을 가질 수 있다. 이 결함은 이미지(I)에서 필드내 블러 변화를 야기한다.
추가로 또는 대안으로, 베이어 필터를 이용한 센서를 구비한 이미지 캡쳐 시스템(1)은 결함을 가질 수 있어, 어레이의 동일 셀에 있는 2개 녹색 픽셀들(Gr 및 Gb)이 상당히 다를 수 있고 이 차가 필드 내에 변할 수 있다.
추가로 또는 대안으로, 이미지 캡쳐 시스템(1)은 이 이미지(I)의 적어도 하나의 특징의 필드내 변화를 이미지(I)에서 야기하는 임의의 다른 결함을 구비할 수 있다.
이미지 캡쳐 시스템(1)에 의해 나타난 임의의 결함에 대해, 이미지(I)의 관련 특징의 필드내 발생한 변화는 통계적으로 장면(S)에 의해 도입된 이런 동일한 특징의 필드내 변화보다 낮은 크기의 차수이다.
따라서, 본 발명은 전반적으로 결함이 장면으로 인해 필드내 변화의 파장보다 실질적으로 더 큰 파장의 필드내 변화를 야기하는 것을 의미하는 장면에 의해 도입된 상기 이미지 특징의 필드내 변화보다 통계적으로 낮은 크기의 차수인 임지의 특징에서의 변화를 야기하는 임의의 결함에 적용된다. 이는 후술된 바와 같이 장면으로 인한 변화를 제거함으로써 장면 의존성을 제거한다.
이는 이미지(I) 필드내 변위 동안 결함에 의해 야기된 변화가 (이미지에서 2개의 이웃 지점들 간에 갑작스런 전환을 일으킬 수 있는) 장면에 의해 도입된 변화보다 더 느려지거나 더 진행되는 것을 의미하는 것으로 이해된다. 또한, 전체적으로 이미지(I)를 고려할 경우에도, 결함에 의해 야기된 변화의 총 진폭은 (예컨대 매우 높은 콘트라스트를 포함할 수 있는) 장면에 의해 도입된 것보다 일반적으로 더 낮다.
결함에 의해 야기된 변화는 "통계적으로" 장면(S)에 의해 도입된 것보다 더 낮은 크기의 차수인 사실은 장면의 평균 변화를 고려한 것에서 발생된다. 그러나, 이는 특히 낮은 변화를 갖는 특히 안정적인 장면을 가질 수 있다. 예컨대, 이는 균일하게 비추어지는 평평한 단색 대상을 나타내는 장면의 경우일 수 있다. 임의의 장면(S)에 관심이 있다면, 이 경우는 통계적으로 달라진다. 그러므로, 결함에 의해 야기된 변화는 일반적으로 상기 임의의 장면(S)에 의해 도입된 것보다 낮은 크기의 차수이다.
이는 물론 특히, 상기 장면이 몇몇 곳에서 안정적인 대상을 포함한 경우, 결함에 의해 도입된 변화가 몇몇 곳에서 상기 임의의 장면(S)에 의해 도입된 변화와 같거나 더 큰 크기 차수가 되는 것을 막지 못한다. 후술된 바와 같이, 장면(S)내에서 이런 국소적 안정성은 해당 균일 영역들을 검출함으로써 결함을 평가하는데 사용될 수 있다.
상기 임의의 촬영장면(S)이 이미지 캡쳐 시스템(1)의 결함과 같은 크기 차수 이거나 이보다 더 낮은 크기 차수의 변화를 야기하도록 발생되면, 하기의 방법 단계들이 여전히 적용될 수 있다. 이미지의 과잉보정 또는 오차보정이이 가능하게 발생할 수 있다. 예컨대, 장면에서 그라데이션이 보정에 의해 균일해 질 수 있다. 그러나, 결과적으로 발생한 정보의 손실은 불쾌하지 않을 수 있거나, 여하튼 이미지 캡쳐 시스템(1)의 결함이 현재 남겨진 것보다 덜 불쾌해질 수 있다.
예컨대 컬러를 고려할 경우, 상기 장면(S)이 다른 스펙트럼의 광에 의해 비추어지는 다른 컬러의 대상들을 포함하는 것을 가정할 수 있다. 따라서, 장면의 컬러는 진폭에 꽤 크게 변할 수 있다. 이는 예컨대 장면이 다른 컬러의 2개의 이웃한 대상물들을 포함할 경우, 가능하게는 장면(S)에 상대적으로 가까운 2개 지점들 간에 상당히 크게 변할 수 있다.
그러나, 컬러 비네팅은 진폭이 센서에 의해 수신된 광의 입사각에 주로 의존하는 현상이다. 이 현상의 결과, 컬러는 상대적으로 거의 변하지 않고 필드내에서 상대적으로 천천히 변한다. 따라서, 이 컬러 변화는 실제로 장면(S) 자체에 의해 도입된 것보다 통계적으로 낮은 크기의 차수이다.
컬러 비네팅의 또 다른 요인은 공간 일관성(spatial consistency)을 갖는 현상이라는 것이다. 이는 다른 곳에서 양호한 근사를 유추하기 위해 필드내 여러 위치들에서 평가하기에 충분하다.
도입부에 언급한 바와 같이, 고려된 결함 타입들에 따라, 이미지 캡쳐 시스템(1)에서 결함에 의해 야기된 이미지(I)의 적어도 하나의 특징의 필드내 변화는 상기 정의된 바와 같이 이 이미지(I)의 하나 이상의 이미지 캡쳐 조건 및/또는 하나 이상의 이미지 캡쳐 파라미터들에 의존할 수 있다.
이는 예컨대 컬러 비네팅에 대한 경우이다. 이 현상은 센서에 의해 수신된 광의 입사각에 따르기 때문에, 컬러에서 결과적으로 발생한 변화는 장면에서 대상물들이 같은 채로 있더라도 반드시 관찰된 장면에 모든 조명들에 대해 같을 필요는 없다. 이미지(I)의 특징 필드내 변화의 몇몇 이미지 캡쳐 조건 및/또는 파라미터들에 대한 동일한 의존성은 예컨대 비균일 블러와 같은 다른 타입의 결함들에 대해 있게 된다.
몇몇 경우, 이미지 캡쳐 시스템(1)의 여겨지는 결함에 의해 야기되는 이미지(I)의 적어도 한 특징의 필드내 변화는 이 이미지 캡쳐 시스템에 고유할 수 있다. 다시 말하면, 동일한 모델의 다른 유닛들은 여겨지는 결함에 대해 이미지(I)의 이 특징에서 다른 변화를 가질 수 있다.
이미지 캡쳐 시스템에 대한 이런 의존성은 가령 제조 허용오차로 인해 예컨대 이미지 캡쳐 시스템의 가능한 가변 특징들에 의해 야기될 수 있다. 예로서, 이미지 캡쳐 시스템(1)의 센서(C)에 대한 광학 시스템(L)에서 약간의 경사는 필드의 곡률 및 이에 따라 이 시스템에 의해 야기된 비균일 블러에 변형을 야기할 수 있다.
도 2에 도시된 바와 같이, 이미지 캡쳐 시스템(1)에 의해 캡쳐된 이미지(I)는 상술한 바와 같은 적어도 하나의 결함을 갖는다(단계 10).
이 이미지(I)의 필드의 적어도 일부에서, 측정μ(I)은 이미지 캡쳐 시스템(1)의 결함으로 필드내 변화가 야기되는 이미지(I)의 특징에 대하여 계산된다(단계 11). 이 측정μ(I)은 또한 필드내 위치에 따르는 값을 갖는다. 그러므로, 이 측정은 국지적이며, 각 지점에서 값은 고려되는 지점 부근에 있는 영역내 이미지(I)에 따른다.
측정μ(I)은 이미지(I)의 필드에 있는 모든 점에서 또는 이 필드내 다만 주어진 지점들에서만 계산될 수 있다. 비제한적인 예로서, 평가가 신뢰할 수 있거나 소정 임계치보다 더 신뢰할 수 있는 가령 이미지에서 측정에 의해 전에 결정된 필드내 다만 주어진 지점들에서 측정μ(I)을 계산할 수 있다.
이 계산은 제조라인을 떠난 후 실험실에서 행해진 캘리브레이션에 반대로 이미지 캡쳐 시스템(1)의 정상 사용동안 캡쳐된 이미지(I)에 대한 것을 의미하는 온 더 플라이(on the fly)로 행해진다.
또한, 상술한 바와 같이, 이 계산은 예컨대 테스트 패턴과 같은 기준 이미지에 반대로 임의의 장면을 나타내는 임의의 적어도 하나의 이미지(I)에 대해 행해진다.
측정μ(I)은 이미지 캡쳐 시스템(1)에 의해 캡쳐된 여러 이미지들(I)에 대해 계산될 수 있다. 예컨대, 다른 이미지들(I)이 평균될 수 있고 이 평균은 측정μ(I)을 결정하기 위해 사용될 수 있다. 추가로 또는 대안으로, 측정μ(I)은 독립적으로 각 이미지(I)에 대해 계산될 수 있고, 그런 후 다른 측정들μ(I)은 평균되고 이미지들 중 하나의 관련된 세트만이 유지된다.
이는 또한 각 새로운 이미지에 대해 이전 이미지들을 포함하는 단일 측정μ(I)만을 저장하는 것을 의미하는 순차적 계산을 이용할 수 있다. 이는 각각의 이미지(I)에 대한 값μ(I)을 저장해야 하는 것을 방지한다. 측정μ(I)은 이전 이미지에 따르기 때문에, 이는 또한 연속 이미지들이 서로 별개로 처리될 때 나타날 수 있는 진동 또는 명멸(明滅) 현상을 방지한다.
비제한적인 측정예로서, μ(I)은 R이 0이 아닌 임의의 지점에서 정의된 이미지(I)의 녹색 채널(G) 및 적색 채널(R)간의 비일 수 있거나, 실제로, 신호의 노이즈 레벨에 의해 주어진 임계치보다 더 크다.
선명도 측정μ(I)도 또한 예컨대 그래디언트가 소정 값보다 더 큰 지점들에서만 채널의 라플라시안(Laplacian)이 계산될 수 있다.
이미지 캡쳐 시스템(1)에 의해 표현된 결함 또는 결함들에 따라 측정μ(I)의 다른 예들이 또한 고려될 수 있다.
다음, 이미지 캡쳐 시스템(1)의 여겨지는 결함 또는 결함들의 평가 크기(v)가 가령 계산에 의해 구해지며, 이는 계산된 μ(I)에 의존한다(단계 12). 이 크기(v)는 측정μ(I)이 계산된 지점과 같을 수 있는 이미지(I) 필드부에서 구해진다. 대안으로, 이미지(I) 필드부는 측정μ(I)이 계산된 부분과는 다를 수 있다. 이 경우, 2개 부분들 간의 중첩이 가능하다. 가령, 크기(v)가 구해지는 필드부는 측정μ(I)이 계산되는 부분의 서브섹션일 수 있다. 변형으로, 측정μ(I)이 계산된 지점을 자체적으로 포함할 수 있다. 예컨대, 크기(v)는 이미지(I)의 전체 필트에 대해 구해질 수 있으며, 측정μ(I)은 이 필드내 몇몇 위치들에서만 계산된다.
구해진 크기(v)로 이미지 캡쳐 시스템(1)의 고려된 결함에 의해 야기된 이미지(I)의 특징의 필드내 변화로서 동일한 크기 차수의 변형을 갖게 된다.
이렇게 함으로써, 측정μ(I)에 있어 변화에 대한 장면(S)의 기여가 제거되고, 이미지 캡쳐 시스템(1)의 고려된 결함으로 인해 발생한 변화들만이 보유된다.
크기(v)는 다른 형태를 가정할 수 있다. 예컨대, 이는 정의된 이미지(I)의 각 지점에서 값을 반환할 수 있는 함수로 구성될 수 있다. 예로서, 이 기능은 필드의 위치 함수 또는 변수들이 고려되는 효과에 의해 이미지에 도입된 변수들과 호환될 수 있는 임의의 다른 함수인 다항식일 수 있다.
변형으로, 크기(v)는 파라미터 세트로 구성될 수 있다. 이점적으로, 이미지 캡쳐 시스템(1)의 결함의 속성이 주어지면, 이 파라미터들의 개수는 낮아질 수 있다.
예로서, 파라미터 세트들은 3 또는 4개 차수의 다항식 계수를 포함할 수 있다. 또 다른 예에서, 파라미터 세트들은 이들 점들 또는 점들의 그룹에서 함수에 의해 추정된 값들과 같이 이미지(I)에서 점 또는 점들의 그룹에 대한 세트 값들을 각각 구비할 수 있다. 또 다른 예에서, 크기(v)는 기설정된 값들의 다른 맵들에 대한 가중화로 구성될 수 있고, 가중화는 이미지의 점 또는 점들의 그룹에 대한 것이다. 또 다른 예에서, 크기(v)는 다른 함수들 간에 국소적으로 선택된 파라미터로 구성될 수 있다. 당업자에 명백한 바와 같이 다른 예들도 또한 고려될 수 있다.
크기(v)는 임의의 적절한 방법에 의해 구해질 수 있다. 2개의 가능한 방법들이 비제한적인 예로서 하기에 제공된다.
제 1 방법은 이미지(I)의 분할한 다음 정규화(regularization)를 이용한다.
이 방법은 임의의 주어진 이미지(I)가 상대적으로 안정적인 영역들을 포함할 가능성이 있다는 사실에 기초하며, 표현된 장면은 상대적으로 거의 변하지 않는다. 이는 또한 이런 균일한 영역들내에 관찰된 변화들이 기본적으로 이미지 캡쳐 시스템(1)의 여겨지는 결함들로 인한 것이라는 가정에 기초한다.
따라서, 이 방법에서, 이런 균일한 영역들을 찾는다. 이를 위해, 적어도 이미지(I)의 필드부에서, 한 세트의 균일한 영역들이 식별되고, 이들 균일한 영역들 각각은 계산된 측정μ(I)이 이미지 캡쳐 시스템(1)의 여겨지는 결함에 의해 발생된 이미지(I)의 특징 필드내 변화와 같은 크기 차수의 변화를 갖는 이미지(I) 영역으로 정의된다.
이 원리를 예시하기 위해, 기본적으로 4개 영역들(3-6)로 구성된 이미지(2)를 도시한 도 3을 참조하자. 이들 영역들 중, 단지 영역(3 및 4)만이 균일한 영역에 해당한다. 예컨대, 영역(3)은 컬러가 균일한 테이블과 같은 균일한 대상을 나타내고, 영역(4)은 컬러가 균일한 벽과 같은 또 다른 균일한 대상을 나타낸다. 빗금친 영역(5 및 6)은 복수의 비균일 대상 및/또는 서로 구분하기 어려운 대상에 각각 해당한다.
이미지(I)에서 균일한 영역은 예컨대 필드내 다른 지점들에서 계산된 측정μ(I)을 관찰하고 이 측정이 이미지 캡쳐 시스템(1) 여겨지는 결함에 의해 야기된 이미지(I)의 특징 필드내 변화와 동일한 크기 차수로 변하는 영역들을 검출함으로써 식별될 수 있다.
예컨대, 검출된 균일한 영역은 측정μ(I)이 필드내에 천천히 변하는 이미지(I) 영역들이다(측정μ(I)에서 더 빠른 변화는 아마 장면(S) 자체로 인한 것이다). 다시 말하면, 균일한 영역들에 가까운 2 위치들은 가까운 값들을 갖는다. 그러나, 균일한 영역은 μ(I)에서 변화가 느린 한 지점에서 다른 지점으로의 경로가 있다면 폭넓게 다른 값들μ(I)을 갖는 2개 지점들을 포함할 수 있음에 유의하라.
또한, 이미지(I)내 균일한 영역들의 세트의 식별을 의미하는 이미지(I)의 이 분할은 이미지(I)내 각 점이 일 대 일의 영역(one and only one region)에 속하도록 이점적으로 행해질 수 있다. 이는 도 3에 도시되어 있는 것으로, 영역들(3-6)은 겹치지 않는다. 이들 영역들은 이미지의 구획을 이룬다.
예로서, 분할은 영역들을 병합함으로써 행해질 수 있으며, 이미지(I)의 고려되는 부분들에 있는 각 점이 초기에 영역이 된다. 계산된 측정μ(I)이 이들 2개 지점들에서 유사한 경우, 즉, 차 μ(x1)-μ(x2)가 꽤 작다면(예컨대, 임계치 미만이면), 2개 이웃 점들(x1 및 x2)을 포함한 영역들은 병합된다.
이는 단지 일예이다. 임의의 타입의 분할, 가령, 호르비츠(Horowitz) 및 파블리디스(Pavlidis)가 기술한 분할 및 병합 알고리즘 또는 외곽 규칙성을 고려한 멈포드-샤(Mumford-Shah)와 같은 기술들이 이용될 수 있다.
분할 알고리즘으로부터의 출력은 균일 영역(Zi) 리스트를 포함한다. 대상의 각 점은 이점적으로 기껏해야 하나의 균일 영역에 속한다.
다음, 크기(v)를 구하기 위해 정규화가 적용된다.
크기(v)는 단지 큰 스케일에 걸쳐 변하는 정규 함수를 이용해 측정μ(I)에서의 변화의 근사로서 결정된다. 특히, 분할에 의해 결정된 각 균일 영역(Zi)에서, 근사(v)는 단지 낮은 주파수를 포함하고 μ(I)의 낮은 주파수에 가깝다.
균일 영역 외부에서 크기(v)는 규칙 기준을 만족하는 것으로 가정된다. 이 가정은 이미지 캡쳐 시스템의 대부분의 결함들이 캡쳐된 이미지에서 정규 효과를 야기한다는 사실로 인해 나온다.
따라서, 이 예에서, 근사(v)의 판단은 2가지 원리를 기초로 한다:
ⅰ) v에서 변화 및 μ(I)에서 변화는 균일 영역내에서 국소적으로 가깝다:
ⅱ) (특히 장면(S)에 기인한 변화로 인해 균일 영역들의 가장자리 및 임의의 균일 영역에 속하지 않는 지점들에서 불연속을 가질 수 있는 μ(I)는 달리) 함수(v)는 그 밖의 곳에서 규칙적이다.
함수(v)에서 규칙성을 강조하는 한가지 수단은 필드에서 위치의 함수들인 낮은 정도의 다항식이거나 필드에서 위치의 함수들인 낮은 주파수의 사인 및 코사인과 같이 규칙 함수 군에 대하여 기술하는 것이다.
최적 방안은 상기 2개 원리들 간의 타협을 확립한다.
원리 ⅰ)을 부여하기 위해, 각 균일 영역(Zi)에서 기준점(xi)을 고를 수 있다. 도 3의 예에서 영역 3에 대해 7로 영역 4에 대해 8로 표시된 이 기준점은 임의의 지점일 수 있다. 이는 예컨대 값μ(xi)에 의해 정의된 점일 수 있으며, 이 값은 가령 영역(Zi)에서 평균값 또는 중앙값이다. 이는 또한 위치에 의해 정의된 점일 수 있으며, 상기 점은 가령 영역(Zi)의 중앙에 있다.
따라서, v(x)로 표시된 균일 영역(Zi)의 임의의 점(x)에서 크기(v)는 μ(x)로 표시된 이 점에서 계산된 측정μ(I)을 μ(xi)로 표시된 기준점에서 계산된 측정μ(I)에 대해 연관시킴으로써 구해질 수 있다.
다시 말하면, 원리 ⅰ)은 하기와 같게 μ(x)를 계산함으로써 균일 영역(Zi)의 임의의 점(x)에 대해 보장될 수 있다:
Figure pct00001
.
가령, 차 v(xi)μ(x)-μ(xi)v(x)를 페널티로 줄 수 있다.
기준 값에 대한 필요성을 제거할 수 있는 또 다른 가능성은 페널티를 주는 것이다.
∇(lnμ)-∇(lnv), 여기서, ∇는 그래디언트 연산자를 나타낸다.
최적성 분석(optimality criterion)은 이점적으로 가능하게는 위치들에 따라 다른 가중치를 갖는 모든 이용가능한 측정들을 고려한다.
원리 ⅱ)을 부여하기 위해, 예컨대 v의 변화에 페널티를 줄 수 있다. 이렇게 하기 위해, v의 그래디언트 또는 라플라시안 또는 v의 국지적 변화를 기술하는 임의의 다른 연산자에 페널티를 줄 수 있다.
최적성 분석은 이점적으로 가능하게는 위치들에 따라 다른 가중치를 갖는 모든 이용가능한 위치들을 고려한다.
가령 총 진폭이 주어진 평균 비율을 초과할 수 없는 다른 전체 구속조건들도 또한 최적 해에 부여될 수 있다.
측정μ(I)이 이미지(I)의 균일 영역내에 일정하다고 생각할 수 있다. 그러나, 측정은 노이즈를 받기 때문에 변화가 일반적으로 관찰된다. 부여된 규칙성 제약으로 인해, 크기(v)는 노이즈를 덜 받게 된다. 이는 이들 바람직하기 않는 변화들을 측정하는데 사용될 수 있다. 동일한 이유로, 크기(v)를 이용한 이미지 보정으로 또한 이미지 노이즈가 줄어들 수 있다.
제 2 방법으로, 크기(v)는 분할 및 규칙화의 2가지 구별되는 연속 단계들 필요없이 구해진다.
이렇게 하기 위해, 예컨대 측정μ(I)에 있어 변화 모델로 시작한다. 가령, 이 모델은 파라미터로서 또는 많은 학습된 맵들에 의해 제공될 수 있다.
이미지(I)에서 많은 기준점들이 사용된다. 그런 후, 이는 영역내 각 점과 기준점에서 측정μ(I)간의 오차의 합들을 최소화하기 위해 시도된다. 최적화 변수들은 (개수를 포함한) 기준점 및 규칙화 맵이다. 전에 익힌 맵들의 경우, 이는 가령 에러를 최소화하는 맵 또는 에러를 최소화하는 맵들의 조합을 찾을 수 있다.
기준점의 개수는 패널티의 대상일 수 있고, 또한 주어진 많은 기준점들과 최상의 관련된 맵의 최적 위치를 찾을 수 있다.
구해진 크기(v)는 다른 목적으로 사용될 수 있다. 가령, 이는 이미지 캡쳐 시스템(1)에서의 결함을 제공하는 평가를 기초로 이미지 캡쳐 시스템(1)의 자격을 위해 사용될 수 있다. 이는 또한 이런 복수의 시스템들 중에 일부 이미지 캡쳐 시스템들을 선택하고 약간 결함을 가진 것들만 보유하도록 사용될 수 있다.
도 2에 도시된 바와 같이, 구해진 크기(v)는 이점적으로 이미지(I)와 같을 수 있거나 이미지(I)와는 다를 수 있는 제 2 이미지(I')에 대한 이미지 캡쳐 시스템(1)의 고려된 결함을 보정하기 위한 적어도 하나의 파라미터(c)를 결정하는데 사용될 수 있다(단계 13). 이 또는 이들 보정 파라미터들(c)은 결함의 효과를 없애거나 최소로 줄이기 위해 이미지(I')의 모두 또는 일부에 대해 보정을 결정하는 것이 이루어지게 한다.
몇몇 경우, 크기(v)는 보정 파라미터 또는 파라미터들(c)을 직접 제공한다. 다른 경우, 이들 보정 파라미터들(c)의 판단은 크기(v)를 이용해 이루어진 (항등함수(identity function)와 다른) 계산으로 발생한다.
보정 파라미터 또는 파라미터들(c)은 특성상 다양할 수 있다. 이들은 예컨대 3 또는 4 차의 필드에서 위치 함수인 다항식의 계수와 같은 보정 알고리즘 또는 함수를 설명하는 파라미터일 수 있다. 또 다른 예에서, 이는 이들 점 또는 점들의 그룹에서 함수에 의해 추정된 값들과 같이 이미지(I')의 점 또는 점들의 그룹에 대한 각 값들의 세트일 수 있다. 이는 또한 기설정된 값들의 다른 맵들 간에 가중화일 수 있으며, 가중치는 점 또는 점들의 그룹에 대한 것이다. 당업자에 명백해지듯이 다른 예들도 또한 고려될 수 있다.
이미지(I')의 각 점에서 유효한 보정 파라미터들(c)을 얻기 위해, 크기(v)는 이미지(I)의 몇몇 지점들에 대해서만 얻어지지만, 다른 점들에 대해 크기(v)의 내삽이 행해질 수 있다.
2개 이미지들(I 및 I')은 특히 이들이 다른 장면을 나타낼 때 다른 것으로 고려된다. 이 경우, 이미지 캡쳐 시스템(1)의 고려된 결함에 의한 특징의 변화가 장면에 무관하다면 이미지(I')는 이미지(I)로부터 얻은 크기(v)로부터 도출되나 결정된 보정 파라미터들(c)은 이미지(I')에 적용된다. 따라서, 이런 보정 파라미터들(c)이 이미지(I)와는 다른 장면을 나타내는 이미지(I')에 대해 결정되면 이런 타입의 결함에 대해 이점적이다.
이런 식으로 진행함으로써, 장면에 무관한 캡쳐된 이미지의 특징에서 변화를 야기하는 이미지 캡쳐 시스템에서의 결함을 보정할 수 있다. 이 보정은 그런 후 이미지 캡쳐 시스템(1)에 의해 캡쳐된 임의의 이미지를 보정하는데 사용될 수 있다. 이런 식으로, 단일 이미지(I)에 행해진 평가로 나중에 캡쳐된 전체 일련의 이미지(I')들의 보정이 가능해 질 수 있다.
이는 이미지 보정이 이미지 캡쳐 시스템의 사용 동안 행해진 평가를 기초로 행해지기 때문에 도입시 언급한 바와 같이 이미지 캡쳐 시스템의 캘리브레이션 필요성을 방지한다.
이미지(I 및 I')는 또한 2개의 이미지들이 다른 해상도로 동일한 장면(S)을 나타낼 때 달라지는 것으로 생각된다. 이미지(I')의 해상도가 이미지(I)의 해상도보다 더 클 경우, 보정은 이미지(I')의 더 높은 해상도에 맞추기 위해 크기(v)의 내삽을 이점적으로 포함한다.
이미지(I 및 I')는 또한 다른 이미지 캡쳐 조건 하에 및/또는 다른 이미지 캡쳐 파라미터들로 캡쳐될 때 달라지는 것으로 생각된다.
예컨대, 이미지(I)는 이미지(I') 바로 전에 이미지 캡쳐 시스템(1)에 의해 캡쳐될 수 있다. 이는 예컨대 (자동초점 시스템(AF)로 인해 광학 시스템(L) 및 센서(C) 간의 상대 거리의 변화로 인해 발생한 몇몇 위치들에 대한 선명도 측정을 얻는 것처럼) 어떤 캡쳐 파라미터들을 결정하거나 어떤 조정을 하기 위해 미리보기 이미지가 될 수 있다.
보정 파라미터들이 결정되는 이미지(I)는 가능하게는 피보정 이미지(I')보다 더 간단해질 수 있다. 예컨대, 이는 이미지(I')보다 더 낮은 해상도, 채널 개수, 및/또는 차원 개수를 가질 수 있다. 이미지(I)의 낮은 해상도는 이미지(I')과 같은 크기의 큰 이미지를 서브샘플링함으로써 구해질 수 있다.
- 예컨대, 큰 이미지내 영역(zone)들을 결정하고 각 영역으로부터 적어도 하나의 픽셀을 선택하거나 각 지역의 픽셀들을 평균함으로써,
- 영역들은 큰 이미지를 규칙 또는 불규칙 격자로 분할함으로써 얻어질 수 있다.
- 영역들은 이미지의 컨텐츠에 의존하거나 무관할 수 있다.
이는 필요한 계산의 복잡도를 줄이고 또한 이미지(I)를 저장할 필요성을 제거할 수 있다.
이미지 캡쳐 시스템에 의해 표현된 결함들이 적어도 하나의 이미지 캡쳐 조건 및/또는 적어도 하나의 이미지 캡쳐 파라미터에 따르는 이미지 특징 필드내에 변화를 야기할 경우, 결정된 보정 파라미터(c)는 이에 따라 이점적으로 이미지(I')에 적용될 수 있으며, 이미지(I')는 이미지(I)와는 다를 수 있지만 이미지 캡쳐 시스템에 의해 캡쳐되며, 상기 이미지 캡쳐 조건 및/또는 파라미터가 이미지(I)와 같거나 유사하다.
두 이미지들 간에 변화는 사람의 눈에 미미하거나 그런 대로 참을 만한 고려된 결함들에 의해 변형된 이미지 특징에 영향을 준다면, 이미지(I')에 대한 이미지 캡쳐 조건 및/또는 이미지 캡쳐 파라미터는 이미지(I)에 대해 동일한 이미지 캡쳐 조건 및/또는 이미지 캡쳐 파라미터와 같거나 유사한 것으로 생각된다. 따라서, 허용될 수 있는 변화의 범위는 2개의 뚜렷한 결함들을 고려할 경우 달라질 수 있다. 그러므로, 허용가능한 변화에 대한 제한이 고려중인 결함들에 따른 상기 이미지 캡쳐 조건 및/또는 이미지 캡쳐 파라미터에 대해 설정될 수 있다.
예컨대, 컬러 비네팅은 센서를 비추는 광의 스펙트럼에 따른다. 이는 또한 장면을 비추는 광원에 따른다. 장면을 비추는 광원이 2개 이미지들 간에 변하지 않는다면, 컬러 비네팅은 일반적으로 2개 이미지들에서 유사한 값들을 갖는다. 그런 후 제 1 이미지에 대한 평가가 제 2 이미지의 적절한 보정을 위해 사용될 수 있다.
광원이 2개 이미지들 간에 변하면, 컬러 비네팅은 2개 이미지들 간에 변할 수 있으나, 이 경우 화이트 밸런스도 또한 변한다. 실시간 이미지 처리에 따른 이미지 캡쳐 시스템의 경우, 적어도 한 이미지가 화이트 밸런싱의 경우에서처럼 본 발명의 컬러 비네팅을 평하는데 필요하다.
일 변형으로, 완전한 또는 부분적인 히스토리가 하나 이상의 이미지들(I)에 대해 저장된다:
- 이미지 캡쳐 조건 및/또는 이미지 캡쳐 파라미터, 및
- 해당 측정μ(I) 또는 크기(v) 또는 보정 파라미터(c).
이미지 캡쳐 동안, 히스토리는 계산 반복을 방지하고 전기의 소비를 줄이며 이미지(I)를 저장하지 않고 온 더 플라이로 프로세싱이 행해질 때 이미지 캡쳐 조건 및/또는 이미지 캡쳐 파라미터에서의 변화에 대한 보정의 적용을 가속화시키기 위해 사용될 수 있다.
이미지 캡쳐 시스템에 의한 프로세싱 전에 제 1 이미지가 저장될 경우, 바람직하게는 제 1 및 제 2 이미지들은 모든 경우에 대해 적절한 보정을 얻기 위해 결합된다.
따라서, 하나 이상의 이미지 캡쳐 조건 및/또는 파라미터들에 따라 변하고 종래 기술의 캘리브레이션을 이용해 보정될 수 없는 현상에 대한 보정 파라미터를 결정할 수 있다.
이점적으로, 결정된 보정 파라미터 또는 파라미터들(c)은 이미지(I')를 보정하는데 사용될 수 있다.
보정 파라미터(c)의 결정 및/또는 이들 파라미터들을 기초로 한 결함의 보정은 측정μ(I)을 계산하고 결함의 평가 크기(v)를 얻는 시스템과 동일한 시스템, 예컨대, 이미지 캡쳐 시스템(1)에서 실행될 수 있다. 그런 후 이 시스템은 상술한 단계들을 실행하는데 사용된 유닛들 이외에 이미지 캡쳐 시스템에 의해 캡쳐된 이미지(I')에 대해 구해진 크기(v)로부터 상기 결함에 대한 보정 파라미터 또는 파라미터들을 결정하기 위한 유닛 및/또는 및/또는 이들 파라미터들을 기초로 한 보정을 적용하는데 적절한 프로세싱 유닛을 구비한다.
일 변형으로, 보정 파라미터(c)의 결정 및/또는 이들 파라미터들을 고려한 이미지(I')의 보정은 보정 파라미터를 결정하기 위한 유닛 및/또는 이미지(I')에 대한 보정을 적용하는데 적절한 프로세싱 유닛을 구비하는 별도의 시스템에 의해 행해질 수 있다.
따라서, (이미지 캡쳐 시스템 그 자체일 수 있는) 결함을 평가하기 위한 시스템과 여겨지는 결함에 대한 보정 파라미터 또는 파라미터들을 결정하기 위한 가능한 별도의 시스템을 가질 수 있다. 보정 파라미터(c)를 기초로 한 이미지(I')의 보정이 보정 파라미터를 결정하는 시스템 또는 별도의 보정 시스템에 의해 행해질 수 있다. 별도의 보정 시스템의 경우, 상기 보정 시스템은 이점적으로 이들 파라미터들을 결정하는 시스템으로부터 보정 파라미터(c)를 수신하기 위한 유닛을 구비한다.
본 명세서에 언급된 시스템들은 간단한 디바이스들 또는 상술한 기능들 중 하나를 각각 맡고 있는 복수의 별개의 유닛들을 포함한 복잡한 시스템들로 구성될 수 있음이 주목된다.
또한, 상술한 다른 단계들이 이 목적을 위한 코드 명령어를 포함하는 컴퓨터 프로그램 제품에 의한 것을 의미하는 소프트웨어에 의해 전체적으로 또는 부분적으로 실행될 수 있다. 추가로 또는 대안으로, 이들 단계들 중 적어도 일부는 전자회로에 의해 실행될 수 있다.
본 발명의 몇몇 예시적인 적용들이 후술되어 있다. 이들은 비제한적인 예들이다; 당업자에 명백한 하듯이 다른 적용들도 고려될 수 있다.
도 4에 도시된 제 1 적용으로, 이미지 캡쳐 시스템(1)은 컬러 비네팅 효과를 갖는 것으로 가정된다. 상술한 바와 같이, 이 결함은 적색 채널(R), 녹색 채널(G), 및 청색 채널(B)을 갖는 캡쳐된 이미지(I)에서(단계 14) 이미지(I) 필드에 컬러리메트리 변화를 야기한다. 컬러 비네팅은 센서에 수신된 광의 입사각에 따르는 현상이므로, 결과적으로 발생한 컬러리메트리 변화는 통계적으로 장면(S)로부터 발생한 컬러리메트리 변화보다 더 낮은 크기의 차수이다.
이미지(I) 필드의 적어도 제 1 부분에서, 적어도 하나의 컬러에 대해 측정μ(I)이 계산된다. 이는 여러 채널들에 걸친 컬러의 비(比)일 수 있다. 예컨대, 이 측정은 도 4에 나타낸 바와 같이 녹색 및 적색 채널에서 측정된 광강도의 G/R 비를 포함한다(단계 15). 이 측정은 예컨대 G/R 비로 대체 또는 보완될 수 있다.
다음, (상기 제 1 부분과 다르거나 같을 수 있는) 이미지(I) 필드의 적어도 하나의 제 2 부분에서, 컬러 비네팅 결함에 대해 평가된 크기(v)가 구해진다. 이는 이 크기(v)가 계산된 측정μ(I)에 따르고 컬러 비네팅으로 인해 발생한 컬러 변화와 같은 크기 차수의 변화를 갖도록 구해진다.
이렇게 하기 위해, 이미지(I)는 G/R (및/또는 G/B)에서의 변화가 느린 균일 영역(Zi)을 결정하기 위해 예컨대 상술한 바와 같이 분할될 수 있다. 균일 영역(Zi)내에 유사한 G/R (및/또는 G/B) 값을 갖는 이미지(I)의 이웃 점들, 가령 기설정된 임계치보다 적게 달라지는 값들을 갖는 점들이 이에 따라 그룹화될 수 있다.
컬러 비네팅을 모델화하고 상기 특성 ⅰ 및 ⅱ을 보장하기 위해, 가령 다항식 3 또는 4차 P(x,y)과 같은 크기(v)로 이용되는 느린 변화를 갖는 함수를 찾을 수 있어, 좌표(x,y)를 갖는 임의의 지점에 대해:
균일 영역(Zi) 내에서
Figure pct00002
균일 영역(Zi) 외부에서
Figure pct00003
이며, 여기서, G, R, 및 B는 녹색, 적색 및 청색 채널 각각에서 점(x,y)에서 측정된 강도를 나타내고, Gi, Ri, 및 Bi는 녹색, 적색 및 청색 채널 각각에서 영역(Zi)에 있는 기준점에서 측정된 강도를 나타내며, ∇는 그래디언트 연산자를 나타낸다(단계 16).
이 문제를 풀어 상기 조건을 만족하는 다항식 P(x,y)을 얻기 위해, 예컨대, 하기의 양을 최소화하는 2차 및 1차 문제에 도달한다:
균일 영역(Zi) 내에서
Figure pct00004
균일 영역(Zi) 외부에서
Figure pct00005
이 예에서, 구해진 다항식 P(x,y)은 이미지(I)와 다르거나 같을 수 있는 적어도 하나의 이미지(I')에 대해 컬러 비네팅에 대한 보정 파라미터(예컨대, 다항식 자체, 이 다항식의 계수 또는 기타)를 직접 제공한다. 이런 다항식 P(x,y)은 이미지(I')의 전체 필드에서 정의된다.
이들 보정 파라미터들에 기초한 보정은 예컨대 다음과 같이 행해질 수 있다. 이미지(I')에서 좌표(x,y)의 임의의 점에 대해, 채널(G)은 불변으로 남아 있고 R(및/또는 B) 채널의 값이 변경되며, 보정된 값 R'(및/또는 B')은 R'=P(x,y).R(및/또는 B'=P(x,y).B)가 된다.
실제로, P(x,y)는 균일 영역(Zi) 내에서
Figure pct00006
이도록 결정되었기 때문에, 이 영역(Zi)에서 한 점에 대한 G/R (및/또는 G/B) 비는 실질적으로 Gi/Ri (및/또는 Gi/Bi)와 같다. 다시 말하면, 각 균일 영역내에서, 컬러들은 상기 영역에서 선택된 기준점의 컬러들에 실질적으로 일치하게 변경되었다. 따라서, 컬러 비네팅에 대한 컬러리메트리 변화는 각 균일 영역에서 다소 제거된다.
컬러 비네팅의 영향도 또한 균일 영역 외부로 제한되는데, 이는 전체 이미지(I)내 느린 변화｜∇P(x,y)?0｜를 나타내기 위한 다항식 ∇P(x,y)이 결정되었기 때문이다.
이는 단지 컬러 비네팅을 평가하고 보정하는 일예인 것이 이해된다. 대안으로, 이 결함의 평가 및 보정은 이미지(I)에서 균일 영역을 명확히 정의해야 하지 않고도 결정될 수 있다.
하나 이상의 채널들을 얻기 위해 이득을 적용함으로써 컬러 비네팅의 보정이 유일한 보정 모델이 아님을 또한 주목한다. 예컨대, 더 일반적인 보정은 계수가 필드내 위치에 따르고 필드내 위치에 따르는 식으로 다른 채널들을 결합하는 매트릭스를 적용하도록 될 수 있다. 이전 보정은 대각선 매트릭스의 특정 경우에 해당한다. 임의의 고차 모델에도 이를 쉽게 일반화할 수 있다.
컬러 비네팅에 대해 기술된 예는 캡쳐 이미지가 중심에서보다 가장자리에서 더 어두워지는 휘도 비네팅의 결함을 평가하기 위해 쉽게 바꾸어 질 수 있다.
이렇게 하기 위해, 측정μ(I)으로서 다른 컬러 채널들(G/R 및/또는 G/B)에서의 값들의 비를 이용하기 보다는, 하나 이상의 채널들(가령, G 또는 R 또는 B)에 대한 광강도 값이 고려된다. 그렇지 않으면, 기술된 바와 같이 유사하게 다항식 P(x,y)의 결정이 이 경우에 쉽게 잘 맞는다.
또 다른 예로, 가령 이미지 캡쳐 시스템(1)에 의해 도입된 필드의 곡률 및/또는 길이방향 색수차로 인해 이미지(I) 필드내 블러 변화가 평가된다.
이미지(I) 필드의 적어도 제 1 부분에서, 적어도 하나 블러 레벨에 대한 측정μ(I)이 계산된다.
그런 후, (상기 제 1 부분과 같거나 적어도 부분적으로 다를 수 있는) 이미지(I) 필드의 적어도 제 2 부분에서, 블러 변화의 평가 크기(v)가 구해진다. 이 크기(v)는 계산된 측정μ(I)에 따르며, 블러 변화로 인해 발생한 변화와 같은 크기의 차수의 변화를 갖는다. 이렇게 하기 위해, 국지적 강화 필터들을 적용해 블러 레벨을 주어진 값으로 가져오게 할 수 있다.
일예로, 블러 레벨은 이미지(I)의 각 점(x)에서 그리고 적색(R) 및 녹색(G) 채널 각각에 대해 계산될 수 있다. 이들 블러 레벨들은 FR(x) 및 FG(x)로 표시된다. 그런 후, 종래 가장자리 검출 알고리즘을 이용해 이미지(I)에서 식별된 장면(S)에서 물체의 가장자리에 대해, 채널 R 및 G 사이의 상대 블러, 가령, FR(x)/FG(x) 비는 전반적으로 일정하다. 이를 위해, 상수비 FR(x)/FG(x)에 근사하는 다항식 P(x)과 같은 느린 변화를 갖는 함수가 크기(v)에 대해 결정될 수 있다. 식별된 가장자리와는 별도로, P(x)의 그래디언트는 가령 필드내 다항식의 규칙성을 보장하기 위해 최소화될 수 있다.
당업자에 명백하듯이, 이미지 캡쳐 시스템의 다른 결함들이 본 발명의 원리에 따라 보정을 위해 가능하게 평가될 수 있다. 몇몇 비제한적인 예들이 아래에 제공되어 있다.
베이어 어레이의 픽셀들(Gr 및 Gr) 간의 녹색 레벨의 차를 제한하기 위해, Gr/Gb 비가 측정μ(I)으로 계산될 수 있고, 이에 따라 크로스토크(crosstalk) 변화를 기술하는 크기(v)를 구한다.
또 다른 결함은 광 플레어(optical flare)로서, 이는 강력한 광원이 필드에 가깝거나 필드에 있을 때 센서에 강하게 비친다. 플레어는 광시스템 내 반사를 빗나게 한다. 상기 효과는 콘트라스트를 줄이고 컬러를 흐리게 하는 이미지에 대해 광의 베일을 야기한다. 종종 이는 또한 Gr 및 Gb 간의 차를 유발한다. Gr 및 Gb 간의 차는 플레어 변화를 검출 및 측정하게 하고 컬러 렌더링과 장면에 대한 컨트라스트를 적용하게 한다. 그러므로, 특징 측정은 이미지 캡쳐 조건에 따른 Gr 및 Gb 간 차일 수 있다. 크기는 필드내 이미지 캡쳐 조건 및 위치에 따른 검은점의 이동일 수 있다.
또 다른 예에서, 비점수차를 평가하기 위해, 블러 스팟의 지향 측정μ(I)이 계산될 수 있다.
또 다른 예는 기하학적 왜곡의 평가에 관한 것이다. 이미지 캡쳐 시스템의 이 결함으로 촬영장면의 직선이 캡쳐된 이미지에서 직선으로 나타나지 않게 된다. 이 결함을 평가하기 위해, 예컨대 캡쳐된 이미지(I)에서 규칙적인 가장자리를 위치시킬 수 있다. 그런 후, 위치된 가장자리에서 국지적 곡률의 측정μ(I)이 계산될 수 있고, 필드를 가로지른 확대에서 변화의 맵에 해당하는 크기(v)가 구해질 수 있다.
또 다른 예는 측면 색수차에 관한 것이다. 이미지 캡쳐 시스템의 이 결함은 파장에 따른 확대를 도입한다. 이 결함을 평가하기 위해, 예컨대, 캡쳐된 이미지(I)에서 규칙적인 가장자리를 위치시킬 수 있다. 그런 후, 이들 가장자리 위치에서 차의 측정μ(I)이 (예컨대, 다른 채널 R, G, B에서) 다른 파장들 또는 파장 범위들에 대해 계산될 수 있고, 이들 파장들 또는 파장 범위들 사이의 위치에서 차의 맵에 해당하는 크기(v)가 구해질 수 있다. 위치에서 이 차는 가장자리에 수직방향에서 국소적으로만 평가될 수 있다. 측면 색수차로 반경방향에서 확대가 야기될 때, 이는 캡쳐된 이미지(I)의 중심을 지나지 않는 가장자리를 이용해 다만 측정μ(I)을 계산될 수 있음을 주목하라. 모든 에지들이 이미지의 중심을 지나면, 측면 색수차는 보정될 수 없으나, 상기 색수차는 이미지에 전혀 영향을 주지 않으며 이는 보정을 불필요하게 한다. 보다 실제적이고 일반적인 경우, 이미지는 복수의 방향으로 복수의 가장자리들을 포함한다. 색수차가 필드내 느리게 변하는 현상인 것을 이용해, 모든 곳에서 그리고 모든 방향에서 변위(v)의 맵이 평가될 수 있다.
또 다른 예는 비균일 블랙레벨에 관한 것이다. 이 결함으로 소정의 광량을 수신한 이미지 캡쳐 시스템이 완전히 선형이 아닌 응답을 되돌려 보낸다. 특히, 광이 완전히 없는 상태에서조차도, 반환된 값은 0이 아니며 필드내 위치에 따른다. 이 결함을 평가하기 위해, 센서의 응답에 해당하는 측정μ(I)은 캡쳐 이미지(I)의 어두운 부분들에 대해 계산될 수 있고, 전체 필드에 대한 센서의 응답을 평가한 크기(v)가 구해질 수 있다.
또 다른 예는 비균일 노이즈에 관한 것이다. 이 결함은 이미지 캡쳐 시스템이 가변 강도의 노이즈를 발생하는 다른 부분들을 구비할 수 있다는 사실과 관련있다. 이 결함을 평가하기 위해, 측정μ(I)은 국지적 노이즈 분산(noise variance)에 대해 계산될 수 있고, 국지적 노이즈 분산을 스트레치(strech)한 국지적 이득을 평가함으로써 크기(v)가 구해질 수 있다. 그런 후, 이는 구해진 크기(v)로부터 유추된 보정 파라미터를 이용해 노이즈에 대한 이미지(I')를 보정할 수 있다. 보정된 이미지(I')는 일반적으로 균일한 노이즈를 포함한다.

Claims (14)

  1. 이미지 캡쳐 시스템에 의해 캡쳐되고 임의의 장면(S)을 나타내는 임의의 적어도 하나의 제 1 이미지(I)에 대해, 결함이 상기 제 1 이미지의 적어도 하나의 특징의 필드내 변화를 야기하며, 상기 변화는 장면에 의해 도입된 제 1 이미지의 상기 특징의 필드내 변화보다 통계적으로 더 낮은 크기 차수인 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법으로서,
    - 제 1 이미지 필드의 적어도 제 1 부분에서, 상기 제 1 이미지의 상기 특징에 대한 측정(μ(I))을 계산하는 단계와,
    - 제 1 이미지의 필드의 적어도 제 2 부분에서, 상기 결함의 평가된 크기(v)를 구하는 단계와,
    - 이미지 캡쳐 시스템에 의해 캡쳐된 적어도 하나의 제 2 이미지(I')에 대해 상기 결함의 적어도 하나의 보정 파라미터(c)를 구해진 크기(v)로부터 결정하는 단계를 포함하고,
    상기 크기는 계산된 측정에 따르며 상기 결함에 의해 야기된 제 1 이미지의 상기 특징의 필드내 변화와 동일한 크기 차수의 변화를 가지며,
    상기 제 2 이미지는 상기 제 1 이미지와 다른 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  2. 제 1 항에 있어서,
    제 2 이미지(I')는 제 1 이미지(I) 바로 다음에 이미지 캡쳐 시스템에 의해 캡쳐되는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    제 1 이미지(I)는 사전 캡쳐 또는 미리보기 이미지인 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    제 2 이미지(I')의 전체 필드에 대한 보정 파라미터(c)가 결정되는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 보정 파라미터(c)를 고려한 이미지 캡쳐 시스템(1)에 의해 캡쳐된 제 2 이미지(I')의 프로세싱을 추가로 포함하는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    제 1 이미지(I)는 제 2 이미지(I')보다 낮은 해상도, 채널 개수, 및/또는 차원 개수를 갖는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 결함으로 인해 야기된 상기 제 1 이미지(I)의 적어도 하나의 특징의 필드 내 상기 변화는 제 1 이미지의 적어도 하나의 이미지 캡쳐 파라미터 및/또는 이미지 캡쳐 조건에 따르며, 제 2 이미지(I')는 상기 이미지 캡쳐 파라미터 및/또는 이미지 캡쳐 조건이 제 1 이미지와 같거나 유사한 이미지 캡쳐 시스템(1)에 의해 캡쳐되는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 결함으로 인해 야기된 상기 제 1 이미지(I)의 적어도 하나의 특징의 필드 내 상기 변화는 상기 이미지 캡쳐 시스템(1)에 고유한 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  9. 제 8 항에 있어서,
    상기 결함은 상기 이미지 캡쳐 시스템(1)의 제조시 적어도 하나의 불확실성에 따르는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    이미지 캡쳐 시스템(1)의 상기 결함은 휘도 비네팅(luminance vignetting), 컬러 비네팅(colored vignetting), 비균일 블러(non-uniform blur), 동일한 채널에서 이웃 광감지 소자들 간의 비(比)의 비균일 변화, 비균일 노이즈, 기하학적 왜곡, 측면 색수차, 길이방향 색수차, 비점수차, 플레어(flare), 및 비균일 블랙레벨 중 적어도 하나를 포함하는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    제 1 이미지 필드의 상기 적어도 제 1 부분에서 균일 영역(3;4) 세트의 식별을 포함하고, 각 영역내에서 상기 계산된 측정(μ(I))은 상기 결함에 의해 야기된 제 1 이미지(I)의 상기 특징의 필드내 변화와 동일한 크기의 차수에 의해 변하고, 상기 크기는 식별된 균일 영역을 고려함으로써 구해지는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  12. 제 11 항에 있어서,
    상기 계산된 측정을 제 1 이미지(I)의 특징에 대한 그리고 상기 균일 영역의 기준점(7;8)에서 계산된 측정에 연계시킴으로써 상기 균일 영역 세트의 균일 영역내에 상기 크기(v)가 구해지는 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 방법.
  13. 이미지 캡쳐 시스템에 의해 캡쳐되고 임의의 장면(S)을 나타내는 임의의 적어도 하나의 제 1 이미지(I)에 대해, 결함이 상기 제 1 이미지의 적어도 하나의 특징의 필드내 변화를 야기하며, 상기 변화는 장면에 의해 도입된 제 1 이미지의 상기 특징의 필드내 변화보다 통계적으로 더 낮은 크기 차수인 제 1 항 내지 제 12 항 중 어느 한 항에 따르는 이미지 캡쳐 시스템(1)의 적어도 하나의 결함을 평가하는 시스템으로서,
    - 제 1 이미지 필드의 적어도 제 1 부분에서, 상기 제 1 이미지의 상기 특징에 대한 측정(μ(I))을 계산하는 유닛과,
    - 제 1 이미지의 필드의 적어도 제 2 부분에서, 상기 결함의 평가된 크기(v)를 구하는 유닛과,
    - 이미지 캡쳐 시스템에 의해 캡쳐된 적어도 하나의 제 2 이미지(I')에 대해 상기 결함의 적어도 하나의 보정 파라미터(c)를 구해진 크기(v)로부터 결정하는 유닛을 포함하고,
    상기 크기는 계산된 측정에 따르며 상기 결함에 의해 야기된 제 1 이미지의 상기 특징의 필드내 변화와 동일한 크기 차수의 변화를 가지며,
    상기 제 2 이미지는 상기 제 1 이미지와 다른 이미지 캡쳐 시스템의 적어도 하나의 결함을 평가하는 시스템.
  14. 제 1 항 내지 제 12 항 중 어느 한 항에 따르는 이미지 캡쳐 시스템(1)의 적어도 하나의 결함을 평가하는 방법을 실행하기 위한 코드 명령어를 포함하는 컴퓨터 프로그램 제품 및/또는 전자회로.
KR1020127004376A 2009-07-21 2010-07-02 이미지 캡쳐 시스템에서 결함 평가방법 및 관련 시스템 KR101666137B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0955075A FR2948521B1 (fr) 2009-07-21 2009-07-21 Procede d'estimation d'un defaut d'un systeme de capture d'images et systemes associes
FR0955075 2009-07-21
PCT/FR2010/051395 WO2011010040A1 (fr) 2009-07-21 2010-07-02 Procede d'estimation d'un defaut d'un systeme de capture d'images et systemes associes

Publications (2)

Publication Number Publication Date
KR20120062722A true KR20120062722A (ko) 2012-06-14
KR101666137B1 KR101666137B1 (ko) 2016-10-13

Family

ID=41694701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127004376A KR101666137B1 (ko) 2009-07-21 2010-07-02 이미지 캡쳐 시스템에서 결함 평가방법 및 관련 시스템

Country Status (7)

Country Link
US (1) US8736683B2 (ko)
EP (2) EP3657784B1 (ko)
JP (1) JP5592486B2 (ko)
KR (1) KR101666137B1 (ko)
CN (1) CN102577355B (ko)
FR (1) FR2948521B1 (ko)
WO (1) WO2011010040A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150003767A (ko) 2012-04-26 2015-01-09 브리스톨-마이어스 스큅 컴퍼니 혈소판 응집을 치료하기 위한 프로테아제 활성화 수용체 4 (par4) 억제제로서의 이미다조티아디아졸 유도체
CN104640869B (zh) 2012-04-26 2017-12-12 百时美施贵宝公司 作为用于治疗血小板聚集的蛋白酶激活受体4(par4)抑制剂的咪唑并噻二唑和咪唑并哒嗪衍生物
US9270959B2 (en) * 2013-08-07 2016-02-23 Qualcomm Incorporated Dynamic color shading correction
LU92516B1 (en) * 2014-08-11 2016-02-12 Iee Sarl Infrared imager non-uniformity correction with bad pixel detection and correction
US10499996B2 (en) 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
EP3284252B1 (en) * 2015-04-13 2021-07-21 Universidade De Coimbra Methods and systems for camera characterization in terms of response function, color, and vignetting under non-uniform illumination
WO2017091268A2 (en) * 2015-09-25 2017-06-01 Board Of Regents, The University Of Texas System Measurement of non-uniformity noise
EP3371196B1 (en) 2015-10-19 2021-10-27 Université de Montréal Heterocyclic compounds as inhibitors of platelet aggregation
TWI581213B (zh) * 2015-12-28 2017-05-01 力晶科技股份有限公司 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體
US10796499B2 (en) 2017-03-14 2020-10-06 Universidade De Coimbra Systems and methods for 3D registration of curves and surfaces using local differential information
JP7005313B2 (ja) * 2017-11-21 2022-01-21 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
KR20200097865A (ko) 2019-02-08 2020-08-20 삼성전자주식회사 깊이 측정을 위한 이미지 처리 시스템 및 이의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222416A (ja) * 2001-01-26 2002-08-09 Mitsubishi Electric Corp 画質改善装置
US20070146506A1 (en) * 2005-12-23 2007-06-28 Microsoft Corporation Single-image vignetting correction
JP2009159093A (ja) * 2007-12-25 2009-07-16 Canon Inc 撮像装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4991007A (en) * 1989-05-05 1991-02-05 Corley Ferrand D E Image evaluation of at least one characteristic of an object, and method of evaluation
JP4274632B2 (ja) * 1999-05-25 2009-06-10 オリンパス株式会社 色再現システム
US6992696B1 (en) * 2000-10-26 2006-01-31 Lockheed Martin Corporation Image test target for visual determination of digital image resolution
CN1305006C (zh) 2001-07-12 2007-03-14 杜莱布斯公司 向图象处理装置提供格式化信息的方法和系统
JP4159986B2 (ja) 2001-07-12 2008-10-01 ドゥ ラブズ デジタル画像から変換された画像を計算するための方法およびシステム
JP3927995B2 (ja) * 2001-12-27 2007-06-13 ソニー株式会社 画像表示制御装置と画像表示制御方法及び撮像装置
US7233352B2 (en) * 2002-06-20 2007-06-19 Hewlett-Packard Development Company, L.P. Method and apparatus for color non-uniformity correction in a digital camera
US7502057B2 (en) * 2002-06-20 2009-03-10 Hewlett-Packard Development Company, L.P. Method and apparatus for color non-uniformity correction in a digital camera
US7068302B2 (en) * 2002-08-15 2006-06-27 Ford Global Technologies, Llc Method for camera calibration and quality testing
JP3680827B2 (ja) * 2002-08-27 2005-08-10 コニカミノルタフォトイメージング株式会社 デジタルカメラ
US7751653B2 (en) * 2004-05-13 2010-07-06 Color Savvy Systems Limited Method for collecting data for color measurements from a digital electronic image capturing device or system
US7961973B2 (en) * 2004-09-02 2011-06-14 Qualcomm Incorporated Lens roll-off correction method and apparatus
US7629998B2 (en) * 2005-06-23 2009-12-08 Elbex Video Limited Method and apparatus for measuring illumination and camera performances
US7732768B1 (en) * 2006-03-02 2010-06-08 Thermoteknix Systems Ltd. Image alignment and trend analysis features for an infrared imaging system
US20080055455A1 (en) * 2006-08-31 2008-03-06 Micron Technology, Inc. Imbalance determination and correction in image sensing
US7839422B2 (en) * 2006-12-13 2010-11-23 Adobe Systems Incorporated Gradient-domain compositing
US8094195B2 (en) * 2006-12-28 2012-01-10 Flextronics International Usa, Inc. Digital camera calibration method
US8103121B2 (en) * 2007-08-31 2012-01-24 Adobe Systems Incorporated Systems and methods for determination of a camera imperfection for an image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002222416A (ja) * 2001-01-26 2002-08-09 Mitsubishi Electric Corp 画質改善装置
US20070146506A1 (en) * 2005-12-23 2007-06-28 Microsoft Corporation Single-image vignetting correction
JP2009159093A (ja) * 2007-12-25 2009-07-16 Canon Inc 撮像装置

Also Published As

Publication number Publication date
FR2948521A1 (fr) 2011-01-28
JP2012533957A (ja) 2012-12-27
EP2457379B1 (fr) 2020-01-15
US8736683B2 (en) 2014-05-27
EP3657784A1 (fr) 2020-05-27
EP2457379A1 (fr) 2012-05-30
WO2011010040A1 (fr) 2011-01-27
US20120120255A1 (en) 2012-05-17
CN102577355B (zh) 2015-12-16
FR2948521B1 (fr) 2012-01-27
KR101666137B1 (ko) 2016-10-13
JP5592486B2 (ja) 2014-09-17
CN102577355A (zh) 2012-07-11
EP3657784B1 (fr) 2024-03-20

Similar Documents

Publication Publication Date Title
KR101666137B1 (ko) 이미지 캡쳐 시스템에서 결함 평가방법 및 관련 시스템
EP1924966B1 (en) Adaptive exposure control
JP2021526248A (ja) シングルショットｈｄｒカラーイメージセンサからのｈｄｒ画像生成
US8830341B2 (en) Selection of an optimum image in burst mode in a digital camera
JP3587433B2 (ja) 固体撮像素子の画素欠陥検出装置
US7408569B1 (en) Image processing device, image processing method and recording medium
US8582814B2 (en) Image processing method and system
CN110519585B (zh) 一种应用于图像采集设备的成像校准方法及装置
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP2000261686A (ja) 画像処理装置、方法及び記録媒体
CN107395991A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US20110069204A1 (en) Method and apparatus for image correction
JP6353233B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2008289034A (ja) 画像処理装置及び画像処理プログラム
Sur et al. Measuring the noise of digital imaging sensors by stacking raw images affected by vibrations and illumination flickering
CN112866655A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN106973194A (zh) 拍摄装置、图像处理装置、图像处理方法
JP6362070B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP5920608B2 (ja) 画像の鮮明度を評価する撮像システムおよび方法
JP5121998B2 (ja) 画像処理装置及び画像処理プログラム
US20100254624A1 (en) Method of correcting image distortion
CN112866596A (zh) 基于cmos传感器的抗强光三维捕捉方法及系统
Ortiz et al. Radiometric calibration of vision cameras and intensity uncertainty estimation
JP2017219737A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN111885281B (zh) 图像处理

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190925

Year of fee payment: 4