KR20130139788A - 장치의 화상 센서에 의해서 생성된 고정형 패턴 노이즈를 억제하는 촬상 장치 - Google Patents

Abstract

촬상 장치는 고정형-노이즈 픽셀들을 고정형 패턴 노이즈를 생성하는 화상 센서의 해당 픽셀들로서 검출하고 등록하고, 그리고 화상 센서로 입사하는 광을 분산시키는 광학적 요소를 포함한다. 검출은 캡쳐된 화상들 내의 격리된 고-휘도 픽셀들을 식별함으로써, 그리고 각각의 격리된 고-휘도 픽셀에 대해서, 주변에 인접한 픽셀들의 휘도 값들을 평가함으로써 실시된다. 주변에 인접한 픽셀들의 휘도 값들을 미리 결정된 문턱값과 비교하는 것을 기초로 격리된 고-휘도 픽셀이 고정형-노이즈 픽셀인지의 여부에 대한 판단이 이루어지고, 상기 판단은 바람직하게 화상들이 암흑의 시간 중에 캡쳐되는 동안에만 실시된다.

Description

장치의 화상 센서에 의해서 생성된 고정형 패턴 노이즈를 억제하는 촬상 장치{IMAGING APPARATUS WHICH SUPPRESSES FIXED PATTERN NOISE GENERATED BY AN IMAGE SENSOR OF THE APPARATUS}

관련 출원들의 상호-참조

본원은 2012년 6월 13일자로 출원된 일본 특허출원 제 2012-133869 호를 기초로 하고 그리고 참조로서 본원에 포함한다.

본원 발명은 장치의 화상 센서에 의해서 생성된 고정형 패턴 노이즈를 억제하는 기능을 갖는 촬상 장치에 관한 것이다.

고정형 패턴 노이즈는, 디지털 카메라에 의해서 만들어지는 화상 데이터의 연속되는 프레임들(각각의 캡쳐된 화상들을 나타낸다)의 각각의 변화되지 않은 패턴으로서 발생되는 노이즈를 의미한다. 고정형 패턴 노이즈는 결함을 가지는 화상 센서의 하나 이상의 포토(photo)-센서들의 어레이로부터 초래된다. 이들은 화상 센서의 제조 편차들(deviations)에 의해서 유발되고, 그리고 각각의 결함을 가지는 포토-센서는, 입사되는 광의 세기와 관계없이, 높은 휘도(luminance) 출력 값을 계속적으로 생성한다.

그러한 고정형 패턴 노이즈를 제거하기 위한, 일본 특허 공보 제 2006-140982 호와 같은, 여러 가지 제안들이 이루어졌다. 상기 특허는, 화상 센서로부터 얻어진 복수의 연속적인 프레임들의 화상 데이터를 누적하고, 그에 따라 누적된 화상 데이터 내에서 표현된 공간적인 고주파 성분들을 기초로 고정형 패턴 노이즈를 제거하는 방법을 제시한다. 그러나, 그러한 방법에서는, 누적된 화상 데이터를 저장하기 위한 대-규모 메모리 자원들을 제공할 필요가 있고, 그리고 고정형 패턴 노이즈를 고속으로 검출하는 것을 달성할 수 없다.

그에 따라, 작은 규모의 메모리 자원들만을 이용하면서 고정형 패턴 노이즈를 신속하게 검출할 수 있고 억제할 수 있는 기능을 가지는 촬상 장치를 제공함으로써, 상기 문제를 해결하는 것이 요구되고 있다.

본원 발명은, 광학적 시스템으로 유입되는 입사 광 비임들의 분산을 실시하기 위해서, 광학적 로우-패스 필터와 같은 광학적 분산(dispersion) 요소를 포함하는 광학적 시스템을 가지고, 그리고 광학적 분산 요소로부터 분산된 입사 광 비임들을 수용하도록 각각 배치된 포토-센서들의 어레이로 형성된 화상 센서를 가지는 촬상 장치에 적용될 수 있다. 화상 센서는, 포토-센서들로부터 생성된 각각의 휘도 값들로 형성되고, 그리고 외부 장면(scene)의 캡쳐된 화상을 표현하는 화상 데이터 프레임을 캡쳐하도록 제어된다.

상기 목적들을 달성하기 위해서, 촬상 장치는, 고-휘도 포토-센서들, 즉 제 1의 미리 결정된 문턱값(threshold value)을 초과하는 각각의 휘도 값들을 생성하는 포토-센서들을 식별하기 위해서, 그리고 이러한 고-휘도 포토-센서들 중의 격리된(isolated) 포토-센서들 즉, 화상 데이터 프레임 내의 모든 다른 고-휘도 포토-센서들로부터 격리된 포토-센서들을 식별하기 위해서, 화상 데이터 프레임을 프로세싱하기 위한 추출 회로망을 더 포함한다. 촬상 장치는, 격리된 고-휘도 포토-센서들의 각각에 대해서, 해당 포토-센서가 고정형-노이즈 포토-센서인지의 여부, 즉 입사되는 광의 세기와 관계없이 높은 휘도 값을 고정적으로 생성하여 고정형 패턴 노이즈를 생성하는 포토-센서인지의 여부를 판단하도록 구성된 판단 회로망을 더 포함한다. 이러한 판단은 제 2 문턱값(제 1 문턱값 보다 더 낮다)과, 격리된 고-휘도 포토-센서에 인접하여 주변에 위치되고 그에 따라 해당 고-휘도 포토-센서 상으로 입사되는 분산된 광을 수용할 수 있는 포토-센서들의 세트의 각각의 휘도 값들 사이의 관계를 기초로 한다.

바람직하게, 이러한 판단은, 촬상 장치가 암흑 시간 중에 외부(옥외(outdoors)) 장면의 화상들을 캡쳐할 때에만 실행된다.

보다 바람직하게, 판단 회로망은, 격리된 고-휘도 포토-센서의 주변에 인접한 포토-센서들의 휘도 값들의 각각이 제 2의 미리 결정된 문턱값 보다 작을 때, 격리된 고-휘도 포토-센서가 고정형-노이즈 포토-센서라는 것으로 판단한다. 그러나, 주변에 인접한 포토-센서들의 휘도 값들의 평균이 제 2의 미리 결정된 문턱값 보다 작을 때, 또는 주변에 인접한 포토-센서들의 휘도 값들의 전체 합계가 제 2의 미리 결정된 문턱값 보다 작을 때, 격리된 고-휘도 포토-센서가 고정형-노이즈 포토-센서인 것으로 또한 판단할 수 있을 것이다.

그러한 촬상 장치는 화상 데이터 교정 회로망을 더 포함한다. 그러한 교정 회로망은, 각각의 화상 데이터 프레임들 내의 고정형-노이즈 포토-센서들로부터 생성된 각각의 휘도 값으로부터 해당 고정형-노이즈 포토-센서에 상응하는 교정량을 차감함으로써, 고정형 패턴 노이즈를 제거한다. 고정형-노이즈 포토-센서에 상응하는 교정량은, 복수의 이전에-캡쳐된 화상 데이터 프레임들 중의 각각의 프레임들 내의, 해당 포토-센서로부터 획득된, 휘도 값들을 기초로(바람직하게, 평균화하는 것에 의한다) 유도된다.

바람직하게, 이러한 촬상 장치는, 상응하는 교정량을 계산하는데 이용하기 위해서, 각각의 고정형-노이즈 포토-센서들에 상응하는 각각의 레코드들(records)에서 휘도 이력(history) 데이터를 저장하기 위한, EEPROM과 같은 재-기록이 가능한(rewritable) 메모리를 포함한다. 각각의 레코드는 고정형-노이즈 포토-센서의 위치 좌표들 및 휘도 이력 데이터(각각의 화상 데이터 프레임들 내의 해당 포토-센서로부터 이전에 생성된 휘도 값들)를 포함하고, 상응하는 교정량은 휘도 이력 데이터 값들의 평균으로서 계산된다.

바람직하게, 현재의 시점까지, 각각 새롭게 캡쳐된 화상 데이터 프레임 내의 상응하는 고정형-노이즈 포토-센서로부터 생성된 휘도 값을 부가함으로써, 각각의 고정형-노이즈 픽셀의 휘도 이력 데이터가 주기적으로 업데이트된다.

바람직하게, 그러한 촬상 장치는, 다른 차량들과 같은 객체들을 검출하는데 이용하기 위해서, 차량 앞쪽 영역의 화상들을 캡쳐하도록, 모터 차량 내에 설치될 수 있을 것이다. 그러한 경우에, 촬상 장치는, 다른 차량들의 후미등들 또는 전조등들이 화상 센서에 의해서 캡쳐된 화상들 내에서 나타날 때 그러한 다른 차량들의 후미등들 또는 전조등들을 검출하도록 구성된 차량 광 검출 회로망을 더 포함할 수 있을 것이고, 상기 검출은 교정된 화상 데이터 프레임들의 컨텐츠(contents)를 기초로 실행된다.

도 1은 촬상 장치의 실시예를 포함하는 차량 제어 시스템의 전반적인 구성을 도시한 블록도이다.
도 2는 실시예의 프로세싱 유닛에 의해서 비디오 데이터의 연속적인 프레임들의 각각에 대해서 적용되는 프로세싱을 도시한 타이밍 도면이다.
도 3의 (a) 내지 도 3의 (d)는 분산된 광 비임들이 화상 센서의 상호 인접한 포토-센서들의 세트로 입사될 때 생성되는 휘도 값들을 도시한다.
도 4는 상호 인접한 포토-센서들의 세트 중 하나가 고정형-노이즈 포토-센서일 때 생성되는 휘도 값들을 도시한 도면이다.
도 5는 고정형-노이즈 포토-센서들을 식별하기 위한 노이즈 제거 프로세싱 및 학습 프로세싱의 전체적인 흐름을 도시한 흐름도이다.
도 6은 실시예의 프로세싱 유닛에 의해서 실행되는 노이즈 제거 프로세싱의 흐름도이다.
도 7은 실시예의 재기록이 가능한 메모리 내에서 유지되는 노이즈 맵을 개념적으로 도시한 도면이다.
도 8은, 실시예의 프로세싱 유닛에 의해서 실행되는, 고정형-노이즈 포토-센서들을 식별하기 위한 노이즈 학습 프로세싱의 흐름도이다.
도 9는 판단 객체 픽셀과 주변에 인접한 포토-센서들의 세트 사이의 위치 관계를 도시한다.
도 10은 노이즈 학습 프로세싱에서 실행되는 그룹 레이블링(group labeling) 프로세싱의 흐름도이다.
도 11은, 노이즈 학습 프로세싱에서 실행되는, 격리된 고-휘도 포토-센서들을 추출하기 위한 프로세싱의 흐름도이다.

도 1은, 차량-내 네트워크를 통한 데이터 통신을 위해서 연결된, 화상 분석 장치(10) 및 차량 제어 장치(90)를 포함하는 차량 제어 시스템(1)의 전반적인 구성을 도시한다. 화상 분석 장치(10)는 디지털 비디오 카메라(이하에서 단순히 카메라라고 지칭됨)(20), 및 프로세싱 유닛(30)을 포함하고, 상기 디지털 비디오 카메라는 호스트 차량 앞쪽 영역의 연속적인 화상들을 (연속적인 비디오 신호 프레임들의 화상 데이터로서) 캡쳐한다. 프로세싱 유닛은 후술하는 바와 같은 마이크로컴퓨터에 의해서 본질적으로 구성되고, 프로세싱 유닛(30)의 기능들은 저장된 프로그램의 실행에 의해서 실시된다. 이러한 기능들은, 호스트 차량 앞쪽에 위치된 객체들의 존재를 검출하는 것을 포함하는 목적들을 위한, 카메라(20)의 제어 및 카메라(20)로부터 획득된 화상 데이터의 분석을 포함한다. 검출 결과들이 차량 제어 장치(90)로 전송된다.

화상 분석 장치(10)는, 차량-내 네트워크를 통해서 화상 분석 장치(10)와 차량 제어 장치(90) 사이의 데이터의 양방향 전달을 제어하는 통신 유닛(40)(통신 인터페이스)을 더 포함한다.

차량 제어 장치(90)는, 화상 분석 장치(10)로부터 획득된 전술한 검출 결과들을 기초로 호스트 차량의 제어(예를 들어, 차량-간 분리 거리의 제어)를 실시한다. 또한, 야간 운전 중에, 차량 제어 장치(90)는 호스트 차량의 전조등 비임들의 방향을 제어한다(즉, 하이 비임/로우 비임 전환을 제어한다).

도시된 바와 같이, 카메라(20)는 외부 입사광을 수용하는 광학적 시스템(21), 및 상기 광학적 시스템(21)으로부터의 입사광에 따라서 화상 데이터를 생성하는 화상 센서(27)를 포함한다. 구체적으로, 화상 센서(27)는 화상 데이터를 연속적인 프레임들로서 생성하도록 제어되고, 상기 각각의 프레임은 포토-센서들의 어레이로부터 얻어진 각각의 휘도 값들로 이루어진다.

설명의 간결함을 위해서, 이러한 포토-센서들은 이하에서 픽셀들로서 지칭되고, 그리고 수용된 광 세기에 따라 포토-센서에 의해서 생성된 검출 신호 레벨이 포토-센서에 의해서 생성된 휘도 값으로서 지칭된다.

광학적 시스템(21)은 렌즈(23) 및 광학적 로우 패스 필터(종종 안티-앨리어싱(anti-aliasing) 필터로서 지칭된다)(25)로 이루어진다. 광학적 로우 패스 필터(25)는, 광이 화상 센서(27)로 들어가기(fall on) 전에, 외부적으로 수용된 입사 광으로부터 특정의 공간적인 고-주파 성분들을 제거하는 역할을 한다. 이는, 외부 입사 광의 분산을 통해서 이루어지고, 해당 기술 분야에서 주지된 바와 같이, 그러한 분산은, 이러한 실시예와 함께, 각각의 입사 광 비임을 4개의 분리된 비임들로 분할함으로써 실시된다.

화상 센서(27)는 그러한 화상 센서(27)의 픽셀들의 어레이 중의 상응하는 어레이들 위에 위치되는, 적색(R), 녹색(G) 및 청색(B)으로 형성된, 색채 필터 어레이(27A)를 포함한다. 이러한 R, G, B 필터들에 각각 상응하는 픽셀들을 이하에서 R, G, B 픽셀들로 지칭한다. 이러한 실시예는 CMOS(상보적인 금속-산화물-반도체) 화상 센서를 이용하나, 본원 발명은 CCD(전하결합소자) 화상 센서와 같은 다른 타입들의 센서에 대해서도 동일하게 적용될 수 있다.

연속적인 프레임 간격들의 각각에서, 화상 센서(27)가 프로세싱 유닛(30)에 의해서 제어되어 픽셀들로부터의 각각의 휘도 값들로 구성되는 화상 데이터를 생성한다. 색채 필터 어레이(27A)의 존재로 인해서, 화상 데이터는 색채 화상 데이터를 구성하고, 즉 각각의 인접한 R, G, B 픽셀들의 세트로부터의 휘도 값들이 캡쳐된 화상의 일부에 대한 휘도 및 크로미넌스(chrominance) 정보 모두를 표현한다. 호스트 차량 앞쪽 영역의 각각의 화상들을 표현하는, 연속적인 프레임들의 화상 데이터가 화상 센서(27)로부터 프로세싱 유닛(30)으로 공급된다.

화상 분석 장치(10)의 전체적인 제어를 실시하는 것에 더하여, 프로세싱 유닛(30)은, 사람들 또는 다른 차량들과 같은, 호스트 차량 앞쪽에 위치된 객체들을 검출하기 위해서, 카메라(20)로부터 획득된 각각의 프레임들의 화상 데이터를 분석한다. 전술한 바와 같이, 프로세싱 유닛(30)은 기본적으로, CPU(31), ROM(33), RAM(35) 및 EEPROM (전기적으로 소거가 가능한 프로그램 가능 메모리)(37) 즉, 재기록이 가능한 비-휘발성 메모리를 가지는 마이크로컴퓨터이다. 프로세싱 유닛(30)의 기능들은 ROM(33) 내에 저장되어 유지되는 프로그램의 실행을 통해서 CPU(31)에 의해서 실시된다.

카메라(20)를 제어함으로써, 프로세싱 유닛(30)은 호스트 차량 앞쪽의 영역을 관찰하는 카메라(20)로부터 (각각의 화상 데이터 프레임들에 의해서 표현된) 화상들을 주기적으로 획득한다. 도 2에 도시된 바와 같이, 각각의 프레임 간격 중에, 프로세싱 유닛(30)은 현재 획득된 화상 데이터 프레임(즉, 직전에 선행한 프레임 간격에서 생성된 화상 데이터)을 프로세싱하고, 그러한 프로세싱은 노이즈 제거 및 학습 프로세싱(PR1) 그리고 객체 검출 프로세싱(PR2)으로 각각 지정되는 2개의 연속적인 스테이지들에서 실행된다. 노이즈 제거 및 학습 프로세싱(PR1)은 노이즈(특히, 고정형 패턴 노이즈)를 제거하여 교정된 화상 데이터를 얻기 위해서 현재 획득된 화상 데이터 프레임에 적용되는 프로세싱을 포함한다. 또한, 노이즈 제거 및 학습 프로세싱(PR1)은 아직 등록(register)되지 않은 임의의 고정형-노이즈 픽셀들(즉, 고정형 패턴 노이즈를 초래하는 고정된 휘도 값들을 생성하는 픽셀들)을 학습(즉, 검출 및 등록)하기 위한, 그리고 이전에 등록된 고정형-노이즈 픽셀들의 각각에 대해서 저장된 휘도 이력 데이터를 업데이트하기 위한 프로세싱을 포함한다.

객체 검출 프로세싱(PR2)은, 호스트 차량의 앞에 위치된 객체들을 검출하기 위해서, 현재 획득된 프레임의 교정된 화상 데이터에 대해서 적용된다. 그러한 검출을 구현하기 위한 기술이 잘 알려져 있으며, 그에 따라 그에 관한 구체적인 설명은 본원에서 생략한다. 예를 들어, 호스트 차량이 야간에(즉, 암흑의 시간 중에) 작동될 때, PR2 프로세싱은, 교정된 화상 데이터에 의해서 표현되는 캡쳐된 화상들 내에서 보여지는, 차량 전조등들 또는 후미등들을 검출하기 위해서 실행될 수 있다.

고정형-노이즈 픽셀들을 식별하기 위해서 적용되는 판단의 원리들을, 도 3의 (a) 내지 도 3의 (d)의 예(고-휘도 픽셀이 정상 픽셀인 경우를 설명한다) 및 도 4의 예(고-휘도 픽셀이 고정형-노이즈 픽셀인 경우를 설명한다)를 참조하여 설명할 것이다. 도 3의 (a)의 예에서, 카메라(20)로 유입되는 외부 광의 비임은, 광학적 로우 패스 필터(25)에 의해서 4개의 새로운(emergent) 광 비임들로 분할됨으로써 분산되고, 그러한 비임들은 화상 센서(27)의 4개의 상호 인접한 픽셀들(PA, PB, PC 및 PD)로 각각 입사되기 위한 것이다. 다른 분산된 광이 픽셀들(PB, PC, PD)로 입사되지 않을 것으로 가정되고, 즉 다른 근접한 픽셀은 고휘도 값을 생성하지 않을 것으로 가정된다.

또한, 적색은, 차량의 후미등으로부터의 광이기 때문에, 입사 광 비임의 메인 색채 성분이 되고, 그리고 이는 픽셀들(PA, PB, PC 및 PD) 상으로만 들어가도록 분산된다. 만약 색채 필터 어레이(27A)가 제거된다면, 픽셀들(PA, PB, PC, PD)은, 도 3의 (b)에 도시된 바와 같이, 분산된 광에 응답하여 동일한 휘도 값들을 생성할 것이다. 그러나, 도 3의 (c)에 도시된 G, B 색채 필터들에 의한 적색 성분의 감쇠(attenuation)로 인해서, 픽셀들(PB, PC, PD)로부터의 휘도 값들은 각각 R 픽셀(PA)로부터의 휘도 값 보다 낮을 것이나, 도 3의 (d)에 도시된 바와 같이, 그 각각은 제로 보다 상당히 클 것이다.

이제 도 4를 참조하면, 4개의 상호 인접한 픽셀들(PE, PF, PG, PH)의 세트에서, 픽셀(PE)은 고정된 높은 휘도 값을 생성하는 고정형-노이즈 픽셀이고, 그리고 분산된 광이 어떠한 픽셀들(PF, PG, PH)로도 들어가지 않는 것(근방의 다른 픽셀은 고휘도 값을 생성하지 않는다)으로 가정한다. 그러한 경우에 주변에 인접한 픽셀들(PF, PG, PH) 각각은 제로인 또는 실질적으로 제로인 휘도 값을 생성한다.

이러한 현상은 이하와 같이 실시예들에 의해서 이용된다. 연속적인 프레임들의 화상 데이터가 암흑 시간 중에 화상 센서(27)로부터 획득될 때, 각각의 프레임 내에서, 각각의 격리된 고-휘도 픽셀(미리 결정된 문턱값을 초과하는 휘도 값을 생성하고 그리고 모든 다른 고-휘도 픽셀들로부터 공간적으로 격리된 픽셀)이 식별된다. 이어서, 격리된 고-휘도 픽셀의 주변에 인접한 픽셀들의 세트의 평균 휘도 값들을 기초로, 격리된 고-휘도 픽셀이 고정형-노이즈 픽셀인지의 여부에 대해서 결정한다.

도 5의 흐름도를 먼저 참조하여, 프로세싱 유닛(30)에 의해서 실행되는 노이즈 제거 및 학습 프로세싱(PR1)을 보다 구체적으로 설명할 것이다. 첫 번째로, 프로세싱 유닛(30)은 현재의 화상 데이터(즉, 화상 센서(27)로부터 생성된, 하나의 프레임의 데이터)를 획득한다(단계(S110)). 다음에, 단계(S120)에서, 프로세싱 유닛(30)은 도 6의 흐름도에 도시된 노이즈 제거 프로세싱을 실시한다. 고정형-노이즈 픽셀들로서 등록된 개별적인 픽셀들의 각각에 대해서, 이전에 획득된 상응하는 휘도 값들의 세트는, EEPROM(37)에 저장된 노이즈 맵으로서 지칭되는, 메모리 맵 내에서 휘도 이력 데이터로서 저장된다. 노이즈 맵이 도 7에 개념적으로 도시되어 있다. 현재의 화상 데이터 내의 각각의 고정형-노이즈 픽셀에 대해서 획득된 휘도 값은, 그러한 휘도 값으로부터 교정량을 차감함으로써 교정되고, 상기 교정량은 상응하는 휘도 이력 데이터의 평균이다. 그에 따라, 현재의 화상 데이터를 프로세싱하여, 고정형 패턴 노이즈가 억제된, 교정된 화상 데이터를 획득한다.

보다 구체적으로, 도 6을 참조하면, 노이즈 제거 프로세싱이 시작되었을 때, 프로세싱 유닛(30)은 노이즈 제거 프로세싱이 노이즈 맵에 이미 등록된 고정형-노이즈 픽셀들의 전부에 대해서 적용되었는지의 여부를 판단한다(단계(S210)). 각각의 등록된 픽셀에 대해서, 상응하는 좌표 데이터(즉, 화상 센서(27)의 픽셀 어레이 내의 위치의 좌표들) 및 휘도 이력 데이터가 노이즈 맵 내에서 레코드로서 저장된다. 고정형-노이즈 픽셀에 대해서 레코딩된 휘도 이력 데이터는, 현재의 시간까지, 화상들이 암흑 시간 중에 카메라(20)에 의해서 캡쳐될 때 해당 픽셀(즉, 각각의 화상 데이터 프레임들로부터의, 연속적인 업데이팅 샘플들로서)로부터 연속적으로 획득된 휘도 값들로 이루어진다.

만약 노이즈 제거 프로세싱이 노이즈 맵 내에 등록된 고정형-노이즈 픽셀들의 모두에 대해서 적용되었다고 판단되면(단계(S210)에서의 '예(YES)'), 노이즈 제거 프로세싱 루틴의 실행이 종료되는 한편, 다른 경우에(단계(S210)에서 '아니오') 다른 고정형-노이즈 픽셀이 선택된다(단계(S220)). 다음(단계(S230))에, 프로세싱하기 위해서 선택된 픽셀(이하에서, 프로세싱-객체 픽셀로서 지칭된다)에 대한 휘도 이력 데이터를 기초로, 교정량(XA)이 프로세싱-객체 픽셀의 휘도 이력 데이터 내의 값들의 평균으로서 계산된다. 현재의 화상 데이터 내의 프로세싱-객체 픽셀로부터 획득된 휘도 값을 X 로서 지정하면, 상응하는 교정된 휘도 값(X-XA)을 획득하기 위해서, 이는 상기 휘도 값으로부터 상응하는 교정량(XA)을 차감함으로써 교정된다(단계(S240)). 이어서, 단계(S210) 및 후속 단계들이 다시 실행된다.

그러한 방식에서, 노이즈 맵 내에 등록된 고정형-노이즈 픽셀들의 각각의 현재 획득된 휘도 값들에 대해서 단계들(S230, S240)의 프로세싱을 적용함으로써, 교정된(즉, 고정형 패턴 노이즈-제거된) 화상 데이터가 현재의 화상 데이터로부터 얻어진다.

노이즈 제거 프로세싱의 완료시에(단계(S210)에서의 '예' 결정), 프로세싱 유닛(30)은 도 5의 단계(S130)를 실행하여, 차량이 현재 암흑 시간 중에 동작하는지의 여부를 판단한다. 만약 그렇지 않다면('아니오' 결정), 노이즈 학습 프로세싱을 실행하지 않고, 이러한 노이즈 제거 및 학습 프로세싱(PR1)의 실행이 종료된다. 만약 그렇다면(단계(S130)에서의 '예' 결정), 노이즈 학습 프로세싱(단계(S140))이 실행되고, 이어서 노이즈 제거 및 학습 프로세싱(PR1)의 이러한 실행이 종료된다.

호스트 차량이 현재 야간에 동작되는지의 여부에 관한 결정은, 예를 들어, 각각의 화상 데이터 프레임의(또는 화상 데이터 프레임의 각각의 휘도 값들의 평균의) 전체 휘도가 미리 결정된 문턱값 보다 큰지 아닌지의 여부를 기초로 이루어질 수 있다. 그러한 경우에, 전체 휘도(또는 평균 휘도 값)가 미리 결정된 문턱값을 초과할 때, 도 5의 단계(S130)에서 '아니오' 결정에 도달하게 되는 한편, 그와 다른 경우에 단계(S130)에서 '예' 결정이 이루어지고, 그리고 노이즈 학습 프로세싱이 실행된다. 그러나, 낮 및 야간 시간 동작 사이를 구분하기 위한 다른 방법들이 예상될 수 있을 것이다.

도 8에 도시된 노이즈 학습 프로세싱의 흐름도를 참조하면, 프로세싱 유닛(30)은 먼저 (단계(S310)) (상기 도 5의 노이즈 제거 단계(S120)에 의해서 획득된) 교정된 화상 데이터를 이진법적인(binary) 화상 데이터로 변환한다. 구체적으로, 화상 센서(27)의 각각의 픽셀들에 상응하는, 현재의 화상 데이터 프레임으로부터의 교정된 휘도 값들은, 그러한 값들이 미리 결정된 제 1 문턱값을 초과하는지 또는 아닌지의 여부에 따라서 각각의 교정된 휘도 값에 대해서 1 또는 0 의 값을 할당함으로써 이진법적인 값들로 변환된다. 상응하는 휘도 값에 1의 값이 할당된 픽셀들은, 이하에서, 고-휘도 픽셀들로서 지칭된다.

단계(S310)의 이진법적인 변환 프로세싱이, 도 5의 단계(S120)의 노이즈 제거 프로세싱에 의해서 획득된, 교정된 화상 데이터에 대해서 적용된다는 것이 강조되어야 할 것이다.

다음에, (단계(S320)) 프로세싱 유닛(30)은 그룹 레이블링을 이진법적인 화상 데이터에 대해서 적용한다. 여기에서, "레이블링"은 개별적인 식별자들(레이블들)을 각각의 픽셀들의 그룹들에 대해서 부착하는 것을 의미한다. 그룹들의 각각은 1의 값이 할당된 픽셀들만으로 이루어지고, 그리고 각각의 그룹은 단일 픽셀로, 또는 복수의 연속적으로 인접한 픽셀들(즉, 해당 그룹의 적어도 하나의 다른 픽셀에 바로 인접하여 각각 위치된 것이다)로 형성된다. 동일한 레이블이 그룹의 픽셀들의 각각에 대해서 공통적으로 할당된다. 여기에서, "바로 인접한"이라는 용어는 바로 위 또는 바로 아래, 또는 바로 좌측 측부 또는 바로 우측 측부를 의미한다. 그에 따라, 그룹들은 현재 획득된 화상 데이터 프레임 내의 각각의 고-휘도 영역들에 상응한다.

도 10의 흐름도는 레이블링 프로세싱 콘텐츠의 구체적인 내용들을 도시한다. 도시된 바와 같이, 고-휘도 픽셀들 또는 고-휘도 픽셀들 중 하나에 레이블이 할당되지 않았기 때문에(단계(S320a)의 '아니오' 결정), 고-휘도 픽셀이 선택되고(단계(S320b), 그리고 단계(S320c)에서 새로운 레이블(즉, 임의의 다른 픽셀들에 대해서 아직 할당되지 않은 레이블)이 할당된다. 이어서, 선택된 고-휘도 픽셀에 대해서 (앞서서 규정한 바와 같이) 연속적으로 인접한 고-휘도 픽셀들이 존재하는 경우에 그러한 모든 고-휘도 픽셀들을 형성하기 위한 탐색이 이루어진다(단계(S320d)). 이어서, 새로운 레이블이 이러한 고-휘도 픽셀들의 각각에 대해서 할당되고(단계(S320e)), 그에 따라 그 레이블을 새로운 그룹에 대해서 부착한다. 고-휘도 픽셀들 전부로 레이블이 할당되었을 때(단계(S320a)에서의 '예'), 도 8의 단계(S330)가 이어서 실행된다.

비록, 이러한 실시예를 이용하여, 단지 휘도 값들에 따라서 그룹핑이 실시되지만, 픽셀 색채에 따라서 그룹핑을 실시하는 것, 즉 고-휘도 R 픽셀들의 그룹들, 고-휘도 G 픽셀들의 그룹들 및 고-휘도 B 픽셀들의 그룹들을 선택하는 것이 바람직할 수 있을 것이다.

다음에(단계(S330)), 고-휘도의 격리된 픽셀들을 추출하기 위해서 프로세싱이 실행된다. 레이블들의 각각에 대해서, 레이블에 대해서 할당된 픽셀들의 수가 계수되고, 그리고 계수 값이 1인 각각의 레이블이 추출된다. 그러한 방식에서, 개별적인 격리된 고-휘도 픽셀들(단일 픽셀에 의해서 구성된 고-휘도 영역들)의 각각이 추출되고(식별되고), 즉 각각의 격리된 고-휘도 픽셀이 제 1 문턱값을 초과하는 휘도 값을 생성하고 그리고 모든 다른 고-휘도 픽셀들로부터 공간적으로 격리된다.

도 11의 흐름도는 레이블링 프로세싱 콘텐츠들의 구체적인 내용들을 보여준다. 도시된 바와 같이, 만약 할당된 레이블들 모두가 아직 검사되지 않았다면(단계(S330a)에서의 '아니오'), 할당된 레이블이 선택된다(단계(S330b)). 이어서, 해당 레이블들이 할당된 고-휘도 픽셀들의 전체 수가 계수된다. 만약 레이블이 단일 고-휘도 픽셀에 대해서만 할당된 것으로 판단된다면(단계(S330c)에서의 '예'), 픽셀은 격리된 고-휘도 픽셀인 것으로 지정된다(단계(S330d)). 만약 선택된 레이블이 복수의 고-휘도 픽셀들을 포함하는 그룹에 대해서 할당되었다면(단계(S330c)에서의 '아니오'), 동작이 단계(S330a)로 복귀된다. 모든 레이블들이 검사되었을 때(단계(S330a)에서의 '예'), 도 8의 단계(S340)가 실행된다.

다시 도 8을 참조하면, 단계(S330)에 이어서, 프로세싱 유닛(30)은, 단계(S340)에서, 단계(S330)에서 식별된 고-휘도의 격리된 픽셀들 모두가 고정형-노이즈 픽셀들인지를 확인하기 위해서, 고-휘도의 격리된 픽셀들 모두가 판단되었는지의 여부를 결정한다. 만약 그러한 격리된 픽셀들 중 하나 이상이 판단되어야 하는 것으로 남아 있다면(단계(S340)에서의 '아니오' 결정), 단계(S350)가 실행되어 다른 고-휘도 픽셀을 판단-객체 픽셀로서 선택하는 한편, 다른 경우라면('예' 결정), 단계(S410)가 실행된다.

단계(S350)에 이어서, 단계(S370)에서, 프로세싱 유닛(30)은, 도 3의 (a) 내지 도 3의 (d)의 상기 예의 픽셀(PA)에 대한 위치들(PB, PC, PD)에서의 픽셀들과 같은, 판단-객체 픽셀에 대해서 주변에서 인접한 픽셀들의 세트의 (현재 획득된 프레임의 교정-전(pre) 화상 데이터 내의) 휘도 값들을 참조한다. "교정-전 화상 데이터"라는 용어는, 단계(S120)의 노이즈 제거 프로세싱을 실행하기 전의, 상기 도 5의 단계(S110)에서 획득된 화상 데이터 즉, 현재 화상 데이터 프레임의 휘도 값들을 의미한다.

단계(S370)에서, 프로세싱 유닛(30)은 이러한 주변의 인접한 픽셀들 모두가, 미리 결정된 제 2 문턱값 보다 적은, 교정-전 화상 데이터 내의, 휘도 값들을 생성하는지의 여부를 판단한다.

제 2 문턱값은, 상기 단계(S310)에서 화상 데이터를 이진법적인 데이터로 변환하기 위해서 이용된, 제 1 문턱값 보다 충분히 낮게 만들어진다. 본원 발명의 양수인들은, 적절한 값이 제 2 문턱값에 대해서 결정될 수 있고, 그에 따라 고정형-노이즈 픽셀들인 그러한 격리된 고-휘도 픽셀 픽셀들이 이하에서 설명하는 바와 같이 신뢰가능하게 검출될 수 있다는 것을 실험적으로 발견하였다.

만약, 판단-객체 픽셀의 주변에 인접한 픽셀들의 전부의 각각의 휘도 값들이 제 2 문턱값 미만이라는 것이 결정되었다면(단계(S370)에서의 '예' 결정), 프로세싱 유닛(30)은 판단 객체 픽셀이 앞서 규정한 바와 같이 고정형-노이즈 픽셀이라는 판단을 한다(단계(S380)). 그러한 경우에, 새로운 레코드는, 판단 객체 픽셀의 위치 좌표들 및 판단 객체 픽셀의 현재 획득된(교정되지 않은) 휘도 값을 포함하는, EEPROM(37)의 노이즈 맵 내에서, 해당 픽셀에 대한 휘도 이력 데이터 내의 초기 값으로서 구축된다(단계(S390).

단계(S390) 이후에, 만약 모든 격리된 고-휘도 픽셀들이 아직 판단되지 않았다면(단계(S340)에서 '아니오' 결정), 동작이 단계(S340)로 복귀되고, 그리고 상기 일련의 단계들(S350 내지 S390)이, 판단 객체 픽셀로서, 다른 격리된 고-휘도 픽셀에 대해서 반복된다.

만약 판단 객체 픽셀이 고정형-노이즈 픽셀이 아닌 것으로 결정된다면(단계(S400), 단계들(S350, S390)을 건너뛰고 그리고 동작이 단계(S340)로 복귀된다.

이러한 방식에서, 단계(S350)에서 시작하는 단계들의 시퀀스가, 이진법적인 화상 데이터로부터 추출된 그리고 (그들의 고휘도 값들이 교정된 화상 데이터 내에서 발생되기 때문에) 고정형-노이즈 픽셀들로서 이전에 등록되지 않았던, 격리된 고-휘도 픽셀들의 각각에 대해서 실행된다. 만약 격리된 고-휘도 픽셀이 새롭게 검출된 고정형-노이즈 픽셀이라고 판단된다면, 해당 픽셀에 대해서 얻어진 현재 획득된 (교정-전) 휘도 값은, 해당 픽셀에 상응하는, 노이즈 맵에 구축된 새로운 레코드(휘도 이력 데이터 및 위치 좌표들) 내에 저장된다.

격리된 고-휘도 픽셀들 모두가 판단되었을 때(단계(S340)에서의 '예'), 단계(S410)가 실행되어, 현재의 화상 데이터 프레임으로부터 얻어진 상응하는 휘도 값을 휘도 이력 데이터에 대해서 부가함으로써, 이전에 레코딩되었던 개별적인 고정형-노이즈 픽셀들의 각각에 대해서 휘도 이력 데이터를 업데이트 한다. 이어서, 이러한 노이즈 학습 프로세싱 루틴의 실행이 종료된다.

도 8의 프로세싱의 결과로서, 각각의 고정형-노이즈 픽셀의 휘도 이력 데이터는, 현재의 시점까지 해당 픽셀에 대해서 연속적으로 얻어진 그리고 암흑 시간 중에 카메라(20)에 의해서 각각 캡쳐된 저장된 휘도 값들로 이루어진다.

고정형-노이즈 픽셀들의 각각에 대해서, 해당 픽셀에 상응하는 교정량(XA)이, 도 6의 노이즈 제거 프로세싱 루틴의 단계(S230)에서, 상응하는 휘도 이력 데이터의 평균으로서 계산된다. 단계(S240)에서, 교정량(XA)이 해당 픽셀에 대해서 얻어진 현재 획득된 (교정-전) 휘도 값으로부터 차감되어, 해당 픽셀에 대한 교정된 휘도 값을 얻는다. 그에 따라, 고정형 패턴 노이즈가 배제된, 교정된 화상 데이터 프레임이 현재의 획득된 화상 데이터 프레임으로부터 얻어진다.

본 실시예의 전술한 특징들은 다음과 같이 요약될 수 있다. 화상 센서(27)는, 광학적 시스템(21)에 의해서 수용된 입사 광으로부터, 호스트 차량 앞쪽 영역의 연속적인 화상들을 (각각의 화상 데이터 프레임들로서) 캡쳐하고, 상기 입사 광은 광학적 시스템(21) 내의 광학적 로우 패스 필터(25)에 의해서 분산된다. 현재 캡쳐된 화상의 화상 데이터가 교정(노이즈 제거) 프로세싱을 거친 후에, 프로세싱 유닛(30)은 캡쳐된 화상의 (교정된) 휘도 값들의 어레이를 프로세싱하여, 고-휘도 픽셀들을, 제 1 문턱값을 초과하는 휘도 값을 가지는 픽셀들로서 추출한다. 이어서, 프로세싱 유닛(30)은, 격리된 고-휘도 픽셀인 즉, 모든 다른 고-휘도 픽셀들로부터 격리된 고-휘도 픽셀들의 각각을 추출한다(식별한다)(단계들(S310 내지 S330)).

이어서, 판단 객체 픽셀이 고정형-노이즈 픽셀(앞서 규정한 바와 같음)인지의 여부를 판단하기 위해서, 프로세싱 유닛(30)은 연속체 내의 고-휘도의 격리된 픽셀들의 각각을 판단 객체 픽셀로서 프로세싱하고, 상기 판단은 판단 객체 픽셀의 주변에 인접한 픽셀들의 세트의 각각의 (교정-전) 휘도 값들을 기초로 한다(단계들(S340 내지 S400)). 구체적으로, 만약 이러한 휘도 값들 모두가 제 2 문턱값 미만이라면, 격리된 고-휘도 픽셀이 고정형-노이즈 픽셀이라는 것으로 판단한다.

전술한 실시예에서, 종래 기술에서 필요하였던 것과 같이, 검출에서 이용하기 위해서 많은 양의 화상 데이터를 저장할 필요가 없이, 고정형-노이즈 픽셀들을 정확하고 신속하게 검출할 수 있게 된다. 그에 따라, 적은 양의 메모리 자원들 만이 요구된다.

또한, 고정형-노이즈 픽셀들의 검출이 신속하게 달성될 수 있기 때문에, 고정형 패턴 노이즈가 화상 데이터로부터 신속하게 제거될 수 있고, 그에 따라 노이즈가 없는 교정된 화상 데이터를 제공할 수 있다. 만약 제거되지 않는다면, 고정형 패턴 노이즈는 캡쳐된 화상들 내에서 나타나는 광의 기원들(sources)을 판단하는데 있어서 오류들을 초래할 수 있다. 특히, 만약 교정되지 않은 화상 데이터가 적색(R) 픽셀들인 고정형-노이즈 픽셀들로부터의 휘도 값들을 포함한다면, 이들은 선행하는 차량들의 후미등들로서 잘못 해석될 수 있을 것이다. 전술한 실시예는 이러한 문제를 방지할 수 있다.

그에 따라, 객체 검출 프로세싱(PR2)에서 실행되는, 다른 차량들의 후미등들 또는 전조등들을 검출하는 것과 같은 동작들이 신뢰가능하게 실시될 수 있고, 그러한 검출의 결과들을 기초로 적절한 차량 제어를 달성할 수 있게 한다.

전술한 실시예에서, 고정형-노이즈 픽셀에 대해서 적용하기 위한 교정량을 계산하는데 이용하기 위해서, 고정형-노이즈 픽셀들의 각각에 대해서, 연속적인 화상 데이터 프레임들 내의 해당 픽셀로부터 얻어진 휘도 값들이 픽셀에 대한 휘도 이력 데이터로서, 즉 연속적인 휘도 샘플들로서 순차적으로 저장된다(S410). 교정량(XA)은, 고정형-노이즈 픽셀에 대한 휘도 이력 데이터 내의 휘도 값들 즉, 암흑 시간 중에 캡쳐된 화상들로부터 획득된 값들의 평균으로서 계산된다. 이어서, 화상 센서(27)로부터 현재 획득된 해당 픽셀에 상응하는 휘도 값으로부터 교정량(XA)을 차감하는 것에 의해서, 교정된 휘도 값이 얻어진다.

따라서, 전술한 실시예에서, 고정형 패턴 노이즈 성분이 화상 센서(27)로부터 생성된 화상 데이터로부터 정확하게 제거될 수 있다. 구체적으로, 비록 연속적인 프레임들 내에서 고정형-노이즈 픽셀에 대해서 연속적으로 얻어진 휘도 값들(즉, 도 8의 단계(S410)의 연속적인 실행들에서, 상응하는 휘도 이력 데이터를 업데이트하는 값들)에서 변동들이 발생할 것이지만, 상응하는 교정량(휘도 이력 데이터의 평균 값)은 시간이 경과함에 따라 점점 더 정확해질 것이다. 그에 따라, 고정형 패턴 노이즈의 효과적인 억제로 인해서, 객체 검출 프로세싱(PR2)이 신뢰가능하게 실시될 수 있다.

가중 평균을 적용함으로써, 고정형-노이즈 픽셀의 교정량(XA)을 얻을 수 있다는 것을 주지하여야 한다. 구체적으로, 보다 최근의 휘도 값들이 고정형-노이즈 픽셀의 휘도 이력 데이터에 레코딩될수록, 평균 계산에서 보다 큰 가중치가 그러한 휘도 값들에 대해서 주어질 수 있을 것이다.

또한, 본원 발명이 전술한 실시예로 제한되지 않는다는 것 그리고 첨부된 청구항들에서 기술된 바와 같은 본원 발명의 범위 내에 포함되는 실시예의 여러 가지 변경예들 및 대안적인 형태들이 실현될 수 있다는 것을 주지하여야 한다. 예를 들어, 전술한 실시예에서, 해당 격리된 고-휘도 픽셀의 주변에 인접한 픽셀들의 세트의 휘도 값들 모두가, (고-휘도의 격리된 픽셀들을 추출하는데 있어서 이용되는) 제 1 문턱값 보다 낮은, 제 2 문턱값의 미만인지의 여부를 기초로, 격리된 픽셀이 고정형-노이즈 픽셀인지의 여부에 대한 결정이 이루어진다. 그러나, 이는, 주변에 인접한 픽셀들의 평균 휘도 값이 제 2 문턱값 미만인지의 여부를 기초로, 또는 주변에 인접한 픽셀들의 각각의 휘도 값의 전체가 제 2 문턱값 미만인지의 여부를 기초로, 고-휘도의 격리된 픽셀이 고정형-노이즈 픽셀인지의 여부를 결정하는 것에도 마찬가지로 적용될 수 있을 것이다.

또한, 전술한 실시예에서, 4개의 분산된 광 비임들이 4개의 상호 인접 픽셀들 상으로 입사될 수 있도록, 입사 광 비임을 4개의 분산된 광 비임들로 분할함으로써 동작되는 광학적 로우 패스 필터가 이용된다. 그러나, 입사 광 비임을 분산된 광 비임들의 쌍으로 분할하는 광학적 로우 패스 필터를 마찬가지로 이용할 수 있을 것이다. 그러한 경우에, 격리된 고-휘도 픽셀이 고정형-노이즈 픽셀인지에 관한 판단이, (상기 도 3의 (a) 내지 도 3의 (d)의 예의 PB 또는 PC와 같은) 단일의 인접한 픽셀의 휘도 값을 기초로, 이루어 질 수 있을 것이다.

또한, 전술한 실시예에서, 고정형-노이즈 픽셀에 대해서 얻어진 휘도 값들이 해당 픽셀에 상응하는 휘도 이력 데이터로서 연속적으로 저장되고, 그리고 상응하는 교정량(XA)을 계산하기 위해서 이용된다. 그러나, 마찬가지로 각각의 새롭게 얻어진 휘도 값을 전체 휘도 값에 부가할 수 있을 것이고(즉, 도 8의 단계(S410)가 실행될 때마다), 그리고 단지 해당 전체 휘도 값 및 업데이팅들의 수를 저장할 수 있을 것이며, 그리고 교정량(XA)을 계산하기 위해서 이들을 이용할 수 있을 것이다. 이는, 종래 기술에 대비하여, 필요한 메모리 자원들을 추가적으로 감소시킬 수 있을 것이다.

또한, 전술한 실시예에서, 고정형 값이, 격리된 고-휘도 픽셀(판단 객체 픽셀)이 고정형-노이즈 픽셀인지의 여부를 판단하는데 있어서 이용되는, 제 2 문턱값에 대해서 셋팅된다. 그러나, 마찬가지로, 판단 객체 픽셀의 휘도 값에 따라서 제 2 문턱값을 결정할 수 있을 것이다. 구체적으로, 제 2 문턱값이 판단 객체 픽셀의 휘도 값과 주변에 인접한 픽셀들의 휘도 값 사이의 차이(예를 들어, 판단 객체 픽셀의 휘도 값과 주변에 인접한 픽셀들의 세트의 평균 휘도 값 사이의 차이)에 따라서 셋팅될 수 있을 것이다.

첨부된 청구항들과 전술한 실시예의 콘텐츠들 사이에는 이하의 관계들이 존재한다. 도 11에 도시된 동작 단계들(S330a 내지 S330d)을 실시하기 위해서 ROM(33) 내에서 유지되는 프로그램을 실행하는데 있어서, 프로세싱 유닛(마이크로컴퓨터)(30)은 청구항들에서 인용된 바와 같은 격리된 고-휘도 포토-센서들을 추출(즉, 식별)하기 위한 추출 회로망에 상응한다. 유사하게, 도 8에 도시된 동작 단계들(S350 내지 S380)을 실시하기 위한 저장된 프로그램을 실행하는데 있어서, 프로세싱 유닛(30)은, 청구항들에서 인용된 바와 같은, 격리된 고-휘도 포토-센서가 고정형-노이즈 포토-센서인지를 판단하기 위한 판단 회로망에 상응한다. 유사하게, 도 6에 도시된 동작 단계들(S210 내지 S240)을 실시하기 위한 저장된 프로그램을 실행하는데 있어서, 프로세싱 유닛(30)은, 청구항들에서 인용된 바와 같은, 교정된 화상 데이터 프레임들을 얻기 위한 교정 회로망에 상응한다. EEPROM(27)은 청구항들에서 인용된 바와 같은 비-휘발성의 재-기록가능 메모리에 상응한다.

Claims (13)

1. 광학적 분산 요소를 포함하는 광학적 시스템으로서, 상기 광학적 분산 요소가 상기 광학적 시스템으로 유입되는 입사 광의 분산을 실시하기 위해서 배치되는, 광학적 시스템, 및
   화상 데이터 프레임을 캡쳐하기 위해서, 상기 광학적 시스템으로부터 분산된 입사 광을 수용하도록 배치된 포토-센서들의 어레이를 포함하는 화상 센서로서, 상기 화상 데이터 프레임이 상기 포토-센서들의 각각의 휘도 값들을 포함하고 그리고 외부 장면의 캡쳐된 화상을 표현하는, 화상 센서를 포함하는 촬상 장치이며,
   상기 촬상 장치가,
   격리된 고-휘도 포토-센서들을, 제 1의 미리 결정된 문턱값을 초과하는 휘도 값을 각각 생성하고 그리고 상기 제 1 문턱값을 초과하는 휘도 값을 생성하는 모든 다른 포토-센서들로부터 공간적으로 각각 분리된 개별의 포토-센서들로서 식별하기 위해서 상기 화상 데이터 프레임을 프로세싱하도록 구성된 추출 회로망, 및
   상기 격리된 고-휘도 포토-센서들의 각각에 대해서, 상기 격리된 고-휘도 포토-센서가 고정된 높은 휘도 값을 생성하는 고정형-노이즈 포토-센서인지의 여부를 판단하도록 구성된 판단 회로망을 포함하는, 촬상 장치.
2. 제 1 항에 있어서,
   상기 판단 회로망은, 격리된 고-휘도 포토-센서의 주변에 인접하여 위치되는 상응하는 하나 이상의 포토-센서들의 세트의 각각의 휘도 값들을 기초로, 상기 격리된 고-휘도 포토-센서가 고정형-노이즈 포토-센서인지의 여부를 판단하는, 촬상 장치.
3. 제 2 항에 있어서,
   상기 판단 회로망은, 상기 상응하는 주변에 인접한 포토-센서들의 휘도 값들의 각각이 제 2의 미리 결정된 문턱값 보다 작은 것으로 판단될 때, 상기 격리된 고-휘도 포토-센서가 고정형-노이즈 포토-센서인 것으로 결정하는, 촬상 장치.
4. 제 2 항에 있어서,
   상기 판단 회로망은, 상기 상응하는 주변에 인접한 포토-센서들의 휘도 값들의 평균이 제 2의 미리 결정된 문턱값 보다 작은 것으로 판단될 때, 상기 격리된 고-휘도 포토-센서가 고정형-노이즈 포토-센서인 것으로 결정하는, 촬상 장치.
5. 제 2 항에 있어서,
   상기 판단 회로망은, 상기 상응하는 주변에 인접한 포토-센서들의 휘도 값들의 전체가 제 2의 미리 결정된 문턱값 보다 작은 것으로 판단될 때, 상기 격리된 고-휘도 포토-센서가 고정형-노이즈 포토-센서인 것으로 결정하는, 촬상 장치.
6. 제 1 항에 있어서,
   상기 화상 데이터 프레임들이 상기 화상 센서에 의해서 연속적으로 캡쳐되고, 그리고 화상 데이터 교정 회로망을 포함하고, 상기 화상 데이터 교정 회로망은, 각각의 화상 데이터 프레임들 내의 고정형-노이즈 포토-센서들의 각각의 휘도 값으로부터 상응하는 교정량을 차감하도록 구성되고, 그에 따라 고정형 패턴 노이즈 성분이 배제된 교정된 화상 데이터 프레임들을 얻고, 고정형-노이즈 포토-센서에 상응하는 교정량은, 화상 센서로부터 이전에 생성된 복수의 화상 데이터 프레임들 중의 각각의 프레임들에서 고정형-노이즈 포토-센서에 대해서 얻어진 휘도 값들을 기초로 유도되는, 촬상 장치.
7. 제 6 항에 있어서,
   상기 추출 회로망은 교정된 화상 데이터 프레임들을 프로세싱하는 것을 기초로 상기 격리된 고-휘도 픽셀들을 추출하는, 촬상 장치.
8. 제 6 항에 있어서,
   비-휘발성의 재-기록가능 메모리를 포함하고,
   상기 화상 데이터 교정 회로망은,
   상기 고정형-노이즈 포토-센서들의 각각에 대해서, 휘도 이력 데이터를 상기 재-기록가능 메모리 내에 저장하고, 고정형-노이즈 포토-센서의 휘도 이력 데이터는 각각의 화상 데이터 프레임들로부터 상기 고정형-노이즈 포토-센서에 대해서 이전에 얻어진 복수의 휘도 값들을 포함하며, 그리고
   상기 고정형-노이즈 포토-센서에 상응하는 휘도 이력 데이터를 기초로 고정형-노이즈 포토-센서에 상응하는 교정량을 유도하는, 촬상 장치.
9. 제 8 항에 있어서,
   상기 고정형-노이즈 포토-센서들의 각각에 대해서, 상기 화상 데이터 교정 회로망은, 화상 데이터 프레임이 화상 센서에 의해서 새롭게 캡쳐될 때마다, 상기 고정형-노이즈 포토-센서에 상응하는 휘도 이력 데이터를 업데이트하고, 그리고
   상기 업데이트는, 상기 새롭게 캡쳐된 화상 데이터 프레임 내에 포함된, 상기 고정형-노이즈 포토-센서로부터 생성된 휘도 값을 상기 상응하는 휘도 이력 데이터에 부가함으로써, 실행되는, 촬상 장치.
10. 제 9 항에 있어서,
    상기 판단 회로망은, 상기 캡쳐된 화상들이 암흑 시간 중에 캡쳐된 외부 장면의 화상들이 되는 동안에만, 상기 격리된 포토-센서들의 판단을 실행하고; 그리고
    상기 화상 데이터 교정 회로망은, 상기 캡쳐된 화상들이 암흑 시간 중에 캡쳐된 외부 장면의 화상들이 되는 동안에만, 상기 휘도 이력 데이터를 업데이트하는, 촬상 장치.
11. 제 9 항에 있어서,
    상기 고정형-노이즈 포토-센서들의 각각에 대해서, 상기 화상 데이터 교정 회로망은, 가장 최근에 업데이트된 휘도 값을 포함하는, 상기 고정형-노이즈 포토-센서에 상응하는 휘도 이력 데이터로부터의 복수의 휘도 값들을 기초로, 상기 고정형-노이즈 포토-센서에 상응하는 교정량을 유도하는, 촬상 장치.
12. 제 9 항에 있어서,
    상기 고정형-노이즈 포토-센서들의 각각에 대해서, 상기 화상 데이터 교정 회로망은, 상기 고정형-노이즈 포토-센서에 상응하는 휘도 이력 데이터의 휘도 값들의 적어도 일부의 평균 값으로서 상기 고정형-노이즈 포토-센서에 상응하는 교정량을 유도하는, 촬상 장치.
13. 제 6 항에 있어서,
    상기 촬상 장치가 모터 차량 내에 설치되고, 차량 앞쪽 영역의 화상들을 캡쳐하도록 배치되며;
    상기 촬상 장치는, 다른 차량들의 광들이 상기 캡쳐된 화상들 내에서 표현될 때 다른 차량들의 광들을 검출하도록 구성된 차량 광 검출 회로망을 더 포함하고, 상기 검출은 상기 교정된 화상 데이터 프레임들의 콘텐츠를 기초로 실행되고;
    상기 판단 회로망은 상기 차량이 암흑의 시간 중에 동작되는 동안에만 상기 격리된 포토-센서들의 판단을 실행하고; 그리고
    상기 화상 데이터 교정 회로망은 상기 차량이 암흑의 시간 중에 동작되는 동안에만 상기 휘도 이력 데이터를 업데이트 하는, 촬상 장치.
    

Images