KR20180026399A - 정적 오염 감지 및 보정 - Google Patents

Abstract

이미지 결함을 감지하기 위한 방법 및 장치. 이웃하는 화소와 상한 값 및 하한 값 사이의 강도 차이를 비교하고 대응하는 화소 전이 값을 설정함으로써 카메라 이미지의 화소 전이 값은 제 1 방향으로 계산된다. 시간에 대한 저역 통과 필터 및 공간 필터는 화소 전이 값에 적용된다. 잠재적 결함 구역의 화소는 평활화된 화소 전이 값의 크기 값과 미리 결정된 감지 한계 값을 비교함으로써 식별된다.
이미지 결함을 보정하기 위한 방법 및 장치. 카메라 이미지의 화소 몫 값은 제 1 방향에 대해 계산된다. 몫 값은 제 1 방향으로 이웃하는 화소의 강도에 의해 나누어진 화소의 이미지 강도로부터 유도된다. 각각의 화소 몫 값의 중간 값이 계산된다. 화소 감쇠 인자는 행렬 방정식의 반복 해법으로서 얻어져서, 행렬 방정식의 행렬이 중간 값을 포함한다. 보정된 화소 강도는 관찰된 화소 강도를 대응하는 화소 감쇠 인자로 나누어 얻어진다.

Description

정적 오염 감지 및 보정{STATIC SOILING DETECTION AND CORRECTION}

현대의 승용차에는 승용차의 주변 환경을 포착하고 운전 안전과 편의성을 개선하기 위한 다양한 기능을 제공하는 카메라-기반 보조 시스템의 구비가 늘어나고 있다. 이러한 시스템의 기능은 기록된 이미지 데이터의 분석을 기반으로 한다. 따라서 시스템의 예측 품질은 이미지 데이터의 품질과 직접 관련된다.

화질에 영향을 미치고 제어하기 어려운 하나의 요소는 카메라의 광학 시스템의 오염 정도이다. 카메라는 오염의 위험이 적은 장소에 위치 설정될 수 있거나 카메라가 전동 와이퍼로 청소될 수 있다. 이러한 설비에도 불구하고, 광학 시스템의 오염을 완전히 피하는 것은 불가능하다. 따라서, 적절한 동작을 시작하기 위하여 카메라 렌즈상의 먼지 입자를 자동으로 감지하는 것이 제안되어 왔다. 렌즈 오염의 그러한 자동 감지를 위한 일례가 유럽 특허 출원 EP 2351351호에 개시되어 있다.

제 1 양태에서, 본 명세서는 이미지 결함을 감지하기 위한 컴퓨터 구현 방법을 개시한다.

이미지 프레임을 갖는 이미지 데이터는 예를 들어 자동차 데이터 버스를 통해 차량 카메라로부터 수신되고, 이미지 프레임의 제 1 방향으로 이웃하는 화소들 사이의 강도 차이가 미리 결정된 상한 값 및 미리 결정된 하한 값과 비교된다.

제 1 방향은 이미지 프레임의 행에 대응할 수 있다. 또한, 화소 전이 값은 이미지 프레임의 화소 위치에 대해 제 2 방향 또는 y-방향으로 계산될 수도 있다. 이에 의해, 전체 감지 품질이 향상될 수 있고 줄 형상의 결함이 회피될 수 있다. 제 2 방향은 이미지 프레임의 열에 대응할 수 있다.

화소 전이 값은 인접 화소들의 이전에 계산된 강도 차이가 미리 결정된 상한 값보다 클 때 제 1 값으로 설정된다. 화소 전이 값은 강도 차이가 미리 결정된 하한 값보다 작으면 제 2 값으로 설정되고, 화소 전이 값은 강도 차이가 미리 결정된 상한 값과 미리 결정된 하한 값 사이에 있을 때 0으로 설정된다.

특히, 상한 값은 양의 값으로 설정될 수 있고 하한 값은 음의 값으로 설정될 수 있으며, 양 및 음의 값은 동일한 크기를 가질 수 있다. 상한 값 및 하한 값은 또한 동일할 수 있고, 특히 상한 값 및 하한 값은 모두 0 일 수 있다. 제 1 값은 1 또는 양수 상수(a)와 같은 양수 값으로 선택될 수 있으며 제 2 값은 -1과 같은 음수 값 또는 제 1 값의 음수로 선택될 수 있다.

강도 차이가 임계 값들 중 하나와 정확히 동일하면, 각각의 제 1 또는 제 2 값으로 설정될 수 있거나 0으로 설정될 수 있다. 화소 전이 값은 "전이 타입"으로도 지칭된다.

축적된 화소 전이 값은 시간에 대해 저역 통과 필터를 적용함으로써 이미지 프레임의 대응하는 화소 위치의 화소 전이 값으로부터 계산되며, 시간은 프레임 인덱스(frame index)로 표시된다. 일 실시예에서, 저역 통과 필터는 각각의 제 1 및 제 2 방향에 대한 프레임 인덱스(f)에서의 축적 값으로서 계산된다. 축적 값은 선행 프레임 인덱스(f - 1)에서의 축적 값과 선행 프레임 인덱스(f)에서의 화소 전이 값의 가중 합으로 계산된다. 특히, 선행 프레임 인덱스(f - 1)에서의 축적 값의 가중치는 적어도 0.95로 설정될 수 있다. 따라서, 선행 추정에서 주요 기여가 이루어지고 이는 저역 통과 필터를 초래한다.

또한, 축적된 화소 전이 값은 화소 위치에 공간 필터를 적용함으로써, 특히 공간 필터의 컨벌루션(convolution)을 계산함으로써 화소 위치에 대해 평활화된다. 특히, 공간 필터는 0과 1 사이의 필터 계수를 갖는 필터로서, 예를 들어 순환 필터에 의한, 중심점과의 차이의 함수로서 0으로 떨어질 수 있다.

일 실시예에서, 시간에 대한 저역 통과 필터링은 공간 필터링 전에 수행된다. 다른 실시예에서, 공간 필터링은 시간에 대해 저역 통과 필터 전에 수행된다. 제 1의 경우에, 저역 통과 필터는 축적된 화소 전이 값을 얻기 위해 화소 전이 값에 적용되고 공간 필터는 축적된 화소 전이 값에 적용된다. 제 2의 경우에, 공간 필터는 화소 전이 값에 적용되어 평활화된 화소 전이 값을 얻고, 시간에 대한 저역 통과 필터는 평활화된 화소 전이 값에 적용된다.

시간에 대해 축적되고 화소 위치 (x, y)에 대해 평활화된 화소 전이 값은 "평활 및 축적된 화소 전이 값"으로 지칭된다. 이러한 표현은 필터링의 두 시퀀스를 모두 나타낸다.

일 실시예에서, 공간 필터는 필터 계수가 1까지 가산하는 평균화 필터로서 실현된다. 이는 필터가 계단식으로 정의되고, 좌표 (x, y)가 1의 거리를 갖는 경우 필터 기능 하에서 1의 총 용적과 동일하다.

화소 위치들의 크기 값은 화소 위치들의 평활화된 화소 전이 값들에 대해 계산된다. 평활화된 화소 전이 값이 한 방향에 대해서만 계산되는 경우, 크기 값은 모듈러스를 취함으로써 계산될 수 있다.

평활화된 화소 전이 값이 제 1 방향 및 제 2 방향에 대해 계산되는 경우, 각각의 제 1 및 제 2 방향에 대한 제곱 값을 가산함으로써 크기 값이 계산 될 수 있고, 특히 유클리드 표준이라고도 하는 L2 표준으로서 계산될 수 있다. 그 다음, 잠재적인 결함 영역의 화소는 주어진 화소 위치 (x, y)에 대한 크기 값을 미리 결정된 감지 임계 값과 비교함으로써 식별된다.

추가 양태에서, 본 명세서는 이미지 결함들을 보정하기 위한 컴퓨터 구현 방법을 개시한다. 이 방법에 따르면, 이미지 프레임을 갖는 이미지 데이터는 예를 들어 자동차 데이터 버스를 통해 차량 카메라로부터 수신된다.

각각의 화소 위치에 대한 화소 몫 값은 제 1 방향 또는 x- 방향으로 계산된다. 특히, 제 1 방향은 이미지 프레임의 행에 의해 제공될 수 있다. 이미지 보정을 개선하고 줄 형태의 결함을 피하기 위해, 각 화소 위치에 대한 화소 몫 값은 제 2 방향 또는 y- 방향으로 계산될 수도 있다. 특히, 제 2 방향은 이미지 프레임의 열에 의해 제공될 수 있다.

화소 몫 값의 분자는 주어진 화소 위치에서의 이미지 강도를 포함하고, 화소 몫 값의 분모는 각각의 제 1 또는 제 2 방향에서의 이웃하는 화소에서의 이미지 강도를 포함한다. 위치에 인접한 화소를 사용함으로써 상기 방법은 "지역화된" 것이므로 멀리 떨어져 있는 화소 위치로부터 화소를 결합하지 않는다. 이 기능은 선형 방정식 시스템을 위한 희소 행렬에 기여한다.

화소 몫 값의 중간 값은 시간에 대한 각각의 화소 위치에 대해 계산되며, 여기서 시간은 프레임 인덱스에 의해 표현된다. 특히, 중간 값은 실제 중간 값에 근사하는 스트리밍 중간 값으로 계산될 수 있다.

이미지 프레임들의 화소 위치들의 감쇠 인자는 각각의 화소 위치 (x, y)의 감쇠 인자에서 선형 방정식의 시스템에 대한 근사해로서 계산되며, 화소 위치의 감쇠 인자는 벡터로서 표현된다.

선형 방정식의 시스템은 제 1 세트의 선형 방정식을 포함하며, 이 방정식에서 이전에 결정된 중간 값이 각각의 감쇠 인자의 선행 인자로 나타난다. 또한, 선형 방정식 시스템은 대응하는 화소 위치에서 감쇠 인자의 값을 결정하는 제 2 세트의 선형 방정식을 포함한다. 특히, 제 2 세트의 선형 방정식은 이미지 결함을 식별하기 위한 상기의 방법에 의해 결정될 수 있다.

주어진 시간(t)에서 이미지 프레임의 화소에 대한 보정된 화소 강도는 관찰된 화소 강도를 감쇠 인자가 0과 1 사이에 있는 이전에 결정된 감쇠 인자 B(x, y)로 나눔으로써 유도된다.

특정 실시예에서, 화소 몫 값의 중간 값은 프레임 인덱스(f)까지의 화소 몫 값의 스트리밍 중간 값으로서 얻어진다. 스트리밍 중간 값은 선행 프레임 인덱스(f - 1)에 대한 중간 값 추정 및 프레임 인덱스(f)에서의 화소 몫 값으로부터 도출된다.

스트리밍 중간 값은 중간 값의 실제 값과 비슷하다. 현재의 프레임 인덱스 및 화소의 스트리밍 중간 값은 현재의 화소 몫 값이 선행 스트리밍 중간 값보다 큰 경우, 선행 추정치에 미리 결정된 값 "델타(delta)"를 더함으로써 계산된다. 현재 화소 몫 값이 선행 스트리밍 중간 값보다 작으면, 미리 결정된 값 "델타"는 선행 스트리밍 중간 값으로부터 감산된다. 그렇지 않은 경우, 현재 스트리밍 중간 값은 선행 스트리밍 중간 값으로 설정된다.

특히, 상기 선형 방정식 시스템은 근사적으로 반복적인 방법을 사용하여 해결될 수 있다. 다수의 반복 단계는 미리 또는 수렴 속도에 따라 결정될 수 있다.

선형 방정식에서 감쇠 인자의 사전 인자는 구속 행렬의 요소로 정의될 수 있다. 일 실시예에서, 이 방법은 선형 방정식 시스템에 전치된 구속 행렬을 곱하는 단계를 포함한다. 선형 방정식의 결과 시스템은 반복적인 방법을 사용하여 해결된다. 특히, 반복적인 방법은 결과적인 방정식에 의해 정의된 2 차 형태의 최소값을 찾는 데 사용되는 공액 구배 방법에 의해 제공될 수 있다.

또 다른 양태에 따르면, 본 명세서는 예를 들어 집적 회로, ASICS, 데이터 및 컴퓨터 판독 가능 명령 등을 구비한 마이크로프로세서 컴퓨터 판독 가능 메모리를 제공함으로써 이미지 결함을 감지하는 상기의 방법을 수행하기 위한 계산 유닛을 개시한다.

계산 유닛은 이미지 데이터를 수신하기 위한 입력 접속과 감지된 화소의 위치를 출력하기 위한 출력 접속을 포함한다. 양방향 데이터 접속의 경우 출력 및 입력 접속이 일치할 수도 있다. 감지된 화소의 위치는 예를 들어 데이터 구조 등에 대한 포인터를 제공함으로써 메모리 영역에 표시될 수 있다.

계산 유닛은 상기의 결함 감지 방법을 실행하도록 동작하며, 특히, 계산 유닛은 제 1 방향으로 인접한 화소들 사이의 강도 차이를 미리 결정된 상한 값 및 미리 결정된 하한 값과 비교하고, 강도 차이에 따른 화소 전이 값을 설정하도록 동작한다.

계산 유닛은, 화소 전이 값을 강도 차이가 미리 결정된 상한 값보다 크면 제 1 값으로 설정하고, 강도 차이가 미리 결정된 하한 값보다 작으면 제 2 값으로 설정하고, 강도 차이가 미리 결정된 상한 값과 미리 결정된 하한 값 사이에 있을 때 0으로 설정한다.

더욱이, 계산 유닛은 프레임 인덱스 또는 시간에 대해 저역 통과 필터를 적용함으로써 각각의 화소 전이 값의 축적된 화소 전이 값을 계산한다. 계산 유닛은 축적된 화소 전이 값에 공간 필터를 적용함으로써 평활화된 화소 전이 값을 계산하고 이미지 프레임의 화소 위치에 대한 평활화된 화소 전이 값의 크기 값을 계산한다.

계산 유닛은 예를 들어 화소 위치에 대한 참조 또는 감지된 결함의 화소 위치의 좌표를 계산 유닛의 컴퓨터 판독 가능 메모리에 저장함으로써 출력 접속을 통해 감지된 화소를 출력한다.

그 다음에, 계산 유닛은 크기 값을 미리 결정된 감지 임계 값과 비교함으로써 잠재적 결함 영역의 화소를 식별한다.

또한, 본 명세서는 상기 계산 유닛을 구비한 차량 카메라를 개시하며, 차량 카메라는 계산 유닛의 입력 접속부에 연결된다.

추가 양태에서, 본 명세서는 이미지 결함을 보정하기 위한 계산 유닛을 개시한다. 계산 유닛은 이미지 데이터를 수신하기 위한 입력 접속부 및 양방향 데이터 접속을 위해 또한 일치할 수 있는 보정 이미지 프레임을 출력하기 위한 출력 접속부를 포함한다.

계산 유닛은 이미지 결함을 보정하기 위한 상기의 방법을 실행하도록 동작한다. 특히, 계산 유닛은 제 1 방향으로 화소 몫 값을 계산하도록 동작하며, 화소 몫 값은 몫으로부터 유도된다. 몫의 분자는 주어진 화소 위치에서 이미지 강도를 포함하고 분모는 제 1 방향에서 이웃하는 화소에서 이미지 강도를 포함한다.

또한, 계산 유닛은 시간에 대한 화소 몫 값의 중간 값을 계산하고 이미지 프레임의 각 화소 위치의 감쇠 인자를 계산한다. 감쇠 인자는 감쇠 인자의 선형 방정식 시스템에 대한 근사해로서 계산되며, 선형 방정식의 시스템은 제 1 세트의 선형 방정식 및 제 2 세트의 선형 방정식을 포함한다.

제 1 세트의 방정식의 방정식은 제 1 화소 위치에서의 감쇠 인자의 값을 각각의 제 1 또는 제 2 방향에서의 인접하거나 이웃하는 화소 위치에서의 감쇠 인자의 값에 관련시킨다. 제 1 세트의 선형 방정식에서, 중간 값은 감쇠 인자의 사전 인자로 나타난다.

제 2 세트의 선형 방정식은 예를 들어 상기의 결함 감지 방법을 사용함으로써 다른 수단에 의해 공지된 각각의 화소 위치에서의 감쇠 인자의 값을 결정한다.

그 후, 계산 유닛은 관찰된 화소 강도, 또는 수신된 현재 이미지 프레임의 화소 강도를 각각의 화소 위치의 대응하는 감쇠 인자 B(x, y)로 나눔으로써 보정된 화소 강도를 유도한다.

또한, 본 명세서는 이미지 결함들을 보정하기 위한 계산 유닛을 구비한 차량 카메라를 개시하고, 차량 카메라는 계산 유닛의 입력 접속부에 접속된다.

본 명세서의 요지는 다음의 도면들과 관련하여 더 상세하게 설명된다.

도 1은 이미지 오염을 포함하는 차량 카메라의 이미지를 도시하며,
도 2는 도 1의 이미지의 x 방향으로의 화소 변화 측정치를 도시하며,
도 3은 도 1의 이미지의 y 방향으로의 화소 변화 측정치를 도시하며,
도 4는 도 2의 이미지를 원형 필터와의 컨벌루션에 의해 평활화한 결과를 도시하며,
도 5는 도 3의 이미지를 원형 필터와의 컨벌루션에 의해 평활화한 결과를 도시하며,
도 6은 도 4 및 도 5의 어레이로부터 계산된 전체 화소 변화 측정을 도시하고,
도 7은 도 6의 전체 화소 변화 측정을 임계화한 결과를 도시하며,
도 8은 중첩된 합성 블러 마스크(synthetic blur mask)를 갖는 이미지를 도시하며,
도 9는 도 8의 이미지로부터 도출된 보정된 이미지를 도시하며,
도 10은 도 8의 x-방향으로의 화소 변화 측정치(ξ_x)를 도시하며,
도 11은 도 8의 y-방향의 화소 변화 측정치 (ξ_y)를 도시하며,
도 12는 합성 블러 마스크를 도시하며,
도 13은 추정된 블러 마스크를 도시하고,
도 14는 결함이 있는 원본 이미지를 도시하고,
도 15는 보정된 이미지를 도시하며,
도 16은 도 14의 x 방향의 화소 변화 측정치(ξ_x)를 도시하며,
도 17은 도 14의 y-방향의 화소 변화 측정치(ξ_y)를 도시하며,
도 18은 추정된 이미지 감쇠 또는 블러 마스크를 도시하고,
도 19는 본 명세서에 따른 이미지 결함 보정 시스템을 도시한다.

상세한 설명

이하의 설명에서, 본 명세서의 실시예를 설명하기 위해 상세한 설명이 제공된다. 그러나, 실시예가 그러한 세부 사항 없이 실시될 수 있다는 것은 당업자에게 명백할 것이다.

이미징 시스템에서 일반적인 가정은 장면에서 방출되는 방사 휘도가 센서에서 직접 관찰된다는 것이다. 그러나 종종 장면과 이미징 시스템 사이에 물리적 층이나 매체가 있을 수 있다. 예를 들어 차량용 카메라, 소비자용 디지털 카메라의 렌즈 또는 보안 카메라의 전면 창에는 종종 지문, 먼지 및 오물과 같은 다양한 유형의 오염 물질이 축적된다. 또한 카메라를 공격적인 환경에 노출시키면 카메라 렌즈의 돌에 찍힌 자국, 균열 또는 흠집과 같은 광학 경로에 결함이 발생할 수 있다. 더러운 카메라 렌즈로부터의 결함이 도 1에 도시된다.

이러한 결함은 사용자에게 방해가 될 수 있으며 자동 방법에 의한 장면(scene)의 분석을 심각하게 손상시킬 수 있다. 예를 들어, 자동차 분야에서 장면의 잘못된 분석으로 인해 사고가 났을 때 필요한 보안 시스템이 꺼지거나 오작동할 수 있으며, 오 경보 또는 자동 브레이크 오작동과 같이 차량에서 원하지 않는 동작을 유발할 수 있다. 이러한 결함은 잠재적으로 생명을 위협할 수 있는 상황을 유발할 수 있다.

더러운 렌즈에 대한 가능한 예방책 중 하나는 미리 정해진 시간에 렌즈를 청소하는 것이다. 그러나, 많은 자동차 시스템과 같이 많은 카메라 시스템이 자동화되고 종종 검사되지 않기 때문에 그러한 결함을 자동으로 감지하는 방법이 필요하다. 마찬가지로, 이미지 결함을 유발하는 렌즈 손상을 자동으로 감지하는 방법이 필요하다. 렌즈에 문제가 있음을 감지하는 방법은 사람에게 주의가 필요하다거나 작동되지 않는다는 것을 통지하거나 이미지의 특정 부분을 사용할 수 없다는 다음의 방법을 통지하는 것이다.

옥외 보안 카메라, 수중 카메라 또는 자동차 카메라와 같은 애플리케이션 또는 과거에 캡쳐된 비디오와 같이 카메라를 세정 또는 변경하는 것이 실용적이지 않거나 상업적으로 실행 가능하지 않은 경우, 본 명세서에 따른 계산 알고리즘은 먼지나 가볍게 손상된 렌즈로 인한 결함을 인위적으로 제거하여 이미지를 분석하는 방법이 적절히 작동할 수 있도록 하는 이점을 제공할 수 있다.

이미지 복원 및 홀-충전 방법과는 달리, 본 명세서에 따른 알고리즘은 렌즈가 더럽다는 것을 감지하거나 이미지 정보를 직접적으로 복구하기 위한 이미지 형성 프로세스를 위한 계산 모델을 사용하며, 특히 캡처된 이미지에서 부분적으로 가시적인 이미지 포인트들을 사용한다.

먼지 및 렌즈 손상으로 인한 결함 및 장애물로 인한 결함은 장면 방사 휘도가 렌즈 먼지 또는 광 렌즈 손상의 경우 감쇠에 의해 또는 가림의 경우 장애물에 의해 감소되는 이미지 형성 모델을 사용하여 설명될 수 있다. 일반적으로 감쇠는 영향을 받는 영역을 더 어둡게 만드는 경향이 있다. 카메라 디포커스(defocus)로 인해 이 감쇠는 원활하게 변화하고 원래 장면 방사 휘도의 고주파수는 열화된 이미지에서 부분적으로 보존된다.

이는 도 1에서 볼 수 있듯이, 배경의 가장자리가 열화된 이미지에서 부분적으로 여전히 가시적이다.

본 명세서는 이러한 관찰을 이용하는 두 가지 유형의 이미지 보정 방법을 개시한다. 제 1 유형의 방법에 따르면, 렌즈가 감쇠 또는 가림-유형 결함을 포함하는 위치가 감지된다. 제 2 유형의 방법에 따르면, 각 화소에서 이미지가 감쇠되는 양이 감지되고 결함없는 이미지의 추정이 얻어진다. 이 방법들은 자동화 된 방법으로 얻은 일련의 이미지에서 측정된 정보만 사용한다. 이 방법들은 시간 정보를 사용하지만 해법을 얻기 위해 적은 수의 프레임만 필요하다. 본 명세서에 따른 방법들은 이미지가 완전히 상관되지 않는다는 것을 요구하지는 않고, 예를 들어 움직이는 차량에서 예상되는 것과 같은 약간의 움직임만을 요구한다. 이 방법들은 캡처되는 이미지의 통계가 자연스러운 이미지 통계를 따를 때 가장 잘 작동한다.

이 문제를 다루는 문헌에는 몇 가지 방법이 있다. ACM Transactions on Graphics(SIGGRAPH Asia의 회보)(2009년 12월)에서 J. Gu, R. Ramamoorthi, P.N. Belhumeur 및 S.K. Nayar의 참조 문헌 "더러운 카메라 렌즈 및 얇은 물체의 가림으로 인한 이미지 결함의 제거(Removing Image Artifacts Due to Dirty Camera Lenses and Thin Occluders)"에 따른 SIGGRAPH 방법은 이미지 시퀀스의 결함을 감지하고 수정하려고 시도하지만 시간 경과에 따른 평균 이미지 및 평균 이미지 미분 크기의 계산 출력은 결함이 위치되는 것을 제외하고 주로 일정한 값의 이미지 크기의 어레이이다(상기 참조 문헌의 도 6의 b) 및 c) 참조).

이는 이러한 양이 매우 많은 양의 프레임, 즉 오랜 시간 후에만 사용할 수 있으며 장면은 매우 다양하고 관련성이 없어야 한다는 것을 의미한다. 제 1 조건은 긴 감지 시간을 부과하지만, 긴 감지 시간은 전형적으로 전혀 적용 가능하지 않은데, 이는 대부분의 실제 시나리오에서 장면이 항상 동일한 타입의 내용, 예를 들면 자동차 적용의 경우 아래의 도로 및 위의 하늘에 대한 것이기 때문이다. 저자들은 조명이 일반적으로 고르지 않게 분산되어 있음을 인식하고 열등한 품질의 해법을 제안한다.

이미지 복원 및 홀 충전 기술은 결함의 위치를 알고 있다고 가정하고 영향을 받는 영역을 이웃 영역에서 얻은 합성된 추정치로 대체한다. 대조적으로, 본 명세서에 따른 보정 방법은 원래 장면을 복구하기 위해 여전히 부분적으로 액세스 가능한 원래 장면의 정보를 사용한다. 대부분의 경우 결과는 원래의 관찰되지 않은 이미지의 실제 구조에 더 충실하다. 이미지가 완전히 차단된 영역에서는 복원 방법이 사용될 수 있다.

Association for Computing Machinery, Inc.(2007년 6월)의 C. Zhou 및 S. Lin의 참조 문헌 "센서 먼지로 인한 이미지 결함의 제거(Removal of Image Artifacts Due to Sensor Dust)"는 먼저 센서 먼지에 의한 결함 형성의 모델을 형성하고 이어서 이미지 내의 문맥 정보 및 색상 일관성 구속을 이용함으로써 이미지에서 먼지의 출현을 줄이는 방법을 설명한다. 이 방법은 적용 범위가 매우 좁으며(즉, 먼지 입자의 감지), 계산 집약적이고 불안정한 비-볼록 함수(non-convex function)를 최소화한다.

마지막으로, 일부 방법은 고주파수를 거의 포함하지 않는 이미지 영역을 감지한다. 렌즈의 물방울과 방해 먼지는 이러한 효과가 있지만, 결함의 감쇠는 장면으로부터 고주파를 많이 통과시키는 투시도 타입 효과를 나타낸다. 이는 그러한 영역이 감지되지 않는다는 것을 의미한다.

도 1 내지 도 7은 본 명세서의 제 1 실시예에 따른 이미지 감쇠 감지 방법을 예시한다. 도 8 내지 도 18은 본 명세서의 제 2 실시예에 따른 이미지 오염을 보정하는 방법을 예시한다.

도 1 내지 도 18에서, x-방향의 화소 번호는 x-축에 표시되고 y-방향의 화소 번호는 y-축에 표시된다. 도 1 내지 도 18의 이미지의 이미지 포맷은, 약 1280 x 800 화소이다.

제 1 실시예에 따르면, 감쇠 또는 방해 요소에 의해 야기되는 광 경로에 교란이 있는지를 감지하는데 적합한 감지 방법이 개시된다. 감쇠 또는 방해 요소를 설명하기 위한 모델은 다음과 같다.

여기서,

는 결함이 있는 관찰된 이미지이고, 시간 인덱스 "t"라고도 하는 인덱스 "f"는 이미지 프레임을 기록 순서대로 번호 매기기하는 프레임 인덱스이고,

는 원래의 관찰되지 않은 이미지이고, B∈[0,1]은 감쇠 마스크(여기서, 0은 총 장애물을 나타내고, 1은 장애물 없음을 나타냄)를 나타낸다. 강도 "I"는 휘도 값을 나타내지만 RGB 또는 다른 색상 공간에서도 비슷한 처리가 가능하다. 선행 방정식의 수평 도함수를 계산하면 다음과 같다.

여기서, x 및 y는 각각 수평 및 수직 화소 인덱스이고, 화소는 수직 및 수평 방향으로 연속하는 번호이다.

감쇠 마스크에 변화가 없는 경우, 즉

이면,이 방정식은 다음과 같이 된다.

자연적 이미지 통계에 따르면, 화소 강도는 매우 적은 예외를 가지고 대부분의 이미지에서 연속적인 화소들 사이에서 매우 적게 변화한다. 이것은 이미지의 고주파 성분, 즉 대부분의 이미지에 대한 변화를 전송하지 않음으로써 작동하는 JPEG 압축 뒤에 숨겨진 원리이다. 마찬가지로 이미지 복원이나 다른 복구 방법과 같은 다수의 부당한 문제는 "절대 최소 수축 및 선택 연산자"로서도 공지된 lasso 또는 이미지 미분의

표준이 최소화된다는 점을 부과하여 관찰 결과를 대부분의 미분 값이 약 0의 크기를 가지며 단지 몇 가지 예외가 발생하도록 변환시킨다.

각각의 화소 강도 값

가 전형적인 모델인 0 평균 및 약간의 분산을 갖는 정규 분포

에 이어지는 이상적인 값 및 잡음의 추가에 의해 주어지는 것을 고려하면, 자연 이미지의 평활한 변화는 다음과 같이 나타낼 수 있다.

이는

를 암시하고, 이는 특히

의 미분이 거의 동일한 양의 양수 및 음수 값을 갖는 것을 의미한다.

이러한 고려 사항은 발생하는 양 - 음의 전이의 평균 양을 계산하여 이미지의 특정 위치 및 방향에서 B에 변화가 존재함을 감지하는데 사용된다. 예를 들어 20%만큼 양의 또는 음의 전이가 우세하면 B의 값에 변화가 생겨 감쇠가 발생한다. 이는 먼저 전이 유형을 계산함으로써 수행되고,

여기서, T는 임계 값이다. 임계값 T = 0은 도 2 및 도 3을 얻기 위하여 실험 분석에서 이용된다. 보정된 도 9 및 도 15, 도 6 및 도 7의 시간 평균화 전이 크기 및 도 13 및 도 18의 추정된 블러 마스크는 움직이는 카메라로 그리고 몇 프레임 동안 상기 방법을 적용한 후에 얻어졌다.

그런 다음, 시간에 무한 임펄스 응답 (Infinite Impulse Response, IIR) 필터를 사용하여 전이를 축적하고,

여기서, 위 첨자 f 및 아래 첨자 f는 프레임 번호를 나타내고, α는 IIR 필터의 피드백 필터 계수이다.

는 0으로 초기화 될 수 있다.

다수의 프레임 F의 함수로서 α를 결정하는 한 방법은, F 프레임으로 필터링한 후, 양의 감지가 0.95의 값을 얻도록 하는 α의 값을 결정함으로써 주어지며, 이는 다음 식에 의해 주어지는 것으로 나타낼 수 있다.

약 20 초에 해당하는 업데이트 시간에 대해 약 F = 600 프레임을 사용하여 실험 분석에 사용되는 α=0.99의 값에 도달한다.

는

와 유사한 방식으로 계산된다.

및

도 1의 이미지에 대한 어레이

및

를 계산한 결과는 도 2 및 도 3에 각각 도시된다. 도 2 및 도 3에서, 검은 색은 음의 전이를 나타내고, 흰색은 양의 전이를 나타내고 회색은 천이가 없음을 나타낸다.

더러운 렌즈로 인한 감쇠를 감지하는 특정 응용 프로그램에서, 감쇠는 초점을 벗어난다. 이것은 B가 평활하게 변하고 특정 화소에서의 전이가 근처에 있는 화소에서 비슷한 부호의 전이를 동반해야 한다는 것을 의미한다.

단지 평활하게 변화되는 감쇠 맵을 찾기 위하여 상기 방법을 제한하도록,

및

는 계수가 1이 되는 원형 필터(K)로 희미하게 된다(

및

(여기서, *는 컨벌루션을 나타내고, 화살표 좌측의 식은 컨벌루션의 결과를 나타냄)). 원래의 이미지가 도 1에 의해 주어진 경우, 결과적으로 평활화된 어레이

및

의 강도 값은 각각 도 4 및 도 5에 예시한다. 여전히 도 2 및 도 3에 제시되는 분리된 흑백 화소 및 줄 형상 결함은 도 4 및 도 5에서 억제되거나 제거되고, 명암 영역은 더 인접해 있고 더 평활화된 경계를 갖는다.

여기서, "원형 필터"는 공간 차원 x 및 y에 대해 원형으로 대칭인 필터를 지칭한다. 원형 필터에는 예를 들면, 대칭 다변수 가우스 필터 또는 멕시코 모자 모양 필터가 있다. 당연히 이미지 해상도와 카메라 및 필터 속성에 따라 모든 필터 모양 및 유형을 사용할 수 있다.

그러면 화소 위치 (x,y)에서 전이의 전체 크기

는 다음과 같이 x 및 y 방향에 대한 개별 크기의 유클리드 표준으로 계산된다.

일 때 천이가 존재한다. 도 7의 실험 분석에서, 임계 값

가 사용된다. 부호 계산, 많은 화소에 대한 추가(이 경우) 및 임계 값은 견고한 통계 문헌에서 부호 테스트로 표시된다. 도 6은 어레이

의 강도를 도시하고, 도 7은 기록된 이미지가 도 1에 의해 제공될 때 임계 값 어레이

를 도시한다.

도 7은 알고리즘이 더러운 영역을 감지함과 동시에 이미지가 촬영되는 렌즈 테두리 및 자동차 테두리와 같이 강하게 변화하는 강도를 갖는 다른 시간 독립형 피처를 감지함을 도시한다. 자동차 테두리 및 렌즈 테두리와 같은 피처는 항상 이미지에 나타나며 쉽게 식별되고 제거될 수 있다. 반대로, 도 7에 따른 임계화는 또한 먼지, 흠집 등에 의해 영향을 받지 않는 이미지 부분을 식별하는데 사용될 수 있다.

제 2 실시예: 감쇠 보정

본 명세서의 제 2 실시예에 따르면, 감쇠량을 결정하고 결정된 감쇠량에 기초하여 결함없는 이미지의 추정치를 얻는 방법이 개시된다. 이 실시예가 도 8 내지 도 18에 도시되어 있다. 도 8은 문자

를 포함하는 블러 마스크를 갖는 중첩된 인공의 오염물을 갖는 이미지를 도시한다. 도 9는 아래 언급된 이미지 복구 알고리즘에 따라 도 8의 이미지로부터 도출된 복구 이미지를 도시한다. 도 10은 도 8의 x 방향의 화소 변화 측정치

을 도시하고, 도 11은 도 8의 y 방향의 화소 변화 측정치

을 도시한다. 화소 변화 측정치의 계산은 아래에서 더 설명된다.

도 12는 실제 블러 마스크를 도시하고, 도 13은 아래 언급된 방정식 (19)를 풀어서 얻어지는 추정된 블러 마스크를 도시한다. 도 9의 최종 결과는 아래 언급된 방정식 (21)을 풀어서 얻어진다.

도 14 내지 도 18은 인공적인 블러 마스크 대신 원래의 이미지 및 실제 오염물을 이용하여 도 8 내지 도 13과 유사한 결과를 도시한다. 도 14는 원래의 이미지를 도시하고, 도 15는 아래 언급된 이미지 보정 방법을 사용하여 보정된 이미지를 도시한다. 도 16은 도 14의 x 방향의 화소 변화 측정치

를 도시하고, 도 17은 도 14의 y 방향의 화소 변화 측정치

를 도시한다. 도 18은 추정된 블러 마스크 또는 감쇠를 도시한다.

자연 이미지 통계가 유지되고 대부분의 이미지에서 연속 화소들 사이의 화소 강도가 거의 변하지 않는 경우, 예외가 거의 없고 오염되지 않은 이미지의 인접 화소의 강도는 거의 동일하며,

이는 이 화소에서 비제로 (non-zero) 미분이 감쇠 인자 B의 영향에 의해 야기된다는 것을 의미한다. 따라서 미분 방정식은 이 가정이 성립하는 화소에서 다음과 같이 된다.

선행 방정식은 이미지가 평활하게 변하는 위치에서 양

는 비디오 녹화 중 시간 상 일정한 B에만 의존한다는 것을 보여준다. 따라서,

도 시간 상 일정하다.

가 일정하지 않다면 이미지가 부드럽게 변하는 초기 가정이 특정 화소 및 프레임에서 실패하기 때문이다.

자연 이미지 통계에 따르면 이는 자연 이미지에서는 거의 발생하지 않는다. 본 명세서에 따른 방법은 이를 이러한 다른 값을 시간에 대한

의 이상치로 간주함으로써 고려한다.

의 중심 값을 추정하기 위해, 이상치를 다루는 많은 기법을 사용할 수 있지만, 가장 좋은 것은 50%의 고장율을 갖는 견고한 통계치인 중간 값이다.

중간 값의 정의에 따른

의 중간 값의 추정은 다수의 프레임을 저장한 다음 각각의 화소에 대해 위치 (x,y)에서 화소 강도 값을 분류하고 중앙 값을 얻는 것이다. 이는 일반적으로 실행 가능한 해법이 아니다. 본 명세서에 따라 중간값에 대한 근사치는 후술되는 방법에 따라 대신 계산된다.

스트리밍 중간값

1 차원의 수열

을 고려하고, 마지막 관찰치 t, m(t)까지 관찰된 모든 점의 중간 값의 근사치를 추정한다. 그런 다음, 다음 방법에 따라 중간 값의 근사값을 계산할 수 있다. 중간 값 추정치 m(t)의 시작값 m(-1)은 소정의 값(예를 들어, 0)으로 초기화되고, 각각의 새로운 관찰치 p(t)에 대해, 다음을 계산한다.

여기서 Δ는 적절히 선택된 값이고, t는 프레임 인덱스(f)와 같은 시간 인덱스이다. 이 방법은 m의 모든 선행 값이 저장될 필요는 없으며 계산 및 저장 관점에서 볼 때 매우 효율적인 지점 및 관찰마다 비교 및 부가만 수행한다. 또한 t→∞에 따라 m(t)→median({p(0),…,p(t)})이다. 즉, 중간 값 추정치는 t의 충분히 큰 값에 대한 중간 값의 실제 값에 접근한다.

Δ의 값에 관해서, Δ가 너무 작으면, m(t)는 중간 값의 실제 값으로 너무 천천히 향하는 경향이 있게 된다. Δ가 너무 크면, 실제 중간 값을 향하여 빠르게 이동하는 경향이 있지만 너무 많이 진동할 것이다.

실험적으로 얻어진 Δ의 일정한 값이 도 8 내지 도 18의 예시적인 실시예에서 사용되지만, 가능한 접근법은 빠른 수렴을 위해 큰 Δ로 시작한 다음 m(t)가 안정화되면 증가된 정밀도에 대해 작은 Δ로 시작하는 것으로 구성될 수 있다.

순위가 매겨진 데이터 집합을 분석하여 얻은 값의 다른 근사값도 얻을 수 있다.

상향 및 하향 변화를 다르게 함으로써, 다른 근사값이 달성될 수 있다. 예를 들어, 제1사분위수와 제3사분위수는 각각 다음과 같이 계산될 수 있다.

감쇠 인자(B) 추정

감쇠 인자(B)는 시간에 따른

의 중간 값의 근사치

를 추정하기 위해 이전에 계산된 스트리밍 중간 값 방법을 사용하여 추정된다. 이전에 얻은 다음 관계를 이용하면,

결과는 아래와 같다.

상기 방정식은 B의 값이 서로 어떻게 관련되어 있는지를 나타낸다. 유사한 유도가 다음 수직 미분에 대해 보여진다.

여기서,

는 다음의 중간값의 추정이다.

감쇠 또는 장애가 없다고 결정되는 위치에서 B의 일부 값을 1로 설정함으로써, B(x, y)에 대한 구속 방정식의 세트가 얻어지고, 다음이 된다.

화소 위치 (x, y)는 예를 들어 제 1 실시예에 따른 감지 방법을 이용하여 얻어질 수 있다.

방정식 (15), (16) 및 (18)은 아래 방정식을 통한 행렬 형태로 표시될 수 있다.

여기서, b는 차원 (#X×#Y)×1의 열 벡터로 재구성된 어레이 B를 나타내며, 여기서 벡터 b는 B의 각 행을 연속적으로 취하여 형성되고, S는 크기 (#constraints)×(#X×#Y)의 희소 행렬, r은 차원 (#constraints)×1인 열 벡터이다.

구속 "#constraints"의 수는 구속 방정식 (15), (16) 및 (18)의 수와 동일하다. 구속의 수는 B가 공지된 N개의 지점에 대해 대략 (#X-1)*#Y 수평 구속 + (#Y-1)*#X 수직 구속 + N 구속이다.

행렬 S는 방정식 (15), (16) 및 (18)의 구속을 S로 기록함으로써 얻어진다. 각각의 구속은 희소 행렬 S의 행 l에 기입되고, 여기서 값이 할당되지 않은 S의 값은 0의 값을 갖는다. 특히, 행렬 S는 비-제로 계수만을 저장함으로써 컴퓨터 메모리에 효율적으로 저장될 수 있다.

일 실시예에 따라, 행렬 S는 다음과 같이 구성된다. 카운터 변수 l은 값 1로 초기화되고, 추가되는 모든 새로운 구속 조건에 따라 증가하며, 좌표 (x, y)는 (x, y)=(1, 1)로 시작하는 행 단위로 화소 위치를 횡단한다. 방정식 (15)로부터 (x, y)에 대한 구속이 있다면, S의 좌표 (l, (y-1)*#X + x + 1)이 1로 설정되고, 좌표 (l, (y-1)*#X + x)는

로 설정되고, 좌표 (l, 1) 또는 r은 0으로 설정된다. 이 구속 조건을 추가한 후, l은 1 씩 증가된다.

방정식 (16)으로부터 (x, y)에 대한 구속이 있다면, S의 좌표 (l, y*#X + x)는 1로 설정되고, S의 좌표 (l, (y-1)*#X + x)는

로 설정되고, 좌표 (l, 1) 또는 r은 0으로 설정된다. 이 구속 조건을 추가한 후, l은 1씩 증가된다. 방정식(18)로부터 (x, y)에 대한 구속이 있다면, S의 좌표 (l, (y-1)*#X + x)는 1로 설정되고, r의 좌표 (l, 1)는 1로 설정되고, l은 1씩 증가된다. 그런 다음, (x, y)가 다음 값으로 설정되고 절차가 반복된다.

결과적인 방정식 (19)는 일반적으로 과잉 결정될 수 있으며 직접적으로 풀리지 않는다. 대신 방정식 (19)의 양변에 왼쪽에서

를 곱하여 대칭 행렬

을 얻는다. 이 방정식은 최소 제곱근 근사화의 맥락에서 정규 방정식이라고도 한다. 정규 방정식은 반복적인 방법으로 근사적으로 풀어서 벡터 b를 얻는다. 예를 들어, 반복적인 방법은 2 차 형태

을 최소화하는 벡터 b를 근사화하는 공역 구배 방법과 같은 최소 제곱근 해법으로 제공될 수 있다.

어레이 B는 벡터 b를 다시 어레이 형태로 재 형성하여 열 벡터 b로부터 얻는다. 관찰되지 않은 이미지는 관찰된 이미지의 각각의 화소를 그 화소에 대한 추정된 B로 나눔으로써 단순하게 추정되며,

화소 (x, y)에 대해, 0<B(x,y)<1이다. 이에 따라, 감쇠 B(x, y)가 보상될 수 있다.

수정된 실시예에 따라, 필요하지 않은 방정식 (18)의 구속 방정식이 식별되어 행렬 S에 포함되지 않는다. 예를 들어, 알고리즘은 결함의 경계 영역을 식별하고 방정식 (18)과 벡터 b로부터 경계 영역 외측의 지점(x, y)를 배제할 수 있다. 또는 반대로 알고리즘을 사용하여 감쇠가 없는 내부 영역을 식별하고(B = 1), 내부 영역의 지점을 방정식 (18)과 벡터 b에서 제외할 수 있다.

바람직하게는, 적어도 하나의 구속 방정식 (18)이 이미지 프레임들의 각 행에 대해, 그리고 존재한다면, 이미지 프레임들의 각 열에 대해 제공된다. 이에 의해, 하나 이상의 공지된 감쇠 값 B(x, y)는 감쇠가 미리 알려지지 않은 화소 위치에서 방정식 (15) 및 (16)을 사용하여 감쇠를 발견하는데 사용될 수 있다.

도 19는 본 출원에 따른 이미지 결함 보정 시스템(10)을 예시적으로 도시한다. 비디오 버퍼(14)에 연결된 이미지 캡처 유닛(13)에는 비디오 카메라의 센서 표면(12)이 연결된다. 비디오 버퍼(14)에는 결함 감지 유닛(15) 및 결함 보정 유닛(16)이 연결된다. 결함 보정 유닛(16)에는 디스플레이(17)가 연결된다. 점선 에러는 결함 감지 유닛(15)의 출력을 결함 보정 유닛(16)에 대한 입력으로서 선택적으로 사용함을 나타낸다.

또한, 이미지 평가 유닛(19)은 결함 보정 유닛(16)에 연결된다. 브레이크 보조 유닛(20), 주차 보조 유닛(21), 및 교통 표지 감지 유닛(22)과 같은 각종 운전자 보조 유닛이 이미지 평가 유닛(19)에 연결된다. 유닛(20, 21, 및 22)의 출력 데이터를 표시하는 유닛(20, 21, 및 22)에는 디스플레이(18)가 연결된다.

예를 들면 마이크로 프로세서, 집적 회로, ASIC, 데이터 및 컴퓨터 실행 가능 코드를 저장하기 위한 컴퓨터 판독 가능 메모리 등과 같은 계산 수단을 제공함으로써, 결함 감지 유닛(15)은 본 명세서의 제 1 실시예에 따른 결함 감지를 실행하도록 동작하고, 결함 보정 유닛(16)은 본 명세서의 제 2 실시예에 따른 결함 보정 방법을 실행하도록 동작한다.

상기 설명은 많은 특이성을 포함하지만, 이들은 실시예들의 범위를 제한하는 것으로 해석되어서는 안되며, 예측 가능한 실시예들의 설명을 제공하기만 하면 된다. 특히, 실시예의 상기 언급된 장점은 실시예들의 범위를 제한하는 것으로 해석되어서는 안되며, 단지 설명된 실시예들이 실행된다면 가능한 성과들을 설명하기 위한 것이다. 따라서, 실시예들의 범위는 주어진 예들보다는 오히려 청구항들 및 그 등가물들에 의해 결정되어야 한다.

그 중에서도 화소 행렬은 행 단위가 아닌 열 단위로 가로지르며 행렬을 가로지르는 방향이 바뀔 수 있다. 감쇠에 대한 구속 방정식은 다음 화소 (x, y + 1) 또는 (x + 1, y)에 대해 표현되는 대신 선행 화소 (x, y-1) 또는 (x-1, y)에 대해 표현될 수 있다. 이 경우 첫 번째 열 또는 첫 번째 행 각각에 대한 구속 방정식이 없다.

Claims (15)

1. 이미지 결함을 감지하기 위한 방법으로서,
   - 차량 카메라로부터 이미지 프레임을 포함하는 이미지 데이터를 수신하는 단계,
   - 미리 결정된 상한 값 및 미리 결정된 하한 값을 갖는 제 1 방향으로 이웃하는 화소들 사이의 강도 차이들을 비교하는 단계,
   - 상기 강도 차이가 상기 미리 결정된 상한 값보다 클 때 화소 전이 값을 제 1 값으로 설정하고, 상기 강도 차이가 상기 미리 결정된 하한 값보다 작을 때 상기 화소 전이 값을 제 2 값으로 설정하고, 상기 강도 차이가 상기 미리 결정된 상한 값과 상기 미리 결정된 하한 값 사이에 있을 때 상기 화소 전이 값을 0으로 설정하는 단계,
   - 프레임 인덱스에 대해 저역 통과 필터를 적용함으로써 상기 화소 전이 값의 축적된 화소 전이 값을 계산하는 단계,
   - 화소 위치에 대해 공간 필터를 적용함으로써 평활화된 화소 전이 값을 계산하는 단계,
   - 상기 이미지 프레임의 화소 위치에 대한 평활화되고 축적된 화소 전이 값의 크기 값을 계산하는 단계, 및
   - 상기 크기 값과 미리 결정된 감지 한계 값을 비교함으로써 잠재적 결함 구역의 화소를 식별하는 단계를 포함하는, 방법.
2. 제 1 항에 있어서,
   - 제 2 방향으로 이웃하는 화소들 사이의 강도 차이들을 상기 미리 결정된 상한 값 및 상기 미리 결정된 하한 값과 비교하는 단계, 및
   - 상기 강도 차이가 상기 미리 결정된 상한 값보다 클 때 상기 화소 전이 값을 제 1 값으로 설정하고, 상기 강도 차이가 상기 미리 결정된 하한 값보다 작을 때 상기 화소 전이 값을 제 2 값으로 설정하고, 상기 강도 차이가 상기 미리 결정된 상한 값과 상기 미리 결정된 하한 값 사이에 있을 때 상기 화소 전이 값을 0으로 설정하는 단계를 포함하는, 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 저역 통과 필터의 출력 값의 계산은 상기 선행 프레임 인덱스(f - 1)에서 상기 축적된 값 및 상기 선행 프레임 인덱스(f)에서 상기 평활화된 화소 전이 값의 가중 합으로서 각각의 제 1 또는 제 2 방향에 대한 프레임 인덱스(f)에서 축적된 값을 계산하는 단계를 포함하는, 방법.
4. 제 3 항에 있어서,
   상기 선행 프레임 인덱스(f - 1)에서 상기 축적된 값의 가중 인자는 적어도 0.95인, 방법.
5. 이미지 결함을 보정하기 위한 방법으로서,
   - 차량 카메라로부터 이미지 프레임을 포함하는 이미지 데이터를 수신하는 단계,
   - 제 1 방향으로의 화소 몫 값을 계산하는 단계로서, 상기 화소 몫 값은 몫으로부터 유도되고, 상기 몫의 분자는 주어진 화소 위치에서 이미지 강도를 포함하고 상기 분모는 제 1 방향으로 이웃하는 화소에서 이미지 강도를 포함하는, 단계,
   - 시간에 대한 상기 화소 몫 값의 중간 값을 계산하는 단계,
   - 상기 감쇠 인자에서 선형 방정식의 시스템에 대한 근사 해법으로서 화소 위치들의 감쇠 인자를 계산하는 단계로서, 상기 선형 방정식의 시스템은 상기 중간 값이 감쇠 인자의 선행-인자로서 나타나는 제 1 세트의 선형 방정식 및 각각의 화소 위치에서 상기 감쇠 인자의 값을 결정하는 제 2 세트의 선형 방정식을 포함하는, 단계, 및
   - 상기 관찰된 화소 강도를 상기 각각의 화소 위치의 대응하는 감쇠 인자 B(x, y)로 나눔으로써 보정된 화소 강도를 유도하는 단계를 포함하는, 방법.
6. 제 5 항에 있어서,
   제 2 방향으로 화소 몫 값을 계산하는 단계를 포함하고,
   상기 화소 몫 값은 몫으로부터 유도되고, 상기 몫의 분자는 주어진 화소 위치에서 이미지 강도를 포함하고 상기 분모는 제 2 방향으로 이웃하는 화소에서 이미지 강도를 포함하고, 상기 중간 값은 제 1 방향으로 상기 화소 몫 값에 대해 그리고 제 2 방향으로 상기 화소 몫 값에 대해 계산되는, 방법.
7. 제 5 항에 있어서,
   제 2 세트의 선형 방정식을 결정하기 위해 제 1 항 내지 제 4 항 중 어느 한 항에 따른 방법을 이용하는 단계를 포함하는, 방법.
8. 제 4 항 내지 제 6 항 중 어느 한 항에 있어서,
   상기 중간 값은 스트리밍 중간 값으로서 계산되고, 상기 스트리밍 중간 값은 선행 프레임 인덱스(f - 1)에 대한 중간 값 추정 및 프레임 인덱스(f)에서의 화소 몫 값으로부터 유도되는, 방법.
9. 제 8 항에 있어서,
   상기 화소 몫 값이 상기 선행 스트리밍 중간 값보다 큰 경우, 미리 결정된 값 델타를 선행 추정 값에 더함으로써 상기 화소 몫 값이 상기 선행 스트리밍 중간 값 미만인 경우 상기 미리 결정된 값 델타를 차감함으로써 그리고 그렇지 않으면 상기 현 스트리밍 중간 값을 상기 선행 스트리밍 중간 값으로 설정함으로써, 상기 현 프레임 인덱스의 스트리밍 중간 값이 계산되는, 방법.
10. 제 9 항에 있어서,
    상기 감쇠 인자의 선행 인자는 구속 행렬에 의해 정의되고,
    상기 방법은 상기 선형 방정식의 시스템을 전치된 구속 행렬로 곱하는 단계 및 반복적인 방법을 사용하여 선형 방정식의 결과적인 시스템을 푸는 단계를 포함하는, 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램 제품.
12. 이미지 결함을 감지하기 위한 계산 유닛으로서,
    이미지 데이터를 수신하기 위한 입력 접속부, 및
    감지된 화소의 위치를 출력하기 위한 출력 접속부를 포함하고,
    상기 계산 유닛은
    - 제 1 방향으로 이웃하는 화소들 사이의 강도 차이들을 미리 결정된 상한 값 및 미리 결정된 하한 값과 비교하고,
    - 상기 강도 차이가 상기 미리 결정된 상한 값보다 클 때 화소 전이 값을 제 1 값으로 설정하고, 상기 강도 차이가 상기 미리 결정된 하한 값보다 작을 때 상기 화소 전이 값을 제 2 값으로 설정하고, 상기 강도 차이가 상기 미리 결정된 상한 값과 상기 미리 결정된 하한 값 사이에 있을 때 상기 화소 전이 값을 0으로 설정하고,
    - 프레임 인덱스에 대해 저역 통과 필터를 적용함으로써 상기 화소 전이 값의 축적된 화소 전이 값을 계산하고,
    - 화소 위치에 대해 공간 필터를 적용함으로써 평활화된 화소 전이 값을 계산하고,
    - 상기 이미지 프레임의 화소 위치에 대해 상기 평활화되고 축적된 화소 전이 값의 크기 값을 계산하고,
    - 상기 크기 값과 미리 결정된 감지 한계 값을 비교함으로써 잠재적 결함 구역의 화소를 식별하도록 작동되는, 계산 유닛.
13. 제 12 항에 따른 계산 유닛을 구비한 차량 카메라로서,
    상기 차량 카메라는 상기 계산 유닛의 입력 접속부에 연결되는, 차량 카메라.
14. 이미지 결함을 보정하기 위한 계산 유닛으로서,
    이미지 데이터를 수신하기 위한 입력 접속부,
    보정된 이미지 프레임을 출력하기 위한 출력 접속부를 포함하며,
    상기 계산 유닛은
    - 제 1 방향으로의 화소 몫 값을 계산하고,
    상기 화소 몫 값은 몫으로부터 유도되고, 상기 몫의 분자는 주어진 화소 위치에서 이미지 강도를 포함하고 상기 분모는 제 1 방향으로 이웃하는 화소에서 이미지 강도를 포함하고,
    - 시간에 대한 상기 화소 몫 값의 중간 값을 계산하고,
    - 상기 감쇠 인자에서 선형 방정식의 시스템에 대한 근사 해법으로서 화소 위치의 감쇠 인자를 계산하고, 상기 선형 방정식의 시스템은 상기 중간 값이 감쇠 인자의 선행-인자로서 나타나는 제 1 세트의 선형 방정식 및 각각의 화소 위치에서 상기 감쇠 인자의 값을 결정하는 제 2 세트의 선형 방정식을 포함하고,
    - 상기 관찰된 화소 강도를 상기 각각의 화소 위치의 대응하는 감쇠 인자 B(x, y)로 나눔으로써 보정된 화소 강도를 유도하도록 작동되는, 계산 유닛.
15. 제 14 항에 따른 계산 유닛을 구비한 차량 카메라로서,
    상기 차량 카메라는 상기 계산 유닛의 입력 접속부에 연결되는, 차량 카메라.

Images