KR102422075B1 - 이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반한 장면의 고명암비 이미지의 적응형 생성 - Google Patents

Abstract

본 발명은 NDRO 이미지라고 하는 이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반하여 HDR 이미지라고 하는 장면의 고명암비 이미지를 생성하는 것에 관한 것이다. 이런 HDR 이미지 생성 방법은: HDR 이미지에 대한 원하는 품질의 기준의 결정; 적어도 2개의 연속하는 NDRO 이미지를 전달하는 센서의 적어도 2개의 비-파괴적 판독; 원하는 품질의 기준의 함수로서 HDR 이미지를 생성하는데 사용될 첫번째 및 마지막 NDRO 이미지의 선택; 추출된 정보에 기반한 HDR 이미지의 생성을 포함한다.

Description

이미지 센서의 비-파괴적 판독에 의해 획득된 복수의 이미지에 기반한 장면의 고명암비 이미지의 적응형 생성

본 발명의 기술분야는 가령 디지털 카메라(DC), 카메라, 현미경, DC 탑재형 스마트폰 등과 같은 캡처 장치를 사용하는 이미지의 획득에 관한 것이다. 더 상세하게, 본 발명은 고명암비(HDR, high dynamic range) 이미지를 획득하는 방법에 관한 것이다.

특히, 영화, 비디오 감시, 항공 또는 도로 운송, 비-파괴적 검사, 의학 분야 또는 물리학, 천문학과 같은 기초 과학의 분야들에 적용 가능하나 이에 국한되지 않는다.

기존의 이미지 캡처 장치의 성능은 종종 그들의 명암 범위의 협소함에 의해 제한된다. 따라서, 스틸 이미지나 비디오 형태로 캡처되는 장면이 강한 명암비(contrasts)를 가지는 경우, 캡처 장치에 의해 회수되는 이미지는 장면의 매우 밝은 영역 및 장면의 열악하게 비춰진 영역에 대응하여 단지 약간 보이거나 전혀 보이지 않는 세부정보의 어두은 영역에 대응하여 이미지의 픽셀이 포화되는 과도 노출된 영역을 가질 수 있다.

이런 과제를 해결하고 기존의 캡처 장치로부터 HDR 이미지라고 하는 고명암비 이미지를 생성하기 위하여, 서로 다른 노출 시간과 관련되는 LDR(저명암비) 이미지라고 하는 몇몇 종래의 이미지들을 결합하는 것이 고려되어왔다. 따라서, 이미지화될 장면이 동일한 캡처 장치에 의해 서로 다른 노출 시간으로 몇 번씩 촬영된다: 짧은 노출 시간은 이미지의 매우 밝은 영역을 포화시키지 않도록 하고, 긴 노출 시간은 덜 밝은 영역 내 유용한 신호를 감지할 수 있도록 한다. 획득된 서로 다른 LDR 이미지는 이후 처리되어 각각으로부터 최상으로 렌더링된 이미지의 부분들을 추출하며, 이런 서로 다른 부분들이 결합되어 장면의 HDR 이미지를 구성한다.

이런 HDR 이미지 생성 방법은 시간 및 노출 수의 관점에서 수행되는데 비용이 많이 든다. 그 결과, 특히 그 비-실시간 성질로 인해 HDR 비디오 시퀀스를 생성하는데 적합하지 않다.

게다가, 이미지화될 장면이 이동하는 요소를 포함하는 경우, 이들은 서로 다른 캡처된 LDR 이미지에서 서로 다른 위치에 있을 수 있어서, HDR 이미지의 생성 동안 아티팩트(artifacts)가 나타날 수 있다. 이런 고스트 효과(ghost effects)는 HDR 이미지의 재구성 전에 정정될 수 있지만, 처리 전자장치가 복잡하고 비용이 많이 든다. 예를 들어, 이런 아티팩트를 제거하는 알고리즘은 논문 "Suppression de l'artefact de ghost pour la generation de video HDR temps-reel", Compas'2016: Parallelisme/Architecture/Systeme, Lorient, France, July 5 to 8, 2016에서 Mustapha Bouderbane et al.에 의해 기술된다.

이런 온보드 이미지 캡처 장치의 감지기의 진화로 인해 이제는 비-파괴적 판독(Non-Destructive Read Out)(NDRO) 모드로 동작할 수 있다. 이런 동작 모드에서, 감지기의 광전 변환 소자에 의해 축적된 전하는 리셋 없이 판독될 수 있다: 따라서, 센서의 노출 시간 동안 픽셀 신호의 몇몇 판독을 수행하는 것이 가능하면서 광으로의 센서의 노출 효과하에서 전하가 계속 축적되게 할 수 있다.

하나의 노출 시간 동안 센서의 픽셀과 관련된 신호들의 몇몇 판독들을 가능하게 하는 이런 비-파괴적 판독 모드의 사용은 이전의 HDR 이미지 생성 방법의 시간 비용 문제 및 아티팩트의 출현 모두에 대한 흥미로운 솔루션을 제공한다. 실제로 동일한 노출 시간 동안 센서의 비-파괴적 판독에 의해 획득된 몇몇 이미지로부터 장면의 고명암비 이미지를 생성하는 것이 가능하다.

따라서, 특허문헌 US 7,860,938호는 새로운 유형의 이미지 캡처 장치를 제안하는데, 제1 판독기는 표준 노출 시간 이후 각각의 판독 후 픽셀의 신호를 리셋하여 파괴적 판독 모드에서 센서의 광전 변환 소자에 의해 축적되는 전하의 제1 판독을 수행하고, 제2 판독기는 즉 표준 노출 시간보다 더 짧은 서로 다른 짧은 노출 시간과 관련된 몇몇 NDRO 이미지를 획득하도록 비-파괴적 판독 모드로 동작한다. 짧은 노출 시간과 관련된 서로 다른 NDRO 이미지는 표준 노출 시간 동안 이미지화되는 장면의 대응하는 부분들의 과다 노출로 인해 제1 판독기에 의해 획득된 이미지의 어느 픽셀들이 포화될 것인지를 예측하는데 사용된다. 만일 그렇다면, 표준 노출 시간에서 제1 판독기에 의해 획득된 이미지의 포화된 픽셀이 더 짧은 노출 시간과 관련된 NDRO 이미지로부터 추출되는 대응하는 비-포화 픽셀로 대체되는 HDR 이미지가 생성된다.

이전의 기술에 비해 고명암비 이미지를 생성하는데 필요한 시간이 감소해질 수 있다는 점이 흥미롭지만, 그럼에도 이런 방법은 여전히 센서의 다수의 연속적인 비-파괴적 판독이 필요하다는 점과 관련하여 높은 연산 능력의 필요를 포함하는 몇몇 결함을 가진다.

게다가, 이미지의 몇몇 영역의 포화 문제에 대한 흥미로운 솔루션을 제공하는 이런 기술은 약하게 노출된 영역의 문제를 해결해주지 못한다. 실제로, 이런 기술에 따르면, 이미지의 픽셀들이 더 짧은 동등한 노출 시간을 갖는 NDRO 판독으로부터의 동일한 픽셀들에 의해 대체되기 때문에 종래 노출을 통해 포화된 이미지의 픽셀들은 포화도를 저하(desaturated)시킨다; 반면에, 이런 기술은 종래의 노출에 관한 축적에 의해 설정되는 약한 신호에 적응하게 할 수 없다.

따라서, 종래 기술의 이런 다양한 결함 없이 고명암비 이미지를 생성하는 기술이 필요하다. 특히, 시간 및 연산 능력 모두의 관점에서 비용이 덜 드는 기술이 필요하다. 또한, 적응형이고, 강한 신호와 약한 신호 모두에 대해 원하는 최종 명암 및 목표한 최종 이미지 품질에 기반하여 HDR 이미지에서 렌더링되는 장면의 밝기의 관점에서 필요한 NDRO 판독의 수를 자동으로 조정할 수 있는 HDR 이미지를 생성하는 기술이 필요하다.

본 발명은 이미지 센서의 비-파괴적 판독으로 획득되고 NDRO 이미지라고 하는 장면의 복수의 이미지로부터 장면의 고명암비 이미지를 생성하기 위한 방법을 제안함으로써 이런 요구를 만족시킨다. 센서는 매트릭스 형태로 배열된 복수의 픽셀을 포함하고 수신된 광을 전하로 변환하고 광으로의 노출 시간 동안 전하를 축적하게 할 수 있는 광전 변환 소자와 각각 관련된다.

본 발명에 따르면, 이런 방법은:

- 상기 이미지 센서의 제1 비-파괴적 판독으로서, 인덱스 n=0의 제1 현재 NDRO 이미지를 전달하고, 상기 제1 이미지와 관련된 노출 시간과 함께 메모리 영역 내에 상기 제1 이미지를 저장하는 단계;

- 상기 제1 이미지의 각각의 픽셀에 대하여, 상기 픽셀에 의해 축적된 상기 전하에 대응하는 신호 값을 신호 선택 임계치과 비교하고, 상기 픽셀과 관련된 상기 신호 값이 상기 신호 선택 임계치를 초과하는 경우 상기 픽셀을 선택하는 단계;

- 다음의 연속적인 단계의 적어도 하나의 반복으로서, 정수 n에 대하여, n을 1에서 N으로 변화시키는 단계:

- 상기 이미지 센서를 비-파괴적 판독하고, 인덱스 n의 현재 NDRO 이미지를 전달하는 단계;

- 상기 현재 NDRO 이미지에 선행하는 NDRO 이미지에서 이전에 선택되지 않은 인덱스 n의 상기 현재 NDRO 이미지의 각각의 픽셀에 대하여, 상기 픽셀과 관련된 신호 값을 인덱스 n의 상기 현재 NDRO 이미지와 관련된 노출 시간과 조합하여 저장함으로써 상기 메모리 영역을 업데이트하는 단계;

- 인덱스 n의 상기 현재 NDRO 이미지의 각각의 픽셀에 대하여, 상기 픽셀에 의해 축적된 상기 전하에 대응하는 신호 값을 상기 신호 선택 임계치과 비교하고, 상기 픽셀과 관련된 상기 신호 값이 상기 신호 선택 임계치를 초과하는 경우 상기 픽셀을 선택하는 단계;

- 상기 선택된 픽셀과 관련된 상기 신호 값 및 관련하여 저장된 상기 노출 시간으로부터 상기 고명암비 이미지를 생성하는 단계를 포함한다.

따라서, 본 발명은 센서의 픽셀의 비-파괴적 판독에 의해 획득되는 소위 복수의 NDRO 이미지로부터 HDR 이미지를 생성하는 것에 대한 충분히 신규하고 진보한 접근법에 기초하고 있다. 이런 방법은 이미지화될 장면의 특성을 고려하여 행해질 비-파괴적 판독의 수뿐 아니라 그들의 해당 노출 시간을 최적화할 수 있다는 점에서 적응형이다.

실제로, 일실시예에 따르면, 본 발명의 방법은 비-파괴적 판독 모드에서 센서의 판독의 몇몇 반복을 진행하고, 최종 HDR 이미지의 목표한 품질 기준에 기초하여 하나 또는 몇몇 픽셀이 HDR 이미지에 대해 결정되는 품질 기준을 만족하는 제1 NDRO 이미지가 무엇인지를 결정함으로써 HDR 재구성에 필요한 판독의 수를 동적으로 최적화하는 것을 제안한다. 이들 픽셀은 선택되고 고유의 메모리 영역에 저장되어서 센서의 이미지를 구성한다. 각각의 연속하는 NDRO 이미지에 대해, 존재하는 경우 HDR 이미지에 대해 결정된 품질 기준을 만족하는 새로운 픽셀들이 선택되고, 그에 따라 메모리 영역이 업데이트된다. 차례로 선행하는 NDRO 이미지에서 이전에 선택되고 저장된 픽셀의 값은 고정되고, 업데이트되지 않는다. 따라서, 추출되는 NDRO 이미지의 노출 시간과 함께 원하는 품질 기준을 만족하는 픽셀의 값을 연계하여 저장함으로써 센서의 이미지가 점차 구축된다.

더 상세하게, 선택 임계치(Ssei)은 S₀≤S_sei≤S_sat이 되도록 정의되는데, 이때 S₀는 감지기로부터 유래한 최저 이용가능 전자 신호에 해당하는 신호이고(통상, 그 신호의 레벨은 감지기 또는 더 일반적으로 이미징 시스템으로부터의 판독 잡음에 대응한다), S_sat는 (픽셀, 전하 변환 및/또는 증폭 체인 등 감지기의 제1 포화 요소에 의해 부과되는) 센서의 포화 신호이다. 이런 신호 선택 임계치는 NDRO 이미지의 획득의 시작 이전에 정의되고, HDR 재구성에 대한 뷰를 갖는 NDRO 이미지들의 각각의 새로운 시퀀스에 대해 수정될 수 있다. 따라서, 장면의 조명 상태(따라서, 이미지화될 명암)에 최상으로 적응되거나 예컨대 최저 신호의 최종 SNR 또는 노출 시간을 최적화하도록 수정될 수 있다.

픽셀의 신호 값이 이런 선택 임계치에 도달하면, 이 픽셀은 HDR 이미지의 재구성을 위해 선택되고, 추출되는 NDRO 이미지의 노출 시간과 연계하여 저장된다. 그 결과, 선택된 제1 픽셀은 제1 NDRO 이미지를 정의하여 HDR 이미지의 재구성에 사용된다.

따라서, 상황에 따라 특히 이미지화될 장면의 밝기 레벨에 기초하여 수행될 비-파괴적 판독의 수를 조정함으로써 목표한 품질 레벨의 HDR 이미지에 도달한다.

필요한 비-파괴적 판독의 수의 이러한 동적 조정이 각각의 HDR 이미지에 대해 수행되어서, 노출의 수 및 해당 노출 시간이 이미지화될 장면에서 만나는 서로 다른 밝기 레벨에 기초하여 최적화될 수 있다.

게다가, 이런 HDR 이미지 생성 방법은 센서의 이미지에 대응하는 하나의 메모리 영역의 사용에 기초하며, 이미지 센서로부터 비-파괴적 판독에 의해 획득되는 연속하는 이미지들 모두를 저장할 필요가 없어서 필요한 저장 공간 및 저장 공간과 처리 유닛 사이의 대역폭 그리고 HDR 이미지를 생성하는데 필요한 연산 능력 모두의 관점에서 종래기술의 방식에 비해 상당한 공간을 절약할 수 있다. 게다가, 하나의 저장 공간의 이러한 상황에 따른 생성(on-the-fly generation)은 실시간 사용 모드에서 이미지의 수를 늘리는 것을 가능하게 하며, 따라서 이런 수는 물리적 제약 없이 증가되도록 적응되며 따라서 잠재적으로 동적 이미지화된다. 이런 방법으로 인해, 하나의 이미지 평면이 메모리에 유지되고 연속적인 NDRO 판독의 과정에서 해당 노출 시간에 의해 가중되는 픽셀이 점진적으로 업데이트된다.

따라서, 센서의 매트릭스의 묘사가 메모리 영역에 저장되고, 각각의 새롭게 획득된 NDRO 이미지에 대해 다시 업데이트된다. 이 메모리 영역의 각각의 요소는 최종적으로 판독된 NDRO 이미지의 픽셀 각각의 현재 값 또는 이 값이 선행하는 NDRO 이미지에서 신호 선택 임계치에 도달한다면 HDR 이미지의 재구성에 사용될 이런 선행하는 이미지 내 해당 값을 저장한다. 이런 값은 추출될 NDRO 이미지의 노출 시간과 연계하여 저장된다.

본 발명의 이점적인 일태양에 따르면, 상기 고명암비 이미지를 생성하는데 필요한 상기 방법의 단계들은 소정의 순간에 하나의 이미지의 저장을 구현한다. 따라서, 메모리 영역에서, 단지 하나의 이미지만이 고명암비 이미지의 생성 단계의 각각의 순간에 저장된다.

본 발명의 일태양에 따르면, 이런 방법은 상기 고명암비 이미지에 대한 원하는 품질 기준 및 상기 센서에 대한 최대 노출 시간을 결정하는 예비 단계를 포함한다. 이런 센서의 최대 노출 시간은 HDR 이미지를 생성하기 위한 반복적인 프로세스의 종료 시간을 제한하는 것을 가능하게 한다.

본 발명의 일태양에 따르면, 원하는 품질 기준은 고명암비 이미지의 픽셀들의 신호 대 잡음 비이다.

따라서, 이런 HDR 이미지 생성 방법은 미리 설정된 레벨 및 가능한 짧은 HDR 이미지의 획득 시간에서 하기의 수학식 9에 따라 정의된 SNR(신호-대-잡음 비)의 최적화에 기반한다. SNR은 각각의 NDRO 및 이런 기준에 따라 선택된 픽셀에서 최적화된다. 따라서, 최종 SNR은 각각의 개별적인 NDRO에서 선택된 각각의 픽셀에 대하여 특히 선택되었던 최저 신호에 대하여 최적화될 것이고 (또한 미리 설정된 타임아웃(tout) 이전에 최저 신호를 가진 픽셀에 대해 원하는 SNR이 달성되는 한에서) 마지막 NDRO로 이어질 것이다.

이 실시예의 또 다른 태양에 따르면, 인덱스 N의 NDRO 이미지, 즉 HDR 이미지를 생성하는데 사용될 마지막 NDRO 이미지는:

- 모든 픽셀이 상기 신호 선택 임계치 이상의 신호 값과 관련되는 상기 연속하는 NDRO 이미지들 중 제1 이미지; 또는

- 상기 신호 선택 임계치 미만의 신호 값과 관련된 적어도 하나의 픽셀을 포함한다면 상기 센서의 상기 최대 노출 시간과 관련되는 상기 연속하는 NDRO 이미지들 중 마지막 이미지이다.

따라서, 이미지의 모든 픽셀이 신호 선택 임계치 이상의 값에 도달하면, HDR 이미지를 재구성하기 위해 센서의 비-파괴적 판독을 정지시킨다. 반면에, 미리 선택된 최대 노출 시간의 마지막에 그 값이 이런 신호 선택 임계치 미만으로 남아있는 픽셀이 여전히 존재한다면, 그럼에도 센서의 비-파괴적 판독을 중단하여 장면의 조명 상태가 이런 임계치에 도달하게 할 수 없는 경우 노출 시간이 너무 커지거나 무한한 값으로 표류하는 것을 방지한다. 이런 픽셀들에 대하여, HDR 이미지의 재구성 동안 선택된 값은 마지막으로 판독된 NDRO 이미지의 신호 값에 대응한다.

이 실시예의 또 다른 태양에 따르면, 고명암비 이미지의 생성은 센서로부터의 응답에 기초하여 평가된 가중치로 상기 고명암비 이미지의 각각의 픽셀과 관련된 신호 값을 계산하고 해당 노출 시간으로 픽셀들 각각에 대한 상기 메모리 영역에 저장된 신호 값을 계산하는 것을 포함한다.

HDR 이미지의 재구성은 센서로부터 서로 다른 NDRO 판독의 과정에서 추출되는 NDRO 이미지와 관련된 각각의 노출 시간에 의해 가중되고 신호 선택 임계치를 초과하는 값을 가지는 것으로 선택된 각각의 픽셀의 값으로부터 점진적으로 수행될 수 있다.

또 다른 태양에 따르면, 이런 방법은 상기 이미지 센서의 제1 비-파괴적 판독 이전의 이미지 센서의 최소 전하 축적 시간(t_min)의 사전 결정을 더 포함하고,

이런 최소 전하 축적 시간(t_min)은:

인 조건을 만족하며,

t_NDRO는 이미지 센서의 비-파괴적 판독의 연속적인 반복들 중 둘 사이의 시간이고,

S_sat는 이미지 센서의 포화 신호이며,

S₀는 이미지 센서로부터 유래한 최저 이용가능 전자 신호이다.

따라서, 이 시간(t_min)은 시스템의 최소 축적 시간에 해당한다. 따라서, 이 시간은 확실히 이런 방법이 센서의 선형 동작 범위 내를 유지하는 선형 응답 센서를 포함하는 시스템에서 구현되는 경우 임의의 정보 손실을 방지하도록 선택된다.

t_min이 제1 NDRO 이미지의 축적 시간에 해당하고 이어지는 모든 NDRO 판독이 피치(t_NDRO)만큼 규칙적으로 증가하는 축적 시간을 가짐을 고려하면서, 축적 시간(t_min)에 부여된 조건은 제2 NDRO 이미지(t_min + t_NDRO)와 제1 NDRO 이미지(t_min)의 축적 시간의 비가 실질적으로 선형 응답 센서의 명암비(dynamic)와 실질적으로 동일함을 보장하도록 구성된다.

혼합형 선형/대수 응답 이미지 센서를 포함하는 획득 시스템에서 이런 방법의 구현은 최소 축적 시간(t_min)에 부과되는 이런 제약을 제거하게 할 수 있고 이후 그 시간은 시스템 클록 틱으로 감소될 수 있다.

또한, 본 발명은 프로세서에 의해 실행될 때 상술한 바와 같은 방법을 수행하기 위한 프로그램 코드 명령어를 수록한 컴퓨터 프로그램 제품에 관한 것이다.

이런 프로그램은 임의의 프로그래밍 언어를 사용할 수 있고, 가령 일부 컴파일된 형태 또는 임의의 다른 적합한 형태에서 소스 코드, 객체 코드 또는 소스 코드와 객체 코드 사이의 코드 파트웨이(code partway)의 형태일 수 있다.

또한, 본 발명은 상술한 발명에 따른 고명암비 이미지를 생성하는 방법의 단계들을 수행하기 위한 프로그램 코드 명령어를 수록한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체에 관한 것이다.

이런 기록매체는 프로그램을 저장할 수 있는 임의의 엔티티 또는 장치일 수 있다. 예컨대, 매체는 예를 들어 CD-ROM이나 마이크로전자 회로 ROM과 같은 ROM, 하드드라이브와 같은 자기 기록 수단 또는 USB 키와 같은 플래시 메모리와 같은 저장 수단을 포함할 수 있다.

게다가, 이런 기록매체는 전기 또는 광케이블을 통해, 무선으로 또는 다른 수단으로 운반될 수 있는 전기 또는 광 신호와 같은 전송가능 매체일 수 있어서, 이에 포함된 컴퓨터 프로그램이 원격으로 실행 가능하다. 특히, 본 발명에 따른 프로그램은 예컨대 인터넷과 같은 네트워크를 통해 다운로드될 수 있다.

대안으로, 기록매체는 프로그램이 통합되고 상술한 디스플레이 제어 방법을 실행하거나 그 실행에 사용되는데 적합한 집적회로일 수 있다.

또한, 본 발명은 이미지 센서의 비-파괴적 판독으로 획득되고 NDRO 이미지라고 하는 장면의 복수의 이미지로부터 장면의 고명암비 이미지를 생성하기 위한 시스템에 관한 것이다. 이런 센서는 매트릭스 형태로 배열된 복수의 픽셀을 포함하고 수신된 광을 전하로 변환하고 광으로의 노출 시간 동안 전하를 축적하게 할 수 있는 광전 변환 소자와 각각 관련된다. 이런 시스템은 상술한 바와 같은 고명암비 이미지를 생성하는 방법의 단계들을 수행하는데 적합한 컴퓨팅 유닛(프로세서, FPGA 등)을 포함한다.

마지막으로, 본 발명은 이미지 센서의 비-파괴적 판독으로 획득되고 NDRO 이미지라고 하는 장면의 복수의 이미지로부터 장면의 고명암비 이미지를 생성하기 위한 시스템에 관한 것이다. 이런 센서는 매트릭스 형태로 배열된 복수의 픽셀을 포함하고 수신된 광을 전하로 변환하고 광으로의 노출 시간 동안 전하를 축적하게 할 수 있는 광전 변환 소자와 각각 관련되며, 센서는 비-파괴적 판독 모드로 동작하도록 구성된다.

본 발명의 일실시예에 따르면, 이런 시스템은:

- 사용자가 고명암비 이미지에 대한 원하는 품질 기준 및 상기 센서의 최대 노출 시간을 입력하기 위한 인터페이스 모듈;

- 상기 센서에 의해 전달된 복수의 연속적인 NDRO 이미지 중에서 하나의 NDRO 이미지의 각각의 픽셀에 대하여, 상기 픽셀에 의해 축적된 상기 전하에 대응하는 신호 값을 신호 선택 임계치과 비교하고, 상기 픽셀과 관련된 상기 신호 값이 상기 신호 선택 임계치를 초과하는 경우 그리고 상기 픽셀이 상기 복수의 NDRO 이미지 중에서 선행하는 하나의 NDRO 이미지로부터 이전에 선택되지 않았던 경우 상기 픽셀을 선택하도록 구성된 컴퓨팅 유닛(프로세서, FPGA 등);

- 상기 연속적인 NDRO 이미지의 상기 선택된 픽셀과 관련된 신호 값을 상기 NDRO 이미지와 관련된 노출 시간과 연계하여 저장하도록 구성된 메모리;

- 상기 선택된 픽셀과 관련된 상기 신호 값 및 함께 저장된 상기 노출 시간으로부터 상기 고명암비 이미지를 생성하도록 구성된 컴퓨팅 유닛(프로세서, FPGA 등)을 포함한다.

더 일반적으로, 고명암비 이미지를 생성하는 이런 시스템은 모든 구현 및 실시예에 따라 상술한 바와 같은 고명암비 이미지 생성 방법을 구현하는데 필요한 모든 수단을 조합하여 구성된다.

본 발명의 내용 중에 포함되어 있다.

본 발명의 다른 목적, 특징 및 이점은 도면과 관련하여 단순한 설명적이고 비제한적인 예시로 제공되는 다음 설명을 읽을 때 더 명백해질 것이다.
도 1은 이미지 센서의 비파괴 판독에 의해 획득된 복수의 NDRO 이미지로부터 HDR 이미지를 생성하는 적응적 방법의 일실시예를 도시하는 흐름도이다.
도 2 및 3은 도 1에 도시된 방법을 구현하는 HDR 이미지 생성 시스템의 하드웨어 구조의 두 예시를 제안한다.

본 발명의 일반적인 원리는 적응형 방법에 따른 이미지 센서의 비파괴 판독에 의해 획득된 이미지로부터 HDR(high dynamic range) 이미지의 재구성에 기반하며, HDR 이미지의 획득 속도를 실질적으로 향상시키고, 목표로 하는 HDR 이미지의 다이나믹 및 이미징되는 장면의 밝기 파라미터에 기반하여 동적으로 필요한 비파괴 판독의 수를 향상시킬 수 있게 한다.

표기법, 정의 및 원리

본 명세서의 나머지에서, 이미지 획득 시스템의 센서의 픽셀 아래의 광전 변환 소자는 예컨대 CMOS(Complementary Metal Oxide Semiconductor) 기술에 기반하여 만들어진다. COMS 기술은 대부분의 사진 또는 비디오 시스템을 갖추고 있음을 상기할 것이다. CMOS 타입의 이미지 검출기는 소위 비파괴 판독(NDRO) 모드에서 판독되도록 적응되는 이점을 가진다.

비파괴 판독 모드는 센서의 광전 변환 소자 각각에 의해 축적된 전하(따라서 픽셀과 연관된 신호값)를 리셋하지 않고 판독할 수 있게 한다. 다시 말해, NDRO 판독은 누출 동안 검출기 상의 이미지의 형성을 파괴하지 않고 관찰할 수 있게 한다.

“포화”는 센서의 광전 변환 소자 상의 입사광의 양이 검출기의 선형 동작 범위에서 이들 변환 소자가 축적할 수 있는 전하의 최대량을 초과하는 상태를 말한다. 이것은 만약 센서의 선형 범위로 자신을 제한하는 경우 이미지의 대응하는 영역의 과다 노출 현상을 야기한다. 하지만, 일부 센서는 동시에 선형 및 로그 두 응답을 사용할 수 있어, 특히 첫 NDRO의 축적 시간의 선택에 있어 이 제약을 해제할 수 있다.

아래에서 본 명세서의 나머지에서 사용될 몇몇 표기법 및 정의를 제안한다.

● ADU: 아날로그-디지털 변환기의 입력에서 아날로그 신호의 양에 대응하는 아날로그-디지털 단위를 말하며, 출력으로 단위를 전달한다. 따라서, 시스템 게인(예컨대 e-/ADU(ADU당 전자)로 표현)을 알면, 검출기로부터 전자의 양을 결정할 수 있고, 양자 효율을 알면 입사 광자의 양을 결정할 수 있다.

● Q_λ: 시스템의 양자 효율로, 주어진 파장 λ에서, 센서의 광전 변환 소자에 의해 생성되는 전하의 수에 대한 센서에 떨어지는 광자의 수 간의 비율로 정의되며, 이미지 획득 시스템의 전자 판독 시스템에 의한 신호로 사용 가능하다. 전하가 입사 광자로부터 검출기나 센서의 광전 변환 소자에 의해 생성되지만 전체 판독 노이즈에서 다음에 '손실'된다.

● F_max,λ: 주어진 파장 λ에서 최대 입사 광속으로 예컨대 초당 광자로 표현될 수 있다.

● F_min,λ: 주어진 파장 λ에서 최소 입사 광속으로 예컨대 초당 광자로 표현될 수 있다.

● T_timeout: 이미지의 최대 센서 노출 시간으로 초로 표현된다. 이 최대 노출 시간은 임의의 이미지 획득 시간 전에 결정되고, 각 새로운 HDR 이미지 생성 단계마다 조정될 수 있다.

● n_timeout: n번째 NDRO 이미지의 인덱스로, 최대 노출 시간 T_timeout과 동일한 노출 시간과 연관된다.

● T_P: 생성되는 HDR 이미지를 위한 센서의 비파괴 판독이 수행되는 동안의 노출 시간으로, 초로 표현된다. 노출 시간 T_P는 최대 노출 시간 T_timeout보다 작거나 같으며 HDR 이미지의 재구성에 사용되는 마지막 NDRO 이미지의 등가 노출 시간에 대응한다.

● t_min: 이미지 획득 시스템의 최소 축적 시간으로, 센서의 첫 가능한 비파괴 판독까지의 최소 축적 시간에 대응하며, 초로 표현된다.

● t_accu1: HDR 재구성에 유용한 첫 NDRO 이미지까지의 축적 시간이다. 이 시간 t_accu1은 HDR 이미지의 재구성에 사용되는 연속적인 NDRO 이미지 중 첫번째와 연관된 노출 시간에 대응된다.

● t_NDRO: NDRO 이미지의 판독 시간으로, 초로 표현된다.

● S_min: 본 발명의 일실시예에 따라 생성되는 최종 HDR 이미지의 가장 약한 신호이다.

● s_min: 이미지 획득 시스템의 센서의 비파괴 판독에 의해 획득되는 상이한 연속적 NDRO 이미지에서 가장 약한 입사 흐름으로 인한 가장 약한 신호이다.

● S_max: 본 발명의 일실시예에 따라 생성되는 최종 HDR 이미지의 가장 강한 신호이다.

● s_max: 이미지 획득 시스템의 센서의 비파괴 판독에 의해 획득되는 상이한 연속적 NDRO 이미지에서 가장 강한 입사 흐름으로 인한 가장 강한 신호이다.

● S_sat: 센서의 포화 신호이다(검출기의 첫 포화된 요소: 픽셀, 전하 변환 및/또는 증폭 체인 등에 의해 부과됨).

● S₀: 검출기로부터 오는 노이즈를 제외한 가장 약한 사용 가능한 전자 신호에 대응하는 신호이다. 이것은 일반적으로 레벨이 검출기의(또는 더 일반적으로 이미징 시스템의) 판독 노이즈에 대응하는 신호이다.

● S_sel: 이하 서술되는 본 발명의 제2 실시예에 따른 HDR 재구성을 위해 픽셀의 값을 선택하기 위한 신호 선택 임계치이다.

● N_r: 검출기, 또는 더 일반적으로 이미징 시스템의 판독 노이즈이다.

● N_T: 검출기의 열 신호와 연관된 열 노이즈이다(노출 동안 축적됨).

● N_p: 노출 동안 축적된 광 신호와 연관된 광자 노이즈이다. 노이즈 N_r, N_T 및 N_p는 일반적으로 검출기의 출력으로 가져오는 전자로 또는 e-/ADU(ADU당 전자)인 시스템 게인에 대한 지식이 있는 ADU로 표현된다.

●

: 0≤n≤n_timeout일 때, n 랭크인 NDRO 이미지 NDRO_n로부터 오는 센서 매트릭스의 좌표 (i,j)의 픽셀과 연관된 신호값이다.

●

: 0≤n≤n_timeout일 때, n 랭크인 NDRO 이미지 NDRO_n로부터 오는 좌표 (i,j)의 픽셀의 신호 대 잡음 비율이다.

상이한 신호 S_max, s_max, S_min, s_min, S_sat, S_sel, S₀는 연관된 단위 없이 상술되었음을 유의하여야 한다. 사실, 만약 아날로그-디지털 변환 후 보여진다면, ADU 단위로 표현될 것이다. 반대로, 아날로그-디지털 변환 단계 전 고려된다면, 특성을 나타내는 물리적 특성(아날로그)의 단위, 볼트 또는 암페어로 표현될 것이다.

이들 표기법에 기반하여, 생성되는 HDR 이미지의 다이나믹 D는 비율로 표현될 수 있다.

이 때,

따라서 다음 관계를 추론할 수 있다.

및

이 때 인덱스 n₁은 이미지 센서의 비파괴 판독에 의해 획득된 일련의 NDRO 이미지 중 고명암비 이미지 HDR을 생성하는데 사용되는 첫 NDRO 이미지의 인덱스를 지정하고, 인덱스 n₂는 인덱스 n₁인 첫 유용한 이미지로부터 취한 NDRO 이미지의 수를 지정하여, n₁+n₂는 이미지 센서의 비파괴 판독에 의해 획득된 일련의 NDRO 이미지 중 고명암비 이미지 HDR을 생성하는데 사용되는 마지막 NDRO 이미지의 인덱스이다.

이미지 획득 시스템(제1 예시에서 검출기를 가지는)의 다이나믹은 유한하여, 낮은 값에서 가장 높은 노이즈 레벨(S₀)로 및 높은 값에서 시스템의 포화 레벨 S_sat(포화되는 체인의 첫 요소)으로 제한된다. '로우(raw)'(비-HDR) 이미지 상에서 렌더링될 수 있는 입사 광속은 노출 시간 t 동안 통합되어 S₀<Sig<S_sat인 신호 Sig를 도출한다. 이미징되는 장면 및 광 경로의 다이어프램에 의해 설정되는 광속은 선험적으로 변경 불가능하며, 따라서 조정 가능한 파라미터는 HDR 이미지 생성에 사용되는 마지막 NDRO 이미지와 연관된 노출 시간에 대응하는 상이한 노출 시간, 특히 T_P, 따라서 이 HDR 이미지의 노출 시간 및 상술한 바와 같이 HDR 이미지를 생성하는데 사용되는 첫 NDRO 이미지와 연관된 노출 시간에 대응하는 t_accu1이다.

하지만 이들 두 조정 가능한 파라미터는 특정 제한 내에서 조정 가능하고, 즉 다음과 같다.

● t_accu1≥t_min: 사실, HDR 이미지를 생성하는데 사용되는 첫 NDRO 이미지와 연관된 노출 시간은 이미지 획득 시간의 최소 축적 시간보다 작을 수 없다.

●

사실, HDR 이미지와 연관된 노출 시간은 미리 정의된 최대 노출 시간으로 제한된다.

시간 t_min 및 T_timeout은 일련의 HDR 샷에 대해 고정되지만, 이미징되는 장면의 밝기 조건에 더 적합하도록 수정될 수 있음을 유의하여야 한다. 그럼에도 불구하고, T_timeout은 T_timeout 동안 축적된 열 신호와 연관된 노이즈가 검출되는 최소 신호보다 크지 않도록 충분히 '짧아야' 한다. 작동 중 검출기의 온도가 알려지면, 연관된 잡음과 마찬가지로 열 신호(생성, 축적된 후 판독되는 전자/초)를 알 수 있다. 온도의 함수인 열 신호(열 ‘노이즈’로도 불림)는 검출기의 빌더 데이텀이다.

나아가, 본 특허출원의 발명자는 선형 응답 시스템의 임의의 정보 손실을 피하기 위하여 시스템의 최소 축적 시간 t_min으로 특정 추가 제약이 지켜져서, 센서의 선형 작동 범위에서 벗어나지 않아야 함을 확립하였다.

따라서, t_accu1=t_min이고, n번째 NDRO 이미지와 연관된 축적 시간이 t_{accu_n}=t_accu1+((n-1)×t_NDRO), 즉 상이한 연속적 NDRO 이미지와 연관된 축적 시간이 피치 t_NDRO와 교차하는 한계 상황의 경우, 첫번째 및 두번째 유용한 NDRO 이미지의 노출 시간 간에 추가적인 제약이 다음 형태로 지켜져야 한다.

또는

다시 말해, 임의의 정보 손실을 피하기 위해, 선형 응답 센서를 가지는 시스템이 수학식 8의 조건을 만족하는 것이 적절하다. 대안적으로, 시스템 클록의 최소 물리적 시간으로(즉, 1 클릭 틱으로) 획득 시스템의 최소 축적 시간 t_min을 감소시키는 것이 가능한, 첫번째 및 두번째 유용한 NDRO 이미지 간의 상대 축적 시간 문제 t_accu1 및 t_accu2를 해결하는 선형/로그 혼합 응답 센서를 가지는 시스템을 사용하는 것이 가능하다.

일 실시예의 설명

이러한 원리가 상기에서 언급되었으며, 본 발명의 일 실시예에 따라 고명암비(HDR) 이미지를 생성하기 위한 방법의 흐름도를 도 1과 연계하여 설명할 것이다.

그러한 방법은 사진 이미지 또는 동영상을 포함하는 모든 유형의 이미지 획득 시스템에서 구현될 수 있다. 이러한 시스템은 특히 도 2 및 도 3과 관련하여 하기에 보다 상세히 설명된다.

이 실시예에 따르면, 생성의 임의의 순간에 하나의 이미지만 저장하는 최종 HDR 이미지의 재구성을 위해 사용될 픽셀의 값에 대한 실시간 선택이 수행된다.

실제로, (누적 시간(t_min) 이후에 판독이 이루어지는) 제1 판독 NDRO 이미지로부터, HDR 재구성과 관련될 이 제1 NDRO 이미지와 뒤 따르는 NDRO 이미지에서 나오는 픽셀을 결정해야 한다. 실제로, 제n NDRO 이미지에서 나온 픽셀의 값(

)은 최소한 S₀ <

< S_sat인 경우에만 사용될 수 있고, 여기서 S₀는 감지기에서 나오는 가장 약한 사용 가능한 전자 신호에 해당하는 신호(일반적으로, 레벨이 감지기 또는 보다 일반적으로 이미징 시스템의 판독 노이즈에 해당하는 신호)이며, S_sat는 (감지기의 제 1 포화 요소: 픽셀, 전하 변환 및/또는 증폭 체인 등에 의해 부과된) 센서의 포화 신호이다. 본 실시예에서, 또한 사전 설정되어 있는 최대 노출 시간(T_timeout)을 초과하지 않고, 가장 짧은 시간에 사전 설정된 레벨에서 SNR(신호 대 잡음비)을 최적화하고자 한다.

픽셀 값과 관련된 노이즈 값은 픽셀에 누적된 신호 값의 루트로 전개된다. 좌표(i, j)를 갖는 픽셀의 신호 대 잡음비(RSB_i,j)를 최대화하기 위해, 값 P_i,j을 증가시키기 위해, 즉, 노출 시간을 최대화하기 위해, 가능한 한 많은 신호를 누적할 필요가 있다: 실제로, P_i,j는 노출 시간의 함수로 전개되고 잡음도 또한 P_i,j의 루트로 전개되므로 훨씬 덜 빨라진다. 대부분의 경우, 이 함수는 (노광시 입사 광속이 일정하므로) 선형이다. 이는 간단히 가중화함으로써 NDRO 이미지의 직접적인 사용을 가능하게 한다(하기의 수학식 13 참조). 비선형 거동의 경우, 감지기 및/또는 관련 이미징 시스템의 캘리브레이션 동안 각 픽셀에 대한 감지기 (및/또는 이미징 시스템)의 응답 함수를 얻는 것이 필요하다. 각 픽셀에 대한 이러한 응답은 각 픽셀의 값에 가중치를 부여할 수 있게 하여 수학식(수학식 13)에 기술된 선형 이용(linear exploitation)으로 되돌아 갈 수 있다. SNR은 각 NDRO에서 최적화되고 픽셀은 이 기준에 의거해 선택된다. 따라서, 최종 SNR은 각각의 NDRO에서 각각의 선택된 픽셀에 대해, 특히 선택된 가장 약한 신호에 대해 최적화될 것이고 (원하는 SNR이 타임 아웃(t_out) 전에 가장 약한 신호를 갖거나 또한 사전 설정된 픽셀에 대해 도달되는 한) 마지막 NDRO로 유도될 것이다.

도 1에 도시된 바와 같이, 이전 단계(100) 동안, 시스템의 특정 조정 가능한 파라미터의 값을 결정하며, 상기 파라미터는:

- 획득 시스템의 최소 누적 시간(t_min);

- 센서의 최대 노출 시간(T_timeout);

- 피생성 HDR 이미지에 대해, 각 픽셀에 대한 그리고 무엇보다도 가장 약한 신호를 갖는 픽셀에 대한 소정의 신호 대 잡음비(SNR)(수학식 10 참조);

- S_sel < S_sat(및 S_sel > S₀)로 정의되는 단일 선택 임계치 S_sel의 값.

이들 파라미터의 값은 특히 이미지화될 장면의 밝기 조건(광속(光磁束))에 기초하여 설정된다. 따라서, 샷(shot) 획득 전에 설정되는 획득 시스템의 최소 누적 시간은 장면의 강한 광속에서 획득 전에 최적화될 수 있다. 그러나, 선형 응답 센서가 있는 획득 시스템의 경우, 이 최소 누적 시간(t_min)은 센서의 선형 작동 범위 내에 있고 정보의 손실을 피하기 위해 수학식 8:

의 제약을 고려한다. 선형/대수 혼합 응답 센서가 있는 획득 시스템의 경우, 적용 가능하다면, 최소 누적 시간(t_min)을 시스템 클록의 최소 시간으로 줄일 수 있다.

마찬가지로, 신호 선택 임계치(S_sel)는 장면의 조명 조건에 가장 잘 적응하도록, 또는 노출 시간(T_P)을 최적화 및 선호하도록, 또는 가장 약한 신호 등에 대한 최종 SNR을 최적화 및 선호하도록 수정될 수 있다.

참조번호 100으로 표시된 이 이전 단계는 이미지 획득 시스템의 초기화시 구현되어야 한다. 이는 HDR 재구성을 위한 각각의 새로운 이미지 획득시 반복될 수 있다. 대안으로, 여러 개의 연속적인 HDR 이미지 캡처에 대해 동일한 파라미터를 유지할 수 있다. 또한 이러한 파라미터 중 일부는 HDR 샷 획득에서 다음 샷 획득으로 불변인 채로 있는 반면 나머지는 각각의 새 샷 획득시 적용된다.

참조번호 101로 표시된 단계 동안, 센서의 일련의 비파괴 판독이 시작되고, 각각은 인덱스(n)를 갖는 소위 NDRO 이미지를 전달하며, n은 0으로 초기화된다(단계 102).

인덱스 n을 갖는 각각의 현재 NDRO 이미지에 대해, 픽셀 값(

)은 하기 조건이면 최종 HDR 이미지의 재구성에 사용되도록 선택된다:

현재 이미 (NDRO_n)의 픽셀 값(

)과 신호 선택 임계치(S_sel)의 이러한 비교는 단계(103) 동안 행해진다. 조건이 충족되면, 선택된 픽셀은

로 표시된 피추출 이미지(NDRO_n)의 노출 시간과 관련하여 저장된다(단계 104). 그런 다음 참조번호 108인 HDR 이미지를 생성하는 데 사용된다.

(S_sel < S_sat을 검증하면서) S_sel이 더 높을수록, 높은 SNR을 갖는 T_timeout보다 더 짧은 시간에 값이 수학식 11의 조건을 충족하는 더 많은 픽셀들(

)이 있다.

적어도 하나의 픽셀이 수학식 11의 조건을 만족시키는 제 1 NDRO 이미지는 HDR 이미지(108)의 재구성에 사용될 일련의 NDRO 이미지로부터의 제 1 이미지이다.

현재 이미지(NDRO_n)의 어떠한 픽셀도 수학식 11의 조건을 충족하지 않으면, 단계(105) 동안 현재 이미지(NDRO_n)와 관련된 노출 시간(

)이 예비 단계 (100) 동안 결정된 최대 노출 시간에 도달했는지를 검증한다.

그렇지 않은 경우, 현재의 NDRO 이미지의 인덱스는 단계 106(n : = n + 1) 동안 증가되고, 센서의 비파괴 판독이 계속된다.

그러나, 단계(105)의 비교 결과가 양의 값인 경우, 이는 최대 노출 시간(

)과 관련된 NDRO 이미지의 일부 픽셀이 S_sel 미만으로 유지되는 것을 의미한다. 이 경우, 최상의 SNR을 얻을 수 있는 촬영된 n₂ NDRO 이미지 중에 픽셀은 사전 정의된 최대 노출 시간과 관련하여 촬영된 마지막 NDRO 이미지의 픽셀이 된다.

그런 다음, 단계(107) 동안, 최종 임계치(S_sel) 아래에 남아있는 값과 연관된 최대 노출 시간과 관련하여, 이 마지막 유용한 NDRO 이미지의 픽셀 값을 저장한다.

실제로, 센서의 적어도 일부 픽셀들에 대해, 수학식 11의 조건은 노출 시간(T_P)이 끝나기 전에 확인되지 않는 반면에, 마지막 픽셀 값은 노출 시간과 관련하여 (여기서 T_P에 해당하는) 보관되어질 촬영된 마지막 NDRO 이미지에서 나온다.

센서의 비파괴 판독 반복은 센서의 모든 픽셀이 신호 선택 임계치(S_sel)이상인 신호 값에 도달할 때 중단될 수 있다.

따라서, HDR 이미지를 재구성하기 위해 선택된 각 픽셀은 t_min과 T_P 사이에서 찍은 NDRO 이미지 중 하나에서 나온 것으로, 여기서 T_P ≤T_timeout이며, 이는 하기 수학식 12와 같이 값(

)과 노출 시간(

)에 의해 특징된다:

= t_min + ((n - 1)×t_NDRO)

HDR 이미지(108)의 생성은 각각의 노출 시간에 의해 가중화된 단계 104 및 107 동안 저장된 픽셀 값으로부터 수행된다:

획득 시간(t_min)이 수학식 8의 제약을 따르지 않는 경우에, 값

이

가 되도록 하는 최종 HDR 재구성된 이미지의 모든 픽셀들이 관련 정보를 포함하지 않을 것이다.

일 실시예에서, 감지기의 매트릭스의 '이미지'는 메모리에 저장되고, 각각의 새로운 NDRO 이미지가 촬영될 때 다시 업데이트된다. 이 메모리 영역의 각 요소는 해당 노출 시간(

)으로 가중화된 값(

)(마지막 NDRO 이미지 판독의 현재 값)을 저장한다. 이전 NDRO 이미지에서 값이 선택 임계치(S_sel)에 도달한 픽셀들에 대해, 메모리 영역의 요소들은 물론 다시 업데이트되지 않고, 단계(104) 동안 저장된 값으로 고정된 채로 유지된다.

따라서, 단계(101)의 제 1 NDRO 판독 동안, 감지기 매트릭스를 나타내는 메모리 영역은 인덱스(n = 0)를 갖는 제 1 NDRO 이미지의 픽셀 값(

)으로 초기화된다. 그 값이 신호(S_sel)의 선택 임계치를 초과하는 이들 픽셀 값들은 다음의 NDRO 판독 동안 더 이상 업데이트될 수 없이 메모리 영역에 영구적으로 저장된다.

따라서, 고명암비(HDR) 이미지의 재구성은 노출 시간(T_P) 동안 수행된 센서의 상이한 비파괴 판독의 과정에 걸쳐 점진적으로 행해진다.

도 1에 도시된 이 실시예는 (항상 수학식 7의 전제 조건과 함께) 노출 시간의 실시간 적응을 허용한다. 이 실시예는 순간(T_p 및 t_accu1)에 NDRO이미지를 결정할 필요가 없고, 이전에 정의된 최적 값에 도달할 때까지, 각각의 새로운 NDRO 이미지 상에 HDR 이미지를 자체적으로 구축한다. 더욱이, 이 방법은 메모리에 저장된 감지기 매트릭스의 단 하나뿐인 '이미지'만으로 최적으로 작동한다. 메모리에 있는 이 매트릭스는 새로 획득된 각각의 NDRO 이미지에서 다시 업데이트된다. 이 매트릭스의 각 요소는 마지막 판독 NDRO 이미지 또는 n번째 NDRO 동안 현재인지 여부에 상관없이 픽셀의 값을 저장하고, 각각의 노출 시간에 의해 가중화된다.

따라서, 이 방법은 필요한 메모리 공간 및 HDR 이미지를 생성하는 데 필요한 컴퓨팅 용량면에서 특히 이점적이다. 최신 기술의 소정 방법과 달리, 한 번에 여러 NDRO에 액세스할 필요가 없다. 결과적으로, 실시간 HDR 생성 동안, NDRO의 수는 시스템에 의해 제한되지 않는다.

선형/대수 혼합 응답 센서를 갖는 시스템의 경우, 각 픽셀의 값을 가중화하기 위해, 대수 응답 및 선형/대수 전이 영역을 조정하고 따라서 수학식 13에 의해 기술된 선형 이용으로 다시 되돌아가는 원인이 되는 것에 또한 유의해야 할 것이다. 또한, 이 경우에도, 픽셀에 대한 선택 임계치는 센서의 동작 영역에 적합해야한다. 따라서, 처음 두 NDRO 이미지의 경우, 선택 임계치(S_sel)는 S _sel > S _{sat _ lin} 이 되도록하면서 센서 작동의 대수 부분을 사용할 수 있으며, 여기서 S _{sat _ lin} 은 선형/대수 감지기가 선형 응답을 제공하는 최대 신호 레벨이다. 대수 응답에 있기 때문에, 이 때는 더 이상 관련된 최대 포화 한계가 없다. 제2 NDRO 이미지 이상에서, 다음 NDRO 이미지 모두는 센서의 선형 작동 범위에 있는 피치(t_NDRO)만큼 규칙적으로 증가하는 누적 시간 후에 판독된다. 하나는 S _sel ≤ S _{sat _ lin} 을 가지며, 여기서 S _{sat _ lin} 값은 현재 문서에 앞서 언급된 센서의 포화 신호 값(S_sat)와 동일해진다.

HDR 이미지 생성 시스템의 예

도 2 및 도 3과 관련하여, 도 1과 연계해 상술한 방법을 구현하는 HDR 이미지 생성 시스템(200, 300)의 하드웨어 아키텍처의 2가지 예를 설명할 것이다.

도 2 및 도 3에 의해 공유된 요소는 동일한 참조 번호를 가지며, 이하에서 간략히 설명한다.

HDR 이미지(200, 300)를 생성하기 위한 이러한 시스템은 데이터 버스 및 어드레스에 의해 서로 접속되는 다음 요소를 포함한다:

- 예를 들어 마이크로 프로세서, FPGA(Field-Programmable Gate Array), DSP(Digital Signal Processor), GPU(Graphics Processing Unit)일 수 있는 처리 및 디지털 제어 유닛(201, 301);

- 메모리(202, 302);

- 이더넷, USB, 캠 링크 등 타입의 외부 디지털 링크(205, 305)에 의해 프로세서(201, 301)에 연결된 사용자 인터페이스(미도시);

- 매트릭스 형태로 배열된 복수의 픽셀을 포함하고, 각각이 수신된 광을 전하로 변환하고 빛에 대한 노출 시간 동안 이들 전하를 축적할 수 있게 하는 광전변환소자와 관련된 특히 이미지 센서(204, 304)를 포함하는 디지털 처리 모듈(203, 303). 이 센서는 비파괴 판독 모드에서 작동하도록 되어 있다.

이러한 시스템(200, 300)은 또한 통상적으로 본 발명의 일 실시예에 따른 방법의 실행에 필요한 적어도 하나의 프로그램 및 상이한 파라미터를 포함하는 ROM (Read Only Memory) 유형의 메모리를 포함한다. 전원이 켜지면 프로세서는 RAM(Random Access Memory) 유형의 메모리에 프로그램을 로드하고 해당 명령어를 실행한다.

시스템(200, 300)은 또한 예를 들어 배터리 형태의 미도시된 전원을 포함하며, 특히 상이한 전력 신호(214, 314)를 제공한다.

사용자 인터페이스는 사용자가 도 1에서 단계(100) 동안 결정된 파라미터를 선택할 수 있게 한다. 이들은 파라미터가 저장되고 시스템(200, 300)의 다른 요소들에 파라미터를 제공하도록 형성된 모듈(211, 311)("사용자 외부 제어 및 값 해석기")을 제공한다. 이 모듈(211, 311)은 특히 다음을 저장한다:

- 센서의 최대 노출 시간(T_timeout);

- 포화 신호(S_sat); 및

- 최소 신호(S₀).

프로세서(212, 312)는 S₀<S_sel<S_sat가 되도록 포화 신호(S_sat), 최소 신호(S₀) 및 선행 HDR 이미지 획득에서 나온 정보로부터 신호 선택 임계치(S_sel)를 자동으로 계산하도록 구성된다.

센서의 최대 노출 시간(T_timeout)은 또한 아날로그 처리 모듈(203, 303)의 동작에 필요한 상이한 동기 클록 신호를 발생시키고 제어하도록 의도된 클록 발생기 (213, 313)로 보내진다.

메모리 (202, 302)는 각각 도 1의 단계 104 또는 107 동안 선택된 픽셀의 값(

)을 각각 포함하는 다수의 메모리 셀들(i, j)을 포함한다. 각각의 메모리 셀은 또한 이 픽셀 값이 추출되는 현재 NDRO 이미지의 인덱스(n)를 저장한다. 픽셀과 관련된 노출 시간은 n * t_NDRO이다.

센서(204, 304)의 각각의 비-파괴적 판독에서, 후자는 센서의 각각의 픽셀에 의해 축적되는 전하의 값을 나타내는 아날로그 신호를 전달한다.

앞서 도 1에서 도시된 바와 같이, 픽셀의 값(

)은 단순히 레벨 비교(예컨대, 전압 레벨)에 의해 신호 선택 임계치(S_sel)(Threshold Value)에 대하여 테스트된다.

도 2의 예에서, 이런 비교가 비교기(215)를 사용하여 아날로그 방식으로 매우 간단히 수행된다. 증폭(216) 이후, 센서(604)로부터 온 아날로그 신호에 의해 전달되는 픽셀 값은 신호 선택 임계치(S_sel)(Threshold Value) 및 포화 신호(S_sat)(Saturation Value)와 비교된다. 적용 및 아날로그-디지털 변환(217) 이후, 픽셀 값이 선택 임계치(S_sel)을 초과하는 픽셀이 저장되어야 하고, 따라서 버스에 의해 메모리(202)로 전송된다.

이런 간소화로 인해, 이런 아날로그 전처리는 (NDRO 이미지에 의한 이런 HDR 재구성 방식의 적응형 측면에 대하여) 예컨대 픽셀 '클러스터'에 대해 센서 내에 또는 3D-CMOS의 각각의 픽셀 내에 직접적으로, '온칩(On Chip)'으로 직접 통합될 수 있다.

반면에, 도 3의 예에서, 이런 비교는 비교기 모듈(315)에서 디지털 처리 유닛(301) 내 오프로드 방식으로 수행된다. 따라서, 센서(304)에 의해 전달되는 아날로그 신호는 증폭되고 비교기 모듈(315)의 입력에서 공급되기 전에 디지털 신호(모듈(317))로 변환되는데, 비교기 모듈은 각 픽셀과 관련된 디지털 신호 값을 신호 선택 임계치(S_sel) 및 포화 신호(S_sat)(Saturation Value)와 비교하고 메모리(302)에 저장되어야 하는 것을 선택하여 이들이 HDR 이미지를 재구성하는데 사용될 수 있다.

Claims (12)

1. 이미지 센서의 비-파괴적 판독으로 획득되고 NDRO 이미지라고 하는 장면의 복수의 이미지로부터 상기 장면의 고명암비 이미지를 생성하기 위한 방법으로서,
   상기 이미지 센서(204, 304)는 매트릭스 형태로 배열된 복수의 픽셀을 포함하고 수신된 광을 전하로 변환하고 광으로의 노출 시간 동안 전하를 축적하게 할 수 있는 광전 변환 소자와 각각 관련되며,
   - 상기 이미지 센서의 제1 비-파괴적 판독으로서, 인덱스 n=0의 제1 현재 NDRO 이미지를 전달하고, 제1 이미지와 관련된 노출 시간과 함께 메모리 영역 내에 상기 제1 이미지를 저장하는 단계;
   - 상기 제1 이미지의 각각의 픽셀에 대하여, 상기 픽셀에 의해 축적된 상기 전하에 대응하는 신호 값을 신호 선택 임계치과 비교하고, 상기 픽셀과 관련된 상기 신호 값이 상기 신호 선택 임계치를 초과하는 경우 상기 픽셀을 선택하는 단계;
   - 다음의 연속적인 단계의 적어도 하나의 반복으로서, 정수 n에 대하여, n을 1에서 N으로 변화시키는 단계:
   - 상기 이미지 센서를 비-파괴적 판독하고, 인덱스 n의 현재 NDRO 이미지를 전달하는 단계;
   - 상기 현재 NDRO 이미지에 선행하는 NDRO 이미지에서 이전에 선택되지 않은 인덱스 n의 상기 현재 NDRO 이미지의 각각의 픽셀에 대하여, 상기 픽셀과 관련된 신호 값을 인덱스 n의 상기 현재 NDRO 이미지와 관련된 노출 시간과 조합하여 저장함으로써 상기 메모리 영역을 업데이트하는 단계;
   - 인덱스 n의 상기 현재 NDRO 이미지의 각각의 픽셀에 대하여, 상기 픽셀에 의해 축적된 상기 전하에 대응하는 신호 값을 상기 신호 선택 임계치과 비교하고, 상기 픽셀과 관련된 상기 신호 값이 상기 신호 선택 임계치를 초과하는 경우 상기 픽셀을 선택하는 단계;
   - 상기 선택된 픽셀과 관련된 상기 신호 값의 해당 노출 시간으로 가중되고 관련하여 저장된 상기 노출 시간의 저장된 신호 값으로부터 상기 고명암비 이미지를 생성하는 단계(108)를 포함하는 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 방법.
2. 제 1 항에 있어서,
   상기 고명암비 이미지를 생성하는데 필요한 상기 방법의 단계들은 소정의 순간에 하나의 이미지의 저장을 구현하는 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 방법.
3. 제 1 항에 있어서,
   상기 방법은 상기 고명암비 이미지에 대한 원하는 품질 기준 및 상기 이미지 센서에 대한 최대 노출 시간을 결정(100)하는 예비 단계를 포함하는 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 방법.
4. 제 3 항에 있어서,
   상기 원하는 품질 기준은 상기 고명암비 이미지의 픽셀들의 신호 대 잡음 비인 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 방법.
5. 제 3 항에 있어서,
   인덱스 N의 상기 NDRO 이미지는:
   - 모든 픽셀이 상기 신호 선택 임계치 이상의 신호 값과 관련되는 상기 연속하는 NDRO 이미지들 중 제1 이미지; 또는
   - 상기 신호 선택 임계치 미만의 신호 값과 관련된 적어도 하나의 픽셀을 포함한다면 상기 이미지 센서의 상기 최대 노출 시간과 관련된 NDRO 이미지인 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 방법.
6. 제 1 항에 있어서,
   상기 고명암비 이미지를 생성하는 단계(108)는 이미지 센서로부터의 응답에 기초하여 평가된 가중치로 상기 고명암비 이미지의 각각의 픽셀과 관련된 신호 값을 계산하고 상기 해당 노출 시간으로 상기 픽셀의 각각에 대한 상기 메모리 영역에 저장된 상기 신호 값을 계산하는 것을 포함하는 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 방법.
7. 제 1 항에 있어서,
   상기 방법은 상기 이미지 센서의 제1 비-파괴적 판독 이전의 이미지 센서의 최소 전하 축적 시간(t_min)의 사전 결정을 더 포함하고,
   상기 최소 전하 축적 시간(t_min)은:
   

   

   
   인 조건을 만족하며,
   t_NDRO는 상기 이미지 센서의 비-파괴적 판독의 상기 연속적인 반복들 중 둘 사이의 시간이고,
   S_sat는 상기 이미지 센서의 포화 신호이며,
   S₀는 상기 이미지 센서로부터 유래하고 잡음을 제외한 최저 이용가능 전자 신호인 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 방법.
8. 삭제
9. 제 1 항 내지 제 7 항 중 어느 한 항에 따른 고명암비 이미지를 생성하는 방법의 단계를 수행하기 위한 프로그램 코드 명령어를 포함하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체.
10. 이미지 센서의 비-파괴적 판독으로 획득되고 NDRO 이미지라고 하는 장면의 복수의 이미지로부터 상기 장면의 고명암비 이미지를 생성하기 위한 시스템으로서,
    상기 이미지 센서는 매트릭스 형태로 배열된 복수의 픽셀을 포함하고 수신된 광을 전하로 변환하고 광으로의 노출 시간 동안 전하를 축적하게 할 수 있는 광전 변환 소자와 각각 관련되며,
    제 1 항 내지 제 7 항 중 어느 한 항에 따른 고명암비 이미지를 생성하는 방법의 단계를 수행하는 컴퓨팅 유닛을 포함하는 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 시스템.
11. 이미지 센서의 비-파괴적 판독으로 획득되고 NDRO 이미지라고 하는 장면의 복수의 이미지로부터 상기 장면의 고명암비 이미지를 생성하기 위한 시스템(200, 300)으로서,
    상기 이미지 센서는 매트릭스 형태로 배열된 복수의 픽셀을 포함하고 수신된 광을 전하로 변환하고 광으로의 노출 시간 동안 전하를 축적하게 할 수 있는 광전 변환 소자와 각각 관련되며, 상기 이미지 센서는 비-파괴적 판독 모드로 동작하도록 구성되고,
    상기 시스템은:
    - 상기 이미지 센서에 의해 전달된 복수의 연속적인 NDRO 이미지 중에서 하나의 NDRO 이미지의 각각의 픽셀에 대하여, 상기 픽셀에 의해 축적된 상기 전하에 대응하는 신호 값을 신호 선택 임계치과 비교하고, 상기 픽셀과 관련된 상기 신호 값이 상기 신호 선택 임계치를 초과하는 경우 그리고 상기 픽셀이 상기 복수의 NDRO 이미지 중에서 선행하는 하나의 NDRO 이미지로부터 이전에 선택되지 않았던 경우 상기 픽셀을 선택하도록 구성된 컴퓨팅 유닛(201, 301);
    - 상기 연속적인 NDRO 이미지의 상기 선택된 픽셀과 관련된 신호 값을 상기 NDRO 이미지와 관련된 노출 시간과 함께 저장하도록 구성된 메모리(202, 302);
    - 상기 선택된 픽셀과 관련된 상기 신호 값 및 관련하여 저장된 상기 노출 시간으로부터 상기 고명암비 이미지를 생성하도록 구성된 컴퓨팅 유닛을 포함하는 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 시스템(200, 300).
12. 제 11 항에 있어서,
    상기 시스템은 사용자가 상기 고명암비 이미지에 대한 원하는 품질 기준 및 상기 이미지 센서의 최대 노출 시간을 입력하기 위한 인터페이스 모듈(211, 311)을 더 포함하는 것을 특징으로 하는 고명암비 이미지를 생성하기 위한 시스템(200, 300).

Images