KR102619516B1 - 초해상도 이미지를 생성하기 위한 방법 및 관련 디바이스 - Google Patents

Abstract

초해상도 이미지를 생성하기 위한 방법 및 관련 디바이스가 제공된다. 한 양태에서, 이 방법은: 제1 저해상도 이미지 및 제2 저해상도 이미지를 수신하는 단계 - 제1 저해상도 이미지와 제2 저해상도 이미지는 제1 공간 해상도를 가지며 공통 이미지 센서의 한 쌍의 픽셀 어레이에 의해 동시에 캡처되었고, 이미지 센서의 픽셀 어레이는 서브픽셀 증분만큼 서로 대각선으로 시프트되도록 위치함 -; 향상된 제1 저해상도 이미지 및 향상된 제2 저해상도 이미지를 각각 생성하기 위해 제1 저해상도 및 제2 저해상도 이미지들을 적응적으로 향상시키는 단계; 향상된 제1 및 제2 저해상도 이미지 각각의 픽셀들을 제1 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 그리드에 (예를 들어, 불균일하게) 맵핑하여 제1 중간 초해상도 이미지 및 제2 중간 초해상도 이미지를 각각 생성하는 단계; 및 제1 중간 초해상도 이미지와 제2 중간 초해상도 이미지를 결합하여 합성 초해상도 이미지를 생성하는 단계를 포함한다.

Description

초해상도 이미지를 생성하기 위한 방법 및 관련 디바이스

관련 출원 데이터

본 출원은, 참조에 의해 본 명세서에 포함되는, 2019년 3월 25일 출원된 미국 가출원 제62/823,591호의 우선권을 주장한다.

본 개시내용은 이미지 처리에 관한 것으로, 더 구체적으로는, 공간 해상도 향상을 위한 방법 및 디바이스에 관한 것이며, 더 구체적으로는, 초해상도 이미지를 생성하기 위한 방법 및 관련 디바이스에 관한 것이다.

라인 스캔 카메라는 객체를 가로질러 촬영하는 하나 이상의 픽셀 라인을 갖는다. 라인 스캔 카메라는, 카메라 또는 객체를 픽셀 라인에 수직으로 이동하고, 각각의 위치에서 라인을 캡처하고, 라인들을 결합함으로써 객체의 2차원 이미지를 생성하는데 이용될 수 있다.

라인 스캔 카메라를 통한 이미지의 취득 및 분석은, 프로세스를 제어하거나 평가하기 위한 소정의 메트릭을 결정하기 위해 머신 비전 응용에 의해 수행된다. 더 정밀한 분석을 위해 추가 상세사항이 유용하거나 필요할 수 있으므로, 고해상도 이미지는 라인 스캔 카메라를 위한 대부분의 머신 비전 응용에서 바람직하다. 그러나, 이러한 작업에 요구되는 고정밀 광학소자 및 이미지 센서의 비용은 종종 엄청나게 비싸다.

공간 해상도를 증가시키기 위한 한 가지 접근법은, 센서 픽셀 크기를 감소시킴으로써, 이미지 감지 회로와 이미지 처리 회로가 형성되는 (칩 크기라고도 하는) 다이의 크기를 변경하지 않고도, 단위 면적당 픽셀 수를 증가시키는 것이다. 캡처될 수 있는 광의 양은 감소한다. 이것은, 다른 단점들 중에서도 특히, 감소된 감도 감소 등의, 증가된 노이즈로 이어진다. 또 다른 접근법은 동일한 신호 대 잡음비를 유지하면서 공간 해상도를 증가시켜 칩 크기를 증가시키는 것이다. 그러나, 칩 크기를 증가시키는 것은 커패시턴스도 증가시킨다. 이것은, CCD(charge-coupled device)에서 전하 패킷의 전하 전송 속도를 가속하는 것 등의 추가 어려움을 유발하여 디바이스의 속도를 제한할 수 있다.

전술된 문제점에 비추어, 적어도 전술된 문제점 중 일부를 해결하기 위해 소프트웨어 기반의 이미지 처리 기술에 대한 의존도가 증가되어 왔다. 초해상도라고 알려진 한 가지 접근법은, 종종 이미지 캡처 디바이스로부터 생성된 복수의 언더샘플링된 저해상도 이미지에 포함된 정보를 결합함으로써, 이미지 캡처 디바이스 고유의 해상도를 넘어 이미지의 해상도를 향상시키는 것을 말한다. 현재, 공간 영역과 주파수 영역 양쪽 모두에서, 많은 초해상도 향상 알고리즘은 동일한 장면의 3개 이상의 서브픽셀 시프트된 저해상도 이미지로부터의 정보를 결합하는 것에 의존한다. 이러한 알고리즘에서, 복수의 저해상도 이미지들 사이의 움직임 추정, 확산 픽셀을 불균일하게 보간하기 위한 수학적 모델 구축, 저해상도 이미지들 사이의 앨리어싱 관계 특성규정, 반복적 역투사 등의 단계들에 종종 초점이 맞추어져 있다. 기존 알고리즘은 종종 복잡하고 상당한 처리 능력과 시간을 요구할 수 있어서, 라인 스캔 속도를 감소시킬 수 있다. 더욱이, 적어도 3개 이상의 저해상도 이미지를 요구함으로써, 임의의 이러한 알고리즘은, 특히 라인 스캔 카메라 응용에 대해 비용-효율적이지 않을 수 있다.

본 개시내용은 이미지 공간 해상도 향상을 위한 방법을 제공한다. 본 개시내용의 방법에 따르면, 한 쌍의 저해상도 이미지로부터 초해상도 이미지가 생성된다. 본 개시내용의 방법은 초해상도 이미지를 생성하는 기존 솔루션의 단점들 중 일부를 적어도 부분적으로 극복할 수 있다고 믿어진다. 예를 들어, 본 개시내용의 방법은 덜 엄격한 촬영 광학소자 또는 감지 하드웨어 요건으로 초해상도 이미지를 생성하기 위한 비교적 저비용의 효율적인 방식을 제공할 수 있다. 예를 들어, 이전에는 초해상도 이미지 생성에 이용될 수 없었던 기존의 많은 저해상도 이미지 시스템이 초해상도 이미지 생성을 위해 본 개시내용의 방법을 이용할 수 있을 것이다. 추가로, 더 적은 수의 저해상도 이미지의 이용은 덜 계산 집약적이어서, 결과적으로 더 높은 처리 속도와 처리량으로 이어진다. 또한, 본 개시내용의 방법은 촬영 디바이스의 해상력을 개선할 수 있고 적어도 일부의 라인 스캔 카메라 응용에 대해서 경쟁 제품에 비해 상당한 가치 이점을 제공할 잠재력을 갖는다.

본 개시내용은, 이미지 취득 디바이스에 의해 취득된 2개의 저해상도 이미지로부터 초해상도 이미지를 생성하는 방법, 및 관련 디바이스를 제공한다. 2개의 저해상도 이미지는 절반 픽셀 증분만큼 대각선으로 픽셀-시프트된다. 2개의 저해상도 이미지를 결합하기 전에, 2개의 저해상도 이미지 각각은 적응적으로 향상되고 각각의 저해상도 이미지에 대한 엣지 데이터가 추출되어 보존된다. 2개의 향상된 저해상도 이미지의 픽셀은 저해상도 이미지의 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 이미지의 그리드에 (예를 들어, 불균일하게) 맵핑된다. 맵핑된 이미지는, 합성 초해상도 이미지 내의 픽셀이 고유한 강도 값을 포함하도록 합성 초해상도 이미지를 생성하기 위해, 예를 들어 쌍선형 스태킹(bilinear stacking)에 의해 결합되는 중간 초해상도 이미지이다. 보존된 엣지 데이터/정보가 분석되어 콘트라스트 향상의 양을 국소적으로 식별하고 적절한 양의 엣지 정보가 결합된 이미지에 적용되어 초해상도 이미지를 생성한다.

본 개시내용의 방법은 유리하게도 공지된 알고리즘들 중 일부에 의해 요구되는 움직임 추정에 대한 필요성을 제거한다. 공간 해상도 향상은, 결합되기 전에 저해상도 이미지들을 적응적으로 향상시킴으로써 적어도 부분적으로 달성될 수 있다. 또한, 저해상도 이미지의 픽셀은, 결합된 그리드 상의 어떠한 픽셀도 동일한 강도 값을 포함하지 않도록 초해상도 그리드에 (예를 들어, 불균일하게) 맵핑된다. 더욱이, 저해상도 이미지가 향상되거나 결합되기 전의 엣지 정보의 보존은 국소 콘트라스트를 향상시키기 위한 엣지 정보의 이용을 허용한다. 마지막으로, 본 개시내용의 방법은 본 기술분야에서 일반적인 보간 방법의 단점을 피한다.

생성된 초해상도 이미지는, 초해상도 이미지를 구성하는데 이용된 저해상도 이미지와 동일한 해상도의 높은 변조 전달 함수(MTF), 저해상도 이미지(고선명도, 저해상도 이미지 또는 고정확도, 저해상도 이미지라고도 함)를 생성하는데 이용될 수 있다.

고선명도, 저해상도 이미지를 생성하기 위한 방법은 대각선 픽셀 시프트를 고려하고 생성된 초해상도 이미지를 지능적으로 다운샘플링하여, 초해상도 이미지를 구성하는데 이용된 저해상도 이미지와 동일한 해상도이지만 개선된 MTF를 갖는 출력을 제공할 수 있다. 생성된 이미지는 유리하게는 저장 메모리를 덜 차지하면서 여전히 개선된 콘트라스트를 유지할 수 있다.

본 개시내용의 한 양태에 따르면, 초해상도 이미지를 생성하는 방법이 제공되고, 이 방법은: 동일한 장면의 제1 저해상도 이미지 및 제2 저해상도 이미지를 수신하는 단계 - 제1 저해상도 이미지와 제2 저해상도 이미지는 제1 공간 해상도를 가지며 공통 이미지 센서의 한 쌍의 픽셀 어레이에 의해 동시에 캡처되었고, 이미지 센서의 픽셀 어레이는 서브픽셀 증분만큼 서로 대각선으로 시프트되도록 위치함 -; 제1 저해상도 이미지 및 제2 저해상도 이미지를 적응적으로 향상시켜 각각 향상된 제1 저해상도 이미지 및 향상된 제2 저해상도 이미지를 생성하는 단계; 향상된 제1 및 제2 저해상도 이미지 각각의 픽셀들을 제1 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 그리드에 맵핑하여 각각 제1 중간 초해상도 이미지 및 제2 중간 초해상도 이미지를 생성하는 단계; 및 상기 제1 중간 초해상도 이미지와 제2 중간 초해상도 이미지를 결합하여 합성 초해상도 이미지를 생성하는 단계를 포함한다. 이 방법은 아래에 설명된 바와 같이 향상된 엣지 정보로 합성 초해상도 이미지의 콘트라스트를 향상시키는 단계를 더 포함할 수 있다. 이 방법은, 촬영 시스템이, 동일한 픽셀 크기, 동일한 칩 크기, 동일한 신호 대 잡음비 및 동일한 응답도에서 향상된 MTF로 이미지 센서의 기본 해상도의 2배를 달성할 수 있게 한다.

상기의 일부 또는 전부에서, 서브픽셀 증분은 절반 픽셀이다.

상기의 일부 또는 전부에서, 초해상도 그리드의 공간 해상도는 제1 저해상도 및 제2 저해상도 이미지의 제1 공간 해상도의 2배이다.

상기의 일부 또는 전부에서, 이 방법은: 콘트라스트 향상을 위해 합성 초해상도 이미지에서 픽셀을 식별하는 단계; 콘트라스트 향상을 위해 식별된 각각의 픽셀에 대한 콘트라스트 향상의 양을 결정하는 단계; 및 콘트라스트 향상을 위해 식별된 각각의 픽셀에 결정된 콘트라스트 향상의 양을 적용하여 콘트라스트 복구된 초해상도 이미지를 생성하는 단계를 포함한다.

상기의 일부 또는 전부에서, 이 방법은: 제1 저해상도 이미지로부터 제1 엣지 정보를 추출하고 제2 저해상도 이미지로부터 제2 엣지 정보를 추출하는 단계; 제1 엣지 정보 및 제2 엣지 정보의 픽셀들을 제1 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 그리드에 맵핑하여 각각 제1 초해상도 엣지 정보 및 제2 초해상도 엣지 정보를 생성하는 단계; 제1 초해상도 엣지 정보 및 제2 초해상도 엣지 정보를 적응적으로 향상시키고 결합하여 향상된 초해상도 엣지 정보 그리드를 생성하는 단계; 및 콘트라스트 복구된 초해상도 이미지를 생성하기 위해 합성 초해상도 이미지를 향상된 초해상도 엣지 정보 그리드로 향상시키는 단계를 포함한다.

상기의 일부 또는 전부에서, 엣지 검출 알고리즘은 제1 저해상도 이미지로부터 제1 엣지 정보를 추출하고 제2 저해상도 이미지로부터 제2 엣지 정보를 추출하는데 이용된다.

상기의 일부 또는 전부에서, 엣지 검출 알고리즘은 Sobel 필터를 포함한다.

상기의 일부 또는 전부에서, 향상된 초해상도 엣지 정보로 합성 초해상도 이미지를 향상시키는 단계는: 제1 초해상도 엣지 정보 및 제2 초해상도 엣지 정보에서 공간 대응하는 픽셀들의 각각의 쌍에 대해: 쌍의 양쪽 픽셀이 양의 값을 갖는다는 결정에 응답하여 향상된 초해상도 엣지 정보 그리드의 공간 대응하는 값을 공간 대응하는 픽셀들의 쌍의 값들 중 최대값으로 설정하는 단계; 쌍의 양쪽 픽셀이 음의 값을 갖는다는 결정에 응답하여 향상된 초해상도 엣지 정보 그리드의 공간 대응하는 값을 공간 대응하는 픽셀들의 쌍의 값들 중 최소값으로 설정하는 단계; 쌍의 픽셀들 중 하나가 양의 값을 갖고 상기 쌍의 픽셀들 중 하나가 음의 값을 갖는다는 결정에 응답하여 상기 향상된 초해상도 엣지 정보 그리드의 공간 대응하는 값을 상기 공간 대응하는 픽셀들의 쌍의 값들의 평균값으로 설정하는 단계; 및 합성 초해상도 이미지를 향상된 초해상도 엣지 정보 그리드와 결합하는 단계를 포함한다.

상기의 일부 또는 전부에서, 제1 저해상도 및 제2 저해상도 이미지를 적응적으로 향상시키는 단계는: 제1 저해상도 이미지로부터 제1 엣지 정보를 추출하고, 제2 저해상도 이미지로부터 제2 엣지 정보를 추출하는 단계; 제1 저해상도 이미지 또는 제2 저해상도 이미지의 각각의 픽셀에 대해: 제1 엣지 정보 또는 제2 엣지 정보를 이용하여, 제1 또는 제2 저해상도 이미지의 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 그 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값 및 최소값을 결정하는 단계; 및 향상된 픽셀이 최대값보다 크거나 최소값보다 작은 초기값을 갖는다는 결정에 응답하여 제1 또는 제2 저해상도 이미지의 픽셀에 대한 값을 향상시키는 단계를 포함한다.

상기의 일부 또는 전부에서, 제1 또는 제2 저해상도 이미지의 픽셀에 대한 값은 노이즈 감소 및 후광 억제를 위해 구성된 비선명 마스크(unsharp mask)를 추가함으로써 향상된다.

상기의 일부 또는 전부에서, 제1 저해상도 및 제2 저해상도 이미지를 적응적으로 향상시키는 단계는: 제1 저해상도 이미지로부터 제1 엣지 정보를 추출하고, 제2 저해상도 이미지로부터 제2 엣지 정보를 추출하는 단계; 제1 저해상도 이미지 및 제2 저해상도 이미지에 평활화 알고리즘을 적용하는 단계; 제1 및 제2 저해상도 이미지와 평활화된 제1 저해상도 이미지 및 제2 저해상도 이미지에 기초하여 제1 저해상도 이미지 및 제2 저해상도 이미지 각각에 대한 비선명 마스크를 생성하는 단계 - 비선명 마스크는 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지의 제1 공간 해상도와 동일한 공간 해상도를 가짐 -; 제1 또는 제2 저해상도 이미지에 비선명 마스크를 추가함으로써 향상된 이미지를 초기화하는 단계; 제1 저해상도 이미지 및 제2 저해상도 이미지의 각각의 픽셀에 대해: 제1 엣지 정보 또는 제2 엣지 정보를 이용하여, 제1 또는 제2 저해상도 이미지의 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 그 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값과 최소값을 결정하는 단계, 픽셀이 최대값과 최소값 사이의 값을 갖고 있는지 및 향상된 저해상도 이미지 내의 대응하는 픽셀의 값이 최대값보다 크거나 최소값보다 작은지를 결정하는 단계, 픽셀이 최대값과 최소값 사이의 값을 가지고 있으며 향상된 저해상도 이미지 내의 대응하는 픽셀이 최대값과 최소값을 초과하는 값을 가지고 있다는 결정에 응답하여 제1 또는 제2 저해상도 이미지의 픽셀에 대응하는 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키는 단계, 향상된 저해상도 이미지의 픽셀의 값을 비선명 마스크의 픽셀의 향상된 값과 저해상도 이미지의 픽셀의 값의 합으로 대체하는 단계를 포함한다.

상기의 일부 또는 전부에서, 제1 저해상도 이미지 및 제2 저해상도 이미지 각각에 대한 비선명 마스크를 생성하는 단계는: 각각 제1 또는 제2 저해상도 이미지와 평활화된 제1 또는 제2 저해상도 이미지 사이의 차이로서 비선명 마스크를 초기화하는 단계; 비선명 마스크의 각각의 픽셀에 대해: 제1 엣지 정보 또는 제2 엣지 정보를 이용하여, 비선명 마스크의 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 향상 임계값보다 크거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키는 단계; 엣지 픽셀이 아닌 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 컷오프 임계값보다 작거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 0으로 설정하는 단계; 엣지 픽셀이 아닌 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 향상 임계값보다 크거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키는 단계를 포함한다.

상기의 일부 또는 전부에서, 평활화 알고리즘은 Gaussian 블러 필터이다.

상기의 일부 또는 전부에서, 이 방법은: 콘트라스트 복구된 초해상도 이미지를 적응적으로 향상시키는 단계; 제1 픽셀에서 시작하여, 향상된 초해상도 이미지에 관해 제1 패스 쌍선형 다운샘플링을 수행하여 제1 중간 저해상도 이미지를 생성하는 단계; 픽셀 증분만큼 제1 픽셀로부터 대각선으로 시프트된 제2 픽셀에서 시작하여, 향상된 초해상도 이미지에 관해 제2 쌍선형 다운샘플링을 수행하여 제2 중간 저해상도 이미지를 생성하는 단계; 및 제1 및 제2 중간 저해상도 이미지를 결합하여 고선명도, 저해상도 이미지를 생성하는 단계를 포함한다.

상기의 일부 또는 전부에서, 제1 및 제2 중간 저해상도 이미지는, 제1 및 제2 중간 저해상도 이미지 내의 공간적으로 대응하는 픽셀들의 강도 값들을 평균화함으로써 결합된다.

상기의 일부 또는 전부에서, 콘트라스트 복구된 초해상도 이미지를 적응적으로 향상시키는 단계는: 콘트라스트 복구된 초해상도 이미지로부터 엣지 정보를 추출하는 단계; 콘트라스트 복구된 초해상도 이미지의 각각의 픽셀에 대해: 엣지 정보를 이용하여, 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 그 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값 및 최소값을 결정하고, 향상된 픽셀이 최대값보다 크거나 최소값보다 작은 초기값을 갖는다는 결정에 응답하여 제1 또는 제2 저해상도 이미지의 픽셀에 대한 값을 향상시키는 단계를 포함한다.

상기의 일부 또는 전부에서, 제1 또는 제2 저해상도 이미지의 픽셀에 대한 값은 노이즈 감소 및 후광 억제를 위해 구성된 비선명 마스크를 추가함으로써 향상된다.

상기의 일부 또는 전부에서, 콘트라스트 복구된 초해상도 이미지를 적응적으로 향상시키는 단계는: 콘트라스트 복구된 초해상도 이미지로부터 엣지 정보를 추출하는 단계; 콘트라스트 복구된 초해상도 이미지에 평활화 알고리즘을 적용하는 단계; 초해상도 이미지 및 평활화된 콘트라스트 복구된 초해상도 이미지에 기초하여 콘트라스트 복구된 초해상도 이미지에 대한 비선명 마스크를 생성하는 단계 - 비선명 마스크는 콘트라스트 복구된 초해상도 이미지의 제1 공간 해상도와 동일한 공간 해상도를 가짐 -; 콘트라스트 복구된 초해상도 이미지에 비선명 마스크를 추가함으로써 향상된 초해상도 이미지를 초기화하는 단계; 콘트라스트 복구된 초해상도 이미지의 각각의 픽셀에 대해: 엣지 정보를 이용하여, 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값과 최소값을 결정하고, 픽셀이 최대값과 최소값 사이의 값을 가지고 있는지 및 향상된 초해상도 이미지 내의 대응하는 픽셀의 값이 최대값보다 크거나 최소값보다 작은지를 결정하고, 픽셀이 최대값과 최소값 사이의 값을 갖고 있고 향상된 초해상도 이미지 내의 대응하는 픽셀이 최대값과 최소값을 초과하는 값을 갖고 있다는 결정에 응답하여 콘트라스트 복구된 초해상도 이미지의 픽셀에 대응하는 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키고, 향상된 초해상도 이미지의 픽셀의 값을 비선명 마스크의 요소의 향상된 값과 콘트라스트 복구된 초해상도 이미지의 픽셀의 강도의 합으로 대체하는 단계를 포함한다.

상기의 일부 또는 전부에서, 콘트라스트 복구된 초해상도 이미지에 대한 비선명 마스크를 생성하는 단계는: 콘트라스트 복구된 초해상도 이미지와 평활화된 콘트라스트 복구된 초해상도 이미지 사이의 차이로서 비선명 마스크를 초기화하는 단계; 각각의 비선명 마스크의 각각의 픽셀에 대해: 엣지 정보를 이용하여, 비선명 마스크의 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 향상 임계값보다 크거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키는 단계; 엣지 픽셀이 아닌 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 컷오프 임계값보다 작거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 0으로 설정하는 단계; 엣지 픽셀이 아닌 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 향상 임계값보다 크거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키는 단계를 포함한다.

상기의 일부 또는 전부에서, 평활화 알고리즘은 Gaussian 블러 필터이다.

상기의 일부 또는 전부에서, 제1 패스 및 제2 패스 쌍선형 다운샘플링은 고해상도 이미지의 복수의 픽셀을 평균화함으로써 수행된다.

상기의 일부 또는 전부에서, 복수의 픽셀은 2x2 커널을 형성한다.

상기의 일부 또는 전부에서, 이 방법은 제1 및 제2 저해상도 이미지에 픽셀 패딩을 추가하는 단계를 더 포함하고, 픽셀 패딩의 크기는 이미지 처리 파라미터에 의존한다.

상기의 일부 또는 전부에서, 제1 중간 초해상도 이미지와 제2 중간 초해상도 이미지를 결합하여 합성 초해상도 이미지를 생성하는 단계는 쌍선형 스태킹에 의해 수행된다.

상기의 일부 또는 전부에서, 이 방법은: 제1 저해상도 이미지 및 제2 저해상도 이미지를 취득하는 단계를 더 포함한다.

상기의 일부 또는 전부에서, 향상된 제1 및 제2 저해상도 이미지 각각의 픽셀들은 초해상도 그리드에 불균일하게 맵핑된다.

본 개시내용의 또 다른 양태에 따르면, 한 방법이 제공되고, 이 방법은: 향상된 고해상도 이미지를 생성하기 위해 고해상도 이미지를 적응적으로 향상시키는 단계; 제1 픽셀에서 시작하여, 향상된 고해상도 이미지에 관해 제1 패스 쌍선형 다운샘플링을 수행하여 제1 중간 저해상도 이미지를 생성하는 단계; 픽셀 증분만큼 제1 픽셀로부터 대각선으로 시프트된 제2 픽셀에서 시작하여, 향상된 고해상도 이미지에 관해 제2 쌍선형 다운샘플링을 수행하여 제2 중간 저해상도 이미지를 생성하는 단계; 및 제1 및 제2 중간 저해상도 이미지를 결합하여 고선명도, 저해상도 이미지를 생성하는 단계를 포함한다.

상기의 일부 또는 전부에서, 제1 및 제2 중간 저해상도 이미지는, 제1 및 제2 중간 저해상도 이미지 내의 공간적으로 대응하는 픽셀들의 강도 값들을 평균화함으로써 결합된다.

상기의 일부 또는 전부에서, 고해상도 이미지를 적응적으로 향상시키는 단계는: 고해상도 이미지로부터 엣지 정보를 추출하는 단계; 고해상도 이미지의 각각의 픽셀에 대해: 엣지 정보를 이용하여, 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 그 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값 및 최소값을 결정하고, 향상된 픽셀이 최대값보다 크거나 최소값보다 작은 초기값을 갖는다는 결정에 응답하여 고해상도 이미지의 픽셀에 대한 값을 향상시키는 단계를 포함한다.

상기의 일부 또는 전부에서, 제1 또는 제2 저해상도 이미지의 픽셀에 대한 값은 노이즈 감소 및 후광 억제를 위해 구성된 비선명 마스크를 추가함으로써 향상된다.

상기의 일부 또는 전부에서, 고해상도 이미지를 적응적으로 향상시키는 단계는: 고해상도 이미지로부터 엣지 정보를 추출하는 단계; 고해상도 이미지에 평활화 알고리즘을 적용하는 단계; 고해상도 이미지 및 평활화된 고해상도 이미지에 기초하여 고해상도 이미지에 대한 비선명 마스크를 생성하는 단계 - 비선명 마스크는 고해상도 이미지의 제1 공간 해상도와 동일한 공간 해상도를 가짐 -; 고해상도 이미지에 비선명 마스크를 추가함으로써 향상된 이미지를 초기화하는 단계; 고해상도 이미지의 각각의 픽셀에 대해: 엣지 정보를 이용하여, 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값과 최소값을 결정하고, 픽셀이 최대값과 최소값 사이의 값을 가지고 있는지 및 향상된 고해상도 이미지 내의 대응하는 픽셀의 값이 최대값보다 크거나 최소값보다 작은지를 결정하고, 픽셀이 최대값과 최소값 사이의 값을 갖고 있고 향상된 고해상도 이미지 내의 대응하는 픽셀이 최대값과 최소값을 초과하는 값을 갖고 있다는 결정에 응답하여 고해상도 이미지의 픽셀에 대응하는 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키고, 향상된 고해상도 이미지의 픽셀의 값을 비선명 마스크의 요소의 향상된 값과 고해상도 이미지의 픽셀의 값의 합으로 대체하는 단계를 포함한다.

상기의 일부 또는 전부에서, 고해상도 이미지에 대한 비선명 마스크를 생성하는 단계는: 고해상도 이미지와 평활화된 고해상도 이미지 사이의 차이로서 비선명 마스크를 초기화하는 단계; 엣지 정보를 이용하여, 비선명 마스크의 픽셀이 엣지 픽셀인지를 결정하는 단계; 엣지 픽셀인 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 향상 임계값보다 크거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키는 단계; 엣지 픽셀이 아닌 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 컷오프 임계값보다 작거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 0으로 설정하는 단계; 엣지 픽셀이 아닌 각각의 픽셀에 대해, 비선명 마스크의 픽셀의 절대값이 향상 임계값보다 크거나 같은 것에 응답하여 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키는 단계를 포함한다.

상기의 일부 또는 전부에서, 평활화 알고리즘은 Gaussian 블러 필터이다.

상기의 일부 또는 전부에서, 제1 패스 및 제2 패스 쌍선형 다운샘플링은 고해상도 이미지의 복수의 픽셀을 평균화함으로써 수행된다.

상기의 일부 또는 전부에서, 복수의 픽셀은 2x2 커널을 형성한다.

본 개시내용의 추가 양태에 따르면, 초해상도 이미지를 생성하는 방법이 제공되고, 이 방법은: 동일한 장면의 제1 저해상도 이미지 및 제2 저해상도 이미지를 수신하는 단계 - 제1 저해상도 이미지와 제2 저해상도 이미지는 제1 공간 해상도를 가지며 공통 이미지 센서의 한 쌍의 픽셀 어레이에 의해 동시에 캡처되었고, 이미지 센서의 픽셀 어레이는 서브픽셀 증분만큼 서로 대각선으로 시프트되도록 위치함 -; 제1 저해상도 이미지 및 제2 저해상도 이미지를 적응적으로 향상시켜 향상된 제1 저해상도 이미지 및 향상된 제2 저해상도 이미지를 각각 생성하는 단계; 제1 및 제2 저해상도 이미지로부터 각각 엣지 정보를 추출하는 단계(여기서, 엣지 정보는 픽셀 강도의 변화에 대응함); 향상된 제1 및 제2 저해상도 이미지 각각의 픽셀을 제1 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 그리드에 (예를 들어, 불균일하게) 맵핑하여 각각 제1 중간 초해상도 이미지 및 제2 중간 초해상도 이미지를 생성하는 단계; 상기 제1 중간 초해상도 이미지와 제2 중간 초해상도 이미지를 결합하여 합성 초해상도 이미지를 생성하는 단계; 제1 및 제2 저해상도 이미지의 엣지 정보를 제1 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 그리드에 (예를 들어, 불균일하게) 맵핑하여 향상된 초해상도 엣지 정보를 생성하는 단계; 및 합성 초해상도 이미지의 콘트라스트를 향상된 초해상도 엣지 정보로 향상시켜 콘트라스트 복구된 초해상도 이미지를 생성하는 단계를 포함한다.

본 개시내용의 역시 또 다른 양태에 따르면, 제1 픽셀 어레이; 서브픽셀 증분만큼 제1 픽셀 어레이로부터 대각선으로 시프트된 제2 픽셀 어레이를 포함하는 촬영 센서가 제공되고; 여기서, 촬영 센서는 픽셀 어레이를 통해 제1 공간 해상도를 갖는 제1 저해상도 이미지, 및 제2 공간 해상도를 갖는 제2 저해상도 이미지를 캡처하도록 구성된다.

상기의 일부 또는 전부에서, 제1 저해상도 이미지 및 제2 저해상도 이미지는 동시에 캡처된다.

상기의 일부 또는 전부에서, 제1 저해상도 이미지 및 제2 저해상도 이미지는 서브픽셀 증분만큼 대각선으로 시프트된 공통 시간에서 공통 장면을 캡처한다.

상기의 일부 또는 전부에서, 서브픽셀 증분은 절반 픽셀이다.

상기의 일부 또는 전부에서, 제1 공간 해상도와 제2 공간 해상도는 동일하다.

본 개시내용의 역시 또 다른 양태에 따르면, 적어도 하나의 프로세서를 포함하는 장치가 제공되고, 여기서, 실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 본 명세서에서 설명된 방법의 적어도 일부를 수행하게 한다. 이 장치는 이미지를 캡처하도록 구성된 촬영 센서를 더 포함할 수 있다. 이 장치는 라인 스캔 카메라일 수 있다.

본 개시내용의 역시 또 다른 양태에 따르면, 적어도 하나의 프로세서에 의한 실행을 위한 실행가능한 명령어들이 유형적으로 저장되어 있는 비일시적인 머신 판독가능한 매체가 제공되고, 여기서, 실행가능한 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 프로세서로 하여금 본 명세서에서 설명된 방법의 적어도 일부를 수행하게 한다.

도 1은 본 개시내용의 교시를 실시하기에 적합한 라인 스캔 카메라의 선택된 컴포넌트들을 나타내는 블록도이다.
도 2는 본 개시내용의 한 예시적인 실시예에 따른 센서 픽셀 어레이 배열을 나타내는 개략도이다.
도 3은 도 1에 도시된 이미지 취득 디바이스의 촬영 센서 컴포넌트들의 개략도이다.
도 4는 본 개시내용의 또 다른 예시적인 실시예에 따른 센서 픽셀 어레이 배열을 나타내는 개략도이다.
도 5는 본 개시내용의 한 예시적인 실시예에 따른 초해상도 이미지를 생성하기 위한 방법의 플로차트이다.
도 6a 및 도 6b는 본 개시내용의 한 예시적인 실시예에 따른 엣지 정보를 추출하고 이미지를 적응적으로 향상시키기 위한 방법의 플로차트를 나타낸다.
도 7a는 본 개시내용의 한 예시적인 실시예에 따른 저해상도 그리드로부터 초해상도 그리드로의 픽셀 맵핑을 나타내는 개략도이다.
도 7b는 본 개시내용의 한 예시적인 실시예에 따라 생성된 합성 초해상도 이미지를 나타내는 개략도이다.
도 8은 본 개시내용의 한 예시적인 실시예에 따른 콘트라스트 향상을 위한 방법의 플로차트이다.
도 9a 내지 도 9f는 본 개시내용의 방법의 한 예시적인 실시예에 따라 처리된 예시적인 이미지를 나타낸다.
도 10a는 본 개시내용의 예시적인 실시예를 평가하기 위해 광학 시스템에 의해 이용되는 흑백 라인 패턴의 이미지이다.
도 10b는 본 개시내용의 예시적인 실시예를 평가하는데 이용되는 다양한 이미지에 대한 변조 전달 함수의 그래프이다.
도 10c 및 도 10d는 도 10a의 라인 패턴의 2개의 라인 쌍 공간 주파수에서 거리에 따른 강도의 사인파 응답을 도시하는 라인 프로파일이다.
도 11은 본 개시내용의 한 예시적인 실시예에 따른 고 MTF 저해상도 이미지를 생성하기 위해 초해상도 이미지를 다운샘플링하는 예시적인 방법의 플로차트이다.
도 12a 내지 도 12d는 본 개시내용의 한 예시적인 실시예의 결과를 나타내는 이미지이다.
도 13a 내지 도 13e는 본 개시내용의 한 예시적인 실시예의 결과를 나타내는 CMOS TDI 카메라로부터의 이미지이다.

본 개시내용은, 실시예들이 도시된 첨부된 도면들을 참조하여 이루어진다. 그러나, 많은 상이한 실시예가 이용될 수 있으므로, 설명은 여기서 개시된 실시예들로 제한되는 것으로 해석되어서는 안된다. 오히려, 이들 실시예는 본 개시내용이 철저하고 완전하게 되도록 제공되는 것이다. 가능한 경우에는, 동일한 요소들을 지칭하기 위해 도면과 이하의 설명에서 동일한 참조 번호가 이용되고, 대안적인 실시예에서 유사한 요소, 동작 또는 단계를 나타내기 위해 프라임 표기가 이용된다. 예시된 시스템 및 디바이스의 기능 요소들의 별개의 박스 또는 예시된 분리는, 이러한 기능들의 물리적 분리를 반드시 요구하는 것은 아닌데, 그 이유는 이러한 물리적 분리없이도, 메시징, 함수 호출, 공유된 메모리 공간 등에 의해 이러한 요소들 사이의 통신이 발생할 수 있기 때문이다. 따라서, 기능들은 여기서의 설명의 편의를 위해 별개 예시되어 있지만, 물리적으로 또는 논리적으로 분리된 플랫폼에서 구현될 필요는 없다. 일부 디바이스는 일부 기능을 고정 기능 하드웨어에서 구현하지만 다른 디바이스는 이러한 기능을 머신 판독가능한 매체로부터 획득된 코드를 이용하여 프로그램가능한 프로세서에서 구현할 수 있도록, 상이한 디바이스들은 상이한 설계를 가질 수 있다. 마지막으로, 단수로 언급된 요소는, 명시적으로 또는 문맥상 본질적으로 달리 표시되는 경우를 제외하고는, 복수일 수 있으며 그 반대의 경우도 마찬가지이다.

저해상도(LR) 및 고해상도(HR)라는 용어는 디지털 이미지 해상도를 지칭하기 위해 본 개시내용에서 사용되며, 이미지 취득 디바이스에서 기본적으로 생성된 것보다 더 높은 해상도를 갖는 디지털 이미지를 제공함에 있어서 본 개시내용의 하나 이상의 이점을 나타내기 위해 사용되는 상대적 용어이다. 초해상도(SR)라는 용어는 이미지 처리 기술에 의해 복수의 앨리어싱된 저해상도 이미지로부터 생성된 향상된 이미지 해상도를 지칭한다. 도 1은 본 개시내용의 교시를 실시하기에 적합한 라인 스캔 카메라(100)의 선택된 컴포넌트들을 나타내는 블록도이다. 라인 스캔 카메라(100)는, 다양한 컴포넌트와 프로세서(102) 사이의 통신 경로를 제공하는 통신 버스(미도시)를 통해 복수의 컴포넌트에 결합된 프로세서(102)(예를 들어, 마이크로프로세서 또는 마이크로제어기)를 포함한다. 라인 스캔 카메라(100)는 또한, RAM(Random Access Memory)(108), ROM(Read Only Memory)(110), 플래시 소거가능하고 프로그램가능한 판독 전용 메모리(EPROM)("플래시 메모리")일 수 있는 영구적(비휘발성) 메모리(112) 또는 기타의 적절한 형태의 메모리 등의 메모리를 포함한다.

프로세서(102)는 다양한 이미지 처리 기능을 수행한다. 프로세서(102)는 전형적으로 프로그램가능한 프로세서이지만, 예를 들어, 하드와이어드 맞춤형 집적 회로(IC) 프로세서, 또는 이들의 조합일 수 있다. 다른 실시예에서, 프로세서(102)가 이미지 처리 기능을 수행하도록 하는 것이 아니라, 전용 이미지 프로세서가 제공될 수 있다.

라인 스캔 카메라(100)는 또한, 촬영 중인 영역으로부터 광을 수신하는 라인 스캔 센서(120)를 포함한다. 라인 스캔 센서(120)에 의해 캡처된 이미지 데이터는 (라인 버퍼라고도 알려진) 판독 레지스터에 전송된다. 도시된 실시예에서, 판독 레지스터는 FPGA(field-programmable gate array)(104)이다. 라인 스캔 카메라(100)는 또한, 도시된 실시예에서, FPGA(104)에 접속된, 외부 시스템과 데이터를 교환하기 위한 하나 이상의 병렬 데이터 포트(112), 및 도시된 실시예에서, 프로세서(102)에 접속된 외부 시스템과 데이터를 교환하기 위한 하나 이상의 직렬 데이터 포트(122)를 포함한다. 판독 레지스터는, 또 다른 FPGA 등의, 버퍼 메모리(미도시)에 데이터를 출력한다. 그 다음, FPGA 버퍼 메모리에 저장된 라인 데이터는, 직렬 데이터 포트(122), 병렬 데이터 포트(112), 또는 양쪽 모두를 통해 추가 처리되거나 및/또는 호스트 시스템에 전송될 수 있다. 라인 스캔 카메라(100)는 전형적으로 또한, 다양한 통보를 제공하기 위해 켜지거나 깜박이는 하나 이상의 발광 다이오드(LED)(114) 및 선택사항으로서 하나 이상의 사용자 입력 디바이스(124)(예를 들어, 버튼)를 포함한다.

라인 스캔 센서(120)는 CCD(charge-coupled device), CMOS(complementary metal-oxide semiconductor) 센서 또는 기타의 적절한 센서일 수 있다. 라인 스캔 센서(120)는, 단색, 다색(예를 들어, RGB 컬러) 또는 다중 스펙트럼일 수 있다. 라인 스캔 센서(120)는 하나 이상의 라인의 픽셀 센서들을 갖는다: 라인 스캔 센서(120)는 단일 라인 또는 다중 라인 센서일 수 있다. 라인 스캔 센서(120)는 대안으로서 시간 지연 및 통합(TDI) 센서일 수 있다. 적절한 라인 스캔 카메라는 Teledyne Digital Imaging, Inc.(캐나다 온타리오 주 워털루)에 의해 제조된다. 라인 스캔 센서(120)의 각각의 라인은 다수의 픽셀 센서를 갖는다. 각각의 픽셀 센서는 라인 스캔 센서(120)에 의해 출력된 디지털 이미지의 한 픽셀을 생성하고 이에 대응한다. 라인 스캔 카메라(120)의 각각의 라인에서의 픽셀 센서의 개수는, 2,048개 내지 16,384개 이상일 수 있어서, 결과적으로 라인(또는 행) 당 2,048개 내지 16,384개 이상의 픽셀을 갖는 디지털 이미지를 생성한다. 각각의 픽셀 센서는 소정의 파장에서 광의 응답 레벨을 나타내는 디지털 숫자(DN)(digital number) 형태의 픽셀 값을 출력한다.

픽셀 값은 픽셀의 강도(또는 밝기)를 나타내는 단일 숫자이다. 픽셀의 비트 수와 라인 스캔 센서(120)에 의해 캡처된 컬러(또는 컬러의 결핍)은 라인 센서들 사이에서 달라질 수 있다. 예를 들어, 픽셀은, 8 비트 그레이스케일, 8 비트 컬러, 16 비트 컬러, 24 비트 컬러, 30 비트 컬러, 36 비트 컬러 또는 48 비트 컬러일 수 있다. 일부 예에서, 8 비트 픽셀은 0 내지 255 범위의 개개의 픽셀 값과 함께 이용된다. 그레이스케일(단색) 라인 스캔 카메라의 경우, 전형적으로 픽셀 값 0은 검정을 나타내고, 255는 백색을 나타내고, 0과 255 사이의 값은 상이한 회색 음영들을 정의한다. 컬러 라인 스캔 카메라는, 상이한 파장들의 광을 검출하기 위해, 상이한 컬러 필터들을 갖는 센서 픽셀들의 행들, 또는 행을 따른 픽셀들 상의 상이한 컬러 필터들을 가진다. 전형적으로, 적색, 녹색 및 청색(RGB) 컬러 필터가 이용되지만, 일부 응용의 경우 더 많은 상이한 필터 유형들이 이용될 수 있다. 각각의 컬러 필터는, 상이한 파장들, 전형적으로 적색, 녹색 또는 청색의 광을 검출하는 픽셀들 상에 위치하므로, 픽셀 값 0은, 컬러 없음(예를 들어, 적색 없음, 녹색 없음, 청색 없음)을 나타내며, 255는 풀 컬러를 나타내며, 0과 255 사이의 값은 각각의 컬러의 상이한 음영들을 정의한다. 컬러 라인 스캔 카메라는 때때로 단색 또는 풀 컬러 모드에서 작동될 수 있다. 풀 컬러를 표현하기 위해, RGB 컬러 공간에서 각각의 픽셀에 대해 별개의 적색, 녹색 및 청색 성분이 명시되므로, 픽셀 값은 실제로, 풀 컬러로 디스플레이하거나 처리할 때 재결합되는, 3개의 별개의 컬러 평면(적색, 녹색 및 청색 각각에 대해 하나씩)으로서 상이한 성분으로서 저장될 수 있는 3개의 숫자로 구성된 벡터이다. 본 개시내용에서 "픽셀"이라는 용어는, 라인 스캔 카메라(120)에 의해 캡처되고 출력된 디지털 이미지, 라인 스캔 카메라(120)에 의해 캡처된 디지털 이미지로부터 추출된 엣지 요소(또는 포인트) 등의 라인 스캔 카메라(120)에 의해 캡처되고 출력된 디지털 이미지의 일부뿐만 아니라 디지털 이미지 신호 처리 동작에서 이용되는 마스크 및 기타의 이미지 필터를 포함할 수 있는 디지털 이미지 객체의 요소들을 지칭한다.

카메라의 노출 시간 동안, 각각의 픽셀은 그 픽셀 상에서 촬영되는 객체로부터의 광에 비례하여 광전 전하(photoelectric charge)를 축적한다. 노출 시간이 끝에서, 전체 행의 픽셀들에서의 전하가 판독 레지스터(예를 들어, FPGA(104))로 전송된다. 판독 레지스터는 픽셀 전하를 시프트시키고, 증폭, 수정 및 디지털화하여 카메라 출력을 생성한다. 판독 레지스터는, 라인 스캔 데이터가 메모리로 전송되기 전에, 하나 이상의 라인, 전형적으로 1 내지 3 라인에 대한 이미지 데이터를 일시적으로 저장한다. 판독 레지스터 시프팅은, 다음 행의 픽셀들이 노출되는 동안 이루어진다. 노출 및 판독이 발생하는 속도를 "라인 속도(line rate)"라고 하며, 전형적으로 헤르츠(Hz) 또는 킬로헤르츠(kHz)로 명시된다. 라인 스캔 카메라(100)는 최대 200kHz 이상의 라인 속도를 가질 수 있다. 조정가능한 조리개 및 셔터 어셈블리(미도시)는, 조리개 크기 및 라인 스캔 센서(120)의 노출 시간을 제어하는데 이용된다.

프로세서(102)는 라인 스캔 센서(120)에 다양한 제어 신호를 공급함으로써 이미지 센서(120)를 제어할 수 있다. 라인 스캔 카메라(100) 메모리, 예를 들어 EPROM(112)에는, 라인 스캔 카메라(100)의 동작을 제어하는 프로세서(102)에 의해 실행되는 소프트웨어가 저장되어 있다. 라인 스캔 카메라(100)는, 또한 또는 대안으로서, FPGA(104)에 의해 적어도 부분적으로 제어될 수 있다. 상이한 유형들의 메모리의 특정한 구성이 설명되지만, 이것은 하나의 예일 뿐이며 상이한 유형들의 메모리에 대한 상이한 구성 및 기능 할당이 이용될 수도 있다.

도 1에 도시되거나 전술되지는 않았지만, 렌즈, 조명 및 포커싱 광학소자가 라인 스캔 촬영 시스템의 일부로서 라인 스캔 카메라와 조합하여 이용된다는 것을 본 기술분야의 통상의 기술자라면 이해할 것이다. 전형적으로, 이들 컴포넌트는 라인 스캔 카메라에 의해 제어되지 않는다.

도 2는 본 개시내용의 한 예시적인 실시예에 따른 센서 픽셀 어레이 배열을 나타내는 개략도이다. 도 2의 예에서, 센서 픽셀 어레이 배열은 TDI 센서를 위한 것이다. 그러나, 본 개시내용의 교시는, 다른 라인 스캔 센서, 및 영역 스캔 센서 등의 다른 적절한 센서에 적용될 수 있다. 이미지 센서(120)는 2개의 어레이(또는 서브어레이)(204 및 206)를 포함하는 광검출기 어레이(200)를 포함한다. 광검출기 어레이(200)는, 인입되는 광자를 반도체-산화물 계면에서 전하로 변환하는 복수의 금속-산화물 반도체(MOS) 커패시터를 포함할 수 있다. 전하는, 예를 들어, 전압으로서 판독되고, 디지털 이미지를 형성하는 디지털 픽셀 값을 결정하는데 이용될 수 있다. 어레이들(204 및 206) 각각의 광검출기는, 다수의 행(n) 및 다수의 열(m)에 의해 정의되는 2차원 방식으로 배열될 수 있다. 전형적으로, 특정한 광검출기 어레이의 해상도는 "n x m" 형태로 표현된다. 각각의 개개의 광검출기는, 센서 어레이가 구별할 수 있는 가장 작은 객체의 크기를 나타내는 픽셀 크기에 의해 정의된다. 일부 예에서, 픽셀 크기는 5 ㎛일 수 있다.

2개의 광검출기 어레이(204, 206)는 적층된 구성으로 제공되고, 어레이(206)는 센서 다이 상에서 어레이(204) 아래에 물리적으로 위치하고 어레이(204)는 어레이(206)로부터 절반 픽셀 증분만큼 대각선으로 시프트된다. 어레이(204, 206)는 트레이 또는 캐리지에 탑재될 수 있다. 어레이(204, 206)의 위치는 서브픽셀 정밀도의 시프트를 적용하도록 조작될 수 있다. 어레이(204)는, 화살표 A로 표시된 방향으로 평면을 따라 수직 절반 픽셀 시프트와 결합된 수평 절반 픽셀 시프트를 수행함으로써 어레이(206)로부터 절반 픽셀 증분만큼 대각선으로 시프트될 수 있다. 대각선 절반 픽셀 시프트는, 2개의 서브어레이(204, 206)로부터의 캡처된 이미지에서 어떠한 단일 픽셀도 완벽하게 복제되지 않을 것임을 제공한다.

라인 스캔 카메라(100)는, 대각선으로 절반 픽셀만큼 기하학적으로 시프트된 피사체 또는 장면의 2개의 저해상도 이미지를 생성한다. 라인 스캔 카메라(100)는, 컨베이어 상에 위치하여 이와 함께 이동하는 복수의 객체(예를 들어, 부품 또는 제품)를 갖는 이동 컨베이어를 촬영할 수 있다. 라인 스캔 카메라(100)의 프로세서(102)는 2개의 저해상도 이미지를 수신하고 처리하여 대응하는 초해상도 이미지를 생성한다. 설명된 실시예에서 프로세서(102)는 라인 스캔 카메라(100)의 컴포넌트이지만, 다른 실시예에서는 라인 스캔 카메라(100)와는 별개의 처리 유닛이 이용될 수 있다.

도 3은, 캡처된 이미지 상에서 어레이(204)와 어레이(206) 사이의 대각선 절반 픽셀 시프트의 효과를 나타내는 개략도이다. 이미지(252 및 254)는, 2개의 대각선 절반 픽셀 시프트된(x/2) 검출기 어레이(204 및 206)에 의해 캡처된 이미지를 나타낸다. 각각의 이미지(252 및 254)는 8개의 픽셀로 구성된다. 음영 영역(256)은, 이미지(252)의 제1 픽셀과 이미지(254)의 제1 픽셀 사이의 중첩 영역을 나타낸다. 이하에서 더 상세히 설명하는 본 개시내용의 방법에 따라 이미지(252, 254)로부터의 정보를 결합함으로써, 초해상도가 생성될 수 있다.

도 4는 본 개시내용의 또 다른 예시적인 실시예에 따른 센서의 센서 픽셀 어레이 배열이다. 도 4의 센서 설계의 해상도는 4K이고 도 2의 센서 설계의 해상도는 16K라는 점을 제외하고는, 도 4의 센서 설계는 도 2의 센서 설계와 유사하다. 센서는 5㎛ 픽셀들을 갖는 2개의 픽셀 시프트 어레이를 포함한다. 상단 및 하단 어레이는 각각 64개의 스테이지를 가지며, 상단 어레이의 픽셀은 하단 어레이의 픽셀과 비교하여 수평으로 2.5㎛(1/2 픽셀) 및 수직으로 2.5㎛(1/2 픽셀) 시프트된다. 따라서, 서브픽셀 정밀도로 시프트된 2개의 이미지가 센서로 캡처된다.

도 5는 본 개시내용의 한 예시적인 실시예에 따른 2개의 저해상도 이미지로부터 초해상도 이미지를 생성하기 위한 방법(500)의 플로차트이다. 방법(500)은, 예를 들어 도 1에 나타낸 라인 스캔 카메라(100) 등의 이미지 취득 디바이스의 프로세서일 수 있는 프로세서에 의해 실행되는 소프트웨어에 의해 수행될 수 있다. 대안으로서, 방법(500)은 이미지 취득 디바이스와는 구분되는 별개의 처리 유닛에 의해 수행될 수 있다.

동작 502에서, 라인 스캔 카메라(100)의 프로세서(102)는 n으로 표시된 이미지 카운터를 1로 초기화한다.

동작 504에서, 이미지 데이터는, 예를 들어, 라인 스캔 카메라(100)의 메모리로부터 획득된다. 각각의 이미지는 치수 폭(W) x 높이(H)의 해상도를 갖는다. 이미지는, 예를 들어 LR(n)으로서 메모리에 저장된다.

동작 506에서, 픽셀 패딩은 이미지 LR(n)에 대한 이미지 경계 주위에서 수행된다. 패딩의 크기는 변할 수 있고, 아래에서 상세히 설명되는 바와 같이, 이용된 엣지 검출 알고리즘(예를 들어, Sobel 연산자) 및 평활화 알고리즘(예를 들어, Gaussian 필터)의 파라미터 등의 요인에 의존할 수 있다. 픽셀 패딩은 임의의 적절한 방법을 이용하여 수행될 수 있고, 이들 중 여러개가 미러링 등의 기술 분야에 공지되어 있다. 예를 들어, 5x5 Sobel 및/또는 Gaussian 커널 크기에 대해 2 픽셀 패딩이 이용될 수 있다.

동작 508에서, 엣지 정보는 이미지 LR(n)로부터 추출되고, 예를 들어 LREdge(n)로서 메모리에 저장된다. 동작 510에서, 이미지 LR(n)은 적응적으로 향상되고, 예를 들어 LREnhance(n)로서 메모리에 저장된다. 동작(508 및 510)은, 일부 예에서 후술되는 함수 adaptiveEnhance()인 공통 알고리즘에 의해 수행될 수 있다. adaptiveEnhance() 함수로부터 출력된 향상된 이미지는 LREnhance(n)로서 저장되고, adaptiveEnhance() 함수로부터 출력된 엣지는 LREdge(n)으로서 저장된다.

동작 512에서, 이미지 카운터는 1씩 증분된다. 동작 514에서, 프로세서는 이미지 카운터가 2보다 큰지를 결정함으로써 2개의 저해상도 이미지가 처리되었는지를 결정한다. 2개의 저해상도 이미지가 처리되지 않았다면(즉, 이미지 카운터의 값이 2보다 작거나 같은 것으로 결정되는 바와 같이 하나의 저해상도 이미지만 처리된 경우), 방법은 동작 504로 돌아간다.

2개의 저해상도 이미지가 처리되었을 때(이미지 카운터의 값이 2보다 큰 것에 의해 결정됨), 방법(500)은 각각 동작 516 및 520에서 향상된 이미지 정보 및 엣지 정보의 결합을 진행한다.

동작 516에서, 전술된 제1 향상된 이미지(702)(“LR1") 및 제2 향상된 이미지(704)(“LR2"), 향상된 이미지 LREnhance(1) 및 LREnhance(2)는 각각, 제1 및 제2 저해상도 이미지의 해상도의 2배의 해상도, 2W x 2H 치수를 갖는 초해상도 그리드에 각각 불균일하게 맵핑되고, 여기서 W 및 H는 각각 저해상도 이미지의 폭과 높이이다. 제1 및 제2 향상된 이미지(702, 704)로부터 생성된 초해상도 그리드 상의 2개의 맵핑된 이미지는, 예를 들어, 각각 SR_tmp1 및 SR_tmp2로서 메모리에 저장된다. 이것은 결과적으로, 2개의 중간 초해상도 이미지가 된다. 각각의 초해상도 이미지는 저해상도 이미지보다 2배 많은 픽셀을 포함한다. 그 결과, 향상된 저해상도 이미지의 각각의 개개 픽셀은 4번 불균일하게 복제되어 도 7a에 도시된 바와 같은 2x2 커널을 형성한다. 도 7a에서, 제1 저해상도 이미지(702)는 제1 초해상도(703)를 생성하는데 이용되고, 제2 저해상도 이미지(704)는 제2 초해상도(705)를 생성하는데 이용된다. 참조 번호 707로 표현된 제1 초해상도(703)의 좌상귀에 있는 2x2 커널은 4번 복제된 제1 저해상도 이미지(702)로부터의 픽셀 "a"이다.

동작 518에서, 2개의 중간 초해상도 이미지는 예를 들어 쌍선형 스태킹에 의해 결합되어, 예를 들어 SR_tmp로서 메모리에 저장되는 합성 초해상도 이미지를 생성한다. SR 그리드 상의 결합된 향상된 이미지는 다음과 같이 계산된다:

SR_tmp = ½ * (SR_tmp1 + SR_tmp2)

중간 초해상도 이미지의 이미지 그리드는 1 픽셀만큼 오프셋된다는 점에 유의한다. 그러나, 각각의 2x2 커널은 원본 저해상도 이미지에서 동일한 픽셀의 복제본으로 구성되므로, 초해상도 이미지에서의 한 픽셀 시프트는 전술된 바와 같이 제1 및 제2 저해상도 이미지를 캡처하는데 이용되는 센서 어레이에서의 절반 픽셀 대각선 시프트를 반영한다. 도 7b는 제2 초해상도 이미지(705)와 제1 초해상도 이미지(703)로부터 생성된 합성 초해상도 이미지(710)를 나타낸다. 도 7b에 도시된 바와 같이, 불균일 맵핑 및 쌍선형 스태킹은, 합성 초해상도 이미지(710)의 각각의 픽셀이 상위 행과 최좌측 열에 있는 것들을 제외하고 중복 픽셀 정보를 포함하지 않는다는 것을 제공한다.

동작 520에서, 제1 및 제2 저해상도 이미지 각각에 대한 동작 508로부터의 엣지 정보는 제1 및 제2 저해상도 이미지의 해상도의 2배의 해상도, 치수 2W x 2H를 갖는 초해상도 그리드 상으로 맵핑되고, 여기서 W 및 H는 각각 저해상도 이미지의 폭과 높이이다. 동작 516에서 중간 초해상도를 생성하기 위해 향상된 이미지에 관해 수행되는 것들과 유사한 방법이 이용될 수 있다. 2개의 초해상도 그리드 형태로 된 결과적인 초해상도 엣지 정보는, 예를 들어, SR_edge1 및 SR_edge2로서 메모리에 저장된다.

동작 522에서, 프로세서(102)는, 동작 518에서 생성된 합성 초해상도 이미지(710)의 콘트라스트 향상을 위한 캡처된 저해상도 이미지 내의 서브픽셀 결함, 및 최종 이미지 내의 식별된 검출을 하이라이트 또는 강조하기 위한 콘트라스트 향상의 향상량을 식별한다. 일부 예에서, 이 동작은 초해상도 엣지 정보 SR_edge1 및 SR_edge2를 입력으로서 이용하는 함수 postConstrastEnh()에 의해 수행된다. postConstrastEnh() 함수의 출력은, 예를 들어, SR_edge로서 메모리에 저장되는 향상된 초해상도 엣지 정보이다.

동작들(516 및 518)이 도 5의 방법(500)에서의 동작들(520 및 522)과 동시에 수행되는 것으로 도시되어 있지만, 다른 실시예에서 이들 동작은 동시가 아니라 순서대로 수행될 수 있다. 동작들의 순서의 예는, 516, 518, 520 및 522와, 520, 522, 516 및 518이다.

동작 524에서, 다음과 같은 방정식에 따라, 향상된 초해상도 엣지 정보 SR_edge를 이용하여 합성 초해상도 이미지 SR_tmp에 관해 콘트라스트 향상된 알고리즘이 수행된다:

SR = SR_tmp + K * SR_edge

여기서, K는 이미지 취득 디바이스(예를 들어, 라인 스캔 카메라(100))의 노이즈 플로어(noise floor)에 의해 결정되는 제어 계수이며, 여기서 K의 값은 0과 1 사이이다. 특정한 이미지 취득 디바이스에 대한 K 값의 예는 0.35이다.

동작 526에서, 콘트라스트 복구된 초해상도 이미지가 메모리에 저장된다.

도 6a 및 도 6b는 본 개시내용의 한 예시적인 실시예에 따른 엣지 정보를 추출하고 이미지를 적응적으로 향상시키기 위한 방법(600)의 플로차트를 나타낸다. 방법(600)은 동작 508 및 510과 관련하여 전술된 함수 adaptiveEnhance()를 수행한다. 방법(600)은, 예를 들어 도 1에 나타낸 라인 스캔 카메라(100) 등의 이미지 취득 디바이스의 프로세서일 수 있는 프로세서에 의해 실행되는 소프트웨어에 의해 수행될 수 있다. 대안으로서, 방법(600)은 이미지 취득 디바이스와는 구분되는 별개의 처리 유닛에 의해 수행될 수 있다. 방법(600)은 전형적으로 전술된 방법(500)과 동일한 프로세서에 의해 수행된다.

동작 602에서, 경계에 픽셀이 추가된 LR(n)에 대한 이미지 데이터가 입력으로서 수신되고, 예를 들어, imgbuf(j,i)로서 메모리에 저장되며, 여기서 j 및 i는 imgbuf 내의 개개의 픽셀을 순회하고 액세스하기 위한 반복 변수이고, 여기서, j >= 1 및 j <= Hp, i >=1 및 i <= Wp이고, Hp = H + 추가된 픽셀 수이고, Wp = W + 추가된 픽셀 수이며, W 및 H는 각각 저해상도 이미지의 공간 해상도의 폭과 높이를 나타낸다.

동작 603에서, imgbuf는 아래에서 더 상세히 설명되는 바와 같이 추후 처리에 이용하기 위해 출력된다.

동작 604에서, 프로세서(102)는 다수의 제어 변수를 초기화한다. 제어 변수 값은, 노이즈 플로어, 시뮬레이션 결과, 라인 스캔 카메라(100) 등의 이미지 취득 디바이스의 기능적 한계(예를 들어, 이미지 센서 특성) 등의 다수의 요인에 기초하여 설정될 수 있다. 일부 실시예에서, 초기화된 제어 변수는, 엣지 검출 임계값 threshold_sobel, 및 향상 임계값 um_threshold, 향상 계수 um_strength, 및 향상 컷오프 임계값 um_threshold_cut을 포함한다. 8 비트 이미지가 처리되는 한 예에서, 변수 threshold_sobel은 30으로 설정되고, 변수 um_threshold는 10으로 설정되고, 변수 um_strength는 0.3으로 설정되고, 변수 um_threshold_cut은 2로 설정될 수 있다.

동작 606에서, 이미지 평활화 알고리즘이 이미지에 적용되어 평활화된 이미지를 생성한다. 이미지 평활화 알고리즘은 이미지의 고주파 성분의 효과를 적어도 부분적으로 감소시킨다. imgbuf(j,i)의 각각의 픽셀 값은 주변 픽셀 값들의 가중 평균값으로 설정된다. 위에서 언급한 바와 같이, 평활화 알고리즘의 파라미터(예를 들어, Gaussian 블러 필터 또는 커널의 크기)는 동작 506에서 픽셀 패딩의 크기에 영향을 미칠 수 있다. 이미지 평활화 알고리즘은 주변 픽셀의 가중 평균값에 기초하여 픽셀 값을 생성하기 때문에, 주변 픽셀을 갖지 않는 픽셀(즉, 이미지의 외측 엣지를 따라있는 픽셀)의 경우, 픽셀 패딩이 요구된다.

일부 실시예에서 이용될 수 있는 적절한 평활화 알고리즘의 예는, 예를 들어 Gaussian 블러 필터 등의 블러 필터이다. 다른 실시예에서는, 다른 이미지 평활화 알고리즘이 이용될 수 있다. 일부 실시예에서 이용될 수 있는 Gaussian 블러 필터의 한 예는 반경 1.0 및 시그마 1.5를 가지며 imgbuf(r,c)에 적용될 수 있고, 여기서 r 및 c는 패딩된 픽셀을 피하면서 이미지 픽셀들을 통해 반복되는 값들의 범위이고, 경계에서 2개 픽셀을 패딩하는 경우 r = 3 내지 Hp-2, c = 3 내지 Wp-2이다. 이미지 평활화 알고리즘의 결과는, 예를 들어, gaussImg로서, 메모리에 저장된다. 필터링되지 않은 픽셀(즉, 패딩된 픽셀)의 값은 0으로 설정된다.

Gaussian 블러 필터는, 다른 요인들 중에서도 특히, 처리 속도 및 잡음 레벨에 기초하여 선택된다. 다른 예에서는 상이한 파라미터들이 이용될 수 있다. 이제 Gaussian 블러 필터의 예와 그 적용에 대해 설명한다. Gaussian 블러 필터의 한 예는 다음과 같다:

gc로 표시된 Gaussian 블러 필터 커널은 상기에 도시된 Gaussian 상수로 초기화된다. Gaussian 커널 gc는 imgbuf(j,i)와 콘볼루션되어 다음과 같은 방정식에 기초하여 행렬 gaussImg(y, x)를 생성한다:

gaussImg(y,x)에서 주어진 픽셀에 대한 픽셀 값이 픽셀 당 비트 수로 나타낼 수 있는 최대값을 초과한다면, 픽셀 값은 최대값으로 설정된다(즉, gaussImg(y,x) > maxval, gaussImg(y,x) = maxval로 설정, 여기서 maxval = 최대 픽셀 강도(예를 들어, 8 비트 이미지의 경우 255이고, 12 비트 이미지의 경우 4095). 패딩된 픽셀을 제외하고, imgbuf(j,i) 내의 모든 픽셀이 처리될 때까지 앞의 단계들이 반복된다.

동작 608에서, 비선명 마스크는 다음과 같은 방정식에 의해 초기화된다:

mask = imgbuf - gaussImg

비선명 마스크는 원본 이미지의 기본 고주파 정보를 기록한다. 이것은 후속 동작들 612 내지 642에서 분류 및 수정될 것이다.

동작 610에서, imgbuf(j,i)에는 엣지 검출 방법이 적용된다. 일부 실시예에서 이용될 수 있는 적절한 엣지 검출 방법의 한 예는, Sobel-Feldman 연산자 또는 Sobel 필터로도 알려진, Sobel 연산자이다. 다른 실시예에서는 다른 엣지 검출 방법이 이용될 수 있다.

이제 Sobel 연산자의 한 예 및 그 응용이 설명될 것이다. Sobel 연산자는 2개의 콘볼루션 커널을 포함하고, 하나는 전형적으로 다른 하나를 90° 회전시킨 것과 같다. 본 기술분야에 공지된 바와 같이, Sobel 커널들은, 2개의 배향 각각에 대해 하나의 커널을 이용하여 픽셀 그리드에 관해 수직 및 수평 방향으로 이어지는 픽셀 강도 변화가 얼마나 갑작스럽게 또는 매끄럽게 변하는지를 응답하도록 설계되어 있다. 수평 방향에 대한 Sobel 연산자(커널)의 한 예가 아래에 나타나 있다:

수직 방향에 대한 Sobel 연산자(커널)의 한 예가 아래에 나타나 있다:

픽셀에서 이미지 강도의 기울기는, 기울기의 절대 크기 및 배향을 산출하기 위해 결합될 수 있는 2개의 Sobel 커널 각각과의 픽셀 값의 콘볼루션에 의해 결정될 수 있다. 이미지 imgbuf(j,i)는 다음과 같은 2개의 방정식을 이용하여 각각의 Sobel 커널과 콘볼루션된다:

여기서, sobelx[...] 및 sobely[...]는 각각 수평 Sobel 연산자 커널과 수직 Sobel 연산자 커널을 나타내고 DN_filtx(y, x) 및 DN_filty(y, x)는 결과 행렬이다. 이미지의 픽셀 DN(y, x)에 대해 - y는 행의 수이고 x는 열의 수임 -, 수평 변화는 DN_filtx(y, x)에 의해 계산되고, 수직 변화는 DN_filty(y, x)에 의해 계산된다.

그 다음, DN_filtx(y, x) 및 DN_filty(y, x) 행렬에 포함된 수평 및 수직 엣지 정보를 이용하여 픽셀 DN(y, x)에서의 "엣지"가 다음과 같은 방정식에 따라 계산된다:

그 다음, 결과 행렬 sobelEdge(y, x)는 다음과 같이 미리결정된 임계값 threshold_sobel과의 픽셀 값 비교에 기초하여 2진 이미지로 변환된다:

전술된 단계들은 imgbuf(j,i)의 모든 픽셀이 처리될 때까지 반복된다. imgbuf(j,i)의 모든 픽셀이 처리되면, 결과 행렬이, 예를 들어, sobelEdge로서, 메모리에 저장된다. 필터링되지 않은 픽셀(즉, 패딩된 픽셀)의 값은 0으로 설정된다.

동작 605에서, 엣지 정보 행렬 sobelEdge는 아래에서 더 상세히 설명되는 바와 같이 추후 처리에 이용하기 위해 출력된다.

그 다음, 동작 612-624에서, 비선명 마스크 mask의 파라미터들이 엣지 정보 행렬 sobelEdge 등의 추출된 엣지 정보를 이용하여 분류되고 수정된다. 동작 612에서, 비선명 마스크 mask의 개별 픽셀 값이 선택된다.

동작 614에서, 추출된 엣지 정보 내의 대응하는 픽셀 값을 체크함으로써, 예컨대 sobelEdge, 예를 들어 sobelEdge(j,i)의 값이 1과 같은가?)일 때, 비선명 마스크 내의 선택된 픽셀이 엣지 픽셀인지가 결정된다. 선택된 픽셀이 엣지 픽셀에 대응하는 경우, 처리는 동작 620으로 진행한다.

동작 620에서, 선택된 마스크 픽셀 마스크(j,i)의 절대값이, 전술된 예들마다 달라질 수 있는, 미리결정된 비선명 마스크 향상 임계값 um_threshold보다 크거나 같은지에 관한 결정이 이루어진다(예를 들어, abs(mask(j,i)) >= um_threshold?). 절대값이 향상 임계값보다 크거나 같을 때, 처리는 다음과 같은 방정식에 따라 마스크 픽셀 값이 업데이트되는 동작 622로 진행한다:

mask(j,i) = um_strength * mask(j,i)

선택된 마스크 픽셀의 절대값이 향상 임계값보다 작을 때, 선택된 마스크 픽셀 값은 변경되지 않은 채로 남는다.

선택된 픽셀이 엣지 픽셀에 대응하지 않을 때, 처리는, 선택된 마스크 픽셀 마스크(j,i)의 절대값이, 전술된 예들 사이에서 달라질 수 있는, 미리결정된 비선명 마스크 향상 컷오프 임계값 um_threshold_cut보다 작거나 같은지(예를 들어, abs(mask(j,i)) <= um_threshold_cut?)에 대한 추가 결정이 이루어지는 동작 616으로 진행한다. 절대값이 향상 컷오프 임계값보다 작거나 같은 것이 아닐 때, 처리는 추가 결정을 위해 동작 620으로 진행한다. 절대값이 향상 컷오프 임계값보다 작거나 같을 때, 처리는 마스크 픽셀 값이 0으로 설정되는(즉, mask(j,i) = 0.0) 동작 618로 진행한다.

동작 624에서, 비선명 마스크 mask의 모든 픽셀이 처리되었는지가 결정된다. 만일 그렇지 않다면, 처리는 동작 612로 진행한다. 만일 그렇다면, 다음과 같은 방정식에 따라 동작 603으로부터 출력된 imgbuf와 동작 624로부터 출력된 비선명 마스크 mask를 이용하여 향상된 이미지 imgEnhance가 초기화되는 동작 626으로 처리가 진행한다:

imgEnhance = imgbuf + mask.

동작 628에서, imgbuf의 (j,i)에 있는 픽셀, 즉, imgbuf(j,i,)가 선택되고, 여기서 반복 변수 j 및 i는, 패딩된 픽셀없이 원본 이미지의 모든 픽셀이 반복될 수 있도록 경계에서 2개 픽셀을 패딩한다면, 각각, 3 내지 Hp-2와, 3 내지 Wp-2의 범위이다.

동작 630에서, 추출된 엣지 정보 내의 대응하는 픽셀 값을 체크함으로써, 예컨대 sobelEdge, 예를 들어 sobelEdge(j,i)의 값이 1과 같은가?)일 때, imgbuf 내의 선택된 픽셀이 엣지 픽셀인지가 결정된다. 선택된 픽셀이 엣지 픽셀에 대응하지 않을 때, 향상된 이미지의 픽셀 값인 imgEnhance(j,i)와 마스크 값인 mask(j,i)는 변경없이 유지되고 처리는 동작 646으로 진행한다.

선택된 픽셀이 엣지 픽셀일 때, 처리는, 프로세서(102)가 선택된 픽셀 imgbuf(j,i)를 중심으로 3x3 커널의 로컬 최대값 및 로컬 최소값을 찾는 동작 632로 진행한다. 최대값 및 최소값은 각각 maxDN 및 minDN으로 표시된 바와 같이 메모리(109)에 저장된다.

동작(634)에서, 프로세서(102)는 선택된 픽셀 값이 동작 632에서 결정된 로컬 최대값과 같은지(예를 들어, imgbuf(j,i) = maxDN?)를 결정한다. 만일 그렇다면, 선택된 픽셀 값은 변경없이 유지되고 처리는 동작 646으로 진행한다. 만일 그렇지 않다면, 처리는 동작 636으로 진행한다.

동작 636에서, 프로세서(102)는 선택된 픽셀 값이 동작 632에서 결정된 로컬 최소값과 같은지(예를 들어, imgbuf(j,i) = minDN?)를 결정한다. 만일 그렇다면, 선택된 픽셀 값은 변경없이 유지되고 처리는 동작 646으로 진행한다. 만일 그렇지 않다면, 처리는 동작 638로 진행한다.

동작 638에서, 프로세서(102)는 향상된 이미지 imgEnhance(j,i) 내의 대응하는 픽셀의 값이 동작 632에서 결정된 로컬 최대값보다 큰지(예를 들어, imgEnhance(j,i)> maxDN ?)를 결정한다. 만일 그렇다면, 처리는 동작 642로 진행하여, 마스크의 대응하는 픽셀의 값이 다음과 같은 방정식에 따라 업데이트된다:

mask(j,i) = mask(j,i) * um_strength

대안으로서, 향상된 이미지의 값이 로컬 최대값보다 크지 않을 때, 처리는 동작 640으로 진행하여, 향상된 이미지 픽셀 imgEnhance(j,i)가 로컬 최소값보다 작은지(imgEnhance(j,i) < minDN ?)에 대한 추가 결정이 이루어진다. 만일 그렇다면, 처리는 동작 642로 진행하여, 전술된 바와 같이 마스크 내의 대응하는 픽셀의 값이 업데이트된다. 만일 그렇다면, 선택된 픽셀 값은 변경없이 유지되고 처리는 동작 646으로 진행한다.

동작 644에서, 동작 642에서 업데이트된 마스크의 임의의 픽셀에서, 향상된 이미지 픽셀 값은 다음과 같은 방정식에 따라 수정된다:

imgEnhance(j,i) = imgbuf(j,i) + mask(j,i)

동작 646에서, imgbuf의 모든 픽셀이 처리되었는지가 결정된다. 만일 그렇지 않다면, 처리는 새로운 픽셀이 선택되는 동작 628로 진행한다. 만일 그렇다면, 처리는 동작 648로 진행하여, 비선명 마스크 및 향상된 이미지 imgEnhance 양쪽 모두에 대한 패딩된 픽셀의 위치에 있는 임의의 픽셀이 제거된다. 결과적인 향상된 이미지 imgEnhance는, 예를 들어, 향상된 이미지(크기: W x H, 여기서 W 및 H는 저해상도 이미지의 공간 해상도의 폭과 높이를 나타냄)로서 메모리에 저장되고, 비선명 마스크는, 예를 들어, 엣지(크기: W x H, 여기서 W 및 H는 저해상도 이미지의 공간 해상도의 폭과 높이를 나타냄)로서 메모리에 저장된다.

도 8은 본 개시내용의 한 예시적인 실시예에 따른 콘트라스트 향상을 위한 방법(800)의 플로차트를 나타낸다. 방법(800)은 동작 522와 관련하여 전술된 postConstrastEnh() 함수를 수행한다. 방법(800)은, 예를 들어 도 1에 나타낸 라인 스캔 카메라(100) 등의 이미지 취득 디바이스의 프로세서일 수 있는 프로세서에 의해 실행되는 소프트웨어에 의해 수행될 수 있다. 대안으로서, 방법(800)은 이미지 취득 디바이스와는 구분되는 별개의 처리 유닛에 의해 수행될 수 있다. 방법(800)은 전형적으로 전술된 방법(500 및 600)과 동일한 프로세서에 의해 수행된다.

동작 802에서, 방법(500)의 동작 520에서 생성된 초해상도 엣지 정보 SR_edge1 및 SR_edge2는 방법(800)에 대한 입력으로서 수신된다.

동작 804에서, SR_edge1 및 SR_edge2로부터의 픽셀 요소(j,i)가 선택되고, 여기서 j >= 1 및 j <= 2H이고 i > = 1 및 i <= 2W이며, 여기서 W 및 H는 저해상도 이미지의 공간 해상도의 폭과 높이를 각각 나타낸다.

동작 806에서, 양쪽 엣지 픽셀 값이 양수인지, 즉, SR_edge1(j,i) > 0 및 SR_edge2(j,i) > 0?가 결정된다. 양쪽 엣지 픽셀 값이 양수가 아니면, 처리는 동작 810으로 진행한다. 양쪽 엣지 픽셀 값이 양수이면, 처리는 동작 808로 진행하여, SR_edge1(j,i)와 SR_edge2(j,i) 중 최대값이 향상된 초해상도 엣지 정보 그리드에 추가된다(SR_edge(j,i) = max (SR_edge1(j,i), SR_edge2(j,i)).

동작 810에서, 양쪽 엣지 픽셀 값이 음수인지, 즉, SR_edge1(j,i) < 0 및 SR_edge2(j,i) < 0?가 결정된다. 엣지 픽셀의 값은 부호있는 부동 소수점 숫자에 의해 정의될 수 있다. 8 비트 이미지의 경우, 값은 -255 내지 +255의 범위일 수 있다. 양쪽 엣지 픽셀 값이 음수가 아니면, 처리는 동작 814로 진행한다. 양쪽 엣지 픽셀 값이 음수이면, 처리는 동작 812로 진행하여, SR_edge1(j,i)와 SR_edge2(j,i) 중 최소값이 향상된 초해상도 엣지 정보 그리드에 추가된다(SR_edge(j,i) = min (SR_edge1(j,i), SR_edge2(j,i)).

동작 814에서, 하나의 엣지 픽셀 값이 양수이고 다른 엣지 픽셀 값이 음수인지, 즉, SR_edge1(j,i) < 0이고 SR_edge2(j,i) > 0인지 또는 SR_edge1(j,i) > 0이고 SR_edge2(j,i) < 0?가 결정된다. 이 조건이 충족되지 않으면, 처리는 동작 818로 진행한다. 이 조건이 충족되면, 처리는 동작 816으로 진행하여, SR_edge1(j,i) 및 SR_edge2(j,i)의 평균값/중간값이 향상된 초해상도 엣지 정보 그리드에 추가된다(SR_edge(j,i) = mean(SR_edge1(j,i), SR_edge2(j,i))).

동작 818에서, SR_edge1 및 SR_edge2의 모든 픽셀이 처리되었는지가 결정된다. 만일 그렇지 않다면, 처리는 동작 804로 진행한다. 만일 그렇다면, 처리는 향상된 초해상도 엣지 정보 그리드가 예를 들어 SR_edge로서 메모리에 저장되는 동작 820으로 진행한다.

도 9a 내지 도 9f는 본 개시내용의 방법의 한 예시적인 실시예에 따라 처리된 예시적인 이미지를 나타낸다. 이미지 902는 고해상도 이미지의 2:1 다운샘플링에 의해 생성되고, 이미지 904는 대각선으로 하나의 픽셀 시프트를 갖는 동일한 고해상도 이미지의 2:1 다운샘플링에 의해 생성된다. 센서 포인트 확산 함수(point spread function)(PSF)를 모델링하기 위해, 공간 평균 연산자가 다운샘플링에 이용된다. 이러한 방식으로, 도 9a 및 도 9b의 2개의 앨리어싱된 저해상도 이미지 902 및 904가 각각 획득되고, 이미지 904는 이미지 902로부터 절반 픽셀만큼 대각선으로 시프트된다. 도 9c의 이미지 906은 도 5의 방법(500)에 따라 저해상도 이미지 902 및 904에 기초하여 생성된 초해상도 이미지이다. 이미지 902 및 904는 이미지 906과 비교하기 위해 2배만큼 확대된다. 초해상도 이미지 906의 정교한 상세사항에 관한 선명도의 개선이 명확하게 보인다. 도 9d 및 도 9e의 이미지 908 및 910은 각각 이미지 902 및 904와 동일한 방식으로 생성된 앨리어싱된 저해상도 이미지이며, 이미지 910은 이미지 908로부터 절반 픽셀만큼 대각선으로 시프트된다. 도 9f의 이미지 912는 도 5의 방법(500)에 따라 저해상도 이미지 908 및 910에 기초하여 재구성된 초해상도 이미지이다. 이미지 908 및 910은 또한, 이미지 912와 비교하기 위해 2배만큼 확대된다. 초해상도 결과 이미지 912는 앨리어싱으로부터 섬세한 상세사항을 뚜렷하게 복구한다.

이제 도 10a 및 도 10b를 참조하면, 공간 해상도 향상의 수학적 평가가 본 개시내용의 예시적인 실시예에 의해 제공된다. 도 10a는 위에서 아래로 증가하는 다양한 공간 주파수의 흑백 사인파 패턴(1000)을 갖는 시뮬레이션된 이미지이다. 흑백 라인 패턴(1000)은 본 개시내용의 예시적인 실시예들을 평가하기 위해 광학 시스템에 의해 이용될 수 있다. 도 10b는 본 개시내용의 예시적인 실시예들을 평가하는데 이용되는 다양한 이미지에 대한 변조 전달 함수의 그래프이다. 도 10c 및 도 10d는 각각 참조에 의해 식별된 도 10a의 라인 패턴의 2개의 라인 쌍 공간 주파수에서 거리에 따른 강도의 사인파 응답을 보여주는 라인 프로파일이다. 라인 프로파일 1004가 라인 프로파일 1002보다 큰 공간 주파수를 갖는다는 것을 알 수 있다. 콘트라스트를 유지하는 이미지 취득 디바이스의 능력이 더 높은 공간 주파수에서 저하됨에 따라, 즉, 이미지 취득 디바이스가 검정과 라인 쌍을 구분할 수 없게 되면, 라인 프로파일 1002 및 1004에 도시된 바와 같이 사인파의 강도 값 또는 진폭이 감쇠되기 시작한다.

본 기술분야에 공지된 바와 같이, 변조 전달 함수(MTF)는 이미지 취득 디바이스의 공간 해상도 성능의 척도이다. MTF는 특정한 해상도의 콘트라스트를 객체로부터 이미지로 전송하는 이미지 취득 디바이스의 능력의 측정을 제공한다. 즉, MTF는, 이미지 취득 디바이스의 공간 주파수 응답, 또는 주어진 거리에서 상세사항의 양이 증가함에 따라 콘트라스트를 유지하는 이미지 취득 디바이스의 능력을 측정한다. MTF는 이산 주파수 생성에 의해 측정될 수 있다. 주어진 공간 주파수에 대한 변조는 다음과 같은 방정식을 이용하여 계산할 수 있다:

본 개시내용의 방법(500)에 의해 제공되는 공간 해상도 향상을 정량화하기 위한 목적으로, MTF의 향상은 생성된 초해상도 이미지와 저해상도 이미지 사이의 공간 해상도 향상을 나타낼 수 있다. 도 10b는 밀리미터 당 라인 쌍에서의 공간 주파수에 대한 변조의 그래프이다. 도 10b의 MTF 그래프는 8배로 다운샘플링된 저해상도 이미지의 MTF와 4배와 6배로 다운샘플링된 이미지의 MTF뿐만 아니라 본 개시내용의 예시적인 실시예에 따라 생성된 2개의 초해상도 이미지의 MTF를 비교한다. 공간 주파수가 증가함에 따라 MTF 곡선은 0에 도달할 때까지 떨어진다. 도 10b에서 볼 수 있는 바와 같이, 생성된 초해상도 이미지들의 MTF는 4배 및 6배로 다운샘플링된 이미지들의 MTF 사이에 있다. 저해상도 이미지가 픽셀 크기 5㎛의 이미지 취득 디바이스로부터 나온 것이라고 가정하면, 4배와 6배로 다운샘플링된 이미지는, 각각 픽셀 크기 2.5㎛ 및 3.75㎛를 갖는 이미지 취득 디바이스로부터 나온 것으로 간주될 수 있다. 따라서, 재생성된 초해상도 이미지의 해상도는, 3.75㎛ 내지 2.5㎛의 픽셀 크기를 갖는 이미지 취득 디바이스의 해상도와 균등하다. 노이즈 영향을 고려할 때, 저해상도 이미지에 비한 생성된 초해상도 이미지의 해상도 향상은 약 33% 내지 40%이다.

도 11은 본 개시내용의 한 예시적인 실시예에 따라 고 MTF 저해상도 이미지를 생성하기 위해 초해상도 이미지를 다운샘플링하기 위한 방법(1100)의 플로차트를 도시한다.

동작 1100에서, 도 5의 방법(500)에 따라 생성된 초해상도 이미지가 로드되고 예를 들어 SR로서 메모리에 저장된다. 초해상도 이미지는 치수 2W x 2H를 가지며, 여기서 W와 H는 각각 저해상도 이미지의 폭과 높이이다.

동작 1104에서, 초해상도 이미지 SR은, 예를 들어 여기서 설명된 알고리즘을 이용하여 적응적으로 향상되고, 예를 들어 SREnhance로서 메모리에 저장된다.

동작 1106에서, 2 패스 쌍선형 다운샘플링 알고리즘이 적응적으로 향상된 초해상도 이미지 SREnhance에 적용된다. 일부 예시적인 실시예에서, 적응적으로 향상된 초해상도 이미지는 2:1의 인자만큼 다운샘플링된다. 하나의 예에 따르면, 픽셀 DN(1,1)에서 시작하여 2x2 커널 또는 관심 영역(ROI)에서 매 4개의 픽셀을 평균화함으로써 각각의 픽셀 DN(x, y)에 대한 향상된 초해상도 이미지에 관해 제1 패스 다운샘플링이 수행되어, 다음과 같은 방정식에 따라 새로운 대응하는 픽셀 값을 생성한다.

여기서, 1 <= j <= 2 H, 1 <= i <= 2W, 1 <= y <= H, 및 1 <= x <= W이다.

향상된 초해상도 이미지의 모든 픽셀이 다운샘플링되었을 때, 결과적인 제1 중간 저해상도 이미지는 예를 들어 scaleDown1로서 메모리에 저장된다.

그 다음, 향상된 초해상도 이미지에 관해 제2 패스 다운샘플링이 수행되지만, 픽셀 DN(1,1)에서 시작하는 것 대신에, 제2 패스는 픽셀 DN(2,2)에서 시작하여, 대각선 전체 픽셀 시프트를 반영한다. 제2 패스 다운샘플링이 수행된다

여기서, 2 <= j <= 2H + 1, 2 <= i <= 2W + 1, 1 <= y <= H 및 1 <= x <= W이다.

제2 패스 다운샘플링이 완료되면, 결과적인 제2 중간 저해상도 이미지는 예를 들어 scaleDown2로서 메모리에 저장된다.

마지막으로, (고 정확도, 저해상도 이미지, 또는 고 MTF 저해상도 이미지라고도 알려진) 고선명도, 저해상도 이미지는, 다운샘플링된 제1 및 제2 중간 저해상도 이미지, scaleDown1 및 scaleDown2를 결합하고, 다음과 같이 평균화함으로써 생성된다:

highMTF = 0.5 * (scaleDown1 + scaleDown2)

동작 1108에서, 다운샘플링된 이미지는 예를 들어 고 MTF로서 메모리에 저장된다.

도 12a 내지 도 12d는 본 개시내용의 한 예시적인 실시예의 결과를 나타낸다. 도 12a는 본 개시내용의 한 예시적인 실시예를 이용하여 생성된 초해상도 이미지의 일부이다. 도 12b 및 도 12c는 본 개시내용의 한 예시적인 실시예를 이용하여 도 12a의 초해상도 이미지를 생성하는데 이용되는 제1 및 제2 저해상도 이미지의 동일한 부분이다. 도 12d는 본 개시내용의 한 예시적인 실시예를 이용하여 도 12a의 초해상도 이미지로부터 생성된 고 MTF 이미지의 동일한 부분이다. 도 12b 및 도 12c의 저해상도 이미지와 도 12d의 고 MTF 이미지는 도 12a의 초해상도 이미지와 비교하기 위해 2배로 확대된다.

도 13a 내지 도 13e는 본 개시내용의 한 예시적인 실시예의 결과를 나타내는 CMOS TDI 카메라로부터의 이미지이다. 카메라는 USAF 1951 타겟을 촬영하도록 설정되었다. 대각선으로 절반 픽셀 시프트를 갖는 2개의 저해상도 이미지가 카메라로 캡처되었다. 도 13a는 2개의 저해상도 이미지 중 하나를 도시한다. 도 13b는 도 13a의 저해상도 이미지의 확대도이다. 도 13c는 2개의 저해상도 이미지에 기초하여 생성된 초해상도 이미지의 확대도이며, 저해상도 이미지 중 하나는 도 13a에 도시된 바와 같다. 비교를 위해, 도 13b는 도 13c보다 2배 더 확대되었다. 도 13d 및 도 13e는 매우 높은 주파수에서의 도 13b의 저해상도 이미지 및 도 13c의 초해상도 이미지의 라인 프로파일을 나타낸다. 도 13d 및 도 13e의 라인 프로파일은 각각 화살표(1302 및 1304)로 표시된 도 13b의 저해상도 이미지 및 초해상도 이미지의 영역에 기초한다. 라인 프로파일은 초해상도 이미지에서 고주파 정보가 복구되었음을 보여준다.

설명된 실시예들이 주로 라인 스캔 카메라에 관한 것이지만, 본 개시내용의 교시는 영역 스캔 디지털 카메라 등의 다른 적절한 디지털 촬영 디바이스에 적용될 수 있다.

개론

본 명세서에 설명된 플로차트 및 도면에서의 단계 및/또는 동작은 단지 예시의 목적을 위한 것이다. 본 개시내용의 교시로부터 벗어나지 않고 이들 단계 및/또는 동작에 대한 많은 변형이 있을 수 있다. 예를 들어, 단계들이 상이한 순서로 수행되거나, 단계들이 추가되거나, 삭제되거나, 수정될 수 있다.

전술된 방법을 실행하기 위한 소프트웨어의 코딩은 본 개시내용에 관련된 기술분야의 통상의 기술자의 범위 내에 있다. 전술된 방법을 수행하기 위해 하나 이상의 각각의 디바이스의 하나 이상의 프로세서에 의해 실행가능한 머신 판독가능한 코드는, 데이터 관리자의 메모리 등의 머신 판독가능한 매체에 저장될 수 있다. 용어 "소프트웨어" 및 "펌웨어"는 본 개시내용 내에서 서로 바꾸어 사용될 수 있고, RAM(Random Access Memory) 메모리, ROM(Read Only Memory) 메모리, EPROM 메모리, 전기적 EPROM(EEPROM) 메모리, 및 비휘발성 RAM(NVRAM) 메모리를 포함한, 프로세서에 의한 실행을 위해 메모리에 저장된 임의의 컴퓨터 프로그램을 포함한다. 상기의 메모리 유형은 예일 뿐이며, 컴퓨터 프로그램의 저장에 이용할 수 있는 메모리 유형에 관한 제한이 아니다.

개시된 범위 내의 모든 값 및 하위 범위도 역시 개시된다. 또한, 본 명세서에 개시되고 도시된 시스템, 디바이스 및 프로세스는, 특정한 복수의 요소를 포함할 수 있지만, 시스템, 디바이스 및 어셈블리는 이러한 요소를 추가하거나 더 적게 포함하도록 수정될 수 있다. 수개의 예시적인 실시예가 여기서 설명되어 있지만, 수정, 개조, 및 다른 구현이 가능하다. 예를 들어, 도면에 나타낸 요소들에 대한 대체, 추가, 또는 수정이 이루어질 수 있고, 여기서 설명된 예시적인 방법은, 개시된 방법에 대한 단계들을 대체하거나, 재정렬하거나 추가함으로써 수정될 수 있다.

전술된 실시예들 중 하나 이상으로부터의 피처들은, 상기에서 명시적으로 설명되지 않은 것일 수도 있는 피처들의 하위조합으로 구성된 대체 실시예를 생성하도록 선택될 수 있다. 또한, 전술된 실시예들 중 하나 이상으로부터의 피처들은 선택되고 결합되어 상기에서 명시적으로 설명되지 않은 것일 수도 있는 피처들의 조합으로 구성된 대안적인 실시예를 생성할 수 있다. 이러한 조합 및 하위조합에 적합한 피처는 본 출원 전체를 검토할 때 본 기술분야의 통상의 기술자에게 용이하게 명백할 것이다.

또한, 여기서 설명된 예시적인 실시예들에 대한 철저한 이해를 제공하기 위해 수많은 특정한 상세사항이 개시되었다. 그러나, 본 명세서에 설명된 예시적인 실시예들은 이들 특정한 상세사항없이도 실시될 수 있다는 것을 본 기술분야의 통상의 기술자라면 이해할 것이다. 더욱이, 널리 공지된 방법, 절차 및 요소는, 여기서 설명된 예시적인 실시예들을 모호하게 하지 않기 위해 상세히 설명하지 않았다. 본 명세서 및 기재된 청구항들에서 설명된 주제는 기술에서의 모든 적절한 변경을 포괄하고 포함하도록 의도된 것이다.

본 개시내용이 적어도 부분적으로 방법의 관점에서 설명되었지만, 본 기술분야의 통상의 기술자라면, 본 개시내용은, 하드웨어, 소프트웨어 또는 이들의 조합을 통해, 설명된 방법들의 양태와 피처들 중 적어도 일부를 수행하기 위한 다양한 요소에 관한 것임을 이해할 것이다. 따라서, 본 개시내용의 기술적 솔루션은, 처리 디바이스가 여기서 개시된 방법들의 예를 실행할 수 있게 하는 실행가능한 명령어들이 유형적으로 저장된 비휘발성 또는 비일시적인 머신 판독가능한 매체(예를 들어, 광 디스크, 플래시 메모리 등)로 구현될 수 있다.

용어 "프로세서"는, 마이크로프로세서/제어기 또는 나노프로세서/제어기, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), RISC(reduced instruction set circuit), 로직 회로, 및 여기서 설명된 기능들을 실행할 수 있는 기타 임의의 회로 또는 프로세서를 이용하는 시스템을 포함한 임의의 프로그램가능한 시스템을 포함할 수 있다. 용어 "데이터베이스"는, 데이터의 몸체부, 관계형 데이터베이스 관리 시스템(RDBMS), 또는 양쪽 모두를 지칭할 수 있다. 본 명세서에서 사용될 때, 데이터베이스는 계층적 데이터베이스, 관계형 데이터베이스, 플랫 파일 데이터베이스, 객체-관계형 데이터베이스, 객체 지향형 데이터베이스, 및 컴퓨터 시스템에 저장된 데이터 또는 레코드의 기타 임의의 구조화된 모음을 포함한 데이터의 임의의 모음을 포함할 수 있다. 상기의 예들은 예일 뿐이므로, "프로세서" 또는 "데이터베이스"라는 용어의 정의 및/또는 의미를 어떤 식으로든 제한하려는 의도는 아니다.

Claims (52)

1. 이미지 해상도 향상 시스템으로서,
   처리 회로 및 메모리 유닛
   을 포함하며,
   상기 메모리 유닛은 하나 이상의 명령어를 저장하도록 구성되고, 상기 하나 이상의 명령어는, 상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금:
   동일한 장면의 제1 저해상도 이미지 및 제2 저해상도 이미지를 수신하고 - 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지는 제1 공간 해상도를 가지며 공통 이미지 센서의 한 쌍의 픽셀 어레이들에 의해 동시에 캡처되고, 상기 이미지 센서의 한 쌍의 픽셀 어레이들은 서브픽셀 증분만큼 서로 대각선으로 시프트되도록 위치함 -;
   향상된 제1 저해상도 이미지 및 향상된 제2 저해상도 이미지를 각각 생성하기 위해 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지를 적응적으로 향상시키고;
   상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지로부터 각각 엣지 정보를 추출하고;
   상기 향상된 제1 및 제2 저해상도 이미지들 각각의 픽셀들을 상기 제1 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 그리드에 맵핑하여 제1 중간 초해상도 이미지 및 제2 중간 초해상도 이미지를 각각 생성하고;
   상기 제1 중간 초해상도 이미지와 상기 제2 중간 초해상도 이미지를 결합하여 합성 초해상도 이미지를 생성하고;
   상기 제1 및 제2 저해상도 이미지들의 엣지 정보를 상기 제1 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 그리드에 맵핑하여 향상된 초해상도 엣지 정보를 생성하고;
   상기 합성 초해상도 이미지의 콘트라스트를 상기 향상된 초해상도 엣지 정보로 향상시켜 콘트라스트 복구된 초해상도 이미지를 생성하도록 하는, 이미지 해상도 향상 시스템.
2. 제1항에 있어서,
   상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지를 적응적으로 향상시키도록 하는 상기 명령어들은, 또한 상기 처리 회로로 하여금:
   상기 제1 저해상도 이미지로부터 제1 엣지 정보를 추출하고 상기 제2 저해상도 이미지로부터 제2 엣지 정보를 추출하고;
   상기 제1 저해상도 이미지 또는 상기 제2 저해상도 이미지의 각각의 픽셀에 대해:
   상기 제1 엣지 정보 또는 제2 엣지 정보를 이용하여, 상기 제1 또는 제2 저해상도 이미지의 픽셀이 엣지 픽셀인지를 결정하고;
   엣지 픽셀인 각각의 픽셀에 대해,
   상기 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값 및 최소값을 결정하고,
   향상된 픽셀이 상기 최대값보다 크거나 상기 최소값보다 작은 초기값을 갖는다는 결정에 응답하여 상기 제1 또는 제2 저해상도 이미지의 픽셀의 값을 향상시키도록 하는, 이미지 해상도 향상 시스템.
3. 제1항에 있어서,
   상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지를 적응적으로 향상시키도록 하는 상기 명령어들은, 또한 상기 처리 회로로 하여금:
   상기 제1 저해상도 이미지로부터 제1 엣지 정보를 추출하고 상기 제2 저해상도 이미지로부터 제2 엣지 정보를 추출하고;
   상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지에 평활화 알고리즘을 적용하고;
   상기 제1 및 제2 저해상도 이미지들과 상기 평활화된 제1 저해상도 이미지 및 제2 저해상도 이미지에 기초하여 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지 각각에 대한 비선명 마스크를 생성하고 - 상기 비선명 마스크는 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지의 상기 제1 공간 해상도와 동일한 공간 해상도를 가짐 -;
   상기 제1 또는 제2 저해상도 이미지에 상기 비선명 마스크를 추가함으로써 향상된 이미지를 초기화하고;
   상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지의 각각의 픽셀에 대해:
   상기 제1 엣지 정보 또는 제2 엣지 정보를 이용하여, 상기 제1 또는 제2 저해상도 이미지의 픽셀이 엣지 픽셀인지를 결정하고;
   엣지 픽셀인 각각의 픽셀에 대해,
   상기 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값 및 최소값을 결정하고,
   상기 픽셀이 상기 최대값과 최소값 사이의 값을 갖고 있는지 및 향상된 저해상도 이미지 내의 대응하는 픽셀의 값이 상기 최대값보다 크거나 상기 최소값보다 작은지를 결정하고,
   상기 픽셀이 상기 최대값과 최소값 사이의 값을 가지고 있으며 향상된 저해상도 이미지 내의 대응하는 픽셀이 상기 최대값 및 최소값을 넘어서는 값을 가지고 있다는 결정에 응답하여 상기 제1 또는 제2 저해상도 이미지의 픽셀에 대응하는 상기 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키고,
   상기 향상된 저해상도 이미지의 픽셀의 값을 상기 비선명 마스크의 요소의 향상된 값과 상기 저해상도 이미지의 픽셀의 값의 합으로 대체하도록 하는, 이미지 해상도 향상 시스템.
4. 제3항에 있어서,
   상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지 각각에 대한 비선명 마스크를 생성하도록 하는 상기 명령어들은, 또한 상기 처리 회로로 하여금:
   상기 제1 또는 제2 저해상도 이미지와 상기 평활화된 제1 또는 제2 저해상도 이미지 각각의 사이의 차이로서 상기 비선명 마스크를 초기화하고;
   상기 비선명 마스크의 각각의 픽셀에 대해:
   상기 제1 엣지 정보 또는 제2 엣지 정보를 이용하여, 상기 비선명 마스크의 픽셀이 엣지 픽셀인지를 결정하고;
   엣지 픽셀인 각각의 픽셀에 대해, 상기 비선명 마스크의 픽셀의 절대값이 향상 임계값보다 크거나 같은 것에 응답하여 상기 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키고;
   엣지 픽셀이 아닌 각각의 픽셀에 대해, 상기 비선명 마스크의 픽셀의 절대값이 컷오프 임계값보다 작거나 같은 것에 응답하여 상기 비선명 마스크의 픽셀의 값을 0으로 설정하고;
   엣지 픽셀이 아닌 각각의 픽셀에 대해, 상기 비선명 마스크의 픽셀의 절대값이 상기 향상 임계값보다 크거나 같은 것에 응답하여 상기 비선명 마스크의 픽셀의 값을 향상 계수에 의해 향상시키도록 하는, 이미지 해상도 향상 시스템.
5. 제1항에 있어서,
   상기 명령어들은, 상기 처리 회로에 의해 실행될 때, 또한 상기 처리 회로로 하여금:
   상기 제1 저해상도 이미지로부터 제1 엣지 정보를 추출하고 상기 제2 저해상도 이미지로부터 제2 엣지 정보를 추출하고;
   상기 제1 엣지 정보 및 상기 제2 엣지 정보의 픽셀들을 상기 제1 공간 해상도보다 큰 공간 해상도를 갖는 초해상도 그리드에 맵핑하여 제1 초해상도 엣지 정보 및 제2 초해상도 엣지 정보를 각각 생성하고;
   향상된 초해상도 엣지 정보 그리드를 생성하기 위해 상기 제1 초해상도 엣지 정보 및 상기 제2 초해상도 엣지 정보를 적응적으로 향상시키고 결합하고;
   상기 합성 초해상도 이미지를 상기 향상된 초해상도 엣지 정보 그리드로 향상시켜 콘트라스트 복구된 초해상도 이미지를 생성하도록 하는, 이미지 해상도 향상 시스템.
6. 제5항에 있어서,
   상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금 상기 합성 초해상도 이미지를 상기 향상된 초해상도 엣지 정보로 향상시키도록 하는 상기 명령어들은, 또한 상기 처리 회로로 하여금:
   상기 제1 초해상도 엣지 정보 및 상기 제2 초해상도 엣지 정보에서 공간 대응하는 픽셀들의 각각의 쌍에 대해:
   상기 쌍의 픽셀들 둘 다가 양의 값을 갖는다는 결정에 응답하여, 향상된 초해상도 엣지 정보 그리드의 공간 대응하는 값을 상기 공간 대응하는 픽셀들의 쌍의 값들 중 최대값으로 설정하고;
   상기 쌍의 픽셀들 둘 다가 음의 값을 갖는다는 결정에 응답하여, 상기 향상된 초해상도 엣지 정보 그리드의 공간 대응하는 값을 상기 공간 대응하는 픽셀들의 쌍의 값들 중 최소값으로 설정하고;
   상기 쌍의 픽셀들 중 하나가 양의 값을 갖고 상기 쌍의 픽셀들 중 하나가 음의 값을 갖는다는 결정에 응답하여, 상기 향상된 초해상도 엣지 정보 그리드의 공간 대응하는 값을 상기 공간 대응하는 픽셀들의 쌍의 값들의 평균으로 설정하고;
   상기 합성 초해상도 이미지를 상기 향상된 초해상도 엣지 정보 그리드와 결합하도록 하는, 이미지 해상도 향상 시스템.
7. 제1항에 있어서,
   상기 초해상도 그리드는 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지의 공간 해상도의 2배의 공간 해상도를 갖는, 이미지 해상도 향상 시스템.
8. 제7항에 있어서,
   상기 향상된 제1 및 제2 저해상도 이미지들 각각의 픽셀들은 상기 초해상도 그리드에 불균일하게 맵핑되는, 이미지 해상도 향상 시스템.
9. 제1항에 있어서,
   상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금, 상기 제1 중간 초해상도 이미지와 상기 제2 중간 초해상도 이미지를 결합하여 합성 초해상도 이미지를 생성하도록 하는 상기 명령어들은, 상기 처리 회로로 하여금 쌍선형 스태킹(bilinear stacking) 결합을 수행하게 하는, 이미지 해상도 향상 시스템.
10. 제1항에 있어서,
    상기 명령어들은, 상기 처리 회로에 의해 실행될 때, 또한 상기 처리 회로로 하여금:
    콘트라스트 향상을 위해 상기 합성 초해상도 이미지에서 픽셀들을 식별하고;
    콘트라스트 향상을 위해 식별된 각각의 픽셀에 대한 콘트라스트 향상의 양을 결정하고;
    콘트라스트 향상을 위해 식별된 각각의 픽셀에 상기 결정된 콘트라스트 향상의 양을 적용하여 콘트라스트 복구된 초해상도 이미지를 생성하도록 하는, 이미지 해상도 향상 시스템.
11. 제10항에 있어서,
    상기 명령어들은, 상기 처리 회로에 의해 실행될 때, 또한 상기 처리 회로로 하여금:
    상기 콘트라스트 복구된 초해상도 이미지를 적응적으로 향상시키고;
    제1 픽셀에서 시작하여, 상기 향상된 초해상도 이미지에 대해 제1 패스 쌍선형 다운샘플링(pass bilinear downsampling)을 수행하여 제1 중간 저해상도 이미지를 생성하고;
    픽셀 증분만큼 상기 제1 픽셀로부터 대각선으로 시프트된 제2 픽셀에서 시작하여, 상기 향상된 초해상도 이미지에 대해 제2 쌍선형 다운샘플링을 수행하여 제2 중간 저해상도 이미지를 생성하고;
    상기 제1 및 제2 중간 저해상도 이미지들을 결합하여, 고선명도, 저해상도 이미지를 생성하도록 하는, 이미지 해상도 향상 시스템.
12. 제11항에 있어서,
    상기 처리 회로에 의해 실행될 때, 상기 제1 및 제2 중간 저해상도 이미지들을 결합하도록 하는 상기 명령어들은, 상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금, 상기 제1 및 제2 중간 저해상도 이미지들 내의 공간적으로 대응하는 픽셀들의 강도 값들을 평균화하도록 하는 명령어들을 포함하는, 이미지 해상도 향상 시스템.
13. 제11항에 있어서,
    상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금, 상기 콘트라스트 복구된 초해상도 이미지를 적응적으로 향상시키도록 하는 상기 명령어들은, 또한 상기 처리 회로로 하여금:
    상기 콘트라스트 복구된 초해상도 이미지로부터 엣지 정보를 추출하고;
    상기 콘트라스트 복구된 초해상도 이미지의 각각의 픽셀에 대해:
    상기 엣지 정보를 이용하여, 상기 픽셀이 엣지 픽셀인지를 결정하고;
    엣지 픽셀인 각각의 픽셀에 대해,
    상기 픽셀을 중심으로 미리결정된 영역 내의 픽셀들의 최대값 및 최소값을 결정하고,
    향상된 픽셀이 상기 최대값보다 크거나 상기 최소값보다 작은 초기값을 갖는다는 결정에 응답하여 상기 제1 또는 제2 저해상도 이미지의 픽셀의 값을 향상시키도록 하는, 이미지 해상도 향상 시스템.
14. 제11항에 있어서,
    상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금, 제1 패스 및 제2 패스 쌍선형 다운샘플링들을 수행하도록 하는 상기 명령어들은, 상기 처리 회로에 의해 실행될 때, 상기 처리 회로로 하여금, 고해상도 이미지의 복수의 픽셀의 평균화를 수행하도록 하는 명령어들을 포함하는, 이미지 해상도 향상 시스템.
15. 제1항에 있어서,
    상기 명령어들은, 상기 처리 회로에 의해 실행될 때, 또한 상기 처리 회로로 하여금:
    이미지 센서로부터 상기 제1 저해상도 이미지 및 상기 제2 저해상도 이미지를 취득하도록 하는, 이미지 해상도 향상 시스템.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제
47. 삭제
48. 삭제
49. 삭제
50. 삭제
51. 삭제
52. 삭제

Images