KR101689177B1 - 알려진 배경을 사용하는 고유한 디지털 이미징 방법 - Google Patents

Abstract

이미지 센서를 이용하는 방법은, 상기 이미지 센서의 디자인된 해상도보다 큰 이미지의 해상도를 계산할 수 있는 단계를 포함한다. 견본을 다중 픽셀을 가지는 이미지 센서의 시야 범위 내의 알려진 배경상에 위치시킨다. 상기 견본은 그곳에 상대적인 제1 위치에서 상기 이미지 센서상에 초점이 맞춰지고 상기 알려진 배경도 상기 이미지 센서상에 초점이 맞춰지도록 한다. 상기 제1 위치에서 상기 이미지 센서상에 초점이 맞춰진 상기 알려진 배경 및 상기 견본을 위한 이미지가 기록되고, 견본 영역 및 배경 픽셀이 상기 기록된 이미지로부터 설정된다. 상기 견본은 상기 이미지 센서에 상대적인 제2 위치로 이동하여 타겟 배경 픽셀 내부에 상기 견본 영역의 일부가 위치되도록 한다. 상기 제2 위치에서 상기 이미지 센서상에 초점이 맞춰진 상기 알려진 배경 및 상기 견본을 위한 이미지가 기록되고, 상기 배경 픽셀로 이동한 상기 견본 영역의 일부를 위한 비트 깊이가 계산된다.

Description

알려진 배경을 사용하는 고유한 디지털 이미징 방법{UNIQUE DIGITAL IMAGING METHOD EMPLOYING KNOWN BACKGROUND}

본 발명은 디지털 이미징에 관한 것이다. 보다 구체적으로, 본 발명은 디지털 이미지 센서로 얻을 수 있는 해상도를 증가시키는 방법에 관한 것이다. 특히, 디지털 이미지 센서와 알려진 배경상의 견본 세트간의 상대적 움직임을 사용하여 상기 이미지 센서의 해상도보다 큰 해상도를 가지는 이미지를 계산하고 만들어낼 수 있다.

디지털 기술은 과학, 미디어 및 엔터테인먼트 분야에서 지배적 형태가 되어 왔다. 전하결합소자(CCD) 및 상보성 금속 산화막 반도체(CMOS) 센서들은 1970년대부터 사용되고 있다; 그런데, 픽셀 크기, 컬러 깊이 및 부분 해상도의 제한으로 인해 해상도를 향상시키기 위한 창의적인 수단들의 사용의 필요성이 요구되어왔다. 잡음을 제거하고 에지를 부드럽게 하는 많은 노력들이 있어 왔다. 서브-픽셀라이제이션(sub-pixelization)을 위한 기술들은 해상도 향상, 특히 고선명 텔레비젼 및 비디오 등과 같은 일반 기술에 중요한 진전이었다.

1992년 출원된 미국 특허 제5,251,037호에는 마이크로프로세서를 이용하여 CCD로부터 다중 이미지를 처리하는 방법이 설명되어 있다. 이 방법은 분리된 CCD가 있는 카메라를 이동시키면서 노출을 제어하여 높은 해상도를 얻는다.

1992년에 공표된 Telkap 등의 논문인 "High Resolution Image Reconstruction From Lower-Resolution Image Sequences and Space-Varying Image Reconstruction"에는 푸리어 변환을 이용하여 픽셀 값의 주파수를 계산하는 방법 및 잡음을 감소시키는 방법을 보여주고 있다. 이는 보다 높은 밀도의 CCD의 도움이 없이 해상도 향상을 실현하는 중요한 진전이긴 하지만, 상기 보간 향상 이미지는 해상도를 극복하지는 못했다.

1996년 표제 "IEEE Transaction on Image Processing"인 기술 논문 VOL.5, NO.6에는 이러한 향상 타입이 더 설명되어 있다. 커브를 부드럽게 하고 에일리어싱(aliasing)을 피하는 것을 제공하기 위해 픽셀을 흐리게(blurr) 하는 방법은, 디지털 비디오를 더 특별히 매력적이게 하였다.

필름 및 대부분의 비디오에 초당 30프레임을 사용하는 것, 그리고 수학적 방법을 사용하여 픽셀간 미지의 영역을 채워 스크린에 의해 또는 카메라 성능에 의해 정해지는 것보다 우수한 이미지를 얻는 것과 같은 이미지를 얻는 다양한 방법들이 제안되고 있다. 이 방법은 서브-픽셀라이제이션(sub-pixelization)으로 불리는데, 하나의 픽셀보다 작은 크기의 오브젝트를 관찰하는 방법을 직접 제공하지는 못하지만, 트렌드(trend)로부터 외삽 또는 알려진 값을 겹치는 것 중 하나를 제공한다.

미국 특허출원 제2007/0171284 A1에는 서브-픽셀라이제이션의 한 예가 설명되어 있다. 견본은 이미저(imager)상에 초점이 맞춰지고, 상기 견본이 픽셀의 크기보다 작은 거리만큼 상기 이미저에 대해 이동하는 것에 따라 이미지들이 캡처된다. 컬러 내에서 시프트가 발견될 때 마다(즉 적, 청 및 녹색값 중 하나로 변함) 평균 방법을 사용하여 픽셀간 부드러운 트랜잭션을 얻는다.

서브-픽셀라이제이션을 위한 종래 기술은 이동 방향의 정밀한 결정을 통해 설명되어져 왔는데, 이는 픽셀을 슬라이스(slice)하여 에지 검출 및 보간을 통해 우수한 해상도의 이미지를 만들 수 있는 방법이다. 커브 피팅(curve fitting), 디더링(dithering) 및 시뮬레이션(simulation)과 같은 디지털 처리 기술들을 통해, 픽셀값은, 캡처된 이미지의 큰 픽셀로가 아니라 서브 픽셀에 할당될 수 있다. 미국 특허 공개 2009/0028464 인 특허 문헌을 통해 한 예를 볼 수 있다. 이전의 예들 처럼, 서브-픽셀라이제이션은 증가된 그래디언트로 인해 더 높은 해상도의 이미지를 만들어 낸다.

미국 특허 공개 제2006/0133641호에는 이동을 통한 강도의 변화를 계산하여 서브-픽셀 해상도를 얻는 방법이 개시되어 있다. 이것은 앞서 언급한 특허와 유사하긴 하지만, z방향 이동(이미저를 향해 또는 이미저로부터의 멀리 떨어져)을 사용한다. 본 발명에서는 세 방향의 평균을 사용하여 더 우수한 2차원의 최종 이미지를 만든다.

공지된 고 해상도 외삽 기술들은 1998년 4월 5일의 1998 회로 및 시스템에 대한 미드웨스트 심포지움에서의 Borman의 "Super Resolution for Image Sequences - A Review"에 잘 설명되어 있다. 이 깊이 논문에서는 향상된 최종 이미지를 얻기 위한 다양한 통계학적 기능을 사용한 여러 방법들이 설명되어 있다. 마르코프 체인 및 다른 복잡한 기술들을 잘 설명하고 있으나, 개개의 서브-픽셀을 직접 추적하는 또는 서브-픽셀 값을 직접 구하는 방법은 설명되어 있지 않다.

나노-마이크로스코피(nano-microscopy) 분야에서, Putman의 미국 특허 출원 제2009/0028463호에는 서브-픽셀 위치를 정의하고 이미저에 대해 견본의 압전 나노이동을 통해 매핑하는 방법이 설명되어 있다. 주어진 픽셀보다 더 작은 알려진 거리에서 이동을 시킴으로써, 각각의 서브-픽셀의 위치는 설정(establish)되고 기록될 수 있다. 만약, 정의된 위치가 이어진다면, 평균, 최대 또는 최소값 등의 통계학적 함수를 적용하여 서브-픽셀 해상도를 얻을 수 있다. 이 방법은 본 발명에서 설명하고 있는 서브-픽셀을 위한 직접 해결책 보다는 통계학적 근사값을 여전히 사용하고 있다.

이 모든 것들은, 마이크로 및 매크로 스케일 모두에서 이미지를 더 날카롭게, 더 깨끗하게 할 수 있는 증가된 프로세서 속도뿐만 아니라 센서상의 픽셀의 수를 증가시키기도 하므로, 가능하며, 상기 특허 문헌에서 연구되어 왔다. 압전 번역 단계는 픽셀보다 더 작은 거리에서의 이동을 가능하게 하였다. 이러한 신기술은 픽셀 크기 및 밀도가 CCD 및 CMOS 센서를 증가시키는 경우라도 서브-픽셀로 나누는 것을 계속할 수 있다. 이미지를 분석하고 재구성하는 고유 알고리즘들은 서브-픽셀라이제이션을 통해, 디지털 스틸 및 비디오 포토그래피를 보다 효과적으로 만든다.

수학적 근사값을 필요로 하지 않고 서브-픽셀라이제이션 및 이미지 재구성을 직접 및 신속하게 제공하는 방법이 필요하다.

발명의 요약

본 발명은, 종래 기술에서는 나타나 있지 않은 고유한 이미지 처리 기술을 제공한다. 이미지 될 견본은 알려진 배경에 놓이고, 그 배경 내부에서 증분 이동하여, 서브-픽셀에서 상기 이미지를 재구성하는 기반을 제공한다. 이러한 처리에서, 이미지 될 상기 견본 또는 그 일부는, 광학적 확대 이전 또는 이후에서, CCD 또는 CMOS 카메라의 픽셀보다 작은 거리인 경우라도 선형대수를 사용하여 상기 견본의 이미지를 재구성할 수 있다. 이러한 처리에서는, 커브 피팅, 디더링 및 시뮬레이션은 필요 없다.

본 방법을 수행하는데 유용한 장치의 첫 번째 구성요소는, CCD 또는 CMOS 마이크로칩과 같은 모던 디지털 이미지 센서이며, 이는 존재하는 모든 측정의 기초를 제공한다. 상기 이미지 센서는 알려진 디멘죤의 픽셀 매트릭스를 제공한다. 픽셀의 크기는 이미지 센서 기술이 진보함에 따라 감소하긴 하지만, 가시광의 회절 한계보다는 큰 크기를 유지하게 되는데, 이는 아래쪽의 픽셀은 보다 세부적인 이미지를 캡처하는데 유용하지 않기 때문이다. 두 번째로 중요한 구성요소는, 압전 나노-포지셔닝 스테이지와 같은 포지셔닝 엘리먼트로서, 이는 그 위에 놓이는 견본을 수 나노미터만큼 작은 거리로 이동시킬 수 있고, 어느 경우에서는, 이 거리는 가시광의 회절 한계보다 작을 수 있다. 따라서, 본 발명에서는, 가시광의 상기 회절 한계보다 큰 픽셀을 가지는 이미지 센서가 있고, 상기 회절 한계보다 작은 거리에서 상기 이미지 센서에 관련된 오브젝트를 이동시키는 포시셔닝 엘리먼트가 있다. 설명된 이동에 기초하여, 서브픽셀들은 설정되고 분석될 수 있다. 이들 서브픽셀들은, 각각은 빛의 회절 한계보다 작기도 하지만, 그들이 소유하고 있는 값인 비트 깊이(bit depth)와 일치할 수 있다. 수학적 기술을 사용하여, 각 서브픽셀의 값은 알 수 있으며, 상기 이미지 센서의 디자인 된 해상도보다 큰 해상도를 가지는 새로운 이미지를 계산할 수 있다. 따라서, 관련이 있는 예로서, 상기 센서 디자인과 비교하여 상당히 향상된 해상도를 가지는 이미지를 얻을 수도 있다.

본 발명의 실시예에서, 얻어진 이미지의 해상도가 상기 이미지 센서의 디자인된 해상도보다 크게 되도록, 상기 이미지 센서를 사용하여 그 위에 초점이 맞춰지는 견본의 이미지를 얻는 방법이 제공된다. 이러한 방법에 따르면, 다중 픽셀을 가지는 이미지 센서의 시야 범위 내의 알려진 배경 상에 견본이 놓인다. 상기 알려진 배경이 상기 이미지 센서상에 초점이 맞춰지기도 하도록 하는 상대적인 제1 위치에 상기 이미지 센서 상에 견본이 초점이 맞춰진다. 한 이미지가 상기 견본을 위해 기록되고 상기 알려진 배경은 상기 제1 위치에서 상기 이미지 센서상에 초점이 맞춰지고, 견본 영역과 배경 픽셀은 상기 기록된 이미지로부터 설정된다. 상기 견본은 타겟 배경 픽셀 내에 견본 영역의 일부가 놓이도록 상기 이미지 센서에 대한 제2 위치로 이동한다. 이미지는 상기 견본을 위해 기록되고 상기 알려진 배경은 상기 제2 위치에서 상기 이미지 센서상에 초점이 맞춰지고, 상기 비트 깊이는 상기 배경 픽셀로 이동한 상기 견본 영역 부분을 위해 계산된다.

도 1은 고정된 이미지 센서 및 이동 가능한 견본을 보여주는, 본 발명에 따른 장치의 일 실시예의 대표적인 도면;
도 2는 고정된 이미지 센서, 고정된 배경 위에 놓인 이동 가능한 견본을 보여주는, 본 발명에 따른 일 실시예 및 장치의 대표적 도면;
도 3은 고정된 견본 및 이동 가능한 이미지 센서를 보여주는, 본 발명에 따른 장치의 일 실시예의 대표적인 도면;
도 4는 x 방향의 n 픽셀 및 y 방향의 i 픽셀을 가지는 이미지 센서의 대표적 도면;
도 5의 (a)는 상기 센서상에 초점이 맞춰지는 위치에 보이는 예시적 견본을 가져서 필셀 P(2,2), P(2,3), P(3,2) 및 P(3,3)의 부분들이 중첩되어 픽셀 P(1,1), P(2,1), P(3,1), P(1,2) 및 P(1,3) 에서 알려진 배경이 설정되도록 하는 9 픽셀 센서의 대표적인 도면;
도 5의 (b)는 도 5의 (a)에 도시된 상기 견본의 이미지가 상기 센서를 사용하는 상기 이미징 디바이스에 의해 어떻게 디스플레이 되는지를 보여주는 "견본 영역"의 일 예;
도 5의 (c)는 알려진 배경에 대해 도 5의 (a)의 상기 견본의 이동이 배경 픽셀로 견본 영역의 일부가 위치하게 되는지를 보여주는 도면;
도 5의 (d)는 도 5의 (a)에 도시된 상기 견본의 이미지 해상도가 본 발명에 따라 이동, 이미징 및 계산되어 향상되는 방법을 보여주는 도면;
도 6은 내부에 포함된 서브픽셀을 표시하는 도 4의 픽셀 P(1,1)의 확대 대표도;
도 7은 알려진 배경 픽셀 내부에서 증분 이동하는 상기 견본 영역의 16개 이산 이미지의 대표도;
도 8a 및 도 8b는 2 x 1 픽셀 비닝(binning)을 가지는 센서의 대표도;
도 9a 및 도 9b는 1 x 2 픽셀 비닝을 가지는 센서의 대표도; 그리고
도 10a 및 도 10b는 2 x 2 픽셀 비닝을 가지는 센서의 대표도이다.

본 발명은 견본의 여러 디지털 이미지를 비교하여 상기 여러 디지털 이미지를 기록하는데 사용되는 디지털 이미지 센서에 의해 제공되는 통상의 해상도 이상의 이미지 해상도를 증가시키는 기술 및 장치를 제공한다. 이미지 처리될 견본은, CCD 또는 CMOS 와 같은 디지털 이미지 센서의 앞단에서 분리(isolated)되고, 여러 이미지들이 캡처된다. 이미지는 모노크롬 또는 컬러 이미지 센서를 사용하여 동일한 방식으로 분석된다.

도 1, 2 및 3을 참고하면, 본 명세서의 방법을 위해 사용될 수 있는 이미징 장치의 일반적 대표도로서, 비-제한적 예로서의 세 가지 실시예로서, 도 1의 실시예, 도 2의 실시예, 그리고 도 3의 다른 실시예이다. 도 1 및 도 2의 이미징 장치는 참조번호 10A로 나타나 있으며 도 3의 이미징 장치는 참조번호 10B로 나타나 있다.

도 1의 장치에서, 본 명세서에서는 S인, 이미지될 견본은 알려진 배경(7)에 일관되게 놓인다. "알려진 배경"은, 상기 배경의 비트 깊이가 상기 이미지 센서(14)(예, CCD 또는 CMOS)에 의해 기록될 수 있다는 것을 뜻한다. 이미징 장치(10A)에는, 센서 제어기(15)에 의해 상기 견본(S)의 이미지를 디지털로 기록하는 이미지 센서(14)에 대해 상기 견본(S)을 이동시키는 나노-포지셔너(12A) 및 나노-포지셔너 제어기(13A)가 포함된다. 도 2의 장치에서, 견본(S)은 나노-포지셔너(12C)의 투명한 개구(6)상에 놓이며, 일관되게, 상기 알려진 배경(7)은 상기 센서(14)에 대해 표면(9)상에 고정된다. 따라서, 도 1 및 도 3의 장치에서, 상기 이미징 장치(10A), 특히 센서(14)는 고정되고, 12A 또는 12C와 같은 나노-포지셔너 및 나노 포지셔너 제어기(13A)는 센서 제어기(15)에 의해 상기 견본(S)의 이미지를 디지털로 기록하는 상기 고정된 이미지 센서(14)에 대해 상기 견본(S)을 이동시키는데 사용된다.

도 3의 장치에서는, 이미지 장치(10B)가 사용된다. 이 실시예에서, 나노-포지셔너(12B) 및 나노-포지셔너 제어기(13B)는 상기 이미징 장치(10B)의 하우징(16)과 관련되어 있어 상기 이미지 센서(14)는, 예를 들어, 배경(7)이 이동 가능하지 않은 고정된 스테이지(9)에 장착되면, 상기 견본(S)의 고정된 위치에 대해 이동할 수 있다. 따라서, 상기 이미지 센서와 상기 견본 간의 상대적 이동 효과를 위해 나노-포지셔너가 사용될 필요가 있으며, 이것은 나노-포지셔너가, 카메라 또는 관련된 이미징 장치의 엘리먼트 내부의 상기 이미지 센서와 관련될 수 있어 견본과 상기 이미지 센서간의 상대적 이동 효과를 나타내는 것이 좋다.

상기 이미지 센서(14)는, 일반적으로 CCD 또는 CMOS 센서 또는 그와 같은 것으로 제한되는 것은 아니다. 상기 이미지 센서(14)는 하우징(16) 내에 유지되어 있고, 상기 견본(S)의 이미지는 렌즈(18) 및 렌즈 튜브(오브젝티브)(20)를 통해 상기 이미지 센서(14)에 초점이 맞춰진다. 도 1 및 도 2의 장치에서, 하우징(16), 이미지 센서(14), 렌즈(18) 및 렌즈 튜브(20)는 안정적인 전자 카메라를 구성하며, 이들은 이동 가능하지 않은 브래킷(8)에 고정 위치로 장착된다. 도 3의 장치에서, 상기 하우징(16), 이미지 센서(14), 렌즈(18) 및 렌즈 튜브(20)는 이동 가능한 전자 카메라를 구성하며, 이들은 나노-포지셔너(12B) 및 나노-포지셔너 제어기(13B)에 장착된다. 도시하지는 않았으나, 상기 이미지를 캡처하는데 필요한 것은 광원이다. 빛을 적용하는 것은 마이크로스코피 및 포토그래피에서는 친숙한 널리 공지된 것이다. 본 발명을 위한 빛은 견본을 통해 전송되고 그에 따라 상기 견본으로부터 반사된다.

나노-포지셔너는, 그 이름에서 대변하듯이, 상기 견본 및/또는 이미지 센서를 도 1~3의 x-y 좌표의 화살표에 표시된 바와 같이 서로에 대한 평행면으로 이동시키도록 프로그램되고 제어될 수 있다. 상기 이동은 나노미터 만큼 작게(또는 적절한 기술이 가능하다면 더 작게) 이동할 수 있다. 도시된 바와 같이, 상대적인 움직임 정도는 상기 이미지 센서의 빈된(binned) 등가 픽셀 또는 픽셀 크기 보다는 적다. 빈된 픽셀 및 픽셀을 비닝(binning)하는 것은 당 기술분야에 공지되어 있다.

본 발명에 따르면, 이미지는 제1 위치에서 디지털로 기록된 다음 상기 이미지 센서와 견본 사이에서 상대적인 움직임이 있고, 그 새로운 위치에서 새로운 이미지가 취해진다. 각 이미지에 대해 상기 움직임 및 상기 픽셀값(비트 깊이)을 제어하는 것을 통해 정보를 얻어 상기 이미지 센서 자체로 얻을 수 있는 것 이상으로 상기 이미지의 해상도를 향상시킬 수 있다.

광학은 상기 배경(7) 및 상기 견본(S)이 시야 범위 내에 있도록 제공해야 한다. 적절하게는, 여러 위치에서 여러 이미지들을 취한다. 상대적인 움직임은 상기 이미지 센서의 평면과 평행하며(즉, 상기 견본은 상기 이미지 센서쪽으로 더 가까이 가지 않거나 또는 상기 이미지 센서로부터 멀어지지 않고 초점에 머물러 있음), 알려진 비트 깊이의 배경에서 "견본 영역"의 부분에 위치하도록 선택된다. 상기 "견본 영역" 이라는 용어는, 상기 견본(S)이 원래 초점이 맞춰지고 움직임이 있기 전 상기 견본 이미지를 기록한 픽셀에 의해 정의된 영역으로 이해하면 될 것이다. 이것은 이하에서 설명할 부분을 통해 보다 분명히 이해될 것이다. 상기 견본이 그렇게 이동하면, 상기 배경의 비트 깊이에서의 변화는 거의 전적으로 상기 배경으로 이동한 상기 견본 영역의 부분에 기인하며, 그러므로, 상기 견본 영역의 그 부분의 비트 깊이는 상대적으로 간단한 수식을 통해 계산될 수 있다.

이 개념 및 사용된 기술을 더 설명하기 위해, 도 4 및 도 5의 (a) 내지 (d)를 참고 한다. 일반적인 이미지 센서가 도 4에 도시되어 있다. 상기 센서는 좌표 P(n,i)로 정의되는 여러 픽셀로 구성되어 있으며, 여기서 n은 x 방향(수평)의 픽셀의 번호이며 i는 y 방향(수직)의 픽셀의 번호이다. 상기 센서의 전체 픽셀 개수는 n 을 i와 곱한 개수이다. 도 5의 (a) 및 도 5의 (b)에서, 견본(S)이, 한 예로서, 9-픽셀 센서(30)상에 초점이 맞추어져 있으며, 픽셀 P(1,1)에서 P(3,3)까지의 각각의 폭은 L이고 깊이는 H이다. 도 5의 (a)는 상기 센서(30)에 대한 실제 견본(S)의 상대적 위치를 보여주고 있고, 반면에 도 5의 (b)는 상기 견본(S)가 상기 센서(30)에 의해 어떻게 결정되는지를 보여주고 있다. 보다 구체적으로, 상기 견본(S)가 알려진 배경상에 놓이고, 즉, 상기 센서(30)상에 초점이 맞춰지고, 상기 배경은, 참고번호 "7"로 표시된, 도 5의 (a)의 화이트 영역이다(상기 장치 도면에서의 상기 배경으로 사용된 번호와 동일). 도 5의 (a)를 통해 알 수 있듯이, 상기 견본(S)은 오직 네 개의 픽셀: P(2,2), P(3,2), P(2,3) 및 P(3,3)상에만 초점이 맞춰질 정도로 매우 작다. 앞서 언급한 정의를 다시 회상하면, 이 예에서, 이들 픽셀들은, 상기 배경에 대향하여 상기 견본의 존재를 기록하는 한 "견본 영역"을 정의한다. 이 견본 영역의 개념화를 돕고 상기 견본의 이동에 대한 이해를 돕기 위해, 도 5의 (a), 도 5의 (b), 도 5의 (c) 및 7에서 상기 견본 영역 둘레를 굵은 점선 박스로 표시하였다. 상기 견본 영역은 상기 이미지 센서(30)상에 초점이 맞추어진 상기 이미지의 나머지, 이 예에서는 픽셀 P(1,1), P(2,1), P(3,1), P(1,2) 및 P(1,3)에 의해 정의된 영역으로, 상기 알려진 배경(7)만으로 이루어진 영역인 "배경 픽셀"과는 구별된다.

상기 센서의 픽셀들은 그 위에 초점이 맞춰진 빛을 전기적으로 기록하고, 알려진 바와 같이, 디지털 데이터로 해석한다. 상기 디지털 데이터는, 상기 배경(7) 및 상기 견본(S)이 초점이 맞춰지는 픽셀 각각의 구체적인 비트 깊이와 관련이 있으며, 상기 비트 깊이는 초점이 맞춰지는 상기 견본(S)의 부분만이 아니고 초점이 맞춰지는 상기 배경(7)의 부분 모두의 함수이다. 따라서, 상기 견본(S)이 고유한 무정형의 형태를 가지고 있다 하여도, 도 5의 (b)에 도시된 바와 같이, 상기 센서(30)에 의해서는 단지 사각형 이미지처럼 보이게 만들어진다. 이 사각형은 본 예에서의 상기 견본 영역을 만든다.

본 발명에 따르면, 초기 위치에서 상기 견본(S)의 이미지를 취하여 상기 견본 영역 및 상기 배경 픽셀을 설정하는 것이 견본(S)의 이미지를 해결하는데 더 좋으며; 따라서, 새로운 위치에서, 상기 견본 영역의 부분이 배경 픽셀에 위치하도록 상기 이미지 센서(30)에 상대적으로 상기 견본을 이동시킨 후 상기 견본(S)을 취하고: 그 다음으로 취한 이미지를 비교한다. 구체적으로, 도 1~3의 어느 장치(또는 등가의 기능)를 사용하여 상기 견본의 이미지(비트 깊이 데이터)를 기록하여 상기 견본 영역 및 상기 배경 픽셀을 설정한다. 그 다음으로, 상기 장치를 사용하여 상기 견본(S)을 상기 이미지 센서(30)에 대해 이동시켜 배경 픽셀 상에 상기 견본 영역의 부분이 초점이 맞춰지도록 한다. 이 예에서, 상기 원래 위치 및 기록된 이미지가 도 5의 (b)에 도시되어 있다. 상기 기록된 이미지는 상기 이미지 센서(30)의 픽셀 각각을 위해 기록된 비트 깊이 값에 의해 정의된다. 상기 이동은 도 5의 (c)에 도시되어 있으며, 여기서 상기 견본은 상기 이미지 센서(30)에 대해 이동을 하는데, 왼쪽(x 방향)으로 거리 "l"(L의 소문자) 만큼, 위쪽(y 방향)으로 거리 "h" 만큼 이동하고, 여기서, l은 상기 픽셀 폭(L) 보다 작고, h는 상기 픽셀 높이 H 보다 작다. 이것은 상기 견본 영역의 일부(즉, P(2,2)에서의 원래 위치에서 정의된 영역의 일부)가 배경 픽셀, 즉 상기 배경 픽셀 P(1,1)에 놓이게 되고, 여기서 이동한 부분은 P(1,1)에 굵은 점선 박스 및 테두리가 쳐진 사각형 l-h로 정의된 부분이다. 이 새로운 위치에서 견본(S)을 위해 이미지를 취하고, 상기 이미지 센서(30)의 각 픽셀에서 비트 깊이 값이 기록된다.

상기 배경의 비트 깊이를 알고 있기 때문에, 도 5의 (b)의 원래 이미지와 도 5의 (c)의 다음 이미지 사이의 픽셀 P(1,1)의 비트 깊이에서의 어떠한 변화는 사각형 l-h로 정의되는 부분으로 비롯된다. 따라서, 사각형 l-h의 비트 깊이는 대수(algebra)를 적용하여 계산될 수 있다. 구체적으로, 이동 후의 픽셀 P(1,1)에 기록된 비트 깊이는 V = {[(H*L)-(h*l)]*B + (h*l)*S1} / (H*L)인 V로 구해지고, 여기서 B는 알려진 배경의 비트 깊이이며, S1은 사각형 l-h의 비트 깊이, 즉, 상기 타겟 배경 픽셀로 이동한 상기 견본 영역의 일부의 비트 깊이이다. S1에 대해 풀면: S1 = {V*(H*L) - ((H*L) - (h*l))*B} / (H*L) 이다. S1을 제외하고 알려진 모든 비트 깊이 및 디멘죤(dimension)(상기 사각형 l-h의 비트 깊이)을 가지고, 사각형 l-h의 비트 깊이를 계산할 수 있다. 그 다음, 새로운 이미지를 만들 수 있는데, 이는 상기 원래 위치에서 이미지가 재생산되는 것이고 상기 사각형 l-h는 이 새로운 값에 영향을 미친다. 이 초기 이동, 이미징 및 계산은 상기 견본(S)을 완전하고 정확하게 해결하지는 못하지만, 사각형 l-h에 대해 얻은 데이터는 다음의 이동, 이미징 및 계산에 통합되어 상기 센서(30)의 실제 픽셀 크기에 의해 허용되는 것 그 이상의 해상도로 상기 견본(S)을 해결하게 된다. 이 구체적 예에서, 상기 사각형 l-h는, 상기 이동 및 계산 이후 간단히 배경(7)이며, 도 5의 (b)의 이미지는 도 5의 (d)에 도시된 바와 같이 더 해결되고, 여기서 사각형 l-h는 계산되어 배경으로 결정되어 화이트로 도시되어 있다.

상기 설명은 본 발명의 일반적인 개념을 이해하는데 충분하며, 당업자는 상기 견본이 알려진 배경으로 이동하여 이미지 센서의 픽셀에 의해 제공되는 해상도 이상으로 이미지를 해결한다는 방법으로 한정하지는 않을 것이다. 예를 들어, 도 5의 (c)에 도시되고 상기 예에서 설명한 초기 이동 및 이미징 이후에, 상기 견본(S)이 수직 방향으로 이동하여 상기 견본 영역의 추가 부분이 상기 알려진 배경으로 위치한 후 그렇게 이동한 부분들의 값을 계산한다. 그러나, 구체적 실시예에서, 상기 견본(S)은 알려진 패턴으로 이동하여 사용된 이미지 센서의 픽셀보다 작은 서브픽셀을 설정하고, 이러한 이동으로부터 상기 견본 영역은 이들 서브픽셀로 정의되는 해상도를 가지는 것으로 계산될 수 있다. 이들 "서브픽셀"은 앞서 넓게 설명한 사각형 l-h이 더 세분화된 것이다.

따라서, 비록 필수적인 것은 아니지만, 구체적 실시예에서, 상기 이동 거리는, 계산되고 만들어질 원하는 서브-해상도에 따른 서브픽셀의 패턴을 설정하도록 선택되며, 이는 이하 설명을 통해 명백해질 것이다. 픽셀(1,1)(도 4로부터)을 서브픽셀로 분할한 것이 도 6에 도시되어 있으며, 여기서 서브픽셀들은 좌표 S(w,z)로 표시되어 있고, w는 x 방향의 픽셀 번호이며, z는 y 방향의 픽셀 번호이다. 따라서, 일단 설정되면, 이미지 센서 어레이상의 모든 서브픽셀의 위치는, 거기 놓여있는, 호스트 픽셀 P(n,i) 및 그 호스트 픽셀 내부의 상기 서브픽셀 위치 S(w,z)에 의해 특정될 수 있어 상기 서브픽셀들은 다음식으로 정의된다: P(n,i)S(w,z).

원하는 크기의 서브-픽셀을 설정하기 위해, 나노-포지셔너가 사용되어, 상기 견본(예: 도 1 및 2), 상기 이미지 센서 또는 상기 카메라(예: 도 3)와 관련되어, 상기 이미지 센서(30)와 상기 견본(S)간의 상대적 이동 효과를 갖게 한다. 상기 x 및 y 방향으로의 이동량은 설정된 서브픽셀의 크기를 나타내며, 이는 도 5의 (a)의 견본(S)를 도 5의 (c)의 위치로 이동시키는 것에 의해 설정된 사각형 l-h에 대한 앞서의 설명과 같다. 도 5의 (a)의 견본(S)가 다시 본 명세서의 주제이고, 따라서, 깊이가 H이고 폭이 L인 픽셀 P(1,1) 부터 P(3,3) 각 픽셀을 가지는 상기 예인 9-픽셀 센서(30)를 다시 사용한다. 개략적으로는, 상기 이동량은 계산되고 재생산될 원하는 서브-해상도(즉, 원하는 서브픽셀 크기)에 기초하여 선택되며, 적절하게는 상기 이미지 센서(30)를 만드는 여러 픽셀의 크기에 기초하여 선택되기도 한다. 상기 알려진 배경상에 또는 그 위에 놓이는 견본(S)은 상기 이미지 센서에 대해 여러 불연속 위치로 이동하여 상기 이미지 센서의 여러 픽셀보다 더 작은 크기의 서브픽셀을 설정한다. 상기 서브픽셀의 디멘죤은 단계적 움직임 양에 의해 결정된다. 상기 나노-포지셔너는 x 방향으로 w 불연속 단계 이동하도록 프로그램되며, 그 x 방향 움직임에 의해 설정된 각각의 불연속 위치를 위해, y 방향으로 z 불연속 단계 이동하도록 프로그램 되며, 여기서 각 단계의 이동량은 x 방향으로는 L/w, 그리고 y 방향으로는 H/z 이다. 그 효과로, 하나의 픽셀은, 도 6에 도시된 바와 같이, w*z 서브픽셀로 나뉘어지며, 상기 서브픽셀 디멘죤은 (L/w) x (H/z) 이다.

도 7에서, 도 5의 (a)의 위치에서의 상기 견본(S)은 이동하여 상기 센서(30)의 각 픽셀 내에 16개의 균일한 서브픽셀을 설정한다. 상기 견본은 해당 도면에는 도시되어 있지 않으나 동일한 견본 영역 및 배경 픽셀을 설정하는 도 5의 (a)와 동일한 견본(S)로 이해할 수 있다. 상기 서브픽셀은, 상기 견본을 4개의 불연속 단계로 왼쪽으로의 이동 및 왼쪽으로의 그러한 각각의 이동에 대해 상기 견본(S)을 위쪽으로 불연속 단계 이동하는 것으로 설정된다. 따라서, 도 7에서 좌상부에서의 초기 이동은 위쪽으로 H/z 만큼, 그리고 왼쪽으로 L/w 만큼 이동한 것을 보여주며, z 및 w 모두는 4로 선택된다. 이 위치에서 M(1,1)로 표시된 이미지가 취해진다. 각각의 참고를 위해, 각각의 이미지는 단축 문자 M(s,t)의 이미지 번호가 제공되며, 여기서 s 및 t는 상기 이미지가 취해진 어레이 위치를 나타낸다. 이로부터, 상기 견본(S)은 S-와 같은 패턴으로 가장 효과적인 단계로 이동하여, 이미지 M(2,1), M(3,1) 및 M(4,1)과 같은 왼쪽으로의 제1 단계 이동; 다음으로, 이미지 M(4,2)와 같은 위쪽으로의 이동; 다음으로, 이미지 M(3,2), M(2,2) 및 M(1,2)와 같은 오른쪽으로의 이동; 다음으로, 이미지 M(1,3)으로 다시 위쪽으로 이동; 다음으로, 이미지 M(2,3), M(3,3) 및 M(4,3)으로 왼쪽으로 이동; 다음으로, 이미지 M(4,4)에서 마지막으로 한번 위쪽으로 이동; 그리고 마지막으로, 이미지 M(3,4), M(2,4) 및 M(1,4)에서 최종 왼쪽으로 이동한다. 16 단계 이동이 이루어지면, 각 불연속 위치에서 이미지가 기록된다. 이것은 4x4 서브픽셀라이제이션을 설정하며, 여기서 각각의 픽셀은 16개의 서브픽셀로 나뉘어 진다. 만약, 보다 세부적인 서브픽셀라이제이션이 필요하다면, z 및 w를 5회로 선택하여 상기 견본(S)이, 적절하게는 S-형상의 패턴으로, 25번 이동하여 25개의 서브픽셀로 나눠지는 상기 센서(30)의 픽셀의 5x5 서브픽셀라이제이션을 설정한다.

본 실시예에 따르면, 상기 견본(S)은 알려진 균일한 배경상에 또는 알려진 균일한 배경 위에 놓여서 견본이 상기 견본의 적어도 2개의 인접면상에 상기 배경에 의해 둘러 쌓이도록 하고, 상기 배경은, 적어도 높이가 1픽셀, 길이가 1픽셀, 적절하게는 1픽셀 이상이다. 도 5의 (a)에서, 상기 견본은 하이라이트된 픽셀 P(2,2), P(3,2), P(2,3) 및 P(3,3) 내부에 위치하고, 이것은 견본 영역을 정의한다. 상기 견본 영역은, 위쪽의 픽셀 P(1,1), P(2,1) 및 P(3,1), 그리고 왼쪽의 P(1,1), P(1,2) 및 P(1,3)인 배경 픽셀에 의해 둘러싸여 있다. 상기 견본(S)은 상기 나노-포지셔너에 의해 위쪽으로 H/z 거리 및 왼쪽으로 L/w 거리만큼 이동하고, 앞서 언급한 바와 같이, z 및 w는 모두 4로 선택된다. 이것은 상기 배경 픽셀 P(1,1) 내에 상기 견본 영역의 하나의 서브픽셀을 위치시키는 결과를 가져온다. 도 7의 이미지 M(1,1)이 이 결과 이동을 보여주고 있다.

도 7의 이미지 M(1,1)은, 상기 견본 영역의 일부 "a"가 상기 설명한 이동에 의해, 상기 배경 픽셀 P(1,1)로 격리되는 것을 보여준다. 이동하기 전의 픽셀 P(1,1)은 알려진 비트 깊이를 가지는 배경인 BDB(비트 깊이 배경)으로만 기록된다. 도 7에 도시되어 있는 바와 같이, 이미지 M(1,1)는 15개 서브픽셀은 배경이고, 부분 "a"로 정의되는 1개의 서브픽셀은 알지 못한다. 따라서, 부분 "a" 의 비트 깊이는 다음과 같은 식으로 계산될 수 있다:

BDP(1,1) = (15 (BDB)) + 1 (BDa)) / 16

여기서, BDP(1,1)은 이미지 M(1,1)내의 픽셀 P(1,1)의 측정된 비트 깊이이며, BDB는 배경의 알려진 비트 깊이이고, BDa는 부분 "a"(또는 서브픽셀 "a")의 비트 깊이이며, 상기 BDa는 다음 식으로 해결된다:

BDa = 16 (BDP(1,1) - 15BDB

일단, 부분 "a"의 비트 깊이가 이미지 M(1,1)로부터 계산되면, 이미지 M(2,1)의 부분 "b"의 비트 깊이는 이미지 M(2,1) 내의 픽셀 P(1,1)에 의해 기록된 비트 깊이로부터 계산될 수 있다. 구체적으로, 픽셀 P(1,1)의 16개 서브픽셀 각각의 비트 깊이는 그 픽셀에 의해 계산된 비트 깊이에 기인하며, 상기 16개의 서브픽셀의 비트값 15는 공지이며, 픽셀 P(1,1)의 14개 서브픽셀은 상기 알려진 배경(7)에 의해 정의되는 알려진 비트 깊이 BDB를 가지며, 1개의 서브픽셀은, 부분 "a"(이제 이미지 M(2.1)에서 좌측 너머로 이동된)를 위해 계산된 바와 같이, 알려진 비트 깊이 BDa를 가진다. 이러한 알려진 값들을 사용하여, 다음과 같은 식에 따라 서브픽셀 "b"의 비트 깊이를 해결할 수 있다:

BDP(1,1) = (14(BDB) + 1(BDa) + 1(BDb)) / 16

여기서, DBP(1,1)는 이미지 M(2,1) 내의 픽셀 P(1,1)의 측정된 비트 깊이이고, BDB는 배경을 위한 알려진 비트 깊이이며, BDa는 상기와 같이 계산된 지점 "a"의 비트 깊이이며, BDb는 부분 "b"의 비트 깊이로서, 이 BDb는 다음과 같이 해결된다:

BDb = 16 BDP(1,1) - 14 (BDB) - BDa

부분 "c" 부터 "h"까지 (도 7에 표시된)는 상기 동일한 일반 방법을 통해 계산될 수도 있으며 이는 더 다른 설명 없이도 쉽게 이해할 수 있을 것이다. 그리고, 상기 견본 영역의 모든 나머지 서브픽셀 영역은, 다음과 같은 식을 통해 대표되는 캡처된 이미지 및 이동을 통해 반복적으로 계산되기도 한다:

Sv = nPv - ((n-(m+1))B + SUM (Si to Sn))

여기서, Sv는, 계산될 주어진 이미지의 알지 못하는 서브픽셀 부분의 비트값으로서; n은 설정된 서브픽셀의 번호이며, m은 이전의 이동 및 계산에 의해 결정되는 서브픽셀 부분(예컨대, 서브픽셀 부분 a,b,c 등)의 번호이며; B는 상기 배경의 비트값이며, SUM(S1~Sn)은 첫 번째(예, 부분 "a")로부터 m가지, 상기 알고 있는 서브픽셀 부분의 비트값 각각의 합이다.

상기 견본 영역의 각각의 알지 못하는 서브픽셀은 상기 견본 영역의 모든 서브픽셀들을 알게 될 때까지 상기 방법을 연속 계산된다. 전체 이미지 센서를 구비하는 서브픽셀의 결과 어레이는 원래 이미지보다 큰 해상도인 w*z (w 곱하기 z)를 가지는 이미지를 나타낸다.

상기 견본 및 알려진 배경은 상기 견본이 상기 알려진 배경 내부에 완전히 포함되고 보일 수 있게(즉, 상기 알려진 배경에 의해 모든 면이 감싸지도록)되도록 상기 이미지 센서의 시야 범위 내에 위치할 수 있거나 또는 상기 견본 및 알려진 배경은, 상기 견본이 상기 알려진 배경에 의해 인접한 두 면상에 감싸지도록 상기 이미지 센서의 시야 범위 내에 위치할 수 있음은 알 수 있을 것이다. 후자의 기술은 상기 예를 통해 알 수 있다.

상기 알려진 배경으로 상기 견본이 이동하는 것은 균일하고 단계적이어서 균일한 크기의 서브픽셀이 설정됨을 알 수 있을 것이다. 상기 언급한 바와 같이, 상기 이동은 보다 랜덤할 수 있으며, 상기 알려진 배경 내부에서 상기 견본의 추가 부분을 위치시켜 그 위치에서 비트 깊이를 계산하는 것은 상기 배경의 알려진 비트값 및 앞서 결정된 견본 영역의 부분을 위한 알려진 비트값에 기초한다.

본 발명에 따르면, 상기 견본은 상기 센서에 대해 단계별로 이동하여 그 결과가 1픽셀보다 큰 전체 이동이 있게 했다. 이 실시예에서, 픽셀들은 "비닝된(binned)" 으로 알려진 바처럼 그룹지어져서 많은 픽셀들이 하나의 픽셀처럼 다루어 졌다. 빈에서는, 2 또는 그 이상의 연속하는 픽셀들은 그룹핑되고 그 픽셀값은 상기 둘 또는 그 이상의 연속하는 픽셀의 평균이 되도록 결정된다. 비닝(binning)은 픽셀들은 행 또는 열 또는 둘 모두로 그룹화하는데 사용된다. 도 9a는 2개 픽셀을 열로 비닝하는 예이고, 도 9b는 2LxH 크기인 빈된 2x1 픽셀을 보여주는 그 결과 센서이다. 도 9a는 2개 픽셀을 행으로 비닝한 예이고, 도 9b는 Lx2H 크기인 빈된 1x2 픽셀을 보여주는 그 결과 센서이다. 도 10a는 2개 픽셀을 행과 열로 동일하게 비닝한 예이고, 도 10b는 2Lx2H 크기인 빈된 2x2 픽셀을 보여주는 그 결과 센서이다. 도 8b, 9b 및 10b의 상기 결과 센서들은 그 디멘죤이 변화한 것을 제외하고는, 도 5의 (a) 및 7의 원래 센서와 동일하게 다뤄진다. 본 명세서에서 언급된 바에 따른, 이러한 빈 실시예에서의, 서브픽셀의 이동은 상기 원래 픽셀 크기보다 큰 빈된 픽셀 크기에 기초한다.

지금까지, 본 발명은, 이미지가 사용된 이미징 센서가 제공하는 것 보다 큰 해상도를 나타낼 수 있도록 이미지를 처리하는 방법을 제공함으로써 종래 기술을 상당히 앞서게 됨을 알 수 있다. 본 명세서에서, 본 발명의 특정 실시예를 개시하였으나, 본 발명은 이것으로 제한되는 것은 아니며, 따라서 당업자는 다양한 변형이 있을 수 있음을 알 수 있다. 본 발명의 범위는 첨부한 특허청구범위를 통해 분명해질 것이다.

Claims (13)

1. 획득한 이미지의 해상도가 이미지 센서의 디자인된 해상도보다 더 크도록, 그곳에 초점이 맞춰진 견본 이미지를 얻기 위해 상기 이미지 센서를 이용하는 방법으로서,
   다중 픽셀을 갖는 이미지 센서의 시야 범위 내의 알려진 비트 깊이 값의 알려진 배경상에 견본을 위치시키는 단계;
   상기 알려진 비트 깊이 값의 상기 알려진 배경도 상기 이미지 센서상에 초점이 맞춰지도록, 그에 상대적인 제1 위치에서 상기 견본을 상기 이미지 센서로 초점을 맞추는 단계;
   상기 제1 위치의 상기 이미지 센서상에 초점이 맞춰진 상기 알려진 비트 깊이 값의 상기 알려진 배경 및 상기 견본의 이미지를 기록하는 단계;
   상기 기록된 이미지로부터 견본 영역 및 배경 픽셀을 설정하는 단계;
   상기 설정하는 단계에서 설정된 상기 배경 픽셀로부터 선택된 타겟 배경 픽셀 내부에 상기 견본 영역의 제1 부분을 위치시키기 위해 상기 견본을 상기 이미지 센서에 상대적인 제2 위치로 이동시키는 단계;
   상기 제2 위치 내에 상기 이미지 센서상에 초점 맞추어진 상기 알려진 비트 깊이 값의 상기 알려진 배경 및 상기 견본의 이미지를 기록하는 단계; 및
   상기 제2 위치로 상기 견본을 이동하는 단계에서 상기 타겟 배경 픽셀로 이동된 상기 견본 영역의 부분의 비트 깊이를 계산하는 단계를 포함하는, 방법.
2. 제 1항에 있어서, 상기 타겟 배경 픽셀은 H x L 디멘죤을 가지고 있고, 상기 이동 단계에서, 상기 타겟 배경 픽셀로 이동한 상기 견본 영역의 상기 제1 부분은 h x l 디멘죤을 가지며, 상기 h는 H 보다 작으며, l은 L 보다 작은, 방법.
3. 제 1항에 있어서, 상기 이미지 센서의 상기 픽셀은 비닝(bin)되며, 상기 배경 픽셀과 상기 견본 영역의 상기 설정은 상기 비닝된 픽셀 디멘죤에 기초하는 방법.
4. 제 1항에 있어서, 상기 비트 깊이를 계산하는 단계 후에, 상기 계산 단계에서 계산된 상기 비트 깊이가 상기 견본을 제2 위치로 이동시키는 상기 단계에서의 상기 타겟 배경 픽셀로 상기 견본 영역 부분이 이동하도록 하는 새로운 이미지를 생성하는 단계를 더 포함하는, 방법.
5. 획득한 이미지의 해상도가 이미지 센서의 디자인된 해상도보다 더 크도록, 그곳에 초점이 맞춰진 견본 이미지를 얻기 위해 상기 이미지 센서를 이용하는 방법으로서,
   다중 픽셀을 갖는 이미지 센서의 시야 범위 내의 알려진 배경상에 견본을 위치시키는 단계;
   상기 알려진 배경도 상기 이미지 센서상에 초점이 맞춰지도록, 그에 상대적인 제1 위치에서 상기 견본을 상기 이미지 센서로 초점을 맞추는 단계;
   상기 제1 위치의 상기 이미지 센서상에 초점이 맞춰진 상기 알려진 배경 및 상기 견본의 이미지를 기록하는 단계;
   상기 기록된 이미지로부터 견본 영역 및 배경 픽셀을 설정하는 단계;
   상기 설정하는 단계에서 설정된 상기 배경 픽셀로부터 선택된 타겟 배경 픽셀 내부에 상기 견본 영역의 제1 부분을 위치시키기 위해 상기 견본을 상기 이미지 센서에 상대적인 제2 위치로 이동시키는 단계;
   상기 제2 위치 내에 상기 이미지 센서상에 초점 맞추어진 상기 알려진 배경 및 상기 견본의 이미지를 기록하는 단계; 및
   상기 제2 위치로 상기 견본을 이동하는 단계에서 상기 타겟 배경 픽셀로 이동된 상기 견본 영역의 부분의 비트 깊이를 계산하는 단계를 포함하고,
   상기 타겟 배경 픽셀은 H x L 디멘죤을 가지고 있고, 상기 이동 단계에서, 상기 타겟 배경 픽셀로 이동한 상기 견본 영역의 상기 제1 부분은 h x l 디멘죤을 가지며, 상기 h는 H 보다 작으며, l은 L 보다 작고,
   상기 계산 단계에서, 상기 타겟 배경 픽셀로 이동된 상기 견본 영역의 상기 제1 부분의 비트 깊이를 "S1"으로 정의하고, 수학식 S1={V*(H*L)-((H*L)-(h*l))*B} / (H*L) 에 따라 계산되며,
   V는 상기 제2 위치 내의 상기 견본의 이미지를 기록하는 상기 단계에서 얻은 이미지 내의 상기 타겟 배경 픽셀의 비트 깊이이며,
   B는 상기 알려진 배경의 비트 깊이인, 방법.
6. 제 5항에 있어서, H/h는 정수이며 L/l은 정수인, 방법.
7. 획득한 이미지의 해상도가 이미지 센서의 디자인된 해상도보다 더 크도록, 그곳에 초점이 맞춰진 견본 이미지를 얻기 위해 상기 이미지 센서를 이용하는 방법으로서,
   다중 픽셀을 갖는 이미지 센서의 시야 범위 내의 알려진 배경상에 견본을 위치시키는 단계;
   상기 알려진 배경도 상기 이미지 센서상에 초점이 맞춰지도록, 그에 상대적인 제1 위치에서 상기 견본을 상기 이미지 센서로 초점을 맞추는 단계;
   상기 제1 위치의 상기 이미지 센서상에 초점이 맞춰진 상기 알려진 배경 및 상기 견본의 이미지를 기록하는 단계;
   상기 기록된 이미지로부터 견본 영역 및 배경 픽셀을 설정하는 단계;
   상기 설정하는 단계에서 설정된 상기 배경 픽셀로부터 선택된 타겟 배경 픽셀 내부에 상기 견본 영역의 제1 부분을 위치시키기 위해 상기 견본을 상기 이미지 센서에 상대적인 제2 위치로 이동시키는 단계;
   상기 제2 위치 내에 상기 이미지 센서상에 초점 맞추어진 상기 알려진 배경 및 상기 견본의 이미지를 기록하는 단계;
   상기 제2 위치로 상기 견본을 이동하는 단계에서 상기 타겟 배경 픽셀로 이동된 상기 견본 영역의 부분의 비트 깊이를 계산하는 단계;
   타겟 배경 픽셀 내부에 상기 견본 영역의 제2 부분이 위치하도록 상기 이미지 센서에 대해 제3 위치로 상기 견본을 이동시키는 단계로서, 제3 위치로 이동시키는 이 단계에서 상기 타겟 배경 픽셀은 제2 위치로 이동하는 상기 앞 단계의 상기 타겟 배경 픽셀과 같거나 다를 수 있는, 상기 이동시키는 단계;
   상기 이미지 센서상에 초점이 맞춰진 상기 알려진 배경 및 상기 견본의 이미지를 상기 제3 위치에서 기록하는 단계; 및
   상기 제3 위치에서 상기 타겟 배경 픽셀로 이동된 상기 견본 영역의 추가 부분의 비트 깊이를 계산하는 단계를 포함하는, 방법.
8. 제 7항에 있어서, 상기 이동 단계, 기록 단계 및 계산 단계는 반복되며, 각각의 추가 이동 단계는 타겟 배경 내부에 상기 견본 영역의 이어지는 새로운 부분을 위치시켜, 상기 견본 영역의 모든 부분에 대해 비트 깊이가 계산되도록 하는, 방법.
9. 제 8항에 있어서, 상기 위치시키는 단계에서, 상기 견본은 상기 알려진 배경에 의한 두 개의 인접면에 둘러 쌓이고, 상기 견본 및 인접 배경은 상기 이미지 센서의 시야 범위 내에 있는, 방법.
10. 제 9항에 있어서, 상기 타겟 배경 픽셀은 H x L 디멘죤을 가지며, 상기 이동 단계에서, 상기 견본은 상기 견본 영역의 서브-픽셀 영역이 상기 타겟 배경 픽셀에 위치하도록 증분 이동되며, 상기 서브-픽셀 영역은 H/z 및 L/w 디멘죤으로 정의되며, 여기서 w 및 z 는 서브-픽셀의 크기에 기초하여 선택된 정수이고, w*z는 해상도 증가를 나타내는, 방법.
11. 제 10항에 있어서, 상기 이동 단계, 기록 단계 및 계산 단계는 반복되며, 각각의 추가 이동 단계는 상기 견본 영역의 추가 서브-픽셀 영역이 타겟 배경 픽셀 내부에 위치시켜, 상기 견본 영역의 모든 부분에 대해 비트 깊이가 계산되도록 하는, 방법.
12. 제 10항에 있어서, 상기 이동 단계에서, 상기 견본은 상기 타겟 배경 픽셀로 정의되는 H 방향으로 z 단계 이동하고, 그러한 각각의 단계에서, 상기 타겟 배경 픽셀로 정의되는 L 방향으로 w 단계 이동하여 w*z 단계에 대한 이동, 기록 및 계산이 수행되는, 방법.
13. 제 12항에 있어서, 상기 타겟 배경 픽셀은 모든 이동 단계에서 동일한 픽셀인, 방법.

Images