KR20100090961A - 가변 부호화 어퍼쳐 장치를 이용하는 이미징 방법 및 이를 적용하는 이미징 장치 - Google Patents

Abstract

가변 부호화 어퍼쳐(variable coded aperture) 장치를 이용하는 이미징 방법 및 이를 응용하는 이미징 장치에 관해 기술된다. 가변 부호화 어퍼쳐는 선택이 가능한 복수의 정규화된 패턴을 가지며, 특정 패턴의 어퍼쳐에 의해 얻어진 이미지는 각 패턴에 관련된 복구(deconvolution) 방법에 의해 처리된다. 가변 부호화 어퍼쳐(variable coded aperture)들은 서로 다른 개구량을 가짐으로써 노출량의 선택이 가능하고, 따라서 극단적으로 어둡거나 밝은 피사체의 촬영 및 이로부터 촬영 후 원하는 심도정보(depth information)와 포커스 정보(focus information)를 복원할 수 있게 되어 넓은 범위의 밝기 상태에서도 양질의 이미지를 얻을 수 있게 된다.

Description

가변 부호화 어퍼쳐 장치를 이용하는 이미징 방법 및 이를 적용하는 이미징 장치{Imaging method with variable coded aperture device and apparatus using the method}

부호화 어퍼쳐(coded aperture)를 이용하는 이미징 방법 및 이를 응용하는 장치에 관해 기술된다.

디컨벌루젼 기법(deconvolution method)에 의한 이미지 처리방법은 디지탈 카메라와 같은 이미징 장치에 적용될 수 있다. 잘 알려진 바와 같이 디컨볼루젼은 초점이 흐려진 이미지를 정상적인 초점 상태의 이미지로 복원하는 기술로서, 초점이 빗나간 정도(PSF, point spread function)를 예측하는 방법이 수반되어야 한다. MIT(Massachusetts Institute of Technology)의 어넷 러빈(Anat Levin et al.) 등은 초점이 다른 피사체가 존재하는 피사체를 위와 같은 방법에 의해 분리하고, 그리고 초점 심도가 다른 이미지 내의 모든 피사체가 모두 초점이 맞는 전 초점(All-focus) 이미지를 실현하였다. 이 방법은 피사체의 다른 초점들 간의 차이를 판별할 수 있도록 설계된 부호화 어퍼쳐 필터를 이용하여 얻은 컨벌루젼 이미지를 얻고 이를 디컨벌루젼 기법에 의해 정상적이 초점 상태의 이미지를 얻어낸다.알 려진 부호화 어퍼쳐를 이용하는 이미징 장치의 한계는 코드화 어펴쳐에 의한 입사광 량의 감소가 불가피하며, 그리고 극단적으로 낮거나 높은 조도 하에서 얻어진 이미지로부터 충분한 정보를 얻을 수 없어서 정확한 심도 정보(depth information)와 포커스 정보(focus information)의 구득이 어렵다. 부호화 어퍼쳐를 이용하는 이미징 방법에서 성공적인 디컨벌루젼을 통해 양질의 이미지를 얻기 위해서는 넓은 범위의 조도 하에서 정확한 심도 정보(depth information)와 포커스 정보(focus information)를 얻기 위한 방법의 연구가 필요하다.

예시적 실시예들(example embodiments)에 따르면, 넓은 범위의 밝기 차이를 가지는 피사체로부터 디컨볼류젼에 요구되는 심도 및/또는 포커스 정보 등의 이미지 정보를 얻을 수 있는 이미징 방법 및 이를 적용하는 장치가 제공된다.

예시적 실시예에 따른 이미징 방법은:

복수 코드 패턴 중 선택된 패턴의 부호화 필터를 이용해 피사체로부터 컨벌루젼 이미지를 얻는 단계; 그리고

상기 패턴들에 대응하는 복수의 디컨벌루젼 방법 중, 선택된 패턴의 부호화 어퍼쳐에 대응하는 디컨벌루션 방법에 의해 상기 이미지를 처리하는 단계;를 포함한다.

예시적 실시예에 따른 이미징 장치는:

수광 소자와;

수광 소자를 향하는 광 경로 상에 마련되는 렌즈 장치와;

상기 수광 소자로 입사하는 광을 제어하는 것으로 상기 광을 복 수의 부호화 패턴으로 변조하는 가변 부호화 필터(variable coded filter); 그리고

상기 수광 소자로부터 얻어진 이미지를 디컨벌루젼하는 것으로, 상기 가변 부호화 광학 부재의 부호화 패턴들 각각에 대응하는 디컨볼루션 논리 구조를 가지는 이미지 처리부;를 구비한다.

일 실시예에 따르면, 상기 패턴들은 개구량을 상호 달리한다.

또 다른 실시예에 따르면, 상기 부호화 필터는 LC(Liquid Crystal) 광 셔텨, 마이크로 미러 어레이, 기계적 아이리스 중 어느 하나에 의해 제공된다.

일 실시예에 따르면, 상기 디컨벌루젼 방법은 상기 컨벌루젼 이미지의 흐림 정도(blur scale)를 얻는 단계와; 흐림 정도를 이용해 디블러링(debluring)하여 리컨벌루젼 이미지를 얻는 단계를; 포함한다.

한 실시예에 따르면, 상기 가변 부호화 필터는, 복수의 부호화 패턴에 대응하게 광을 제어하는 액정 광 제어 장치를 포함할 수 있다.

다른 실시예에 따르면, 상기 가변 부호화 필터는 복수의 마이크로 미러를 구비하는 것으로, 복수의 부호화 패턴에 대응하게 상기 광을 변조하여 상기 수광 소자로 반사하는 마이크로미러 광 제어 장치를 포함할 수 있다.

또 다른 실시예에 따르면, 상기 가변 부호화 필터는 상기 광의 진행경로 상에 마련되어 광이 통과하는 영역의 면적을 조절하는 다수 가동 다이어프램을 가지는 조리개 장치로서, 상기 가동 다이어 프램 각각에는 상기 복수의 부호화 패턴에 대응하는 광 통과공을 가지며, 상기 다이어프램의 위치에 따라 상기 광 통과공에 의해 상기 복수의 부호화 패턴에 대응하게 상기 광을 변조할 수 있다.

이하, 첨부된 도면을 참조하면서 본 발명의 실시예들에 따른 이미징 방법 및 이를 적용하는 이미징 장치를 설명한다.

본 발명의 실시예는 어넷 러빈 등(Anat Levin et al.) 등이 제안한 부호화 어퍼쳐를 이용한 디컨벌루젼 방법을 적용하며, 따라서, 어넷 러빈 등에 의해 제안되고 설명된 구체적인 기술 내용에 대해서는 언급되지 않는다.

부호화 어퍼쳐(필터)를 이용해 얻어진 컨벌루젼 이미지는 부호화 어퍼쳐(필터)의 부호에 따라 주파수 별로 다른 주파수를 가지게 된다. 일반적인 방법에 의해 얻어지는 이미지는 주파수 영역에서 상호 오버랩되는 제로(zero)들을 가지며, 따라서 이러한 이미지 신호를 재구성 또는 복구하기 어렵다. 그러나 부호화 어퍼쳐를 이용해 얻어진 이미지는 주파수 영역에서 제로가 분산된다. 이와 같이 주파수 영역에서 제로가 분산되므로 상기 이미지를 복원 또는 재구성할 수 있다.

그러나 이러한 종래의 부호화 어퍼쳐를 이용해 디컨벌루젼하는 기법은 고정된 개구량의 부호화 어퍼쳐를 이용하며, 수광 소자에 대한 수광량, 즉 노광량은 시간으로 조절한다. 이는 기존의 카메라에서 노출량의 조절 인자로서 조리개와 시간을 이용하는 방법과는 다르다. 따라서 종래의 부호화 어퍼쳐를 이용하는 디컨벌루젼 기법의 이미징 방법은 고정된 개구량의 부호화 어퍼쳐를 이용하기 때문에 수광 시간의 조절에 의해서만 적정 노출을 얻을 수 있다. 그러나, 시간만으로는 조절될 수 없는 극단적으로 밝은 조도 하에는 노출이 과도한 이미지를 얻을 수 있고, 그리고 어두운 조도 하에서는 노출이 과부족하여 이미지 복원에 필요한 정보를 얻을 수 없다.

본 발명의 실시예들은 부호화 어퍼쳐를 이용하는 디컨벌루젼 기술을 적용하면서 어퍼쳐의 크기 조절이 가능하도록 하는 방법을 제시한다.

도 1은 일 실시예에 따른 디지탈 일안리플렉스(DSLR) 카메라의 개략적 구성을 보인다. 메인 바디(10)는 수광 소자(11), 펜타프리즘(12), 미러(13) 그리고 이미지 프로세서(14) 등을 내장한다. 그리고 메인바디(10)의 전방에 장착되는 렌즈 마운트(20)는 복 수의 렌즈(L1, L2) 및 가변 부호화 필터(어퍼쳐, 21)를 내장한다.

상기 가변 부호화 필터(21)는 피사체로부터의 입사광을 필터링하는 것으로 부호화된 필터 구조로 설계된 특정한 패턴의 영역으로만 광 통과를 허용한다. 이 패턴은 어넷 러빈 등이 제시한 현실 이미지의 통계적 모형으로서 불확실한 확률적 모형(probabilistic model)에 따른 부호화 어퍼쳐 필터의 설계에 기초한다. 이러한 부호화 어퍼쳐 필터는 이미지의 심도 변화에 민감하도록 부호화되어 있다. 따라서 피사체로부터의 입사광은 부호화된 어퍼쳐 필터를 통과하면서 특정 부호로 변조(modified)된 상태에서 수광 소자(11)에 결상 하게 된다. 수광 소자(11)로부터 얻어진 컨벌루젼 이미지 신호는 이미지 프로세서(14)에 의해 심도 및 초점 정보를 얻은 후 이에 기초하여 디블러링된다. 디블러링 또는 디컨벌루젼은 위와 같이 과정에서 얻어진 흐림 정도(blur scale)를 의해 이미지로부터 흐림(blur)을 제거하여 원래의 예리한 이미지를 재구성한다.

본 발명의 일 실시예는 단순히 하나의 부호화 어퍼쳐를 이용하는 방법이 마주치게 되는 노출 한계를 고려하여, 부호화된 필터 구조에 따른 패턴을 다수 개 마련된다. 도 2는 본 발명의 일 실시예에 따른 이미징 방법을 개략적으로 도시한다. 즉, 이미지 캡쳐(또는 촬상)을 시작하기 위하여 이미징 장치를 초기화한 후(21 단계), 피사체의 밝기나 주변 광의 상태에 대응하는 적절한 개구량의 부호화 어퍼쳐 필터를 선택한다(22 단계). 적정 어퍼쳐 필터를 선택한 후 이미징 장치의 셔터를 릴리즈하여 수광소자로부터 컨벌루젼 이미지(데이터)를 얻는다(23 단계). 컨벌루젼 이미지로부터 위에서 언급한 방법에 의해 피사체의 심도 정보 및/또는 포커스 정보 를 산출한다(24 단계). 심도 정보와 포커스 정보를 이용해 상기 컨벌루젼 이미지로부터 흐름 부분을 제거하는 디블러링 과정을 포함하는 디컨벌루젼을 수행하여 목적하는 디컨벌루젼 이미지를 얻는다(25 단계).

본 발명의 실시예의 필터는 복수의 부호화 패턴들을 가지며 이들 패턴들의 개구량은 상호 달리하여 광 통과량을 차등화하며, 그리고 심도정보를 계산하고 이를 근거로 컨벌루젼 이미지를 재구성하는 이미지 프로세서는 각 패턴에 대응하는 복수의 흐림 정도(blur scale)를 측정하는 논리적 구조를 가진다. 예를 들어, 이미징 장치에서 렌즈의 개구량을 나타내는 f 값(예를 들어, f=1.4, 2.0, 2.8, 4.0, 5.0, 8, 11, 16, 22)에 상응하는 개구량의 부호화 어퍼쳐를 가질 수 있다. 즉, 본 발명의 실시예는 종래 이미징 장치와는 달리 다단계의 노출량 조절이 가능한 부호화 어퍼쳐를 가진다.

도 3의 (a), (b), (c), (d)는 서로 다른 개구량을 가지는 부호화 어퍼쳐(필터)의 패턴을 예시한다. 이들 어퍼쳐는 개구량의 변화를 단순히 예시하는 것으로서, 개구량의 감소와 함께 부호화 패턴도 달라짐을 보여 준다. 도 2의 (a), (b), (c), (d)에 열거된 패턴의 개구량의 변화는 1 스톱(stop)씩 변화되게 한다면, 기존 카메라에서 조리개의 역할을 가질 수 있게 될 것이다.

이상과 같은 가변 부호화 어펴쳐(variable coded aperture)를 이용한다면, 피사체의 밝기에 따라 적정 개구량의 부호화 패턴을 선택함으로써 보다 넓은 범위의 조도 변화에서도 양질의 이미지 캡쳐 또는 촬상이 가능하다. 양질의 이미지 촬상은 이미지로부터 충분한 주파수의 흐림 스케일을 얻을 수 있고 따라서 성공적인 디블러링 또는 디컨벌루션이 가능하게 되어 원래의 예리(sharp)한 이미지를 복구 또는 재구성할 수 있게 된다.

상기 가변 부호화 필터(21)는 여러 형태로 구현이 가능하다. 예를 들어 도 4에 도시된 바와 같이 전기-광학적으로 통과광의 제어가 가능한 투과형 LC(liquid crystal) 광 셔터(211)를 상기 가변 부호화 필터(21)로 적용할 수 있다. LC 광 셔터는 기존의 LCD에서와 같이 광을 통과여부를 액정의 광학적 특성 변화에 따라 결정하는 것으로 도 3에 도시된 바와 같은 부호화 패턴으로의 광제어가 가능하며 따라서 이를 통해 렌즈의 밝기, 즉 광통과량을 조절할 수 있다.

상기 가변부호화 필터(21)는, 도 5에 도시된 바와 같이, 기존 복수의 다이어프램(diaphragm)에 의한 아이리스(iris) 구조를 응용한 기계적 다이어프램 필터(212)를 적용할 수 있다. 이 다이어프램 필터(212)는 광축 중심을 에워싸는 다수의 다이어프램(212a)을 구비하며, 이들 다이어프램(212a)은 통과 광량을 제어하는 것이다. 본 예시적 실시예에서, 다이어프램(212a)은 그 자체에 광 통과를 허용하는 특정 단위 패턴을 가지는 복수의 관통공(212b)을 가지며, 이러한 단위 패턴을 가지는 관통공(212b)들의 집합에 의해 가변적인 부호화 패턴을 형성하는 것이다. 따라서 각 다이어프램(212a)은 복수의 관통공(212b)을 가지면 이들 다이어프램의 적절한 회전 위치에서 부호화 패턴을 형성할 수 있도록 할 수 있다. 도 5는 극히 상징적으로 가변적 부호화 어펴쳐의 구성하기 위한 관통공(212b)을 상징적으로 예시되어 있으며 본 예시적 실시예를 기술적으로 제한하지 않는다.

한편, 상기 가변 부호화 필터(21)는 도 6에 도시된 바와 같이 특정 패턴의 광 반사가 가능한 공지의 마이크로 미러 어레이(213)를 응용할 수 있다. 마이크로 미러 어레이(13)로서는, 대표적으로 DLP(Digital Light Processing) 프로젝터 등에 많이 이용되는 DMD(digital micromirror device)를 그 일 예로 들 수 있다. 이 DMD의 구조는 픽셀단위로 구동하는 MEMS(Microelectromechanical Systems) 구조의 마이크로미러에 의해 입사광을 변조하여 스크린 상에 목적하는 화상을 표현하는 것이다. 가변 부호화 필터(21)로 적용되는 마이크로미러 어레이(213)는 다수의 마이크로 가동 미러(213a)를 가지며, 이들 마이크로 가동 미러(213a)들을 전술한 가변 부호화 어퍼쳐의 다양한 패턴에 대응하게 작동시킴으로써 통과 광량 조절과 함께 특정 부호로 변조된 이미지를 수광 소자(11)에 결상할 수 있다.

도 7은 도 6에 도시된 MEMS 구조의 마이크로 미러 어레이(213)를 부호화 필터로서 적용하는 DSLR의 개략적 구성도이다.

메인 바디(10)는 수광 소자(11), 펜타프리즘(12), 미러(13) 그리고 이미지 프로세서(14), 그리고 마이크로 미러 어레이(213) 등을 내장한다. 그리고 메인바디(10)의 전방에 장착되는 렌즈 마운트(20)는 복 수의 렌즈(L1, L2)를 갖춘다.

상기 메인 바디(10)에서, 마이크로 미러 어레이(213)는 미러(13)의 후방에 위치하며 변조된 광을 메인 바디(10) 하방으로 반사하도록 되어 있고, 수광 소자(11)는 상기 미러 어레이(213)에서 반사된 변조 광의 결상 위치에 배치된다.

상기 렌즈 마운트(20)를 통과한 광은 마이크로 미러 어레이(213)에 일정한 면적으로 입사하며, 이로 부터 반사된 후 수렴하여 그 하부의 수광 소자(11)에 초 점을 맺는다. 수광 소자(11)의 전방에 위치하는 렌즈(L3)는 마이크로 미러 어레이(213)로 부터 반사된 변조 광을 수렴시키기 위한 센싱 렌즈로서 광학적 설계 구조에 따라 선택적이다.

도 8은 도 6에 도시된 마이크로 미러 어레이(213)를 응용하는 다른 실시예에 따른 DSLR의 개략적 구성도이다.

이 실시예에서는 마이크로 미러 어레이(213)가 렌즈 마운트(20) 측에 마련되어 있다. 즉, 렌즈 마운트(20)는 2 번 굴절된 광 경로의 양측에 위치하는 복수의 렌즈(L1, L2)를 구비하며, 이들 렌즈(L1, L2)의 사이에서 첫번째 굴절 위치에 마이크로 미러 어레이(213)가 위치하며, 두 번째 굴절 위치에 고정 반사 미러(M1)가 위치한다. 렌즈 마운트(20)의 마지막 렌즈(L2)를 통과한 광은 가동 미러(13)의 후방에 위치하는 수광 소자(11)에 결상한다.

전술한 실시예들의 이미징 방법은 전통적인 카메라에서 찾아 볼 수 있는 자동초점 메커니즘을 배제하는 것으로 그 구조에 있어 종래 카메라에 비해 매우 유리한 장점을 가진다. 강제적으로 초점을 수광소자에 맺게 하는 수단을 가지지 않으나, 기존의 비점수차법에 의한 자동 초점 외에 소위 콘트라스트 검출 시스템(contrast detection system)을 응용할 수 도 있다. 잘 알려 진 바와 같이 콘트라스트 검출 시스템은 렌즈를 움직이면서 영상 일부(주로 중앙부분)의 콘트라스트를 계속적으로 계산하고, 콘트라스트가 최대가 되었을 때 초점이 맞았다고 판단하는 방법을 이용한다.

위에서 기술된 본 발명의 실시예들은 개구량을 달리하는 복수의 부호화 패턴 을 어퍼쳐 필터에 부여하고 이에 상응하는 디컨벌루젼 프로세스를 적용함으로써 극단적으로 어둡거나 밝은 피사체로부터 디컨벌루젼에 필요한 심도 정보 및 포커스 정보를 얻을 수 있도록 하는 것이다. 이러한 실시예에 따르면 기존의 복잡하고 단가가 높은 자동 포커스 장치가 없이도 초점이 잘 맞은 양질의 이미지를 얻을 수 있게 된다.

이러한 실시예에 따른 이미지 방법 및 장치는 일 실시예로서 언급된 전술한 DSLR 뿐 아니라 비디오 카메라 등 다양한 이미징 장치에 적용 가능하며, 다양한 형태로의 수정이 가능하다. 지금까지, 본원 발명의 이해를 돕기 위하여 예시적 실시예들이 설명되고 첨부된 도면에 도시되었다. 그러나 이러한 예시적 실시예들에 의해 기술적 범위가 제한되지 않는다는 점이 이해되어야 할 것이며, 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

도 1은 본 발명의 일 실시예에 따른 이미징 장치로서 디지털일안리플렉스 (DSLR) 카메라의 개략적 구조를 도시한다.

도 2는 본 발명의 일 실시예에 따른 이미징 방법을 설명하는 흐름도이다.

도 3은 본 발명의 일 실시예에 따른 가변 부호화 필터의 다양한 패턴을 예시한다.

도 4는 본 발명의 일 실시예에 따라 가변 부호화 필터로 응용되는 LC 광 셔터를 개략적으로 보인다.

도 5는 본 발명의 다른 실시예에 따른 가변 부호화 필터로 응용되는 기계적 아이리스를 개략적으로 보인다.

도 6은 본 발명의 또 다른 실시예에 따른 가변 부호화 필터로 응용되는 마이크로 미러 어레이를 개략적으로 보인다.

도 7은 본 발명의 다른 실시예에 따른 이미징 장치로서 DSLR 카메라의 개략적 구조를 도시한다.

도 8은 본 발명의 또 다른 실시예에 따른 이미징 장치로서 DSLR 카메라의 개략적 구조를 도시한다.

Claims (10)

1. 복수 코드 패턴 중 선택된 패턴의 부호화 필터를 이용해 피사체로부터 컨벌루젼 이미지를 얻는 단계; 그리고

   상기 패턴들에 대응하는 복수의 디컨벌루젼 방법 중, 선택된 패턴의 부호화 어퍼쳐에 대응하는 디컨벌루션 방법에 의해 상기 이미지를 처리하는 단계;를 포함하는 이미징 방법.
2. 제 1 항에 있어서,

   상기 패턴들은 개구량을 상호 달리하는 것을 특징으로 하는 이미징 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 부호화 필터는 LC(Liquid Crystal) 광 셔텨를 포함하는 것을 특징으로 하는 이미징 방법.
4. 제 1 항 또는 제 2 항에 있어서,

   상기 부호화 필터는 복수의 가동 미러를 포함하는 마이크로 미러 어레이를 포함하는 것을 특징으로 하는 이미징 방법.
5. 제 1 항 또는 제 2 항에 있어서,

   상기 부호화 필터는 다수의 다이어프램을 갖춘 기계적 아이리스를 포함하는 것을 특징으로 하는 이미징 방법.
6. 수광 소자와;

   수광 소자를 향하는 광 경로 상에 마련되는 렌즈 장치와;

   상기 수광 소자로 입사하는 광을 제어하는 것으로 상기 광을 복 수의 부호화 패턴으로 변조하는 가변 부호화 필터(variable coded filter); 그리고

   상기 수광 소자로부터 얻어진 이미지를 디컨벌루젼하는 것으로, 상기 가변 부호화 광학 부재의 부호화 패턴들 각각에 대응하는 디컨볼루션 논리 구조를 가지는 이미지 처리부;를 구비하는 이미징 장치.
7. 제 6 항에 있어서,

   상기 패턴들은 개구량을 상호 달리하는 것을 특징으로 하는 이미징 장치.
8. 제 6 항 또는 제 7 항에 있어서,

   상기 부호화 필터는 LC(Liquid Crystal) 광 셔터를 포함하는 것을 특징으로 하는 이미징 장치.
9. 제 6 항 또는 제 7 항에 있어서,

   상기 부호화 필터는 복수의 가동 미러를 포함하는 마이크로 미러 어레이를 포함하는 것을 특징으로 하는 이미징 장치.
10. 제 6 항 또는 제 7 항에 있어서,

    상기 부호화 필터는 다수의 다이어프램을 갖춘 기계적 아이리스를 포함하는 것을 특징으로 하는 이미징 장치.

Images