KR100629305B1

KR100629305B1 - 카메라

Info

Publication number: KR100629305B1
Application number: KR1020040000154A
Authority: KR
Inventors: 이철희
Original assignee: 연세대학교 산학협력단
Priority date: 2003-01-03
Filing date: 2004-01-02
Publication date: 2006-09-29
Also published as: US20040130649A1; US20070126920A1; KR20040062894A; US20070126918A1; US20070126919A1

Abstract

상이한 노출과 초점으로 다수의 피사체촬영을 수행하고 이들 촬영분을 합성함으로써 화질을 개선하는 카메라에 대한 발명임. 본 발명에서는 또한, 콘트라스트가 강한 피사체의 화질을 개선하기 위한 픽셀별 노출제어 수단이 개시되어 있고, 상이한 초점과 노출값에서 동작하는 다수의 영상센서를 갖는 카메라가 개시되어 있다. 본 발명에 따르면, 장차 개발될 처리기법을 이용하여, 상이한 초점과 노출로 촬영된 다수의 정지영상 내지는 동영상을 모두 저장할 수 있다.

카메라, 초점, 노출, 영상센서

Description

카메라{Cameras}

도1은 카메라의 정면도이다.

도2는 선택수단으로서 터치패드를 갖는 카메라의 배면도이다.

도3은 선택수단으로서 조이스틱을 갖는 카메라의 배면도이다.

도4는 피사체가 z축을 따라 넓은 범위로 늘어서 있는 피사체의 예시도이다.

도5는 포인팅수단의 예시도로서, 관심 피사체(object of interest)를 어떻게 선택하는지를 보여준다.

도6은 관심 피사체를 선택하는 윈도우 프레임을 나타낸다.

도7은 다수의 관심 피사체를 선택하는 윈도우 프레임을 나타낸다.

도8은 윈도우 프레임이 움직이더라도 셔터버튼이 약간 눌려진 상태에서 관심 피사체가 고정되는 것을 나타낸다.

도9는 상이한 초점에서 동작하는 다수의 영상센서를 갖는 카메라의 예시도이다.

도10은 상이한 초점에서 동작하는 다수의 영상센서를 갖는 카메라의 예시도로서, 입사광선이 가장 가까운 피사체에 초점을 맺는 것을 나타낸다.

도11은 상이한 초점에서 동작하는 다수의 영상센서를 갖는 카메라의 예시도로서, 입사광선이 가장 먼 피사체에 초점을 맺는 것을 나타낸다.

도12는 CCD(charge-coupled device)의 예시도이다.

도13은 컬러필터 배열형 CCD(Bayer)의 예시도이다.

도14는 LCD를 채용하고 있는 픽셀별 노출제어 수단의 예시도이다.

도15는 LCD를 채용하고 있는 픽셀별 노출제어 수단의 다른 예시도이다. LCD의 해상도는 CCD의 해상도보다 낮다.

도16은 LCD를 채용하고 있는, 아날로그 필름용 픽셀별 노출제어 수단의 예시도이다.

도17은 DMD(digital micromirror device)의 예시도이다.

도18은 DMD를 채용하고 있는 픽셀별 노출제어 수단의 예시도이다.

도19는 DMD를 채용하고 있는 픽셀별 노출제어 수단을 이용하여 상이한 초점에서 동작하는 다수의 영상센서를 갖는 카메라의 예시도이다.

도20은 DMD의 동작상태를 나타내는 원리도이다.

도21은 상이한 노출량에 동작하는 다수의 영상센서를 갖는 카메라의 예시도이다.

도22는 상이한 초점 및 노출량에 동작하는 다수의 영상센서를 갖는 카메라의 예시도이다.

본 발명은 상이한 노출과 초점으로 촬영한 다수의 영상을 합성하여 화질을 개선하는 카메라에 관한 것이다. 본 발명은 또한, 강한 콘트라스트의 피사체로부터 고품질의 영상을 얻기 위하여 픽셀별로 노출을 제어하는 수단을 갖는 카메라에 관한 것이다. 또한, 본 발명은 상이한 초점 및 노출량에서 작동하는 다수의 영상센서를 갖는 카메라에 관한 것이다.

카메라로 고품질의 정지영상 내지는 동영상을 얻기 위해서는 노출량과 초점이 적정하게 설정되어야 한다. 그러나, 많은 경우에 모든 피사체에 대해서 이상적인 노출량과 초점을 맞추기란 매우 어렵다. 예를 들어, z축으로 넓은 범위에 걸쳐 늘어서 있는 피사체의 경우에는 초점을 맞추기가 어렵다. 또한, 콘트라스트가 강한 피사체의 경우에는 적정한 노출량을 설정하기가 어렵다.

본 명세서에서 z축이란 카메라 렌즈로부터 무한대 방향으로 멀어지는 스크린 깊이(screen depth)를 의미한다. 일반적으로, 줌인(zoom-in)을 하게 되면 줌아웃(zoom-out)을 한 경우보다 피사계심도가 얕아진다. 또한, 렌즈 구경이나 조리개의 직경(aperture)이 클수록 피사계심도가 얕아진다. 따라서, 피사체가 z축 방향으로 넓은 범위에 걸쳐 늘어서 있는 경우에는 모든 피사체에 대해서 적정한 초점을 유지하기가 어렵다. 본 발명은 피사체를 상이한 초점으로 다수의 영상을 촬영함으로써 이러한 문제를 해결하고자 한다. 이로써, 본 발명의 카메라에 의해, 상이한 초점으로 촬영된 다수의 영상을 합성하여 하나의 선명한 영상을 얻을 수 있게 된다.

콘트라스트가 너무 강한 경우에는 모든 피사체에 대해서 적정한 노출을 주기가 곤란하다. 콘트라스트가 강한 피사체에서는 밝은 부분에의 노출은 과잉되고 어두운 부분에서의 작은 차이는 그냥 단순히 어둡게만 표시된다. 본 발명은 또한, 피사체를 상이한 노출량으로 다수의 영상을 촬영함으로써 이러한 문제를 해결하고자 한다. 이로써 본 발명의 카메라에 의해, 촬영된 다수 장의 영상을 합성하여 명확한 계조의 새로운 영상을 얻을 수 있다.

다양한 초점 또는 노출량으로 소정 시간에 걸쳐 촬영된 다수의 영상을 합성할 때에는, 카메라의 흔들림이나 피사체의 움직임에 의해 영상이 약간씩 어긋날 수 있기 때문에 각 영상들을 정렬하는 것이 우선적으로 필요하다. 이러한 의도치 않은 영상 변화를 대부분 시프트나 회전 등의 정렬조작에 의해 보정할 수는 있지만, 약간의 영상왜곡은 피할 수 없게 된다. 이러한 문제를 해결하기 위해서, 본 발명은 상이한 초점 또는 노출량을 제어할 수 있는 다수의 영상센서를 갖는 카메라를 제공하고 있다. 본 발명의 카메라는 상이한 초점과 노출량으로 여러 장의 영상을 동시에 촬영함으로써 불완전한 정렬에 따른 왜곡을 회피할 수 있도록 한다.

한편, z축으로 넓은 범위에 걸쳐 흩어져 있는 피사체의 동영상을 촬영할 때에 사용자는 초점이 맞는 피사체 하나를 선택해야만 한다. 일반적으로, 비디오카메라 촬영시에 피사체가 z축을 따라 넓은 범위로 흩어져 있을 때에는 모든 피사체에 대해서 초점을 맞추기가 지극히 곤란하다. 이러한 문제를 해결하기 위하여, 본 발명은 또한, 서로 다른 초점에서 동작할 수 있는 다수의 영상센서를 사용하여 피사체를 서로 다른 초점으로 동시에 촬영하고 이들 촬영 동영상을 합성하여 하나의 선명한 영상을 얻게 한다.

콘트라스트가 매우 강할 때에, 비디오카메라로 모든 피사체에 대해서 적정 한 노출량을 주기는 곤란하다. 본 발명은 이러한 문제를 해결하기 위하여, 서로 다른 노출값에서 작동하는 다수의 영상센서를 사용하여 피사체를 서로 다른 노출량으로 동시에 촬영하고 이들 촬영 동영상을 합성하여 명확한 계조의 새로운 동영상을 얻게 한다. 그러나, 영상센서가 다수 존재한다면 카메라가 커지고 가격이 올라가게 된다. 이러한 콘트라스트 문제를 해결하는 다른 방안으로서, 본 발명은 픽셀별로 노출을 제어하는 수단을 제공한다. 결국, 콘트라스트가 강한 피사체에서 양질의 영상을 얻는 것이 가능해진다.

따라서, 본 발명의 목적은 하나의 피사체로부터 상이한 초점으로 다수의 영상을 취득하여 이들을 합성함으로써 하나의 선명한 영상을 얻는 카메라를 제공하는 것이다.

본 발명의 다른 목적은 하나의 피사체로부터 상이한 노출량으로 다수의 영상을 취득하여 이들을 합성함으로써 명확한 계조의 새로운 영상을 얻는 카메라를 제공하는 것이다.

본 발명의 또다른 목적은 다양한 초점 및 노출에서 동작함으로써 상이한 초점과 노출량을 갖는 다수의 영상을 동시에 취득할 수 있는 다수의 영상센서를 갖는 카메라를 제공하는 것이다.

본 발명의 또다른 목적은 픽셀별 노출제어 수단을 갖는 카메라를 제공하는 것이다.

이 밖에 본 발명의 다른 목적, 특징 및 장점은 이하의 상세한 설명에 의해 명확해질 것이다.

동영상은 일련의 프레임 내지는 필드로 구성되는 것으로 이해되고 있기 때문에, 본 발명의 기술적 사상은 정지영상 카메라(스틸카메라) 및 동영상 카메라(비디오카메라)에 모두 적용 가능하다. 또한, 사실상 스틸카메라와 비디오카메라의 구분이 점차 희미해지고 있다. 본 명세서에서 양자 간에 차이점이 있을 때에는 이를 설명하도록 하겠다.

실시예1

z축은 카메라 렌즈 110으로부터 무한대로 향해 있는 화면상의 심도(screen depth)로 정의한다. 피사계심도는 초점이 맞는 피사체의 z축에서의 영역을 의미한다. 일반적으로 줌인의 경우에는 줌아웃의 경우보다 피사계심도가 얕다. 또한, 렌즈 구경이나 조리개 직경(aperture)이 커지면 피사계심도가 얕아진다. 따라서, 피사체 140, 141, 142가 도4에서와 같이 z축을 따라 넓은 범위에 걸쳐 늘어서 있을 때에는 모든 피사체가 초점을 맞추는 것이 어렵다. 본 발명은 이러한 문제를 해결하기 위하여, 피사체로부터 상이한 초점으로 다수의 영상을 취득한다. 그러고 나서, 이들 다수의 영상을 합성하여 하나의 선명한 영상을 얻을 수 있다. 여기서, 영상은 디지털형식으로 저장되어야 한다. 예를 들어, 디지털데이터를 저장할 수 있는 비휘발성 메모리, 하드드라이브, 자기테이프 등이 영상 저장수단으로 사용가능하다.

본 발명에 따른 카메라에 있어서는 사용자가 셔터버튼 111을 한 번만 누르더라도 상이한 초점의 다수의 영상을 취득하고, 이들 영상을 합성하여 하나의 선명한 영상을 얻을 수 있다. 예를 들어, 첫번째 촬영시에는 가장 가까운 피사체 140에 초점을 맞추고, 두번째 촬영시에는 그 다음 가까운 피사체 141에 초점을 맞추고, 세번째 촬영시에는 가장 먼 피사체 142에 초점을 맞추어 다회의 촬영을 할 수 있다. 다음에, 이들 세 가지 영상을 정렬하고 합성하여 모든 피사체에 초점이 맞는 하나의 선명한 영상을 얻게 된다. 정렬 동작은, 소정 시간 동안에 취득된 다수의 영상들이 서로 어긋나 있기 때문에 필요한 것이다. 위와 같은 세 번의 촬영은 사용자가 셔터버튼 111을 한 번만 눌러도 이루어진다.

또한, 본 발명에서는 촬영회수 선택수단이 적용되는데, 이 촬영회수 선택수단은 사용자가 촬영의 회수를 선택할 수 있도록 하는 수단이다. 다른 말로, 사용자는 초점이 맞는 피사체의 수를 선택할 수 있다. 영상의 수가 1개일 때에는 셔터를 누를 때마다 촬영을 하는 기존의 카메라와 동일하게 된다. 도2는 뷰파인더 123, LCD 122, 터치패드 120, 피사체 선택버튼 121을 구비한 카메라의 배면도이다. 도3은 뷰파인더 133, LCD 132, 조이스틱 130, 피사체 선택버튼 131을 구비한 카메라의 배면도이다. 사용자는 도5에 나타낸 포인팅수단 150을 이용하여 초점을 맞출 피사체를 선택할 수 있다. 포인팅수단 150은 조이스틱 130이나 터치패드 120으로 움직일 수 있다. 사용자는, 포인팅수단 150으로 초점을 맞추고자 할 피사체 151을 선택한 다음에 피사체 선택버튼 121, 131을 눌러서 피사체를 선택한다. 다른 방법으로서, 도6에서와 같이, 사용자는 피사체 161을 윈도우프레임 160 내에 위치시키고 셔 터버튼을 살짝 누른다. 그러면, 카메라에서는 윈도우프레임 160 내의 피사체 161을 초점을 맞추고자 할 대상 피사체로 인식을 하게 된다. 한편, 본 발명의 카메라는 몇 회의 촬영을 할 것인지를 결정할 수 있다. 도7에서는 z축을 따라 늘어서 있는 세 개의 피사체 170, 171, 172가 윈도우 프레임에 의해 어떻게 선택될 수 있는지를 보여주고 있다. 예를 들어, 사용자가 가장 가까운 피사체 170을 윈도우프레임에 위치시키고 셔터버튼을 살짝 누른다. 다음에, 사용자는 두 번째 가까운 피사체 171을 윈도우프레임에 위치시키고 셔터버튼을 살짝 누른다. 마지막으로 가장 먼 피사체 172를 윈도우프레임에 위치시키고 셔터버튼을 살짝 누른다. 선택된 피사체를 구별하기 위해서 본 발명의 카메라에는 선택된 피사체를 밝게 강조하거나(highlight), 다른 색상으로, 또는 컨투어(contour)를 이용하여 표시할 수 있다.

실시예 2

소정 시간 동안에 상이한 초점으로 촬영된 다수의 영상을 합성할 때에는 우선적으로 각 영상을 정렬하여야 한다. 카메라가 흔들리고 피사체가 움직이기 때문에 촬영된 영상도 서로 약간씩 어긋나게 되기 때문이다. 이는 정렬 기능(시프트, 회전 등)에 의하여 대부분 보정할 수 있지만, 약간의 왜곡은 피할 수 없다. 이러한 문제를 해결하기 위하여, 본 발명의 카메라는 상이한 초점에서 동작하는 다수의 영상센서를 구비하고 있다.

도9는 다수의 영상센서를 갖는 카메라의 예시도이다. 우선, 입사광선 190이 광분할기 191에 의해 세 개의 빔으로 분할된다. 메인 렌즈를 통해 입사되는 광선 190은 중간에 있는 피사체에 초점이 맞추어져 있는 것으로 가정한다. 카메라는 두 개의 초점조절 수단을 갖고 있다. 원거리용 초점조절 수단 195는 거리가 멀어 초점이 안 맞는 피사체의 희미한 영상을 보정해 준다. 근거리용 초점조절 수단 193은 거리가 가까워 초점이 안 맞는 피사체의 희미한 영상을 보정해 준다. 즉, 첫번째 분할광 197은 제1센서 192에 감지되고, 두번째 분할광 198은 원거리용 초점조절 수단 195를 거쳐서 제2센서에 감지되고, 세번째 분할광 199는 근거리용 초점조절 수단 193을 거쳐 제3센서 194에 감지된다. 그리고 마지막으로 세 개의 센서들은 광신호를 전기신호로 변환하고 이들을 합성하여 선명한 정지영상 내지는 동영상을 생성하게 된다.

따라서, 본 발명의 카메라에서는 서로 다른 초점으로 다회의 촬영을 동시에 행하면서도 소정 시간 동안의 카메라의 흔들림이나 피사체의 움직임에 따른 영상왜곡이 없게 된다. 다수의 영상이 동시에 취득된 후에, 이들 영상들은 합성되어 보다 더 선명한 영상으로 된다. 본 실시예의 기술사상은 스틸카메라 및 비디오카메라에 모두 적용될 수 있다.

영상감지 수단 192, 194, 196으로서 CFA CCD또는 삼색 CCD 또는 CMOS 또는 기타 다른 센서가 사용될 수 있다. 또한, 초점조절 수단은 줌렌즈 형식으로 구현할 수 있다. 이러한 초점조절 수단은 원거리 및 근거리에 따른 영상의 희미해짐을 보정할 수 있다.

실시예 3

얕은 피사계심도에서는 관심 피사체를 강조할 수 있기 때문에, 때로는 카메라 사용자가 의도적으로 얕은 피사계심도를 이용하고자 할 경우가 있다. 이러한 효과를 얻기 위하여 고배율 줌렌즈나 망원렌즈가 일반적으로 사용되고 있다. 그러나, 본 발명의 기술사상에 의하면 이러한 고가의 장비를 쓰지 않고도 동일한 효과를 얻을 수 있게 된다. 우선, 사용자가 포인팅수단 150을 이용하여 관심 피사체 151을 선택한다. 앞에서 설명한 것과 같이, 포인팅수단은 조이스틱 130이나 터치패드 120 등의 수단을 이용하여 뷰파인더 내에서 이동시킬 수 있다. 그러고 나서, 관심 피사체 151의 영역을 추출하기 위한 세그먼테이션 기법을 적용하여 상이한 초점으로 다수의 촬영을 하고, 어느 촬영분이 관심 피사체중 가장 선명한지 결정한다. 또한, 어느 촬영분이 배경으로 사용될 희미한 영상인지를 결정한다. 마지막으로, 카메라에서는 초점이 맞는 관심 피사체와 초점이 안 맞는 배경 피사체만을 갖는 영상을 만들어낸다. 여기서도 앞에서 설명한 것과 같이, 사용자는 단지 셔터버튼을 한 번만 누르면 카메라에서 상이한 초점으로 다수의 영상을 촬영한다. 또한, 사용자는 초점이 맞는 피사체를 한 개 이상 선택할 수도 있다.

카메라가 z축을 따라 늘어서 있는 피사체를 표시할 때에 사용자로 하여금 카메라로부터의 거리를 구별할 수 있도록 피사체를 표시한다면 사용자에게 도움을 줄 수 있을 것이다. 이는 표시되는 피사체를 밝게 강조하거나(highlight), 다른 색상 또는 컨투어(contour)를 이용하여 달성할 수 있다. 예를 들어, 관심 피사체는 밝게 강조해주고 배경은 어둡게 처리할 수 있다.

본 발명을 구현하는 다른 방법으로서, 사용자는 관심 피사체 161을 윈도우 프레임 160 내에 위치시키고 셔터버튼 111을 약간 누른다. 이때, 카메라는 윈도우프레임 160 속의 피사체 161이 관심 피사체인 것으로 판단하여 이에 맞는 최적의 초점값을 찾아낸다. 그러고 나서, 사용자가 셔터버튼 111을 완전히 누르면 카메라는 상이한 초점으로 다수의 촬영을 행하고 관심 피사체의 영역을 찾아낸다. 마지막으로, 카메라에서는 다수의 촬영된 영상을 합성하여 초점이 맞는 관심 피사체와 초점이 안 맞는 배경피사체만을 생성한다. 윈도우프레임 180은 도8에서와 같이 이동되는 것이지만, 카메라는 관심 피사체 181을 기억하고 있다.

실시예 4

콘트라스트가 너무 강한 경우에는 모든 피사체에 대해서 적정한 노출량을 줄 수가 없다. 콘트라스트가 강한 피사체의 경우에는, 밝은 부분은 과잉 노출이 되고 어두운 부분의 작은 차이는 전체적으로 검게 표현된다. 이러한 문제를 해결하기 위하여 본 발명에서는 피사체를 상이한 노출량으로 다수 촬영한다. 예를 들어, 3회의 촬영을 한다면, 첫번째 영상은 가장 밝은 부분에 대해서 적정한 노출로 촬영하고, 두번째 영상은 중간 밝기의 피사체에 적정한 노출로 촬영하고, 세번째는 어두운 피사체에 맞는 노출로 촬영한다. 그리고 나서, 이들 세 영상을 합성하여 명확한 계조의 영상을 얻을 수 있다. 이들 다회 촬영 동작은 카메라에서 일어나는 동작이고, 사용자는 셔터버튼을 한 번만 누르기만 하면 된다.

상이한 초점과 노출량으로 다회 촬영한 것을 합성함에 의해 다양한 특수효과를 얻을 수 있다. 예를 들어, 배경은 완전히 하얗거나 검은 상태로 두고 관심 피 사체에 대한 노출과 초점을 최적으로 설정할 수 있다. 본 발명의 기술사상에 따르면, 이러한 특수효과도 본 발명의 카메라에 포함될 수 있다.

실시예5

소정 시간 동안에 상이한 노출량으로 촬영된 영상을 합성할 때에는 먼저 이들 영상을 정렬하여야 한다. 카메라가 흔들리거나 피사체가 움직이기 때문에 다수의 영상이 상호 어긋날 수 있기 때문이다. 이 경우는 대부분 정렬조작(시프트, 회전 등)에 의해 보정할 수 있지만, 약간의 왜곡은 피할 수 없게 된다. 이 문제를 해결하기 위하여 본 발명에 따른 카메라에는 상이한 노출량에서 작동하는 다수의 영상센서가 구비된다. 따라서, 본 카메라에서는 동시에 상이한 노출로 다수의 촬영을 행하므로 카메라 흔들림이나 피사체 움직임에 따른 왜곡이 발생하지 않는다. 다수의 영상이 상이한 노출로 촬영된 다음에, 이들 영상은 합성되어 모든 피사체에 대해서 적정한 노출을 갖는 영상으로 생성된다. 본 실시예는 비디오카메라와 스틸카메라에 모두 적용 가능하다.

도21은 상이한 노출값에서 작동하는 다수의 센서를 갖는 카메라의 예시도이다. 우선, 입사광선 310이 광분할기 311에 의해 세 개의 빔으로 분할된다. 여기서 메인 렌즈를 통해 들어온 입사광 310은 가장 어두운 피사체에 최적화되어 있다고 가정한다. 카메라에는 두 개의 노출조절 수단이 구비되어 있다. 제1노출조절 수단 315는 중간 밝기의 피사체용 제2센서 316에 도달되는 광량을 약간 감소시킨다. 제2노출조절 수단 313은 밝은 피사체용 제3센서 314에 도달되는 광량을 대폭 감소시킨 다. 마지막으로, 세 개의 센서에서는 광을 전기신호를 변화하고 이들 신호를 합성하여 모든 피사체에 대해서 적정 노출량을 갖는 정지영상 내지는 동영상을 출력한다.

다른 말로, 제1분할광 317은 제1센서 312에 감지되고, 제2분할광 318은 제1노출조절 수단 315를 거쳐 제2센서 316에 감지된다. 제3분할광 319는 제2노출조절 수단 313을 거쳐 제3센서 314에 감지된다. 마지막으로 이들 세 개의 센서는 각 광신호를 전기신호로 변환하여 이들 신호를 합성함으로써 모든 피사체에 대해서 최적으로 노출된 선명한 정지영상 내지는 동영상을 출력하게 된다.

도22는 상이한 초점과 노출값에 동작하는 다수의 센서를 갖는 카메라의 예시도이다. 우선, 입사광 320이 광분할기 321에 의해 세 개의 광으로 분할된다. 여기서, 메인렌즈를 통과한 입사광 320은 중간의 피사체에 초점이 맞고 가장 어두운 피사체에 노출이 최적화되어 있다고 가정한다. 카메라에는 두 개의 초점 조절수단이 있다. 원거리 초점조절 수단 325는 거리가 멀어서 초점이 맞지 않는 피사체의 희미한 영상을 보정해준다. 근거리 초점조절 수단 323은 거리가 가까워서 초점이 맞지 않는 피사체의 희미한 영상을 보정한다. 또한, 카메라에는 두 개의 노출조절 수단이 있다. 제1노출조절 수단 339는 중간 밝기 피사체용 제2센서 326에 도달하는 광량을 약간 감소시키고, 제2노출조절 수단 338은 밝은 피사체용 제3센서 324에 도달하는 광량을 대폭 감소시킨다.

다른 말로, 제1분할광 327은 제1센서 322에 감지되고, 제2분할광 328은 원거리 초점조절 수단 325 및 제1노출조절 수단 339를 거쳐서 제2센서 326에 감지되 고, 제3분할광 329는 근거리 초점조절 수단 323 및 제2노출조절 수단 338을 거쳐서 제3센서 324에 감지된다. 이들 각 센서는 광신호를 전기신호로 변환하고 이들 신호를 합성하여 모든 피사체에 대해서 적정한 초점과 노출량을 갖는 정지영상 내지는 동영상을 출력하게 된다.

실시예 6

한편, z축을 따라 넓은 범위에 걸쳐 흩어져 있는 피사체의 동영상을 촬영할 경우에는 피사체 중 초점을 맞추고자 하는 것을 선택하여야 한다. 일반적으로, 피사체가 z축을 따라 넓게 흩어져 있는 경우에는 비디오카메라로 모든 피사체에 대해서 초점을 맞출 수는 없다. 본 발명은 이러한 문제를 해결하기 위하여, 다수의 센서를 사용하여 피사체를 각각 상이한 초점으로 동시에 촬영하고 이들 비디오신호를 합성하여 하나의 선명한 동영상을 얻게 한다. 예를 들어, 실시예2의 내용이 비디오카메라에도 적용될 수 있다(도9 참조).

도10은 본 실시예의 다른 변형례를 들고 있다. 메인렌즈를 통과한 입사광 200이 가장 가까운 피사체에 초점을 맺는다고 가정한다. 우선, 입사광은 광분할기 201에 의해 세 개의 빔 207, 208, 209로 분할된다. 카메라에는 두 개의 초점조절 수단이 구비된다. 중거리 초점조절 수단 205는 중간 거리에서 초점이 안 맞는 피사체의 흐린 영상을 보정한다. 원거리 초점조절 수단 203은 원거리에서 초점이 맞지 않는 피사체의 흐린 영상을 보정한다. 영상센서 202, 204, 206로는 CFA CCD, 삼색 CCD, CMOS, 기타 다른 종류의 센서가 사용될 수 있다.

도11은 본 실시예의 또다른 변형례를 나타낸다. 메인렌즈를 통과한 입사광 210은 가장 먼 피사체에 초점을 맺는다고 가정한다. 우선, 입사광은 광분할기 211에 의해 세 개의 빔 217, 218, 219로 분할된다. 카메라에는 두 개의 초점조절 수단이 구비된다. 중거리 초점조절 수단 213은 중간 거리에서 초점이 안 맞는 피사체의 흐린 영상을 보정한다. 근거리 초점조절 수단 215는 근거리에서 초점이 맞지 않는 피사체의 흐린 영상을 보정한다. 영상센서 202, 204, 206로는 CFA CCD, 삼색 CCD, CMOS, 기타 다른 종류의 센서가 사용될 수 있다.

여기서, 초점조절 수단의 개수는 응용례에 따라 변동될 수 있다.

실시예 7

현재 특정 동작영역(dynamic range)을 갖는 센서나 필름을 제조하는 기술이 가능하다. 이러한 종류의 센서나 아날로그 필름에 있어서 가장 큰 문제점은 그 동작영역이 자연광 상태의 동작영역에 비교할 때 매우 좁다는 것이다. 이러한 문제를 해결하기 위하여 카메라에는 일반적으로, 조리개의 크기와 노출시간을 조절하는 수단이 설치된다. 조리개 및 노출시간이 고정되어 있는 경우에는 동작영역이 제한되지만, 조리개 크기 및 노출시간을 변화시키게 되면 넓은 범위에 걸쳐서 광의 상태를 조절할 수 있다. 비디오카메라의 경우에는 일반적으로 노출시간이 고정되어 있고 조리개의 크기를 변화시켜서 노출량을 조절한다. 다른 말로, 조리개의 크기를 조절함으로써 카메라 사용자는 관심 피사체의 적정 노출량을 선택할 수 있다.

그러나, 콘트라스트가 너무 강할 때에는 비디오카메라로 모든 피사체에 대 해서 최적의 노출량을 주기가 곤란하다. 이 문제를 해결하기 위하여 본 발명에서는 다수의 센서를 사용하여 상이한 노출량으로 피사체를 여러 번 촬영하고, 촬영된 영상을 합성하여 보다 명확한 계조의 영상을 얻는다. 그러나, 센서가 다수 있게 되면 카메라가 커지고 가격이 올라간다. 이러한 콘트라스트 문제의 다른 해결방안으로서 본 발명에서는 픽셀별 노출제어 수단을 제공한다.

많은 카메라에 있어서, 영상센서로서 CCD가 많이 이용되고 있다. 도12는 CCD의 예시도이다. 컬러영상을 기록하기 위해서는 삼색 CCD나 컬러필터 배열형(CFA) CCD가 사용된다. 도13에는 CFA CCD (Bayer)의 예를 들고 있다. 본 발명의 기술사상은 어떠한 종류의 CCD 또는 CMOS 센서에도 적용 가능하다.

본 발명의 기술사상에 따르면, CCD 또는 기타 영상센서의 앞에 픽셀별 노출제어 수단이 설치된다. 이 픽셀별 노출제어 수단은 LCD를 이용하여 구현될 수 있다. 인가전압을 제어함에 의해 LCD는 "투명", "부분적 투명", "거의 불투명" 상태로 변화된다. 즉, CCD나 필름, 기타 다른 영상감지수단에 도달되는 광량을 제어하는데 LCD를 사용할 수 있다. LCD를 이용하여 센서에 도달하는 광량(즉, 광투과도)을 제어하는 데에는 두 가지 방법이 있다. 첫째, 콘트라스트가 높은 피사체를 촬영하기 위해서 LCD를 밝은 부분에 대해 반투명 상태로 만들고, 해당 부분의 밝기에 비례하여 LCD를 불투명하게 만들면 된다. 두번째로는 LCD를 조절하여 노출시간을 변화시키는 것이다. 즉, 밝은 부분에 대해서는 노출시간을 짧게 준 다음에 LCD를 불투명하게 만들고, 어두운 부분에 대해서는 더 오랫동안 LCD를 투명상태로 유지한다. 그러나, LCD의 응답시간이 비교적 짧기 때문에 응용상의 한계는 있다.

도14는 픽셀별 노출제어 수단 241을 갖는 카메라를 예시하고 있다. 픽셀별 노출제어 수단 241은 LCD로 구현된다. 피사체의 밝은 부분에 대해서는 LCD의 해당 픽셀을 불투명하게 해서 센서 240에 도달되는 광량을 줄이고, 어두운 부분에 대해서는 LCD의 해당 픽셀을 투명하게 하여 센서 240에 모든 광이 도달되도록 한다. 여기서, 노출제어 수단으로서의 LCD 251의 해상도는 CCD 센서 250의 해상도와 같을 필요는 없다. 예를 들어, CCD센서가 4메가픽셀의 해상도라면 노출제어 수단에 사용되는 LCD는 1메가픽셀의 해상도면 된다. 센서로는 필름이나 CCD를 포함하여 어떠한 센서수단이라도 사용할 수 있다. 예를 들어, 픽셀별 노출제어 수단 261은 아날로그 필름 260의 앞에 설치될 수 있다.

LCD를 사용할 경우의 문제점으로는, LCD를 완전히 투명하게 만들 수는 없다는 것이다. 또한, LCD를 통과하는 광량을 정확하게 제어하는 것이 곤란하다. 최근에, DMD(digital micromirror device)가 비디오표시 시스템에 사용되고 있다. DMD 271은 초당 수천회 온/오프되는 수십만 또는 수백만 개의 미세거울 270으로 이루어진다(도17). 즉, 각 미세거울들은 입사광을 향하도록 또는 멀어지도록 기울일 수 있는 작은 힌지에 설치되어 광스위치로서 동작한다(도20). 따라서, DMD를 사용하면 영상센서에 밝거나 어두운 픽셀을 생성할 수 있게 되므로, 초당 수천 회 스위칭할 수 있는 DMD를 이용하여 영상센서에 도달하는 광량을 정확하게 제어하는 것이 가능해진다. 밝은 부분에 대해서는 DMD의 해당 미세거울을 짧은 시간 동안에만 턴온하여 영상센서에 도달되는 광량을 제한하고, 어두운 부분에 대해서는 DMD의 해당 미세거울을 대부분 턴온된 상태로 유지하여 영상센서에 항상 광이 조사되도록 한다.

도18은 DMD가 노출제어 수단으로서 어떻게 동작하는지를 나타낸다. 입사광 282는 DMD 280에서 반사되어 영상센서 281에 조사된다. DMD의 각 미세거울을 제어함으로써, 영상센서 281의 각 픽셀에 도달되는 광량을 국부적으로 제어할 수 있다. 도19는 초점조절 수단 및 픽셀별 노출제어 수단을 갖는 카메라를 도시한다. 입사광 290은 DMD 291에 반사되어 광분할기 292에 조사된다. 메인렌즈를 통해 입사되는 입사광 290은 중간에 위치한 피사체에 초점이 맞는 것으로 가정한다. 카메라는 두 개의 초점조절 수단을 구비한다. 원거리 초점조절 수단 293은 원거리에서 초점이 안 맞는 피사체의 흐린 영상을 보정한다. 근거리 초점조절 수단 294는 근거리에서 초점이 맞지 않는 피사체의 흐린 영상을 보정한다. 즉, 제1분할광 295는 제1센서 298에 감지되고, 제2분할광 296은 원거리 초점조절 수단 293을 거쳐 제2센서 299에 감지되고, 제3분할광 297은 근거리 초점조절 수단 294를 거쳐 제2센서 289에 감지된다. 마지막으로, 각 센서는 광을 전기신호로 변환하고 이들을 합성하여 모든 피사체에 대해서 적정한 노출량을 갖는 정지영상 내지는 동영상을 생성한다. 노출제어 수단으로 사용된 DMD 291은 세 개의 영상센서의 각 픽셀에 도달하는 광량을 제어한다.

본 발명은 또한, 정지된 영상을 취득하는 스틸카메라에도 적용될 수 있다. 또한, 픽셀별 노출제어 수단에 의해 특수효과를 얻을 수도 있다. 예를 들어, 밝은 부분은 더욱 밝게 하고 어두운 부분은 더욱 어둡게 만들 수도 있고, 배경을 어둡게 처리할 수도 있다.

본 발명에 따른 픽셀별 노출제어 수단은 또한, 강한 콘트라스트의 영상을 얻는 데 사용되는 플래시나 조명의 사용 시에 매우 유용해진다.

실시예 8

일반적으로, 카메라에 내장된 프로세서의 처리능력은 데스크탑 컴퓨터나 기타 일반적인 컴퓨터에 비해서 열등하기 때문에, 카메라 내부에서 처리가능한 기능에는 한계가 있다. 따라서, 상이한 노출과 초점으로 모든 영상들을 기록하는 것은 향후 사후처리(post-processing)에 유용한 정보를 제공한다. 따라서, 본 발명에 따른 카메라에서는 상이한 노출과 초점으로 다수의 영상를 촬영하고 모든 영상들을 저장한다. 저장된 다수의 영상은 나중에 처리능력이 우수한 데스크탑 컴퓨터 등에 의해 사후처리되어 원하는 영상을 만들 수 있다. 또한, 본 발명에 따른 카메라에서, 상이한 노출과 초점으로 피사체의 동영상을 다수 촬영하여 저장하는 것이 가능하다. 또한, 동영상이 상이한 노출과 초점으로 기록될 때에, 이 동영상들은 특정 비디오코딩 알고리즘에 필요한 영상분할에 대한 유용한 정보를 제공할 수 있다.

실시예 9

상이한 노출과 초점으로 다수의 촬영을 수행하는 것은 선택적으로 이루어질 수 있다. 다른 말로, 사용자가 사진촬영을 할 때에 이들 기능을 선택할 수 있다. 또한, 피사체들이 z축을 따라 넓게 퍼져있을 때에, 카메라가 사용자에게 이 사실을 알림으로써 사용자가 상이한 초점으로 다회 촬영을 하는 기능을 작동시키도록 할 수 있다. 마찬가지로, 피사체의 콘트라스트가 강할 때에, 카메라가 사용자에게 이 사실을 알림으로써 사용자가 상이한 노출로 다회 촬영을 하는 기능을 작동시키도록 할 수 있다. 또한, 사용자는 픽셀별 노출제어 수단을 선택할 수 있다.

실시예 10

사람의 얼굴은 대부분의 경우에 중요한 관심대상이기 때문에, 초점과 노출량이 사람의 얼굴에 최적화된다. 따라서, 본 발명에서는, 사진이나 비디오 촬영시에 사람의 얼굴에 최적인 초점과 노출로 다회 촬영을 한다. 구체적으로, 본 발명에서는 우선 얼굴추출 알고리즘을 적용하여 사람얼굴의 영역을 추출하고, 추출된 얼굴에 최적하도록 상이한 초점과 노출로 촬영을 한다.

실시예 11

본 발명의 기술사상은 정지영상 및 비디오용 적외선 카메라에도 적용 가능하다. 구체적으로, 본 발명의 픽셀별 노출제어 수단은 적외선카메라의 동작범위를 넓히는데 매우 유용할 것이다. 예를 들어, DMD를 이용하여 적외선센서의 각 픽셀에 도달하는 광량을 정확하게 조절할 수 있다. 응용례에 따라서는 DMD의 미세거울에 특수 코팅을 하여 그 성능을 향상시킬 수 있다.

실시예 12

본 발명의 기술사상은 야간탐시경(night vision)에도 응용될 수 있다. 야간탐시경은 군사용도 등에서 야간작전 시 어두운 피사체를 볼 수 있게 한다. 일반적 으로 야간탐시경은 입사광선을 광증폭기를 사용하여 증폭한 후, 출력수단을 통하여 증폭된 광선을 출력하면 인간의 눈이 이를 보게 된다. 이때에도 콘트라스트가 강한 경우, 물체를 식별하기 어렵게 된다. 이러한 문제를 해결하기 위하여 본 발명의 픽셀(화소)별 노출제어 수단을 사용할 수 있다. 도23은 이러한 야간 탐시경의 예를 설명한다. 도23의 (a)에서, 픽셀별 노출제어 수단은 피사체의 광량에 따라 광증폭기에 입력되는 광량을 조절한다. 픽셀별 노출제어 수단과 광증폭기의 위치는 바뀌어도 무방하다. 한편, 일반적인 야간탐시경의 경우 입사광선은 광학계를 통과하게 되며 광증폭기에서 나오는 광선도 광학계를 통하여 인간의 눈에 도달하게 된다. 이러한 예를 도23b의 (b)에 도시하였다.

본 발명에 따르면, 상이한 노출과 초점으로 다수의 피사체촬영을 수행하고 이들 촬영분을 합성하여 화질을 크게 개선할 수 있다.

Claims

삭제
삭제
상이한 초점값에서 작동하는 다수의 영상센서를 구비한 카메라로서,

상이한 초점값에서 작동하는 다수의 영상센서 수단,

입사광을 분리하여 상기 다수의 영상센서 수단으로 입력하는 분리수단,

카메라와 피사체 간의 다수의 피사체별 초점거리를 감지하는 초점거리감지 수단,

상기 다수의 피사체에 적정한 상이한 초점으로 맞춘 상기 다수의 영상센서를 이용하여 동시에 다수의 촬영을 행하는 수단으로 구성되어,

상기 동시에 촬영된 다수의 영상을 합성하여 상기 다수의 피사체의 초점이 맞는 새로운 영상을 생성하는 카메라.
상이한 초점값에서 작동하는 다수의 영상센서를 구비한 카메라로서,

상이한 초점값에서 작동하는 다수의 영상센서 수단,

입사광을 분리하여 상기 다수의 영상센서 수단으로 입력하는 분리수단,

카메라와 피사체 간의 다수의 피사체별 초점거리를 감지하는 초점거리감지 수단,

상기 다수의 피사체 중에서 적어도 하나의 관심 피사체를 선택하는 수단,

상기 다수의 피사체에 적정한 상이한 초점으로 맞춘 상기 다수의 영상센서를 이용하여 동시에 다수의 촬영을 행하는 수단을 포함하여,

상기 동시에 촬영된 다수의 영상을 합성하여 상기 관심 피사체는 초점이 맞고 기타 피사체는 초점이 맞지 않는 상태의 새로운 영상을 생성하는 카메라.
삭제
상이한 노출값에서 작동하는 다수의 영상센서를 구비한 카메라로서,

상이한 노출값에서 작동하는 다수의 영상센서 수단,

입사광을 분리하여 상기 다수의 영상센서 수단으로 입력하는 분리수단,

영상저장 수단,

다양한 피사체의 각 밝기를 감지하는 밝기감지 수단,

상기 다수의 피사체에 적정한 상이한 노출로 상기 다수의 영상센서를 이용하여 동시에 다수의 촬영을 행하는 수단,

상기 동시에 촬영된 다수의 영상을 합성하여 상기 다수의 피사체의 노출이 적정한 새로운 영상을 생성하는 카메라.
제3항, 4항, 6항 중 어느 한 항에 있어서, 상기 다수의 영상센서 수단은 CCD 또는 CMOS 중에서 선택되는 것을 특징으로 하는 카메라.
픽셀별로 노출을 제어할 수 있는 카메라로서,

영상센서 수단,

영상저장 수단,

상기 영상센서 수단의 각 픽셀에 도달하는 광량을 국부적으로 제어하는 픽셀별 노출제어 수단으로 구성되는 카메라.
픽셀별로 노출을 제어할 수 있는 카메라로서,

필름을 포함하는 영상센서 수단,

상기 영상센서 수단에 도달하는 광량을 국부적으로 제어하는 픽셀별 노출제어 수단으로 구성되는 카메라.
제8항 또는 9항에 있어서, 상기 픽셀별 노출제어 수단은

광투과도를 제어할 수 있는 LCD인 것을 특징으로 하는 카메라.
제8항 또는 9항에 있어서, 상기 픽셀별 노출제어 수단은

광량을 제어할 수 있는 DMD인 것을 특징으로 하는 카메라.
상이한 노출과 초점으로 피사체를 다수 촬영하는 카메라로서,

영상센서 수단,

영상저장 수단,

다양한 피사체의 각 밝기를 감지하는 밝기감지 수단,

상기 영상센서 수단의 각 픽셀에 도달하는 광량을 국부적으로 제어하는, 픽셀별 노출제어 수단,

카메라와 다양한 피사체 간의 거리를 감지하는 거리감지 수단,

상기 다양한 피사체에 적정한 상이한 노출과 초점으로 다수의 촬영을 행하는 수단,

상기 다수 촬영된 영상을 합성하여 상기 다양한 피사체의 노출 및 초점이 맞는 새로운 영상을 생성하고, 이 영상을 상기 영상저장 수단에 저장하는 수단으로 구성되는 카메라.
상이한 노출과 초점으로 피사체를 다수 촬영하는 카메라로서,

영상센서 수단,

영상저장 수단,

다양한 피사체의 각 밝기를 감지하는 밝기감지 수단,

상기 영상센서 수단의 각 픽셀에 도달하는 광량을 국부적으로 제어하는, 픽셀별 노출제어 수단,

카메라와 다양한 피사체 간의 거리를 감지하는 거리감지 수단,

상기 다양한 피사체에 적정한 상이한 노출과 초점으로 다수의 촬영을 행하는 수단,

상기 다수 촬영된 영상을 상기 영상저장 수단에 저장하는 수단으로 구성되는 카메라.
픽셀별로 노출을 제어할 수 있는 적외선 카메라로서,

영상센서 수단,

영상저장 수단,

상기 영상센서 수단의 각 픽셀에 도달하는 광량을 국부적으로 제어하는, 픽셀별 노출제어 수단으로 구성되는 적외선 카메라.
야간에 피사체를 관찰하는 야간탐시경에 있어서,

입사광의 픽셀별 광량을 제어하는 픽셀별 노출제어 수단과,

상기 픽셀별 노출제어 수단을 통과한 빛을 증폭하는 광증폭기를 포함하는 야간탐시경.
야간에 피사체를 관찰하는 야간탐시경에 있어서,

입사광을 증폭하는 광증폭기와,

상기 광증폭기에서 증폭된 광의 광량을 제어하는 픽셀별 노출제어 수단을 포함하는 야간탐시경.
제8, 9, 12, 13항 중 어느 한 항에 있어서, 상기 영상센서 수단은 CCD 또는 CMOS 중에서 선택되는 것을 특징으로 하는 카메라.
제14항에 있어서, 상기 영상센서 수단은 CCD 또는 CMOS 중에서 선택되는 것을 특징으로 하는 적외선 카메라.
제15항 또는 제16항에 있어서, 상기 영상센서 수단은 CCD 또는 CMOS 중에서 선택되는 것을 특징으로 하는 야간탐시경.
제12항 또는 13항에 있어서, 상기 픽셀별 노출제어 수단은

광투과도를 제어할 수 있는 LCD인 것을 특징으로 하는 카메라.
제12항 또는 13항에 있어서, 상기 픽셀별 노출제어 수단은

광량을 제어할 수 있는 DMD인 것을 특징으로 하는 카메라.
제14항에 있어서, 상기 픽셀별 노출제어 수단은

광투과도를 제어할 수 있는 LCD인 것을 특징으로 하는 적외선 카메라.
제14항에 있어서, 상기 픽셀별 노출제어 수단은

광량을 제어할 수 있는 DMD인 것을 특징으로 하는 적외선 카메라.
제15항 또는 16항에 있어서, 상기 픽셀별 노출제어 수단은

광투과도를 제어할 수 있는 LCD인 것을 특징으로 하는 야간탐시경.
제15항 또는 16항에 있어서, 상기 픽셀별 노출제어 수단은

광량을 제어할 수 있는 DMD인 것을 특징으로 하는 야간탐시경.