KR100459437B1 - 디지털 카메라 잔상 제거 방법 - Google Patents

Abstract

본 발명은 디지털 카메라에 관한 것으로, 특히 음영지역 촬영시 과다 노출에 의한 잔상을 제거하는데 적당하도록 한 디지털 카메라 잔상 제거 방법에 관한 것이다. 종래에는 음영지역 촬영에서 원하는 밝기를 얻기위해 노출 시간을 연장했기 때문에 피사체의 움직임이나 사용자의 손떨림에 의한 잔상이 발생하는 문제점이 있었고, 이를 극복하기위해 플래쉬를 사용하더라도 비용이 증가하고 적목현상이 발생하는 부가적인 문제점이 있었다. 이와 같은 문제점을 감안한 본 발명은 셔터를 누르면 검출된 외부 밝기 또는 설정된 외부 밝기와 기준 밝기를 비교하는 단계와; 상기 단계에서 외부 밝기가 기준 밝기 이상이면 소정의 셔터 속도로 얻은 영상을 저장하고 촬영을 종료하는 단계와; 상기 비교 단계에서 외부 밝기가 기준 밝기 이하인 경우 소정의 횟수로 고속 촬영한 영상들을 버퍼에 저장하는 단계와; 상기 저장된 영상들에 동작 추정 기법을 적용하여 영상들의 변위를 추출하는 단계와; 상기 추출된 변위들을 기반으로 각 영상의 차이가 최소가 되도록 영상들을 보정하는 단계와; 상기 보정된 각각의 영상을 종합 연산하여 색정보가 보정된 단일 영상을 생성하여 저장한 후 촬영을 종료하는 단계를 포함하는 디지털 카메라 잔상 제거 방법을 제공하는 것으로 부가적인 문제를 유발하는 별도의 장치 없이도 다양한 조명 환경 하에서 양질의 영상 결과를 적은 비용으로 얻을 수 있는 효과가 있다.

Description

디지털 카메라 잔상 제거 방법{ILLUSION ELIMINATION METHOD FOR DIGITAL CAMERA}

본 발명은 디지털 카메라에 관한 것으로, 특히 음영지역 촬영시 과다 노출에 의한 잔상을 제거하는데 적당하도록 한 디지털 카메라 잔상 제거 방법에 관한 것이다.

디지털 카메라의 보급이 늘어나면서 일반용 카메라는 필름을 이용한 일반 카메라에서 디지털 카메라로 빠르게 교체되어가고 있다.

대부분의 가정에서 컴퓨터를 사용하고 있으며, 디지털 카메라로 촬영한 데이터를 이용하여 일반 필름 사진과 같은 인화물을 제공하는 디지털 출력소의 등장은 일반용 디지털 카메라의 보급에 속도를 더하는 요인이며, 디지털 카메라의 급격한 가격 하락 역시 일반인을 대상으로 한 중저가의 디지털 카메라가 시장을 점유하도록 하고 있다.

고가의 디지털 카메라는 일반 필름 카메라와 유사한 구성과 유사한 성능을 자랑하면서도 사진 촬영 후 즉시 내용을 확인하고, 이를 쉽게 편집할 수 있다는 장점 때문에 초기에는 전문가를 위한 디지털 카메라가 주종을 이루었으나, 현재 일반용 디지털 카메라는 플래시를 제거하고, 해상도를 낮추며, 조리개를 제거한 대신 노출을 가변하도록 하여 중저가에 판매되고 있다.

디지털 카메라에 대해 알아보기 전에 일반적인 일안 리플렉스 카메라의 구조를 도 1을 참조하여 알아보도록 한다.

도 1에 도시된 구성 요소들은 필름을 이용한 일반 카메라를 이루는 최소 구성요소로서, 이들 중 하나만 없어도 정상적으로 동작할 수 없게된다.

일반 카메라는 사용자가 피사체를 확인하기위한 뷰파인더(10)와, 피사체의 영상을 노광하기위한 필름 및 이를 운반하는 필름 수송부(20)와, 적절한 노출 시간 동안 필름을 노출하기위한 셔터(30)와, 외부로 부터의 빛의 양을 조절하는 조리개(40)와, 광학적으로 피사체의 영상을 조절하는 렌즈(50)로 이루어진다.

상기와 같은 구조에서 피사체의 영상을 최적으로 얻기위해 조작이 필요한 부분이 필름이 광에 노출되는 시간을 제어하는 셔터(30)와 렌즈(50)에서 필름까지 도달하는 빛의 양을 조절하는 조리개(40)이다.

상기 셔터(30)를 여닫는 속도를 조절하는 것으로 같은 영상이라 할지라도 밝고 어두움을 조절할 수 있는데, 빠르게 여닫으면 어둡게 찍히고, 느리게 여닫으면 밝게 찍힌다.

상기 조리개(40) 역시 밝기와 관련되어 많이 열리면 밝게 찍히고, 적게 열리면 어둡게 찍힌다.

초기의 디지털 카메라는 상기 구조의 일반 카메라 구성요소들을 모두 가지고 있으므로 정밀한 수동 조작이 가능했으나 구성 부품이 많아짐에 따라 부피가 커지고 가격이 비싸게 되었다. 그래서, 디지털 카메라 센서의 특성에 맞도록 조리개 관련 부분을 제거하고 디지털 셔터를 주로 사용하는 것으로 노출을 제어하는 것이 일반적이 되었다.

만일 디지털 카메라를 이용하여 어두운 음영지역에서 촬영을 실시하는 경우, 적정한 밝기의 영상을 획득하기 위해서 노출 시간을 증가시키는 방법을 사용한다. 이러한 경우 손 떨림이나 피사체의 동작에 의한 잔상이 남게 되는데, 이러한 현상에 대해서 구체적으로 알아보도록 한다.

도 2a~2c는 디지털 카메라를 이용하여 고정된 셔터 속도로 연속 촬영한 사진들로서, 플래쉬와 같은 외부 광원을 사용하지 않은 경우이다.

도시된 바와 같이 음영지역에서 피사체가 계속해서 동작하고 있지만 고정된 빠른 셔터 속도 때문에 흔들림이나 잔상없는 화면을 얻을 수 있다. 그러나, 음영지역에서 빠른 셔터 속도를 사용했기 때문에 노출이 충분하지 못하여 어두운 영상을 얻을 수 밖에 없음을 알 수 있다.

도 3a~3c는 상기 도 2a~2c 각각에서 피사체의 외곽선을 나타낸 것이다. 이를 비교하는 것으로 피사체의 움직임을 확실하게 알 수 있을 것이다.

도시된 바와 같이 피사체의 전체적인 이미지는 유사하지만, 높이나 측면 윤곽이 상당부분 상이하다는 것을 알 수 있을 것이다.

이러한 피사체를 현재 사용되는 일반용 디지털 카메라를 이용하여 촬영하면, 음영 상태를 자동/수동으로 판단하여 노출 시간을 연장하기 때문에 피사체의 움직임이 그대로 반영되어 외곽선 만으로 보면, 도 4에 도시된 바와 같이 여러 동작들이 겹치게 된다는 것을 알 수 있다.

즉, 노출의 증가에 의해 도 2a~2c에 도시된 사진이 얻어지는 시간동안 연속하여 노출을 실시했다면, 그 시간동안의 피사체 움직임이 연속하여 센서에 기억되게 된다. 이를 도식적으로 나타낸 것이 도 4의 겹쳐진 영상이며, 이러한 윤곽들이 연속적으로 겹쳐지게된다.

이를 실제 촬영된 영상으로 확인하면, 도 5에 도시된 바와 같다.

도시된 바와 같이 피사체의 움직임이 누적하여 센서에 기억되기 때문에 잔상에 의해 촬영 내용을 확인하기 어렵게 된다. 비록 밝기는 원하는 바와 같이 얻을 수 있지만, 잔상에 의해 영상으로서의 가치가 떨어진다.

현재 사용되는 디지털 카메라는 대부분 조리개 기능 없이 전자 셔터 기능만을 보유하고 있으며, 중저가형 디지털 카메라는 플래쉬가 없기 때문에 음영지역에서 촬영한 사진은 대부분 도 5와 같이 잔상이 남게 된다. 카메라를 고정하고 움직이지 않는 정물을 촬영하는 경우가 아니라면 음영지역에서의 촬영은 거의 불가능하게 된다.

이러한 현상을 극복하기 위해서 플래쉬를 장착한 디지털 카메라를 이용하더라도 인물을 촬영하는 경우 적목(red eye) 현상과 같은 다른 문제와 비용 증가의 문제가 발생하며, 조리개를 이용하면 구동부에의한 전력 소모 문제와 역시 비용 증가의 문제가 발생한다.

상기한 바와 같이 종래에는 음영지역 촬영에서 원하는 밝기를 얻기위해 노출 시간을 연장했기 때문에 피사체의 움직임이나 사용자의 손떨림에 의한 잔상이 발생하는 문제점이 있었고, 이를 극복하기위해 플래쉬를 사용하더라도 비용이 증가하고 적목현상이 발생하는 부가적인 문제점이 있었다.

이와 같은 문제점을 감안한 본 발명은 음영지역 촬영시 빠른 셔터 속도로 소정의 예비 영상들을 버퍼에 저장한 후 동작 추정 알고리즘을 통한 동작 보정후 저장된 다수의 영상들을 종합하여 밝기를 증가시키는 것으로 다양한 조명 환경 하에서 별도의 장치 없이 양질의 영상 결과를 얻을 수 있도록 하는 디지털 카메라 잔상 제거 방법을 제공하는데 그 목적이 있다.

도 1은 일반적인 카메라의 주요 구성을 보인 블록도이다.

도 2는 음영지역에서 고속 셔터 속도로 연속 촬영한 사진들이다.

도 3은 도 2의 연속 촬영 사진들의 윤곽선들이다.

도 4는 도 3의 윤곽선들을 모두 겹친 영상이다.

도 5는 노출 시간을 길게 한 경우 얻어지는 영상이다.

도 6은 도 3의 윤곽선들에 대한 이동 추정 벡터에 따라 벡터 이동을 실시한 영상이다.

도 7은 도 6의 벡터 이동 후 색도와 밝기를 보정한 영상이다.

도 8은 본 발명 실시예의 순서를 나타낸 흐름도이다.

*** 도면의 주요부분에 대한 부호의 설명 ***

10: 뷰파인더 20: 필름 수송부

30: 셔터 40: 조리개

50: 렌즈

상기와 같은 목적을 달성하기위한 본 발명은 과다 노출에 의한 디지털 카메라 잔상을 제거하는 방법에 있어서, 셔터를 누르면 검출된 외부 밝기 또는 설정된 외부 밝기와 기준 밝기를 비교하는 단계와; 상기 단계에서 외부 밝기가 기준 밝기 이상이면 소정의 셔터 속도로 얻은 영상을 저장하고 촬영을 종료하는 단계와; 상기 비교 단계에서 외부 밝기가 기준 밝기 이하인 경우 소정의 횟수로 고속 촬영한 영상들을 버퍼에 저장하는 단계와; 상기 저장된 영상들에 동작 추정 기법을 적용하여 영상들의 변위를 추출하는 단계와; 상기 추출된 변위들을 기반으로 각 영상의 차이가 최소가 되도록 영상들을 보정하는 단계와; 상기 보정된 각각의 영상을 종합 연산하여 색정보가 보정된 단일 영상을 생성하여 저장한 후 촬영을 종료하는 단계를 포함하는 것을 특징으로 한다.

상기 동작 추정 기법은 MPEG 표준에서 사용되는 동작 추정 알고리즘으로, 상기 버퍼에 저장된 영상들을 매크로 블록 단위로 비교하는 것으로 변위 벡터를 추출하는 것을 특징으로 한다.

상기 보정된 단일 영상을 생성하는 단계는 보정된 영상 정보를 합산, 평균 또는 가중치 연산하거나 이러한 연산들을 조합하는 것으로 기준 밝기의 색정보를 가지는 하나의 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.

상기와 같은 본 발명을 상세히 설명하기 위해 도2 내지 도 8을 참조하도록한다.

도면들을 이용하여 본 발명의 실시예를 설명하기 전에 본 발명을 개론적으로 설명하면, 음영지역에서의 촬영 시 셔터의 속도를 늦추어 노출 시간을 연장하지 않고, 잔상이 남지 않을 정도의 고속 촬영을 여러번 실시하여 버퍼에 저장한 후 해당 영상들의 움직임을 보정하여 촬영된 영상을 모두 유사하게 만들고, 이러한 영상들을 이용하여 밝기를 보정하여 잔상 없는 밝은 영상을 얻도록 한다.

여러장의 유사한 영상을 이용하여 밝은 영상을 얻는 방법은 공지된 방법으로, 영상의 색도 값들을 서로 더하거나 평균값을 구하고, 혹은 가중치를 두어 연산하는 것으로 어두운 영상의 밝기를 디지털 적으로 단순 보상한 것보다 품질이 우수한 영상을 얻을 수 있다. 상기 연산 방법은 다양하게 시도될 수 있으며 이러한 모든 연산 방법 및 그 방법들의 조합은 본 발명에 포괄될 수 있다는 것에 유의한다.

이제, 다시 도 2a~2c를 보도록 한다. 도 2a~2c는 고정된 고속 셔터 속도로 연속 촬영된 영상들로서, 잔상이 남지 않을 정도의 셔터 속도로 촬영되었다. 본 실시예는 음영지역 촬영을 실시하는 경우 영상 보정을 위해 연속 촬영되어 버퍼에 저장되는 사진이 3개라고 가정한 것이다.

도시된 바와 같이, 연속 촬영된 결과물은 피사체의 움직임이 선명하게 드러나 있지만, 고속 셔터 속도에 의해 전체적인 영상이 어둡게 된다.

상기 버퍼에 저장된 3장의 사진에 대한 피사체의 동작을 외곽선으로 살펴보면, 도 3a~3c와 같이 고정된 배경과 구별되는 피사체의 움직임이 드러나게 된다. 물론 본 발명에서 이러한 외곽선을 추출하지는 않아도 되며, 이러한 외곽선은 본발명에서 설명하고자 하는 동작 추정을 보다 쉽게 설명하기 위한 것이다.

상기 도 3a~3c에 해당하는 외곽선을 가지는 버퍼 사진들(도 2a~2c)을 이용하여 동작 추정을 하게 되는데, 도 3a를 기준으로 도 3b와 3c 각각의 이동 방향을 추정한다. 이는 MPEG(Motion Picture Experts Group) 표준에서 사용되는 동작 추정(motion estimation) 알고리즘을 따른다.

MPEG는 1988년 설립된 동화상 전문가 그룹으로서, 동영상을 부호화하는 방법을 이용해서 표준을 정립하는 것을 목적으로 하며, 이미 MPEG-1(1991년, ISO(국제표준화기구) 11172), MPEG-2(1994년, ISO 13818), MPEG-3(MPEG-2에 흡수), MPEG-4(1998)의 표준을 정립한 바 있다.

이 중에서, MPEG-2는 높은 전송속도 처리가 필요한 DVD 등의 컴퓨터 멀티미디어 서비스, 직접위성방송·유선방송·고화질 TV 등의 방송서비스, 영화나 광고편집 등에 널리 사용되고 있으며 영상 및 음향을 압축하기 위해 MPEG1을 개선한 것이다. 1998년에 완성된 MPEG-4는 낮은 전송률로 동화상을 보내고자 개발된 데이터 압축과 복원기술에 대한 새로운 표준이다. 매초 64Kbps, 19.2Kbps의 저속 전송으로 동화상을 구현할 수 있으며, 인터넷 유선망과 이동통신망 등 무선망에서 멀티미디어 통신·화상회의 시스템·컴퓨터·방송·영화·교육·오락·원격감시 등의 분야에 널리 쓰이고 있다.

이러한 MPEG 표준에서는 연속되는 동영상을 압축하기 위해서 동작 추정 알고리즘을 사용하는데, 예를 들어 8x8 픽셀, 16x16 픽셀등으로 이루어진 매크로 블록단위로 전환되는 연속 프레임 영상들을 비교하여 영상의 변위 벡터를 추출하여 다음 영상의 이동 방향을 추정하게 되며, 표준이 개선됨에 따라 점차 저속의 전송률로도 양질의 영상을 얻을 수 있도록 동작 추정 알고리즘이 개선되고 있다.

상기 MPEG 표준에 사용되는 동작 추정 알고리즘은 표준화 문서에 공지된 내용이며, 이들을 이용한 다양한 수준의 칩들 역시 대단히 다양하게 상용화 되어 있다.

본 발명에서는 이러한 동작 추정용 전용칩을 이용하거나 동작 추정 알고리즘을 디지털 카메라의 주 제어기에 포함시키는 것으로 외부 조리개나 플래쉬 등의 동작부를 부가하는 것 보다 낮은 비용으로 실시할 수 있다.

외부 조리개(모터에 의한 제어 필요), 플래쉬등을 적용하기 위해서는 요구되는 물리적 크기 증가, 비용의 증가, 전원의 부가적인 소모, 적목등의 부대 영향을 고려해야 하는데, 본 발명을 이용하는 것으로 이러한 다양한 문제점들을 상대적으로 낮은 비용과 노력으로 극복할 수 있게 된다.

이제, 도 6을 참조하여 상기 동작 추정을 통해 얻을 변위 벡터를 어떻게 이용하는지 보도록 한다.

도시된 바와 같이 외곽선으로 간략화한 버퍼 영상들을 상기 동작 추정에 따라 얻어진 변위 벡터의 방향으로 이동시킨다. 즉, 도 3a의 윤곽을 가지는 도 2a의 영상을 기준으로 하고, 도 3b의 윤곽을 가지는 도 2b의 영상을 Δd2의 방향으로 이동시키고, 도 3c의 윤곽을 가지는 도 2c의 영상을 Δd1의 방향으로 이동시켜 각각의 영상차가 최소가 되도록 한다.

이제, 잔상 중에서 대부분이 겹치는 영상들을 얻게 되었다.

상기 동작이 추정되어 보정된 버퍼 영상들을 서로 합산, 평균, 가중치 연산을 적절히 조합하여 실시하는 것으로 밝은 곳에서 촬영한 사진에 근접한 색정보를 가지는 하나의 영상으로 조합한 후 이를 저장하여 음영지역 촬영을 종료하게 된다.

이렇게 본 발명을 통해 도 2a~2c의 3가지 어두운 영상을 조합한 결과물이 도 7이다. 단순히 노출 시간을 연장한 도 5와 비교하면 차이점이 한눈이 드러난다.

만일 도 2c의 사진을 단순히 색보정하여 전체적으로 색분포를 밝은 쪽으로 조절하여 밝게만드는 경우라면 어두워야할 부분까지 밝아질 수 있으며, 색분포를 넓힌 경우라면 색이 번지듯한 단층현상이 나타나 해상도가 크게 떨어지게 되므로 본 발명과는 크게 차이가 발생한다.

이제, 본 발명의 실시예를 나타낸 흐름도를 통해 본 발명을 정리해보도록 한다.

도 8은 본 발명 실시예의 순서를 나타낸 흐름도로서, 도시한 바와 같이 촬영의 시작에서 촬영의 종료까지의 순서를 나타낸다.

디지털 카메라로 사진을 찍기위해 셔터를 누르면 외부 밝기를 측정하여 기준 밝기와 비교한다. 또는 사용자가 외부 밝기를 설정하여 사용하는 경우 사용자 설정을 우선한다. 사용되는 카메라의 종류에 따라 외부 밝기를 자동으로 인식하는 기능이 부가된 경우, 사용자의 특별한 지정이 없으면 외부 밝기에 따라 촬영 모드를 변경하지만, 외부 밝기를 자동으로 인식하지 못하고 사용자 설정에 의존하는 경우라면 사용자가 외부 밝기를 설정해 주는 것으로 촬영 모드를 변경할 수 있다.

따라서, 본 발명에서는 외부 밝기를 측정할 수 있는 센서를 이용하는 경우와사용자가 카메라 모드를 조정하여 외부 밝기를 설정하는 모든 경우를 포괄할 수 있으며 본 실시예에서는 센서를 통해 외부 밝기를 측정한 경우이다.

만일 상기 측정 결과 외부 밝기가 기 설정된 기준 밝기보다 밝은 경우라면 소정의 설정된 고속 셔터 속도로 영상을 획득한 후 이를 저장하는 것으로 촬영이 종료된다.

하지만, 상기 측정을 통해 외부 밝기가 기 설정된 기준 밝기보다 어두운 경우라면, 소정의 횟수로 고속 셔터 속도로 촬영한 영상을 영상 버퍼에 저장한다. 실시예에서는 3개의 영상을 이용했지만, 외부 밝기에 따라 2개의 영상을 이동할 수도 있으며 더 많은 영상을 이용할 수도 있다.

상기와 같이 고속 셔터 속도로 인해 어둡지만 잔상이 없는 소정의 연속 영상들을 버퍼에 저장한 다음, 연속 영상들에 대한 동작 추정 기법(MPEG 표준의 동작 추정 알고리즘)을 통해 기준 영상에 대한 나머지 영상들의 변위 벡터를 추정한다.

이 경우 매크로 블록 단위로 추정을 실시하기 때문에 속도가 빠르며, 전용 칩을 이용할 경우라면 인지하기 힘들 정도까지 빠르게 처리할 수 있다.

상기 연산된 변위 벡터를 이용하여 버퍼에 저장된 각 영상들의 차이가 최소가 되도록 벡터 이동을 수행한 후 각각의 영상들을 종합 연산하여 적정 수준의 색정보로 보정된 단일 영상을 생성하여 저장하는 것으로 촬영을 종료한다.

따라서, 전력 소비를 유발하고 부피와 비용을 증가시킬 수 있는 장치들을 사용하지 않으면서도 어두운 음영지역 촬영에서 잔상을 제거할 수 있다. 이러한 본 발명은 비록 전용 칩이 적용되어 약간의 비용이 추가될 수도 있지만, 현재 디지털카메라의 구성을 변경하지 않으면서 제어 프로그램을 변경하는 것 만으로도 가능하기 때문에 비용의 부담이 적으며, 공정에 도입하는 것 역시 무리 없이 가능하다.

상기한 바와 같이 본 발명은 음영지역 촬영시 빠른 셔터 속도로 얻은 영상들을 조작하는 것으로 잔상을 제거하고 밝기를 증가시키도록 함으로써, 부가적인 문제를 유발하는 별도의 장치 없이도 다양한 조명 환경 하에서 양질의 영상 결과를 적은 비용으로 얻을 수 있는 효과가 있다.

Claims (3)

1. 과다 노출에 의한 디지털 카메라 잔상을 제거하는 방법에 있어서, 셔터를 누르면 검출된 외부 밝기 또는 설정된 외부 밝기와 기준 밝기를 비교하는 단계와; 상기 단계에서 외부 밝기가 기준 밝기 이상이면 소정의 셔터 속도로 얻은 영상을 저장하고 촬영을 종료하는 단계와; 상기 비교 단계에서 외부 밝기가 기준 밝기 이하인 경우 소정의 횟수로 고속 촬영한 영상들을 버퍼에 저장하는 단계와; 상기 저장된 영상들에 동작 추정 기법을 적용하여 영상들의 변위를 추출하는 단계와; 상기 추출된 변위들을 기반으로 각 영상의 차이가 최소가 되도록 영상들을 보정하는 단계와; 상기 보정된 각각의 영상을 종합 연산하여 색정보가 보정된 단일 영상을 생성하여 저장한 후 촬영을 종료하는 단계를 포함하는 것을 특징으로 하는 디지털 카메라 잔상 제거 방법.
2. 제 1항에 있어서, 상기 동작 추정 기법은 MPEG 표준에서 사용되는 동작 추정 알고리즘으로, 상기 버퍼에 저장된 영상들을 매크로 블록 단위로 비교하는 것으로 변위 벡터를 추출하는 것을 특징으로 하는 디지털 카메라 잔상 제거 방법.
3. 제 1항에 있어서, 상기 보정된 단일 영상을 생성하는 단계는 보정된 영상 정보를 합산, 평균 또는 가중치 연산하거나 이러한 연산들을 조합하는 것으로 기준 밝기의 색정보를 가지는 하나의 영상을 생성하는 단계를 포함하는 것을 특징으로하는 디지털 카메라 잔상 제거 방법.