KR100843087B1

KR100843087B1 - 영상 생성 장치 및 방법

Info

Publication number: KR100843087B1
Application number: KR1020060085772A
Authority: KR
Inventors: 최원희; 엄명진; 김창용; 이성덕
Original assignee: 삼성전자주식회사
Priority date: 2006-09-06
Filing date: 2006-09-06
Publication date: 2008-07-02
Also published as: JP5139001B2; US9077908B2; CN101141571A; US8773709B2; CN101141571B; KR20080022399A; JP2008067372A; US10187586B2; US20140267886A1; US20150281542A1; US20080055683A1

Abstract

본 발명은 영상 생성 장치 및 방법에 관한 것으로서, 보다 상세하게는 한 번의 짧은 노출을 통해 획득된 영상만으로도 고대비 영상(High Dynamic Range Image)을 생성할 수 있는 영상 생성 장치 및 방법에 관한 것이다.

본 발명의 실시예에 따른 영상 생성 장치는, 피사체로부터 영상을 획득하는 영상 획득부, 상기 획득된 영상으로부터 해상도 및 밝기가 서로 다른 복수개의 영상을 생성하는 영상 생성부, 및 상기 생성된 복수개의 영상을 합성하는 영상 합성부를 포함한다.

영상, 해상도, 고대비 영상(High Dynamic Range Image; HDRI)

Description

영상 생성 장치 및 방법{A image generation apparatus and method for the same}

도 1은 종래의 기술에 따른 영상 생성 과정을 도시한 도면이다.

도 2는 본 발명의 제1 실시예에 따른 영상 생성 장치를 도시한 도면이다.

도 3은 도 2의 제1 영상 생성부에 의해 생성된 제1 영상을 예시한 도면이다.

도 4는 도 2의 제2 영상 생성부에 의해 생성된 제2 영상을 예시한 도면이다.

도 5는 본 발명의 실시예에 적용된 노출시간-밝기 함수를 예시한 도면이다.

도 6은 도 2의 영상 생성 장치에 의한 영상 생성 방법을 도시한 흐름도이다.

도 7은 본 발명의 실시예에 따른 제1 합성 방법을 도시한 흐름도이다.

도 8은 도 7에 도시된 제1 합성 방법에 따라 최종 영상을 생성하는 과정을 도시한 도면이다.

도 9는 본 발명의 실시예에 따른 제2 합성 방법을 도시한 흐름도이다.

도 10은 도 9에 도시된 제2 합성 방법에 따라 최종 영상을 생성하는 과정을 도시한 도면이다.

도 11은 본 발명의 실시예에 따른 제3 합성 방법을 도시한 흐름도이다.

도 12는 도 11에 도시된 제3 합성 방법에 따라 최종 영상을 생성하는 과정을 도시한 도면이다.

도 13은 본 발명의 제2 실시예에 따른 영상 생성 장치를 도시한 블록도이다.

도 14는 도 13의 영상 생성 장치에 의한 영상 생성 방법을 도시한 흐름도이다.

<도면의 주요 부분에 관한 부호의 설명>

100, 200: 영상 생성 장치 110, 210: 계산부

120, 220: 노광 조절부 130, 230: 영상 획득부

140, 240: 영상 생성부 150, 250: 영상 합성부

160, 260: 영상 출력부

본 발명은 영상 생성 장치 및 방법에 관한 것으로서, 보다 상세하게는 한 번의 촬영을 통해 휘도가 서로 다른 복수개의 영상을 생성하고, 상기 생성된 복수개의 영상으로부터 고대비 영상(High Dynamic Range Image)을 생성할 수 있는 영상 생성 장치 및 방법에 관한 것이다.

디지털 카메라, 및 캠코더 등과 같이 영상을 촬영할 수 있는 영상 촬영 장치는 역광 상태에서의 피사체를 촬영할 때 영상의 감도를 향상시키기 위하여 서로 다른 노광량을 가지는 영상을 생성하고, 생성된 영상을 합성하여 이를 사용자에게 제공하게 된다.

구체적으로, 노출 시간을 서로 다르게 하여 동일한 피사체를 촬영할 경우, 노출 시간이 짧을수록 영상의 콘스라스트(Contrast)가 높게 되어 영상의 에지(Edge) 등이 명확해지게 되고, 노출 시간이 길수록 영상의 색상 등이 명확해지게 된다. 따라서, 노출 시간을 짧게 하여 얻은 영상과 노출 시간을 길게 하여 얻은 영상을 합성하게 되면, 고대비(High Dynamic Range) 영상을 얻을 수 있다.

종래의 영상 촬영 기기는 도 1과 같이 노출 시간을 짧게 하여 얻은 제1 영상(11)과 상기 제1 영상(11)에 비하여 상대적으로 노출 시간을 길게 하여 얻은 제2 영상(12)을 각각 생성하고, 상기 제1 영상(11)과 제2 영상(12)을 합성하여 고대비의 영상(13)을 생성하게 된다.

그러나 이와 같이 다중 노출을 통해 휘도가 서로 다른 영상을 획득하려면, 사용자는 소정 시간 동안 동일한 자세를 유지해야 하는데, 이러한 점은 사용자의 편의를 저해시킨다. 뿐만 아니라, 사용자가 자세를 유지하는 동안 손떨림이 발생하게 되면, 영상에 블러링(Blurring) 등이 발생하는 문제점이 있다. 또한, 사용자가 소정 시간 동안 동일한 자세를 유지하더라도, 촬영 중 피사체의 위치가 변경되는 경우에는, 획득된 영상들이 서로 동일하지 않게 되어 정상적인 이미지를 생성하기 어렵다는 문제가 있다.

이와 같이, 사용자가 소정 시간 동안 동일한 자세를 유지하는 불편함을 해소하기 위하여 색 필터의 배열을 변형하거나 필터의 감도(Sensitivity)를 다르게 하는 것과 같이 구조를 변경하는 방법이 사용되고 있으나, 이를 위해서는 색 필터의 디모자이킹, 및 백색 밸런싱 방법 등 추가적인 처리 과정이 필요하다는 문제점이 있다.

한편, 미국 공개 특허 2006-0066750은 화소 어레이에서 홀수열은 짧은 노출 시간을 가지고, 짝수열은 홀수열에 비하여 긴 노출 시간을 가지도록 하고, 홀수열, 및 짝수열 쌍을 합하여 출력함으로써, 와이드 다이나믹 레인지(Wide Dynamic Ragne)를 구현할 수 있는 이미지 센서를 개시하고 있다. 그러나, 긴 노출 시간 동안 사용자가 동일한 자세를 유지해야하는 불편함을 해결할 수 있는 방안이나, 사용자의 손떨림으로 인해 영상이 블러링되는 것을 방지할 수 있는 방안을 제시하고 있지는 못하다.

따라서, 한 번의 짧은 노출을 통해 획득된 영상만으로도 고대비 영상을 생성할 수 있는 방안이 요구되고 있다.

본 발명은 한 번의 짧은 노출을 통해 획득된 영상만으로 고대비 영상을 생성할 수 있는 영상 생성 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 생성 장치는, 피사체로부터 영상을 획득하는 영상 획득부, 상기 획득된 영상으로부터 해상도 및 밝기가 서로 다른 복수개의 영상을 생성하는 영상 생성부, 및 상기 생성된 복수개의 영상을 합성하는 영상 합성부를 포함한다.

또한, 상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 영상 생성 방법은, 피사체로부터 영상을 획득하는 단계, 상기 획득된 영상으로부터 해상도 및 밝기가 서로 다른 복수개의 영상을 생성하는 단계, 및 상기 생성된 복수개의 영상을 합성하는 단계를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범수를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 본 발명의 실시예들에 의하여 영상 생성 장치 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다.

이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

도 2는 본 발명의 일 실시예에 따른 영상 생성 장치의 구성을 도시한 블럭도 이다. 본 발명의 실시예에 따른 영상 생성 장치(100)는, 영상(정지 영상 또는 동영상)을 촬영할 수 있는 모듈을 구비한 디지털 카메라, 캠코더, 휴대폰, 및 PDA(Personal Digital Assistant) 등과 같은 기기로 이해될 수 있다. 이하, 본 발명의 실시예에서는 영상 생성 장치(100)가 소정 피사체에 대한 영상을 촬영할 수 있는 디지털 카메라인 경우를 예를 들어 설명하기로 한다.

구체적으로, 본 발명의 일 실시예에 따른 영상 생성 장치(100)는 도 2에 도시된 바와 같이, 계산부(110), 노광 조절부(120), 영상 획득부(130), 영상 생성부(140), 영상 합성부(150) 및 영상 출력부(160)를 포함하여 구성된다.

계산부(110)는, 후술될 영상 획득부(130)가 영상을 획득하는데 필요한 노출 시간을 계산한다.

노광 조절부(120)는, 계산부(110)에 의해 계산된 노출 시간에 근거하여 셔터를 조절한다. 또한, 기계식 셔터가 장착되지 않은 카메라 센서의 경우에는 광센서가 광량을 받아들이는 시간을 조정한다. 이로써, 후술될 영상 획득부(130)에 의해 획득되는 영상이 적절한 밝기를 가질 수 있도록 한다. 본 발명의 실시예에서는 디지털 카메라의 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로, 전술한 이미지, 및 동영상을 촬영할 수 있는 다양한 기기에서도 유사하게 적용될 수 있다.

영상 획득부(130)는, 계산부(110)에 의해 계산된 노출 시간 동안 수신된 광량에 근거하여 피사체에 대한 영상을 획득한다. 영상 획득부(130)를 통해 획득된 영상은 후술될 영상 생성부(140)로 제공된다.

영상 생성부(140)는, 영상 획득부(130)를 통해 획득된 영상으로부터 해상도, 밝기가 서로 다른 복수개의 영상을 생성한다. 이를 위해 영상 생성부(140)는, 제1 영상을 생성하는 제1 영상 생성부(141)와, 제1 영상에 비하여 낮은 해상도를 가지는 제2 영상을 생성하는 제2 영상 생성부(142)를 포함할 수 있다.

제1 영상 생성부(141)는, 영상 획득부(130)에 의해 획득된 영상으로부터 제1 영상을 생성한다. 본 발명의 실시예에서 제1 영상은 영상 획득부(130)에 의해 획득된 영상으로 이해될 수 있다. 이 때, 제1 영상은 영상 생성 장치(100)에 포함된 CIS(COMS Image Sensor)에 포함된 총 화소 수에 대응하는 해상도를 가진다. 예를 들어, 도 3과 같이, 영상 생성 장치(100)의 CIS에 포함된 각 화소에 형성된 색 필터가 r1 내지 r4, g1 내지 g8, 및 b1 내지 b4고 하자. 이 경우, 제1 영상은 r1 내지 r4, g1 내지 g8, 및 b1 내지 b4에 대응하는 해상도를 갖는다. 여기서, r은 적색 필터, g는 녹색 필터, b는 청색 필터로 이해될 수 있다.

제2 영상 생성부(142)는, 제1 영상에 비하여 낮은 해상도를 가지는 제2 영상을 제1 영상으로부터 생성한다. 구체적으로, 제2 영상 생성부(142)는 총 화소 중 동일한 색 필터가 사용된 다수의 화소를 하나의 화소로 사용하여 제1 영상보다 낮은 해상도를 가지는 제2 영상을 제1 영상으로부터 생성한다. 이 때, 제2 영상의 해상도를 제1 영상의 해상도로 표현하면, 수학식 1과 같다.

수학식 1에서, N은 제2 영상의 각 화소에 포함되는 제1 영상의 화소의 개수를 의미한다. 예를 들어, N=4인 경우, 제2 영상 생성부(142)는, 도 4에 도시된 바와 같이, 제1 영상에 비해 화소 수가 1/4로 감소한 제2 영상을 생성한다. 이 때, 제2 영상은 R1, G1, G2 및 B1에 대응하는 해상도를 가지며, R1은 r1+r2+r3+r4, G1은 g1+g2+g5+g6, G2는 g3+g4+g7+g8, B1은 b1+b2+b3+b4로 이해될 수 있다. 그리고, R은 적색 필터, G는 녹색 필터, B는 청색 필터로 이해될 수 있다.

이와 같이, 제2 영상의 각 화소는 제1 영상에서 동일한 색 필터가 사용된 다수의 화소가 합해져 이루어지므로, 제2 영상의 밝기는 제1 영상의 밝기에 비해 높아지게 된다. 구체적으로, 제2 영상의 밝기는 제1 영상의 밝기에 비해, 제2 영상을 구성하는 각 화소에 포함된 제1 영상의 화소 수만큼 증가하게 된다. 예를 들어, 전술한 바와 같이, 제2 영상의 각 화소가 제1 영상의 4개의 화소로 이루어진 경우, 제2 영상의 밝기는 제1 영상의 밝기에 비해 4배가 증가한다.

본 발명의 실시예에 따라, 제2 영상의 해상도 및 적정 밝기에 대한 정보는 사전에 지정될 수 있다. 이 경우, 전술한 계산부(110)는, 제1 영상을 얻기 위한 노출 시간(이하, '제1 노출 시간'이라 한다)을, 사전 지정된 밝기의 제2 영상을 얻기 위한 노출 시간(이하, '제2 노출 시간'이라 한다)과, 제2 영상의 해상도에 근거하여 계산할 수 있다. 제1 노출시간을 계산하기 위한 수학식을 수학식 2에 나타내었다.

수학식 2에서, T₁은 제1 노출시간을 의미하며, T₂는 제2 노출시간을 의미한다. 그리고, N은 수학식 1에서와 같이, 제2 영상의 각 화소를 구성하는데 필요한 제1 영상의 화소의 개수를 의미한다.

수학식 2에서, 제2 노출 시간(T₂)은, 노출시간-밝기 함수로부터 구해질 수 있다. 도 5는 노출시간-밝기 함수를 예시한 도면이다. 노출시간-밝기 함수는, 노출 시간과 영상의 밝기 간의 관계를 정의한다. 노출시간-밝기 함수에서 가로축은 노출시간을 나타내며, 세로축은 노출시간에 대응하는 영상의 밝기를 나타낸다. 따라서, 제2 영상의 밝기(Y₂)가 사전 지정되는 경우, 해당 밝기의 제2 영상을 얻기 위한 제2 노출 시간(T₂)을 노출시간-밝기 함수로부터 구할 수 있다.

영상 합성부(150)는, 제1 영상 생성부(141)에 의해 생성된 제2 영상과, 제2 영상 생성부(142)에 의해 제2 영상을 합성하여 최종 영상을 생성한다. 이 때, 제1 영상과 제2 영상은 다양한 방법으로 합성될 수 있다.

일 실시예로서, 영상 합성부(150)는 제2 영상의 해상도를 제1 영상의 해상도로 증가시킨 다음, 제1 영상과 해상도가 증가된 제2 영상을 합성할 수 있다(이하, '제1 합성'이라고 한다). 이 때, 영상 합성부(150)는 예를 들어, 리니어 인터폴레이션(Linear Interpolation)을 통해 제2 영상의 해상도를 제1 영상의 해상도로 증 가시킬 수 있다. 제1 합성에 의해 생성된 최종 영상은, 별도의 처리 과정 없이 영상 출력부(160)를 통해 그대로 출력될 수 있다.

다른 실시예로서, 영상 합성부(150)는 제1 영상의 해상도를 제2 영상의 해상도로 감소시킨 다음, 제2 영상과 해상도가 감소된 제1 영상을 합성할 수 있다(이하, '제2 합성'이라고 한다). 제2합성에 의해 생성된 최종 영상은, 해상도가 제2 영상의 해상도로 감소되어 있으므로, 영상 합성부(150)는 최종 영상의 해상도를 제1 영상의 해상도로 증가시킨 다음 영상 출력부(160)를 통해 출력할 수 있다.

전술한 제1 합성, 및 제2 합성 이외에도 영상 합성부(150)는 제2 영상의 밝기 및 색상 정보(color information)를 참조하여, 제1 영상의 밝기 및 색상 정보를 보정함으로써, 최종 영상을 생성할 수도 있다(이하, '제3 합성'이라 한다). 구체적으로, 영상 합성부(150)는 제2 영상에서 소정 화소의 밝기 정보 및 색상 정보를 참조하고, 참조된 화소에 사용된 제1 영상의 화소의 밝기 및 색상을 참조된 밝기 정보 및 색상 정보에 따라 보정한다. 예를 들어, 제1 영상 및 제2 영상이 각각 도 3 및 도 4와 같다고 하자. 이 때, 영상 합성부(150)는 제2 영상의 화소 R1이 갖는 밝기 정보 및 색상 정보를 참조하고, 상기 화소 R1을 구성하는 제1 영상의 화소 즉, r1, r2, r3 및 r4의 밝기 및 색상 정보를 참조된 밝기 및 색상 정보에 따라 보정한다.

영상 출력부(160)는 영상 합성부(150)에 의해 생성된 최종 영상을 디스플레이한다. 영상 출력부(160)는 LCD, PDP, LED, OLED, Flexible display 등의 다양한 디스플레이 수단에 의하여 구현될 수 있다.

한편, 영상 생성 장치(100)는, 도면에 도시되지는 않았지만, 저장부를 포함할 수 있다. 저장부에는 제1 영상 생성부(141)에 의해 생성된 제1 영상과, 제2 영상 생성부(142)에 의해 생성된 제2 영상과, 영상 합성부(150)에 의해 생성된 최종 영상이 저장될 수 있다. 이외에도, 저장부에는 제1 영상의 해상도 정보와, 제2 영상의 해상도 정보와, 제2 영상에 대하여 지정된 밝기 정보 등이 저장될 수 있다. 전술한 예에서는 제1 영상, 제2 영상, 최종 영상, 해상도 정보 등이 하나의 저장부에 저장되는 경우를 예로들어 설명하였으나 이에 한정되지 않고, 제1 영상, 제2 영상, 최종 영상 및 해상도 정보가 각각 저장되는 저장부가 별도로 구성될 수도 있다.

도 6은 도 2의 영상 생성 장치(100)에 의한 영상 생성 방법을 도시한 흐름도이다.

먼저, 계산부(110)는 제1 영상을 얻기 위해 필요한 제1 노출 시간을 계산한다(S610). 이 때, 상기 제1 노출 시간은, 수학식 2에 의해 계산될 수 있다.

상기 S610 단계는, 상기 제2 영상의 사전 지정된 밝기(Y₂)로부터, 해당 밝기의 제2 영상을 얻는데 필요한 노출 시간(T₂)를 산출하는 단계와, 상기 산출된 노출 시간(T₂)을 제2 영상의 각 화소에 포함된 제1 영상의 화소수(N)로 나누어 상기 제1 노출 시간을 계산하는 단계를 포함할 수 있다.

노광 조절부(120)는 계산부(110)에 의해 계산된 제1 노출 시간 동안 셔터를 조절하거나, 광센서가 빛을 받아들이는 시간을 조절한다. 영상 획득부(130)는 제1 노출 시간 동안 수신된 광량에 근거하여, 피사체에 대한 영상을 획득한다(S620).

영상 획득부(130)에 의해 영상이 획득되면, 제1 영상 생성부(141)는 획득된 영상으로부터 제1 영상을 생성한다(S630). 본 발명의 실시예에서, 제1 영상은 획득된 영상과 동일한 것으로 이해될 수 있다.

제1 영상이 획득되면, 제2 영상 생성부(142)는 제1 영상에 비하여 해상도가 낮은 제2 영상을 제1 영상으로부터 생성한다(S640). 이 때, 제2 영상 생성부(142)는 사전 정의된 제2 영상의 해상도에 따라서, 제2 영상을 생성한다. 구체적으로, 제2 영상의 해상도가 제1 영상의 해상도에 비해 1/N인 경우, 제2 영상 생성부(142)는 제1 영상에서 동일한 색 필터가 사용된 N개의 화소를 하나의 화소로 사용하여 제2 영상을 생성한다.

영상 합성부(150)는 제1 영상과, 제2 영상을 합성하여 최종 영상을 생성하게 된다(S650). 제1 영상과 제2 영상을 합성하여 최종 영상을 생성할 때에는, 제1 영상과 제2 영상 중에서 어느 하나의 영상에 대한 해상도를 조절하여, 제1 영상의 해상도와 제2 영상의 해상도를 일치시킨 다음, 해상도가 일치된 제1 영상과 제2 영상을 합성할 수 있다. 이 때, 제1 영상과 제2 영상은 제1 합성 방법에 의해 합성되거나, 제2 합성 방법에 의해 합성될 수 있다. 제1 합성 방법에 의한 최종 영상 생성 방법 및 제2 합성 방법에 의한 최종 영상 생성 방법에 대해서는 도 7 내지 도 10을 참조하여 후술하기로 한다.

해상도가 일치된 제1 영상과 제2 영상을 합성하여 최종 영상을 생성하는 방법 이외에도, 영상 합성부(150)는 제3 합성 방법에 따라 최종 영상을 생성할 수도 있다. 제3 합성 방법에 의한 최종 영상 생성 방법은 도 11 및 도 12를 참조하여 후술하기로 한다.

영상 출력부(160)는, 영상 합성부(150)에 의해 생성된 최종 영상을 디스플레이 한다(S660).

다음으로, 도 7 및 도 8을 참조하여 제1 합성 방법에 따른 최종 영상 생성 방법에 대하여 설명하기로 한다.

도 7은 제1 합성 방법에 따라 최종 영상을 생성하는 경우, 도 6의 최종 영상 생성 단계 S650을 보다 상세히 도시한 흐름도이다.

먼저, 영상 합성부(150)는 제1 영상의 해상도는 유지하고, 제2 영상의 해상도만을 증가시켜, 제1 영상의 해상도와 일치시킨다(S651). 이 때, 영상 합성부(150)는 예를 들어, 리니어 인터폴레이션을 통해 제2 영상의 해상도를 증가시킬 수 있다. 제2 영상의 해상도를 증가시킨 후, 영상 합성부(150)는, 제1 영상과 해상도가 증가된 제2 영상을 합성하여 최종 영상을 생성한다(S652).

도 8은 도 7의 제1 합성 방법에 의해 최종 영상이 생성되는 과정을 도시한 도면이다.

먼저, 제1 영상 생성부(141)는 영상 획득부(130)를 통해 획득된 영상으로부터 제1 영상(81)을 생성하고, 제2 영상 생성부(142)는 제1 영상(81)과 해상도, 밝기가 서로 다른 제2 영상(82)을 제1 영상(81)으로부터 생성한다. 이 때, 제1 영상(81)은 제2 영상(82)에 비하여 높은 콘트라스트를 가지게 되어 에지가 명확하고, 제2 영상(82)은 제1 영상(81)에 비하여 색상이 명확하게 된다.

이 후, 영상 합성부(150)는 제2 영상(82)의 해상도만을 증가시켜, 제1 영상(81)의 해상도와 일치시킨다. 그 다음, 영상 합성부(150)는 제1 영상(81)과, 해상도가 증가된 제2 영상(83)을 합성하여 최종 영상(84)을 생성한다. 이 때, 최종 영상(84)은, 제1 영상(81)과 제2 영상(82) 사이의 콘트라스트를 가지게 되어 에지와 더불어 색상이 명확해질 수 있다. 이러한 최종 영상(84)은 영상 출력부(160)를 통해 디스플레이된다.

다음으로, 도 9 및 도 10을 참조하여 제2 합성 방법에 따른 최종 영상 생성 방법에 대하여 설명하기로 한다.

도 9는 제2 합성 방법에 따라 최종 영상을 생성하는 경우, 도 6의 최종 영상 생성 단계 S650을 보다 상세히 도시한 흐름도이다.

제2 합성 방법에 따르면, 영상 합성부(150)는 제2 영상의 해상도는 유지하고, 제1 영상의 해상도만을 감소시켜, 제2 영상의 해상도와 일치시킨다(S656). 제1 영상의 해상도를 감소시킨 후, 영상 합성부(150)는, 제2 영상과 해상도가 감소된 제1 영상을 합성하여 최종 영상을 생성한다(S657). 이 후, 영상 합성부(150)는 최종 영상의 해상도를 제1 영상의 해상도와 동일한 수준으로 증가시킨다(S658).

도 10은 도 9의 제2 합성 방법에 의해 최종 영상이 생성되는 과정을 도시한 도면이다.

먼저, 제1 영상 생성부(141)는 영상 획득부(130)를 통해 획득된 영상으로부터 제1 영상(91)을 생성하고, 제2 영상 생성부(142)는 제1 영상(91)과 해상도, 밝기가 서로 다른 제2 영상(92)을 제1 영상(91)으로부터 생성한다. 이 때, 제2 영상 생성부(142)는 사전 지정된 제2 영상(92)의 해상도에 따라, 제1 영상(91)으로부터 제2 영상(92)을 생성한다. 여기서, 제1 영상(91)은 제2 영상(92)에 비하여 높은 콘트라스트를 가지게 되어 에지가 명확하고, 제2 영상(92)은 제1 영상(91)에 비해 색상이 명확하다.

이 후, 영상 합성부(150)는 제1 영상(91)의 해상도만을 감소시켜, 제2 영상(92)의 해상도와 일치시킨다. 그 다음, 영상 합성부(150)는 제2 영상(92)과, 해상도가 감소된 제1 영상(93)을 합성하여 최종 영상(94)을 생성한다. 이 때, 생성된 최종 영상(94)의 해상도는 제2 영상(92)의 해상도로 감소된 상태이므로, 영상 합성부(150)는 생성된 최종 영상(94)의 해상도를 제1 영상(91)의 해상도와 동일한 수준으로 증가시킨다. 해상도가 증가된 최종 영상(95)은 영상 출력부(260)를 통해 디스플레이된다.

다음으로, 도 11 및 도 12를 참조하여 제3 합성 방법에 따른 최종 영상 생성 방법에 대하여 설명하기로 한다.

도 11은 제3 합성 방법에 따라 최종 영상을 생성하는 경우, 도 6의 최종 영상 생성 단계 S650을 보다 상세히 도시한 흐름도이다.

제3 합성 방법에 따르면, 영상 합성부(150)는 제2 영상의 밝기 정보 및 색상 정보를 참조한다(S653). 그 다음, 영상 합성부(150)는, 참조된 밝기 및 색상 정보에 따라, 제1 영상의 밝기 및 색상을 보정하여, 최종 영상을 생성한다(S654). 구체적으로, 영상 합성부(150)는 제2 영상에서 소정 화소의 밝기 정보 및 색상 정보를 참조하고, 참조된 화소에 사용된 제1 영상의 화소의 밝기 및 색상을, 참조된 밝기 정보 및 색상 정보에 따라 보정한다.

도 12는 도 11의 제3 합성 방법에 의해 최종 영상이 생성되는 과정을 도시한 도면이다.

먼저, 제1 영상 생성부(141)는 영상 획득부(130)를 통해 획득된 영상으로부터 제1 영상(71)을 생성하고, 제2 영상 생성부(142)는 제1 영상(71)과 해상도, 밝기가 서로 다른 제2 영상(72)을 상기 제1 영상(71)으로부터 생성한다. 이 때, 제2 영상 생성부(142)는 사전 지정된 제2 영상(72)의 해상도에 근거하여, 상기 제1 영상(71)으로부터 상기 제2 영상(72)을 생성한다. 여기서, 제1 영상(71)은 제2 영상(72)에 비하여 높은 콘트라스트를 가지게 되어 에지가 명확하다. 이에 비해 제2 영상(72)은 제1 영상(71)에 비하여 색상이 명확하게 된다.

이 후, 영상 합성부(150)는 제2 영상(72)에서 소정 화소가 갖는 밝기 및 색상 정보를 참조한다. 그리고, 영상 합성부(150)는 상기 참조된 화소를 구성하는 제1 영상(71)의 화소의 밝기 및 색상 정보를, 참조된 정보에 따라 보정하여 최종 영상(73)을 생성한다.

이상의 실시예에서는, 제2 영상의 해상도가 사전에 지정된 경우, 사전 지정된 밝기의 상기 제2 영상을 얻기 위한 제1 영상의 노출 시간을 계산하는 영상 생성 장치 및 방법에 대하여 설명하였다. 이하에서는 이와는 다른 실시예로서, 제1 영상에 대한 노출 시간이 사전에 지정된 경우, 상기 제1 영상으로부터 생성되는 제2 영상의 해상도를 계산하는 영상 생성 장치 및 방법을 도 13을 참조하여 설명하기로 한다.

도 13에서, 영상 합성부(250) 및 영상 출력부(260)의 동작은 도 2에서와 마찬가지이므로 중복된 설명은 생략하기로 하고, 영상 획득부(230)와, 계산부(210)와, 영상 생성부(240)의 동작을 중심으로 하여 설명하기로 한다.

계산부(210)는, 사전에 지정된 제1 노출 시간과, 사전 지정된 밝기의 제2 영상을 얻기 위한 제2 노출 시간으로부터, 상기 제2 영상의 해상도를 계산한다. 구체적으로, 계산부(210)는, 수학식 3과 같이, 사전 지정된 밝기(Y₂)의 제2 영상을 얻기 위한 제2 노출 시간(T₂ )을 사전 지정된 제1 노출 시간(T₁)으로 나눈다.

수학식 3에서 N은, 제2 영상의 각 화소에 포함되는 제1 영상의 화소의 개수를 의미한다. 예를 들어, N=4인 경우, 제2 영상의 각 화소는 제1 영상에서 동일한 색 필터가 사용된 4개의 화소의 합으로 이루어진다는 것을 의미한다. 다시 말해, 제2 영상은 제1 영상의 해상도에 비해 1/4에 해당하는 해상도를 가짐을 의미한다. 제2 영상의 해상도와, 제1 영상의 해상도 간의 관계는 수학식 1과 같이 표현될 수 있다.

영상 획득부(230)는, 사전 지정된 제1 노출 시간에 따라, 피사체에 대한 영상을 획득한다.

제1 영상 생성부(241)는, 영상 획득부(230)에 의해 획득된 영상으로부터 제1 영상을 생성한다. 이 때, 상기 획득된 영상과 상기 제1 영상은 서로 동일한 영상으로 이해될 수 있다.

제2 영상 생성부(242)는, 제1 영상 생성부(241)로부터 제1 영상을 제공받는다. 그리고, 상기 계산부(210)에 의해 계산된 제2 영상의 해상도 정보에 근거하여, 상기 제1 영상으로부터 제2 영상을 생성한다. 예를 들어, 수학식 3에 의해 산출된 N의 값이 4인 경우, 제2 영상 생성부(242)는, 제1 영상에서 동일한 색 필터가 사용된 4개의 화소를 제2 영상의 하나의 화소에 대응시켜 제2 영상을 생성한다.

영상 합성부(250)는 제1 영상 생성부(241)에 의해 생성된 제1 영상과, 제2 영상 생성부(242)에 의해 생성된 제2 영상을 합성하여 최종 영상을 생성한다. 이 때, 영상 합성부(250)는 이미 언급한 바와 같이 제1 합성 또는 제2 합성에 따라 제1 영상과 제2 영상을 합성할 수 있다. 이외에도, 영상 합성부(250)는, 제2 영상에서 참조된 어느 한 화소의 밝기 및 색상 정보에 따라, 제1 영상의 다수의 화소들의 밝기 및 색상 정보를 보정함으로써, 최종 영상을 생성할 수도 있다.

다음으로, 도 14는 도 13의 영상 생성 장치(200)에 의한 영상 생성 방법을 도시한 흐름도이다.

먼저, 계산부(210)는, 사전에 지정된 제1 노출 시간(T₁)과, 사전에 지정된 밝기(Y₂)의 제2 영상을 얻기 위한 제2 노출 시간(T₂)으로부터, 상기 제2 영상의 해상도를 계산하여 제2 영상 생성부(242)로 제공한다.

노광 조절부(220)는, 셔터를 조절하여 영상 획득부(230)가 상기 제1 노출 시 간 동안 빛을 받아들일 수 있도록 한다. 기계식 셔터가 장착되지 않은 카메라 센서의 경우, 노광 조절부(220)는 광센서가 상기 제1 노출 시간 동안 빛을 받아들일 수 있도록 한다.

영상 획득부(230)는, 상기 제1 노출 시간 동안 수신된 광량에 근거하여, 피사체에 대한 영상을 획득한다.

제1 영상 생성부(241)는 영상 획득부(230)에 의해 획득된 영상으로부터 제1 영상을 생성한다. 본 발명의 실시예에서 제1 영상은 상기 영상 획득부(230)에 의해 획득된 영상으로 이해될 수 있다. 이 때, 제1 영상은 도 3에 도시된 바와 같이, 영상 생성 장치(200)에 포함된 CIS에 포함된 총 화소 수에 대응하는 해상도를 가진다.

제2 영상 생성부(242)는 제1 영상 생성부(241)에 의해 생성된 제1 영상의 해상도 보다 낮은 해상도를 갖는 제2 영상을 제1 영상으로부터 생성한다. 이를 위해 제2 영상 생성부(242)는 계산부(210)로부터 제공된 해상도 정보를 참조하여, 제2 영상을 생성한다. 예를 들어, 제2 영상의 해상도가 제1 영상의 해상도에 비해 1/4의 해상도를 갖는 경우, 제2 영상 생성부(242)는 제2 영상의 각 화소가 제1 영상에서 동일한 색 필터가 사용된 4개의 화소를 포함하도록 제2 영상을 생성한다.

영상 합성부(250)는 제1 영상의 해상도와 제2 영상의 해상도를 일치시킨 후, 해상도가 일치된 제1 영상과 제2 영상을 합성한다. 이 때, 제1 영상과 제2 영상의 합성은, 전술한 예에서와 마찬가지로 제1 합성 또는 제2 합성에 의해 이루어질 수 있다. 제1 영상과 제2 영상이 제2 합성 방법에 따라 합성되는 경우, 영상 합성 부(250)는 최종 영상의 해상도를 증가시키는 처리를 추가적으로 수행할 수 있다. 이외에도, 영상 합성부(250)는 제2 영상에서 참조된 밝기 및 색상 정보에 따라, 제1 영상의 밝기 및 색상 정보를 보정함으로써, 최종 영상을 생성할 수도 있다.

영상 출력부(260)는 영상 합성부(250)에 의해 생성된 최종 영상을 디스플레이한다.

이상과 같이 본 발명에 따른 영상 생성 장치 및 방법을 예시된 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않으며 그 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

상기한 바와 같은 본 발명의 영상 생성 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째, 한 번의 촬영으로도 휘도가 서로 다른 복수개의 영상을 생성할 수 있으며, 이로부터 고대비 영상을 생성할 수 있다는 장점이 있다.

둘째, 노출 시간을 감소시킬 수 있으므로, 사용자의 편의를 향상시킬 수 있다는 장점이 있다.

셋째, 노출 시간을 감소시킬 수 있으므로, 긴 노출 시간 동안 사용자의 손떨림으로 인해 영상에 블러링이 발생되는 것을 방지할 수 있다.

넷째, 영상을 촬영하는 기기의 구조를 변경하지 않고도 고대비 영상을 생성할 수 있는 장점이 있다.

Claims

피사체로부터 영상을 획득하는 영상 획득부;

상기 획득된 영상으로부터 해상도 및 밝기가 서로 다른 복수개의 영상을 생성하는 영상 생성부; 및

상기 생성된 복수개의 영상을 합성하는 영상 합성부를 포함하는 영상 생성 장치.
제 1 항에 있어서,

상기 영상 생성부는, 제1 영상을 생성하는 제1 영상 생성부; 및

상기 제1 영상에 비하여 낮은 해상도를 가지는 제2 영상을 상기 제1 영상으로부터 생성하는 제2 영상 생성부를 포함하는 영상 생성 장치.
제2 항에 있어서,

상기 제1 영상을 얻기 위한 제1 노출 시간을, 상기 제2 영상의 사전 지정된 해상도 및 사전 지정된 밝기의 상기 제2 영상을 얻기 위한 제2 노출 시간으로부터 계산하는 계산부를 더 포함하는 영상 생성 장치.
제 3 항에 있어서,

상기 제1 영상 생성부는, 상기 계산된 제1 노출시간에 따라 상기 영상 획득 부에서 획득된 영상으로부터 상기 제1 영상을 생성하는 영상 생성 장치.
제2 항에 있어서,

상기 제1 영상 생성부는, 사전 지정된 제1 노출시간에 따라 상기 영상 획득부에서 획득된 영상으로부터 상기 제1 영상을 생성하는 영상 생성 장치.
제 5 항에 있어서,

상기 제1 노출시간과, 사전 지정된 밝기의 상기 제2 영상을 얻기 위한 제2 노출시간으로부터 상기 제2 영상의 해상도를 결정하는 계산부를 더 포함하는 영상 생성 장치.
제 6 항에 있어서,

상기 계산부는, 상기 제1 노출시간과 상기 제2 노출시간의 비가 상기 제1 영상의 해상도에 곱하여진 값을 상기 제2 영상의 해상도로 결정하는 영상 생성 장치.
제2 항에 있어서,

상기 제1 영상은, 총 화소수에 대응하는 해상도를 가지는 영상 생성 장치.
제 8 항에 있어서,

상기 제2 영상 생성부는, 상기 총 화소 중에서 동일한 색 필터가 사용된 다 수의 화소를 합한 상기 제2 영상을 생성하며,

상기 제2 영상의 해상도는, 상기 합해진 화소수에 따라 결정되는 영상 생성 장치.
제2 항에 있어서,

상기 영상 합성부는, 상기 제2 영상의 해상도를 상기 제1 영상의 해상도로 증가시킨 다음, 상기 증가된 해상도를 가지는 제2 영상과 상기 제1 영상을 합성하는 영상 생성 장치.
제2 항에 있어서,

상기 영상 합성부는, 상기 제1 영상의 해상도를 상기 제2 영상의 해상도로 감소시킨 다음, 상기 감소된 해상도를 가지는 제1 영상과 상기 제2 영상을 합성하는 영상 생성 장치.
제 11 항에 있어서,

상기 영상 합성부는, 상기 합성된 영상을 상기 제1 영상의 해상도로 증가시키는 영상 생성 장치.
제2 항에 있어서,

상기 영상 합성부는, 상기 제2 영상에 포함된 화소의 밝기 및 색상 정보를 참조하여 상기 제1 영상에 포함된 다수의 화소의 밝기 및 색상 정보를 보정하는 영 상 생성 장치.
피사체로부터 영상을 획득하는 단계;

상기 획득된 영상으로부터 해상도 및 밝기가 서로 다른 복수개의 영상을 생성하는 단계; 및

상기 생성된 복수개의 영상을 합성하는 단계를 포함하는 영상 생성 방법.
제 14 항에 있어서, 상기 생성하는 단계는,

제1 영상을 생성하는 단계; 및

상기 제1 영상에 비하여 낮은 해상도를 가지는 제2 영상을 상기 제1 영상으로부터 생성하는 단계를 포함하는 영상 생성 방법.
제1 5 항에 있어서,

상기 제1 영상을 얻기 위한 제1 노출 시간을, 상기 제2 영상의 사전 지정된 해상도 및 사전 지정된 밝기의 상기 제2 영상을 얻기 위한 제2 노출 시간으로부터 계산하는 단계를 더 포함하는 영상 생성 방법.
제1 6 항에 있어서, 상기 제1 영상을 생성하는 단계는,

상기 계산된 제1 노출시간에 따라 상기 영상 획득부에서 획득된 영상으로부터 상기 제1 영상을 생성하는 단계를 포함하는 영상 생성 방법.
제1 5 항에 있어서, 상기 제1 영상을 생성하는 단계는,

사전 지정된 제1 노출시간에 따라 상기 영상 획득부에서 획득된 영상으로부터 상기 제1 영상을 생성하는 단계를 포함하는 영상 생성 방법.
제1 8 항에 있어서,

상기 제1 노출시간 및 사전 지정된 밝기의 상기 제2 영상을 얻기 위한 제2 노출시간으로부터 상기 제2 영상의 해상도를 결정하는 단계를 더 포함하는 영상 생성 방법.
제1 9 항에 있어서,

상기 제2 영상의 해상도를 결정하는 단계는, 상기 제1 노출시간과 상기 제2 노출시간의 비가 상기 제1 영상의 해상도에 곱하여진 값을 상기 제2 영상의 해상도로 결정하는 단계를 포함하는 영상 생성 방법.
제1 5 항에 있어서,

상기 제1 영상은, 총 화소수에 대응하는 해상도를 가지는 영상 생성 방법.
제21 항에 있어서,

상기 제2 영상을 생성하는 단계는, 상기 총 화소 중에서 동일한 색 필터가 사용된 다수의 화소를 합한 상기 제2 영상을 생성하며,

상기 제2 영상의 해상도는, 상기 합해진 화소수에 따라 결정되는 영상 생성 방법.
제1 5 항에 있어서, 상기 합성하는 단계는,

상기 제2 영상의 해상도를 상기 제1 영상의 해상도로 증가시키는 단계; 및

상기 증가된 해상도를 가지는 제2 영상과 상기 제1 영상을 합성하는 단계를 포함하는 영상 생성 방법.
제1 5 항에 있어서, 상기 합성하는 단계는,

상기 제1 영상의 해상도를 상기 제2 영상의 해상도로 감소시키는 단계; 및

상기 감소된 해상도를 가지는 제1 영상과 상기 제2 영상을 합성하는 단계를 포함하는 영상 생성 방법.
제24 항에 있어서, 상기 감소된 해상도를 가지는 제1 영상과 상기 제2 영상을 합성하는 단계는,

상기 합성된 영상을 상기 제1 영상의 해상도로 증가시키는 단계를 포함하는 영상 생성 방법.
제 15 항에 있어서, 상기 합성하는 단계는,

상기 제2 영상에 포함된 화소의 밝기 및 색상 정보를 참조하여 상기 제1 영상에 포함된 다수의 화소의 밝기 및 색상 정보를 보정하는 단계를 포함하는 영상 생성 방법.