KR101520068B1

KR101520068B1 - 다중영상 합성장치 및 그 방법

Info

Publication number: KR101520068B1
Application number: KR1020080127958A
Authority: KR
Inventors: 권재현; 최원희; 이성덕
Original assignee: 삼성전자 주식회사
Priority date: 2008-12-16
Filing date: 2008-12-16
Publication date: 2015-05-13
Also published as: EP2199975A1; US20100150473A1; US8977073B2; KR20100069307A

Abstract

높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받아 영상을 합성하는 다중영상 합성기술이 개시된다. 본 발명의 일 양상에 따른 다중영상 합성장치는, 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받아, 관심영역의 설정 또는 계조(gradient) 대역의 설정을 제어하고, 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 복수 노출 영상을 상기 관심영역별 또는 계조대역별로 조합 합성하여 다중노출영상을 생성한다. 이에 의해, 관심 영역 또는 계조 구간별 서로 다른 계조 분포를 갖는 복수의 높은 동적 대역(HDR) 영상을 생성할 수 있다.

다중영상, 동적대역, HDR

Description

다중영상 합성장치 및 그 방법 {Apparatus and method of blending multiple image}

본 발명의 일양상에 따른 기술분야는 영상 처리에 관한 것이며, 보다 상세하게는 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받아 영상을 합성하는 다중영상 합성에 관한 것이다.

디지털 영상의 동적 대역(Dynamic Range, DR)은 영상 내에서 가장 밝은 화소값과 가장 어두운 화소값의 비율로 정의된다. 실제 인간의 시각 인지 시스템(HVS)은 일반적인 디지털 카메라 및 모니터보다 훨씬 높은 동적 대역을 다룰 수 있다. 따라서, 기존의 영상 장치는 인간이 인지하는 영상을 그대로 획득(capture) 또는 표현(display) 할 수 없다. 이처럼 기존의 영상 장치가 다룰 수 있는 것보다 큰 동적 영역을 갖는 영상의 필요성이 대두되며, 이러한 영상을 높은 동적 대역(High Dynamic Range, HDR) 영상이라고 한다.

다시 말하면, 높은 동적 대역(HDR) 영상의 생성 기술은, 서로 다른 노출을 갖는 다수의 영상을 합성하여 동적 대역(Dynamic Range, DR)을 확장하는 기술이라고 할 수 있다.

이와 관련하여, 노출조건이 다른 다수 영상을 획득하여 평균 휘도(luminance)를 산출하고, 각 획득 영상별로 이득(gain)을 조정하여 영상을 합성함으로써 동적 대역(DR)을 확장하는 기술이 개시되어 있다. 다른 방법으로 다수의 장노출 또는 단노출 영상을 획득하고, 여러가지 노출조건에 기초하여 각 영상의 밝기 정도를 보상한 후 영상을 합성하는 기술이 개시되어 있다.

그러나 이러한 영상 합성 방법에 따르면 동적 대역(DR)이 작은 일반 디스플레이 장치에서는 화질이 떨어질 수 있다.

따라서, 본 발명의 일 양상에 따라, 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받아, 관심영역 또는 원하는 계조(gradient) 대역별 복수개의 다중노출영상을 합성하여 제공하는 다중영상 합성장치 및 방법을 제공하고자 한다.

본 발명의 일 양상에 따른 다중영상 합성장치는, 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받아, 관심영역의 설정 또는 계조(gradient) 대역의 설정을 제어하는 제어부와, 입력된 높은 동적 대역(HDR) 영상 또는 복수 노출 영상을 관심영역별 또는 계조대역별로 조합 합성하여 다중노출영상을 생성하는 영상 처리부를 포함한다.

또한, 다중영상 합성장치는, 설정된 관심영역 또는 설정된 계조대역별로 영 상합성의 가중치를 생성하는 가중치 생성부를 더 포함하고, 영상 처리부는, 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 가중치 생성부에 의해 생성된 가중치에 따라 처리하여 복수개의 합성 영상을 생성할 수 있다.

또한, 본 발명의 일 양상에 따른 다중영상 합성방법은, 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받는 단계와, 하나 이상의 계조 대역을 설정하는 단계 및 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 계조대역별로 조합 합성하여 다중노출영상을 생성하는 단계를 포함한다.

또한, 본 발명의 다른 양상에 따른 다중영상 합성방법은 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받는 단계와, 하나 이상의 관심영영을 설정하는 단계 및 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 관심영역별로 조합 합성하여 다중노출영상을 생성하는 단계를 포함한다.

본 발명의 일실시예에 따르면, 하나의 높은 동적 대역(HDR) 영상이 아니라, 관심 영역 또는 계조 구간별 서로 다른 계조 분포를 갖는 복수의 높은 동적 대역(HDR) 영상을 생성할 수 있다.

그리고 일반 카메라 사용자들도 한 번의 영상을 촬영함으로써, 여러 차례 노출을 가변하여 촬영하여 영상을 획득한 것과 동일한 효과를 얻을 수 있다. 또한, 높은 동적 대역(HDR)에서 조도 대역 압축을 수행하므로, 낮은 동적 대역(Low Dynamic Range, LDR)의 카메라를 이용하여 여러 차례 노출을 조정하여 촬영한 영상에 비해 선명한 영상을 얻을 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일실시예에 따른 계조대역별 다중영상을 생성하는 것을 설명하기 위한 참조도이다.

다중영상 합성장치(100)는 하나의 장면에 대해 여러가지 노출을 적용하여 복수개의 영상을 얻고, 이 복수 노출의 영상을 입력받아 이들을 조합하여 복수개의 다중영상을 출력한다. 일예로 장노출 영상(110) 및 단노출 영상(115)을 입력받아, 복수개의 영상(120, 125, 130,135)을 합성하여 출력한다.

다시 말하면, 장노출 영상(110)과 단노출 영상(115)을 가지고 여러가지 계조(gradient)의 영상들(120, 125, 130, 135)을 합성한다. 영상 합성의 구체적인 일예에 대해서는 도 2를 참조하여 후술한다.

한편, 하나의 장면에 대해 여러가지 노출을 적용하여 복수개의 영상을 입력 받는 대신, 하나의 높은 동적 대역(HDR) 영상을 입력받을 수도 있다. 이 경우에는, 높은 동적 대역(HDR) 영상에서 직접 여러가지 계조(gradient)의 영상들(120, 125, 130, 135)을 합성한다.

도 2는 본 발명의 일실시예에 따른 계조대역별 다중영상 생성방법의 플로우차트이다.

먼저, 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받는다(S210). 그리고, 하나 이상의 계조 대역을 설정하여(S220), 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 계조대역별로 조합 합성하여 복수개의 다중노출영상을 생성한다. 보다 구체적으로는, S220 단계에서 설정된 계조대역별로 영상합성시의 가중치를 생성하고(S230), 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출영상을 S230 단계에서 생성된 가중치에 따라 처리하여 복수개의 합성 영상을 생성한다(S240).

일예로 단노출 영상의 데이터를 SEI(Short Exposure Image), 장노출 영상의 데이터를 LEI(Long Exposure Image)라고 하고, 각 영상의 계조 최적화를 위한 히스토그램 최적화 등의 처리를 수행하는 특성함수를 f(·), g(·)라고 하면, 본 발명의 일실시예에 따른 합성영상 데이터인 HDR Image, HDRI는 다음 수학식 1에 따라 얻어진다.

HDRI = α·f(SEI)+β·g(LEI)

여기서 α, β는 각 계조영상 합성시의 가중치로 α, β를 조정하여 합성된 영상의 표현 가능한 계조 범위를 조정할 수 있다.

이때, 서로 다른 노출에 의한 복수개의 영상 획득시, 각각의 노출값에 의해 획득된 영상의 대역이 중첩되도록 노출값을 조정하여 영상을 획득할 수 있다. 그리고, 계조 분석을 통해 가장 많은 화소값이 존재하는 영역의 계조를 최적 계조대역으로 설정할 수 있다.

도 3은 본 발명의 다른 실시예에 따른 관심영역별 다중영상을 생성하는 것을 설명하기 위한 참조도이다.

도 3을 참조하면, 다중영상 합성장치(100)는 한 장면내에서 복수개의 관심영역(320)을 처리하여 관심영역별 가중치를 달리하여 합성한 복수개의 영상을 출력할 수 있다.

다시 말하면, 사용자의 관심영역은 경우에 따라 다를 수 있는데 그 관심영역의 계조에 맞추어 영상을 합성함으로써 관심영역을 보다 분명하게 보여줄 수 있다. 이때 관심영역의 수에 따라 여러가지 계조의 합성영상을 복수개 생성하고 사용자가 원하는 영상을 선택할 수 있도록 한다.

도 4는 본 발명의 다른일실시예에 따른 관심영역별 다중영상 생성방법의 플로우차트이다.

먼저, 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수개의 영상을 입력받는다(S410). 이때 서로 다른 노출에 의한 복수개의 영상 획득시, 각각의 노출값에 의해 획득된 영상의 대역이 중첩되도록 노출값을 조정하여 영상을 획득할 수도 있다.

그리고, 하나 이상의 관심영영을 설정한다(S420). 이때 영상획득시 자동으로 초점이 맞추어지는 영역을 관심영역으로 설정할 수도 있고, 에지(edge) 성분 추줄에 의한 정보에 기초하여 관심영역을 설정하거나, 사용자의 입력에 따라 관심영역을 설정할 수도 있다. 즉, 얼굴 윤곽을 추출하거나 특정 사물의 경계선(edge)을 추출하는 등의 에지 성분 추출 방법에 따라 특정 물체가 위치하는 영역을 관심영역으로 설정할 수 있다. 다른 방법으로 사용자가 특정 영역을 관심영역으로 미리 설정하거나 변경할 수 있다.

다음으로 이렇게 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을, 관심영역별로 조합 합성하여 복수개의 다중노출영상을 생성한다. 보다 구체적으로는, S420 단계에서 설정된 관심영역별로 영상합성의 가중치를 생성하고(S430), 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 S430 단계에서 생성된 가중치에 따라 처리하여 복수개의 합성 영상을 생성한다(S440). 가중치에 따라 합성영상을 생성하는 구체적인 방법은 전술한 수학식 1에 따라 수행될 수 있다. 전술한 바와 같이 α, β는 각 관심영역별 영상합성의 가중치이며, 관심영역별로 영상합성의 가중치 α, β를 달리하여 여러가지 합성영상을 생성하여 출력한다.

도 5는 본 발명의 일실시예에 따른 다중영상 생성장치의 구성도이다.

본 발명의 일실시예에 따른 다중영상 생성장치는, 가중치 생성부(510), 영상 처리부(520) 및 제어부(530)를 포함한다.

제어부(530)는 높은 동적 대역(HDR) 영상 또는 서로 다른 노출에 의한 복수 개의 영상을 입력받아, 관심영역을 설정하거나 또는 원하는 계조(gradient) 대역을 설정하는 것을 제어한다. 제어부는 관심영역 설정부(도시하지 않음)를 구비하여, 영상획득시 자동으로 초점이 맞추어지는 영역을 관심영역으로 설정할 수 있다. 그리고, 에지(edge) 성분 추줄에 의한 정보에 기초하여 관심영역을 설정하거나 사용자의 입력에 따라 관심영역을 설정할 수도 있다. 한편, 계조 분석을 통해 가장 많은 화소값이 존재하는 영역의 계조를 최적 계조대역으로 설정할 수 있다.

영상 처리부(520)는 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 관심영역별 또는 계조대역별로 조합 합성하여 복수개의 다중노출영상을 생성한다. 보다 구체적으로, 가중치 생성부(510)는, 제어부(530)에서 설정된 관심영역 또는 설정된 계조대역별로 영상합성의 가중치를 생성하고, 영상 처리부(520)는 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 가중치 생성부(510)에서 생성된 가중치에 따라 처리하여 복수개의 합성 영상을 생성한다.

한편, 서로 다른 노출의 복수개의 영상을 생성하거나, 기 생성된 높은 동적 대역(HDR) 영상을 수신하는 영상 획득부(도시하지 않음)를 더 포함할 수 있다. 즉, 영상 획득부는 직접 장면을 촬영하여 영상을 얻을 수도 있으나, 기 만들어진 높은 동적 대역(HDR) 영상을 외부로부터 수신할 수 있다. 그리고 영상 획득부는 서로 다른 노출에 의한 복수개의 영상 획득시, 각각의 노출값에 의해 획득된 영상의 대역이 중첩되도록 노출값을 조정하여 영상을 획득할 수 있다.

본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수 있다.

이제까지 본 발명의 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일실시예에 따른 계조대역별 다중영상을 생성하는 것을 설명하기 위한 참조도,

도 2는 본 발명의 일실시예에 따른 계조대역별 다중영상 생성방법의 플로우차트,

도 3은 본 발명의 다른 실시예에 따른 관심영역별 다중영상을 생성하는 것을 설명하기 위한 참조도,

도 4는 본 발명의 다른일실시예에 따른 관심영역별 다중영상 생성방법의 플로우차트,

<도면의 주요부분에 대한 설명>

100 : 다중영상 합성장치 510 : 가중치 생성부

520 : 영상 처리부 530 : 제어부

Claims

높은 동적 대역(HDR) 영상 또는 장노출부터 단노출까지의 범위의 서로 다른 노출에 의한 복수개의 영상을 입력받아 관심영역의 설정 또는 계조(gradient) 대역의 설정을 제어하는 제어부;

상기 설정된 관심영역 또는 계조대역별로 영상합성의 가중치를 생성하는 가중치 생성부; 및

상기 입력된 높은 동적 대역(HDR) 영상 또는 장노출부터 단노출까지의 범위의 서로 다른 노출에 의한 복수개의 영상을, 상기 관심영역별 또는 계조대역별로 조합 합성하여 복수개의 다중노출 영상을 생성하되, 상기 가중치를 적용하여 생성하는 영상 처리부를 포함하는 다중영상 합성장치.
삭제
제1항에 있어서,

서로 다른 노출의 복수개의 영상을 생성하거나, 기 생성된 높은 동적 대역 영상(HDR)을 수신하는 영상 획득부를 더 포함하는 다중영상 합성장치.
제3항에 있어서, 상기 제어부는

영상획득시 자동으로 초점이 맞추어지는 영역을 관심영역으로 설정하는 관심영역 설정부를 더 포함하는 다중영상 합성장치.
제3항에 있어서, 상기 영상 획득부는

서로 다른 노출에 의한 복수개의 영상 획득시, 각각의 노출값에 의해 획득된 영상의 대역이 중첩되도록 노출값을 조정하여 영상을 획득하는 다중영상 합성장치.
제1항에 있어서, 상기 제어부는

에지(edge) 성분 추줄에 의한 정보에 기초하여 관심영역을 설정하거나 사용자의 입력에 따라 관심영역을 설정하는 다중영상 합성장치.
제1항에 있어서, 상기 제어부는

계조 분석을 통해 가장 많은 화소값이 존재하는 영역의 계조를 최적 계조대역으로 설정하는 다중영상 합성장치.
높은 동적 대역(HDR) 영상 또는 장노출부터 단노출까지의 범위의 서로 다른 노출에 의한 복수개의 영상을 입력받는 영상입력단계;

하나 이상의 계조 대역을 설정하는 계조대역 설정단계; 및

상기 설정된 계조대역별로 영상합성의 가중치를 생성하고, 상기 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 상기 생성된 가중치를 적용하여, 상기 계조대역별로 조합 합성하여 다중노출영상을 생성하는 영상처리단계를 포함하는 다중영상 합성방법.
삭제
제8항에 있어서, 상기 영상입력단계는

서로 다른 노출에 의한 복수개의 영상 획득시, 각각의 노출값에 의해 획득된 영상의 대역이 중첩되도록 노출값을 조정하여 영상을 획득하는 입력받는 다중영상 합성방법.
제8항에 있어서, 상기 영상처리단계는

계조 분석을 통해 가장 많은 화소값이 존재하는 영역의 계조를 최적 계조대역으로 설정하는 다중영상 합성방법.
높은 동적 대역(HDR) 영상 또는 장노출부터 단노출까지의 범위의 서로 다른 노출에 의한 복수개의 영상을 입력받는 영상입력단계;

하나 이상의 관심영영을 설정하는 관심영역 설정단계; 및

상기 설정된 관심영역별로 영상합성의 가중치를 생성하고, 상기 입력된 높은 동적 대역(HDR) 영상 또는 복수개의 다중노출 영상을 상기 생성된 가중치를 적용하여, 상기 관심영역별로 조합 합성하여 다중노출영상을 생성하는 다중영상 합성방법.
삭제
제12항에 있어서, 상기 관심영역 설정단계는

영상획득시 자동으로 초점이 맞추어지는 영역을 관심영역으로 설정하는 다중영상 합성방법.
제12항에 있어서, 상기 영상입력단계는

서로 다른 노출에 의한 복수개의 영상 획득시, 각각의 노출값에 의해 획득된 영상의 대역이 중첩되도록 노출값을 조정하여 영상을 획득하는 입력받는 다중영상 합성방법.
제12항에 있어서, 상기 관심영역 설정단계는

에지(edge) 성분 추줄에 의한 정보에 기초하여 관심영역을 설정하거나 사용자의 입력에 따라 관심영역을 설정하는 다중영상 합성방법.