KR20150145921A

KR20150145921A - Ｈｄｒ 동영상 제작 장치 및 방법

Info

Publication number: KR20150145921A
Application number: KR1020140075412A
Authority: KR
Inventors: 김치훈; 윤영범
Original assignee: 경남정보대학교 산학협력단
Priority date: 2014-06-20
Filing date: 2014-06-20
Publication date: 2015-12-31
Also published as: KR101623947B1

Abstract

정지 화면으로 이루어진 HDR 영상을 보다 실감나는 HDR 동영상으로 제작할 수 있는 HDR 동영상 제작 장치 및 방법이 개시된다. 이를 위해, 본 발명은 정지화면의 단일 영상을 롤 변환과 융합을 통해 HDR 영상을 제작하고, 제작된 HDR 영상을 조합과 톤 맵핑을 통해 압축 HDR 동영상을 제작하는 HDR 동영상 제작 장치 및 방법이 제공된다.
이로써, 본 발명은 기존의 여러번 반복하여 동영상 제작하는 것에 비하여 제작 비용과 시간을 크게 단축할 수 있는 효과가 있다. 더욱이, 본 발명은 기존의 정지화면의 HDR 영상에 비하여 HDR 동영상 형태로 제작되므로 흥보 효과를 더욱 높일 수 있는 장점을 제공할 수 있다.

Description

ＨＤＲ 동영상 제작 장치 및 방법{APPARATUS AMD METHOD FOR PRODUCING HDR DYNAMIC IMAGE}

본 발명은 HDR 동영상 제작 장치 및 방법에 관한 것으로서, 더욱 상세하게는 정지 화면으로 이루어진 HDR 영상을 보다 실감나는 HDR 동영상으로 제작할 수 있는 HDR 동영상 제작 장치 및 방법에 관한 것이다.

일반적으로, HDR 영상은 HDR 이미지 센서를 이용한 영상획득방법과 다중노출 영상합성방법을 통행 만들어진다. 이때, 상기 HDR 이미지 센서를 이용한 영상획득방법은 이미지 센서에서 직접 HDR 영상을 얻는 것으로 영상합성이 수행되지 않는다.

반면, 상기 다중노출 영상합성방식은 노출이 상이한 다수 개의 영상을 촬영하여 HDR 데이터를 생성한 후 LDR(Low Dynamic Range)에 맞게 톤 매핑(tone mapping)하여 출력영상을 생성하는 방식으로 글로벌(global)/로컬(local)톤 매핑(tone mapping) 방법이 있다.

상기 글로벌 톤 매핑(Global tone mapping) 방법은 글로벌 콘트라스트(global contrast)가 유지되고, 계산이 간단하나, 로컬 콘트라스트(local contrast)가 저하되고 선명하지 못한 영상을 만든다. 반면, 상기 로컬 톤 매핑(Local tone mapping)은 로컬 콘트라스트(local contrast)를 유지할 수 있으나, 역전 현상, 후광 효과(Halo artifact)가 발생하고 계산량이 증가한다.

그러나, 위와 같이 제작되는 HDR 영상은 복수개로 촬영된 영상 데이터를 이용하여 제작되기 때문에 작업 시간이 길고 제작비용이 증가되었다. 이러한 단점을 극복하고자, 단일 영상을 이용한 HDR 영상 제작 시스템이 개발되었다.

대표적인 예로서, 2014년 06월 16일자로 공개된 한국공개특허 제2014-0072980호에서 단일 영상을 이용한 HDR 영상 생성 장치 및 방법이 개시되었다. 그러나, 상기 HDR 영상 생성 장치에서 생성되는 HDR 영상은 정지화면의 단일 영상으로부터 정지화면의 HDR 영상을 제작할 수 있을뿐, 보다 실감나는 동영상 형태의 HDR 영상으로 제작되지 못한 문제점이 있었다.

1. 한국공개특허 : 제2014-0072980호, 공개일자 : 2014년 06월 16일, 발명의 명칭 : 단일 영상을 이용한 HDR 영상 생성 장치 및 방법. 2. 한국공개특허 : 제2011-0084025호, 공개일자 : 2011년 07월 21일, 발명의 명칭 : 다중노출 영상을 합성하는 영상합성장치 및 방법.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 정지화면의 단일 영상을 가공하여 HDR 동영상 형태로 제작할 수 있는 HDR 동영상 제작 장치 및 방법을 제공하는데 그 목적이 있다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 기능을 수행하기 위한, 본 발명의 특징은 다음과 같다.

본 발명의 일 관점에 따르면, 정지화면의 단일 영상을 입력받아 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 생성하는 노출 영상 생성부; 생성된 상기 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 생성하는 노출 영상 변환부; 생성된 상기 변환 노출 영상을 융합하여 HDR 영상을 생성하고, 상기 HDR 영상을 조합하여 HDR 동영상을 생성하는 HDR 동영상 생성부; 및 생성된 상기 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 생성하는 압축 HDR 동영상 생성부를 포함하는 HDR 동영상 제작 장치가 제공된다.

여기서, 본 발명의 일 관점에 따른 상기 노출 영상 변환부는 상기 복수개의 노출 영상이 각각 12bit 노출 영상인 경우 이를 롤 변환하여 각각 8bit의 상기 변환 노출 영상을 생성할 수 있다.

또한, 본 발명의 일 관점에 따른 상기 HDR 동영상 생성부는 상기 8bit의 변환 노출 영상을 융합할 경우 32bit의 상기 HDR 영상을 생성하고, 상기 압축 HDR 동영상 생성부는 상기 HDR 동영상에 포함된 동적 영역을 톤 맵핑하여 압축 HDR 동영상을 생성할 수 있다.

또한, 본 발명의 일 관점에 따른 상기 압축 HDR 동영상 생성부는 상기 톤 맵핑이 이루어질 경우 8bit의 상기 압축 HDR 동영상을 생성하여 보다 실감나는 영삭 제작이 가능하다.

또한, 본 발명의 다른 일 관점에 따르면, HDR 동영상 제작 장치에서의 HDR 동영상 제작 방법으로서, (a) 정지화면의 단일 영상을 입력받아 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 노출 영상 생성부에서 생성하는 단계; (b) 생성된 상기 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 노출 영상 변환부에서 생성하는 단계; (c) 생성된 상기 변환 노출 영상을 융합하여 HDR 영상을 생성하고, 상기 HDR 영상을 HDR 동영상 생성부에서 조합하여 HDR 동영상을 생성하는 단계; 및 (d) 생성된 상기 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 압축 HDR 동영상 생성부에서 생성하는 단계를 포함하는 HDR 동영상 제작 방법이 제공된다.

여기서, 본 발명의 다른 일 관점에 따른 상기 (b) 단계는 상기 복수개의 노출 영상이 각각 12bit 노출 영상인 경우 이를 롤 변환하여 각각 8bit의 상기 변환 노출 영상을 생성하고, 상기 (c) 단계는 상기 8bit의 변환 노출 영상을 융합할 경우 32bit의 상기 HDR 영상을 생성할 수 있다.

또한, 본 발명의 다른 일 관점에 따른 상기 (d) 단계는 상기 HDR 동영상에 포함된 동적 영역을 톤 맵핑하여 압축 HDR 동영상을 생성할 수 있다. 이럴 경우, 상기 (d) 단계는 상기 톤 맵핑이 이루어질 경우 8bit의 상기 압축 HDR 동영상을 제작할 수 있게 된다.

이상과 같이, 본 발명에 따르면, 정지화면의 단일 영상을 롤 변환과 융합을 통해 HDR 영상을 제작하고, 제작된 HDR 영상을 조합과 톤 맵핑을 통해 압축 HDR 동영상을 제작함으로써, 기존의 여러번 반복하여 동영상 제작하는 것에 비하여 제작 비용과 시간을 크게 단축할 수 있는 효과가 있다.

더욱이, 본 발명은 기존의 정지화면의 HDR 영상에 비하여 HDR 동영상 형태로 제작되므로 흥보 효과를 더욱 높일 수 있는 장점을 제공하게 된다.

또한, 본 발명은 위와 같은 HDR 동영상 제작을 이동 단말기등에서 구현시켜 보다 양질의 HDR 동영상 콘텐츠를 제공할 수 있어 매출 효과를 극대화할 수 있다.

도 1은 본 발명의 제1 실시예에 따른 HDR 동영상 제작 장치(100)를 예시적으로 나타낸 도면이다.
도 2는 본 발명의 제1 및 제2 실시예에 따른 단일 영상으로부터 생성되는 복수개의 노출 영상 형태를 일례로서 나타낸 도면이다.
도 3은 본 발명의 제1 및 제2 실시예에 따른 각 생성된 영상간 비트 변환 형태를 일례로서 나타낸 도면이다.
도 4는 본 발명의 제1 및 제2 실시예에 따른 노출 영상으로부터 생성된 HDR 영상의 일례를 나타낸 도면이다.
도 5는 본 발명의 제2 실시예에 따른 HDR 동영상 제작 방법(S100)을 예시적으로 나타낸 순서도이다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

제1 실시예

도 1은 본 발명의 제1 실시예에 따른 HDR 동영상 제작 장치(100)를 예시적으로 나타낸 도면이고, 도 2는 본 발명의 제1 및 제2 실시예에 따른 단일 영상으로부터 생성되는 복수개의 노출 영상 형태를 일례로서 나타낸 도면이며, 도 3은 본 발명의 제1 및 제2 실시예에 따른 각 생성된 영상간 비트 변환 형태를 일례로서 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 HDR 동영상 제작 장치(100)는 노출 영상 생성부(110), 노출 영상 변환부(120), HDR 동영상 생성부(130), 압축 HDR 동영상 생성부(140), 데이터베이스(150) 및 제어부(160)를 포함하여 구성된다.

먼저, 본 발명에 따른 노출 영상 생성부(110)는 정지화면의 단일 영상을 입력받아 입력된 단일 영상으로부터 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 생성한다.

이때, 생성되는 노출 영상은 2개 이상이어야 한다. 입력된 단일 영상에 n개(여기서, n은 2 이상의 양수) 만큼의 가중치 값(ω)을 적용하여 하긱의 식(1)과 같이 정지화면의 단일 영상으로부터 노출이 서로 다른 복수개의 노출 영상을 생성하게 된다.

..... 식(1)

여기서, I^c는 입력된 단일 영상(

), ω는 가중치 값으로 0보다 큰 양수를 의미하며, 그리고, 상기

는 생성된 노출이 서로 다른 노출 영상(n개만큼 생성)을 의미하며, 여기서의 n은 2이상의 양수을 의미한다. 이와 같이 생성된 복수개의 노출 영상은 도 2에 나타내었다. 도 2에 도시된 노출 영상(101)은 정지화면의 단일 영상으로부터 생성된 노출이 서로 다른 복수개의 영상(예 : 3개의 노출 영상)이 가중치 값((ω)에 따라 n개 생성됨을 알 수 있었다.

이때, 복수개로 생성된 노출 영상(101)은 노출(exposure)된 정도가 각기 다르기 때문에 밝기차가 심한 관계로 부정확한 디테일(detail) 부분이 발생될 수 있다. 따라서 밝기에 의한 영향을 감소시켜 보다 정확한 디테일 부분을 추정하기 위해 하기의 노출 영상 변환부(120)를 수행하게 된다.

즉, 본 발명에 따른 노출 영상 변환부(120)는 앞서 설명한 노출 영상 생성부(110)에 의해 생성된 복수개의 노출 영상(101)을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 생성하게 된다.

예를 들면, 도 3에 도시된 바와 같이 복수개의 노출 영상(101)이 각각 12bit 노출 영상인 경우 이를 롤 변환(raw conversion)함으로써, 각각 8bit를 갖는 복수개의 변환 노출 영상(102)을 생성할 수 있게 된다. 이와 같이 변환 노출 영상(102)이 생성되면, 디테일한 부분을 명확하게 보정할 수 있게 된다.

다음으로, 본 발명에 따른 HDR 동영상 생성부(130)는 앞서 설명한 노출 영상 변환부(120)에 의해 생성된 변환 노출 영상을 융합하여 HDR 영상을 생성하게 된다. 이와 같이 생성된 HDR 영상은 도 3 및 도 4에 도시되었다.

즉, 도 3에 도시된 바와 같이 8bit의 변환 노출 영상(102)을 융합할 경우 32bit를 갖는 하나의 HDR 영상(103)을 만들 수 있게 된다. 반면, 도 4에 도시된 HDR 영상은 도 2의 노출 영상(101)에 대한 최종 결과를 보여준다.

여기서, 위와 같은 구성들에 의하여, 하나의 HDR 영상을 만드는 것으로 설명하였지만, 위와 같은 과정을 통해 복수개의 단일 영상으로부터 복수개의 HDR 영상을 만들 수 있게 된다. 따라서, 본 발명에 따른 HDR 동영상 생성부(130)는 위와 같이 생성된 복수개의 HDR 영상들을 조합하여 도 3에 도시된 바와 같이 하나의 HDR 동영상(104)을 생성할 수 있게 된다.

다음으로, 본 발명에 따른 압축 HDR 동영상 생성부(140)는 앞서 설명한 HDR 동영상 생성부(130)에 의해 생성된 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 생성하게 된다.

이때, 생성되는 압축 HDR 동영상은 도 3에 도시된 바와같이 HDR 동영상(104)에 포함된 동적 영역을 톤 맵핑(tone mapping)한 결과일 수 있는데, 즉 톤 맵핑 결과, 하나의 32bit HDR 동영상(104)에 포함된 동적 영역을 톤 맵핑하여 8bit의 압축 HDR 동영상(105)을 만들 수 있게 된다.

이와 같이 HDR 동영상(104)을 압축시켜 압축된 HDR 동영상(105)을 만들게 되면, 기존의 동영상이나 정지화면의 HDR 영상에 비하여 보다 선명한 화질을 제공할 수 있을 것이다.

다음으로, 본 발명에 따른 데이터베이스(150)는 노출 영상 생성부(110), 노출 영상 변환부(120), HDR 동영상 생성부(130) 및 압축 HDR 동영상 생성부(140)에서 생성된 데이터들을 취합하여 저장하되, 연동 관계를 만들어 저장하게 된다.

이러한 데이터베이스(150)는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스에 포함될 수 있다.

마지막으로, 본 발명에 따른 제어부(160)는 앞서 설명한 노출 영상 생성부(110), 노출 영상 변환부(120), HDR 동영상 생성부(130), 압축 HDR 동영상 생성부(140) 및 데이터베이스(150)간의 데이터 흐름을 제어하게 된다. 따라서, 각 구성마다 해당하는 각 고유의 기능을 수행하게 되는 것이다.

제2 실시예

도 5는 본 발명의 제2 실시예에 따른 HDR 동영상 제작 방법(S100)을 예시적으로 나타낸 순서도이다.

도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 HDR 동영상 제작 방법(S100)은 복수개의 정지화면의 단일 영상을 이용하여 HDR 동영상을 제작하기 위하여 S110 단계 내지 S140 단계를 포함하여 이루어진다.

먼저, 본 발명에 따른 S110 단계에서는 정지화면의 단일 영상을 노출 영상 생성부(110)에서 입력받아 입력된 단일 영상으로부터 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 노출 영상 생성부(110)에서 생성하게 된다.

이때, 생성되는 노출 영상은 2개 이상이어야 한다. 입력된 단일 영상에 n개(여기서, n은 2 이상의 양수) 만큼의 가중치 값(ω)을 적용하여 하긱의 식(2)과 같이 정지화면의 단일 영상으로부터 노출이 서로 다른 복수개의 노출 영상을 생성하게 된다.

..... 식(2)

여기서, I^c는 입력된 단일 영상(

는 생성된 노출이 서로 다른 노출 영상(n개만큼 생성)을 의미하며, 여기서의 n은 2이상의 양수을 의미한다.

이와 같이 생성된 복수개의 노출 영상은 도 2에 나타내었다. 도 2에 도시된 노출 영상(101)은 정지화면의 단일 영상으로부터 생성된 노출이 서로 다른 복수개의 영상(예 : 3개의 노출 영상)이 가중치 값((ω)에 따라 n개 생성됨을 알 수 있었다.

이때, 복수개로 생성된 노출 영상은 노출(exposure)된 정도가 각기 다르기 때문에 밝기차가 심한 관계로 부정확한 디테일(detail) 부분이 발생될 수 있다. 따라서 밝기에 의한 영향을 감소시켜 보다 정확한 디테일 부분을 추정하기 위해 하기의 S120 단계를 수행하게 된다.

이후, 본 발명에 따른 S120 단계에서는 앞서 설명한 S110 단계에 의해 생성된 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 노출 영상 변환부(120)에서 생성하게 된다.

이후, 본 발명에 따른 S130 단계에서는 앞서 설명한 S120 단계에 의해 생성된 변환 노출 영상을 융합하여 HDR 영상을 HDR 동영상 생성부(130)에서 생성하게 된다. 이와 같이 생성된 HDR 영상은 도 3 및 도 4에 도시되었다.

여기서, 위와 같은 단계들에 의하여, 하나의 HDR 영상을 만드는 것으로 설명하였지만, 위와 같은 과정을 통해 복수개의 단일 영상으로부터 복수개의 HDR 영상을 만들 수 있게 된다. 따라서, 본 발명에 따른 S130 단계에서는 위와같이 생성된 복수개의 HDR 영상들을 조합하여 도 3에 도시된 바와 같이 하나의 HDR 동영상(104)을 생성하게 된다.

마직막으로, 본 발명에 따른 S140 단계에서는 S130 단계에 의해 생성된 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 생성하게 된다. 이때, 생성되는 압축 HDR 동영상은 도 3에 도시된 바와같이 HDR 동영상(104)에 포함된 동적 영역을 톤 맵핑(tone mapping)한 결과일 수 있는데, 즉 톤 맵핑 결과, 하나의 32bit HDR 동영상(104)에 포함된 동적 영역을 톤 맵핑하여 8bit의 압축 HDR 동영상(105)을 만들 수 있게 된다.

이상에서와 같이, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.

100 : HDR 동영상 제작 장치 101 : 노출 영상
102 : 변환 노출 영상 103 : HDR 영상
104 : HDR 동영상 105 : 압축 HDR 동영상
110 : 노출 영상 생성부 120 : 노출 영상 변환부
130 ; HDR 동영상 생성부 140 ; 압축 HDR 동영상 생성부
150 : 데이터베이스 160 ; 제어부

Claims

정지화면의 단일 영상을 입력받아 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 생성하는 노출 영상 생성부;
생성된 상기 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 생성하는 노출 영상 변환부;
생성된 상기 변환 노출 영상을 융합하여 HDR 영상을 생성하고, 상기 HDR 영상을 조합하여 HDR 동영상을 생성하는 HDR 동영상 생성부; 및
생성된 상기 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 생성하는 압축 HDR 동영상 생성부;
를 포함하는 HDR 동영상 제작 장치.
제1항에 있어서,
상기 노출 영상 변환부는,
상기 복수개의 노출 영상이 각각 12bit 노출 영상인 경우 이를 롤 변환하여 각각 8bit의 상기 변환 노출 영상을 생성하는 것을 특징으로 하는 HDR 동영상 제작 장치.
HDR 동영상 제작 장치에서의 HDR 동영상 제작 방법으로서,
(a) 정지화면의 단일 영상을 입력받아 서로 다른 밝기값을 가지는 복수개의 노출(exposure) 영상을 노출 영상 생성부에서 생성하는 단계;
(b) 생성된 상기 복수개의 노출 영상을 각각 롤 변환(raw conversion)하여 변환 노출 영상을 노출 영상 변환부에서 생성하는 단계;
(c) 생성된 상기 변환 노출 영상을 융합하여 HDR 영상을 생성하고, 상기 HDR 영상을 HDR 동영상 생성부에서 조합하여 HDR 동영상을 생성하는 단계; 및
(d) 생성된 상기 HDR 동영상을 톤 맵핑(tone mapping)하여 압축 HDR 동영상을 압축 HDR 동영상 생성부에서 생성하는 단계;
를 포함하는 HDR 동영상 제작 방법.
제3항에 있어서,
상기 (b) 단계는,
상기 복수개의 노출 영상이 각각 12bit 노출 영상인 경우 이를 롤 변환하여 각각 8bit의 상기 변환 노출 영상을 생성하는 것을 특징으로 하는 HDR 동영상 제작 방법.