KR101804844B1 - 시네마그래프 생성 장치 및 그 방법 - Google Patents

Abstract

본 발명은 시네마그래프 생성 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 깊이 영상을 촬영하는 카메라로부터 획득한 전방의 이미지 내에서 깊이 정보에 따라 분류되는 복수의 블롭(blob)을 검출하는 단계와, 상기 복수의 블롭 중 시네마그래프 상에서 움직임 대상이 되는 적어도 하나의 관심 블롭을 사용자로부터 설정받는 단계와, 상기 카메라의 촬영에 따라 입력되는 N개의 프레임 각각을 대상으로, 상기 프레임에서 상기 관심 블롭에 대응하는 영역만을 커팅한 N개의 전경 이미지와, 상기 전경 이미지를 커팅 후 남은 영역인 N개의 배경 이미지를 획득하는 단계와, 상기 N개의 배경 이미지를 결합하여 단일의 배경 이미지를 생성하는 단계, 및 상기 단일의 배경 이미지 위에 상기 N개의 전경 이미지를 개별적으로 겹쳐 합성한 N개의 합성 이미지를 시간 순으로 배열하여 상기 시네마그래프를 생성하는 단계를 포함하는 시네마그래프 생성 방법을 제공한다.
본 발명에 의하면, 카메라로부터 입력된 이미지 내에서 관심 블롭(blob)을 선택받는 것만으로 원하는 시네마그래프 이미지를 빠르고 용이하게 생성할 수 있음은 물론, 복잡한 동영상 편집 과정을 요구하지 않아 사용자의 편집과 조작 과정을 최소화할 수 있으며 시네마그래프 생성 과정을 간소화할 수 있는 이점이 있다.

Description

시네마그래프 생성 장치 및 그 방법{Apparatus for generating cinemagraph and method thereof}

본 발명은 시네마그래프 생성 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 영상의 특정 부분만을 움직이는 형태로 구현할 수 있는 시네마그래프 생성 장치 및 그 방법에 관한 것이다.

시네마그래프는 시네마(cinema)와 포토그래프(photograph)의 합성어로, 영상에서 움직이는 영역을 지정하여 강조하고자 하는 부분만 움직이고 나머지는 정지한 상태로 만드는 것을 기본 원리로 한다.

따라서 시네마그래프는 사진의 정적 느낌과 동영상의 활력이 공존하며, 사진과 동영상을 절묘하게 섞은 듯한 느낌을 준다. 시네마그래프는 움직이는 GIF 파일로 저장이 되며 정지된 이미지의 일부에 움직임 효과를 넣을 수 있어 더욱 진보한 GIF 애니메이션을 제공할 수 있다.

기존에는 동영상을 촬영한 이후 사용자가 직접 동영상을 편집하여 시네마그래프를 생성한다. 예를 들어 PC 또는 스마트 단말 등에서 동영상 편집기를 실행시켜 원하는 동영상을 불러들인 다음 사용자 조작을 통해 복잡한 편집 과정을 거쳐 하나의 시네마그래프 이미지를 얻는다. 하지만 이러한 기존의 방법은 복잡한 편집 과정을 필요로 하므로 편집의 숙련도가 요구되고 시네마그래프를 편리하고 쉽게 생성하기 어려운 문제점이 있다.

본 발명의 배경이 되는 기술은 한국공개특허 제2015-0059902호(2015.06.03 공개)에 개시되어 있다.

본 발명은, 시네마그래프를 빠르고 편리하게 생성할 수 있는 시네마그래프 생성 장치 및 그 방법에 관한 것이다.

본 발명은, 깊이 영상을 촬영하는 카메라로부터 획득한 전방의 이미지 내에서 깊이 정보에 따라 분류되는 복수의 블롭(blob)을 검출하는 단계와, 상기 복수의 블롭 중 시네마그래프 상에서 움직임 대상이 되는 적어도 하나의 관심 블롭을 사용자로부터 설정받는 단계와, 상기 카메라의 촬영에 따라 입력되는 N개의 프레임 각각을 대상으로, 상기 프레임에서 상기 관심 블롭에 대응하는 영역만을 추출한 N개의 전경 이미지와, 상기 전경 이미지를 추출한 후 잔여 영역인 N개의 배경 이미지를 획득하는 단계와, 상기 N개의 배경 이미지를 결합하여 단일의 배경 이미지를 생성하는 단계, 및 상기 단일의 배경 이미지 위에 상기 N개의 전경 이미지를 개별적으로 겹쳐 합성한 N개의 합성 이미지를 시간 순으로 배열하여 상기 시네마그래프를 생성하는 단계를 포함하는 시네마그래프 생성 방법을 제공한다.

여기서, 상기 복수의 블롭을 검출하는 단계는, 상기 이미지에 포함된 각 화소의 깊이 정보에 대하여, 각 화소의 색상 정보 또는 움직임 정보와 조합하여 상기 복수의 블롭을 검출하되, 상기 깊이 정보 및 상기 색상 정보를 이용하거나, 상기 깊이 정보 및 상기 움직임 정보를 이용하거나, 또는 상기 깊이 정보, 상기 색상 정보 및 상기 움직임 정보를 이용하여 상기 복수의 블롭을 더욱 세분화하여 분류할 수 있다.

또한, 상기 시네마그래프 생성 방법은, 상기 검출된 복수의 블롭 중에서 기 설정된 깊이 값, 색상 값, 움직임 값 중 적어도 하나의 정보를 기초로 적어도 하나의 블롭 후보군을 추출하여 상기 사용자에게 상기 블롭 후보군을 제시하는 단계를 더 포함할 수 있다.

또한, 상기 단일의 배경 이미지를 생성하는 단계는, 상기 N개의 배경 이미지 중 선택된 기준 배경 이미지에 나머지 N-1개의 배경 이미지를 겹쳤을 때 노출되는 부위를 상기 기준 배경 이미지에 합치는 방식으로 상기 기준 배경 이미지를 확장시켜 생성할 수 있다.

또한, 상기 카메라는, 스테레오 카메라 또는 깊이 카메라일 수 있다.

그리고, 본 발명은, 깊이 영상을 촬영하는 카메라로부터 획득한 전방의 이미지 내에서 깊이 정보에 따라 분류되는 복수의 블롭(blob)을 검출하는 검출부와, 상기 복수의 블롭 중 시네마그래프 상에서 움직임 대상이 되는 적어도 하나의 관심 블롭을 사용자로부터 설정받는 설정부와, 상기 카메라의 촬영에 따라 입력되는 N개의 프레임 각각을 대상으로, 상기 프레임에서 상기 관심 블롭에 대응하는 영역만을 추출한 N개의 전경 이미지와, 상기 전경 이미지를 추출한 후 잔여 영역인 N개의 배경 이미지를 획득하는 이미지 분리부, 및 상기 N개의 배경 이미지를 결합하여 단일의 배경 이미지를 생성한 다음, 상기 단일의 배경 이미지 위에 상기 N개의 전경 이미지를 개별적으로 겹쳐 합성한 N개의 합성 이미지를 시간 순으로 배열하여 상기 시네마그래프를 생성하는 이미지 합성부를 포함하는 시네마그래프 생성 장치를 제공한다.

본 발명에 따른 시네마그래프 생성 장치 및 그 방법에 따르면, 카메라로부터 입력된 이미지 내에서 관심 블롭(blob)을 선택받는 것만으로 원하는 시네마그래프 이미지를 빠르고 용이하게 생성할 수 있음은 물론, 복잡한 동영상 편집 과정을 요구하지 않아 사용자의 편집과 조작 과정을 최소화할 수 있으며 시네마그래프 생성 과정을 간소화할 수 있는 이점이 있다.

도 1는 시네마그래프의 예제 이미지를 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 시네마그래프 생성 장치의 구성을 나타낸 도면이다.
도 3은 도 2의 장치를 이용한 시네마그래프 생성 방법을 설명하는 도면이다.
도 4는 도 3의 S360 단계 내지 S365 단계를 설명하는 도면이다.
도 5는 도 3의 S370 단계를 설명하는 도면이다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

본 발명은 시네마그래프 생성 장치 및 그 방법에 관한 것으로, 사용자에 의한 영상의 편집 과정을 최소화하여 시네마그래프를 빠르고 용이하게 생성할 수 있는 기법을 제시한다. 시네마그래프는 영상 내에서 강조하고자 하는 부분만 움직이고 나머지는 정지한 상태로 만드는 기법으로서 파일 형식은 GIF 이미지 파일 포맷을 가진다.

도 1는 시네마그래프의 예제 이미지를 나타낸 도면이다. 시네마그래프 기법을 이용하면 도 1의 (a)의 경우 사람이 손에 쥔 칵테일 잔 내부의 물만 출렁이고 나머지는 정지한 상태의 이미지로 구현할 수 있고, (b)의 경우 바람에 흔들리는 치마 부분만 움직이고 나머지는 정지한 상태로 구현할 수 있다.

도 2는 본 발명의 실시예에 따른 시네마그래프 생성 장치의 구성을 나타낸 도면이다. 도 2에 도시된 것과 같이, 본 발명의 실시예에 따른 시네마그래프 생성 장치(100)는 검출부(110), 설정부(120), 이미지 분리부(130), 이미지 합성부(140)를 포함한다.

검출부(110)는 깊이 영상을 촬영하는 카메라로부터 획득한 전방의 이미지 내에서 깊이 정보에 따라 분류되는 복수의 블롭(blob)을 검출한다.

카메라는 깊이(Depth) 정보와 색상(RGB) 정보를 제공하는 RGBD(RGB+Depth) 카메라를 사용할 수 있다. 예를 들어, 영상에서 깊이 정보의 획득까지 가능한 스테레오 카메라 또는 깊이 카메라를 사용할 수 있다. 깊이 카메라는 IR 센서를 이용하여 깊이를 획득할 수 있으며 RGB 센서를 함께 사용할 수 있다.

이미지 내 각 화소의 깊이 값을 이용하면 비슷한 깊이 값을 가진 영역들을 구분하여 블롭을 검출할 수 있으며, 깊이 값을 사용하지 않는 경우보다 사용자에게 더욱 정확한 전경 후보들을 제공할 수 있다.

물론, 검출부(110)는 깊이 정보 이외에도 색상이나 움직임 정보를 추가적으로 고려하여 블롭들을 더욱 세부적으로 검출할 수 있다. 즉, 검출부(110)는 각 화소의 깊이 정보를, 각 화소의 색상 정보 또는 움직임 정보와 조합하는 것을 통하여 복수의 블롭을 검출할 수 있다. 예를 들어, 깊이와 색상 정보를 이용하거나, 깊이와 움직임 정보를 이용하거나, 깊이와 색상 및 움직임 정보를 모두 이용하여, 블롭을 더욱 세분화하여 분류할 수 있다.

도 1의 (a)를 예시하면, 검출부(110)는 영상으로부터 색상 정보를 기초로 구분한 복수의 RGB 블롭, 깊이 정보를 기초로 구분한 복수의 깊이 블롭, 그리고 움직임 정보를 기초로 구분한 움직임 블롭을 각각 검출한다.

깊이 블롭의 경우 카메라로부터 깊이 값에 따라 사람, 사람 뒤의 난간, 난간 뒤의 석상 화분, 나무 등을 검출할 수 있다. 색상 블롭의 경우 각 화소의 RGB 값을 기초로 유사 색깔의 영역을 구분하여 검출할 수 있는데, 사람의 피부, 분홍 원피스, 머리카락, 조각상, 화분 위 흰꽃, 녹색의 숲 등의 영역을 색상 블롭으로 검출할 수 있다.

움직임 블롭의 경우 이전 프레임과 현재 프레임 간의 화소 이동 값 등을 고려하여 움직임 값을 확인하고 설정 움직임 값 이상을 가지는 영역들을 검출할 수 있다. 예를 들어, 바람에 흔들리는 머리카락, 칵테일 잔 등의 영역을 움직임 블롭으로 검출할 수 있다. 만일, 입술 부분이 약간 움직였다면 입술도 움직임 블롭으로 검출될 수 있다.

상술한 세 가지 요소(깊이, 색상, 움직임)를 상호 참조하면 블롭 검출에 도움을 줄 수 있다. 예를 들면, 사용자의 머리카락은 뒤쪽 배경의 숲의 색상과 비슷하게 보일 수 있는데, 색상 요소만 이용할 경우 머리카락 부분과 숲의 일부 부분이 하나의 연결된 블롭으로 검출될 수 있지만, 깊이 정보를 추가로 활용할 경우, 머리카락과 숲 부분이 서로 다른 블롭으로 구분될 수 있다.

이러한 원리는 움직임 요소에도 마찬가지로 적용된다. 예를 들어, 바람에 의해 머리카락이 흩날리고 숲의 영역도 바람에 의해 움직이는데, 움직임 요소만 이용할 경우 머리카락과 숲이 하나의 블롭으로 검출될 수 있지만, 깊이 정보를 추가로 활용하면 두 영역이 분리될 수 있다.

물론 도 1의 (b)의 경우에서도, 깊이 정보만 이용할 경우 치마와 사람 다리 부분이 비슷한 깊이를 가지므로 하나의 블롭으로 검출될 수도 있으나, 색상 정보를 추가로 고려할 경우 치마 부분과 다리 부분이 서로 별개의 블롭으로 구분될 수 있게 된다. 그 밖에도 상술한 요소들의 조합을 통해 사용자의 손 부분과 칵테일 잔 부분을 별개의 블롭으로 구분할 수 있다.

이상의 방법으로 검출된 블롭의 개수는 상당히 많을 수 있는데, 본 발명의 실시예는 미리 설정된 값들을 이용하여 이 중에서 중요한 몇 가지 후보군을 제시해 줄 수 있다.

즉, 검출부(110)는 앞서 검출된 복수의 블롭 중에서, 사용자에 의해 기 설정된 깊이 값, 색상 값, 움직임 값 중 적어도 하나의 정보를 기초로 적어도 하나의 블롭 후보군을 추출하며, 추출한 블롭 후보군을 사용자에게 제시(출력)할 수 있다.

예를 들어, 검출부(110)는 초기 추출된 복수의 블롭 중에서도 카메라로부터 설정 거리 이내, 설정 색상이나 톤, 설정 움직임 크기 이상의 조건 중 적어도 하나의 조건을 만족하는 블롭을 탐색하여 블롭 후보군으로 제시할 수 있다. 이에 따라, 사용자는 블롭 후보군 중에 원하는 블롭(관심 블롭)을 설정(선택)하기만 하면 된다. 물론 여기서, 관심 블롭(ex, 칵테일 잔)은 시네마그래프 상에서 움직임 대상으로 구현할 부분을 의미한다.

본 발명의 실시예에서 블롭 후보군 추출에 사용되는 설정 값은 촬영 전에 설정부(120)를 통해 미리 설정될 수 있고 사용 중에 설정부(120)를 통해 변경할 수도 있다. 그 밖에도 설정 값은 검출부(110)에서 랜덤하게 지정할 수도 있다.

설정부(120)는 복수의 블롭 중 시네마그래프 상에서 움직임 대상이 되는 적어도 하나의 관심 블롭을 사용자로부터 설정받는다. 관심 블록의 설정 시에는 마우스, 키보드, 화면 터치, 터치 도구 등의 입력수단을 이용할 수 있다. 관심 블롭이 설정된 이후부터는 카메라에서 촬영된 영상 프레임들을 가공함으로써 관심 블롭만 움직이고 나머지는 정지한 상태의 시네마그래프를 만드는 과정을 수행해야 한다.

이미지 분리부(130)는 사용자에 의해 관심 블롭이 선택되면, 카메라의 촬영에 따라 입력되는 N개의 프레임 각각을 대상으로, 프레임에서 관심 블롭에 대응하는 영역만을 추출(커팅)한 N개의 전경 이미지와, 전경 이미지를 추출한 후 잔여 영역인 N개의 배경 이미지를 획득한다.

그리고 이미지 합성부(140)는 N개의 배경 이미지를 결합하여 단일의 배경 이미지를 생성한 다음, 생성한 단일 배경 이미지 위에 N개의 전경 이미지를 개별적으로 겹쳐 합성한 N개의 합성 이미지를 얻은 후, 다시 N개의 합성 이미지를 시간 순(프레임 순)으로 연결함으로써 시네마그래프를 최종 생성한다.

상술한 바와 같이, 각 프레임을 대상으로 전경과 배경 이미지 분리하고, 다시 합성하여 연결하게 되면, 하나의 시네마그래프 이미지를 완성할 수 있다.

이하에서는 본 발명의 실시예에 따른 시네마그래프 생성 방법을 더욱 상세히 설명한다. 또한 도 1의 (b)의 이미지를 대표 예시로 하며, 치마 부분만 바람에 의해 움직이고 나머지는 정지한 상태를 가지는 시네마그래프를 구현하는 방법을 상세히 설명한다.

도 3은 도 2의 장치를 이용한 시네마그래프 생성 방법을 설명하는 도면이다. 도 3에서 S310 내지 S340 단계는 촬영 이미지 내에서 움직임 대상(관심 블록) 영역을 지정하기 위한 사전 준비 과정으로 볼 수 있다. 또한, 관심 블롭을 지정하는 S340 단계 이후부터는 시네마그래프 생성에 필요한 실질적인 영상 편집 및 합성 과정에 해당한다.

먼저, 영상 입력부(미도시)는 깊이 정보의 획득이 가능한 카메라(스테레오 카메라, 깊이 카메라 등)로부터 전방의 이미지를 입력받는다(S310). 이때, 입력된 이미지는 도 1의 (b)의 이미지인 것으로 가정한다.

다음, 검출부(110)는 카메라로부터 입력된 이미지 내에서, 이미지를 구성하는 각 화소의 깊이 값을 이용하여 깊이 정보에 따라 분류되는 복수의 블롭(blob)을 검출한다(S320).

이때, 이미지 내에서 블롭의 검출 효율을 높이는 동시에 블롭의 세분화를 위하여, 깊이 정보 이외에 색상 정보 또는 움직임 정보를 추가로 고려할 수 있다. 이러한 S320 단계에 따르면, 도 1의 (b)에서, 치마 부분, 다리 부분, 구두 부분, 출입문, 벽 등이 개별 블롭으로 검출될 수 있다.

이후, 검출부(110)는 검출한 복수의 블롭을 화면을 통해 제시한 다음, 사용자로부터 관심 블롭을 선택받는다(S330,S340). 관심 블롭을 제시할 때는 해당 블롭을 나타내는 경계 선, 블롭 넘버 등을 함께 제공할 수 있고 블롭의 목록을 테이블로 제시하여 추후 관심 블록을 테이블 목록에서 선택 가능하게 할 수도 있다.

여기서, 검출부(110)는 블롭의 검출 개수가 매우 많을 경우에 대비하여, 미리 설정된 기준 값(기준 깊이, 색상, 움직임 크기)를 이용하여 복수의 블롭 중에서 일부 블롭을 추출하여 블롭 후보군을 제시할 수 있다(S330).

예를 들어, 거리에 대한 기준 값(ex, 2m)이 설정된 경우, 검출부(110)는 이미지 내에서 기준 거리보다 후방에 위치한 벽, 출입문 등을 제외하고 그보다 전방에 위치한 치마, 다리, 구두 부분만을 블롭 후보군으로 제시할 수 있다. 여기서 물론, 색상에 대한 기준 값(ex, 치마와 동일 색상)이 추가로 설정된 경우에는 전방에 위치한 블롭들 중에서도 치마 부분만을 블롭 후보로 제공할 수 있다.

이후, 설정부(120)는 제시된 블롭 후보군 중에서도 사용자로부터 관심 블롭(ex, 치마)을 설정받는다(S340). 물론 앞서 S330 단계는 생략될 수도 있으므로, S320 단계 이후에 바로 S340 단계를 수행하는 것도 가능하다.

이와 같이 관심 블롭이 설정된 이후부터는 동영상을 프레임 단위로 분리하여 영상을 편집 및 합성하는 과정을 통하여 시네마그래프를 생성한다.

우선, 영상 입력부(미도시)는 카메라의 촬영을 통하여 시간에 따라 획득되는 N개의 프레임(프레임 #1~#N)을 입력받는다(S350). 여기서 촬영 중에는 바람에 의해 치마 부분이 흔들리고 있으며 포즈를 취하는 중에 인체 중심이 약간 흔들릴 수 있어 다리 부분에 약간의 움직임이 있는 상황을 가정하여 설명한다.

이후, 이미지 분리부(130)는 N개의 프레임 각각을 대상으로, 프레임에서 관심 블롭에 대응하는 영역만을 추출한 N개의 전경 이미지를 획득하고(S360), 전경 이미지를 추출한 후 남은 영역인 N개의 배경 이미지를 획득한다(S365).

앞서와 같이 관심 블록을 지정한 이후부터는 각 프레임에서 동일 조건을 가진 치마 부분의 블롭을 자동으로 감지하여 추출할 수 있으며 이를 이용하여 각 프레임 별로 전경 이미지와 배경 이미지를 생성할 수 있다.

도 4는 도 3의 S360 단계 내지 S365 단계를 설명하는 도면이다. 이하의 도 4는 설명의 편의를 위해 이미지를 간략히 도시한 것이며 프레임 #1 이후에 촬영된 프레임 #2에서 치마의 흔들림이 포착된 것을 알 수 있다.

도 4의 (a)와 (b)는 프레임 #1과 #2 각각에 대해, 관심 블롭만 도려낸 전경 이미지와, 관심 블롭을 도려내고 남은 배경 이미지를 각각 도시한 것이다. 배경 이미지 상에서 도려낸 부위는 하얗게 빈 공간으로 표현되어 있다. 물론, 이와 같은 방법으로 나머지 프레임들에 대해서도 전경 이미지와 배경 이미지를 분리하여 준비해 둔다.

다음, 이미지 합성부(140)는 N개의 배경 이미지를 결합하여 단일의 배경 이미지를 생성한다(S370). 이때 단일의 배경 이미지란 움직임이 없는 하나의 정지된 배경 이미지를 의미한다. 단일의 배경 이미지를 생성하는 방법을 구체적으로 설명하면 다음과 같다.

이미지 합성부(140)는 N개의 배경 이미지 중 선택된 기준 배경 이미지에 나머지 N-1개의 배경 이미지를 겹쳤을 때 노출되는 부위를 기준 배경 이미지에 합치는 방식을 통해 기준 배경 이미지를 점차로 확장시켜서 단일의 배경 이미지를 생성할 수 있다.

예를 들어, 기준 배경 이미지(프레임 #1)의 하부에 나머지 N-1개의 배경 이미지(프레임 #2~#N)를 겹쳤을 때 상부로 노출되는 부위가 기준 배경 이미지(프레임 #1)의 비어 있는 흰 공간의 일부(주로 가장자리 부위)를 채우게 된다. 다시 말해, 프레임 #2~#N에서 치마의 움직임 시에 살짝 씩 노출되는 일부 배경 부분이 프레임 #1의 배경 이미지의 흰 영역 내부에 일부 귀속되면서 흰 영역은 좁아지게 되고 기준 배경 이미지의 영역은 확장되게 된다.

도 5는 도 3의 S370 단계를 설명하는 도면이다. 프레임 #1을 기준으로 프레임 #2를 하부에 결합하였을 때 노출되는 프레임 #2의 일부분(점선 표시)이 프레임 #1의 기존 배경 이미지와 합쳐지면서 배경이 확장된 것을 알 수 있다. 이러한 과정을 나머지 프레임들에 대하여 수행하면 치마의 흔들림(움직임)에도 뒷 배경 부분이 빈틈없이 자연스럽게 노출될 수 있게 된다.

또한, 상술한 방법을 이용하면 프레임 #2 등에서 다리 부분이 미세하게 움직였더라도, 프레임 #1에 포함된 다리 이미지 부분이 단일 배경 이미지에 대표로 반영이 되어 있고 나머지 프레임의 다리 부분은 거의 반영되지 않으므로, 추후 시네마그래프 완성 시에 최종적으로 치마 부문에서만 애니메이션 효과가 나타날 수 있게 된다.

이후, 이미지 합성부(140)는 단일의 배경 이미지 위에 N개의 전경 이미지를 개별적으로 겹쳐서 만든 N개의 합성 이미지를 생성하고, N개의 합성 이미지를 시간 순(프레임 넘버 순)으로 배열하고 연결함으로써(S380), 시네마그래프를 최종적으로 완성한다(S390).

즉, 단일의 배경 이미지 위에 전경 이미지 #1을 결합하여 만든 합성 이미지 #1, 단일의 배경 이미지 위에 전경 이미지 #2를 결합하여 만든 합성 이미지 #2, …, 단일의 배경 이미지 위에 전경 이미지 #N를 결합하여 만든 합성 이미지 #N를 시간 순으로 배열하면, 치마만 움직이고 나머지는 정지된 상태로 플레이 되는 시네마그래프 파일을 생성할 수 있다.

이상과 같은 본 발명에 따른 시네마그래프 생성 장치 및 그 방법에 따르면, 카메라로부터 입력된 이미지 내에서 관심 블롭을 선택받는 것만으로 원하는 시네마그래프 이미지를 빠르고 용이하게 생성할 수 있음은 물론, 복잡한 동영상 편집 과정을 요구하지 않아 사용자의 편집과 조작 과정을 최소화할 수 있으며 시네마그래프 생성 과정을 간소화할 수 있는 이점이 있다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100: 시네마그래프 생성 장치 110: 검출부
120: 설정부 130: 이미지 분리부
140: 이미지 합성부

Claims (10)

1. 깊이 영상을 촬영하는 카메라로부터 획득한 전방의 이미지 내에서 깊이 정보에 따라 분류되는 복수의 블롭(blob)을 검출하는 단계;
   상기 복수의 블롭 중 시네마그래프 상에서 움직임 대상이 되는 적어도 하나의 관심 블롭을 사용자로부터 설정받는 단계;
   상기 카메라의 촬영에 따라 입력되는 N개의 프레임 각각을 대상으로, 상기 프레임으로부터 상기 관심 블롭에 대응하는 영역만을 도려낸 N개의 전경 이미지와, 상기 전경 이미지를 도려낸 후 잔여한 영역인 N개의 배경 이미지를 획득하는 단계;
   상기 N개의 배경 이미지를 결합하여 단일의 배경 이미지를 생성하는 단계; 및
   상기 단일의 배경 이미지 위에 상기 N개의 전경 이미지를 개별적으로 겹쳐 합성한 N개의 합성 이미지를 시간 순으로 배열하여 상기 관심 블롭만 움직이는 형태의 시네마그래프를 생성하는 단계를 포함하며,
   상기 단일의 배경 이미지를 생성하는 단계는,
   상기 N개의 배경 이미지 중 선택된 기준 배경 이미지의 하부에 나머지 N-1개의 배경 이미지를 겹쳤을 때 상기 기준 배경 이미지의 상부로 노출되는 부위를 상기 기준 배경 이미지에 합치는 방식으로 상기 기준 배경 이미지를 확장시켜 상기 단일의 배경 이미지를 생성하는 시네마그래프 생성 방법.
2. 청구항 1에 있어서,
   상기 복수의 블롭을 검출하는 단계는,
   상기 이미지에 포함된 각 화소의 깊이 정보에 대하여, 각 화소의 색상 정보 또는 움직임 정보와 조합하여 상기 복수의 블롭을 검출하되,
   상기 깊이 정보 및 상기 색상 정보를 이용하거나, 상기 깊이 정보 및 상기 움직임 정보를 이용하거나, 또는 상기 깊이 정보, 상기 색상 정보 및 상기 움직임 정보를 이용하여 상기 복수의 블롭을 더욱 세분화하여 분류하는 시네마그래프 생성 방법.
3. 청구항 2에 있어서,
   상기 검출된 복수의 블롭 중에서 기 설정된 깊이 값, 색상 값, 움직임 값 중 적어도 하나의 정보를 기초로 복수의 블롭 후보군을 추출하여 상기 사용자에게 상기 블롭 후보군을 제시하는 단계를 더 포함하는 시네마그래프 생성 방법.
4. 삭제
5. 청구항 1에 있어서,
   상기 카메라는,
   스테레오 카메라 또는 깊이 카메라인 시네마그래프 생성 방법.
6. 깊이 영상을 촬영하는 카메라로부터 획득한 전방의 이미지 내에서 깊이 정보에 따라 분류되는 복수의 블롭(blob)을 검출하는 검출부;
   상기 복수의 블롭 중 시네마그래프 상에서 움직임 대상이 되는 적어도 하나의 관심 블롭을 사용자로부터 설정받는 설정부;
   상기 카메라의 촬영에 따라 입력되는 N개의 프레임 각각을 대상으로, 상기 프레임으로부터 상기 관심 블롭에 대응하는 영역만을 도려낸 N개의 전경 이미지와, 상기 전경 이미지를 도려낸 후 잔여한 영역인 N개의 배경 이미지를 획득하는 이미지 분리부; 및
   상기 N개의 배경 이미지를 결합하여 단일의 배경 이미지를 생성한 다음, 상기 단일의 배경 이미지 위에 상기 N개의 전경 이미지를 개별적으로 겹쳐 합성한 N개의 합성 이미지를 시간 순으로 배열하여 상기 관심 블롭만 움직이는 형태의 시네마그래프를 생성하는 이미지 합성부를 포함하며,
   상기 이미지 합성부는,
   상기 N개의 배경 이미지 중 선택된 기준 배경 이미지의 하부에 나머지 N-1개의 배경 이미지를 겹쳤을 때 상기 기준 배경 이미지의 상부로 노출되는 부위를 상기 기준 배경 이미지에 합치는 방식으로 상기 기준 배경 이미지를 확장시켜 상기 단일의 배경 이미지를 생성하는 시네마그래프 생성 장치.
7. 청구항 6에 있어서,
   상기 검출부는,
   상기 이미지에 포함된 각 화소의 깊이 정보에 대하여, 각 화소의 색상 정보 또는 움직임 정보와 조합하여 상기 복수의 블롭을 검출하되,
   상기 깊이 정보 및 상기 색상 정보를 이용하거나, 상기 깊이 정보 및 상기 움직임 정보를 이용하거나, 또는 상기 깊이 정보, 상기 색상 정보 및 상기 움직임 정보를 이용하여 상기 복수의 블롭을 더욱 세분화하여 분류하는 시네마그래프 생성 장치.
8. 청구항 7에 있어서,
   상기 검출부는,
   상기 검출된 복수의 블롭 중에서 기 설정된 깊이 값, 색상 값, 움직임 값 중 적어도 하나의 정보를 기초로 복수의 블롭 후보군을 추출하여 상기 사용자에게 상기 블롭 후보군을 제시하는 시네마그래프 생성 장치.
9. 삭제
10. 청구항 6에 있어서,
    상기 카메라는,
    스테레오 카메라 또는 깊이 카메라인 시네마그래프 생성 장치.

Images