KR101719291B1 - 영상 제공 방법 및 영상 제공 장치 - Google Patents

Abstract

본 발명의 일 실시예는 촬영 제어부에 의해, 촬영할 제1 및 제2 부분 영상의 형태를 각각 결정하는 단계; 상기 촬영 제어부에 의해,　상기 결정된 부분 영상들 각각의 형태를 기초로, 영상 잘라내기, 영상 회전, 또는 영상의 크기 또는 비율 스케일링 중 하나 이상의 편집 효과를　결정하는 단계; 상기 촬영 제어부에 의해, 제1 시간에 제1 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 상기 제1 부분 영상을 촬영하는 제1 촬영 단계; 상기 영상 처리부에 의해, 상기 제1 부분 영상에 대한 디코딩을 수행하는 제1 디코딩 단계; 상기 촬영 제어부에 의해, 상기 제1 시간 이후의 제2 시간에 제2 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 상기 제2 부분 영상을 촬영하는 제2 촬영 단계; 및 영상 처리부에 의해, 상기 제2 시간 이후의 제3 시간에 상기 제1 및 제2 부분 영상들을 병합하여 콜라주 영상을 생성하는 병합 단계;를 포함하고, 상기 제1 디코딩 단계를 통한 상기 제1 부분 영상의 디코딩을 수행하는 기간 및 상기 제2 촬영 단계를 통한 상기 제2 부분 영상을 촬영하는 기간이 적어도 부분적으로 겹치는, 영상 제공 방법을 개시한다.

Description

영상 제공 방법 및 영상 제공 장치{Image providing method and image providing device}

본 발명의 실시예들은 영상 제공 방법 및 영상 제공 장치에 관한 것이다.

콜라주 영상은 복수의 영상들이 연결된 하나의 영상을 의미한다. 이러한 콜라주 영상은 하나의 영상으로 여러 가지 영상 정보를 전달할 수 있는 바 실용적인 장점을 가지고 있고, 콜라주 영상 자체가 시각적으로 매력이 있는 바 심미적인 장점을 또한 가지고 있다.

한편, 영상을 촬영하는 기술 및 영상을 처리하는 기술의 발달로 인하여 영상을 촬영하거나 촬영된 영상을 다양한 영상 처리 알고리즘을 사용하여 후처리하는 방법들이 개발되고 있다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

한국공개특허 KR 2007-0108195 A (특허문헌 0002) 미국공개특허 US 2014-0032684 A1 (특허문헌 0003) 미국공개특허 US 2014-0019540 A1 (특허문헌 0004) US 2013-0332543 A1 (특허문헌 0005) 미국공개특허 US 2013-0260893 A1 (특허문헌 0006) 미국공개특허 US 2013-0325987 A1 (특허문헌 0007) 미국공개특허 US 2013-0232256 A1 (특허문헌 0008) 미국공개특허 US 2013-0232197 A1 (특허문헌 0009) 미국공개특허 US 2013-0232183 A1 (특허문헌 0010) 미국공개특허 US 2013-0227439 A1 (특허문헌 0011) 미국공개특허 US 2013-0166275 A1 (특허문헌 0012) 미국공개특허 US 2012-0311052 A1 (특허문헌 0013) 미국공개특허 US 2013-0332543 A1

본 발명의 실시예들은 복수의 영상들을 촬영하고, 촬영한 영상들 각각에 서로 동일하거나 서로 다른 영상 처리 필터를 적용하여 콜라주 영상을 생성할 수 있는 영상 제공 방법 및 영상 제공 장치를 제공한다.

본 발명의 실시예들은 콜라주 영상을 구성하게 될 복수의 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수를 미리 결정하고, 결정한 해상도, 비트 레이트, 또는 초당 프레임 수에 대응하는 복수의 영상들을 촬영하여 콜라주 영상을 생성할 수 있는 영상 제공 방법 및 영상 제공 장치를 제공한다.

본 발명의 실시예들은 촬영 영상에서 인물 영역 또는 배경 영역 중 하나 이상의 영역에 다양한 영상 처리 필터를 적용할 수 있는 영상 제공 방법 및 영상 제공 장치를 제공한다.

본 발명의 일 실시예는, 촬영 제어부에 의해, 촬영할 제1 및 제2 부분 영상의 형태를 각각 결정하는 단계; 상기 촬영 제어부에 의해,　상기 결정된 부분 영상들 각각의 형태를 기초로, 영상 잘라내기, 영상 회전, 또는 영상의 크기 또는 비율 스케일링 중 하나 이상의 편집 효과를　결정하는 단계; 상기 촬영 제어부에 의해, 제1 시간에 제1 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 상기 제1 부분 영상을 촬영하는 제1 촬영 단계; 상기 촬영 제어부에 의해, 상기 제1 시간 이후의 제2 시간에 제2 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 상기 제2 부분 영상을 촬영하는 제2 촬영 단계; 및 영상 처리부에 의해, 상기 제2 시간 이후의 제3 시간에 상기 제1 및 제2 부분 영상들을 병합하여 콜라주 영상을 생성하는 병합 단계;를 포함하는, 영상 제공 방법을 개시한다.

본 발명의 다른 실시예는 촬영할 제1 및 제2 부분 영상의 형태를 각각 결정하고, 상기 결정된 부분 영상들 각각의 형태를 기초로, 영상 잘라내기, 영상 회전, 또는 영상의 크기 또는 비율 스케일링 중 하나 이상의 편집 효과를　결정하고, 제1 시간에 제1 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 제1 부분 영상을 촬영하고, 상기 제1 시간 이후의 제2 시간에 제2 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 제2 부분 영상을 촬영하는 촬영 제어부; 및 상기 제2 시간 이후의 제3 시간에 상기 제1 및 제2 부분 영상들을 병합하여 콜라주 영상을 생성하는 영상 처리부;를 포함하는, 영상 제공 장치를 개시한다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

이와 같은 본 발명에 의해서, 복수의 영상들을 촬영하고, 촬영한 영상들 각각에 서로 동일하거나 서로 다른 영상 처리 필터를 적용하여 콜라주 영상을 생성할 수 있는 영상 제공 방법 및 영상 제공 장치를 제공할 수 있다.

또한, 콜라주 영상을 구성하게 될 복수의 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수를 미리 결정하고, 결정한 해상도, 비트 레이트, 또는 초당 프레임 수에 대응하는 복수의 영상들의 촬영하여 콜라주 영상을 생성할 수 있는 영상 제공 방법 및 영상 제공 장치를 제공할 수 있다.

또한, 촬영 영상에서 인물 영역 또는 배경 영역 중 하나 이상의 영역에 다양한 영상 처리 필터를 적용할 수 있는 영상 제공 방법 및 영상 제공 장치를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 제공 장치를 개략적으로 나타낸 구성도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 영상 제공 방법을 도시한 흐름도이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 영상 제공 장치에서 영상을 제공하는 방법의 예시들을 개략적으로 도시한 도면이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상 제공 장치를 개략적으로 나타낸 구성도이다.

본 발명의 일 실시예에 따른 영상 제공 장치(100)는 적어도 하나 이상의 프로세서(processor)에 해당하거나, 적어도 하나 이상의 프로세서를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 처리하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

영상 제공 장치(100)는 마이크로 프로세서, 범용 컴퓨터 시스템, 또는 영상 촬영 장치와 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다. 예를 들어, 영상 제공 장치(100)는 화면을 표시할 수 있는 디스플레이부(11)를 구비하는 단말기(10)에 탑재될 수도 있고, 단말기(10)와 유무선으로 연결된 별도의 장치일 수도 있다. 또한, 영상 제공 장치(100)가 단말기(10) 그 자체일 수도 있다. 이 때 단말기(10)는 스마트폰, PC, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 컴팩트 카메라, DSRL(digital single lens reflex camera), 미러리스 카메라, 하이브리드 카메라, 웨어러블 장치, 및 기타 모바일 또는 비모바일 컴퓨팅 장치 중 적어도 하나 이상일 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 1에 도시된 영상 제공 장치(100)는 본 실시예의 특징이 흐려지는 것을 방지하기 위하여 본 실시예와 관련된 구성요소들만을 도시한 것이다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 단말기(10)를 제어할 수 있다. 또한, 영상 제공 장치(100)는 단말기(10)의 디스플레이부(11)의 표시를 제어할 수 있다. 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 영상을 촬영할 수도 있고, 단말기(10)가 영상을 촬영하도록 단말기(10)를 제어할 수도 있다. 또한, 영상 제공 장치(100)는 이미 촬영된 영상에 다양한 종류의 영상 처리 기술을 적용할 수도 있고, 이미 촬영된 영상에 단말기(10)가 다양한 종류의 영상 처리 기술을 적용하도록 단말기(10)를 제어할 수도 있다. 또한, 영상 제공 장치(100)는 촬영될 영상, 촬영된 영상, 영상 처리 기술이 적용될 경우의 예상 결과 영상, 또는 영상 처리 기술을 적용한 결과 영상 등이 디스플레이부(11) 상에 표시되도록 단말기(10)를 제어할 수 있다. 이와 같은 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 촬영 제어부(110) 및 영상 처리부(120)를 포함할 수 있다.

촬영 제어부(110)는 영상을 직접 촬영하거나 단말기(10)가 영상을 촬영하도록 단말기(10)를 제어할 수 있다. 이하에서, 촬영 제어부(110)가 영상을 촬영한다는 문장의 의미는, 촬영 제어부(110)가 직접 영상을 촬영한다는 의미로 해석될 수도 있고, 촬영 제어부(110)가 단말기(10)가 영상을 촬영하도록 단말기(10)를 제어한다는 의미로 해석될 수도 있다.

촬영 제어부(110)는 광학부 및 촬상소자를 포함할 수 있다. 촬영 제어부(110)는 광학부를 통하여 빛을 투과 받을 수 있고, 촬상소자를 통하여 빛을 전기적 영상 신호로 변환할 수 있다. 또는, 촬영 제어부(110)는 단말기(10)에 포함되는 광학부 및 촬상소자를 제어하여, 빛을 투과 받아서 해당 빛을 전기적 영상 신호로 변환하도록 단말기(10)를 제어할 수 있다.

촬영 제어부(110)는 서로 다른 시간에 복수의 부분 영상들을 촬영할 수 있다. 예를 들어, 촬영 제어부(110)는 제1 시간에 제1 부분 영상을 촬영할 수 있다. 이후, 촬영 제어부(110)는 제1 시간 이후의 제2 시간에 제2 부분 영상을 촬영할 수 있다. 부분 영상들 각각을 촬영할 때, 촬영 제어부(110)는 영상 처리 필터를 적용하면서 영상을 촬영할 수 있다. 이 때, 적용되는 영상 처리 필터의 종류는 부분 영상들 각각에 따라서 상이할 수도 있고 동일할 수도 있다. 즉, 촬영 제어부(110)는 제1 시간에 제1 영상 처리 필터 효과를 적용하면서 제1 부분 영상을 촬영할 수 있고, 제1 시간 이후의 제1 시간에 제2 영상 처리 필터 효과를 적용하면서 제2 부분 영상을 촬영할 수 있다. 나아가 촬영 제어부(110)는 셋 이상의 부분 영상들을 서로 다른 시간에 촬영할 수도 있고, 각각의 부분 영상들에 서로 다르거나 서로 동일한 영상 처리 필터를 적용하여 영상을 촬영할 수도 있다. 촬영 제어부(110)가 서로 다른 시간에 복수의 부분 영상들을 촬영하는 예시적인 방법은 도 5 및 도 6을 통하여 설명하기로 한다.

여기서, 영상 처리 필터 효과라 함은, 종래에 촬영된 사진 또는 동영상에 적용되고 있는 모든 형태의 필터 효과를 제한 없이 본 발명에 적용할 수 있다. 예를 들어, 영상 처리 필터 효과에는 공간 도메인 또는 주파수 도메인에서 적용가능한 저역 통과 필터(low pass filter), 고역 통과 필터(high pass filter), 대역 통과 필터(band pass filter), 또는 대역 차단 필터(band reject filter) 등을 적용하여 얻을 수 있는 효과를 포함할 수 있다. 나아가, 영상 처리 필터 효과에는 에버리징 필터(averaging filter), 메디안 필터(median filter), 가우시안 필터(Gaussian filter), 에지 디텍션 필터(edge detection filter), 에지 강화 필터(edge enhancement filter), 에지 흐림 필터(edge blurring filter), 영역 흐림 필터(smoothing spatial filter), 영역 첨예화 필터(sharpening spatial filter) 등의 다양한 영상 처리 필터 효과가 포함될 수 있으며, 본 발명에는 이외에도 다양한 종류의 영상 처리 필터 효과가 포함될 수 있다. 이러한 영상 처리 필터 효과를 얻기 위해서, 영상에 퓨리에 변환(Fourier transform), 웨이브릿 변환(wavelet transform), 영상 분할(image segmentation), 물체 인식(object recognition) 등의 다양한 전처리 효과, 후처리 효과, 또는 보조 효과들이 영상에 적용될 수 있으며, 본 발명에는 이외에도 다양한 종류의 영상 처리 기법이 적용될 수 있다. 이러한 다양한 종류의 영상 처리 기법들을 통하여, 영상을 촬영하면서, 영상의 전체 영역 또는 일부 영역을 더 뿌옇게 하거나, 선명하게 하거나, 밝기를 조정하거나, 색감을 달리하거나, 흑백으로 촬영을 전환하거나, 얼굴 부분을 희게 보이게 하거나, 배경화면에 캐릭터나 사전에 제작된 오브젝트를 삽입하거나, 영상의 노이즈를 저감시키거나, 영상을 압축 또는 복원하는 등의 다양한 조작 효과를 적용할 수 있다. 이처럼 영상을 촬영하면서 동시에 필터 효과를 적용함으로써, 사용자에게 사진 또는 동영상 촬영 시의 색다른 체험을 제공할 수 있다.

촬영 제어부(110)는 정지 영상을 촬영할 수도 있고, 동영상을 촬영할 수도 있다. 즉, 제1 및 제2 부분 영상들 각각은 정지 영상 또는 동영상일 수 있다. 또한, 촬영 제어부(110)는 복수의 부분 영상들 중 일부는 정지 영상으로 촬영하고, 다른 일부는 동영상으로 촬영할 수 있다. 즉, 촬영 제어부(110)는 제1 부분 영상은 정지 영상 또는 동영상 중 어느 하나로 촬영하고, 제2 부분 영상은 제1 부분 영상과 다른 종류로 촬영할 수 있다. 촬영 제어부(110)를 통하여 촬영되는 복수의 부분 영상들 중에서 동영상이 두 개 이상인 경우, 촬영 제어부(110)는 해당 두 개 이상의 동영상들의 촬영 기간이 서로 동일하도록 촬영할 수 있다. 즉, 촬영 제어부(110)에서 서로 다른 시간에 제1 및 제2 부분 영상들을 촬영하고, 해당 제1 및 제2 부분 영상들이 모두 동영상인 경우, 제1 부분 영상의 촬영 기간과 제2 부분 영상의 촬영 기간은 서로 동일할 수 있다. 이를 통하여, 영상 처리부(120)가 제1 및 제2 부분 영상들을 병합하여 콜라주 영상을 생성할 때, 콜라주 영상의 길이를 제1 및 제2 부분 영상들 각각의 촬영 기간과 동일한 기간으로 결정할 수 있다.

촬영 제어부(110)는 복수의 부분 영상들 각각의 형태를 결정할 수 있다. 여기서 부분 영상들 각각의 형태의 의미는, 부분 영상들 각각의 크기, 부분 영상들 각각이 콜라주 영상에서 차지하게 될 위치, 부분 영상들 각각과 콜라주 영상 간의 비율, 또는 부분 영상들 각각의 기하학적인 모양 등을 포함하는 의미일 수 있다. 촬영 제어부(110)는 사용자로부터 하나 이상의 콜라주 패턴들 중 하나를 선택하는 입력을 수신할 수 있고, 촬영 제어부(110)는 선택된 콜라주 패턴에 따라서 복수의 부분 영상들 각각의 형태를 결정할 수 있다. 촬영 제어부(110)가 사용자로부터 하나 이상의 콜라주 패턴들 중 하나를 선택하는 입력을 수신하는 예시적인 방법은 도 7을 통하여 설명하기로 한다.

촬영 제어부(110)는 결정된 부분 영상들 각각의 형태를 기초로, 영상 잘라내기(cropping), 영상 회전(rotating), 또는 영상의 크기 또는 비율 스케일링(scaling) 중 하나 이상을 적용하여 제1 및 제2 부분 영상들 각각을 촬영할 수 있다. 예를 들어, 촬영 제어부(110)는 부분 영상들 각각의 형태가 가로 방향으로의 길이가 세로 방향으로의 길이보다 훨씬 길게 결정된 경우, 촬영하는 부분 영상들 각각의 세로 방향으로의 길이를 잘라내거나, 촬영하는 부분 영상들 각각이 가로 방향으로 늘어나도록 영상의 비율을 스케일링하거나, 촬영하는 부분 영상들 각각을 특정 각도로 회전시킬 수 있다. 이를 통하여, 촬영 제어부(110)는 추후 생성될 콜라주 영상에 여백이 발생하지 않도록 하는 부분 영상들을 촬영할 수 있다.

촬영 제어부(110)는 복수의 부분 영상들 각각의 형태를 기초로, 부분 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정할 수 있다. 즉, 촬영 제어부(110)는 복수의 부분 영상들을 촬영할 때 해당 부분 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정하여 촬영을 수행할 수 있고, 이러한 해상도, 비트 레이트, 또는 초당 프레임 수는 부분 영상들 각각의 형태를 기초로 촬영 제어부(110)가 결정할 수 있다.

촬영 제어부(110)는 부분 영상들 각각의 넓이에 비례하도록 부분 영상들 각각의 해상도 또는 비트 레이트 중 하나 이상을 결정할 수 있다. 예를 들어, 제1 부분 영상의 넓이가 제2 부분 영상의 넓이의 두 배인 경우, 촬영 제어부(110)는 제1 부분 영상의 해상도 또는 비트 레이트를 제2 부분 영상의 해상도 또는 비트 레이트의 두 배로 결정할 수 있다. 또한, 제1 부분 영상이 직사각형 형태이면서 가로 방향으로의 길이가 세로 방향으로의 길이의 세 배인 경우, 또는 가로 방향으로 놓이게 될 화소들의 개수가 세로 방향으로 놓이게 될 화소들의 개수의 세 배인 경우, 촬영 제어부(110)는 제1 부분 영상의 해상도 결정 시의 가로 방향으로의 크기를 세로 방향으로의 크기의 세 배로 결정할 수 있다. 이를 통하여, 촬영 제어부(110)는 화질이 서로 유사한 부분 영상들을 촬영할 수 있고, 영상 처리부(120)에서 부분 영상들을 병합하여 콜라주 영상을 생성할 때 발생하는 계산량 및 처리 시간이 감소될 수 있다.

촬영 제어부(110)는 부분 영상들 각각을 촬영하는 장치, 콜라주 영상을 생성하는 장치, 또는 콜라주 영상을 재생하는 장치 중 하나 이상의 장치의 성능을 기초로 하여 부분 영상들 각각의 해상도, 비트 레이트, 또는 초안 프레임 수 중 하나 이상을 결정할 수 있다. 예를 들어, 콜라주 영상을 생성하는 장치의 CPU가 120Hz 이상의 초당 프레임 수로 콜라주 영상을 생성하기에는 너무 과도한 시간이 걸리는 경우가 존재할 수 있다. 또한, 부분 영상을 촬영하는 장치의 카메라가 1920x1080 해상도의 촬영이 불가능한 경우도 존재할 수 있다. 이 경우, 촬영 제어부(110) 부분 영상 촬영, 콜라주 영상 생성, 또는 콜라주 영상 재생을 위한 장치들 각각의 성능을 고려하여 부분 영상들 각각의 해상도, 비트 레이트, 또는 초안 프레임 수 중 하나 이상을 결정할 수 있다. 이를 통하여, 촬영 제어부(110)는 콜라주 영상을 생성, 또는 재생할 때 발생하는 계산량 및 처리 시간이 감소될 수 있다. 또한, 촬영 제어부(110)는 부분 영상들 각각을 촬영하는 장치, 콜라주 영상을 생성하는 장치, 또는 콜라주 영상을 재생하는 장치 중 하나 이상의 장치의 성능을 기초로 하여 최적의 콜라주 합성 성능을 위한 초당 프레임 수를 결정할 수 있다. 또한, 촬영 제어부(110)는 결정된 초당 프레임 수로 제1 및 제2 부분 영상들 각각을 촬영할 수 있다. 즉, 촬영 제어부(110)는 콜라주 영상으로 병합할 모든 부분 영상들이 동일한 초당 프레임 수를 갖도록 할 수 있다. 이를 통하여, 촬영 제어부(110)는 콜라주 영상을 생성할 때 계산량 및 처리 시간을 감소시킬 수 있고, 나아가 콜라주 영상이 보다 자연스러운 영상이 되도록 할 수 있다.

촬영 제어부(110)는 복수의 부분 영상들 각각의 촬영 시에 각각의 촬영 영역에서 얼굴을 인식할 수 있다. 예를 들어, 제1 부분 영상을 촬영할 때, 촬영 제어부(110)는 제1 부분 영상을 촬영하는 촬영 영역에서 하나 이상의 얼굴들의 위치를 인식할 수 있다. 이 후, 촬영 제어부(110)는 인식된 얼굴을 기초로 인식된 얼굴을 포함하는 사람의 신체 영역 전부 또는 일부를 예측할 수 있고, 예측된 사람의 신체 영역 또는 신체 영역을 제외한 나머지 촬영 영역 중 하나 이상의 영역에 영상 처리 필터를 적용할 수 있다. 촬영 제어부(110)가 촬영 영역에서 얼굴 및 신체 영역을 인식하는 예시적인 방법은 도 8을 통하여 설명하기로 한다.

촬영 제어부(110)는 사용자가 영상을 촬영하기 위해 입력하는 다양한 수단을 포함할 수 있다. 예를 들어, 촬영 제어부(110)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치, 마우스 등을 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

촬영 제어부(110)는 영상 촬영을 위한 다양한 종류의 사용자의 입력들을 수신하거나 검출할 수 있다. 구체적으로, 촬영 제어부(110)는 영상을 촬영하라는 입력을 수신하거나 검출할 수 있다. 또한, 촬영 제어부(110)는 동영상 또는 정지 영상 중 어느 하나를 촬영하라는 입력을 수신하거나 검출할 수 있다. 이 때, 촬영 제어부(110)는 영상의 해상도, 영상의 형태, 동영상의 촬영 기간, 동영상의 비트 레이트, 또는 영상에 적용될 영상 처리 필터 등을 선택하는 입력을 수신하거나 검출할 수 있다.

영상 처리부(120)는 촬영된 부분 영상들을 직접 병합하여 콜라주 영상을 생성하거나 단말기(10)가 콜라주 영상을 생성하도록 단말기(10)를 제어할 수 있다. 이하에서, 영상 처리부(120)가 특정한 영상 처리 과정을 수행한다는 문장의 의미는, 영상 처리부(120)가 직접 영상 처리 과정을 수행한다는 의미로 해석될 수도 있고, 영상 처리부(120)가 단말기(10)가 영상 처리 과정을 수행하도록 단말기(10)를 제어한다는 의미로 해석될 수도 있다.

영상 처리부(120)는 복수의 부분 영상들의 촬영이 완료된 이후, 촬영된 부분 영상들을 병합하여 콜라주 영상을 생성할 수 있다. 예를 들어, 영상 처리부(120)는 촬영 제어부(110)에서 제1 부분 영상을 촬영하는 제1 시간 및 촬영 제어부(110)에서 제2 부분 영상을 촬영하는 제2 시간 이후의 제3 시간에 제1 및 제2 부분 영상을 병합하여 콜라주 영상을 생성할 수 있다. 이 경우, 복수의 부분 영상들이 모두 정지 영상인 경우, 영상 처리부(120)는 콜라주 영상을 정지 영상으로 생성할 수 있다. 복수의 부분 영상들이 모두 동영상인 경우, 영상 처리부(120)는 콜라주 영상을 동영상으로 생성할 수 있다. 복수의 부분 영상들 중 일부가 정지 영상이면서 다른 일부가 동영상인 경우, 영상 처리부(120)는 정지 영상인 일부의 부분 영상들을 화면에 변화가 없는 동영상으로 처리할 수 있고, 콜라주 영상을 동영상으로 생성할 수 있다.

영상 처리부(120)는 결정된 부분 영상들 각각의 형태를 기초로 하여 부분 영상들 각각에 영상 잘라내기, 영상 회전, 또는 영상의 크기 또는 비율 스케일링 중 하나 이상을 각각 적용하여 부분 영상들을 병합할 수 있다. 예를 들어, 영상 처리부(120)는 부분 영상들 각각의 형태가, 가로 방향으로의 길이가 세로 방향으로의 길이보다 훨씬 길게 결정된 경우, 촬영된 부분 영상들 각각의 세로 방향으로의 길이를 잘라내거나, 촬영된 부분 영상들 각각이 가로 방향으로 늘어나도록 영상의 비율을 스케일링하거나, 촬영된 부분 영상들 각각을 특정 각도로 회전시킬 수 있다. 이를 통하여, 영상 처리부(120)는 여백이 존재하지 않는 콜라주 영상을 생성할 수 있다.

영상 처리부(120)는 촬영 제어부(110)에서 촬영한 부분 영상들을 디코딩할 수 있다. 이 경우, 영상 처리부(120)는 이미 촬영이 완료된 부분 영상의 디코딩을, 촬영 제어부(110)에서 다른 부분 영상을 촬영할 때 수행할 수 있다. 즉, 영상 처리부(120)가 제1 부분 영상에 대한 디코딩을 수행하는 기간 및 촬영 제어부(110)가 제2 부분 영상을 촬영하는 기간이 적어도 부분적으로 겹칠 수 있다. 이를 통하여, 콜라주 영상의 구성 요소가 될 복수의 부분 영상들을 디코딩하는 시간을 단축시킬 수 있다. 부분 영상들에 대한 디코딩이 완료된 후, 영상 처리부(120)는 디코딩된 부분 영상들을 연결하여 인코딩함으로써 하나의 콜라주 영상을 생성할 수 있다.

영상 처리부(120)는 부분 영상들 중 일부 또는 전부의 촬영이 완료된 이후에 일정 시간 동안 콜라주 영상이 생성되지 않은 경우, 부분 영상들을 삭제할 수 있다. 예를 들어, 촬영 제어부(110)가 제1 시간에 제1 부분 영상을 촬영한 후, 제1 임계 시간이 경과할 때까지 제2 부분 영상의 촬영이 시작되지 않는 경우, 영상 처리부(120)는 제1 부분 영상을 삭제할 수 있다. 다른 예시로, 촬영 제어부(110)가 제1 및 제2 부분 영상들을 촬영한 후, 제2 임계 시간이 경과할 때까지 콜라주 영상의 생성 명령이 입력되지 않는 경우, 영상 처리부(120)는 제1 및 제2 부분 영상들을 삭제할 수 있다. 또한, 이와는 달리 제1 임계시간 경과 후 자동으로 제2 부분 영상을 촬영 개시하도록 할 수도 있다. 이러한 제1 시간, 제2 시간, 제1 임계 시간 및 제2 임계 시간, 그리고 임계 시간 경과 후의 이전 영상 삭제 또는 이후 영상 자동 촬영 등의 동작은 사용자가 사전에 설정토록 할 수도 있다.

촬영 제어부(110) 및/또는 영상 처리부(120)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 또한, 촬영 제어부(110) 및 영상 처리부(120)는 물리적으로 구분되는 두 개의 프로세서 등의 하드웨어 장치들일 수도 있고, 하나의 하드웨어 장치에 구현된 논리적인 구분 단위들일 수도 있고, 또는 서로 연결되어 있는 두 개의 하드웨어 장치들일 수도 있다. 촬영 제어부(110) 및 영상 처리부(120) 각각의 기능 중 일부의 기능은, 서로 다른 장치를 통하여 수행될 수도 있다. 예를 들어, 촬영 제어부(110)를 통하여 전기적 신호로 변경된 전자적 영상에 영상 처리부(120)가 영상 처리 필터를 적용하는 경우도 본 발명의 범위에 포함할 수 있다.

도 2 내지 도 4는 본 발명의 일 실시예에 따른 영상 제공 방법을 도시한 흐름도이다.

도 2 내지 도 4에 도시된 흐름도는, 도 1에 도시된 영상 제공 장치(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도, 도 1에서 도시된 구성들에 관하여 이상에서 기술된 내용은 도 2 내지 도 4에 도시된 흐름도에도 적용됨을 알 수 있다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 제공 방법은, 제1 시간에 제1 영상 처리 필터를 적용하면서 촬영을 수행하여 제1 부분 영상을 생성하는 단계(S100), 제1 시간 이후의 제2 시간에 제2 영상 처리 필터를 적용하면서 촬영을 수행하여 제2 부분 영상을 생성하는 단계(S200), 및 제2 시간 이후의 제3 시간에 제1 부분 영상 및 제2 부분 영상을 병합하여 콜라주 영상을 생성하는 단계(S300)를 포함할 수 있다.

부분 영상들이 촬영될 때, 영상 제공 방법을 수행하는 장치는 촬영 영역에 위치하는 사람들 위치하는 영역과 배경 영역을 구분하여 영상 처리 필터를 적용할 수 있다. 예를 들어, 도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 제공 방법에서 제1 부분 영상을 생성하는 단계(S100) 또는 제2 부분 영상을 생성하는 단계(S200)는, 촬영 영역에서 얼굴을 인식하는 단계(S110), 인식된 얼굴을 기초로 인식된 얼굴을 포함하는 사람의 신체 영역을 예측하는 단계(S120), 및 예측된 사람의 신체 영역 또는 촬영 영역 중 예측된 사람의 신체 영역을 제외한 나머지 영역 중 하나 이상의 영역에 영상 처리 필터를 적용하는 단계(S130)를 포함할 수 있다.

또한, 영상 제공 방법을 수행하는 장치는 콜라주 영상에서 부분 영상들 각각이 차지할 위치 또는 크기 등을 고려하여 부분 영상들 각각을 촬영할 수 있다. 예를 들어, 도 4를 참조하면, 본 발명의 일 실시예에 따른 영상 제공 방법은, 콜라주 영상에 포함되는 부분 영상들 각각의 형태를 결정하는 단계(S60) 및 결정된 형태를 기초로 제1 및 제2 부분 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정하는 단계(S80)를 포함할 수 있다. 이 경우, 본 발명의 일 실시예에 따른 영상 제공 방법은 제1 시간에 제1 영상 처리 필터를 적용하면서 제1 부분 영상에 대해 결정된 해상도, 비트 레이트, 또는 초당 프레임 수를 기초로 촬영을 수행하여 제1 부분 영상을 생성하는 단계(S101), 제1 시간 이후의 제2 시간에 제2 영상 처리 필터를 적용하면서 제2 부분 영상에 대해 결정된 해상도, 비트 레이트, 또는 초당 프레임 수를 기초로 촬영을 수행하여 제2 부분 영상을 생성하는 단계(S201), 및 제2 시간 이후의 제3 시간에 제1 부분 영상 및 제2 부분 영상을 병합하여 콜라주 영상을 생성하는 단계(S300)를 포함할 수 있다.

이렇게 콜라주 영상의 형태를 사전에 결정하고 결정된 형태를 기초로 촬영될 영상의 해상도, 비트 레이트, 또는 초당 프레임 수를 결정함에 따라, 이미 촬영된 영상을 콜라주 영상으로 병합하는 경우 보다 신속하게 콜라주 영상을 제작할 수 있는 장점이 있다.

도 5 내지 도 8은 본 발명의 일 실시예에 따른 영상 제공 장치에서 영상을 제공하는 방법의 예시들을 개략적으로 도시한 도면이다.

도 5 내지 도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 제공 장치(100)는, 단말기(10)의 디스플레이부(11)에 촬영하는 부분 영상들을 표시할 수 있고, 촬영한 부분 영상들을 병합하여 하나의 콜라주 영상을 생성할 수 있다.

영상 제공 장치(100)는 콜라주 영상의 일부분으로 병합될 부분 영상들을 촬영할 수 있다. 이 때, 영상 제공 장치(100)는 촬영 영역을 표시하거나 촬영이 완료된 이후의 부분 영상을 표시할 수 있다. 예를 들어, 도 5의 (a)에 도시된 바와 같이, 영상 제공 장치(100)는 단말기(10)의 디스플레이부(11) 상에 제1 부분 영상(130)이 표시되도록 단말기(10)를 제어할 수 있다. 이 때, 영상 제공 장치(100)는 현재 촬영하는 부분 영상이 콜라주 영상에서 어떤 부분에 병합될 것인지 표시할 수 있다. 예를 들어, 영상 제공 장치(100)는 단말기(10)의 디스플레이부(11) 상에 병합 위치 표시 UI(132a)가 표시되도록 단말기(10)를 제어할 수 있다. 병합 위치 표시 UI(132a)는, 네 개의 직사각형을 포함할 수 있고, 네 개의 직사각형 중 좌상단의 직사각형에는 다른 직사각형들과 다른 색상, 밝기, 또는 효과가 적용될 수 있다. 이 경우의 병합 위치 표시 UI(132a)는, 콜라주 영상은 네 개의 부분 영상들이 병합하여 이루어질 수 있다는 사실 및 제1 부분 영상(130)은 콜라주 영상에서 좌상단에 배치될 수 있다는 사실을 나타내는 것일 수 있다. 영상 제공 장치(100)는 부분 영상을 촬영하라는 사용자의 입력을 수신할 수 있고, 이에 따라 부분 영상의 촬영을 진행할 수 있다. 부분 영상을 촬영하라는 사용자의 입력은, 디스플레이부(11) 상의 특정 또는 임의의 영역에 대한 탭, 더블탭, 롱탭, 클릭, 더블 클릭, 또는 클릭 후 드래깅 동작, 임의의 키보드 버튼 누르기, 특정 키보드 버튼 누르기, 특정한 에어 제스쳐를 취하는 사용자의 동작, 영상 제공 장치(100) 또는 단말기(10) 상의 특정 영역이나 특정 버튼을 터치하거나 누르는 동작 등일 수 있으며, 이 외에도 영상 제공 장치(100)가 부분 영상을 촬영하라는 명령으로 인식할 수 있는 다양한 종류의 입력일 수 있다.

하나의 부분 영상의 촬영이 완료됨에 따라, 영상 제공 장치(100)는 다음 부분 영상의 촬영을 진행할 수 있다. 이 경우에도 영상 제공 장치(100)는 촬영 영역을 표시하거나 촬영이 완료된 이후의 부분 영상을 표시할 수 있다. 예를 들어, 도 5의 (b)에 도시된 바와 같이, 영상 제공 장치(100)는 제1 부분 영상(130)의 촬영이 완료된 이후 제2 부분 영상(134)을 촬영할 수 있고, 단말기(10)의 디스플레이부(11) 상에 제2 부분 영상(134)이 표시되도록 단말기(10)를 제어할 수 있다. 이 경우에도 영상 제공 장치(100)는 현재 촬영하는 부분 영상이 콜라주 영상에서 어떤 부분에 병합될 것인지 표시할 수 있다. 즉, 병합 위치 표시 UI(132b)는 제2 부분 영상(134)이 콜라주 영상에서 우상단에 배치될 수 있다는 사실을 나타내는 것일 수 있다. 마찬가지로, 도 5의 (c)에 도시된 바와 같이, 영상 제공 장치(100)는 마지막 부분 영상(136)까지 촬영을 진행할 수 있고 병합 위치 표시 UI(132c)를 통하여 현재 촬영하는 부분 영상이 콜라주 영상에 병합될 위치를 표시할 수 있다.

모든 부분 영상들의 촬영이 완료된 후, 영상 제공 장치(100)는 부분 영상들을 병합하여 콜라주 영상을 생성할 수 있다. 이 때, 영상 제공 장치(100)는 모든 부분 영상들의 촬영이 완료되면 자동으로 콜라주 영상의 생성을 진행될 수도 있고, 부분 영상들의 촬영이 완료된 이후에 콜라주 영상을 생성하라는 사용자의 입력을 수신한 이후 콜라주 영상의 생성을 진행할 수도 있다. 콜라주 영상을 생성하라는 사용자의 입력은, 디스플레이부(11) 상의 특정 또는 임의의 영역에 대한 탭, 더블탭, 롱탭, 클릭, 더블 클릭, 또는 클릭 후 드래깅 동작, 임의의 키보드 버튼 누르기, 특정 키보드 버튼 누르기, 특정한 에어 제스쳐를 취하는 사용자의 동작, 영상 제공 장치(100) 또는 단말기(10) 상의 특정 영역이나 특정 버튼을 터치하거나 누르는 동작 등일 수 있으며, 이 외에도 영상 제공 장치(100)가 콜라주 영상을 생성하라는 명령으로 인식할 수 있는 다양한 종류의 입력일 수 있다.

영상 제공 장치(100)는 생성된 콜라주 영상을 표시할 수 있다. 예를 들어, 도 5의 (d)에 도시된 바와 같이, 영상 제공 장치(100)는 단말기(10)의 디스플레이부(11) 상에 부분 영상들이 병합된 콜라주 영상(138)이 표시되도록 단말기(10)를 제어할 수 있다. 이 때, 영상 제공 장치(100)는 생성된 콜라주 영상을 처리하기 위한 UI(140)를 표시할 수 있다. 예를 들어, 영상 제공 장치(100)는 단말기(10)의 디스플레이부(11)의 하단에 콜라주 영상을 처리하기 위한 UI(140)가 표시되도록 단말기(10)를 제어할 수 있다. 콜라주 영상을 처리하기 위한 UI(140)는 콜라주 영상 저장, 콜라주 영상 삭제, 또는 소셜 네트워크 서비스를 통한 콜라주 영상 공유 등의 기능을 나타내는 UI들을 포함할 수 있다. 영상 제공 장치(100)는 콜라주 영상을 처리하라는 사용자의 입력을 수신할 수 있고, 해당 입력에 따라 콜라주 영상을 처리할 수 있다.

영상 제공 장치(100)는 부분 영상들 각각의 형태를 선택하는 사용자의 입력을 수신할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 영상 제공 장치(100)는 단말기(10)의 디스플레이부(11) 상에 부분 영상들 각각의 형태를 선택할 수 있는 UI(142)를 표시할 수 있다. 부분 영상들 각각의 형태를 선택할 수 있는 UI(142)는 부분 영상들 각각의 형태가 될 수 있는 다양한 모양의 UI들을 포함할 수 있다. 구체적으로, 부분 영상들 각각의 형태가 될 수 있는 다양한 모양의 UI들은 하나의 큰 다각형이 여러 개의 작은 다각형들로 분할되어 있는 형태일 수 있다. 이 때, 큰 다각형은 콜라주 영상의 형태를 나타내는 것일 수 있고, 여러 개의 작은 다각형들은 부분 영상들의 형태를 나타내는 것일 수 있다. 영상 제공 장치(100)는 특정한 형태를 선택하는 사용자의 입력을 수신할 수 있고, 해당 입력에 따라서 부분 영상들의 촬영을 진행할 수 있다. 예를 들어, 사용자가 선택한 형태가 큰 직사각형 안이 네 개의 직사각형들로 분할되어 있는 형태인 경우, 영상 제공 장치(100)는 네 번의 부분 영상 촬영 과정들을 수행하여 네 개의 직사각형 형태의 부분 영상들을 생성할 수 있고, 촬영한 네 개의 부분 영상들을 병합하여 직사각형 형태의 콜라주 영상을 생성할 수 있다.

영상 제공 장치(100)는 결정된 부분 영상들 각각의 형태를 기초로 부분 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정할 수 있다. 이 때, 영상 제공 장치(100)는 부분 영상들 각각의 넓이에 비례하도록 부분 영상들 각각의 해상도 또는 비트 레이트 중 하나 이상을 결정할 수 있다. 이를 통하여, 영상 제공 장치(100)가 콜라주 영상을 생성하기 위한 인코딩을 수행할 때, 각각의 부분 영상들의 크기를 스케일링하는 과정, 비트 레이트를 조정하는 과정, 또는 영상의 길이를 조정하는 과정 등이 간략해질 수 있다. 그 결과, 영상 제공 장치(100)는 영상을 촬영한 후 신속하게 콜라주 영상을 생성할 수 있다.

영상 제공 장치(100)는 도 5와 다른 형태로 촬영 영역을 표시하거나 촬영이 완료된 이후의 부분 영상을 표시할 수 있다. 예를 들어, 도 7의 (a)에 도시된 바와 같이, 영상 제공 장치(100)는 단말기(10)의 디스플레이부(11) 상에 제1 부분 영상(144)이 표시되도록 단말기(10)를 제어할 수 있다. 즉, 영상 제공 장치(100)는 전체 콜라주 영상에서 제1 부분 영상(144)이 병합될 위치에 제1 부분 영상(144)을 표시할 수 있다. 마찬가지로, 도 7의 (b) 및 도 7의 (c)에 도시된 바와 같이, 영상 제공 장치(100)는 제2 부분 영상(146), 제3 부분 영상(148), 및 제4 부분 영상(150)이 병합될 위치에 각각의 부분 영상들을 표시하면서 부분 영상들의 촬영을 진행할 수 있다. 모든 부분 영상들의 촬영이 완료된 후, 영상 제공 장치(100)는 콜라주 영상을 생성할 수 있다. 또한, 영상 제공 장치(100)는 생성된 콜라주 영상을 표시할 수 있다. 예를 들어, 도 7의 (d)에 도시된 바와 같이, 영상 제공 장치(100)는 단말기(10)의 디스플레이부(11) 상에 콜라주 영상(152)이 표시되도록 단말기(10)를 제어할 수 있고, 영상 제공 장치(100)는 콜라주 영상(152)을 처리하기 위한 UI(154)를 표시할 수 있다.

영상 제공 장치(100)는 부분 영상들 각각의 촬영 시에 각각의 촬영 영역에서 사람의 영역을 예측할 수 있다. 영상 제공 장치(100)에서 이러한 사람의 영역을 예측하는 과정은, 사람의 얼굴을 인식하는 과정 및 사람의 얼굴의 위치로부터 사람의 신체 영역을 예측하는 단계를 통하여 수행될 수 있다. 예를 들어, 도 8의 (a)에 도시된 바와 같이, 영상 제공 장치(100)는 촬영 영역에서 두 개의 얼굴들(156a 및 156b)의 위치를 인식할 수 있다. 영상 제공 장치(100)에서 사람의 얼굴을 인식하는 방법은 색을 통한 인식이나 눈, 코, 또는 입 등의 위치를 통한 인식 등의 다양한 영상 처리 알고리즘을 사용하여 수행될 수 있다.

사람의 얼굴을 인식한 후, 영상 제공 장치(100)는 인식된 얼굴을 기초로 사람의 신체 영역을 예측할 수 있다. 예를 들어, 도 8의 (b)에 도시된 바와 같이, 영상 제공 장치(100)는 촬영 영역에서 사람의 신체 영역들(158a 및 158b)를 예측할 수 있다. 이러한 사람의 신체 영역의 예측은 인식된 사람의 얼굴을 기초로 수행될 수 있다. 예를 들어, 사람의 얼굴이 촬영 영역에 표시되어 있는 경우, 영상 제공 장치(100)는 해당 사람의 얼굴의 눈, 코, 또는 입 등의 위치를 통하여, 해당 사람의 신체 영역이 존재할 방향을 예측할 수 있다. 이 후, 영상 제공 장치(100)는 해당 사람의 신체 영역으로 추정되는 위치를 설정할 수 있다. 이 후, 영상 제공 장치(100)는 에지 디텍션 등의 다양한 영상 처리 알고리즘을 사용하여 신체 영역과 배경 영역의 경계 부분을 예측하는 방법 등을 통하여, 사람의 신체 영역을 예측할 수 있다. 영상 제공 장치(100)는 인식된 얼굴 및 사람의 신체 영역을 포함하는 영역을 사람의 영역이라고 예측할 수 있다.

이 때, 영상 제공 장치(100)는 사람의 신체 영역 중 일부만을 신체 영역으로 추정할 수도 있다. 예를 들어, 영상 제공 장치(100)는 사람의 얼굴의 눈, 코, 또는 입 등의 위치를 통하여 얼굴을 인식하고, 인식된 얼굴을 기초로 사람의 상반신 영역을 해당 사람의 신체 영역으로 예측할 수 있다. 다른 예시로, 영상 제공 장치(100)는 사람의 얼굴의 눈, 코, 또는 입 등의 위치를 통하여 얼굴을 인식하고, 인식된 얼굴을 기초로 사람의 어깨 선의 위치를 예측할 수 있다. 이 후, 영상 제공 장치(100)는 사람의 어깨 선을 기준으로 영상 잘라내기를 수행하여, 상반신 중 어깨 선 위쪽의 영역을 해당 사람의 신체 영역으로 예측할 수 있다.

사람의 영역을 예측한 후, 영상 제공 장치(100)는 예측된 사람의 영역 또는 사람의 영역을 제외한 나머지 촬영 영역 중 하나 이상의 영역에 특정한 영상 처리 필터를 적용할 수 있다. 예를 들어, 도 8의 (c)에 도시된 바와 같이, 영상 제공 장치(100)는 촬영 영역을 사람의 영역(160) 및 배경 영역(162)으로 구분할 수 있다. 이 후, 영상 제공 장치(100)는 두 영역 중 하나 이상의 영역에 특정한 영상 처리 필터를 적용할 수 있다. 이 때, 각각의 영역에 적용되는 영상 처리 필터의 종류는 서로 상이할 수 있다. 예를 들어, 사람의 영역(160)은 또렷하게 보이게 하고, 배경 영역(162)은 흐리게 하는 소위 배경에 대한 블러링 효과(blurring effect)를 줄 수도 있고, 그 반대로 사람의 영역(160)을 배경 영역(162)에 비해 흐리게 보이게 할 수도 있다. 또는 양자의 색감을 달리 표현할 수도 있다. 이를 통하여, 영상 제공 장치(100)는 영상에서 인물과 배경을 구분하여 다양한 효과를 제공할 수 있고, 영상의 심미성을 강화할 수 있다. 또한, 영상 제공 장치(100)가 사람의 상반신 영역, 또는 상반신 중 어깨 선까지의 영역을 해당 사람의 신체 영역 위치로 예측한 경우에는, 영상 제공 장치(100)는 사람의 얼굴 부분이 좀 더 부각된 효과를 제공할 수 있다.

촬영과 동시에 이러한 조작들이 가능하게 하려면 기존의 카메라의 경우, 조리개 또는 노출 정도를 사전에 조절하여야 하는 등 전문가 수준의 조작이 필요하였으나, 본 발명에 따르면 소프트웨어적인 조작으로 인해 촬영과 동시에 상술한 효과를 적용한 사진을 얻을 수 있다.

이러한 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 즉석에서 촬영한 복수의 부분 영상들을 병합하여 신속하게 콜라주 영상을 생성할 수 있다. 또한 본 발명의 일 실시예에 따른 영상 제공 장치(100)는 각각의 부분 영상들에 서로 다른 영상 처리 필터를 적용할 수 있으며, 각각의 부분 영상들에서 인물 영역과 배경 영역을 구분하여 각각의 영역에 서로 다른 영상 처리 필터를 적용할 수 있다.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

10: 단말기
11: 디스플레이부
100: 영상 제공 장치
110: 촬영 제어부
120: 영상 처리부

Claims (20)

1. 촬영 제어부에 의해, 촬영할 제1 및 제2 부분 영상의 형태를 각각 결정하는 단계;
   상기 촬영 제어부에 의해,　상기 결정된 부분 영상들 각각의 형태를 기초로, 영상 잘라내기, 영상 회전, 또는 영상의 크기 또는 비율 스케일링 중 하나 이상의 편집 효과를　결정하는 단계;
   상기 촬영 제어부에 의해, 제1 시간에 제1 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 상기 제1 부분 영상을 촬영하는 제1 촬영 단계;
   영상 처리부에 의해, 상기 제1 부분 영상에 대한 디코딩을 수행하는 제1 디코딩 단계;
   상기 촬영 제어부에 의해, 상기 제1 시간 이후의 제2 시간에 제2 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 상기 제2 부분 영상을 촬영하는 제2 촬영 단계; 및
   상기 영상 처리부에 의해, 상기 제2 시간 이후의 제3 시간에 상기 제1 및 제2 부분 영상들을 병합하여 콜라주 영상을 생성하는 병합 단계;를 포함하고,
   상기 제1 디코딩 단계를 통한 상기 제1 부분 영상의 디코딩을 수행하는 기간 및 상기 제2 촬영 단계를 통한 상기 제2 부분 영상을 촬영하는 기간이 적어도 부분적으로 겹치는, 영상 제공 방법.
2. 제1 항에 있어서, 상기 편집 효과를 결정하는 단계 이전,
   상기 촬영 제어부에 의해, 상기 결정된 형태를 기초로 상기 부분 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정하는 단계;를 더 포함하고,
   상기 편집 효과를 결정하는 단계는,
   상기 결정된 해상도, 비트 레이트, 또는 초당 프레임 수를 기초로 상기 하나 이상의 편집 효과를 결정하는 단계를 포함하는, 영상 제공 방법.
3. 제1 항에 있어서,
   상기 부분 영상들 각각의 형태를 결정하는 단계는, 하나 이상의 콜라주 패턴들 중 하나를 선택하는 입력을 사용자로부터 수신하고, 상기 선택된 콜라주 패턴에 따라서 상기 부분 영상들 각각의 형태를 결정하는, 영상 제공 방법.
4. 제1 항에 있어서,
   상기 제1 및 제2 촬영 단계 각각은, 상기 결정된 편집 효과 중 하나 이상을 적용하면서 촬영을 수행하는, 영상 제공 방법.
5. 제1 항에 있어서,
   상기 병합 단계는, 상기 결정된 편집 효과 중 하나 이상을 상기 제1 및 제2 부분 영상들 각각에 적용하여 상기 콜라주 영상을 생성하는 영상 제공 방법.
6. 제2 항에 있어서,
   상기 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정하는 단계는, 상기 부분 영상들 각각의 넓이에 비례하게 상기 부분 영상들 각각의 해상도 또는 비트 레이트 중 하나 이상을 결정하는, 영상 제공 방법.
7. 제2 항에 있어서,
   상기 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정하는 단계는, 상기 제1 및 제2 부분 영상을 촬영하는 장치, 상기 콜라주 영상을 생성하는 장치, 또는 상기 콜라주 영상을 재생할 장치 중 하나 이상의 장치의 성능을 기초로 상기 부분 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정하는, 영상 제공 방법.
8. 제1 항에 있어서,
   상기 제1 및 제2 촬영 단계 각각은,
   촬영 영역에서 얼굴을 인식하는 단계;
   상기 인식된 얼굴을 기초로 상기 인식된 얼굴을 포함하는 사람의 신체 영역을 예측하는 단계; 및
   상기 예측된 사람의 신체 영역 또는 상기 촬영 영역 중 상기 예측된 사람의 신체 영역을 제외한 나머지 영역 중 하나 이상의 영역에 영상 처리 필터를 적용하는 단계;를 포함하는, 영상 제공 방법.
9. 삭제
10. 제1 항에 있어서,
    상기 제1 시간으로부터 제1 임계 시간이 경과할 때까지 상기 제2 촬영 단계가 시작되지 않는 경우, 상기 제1 부분 영상을 삭제하는, 영상 제공 방법.
11. 제1 항에 있어서,
    상기 제1 및 제2 부분 영상들 각각은 정지 영상 또는 동영상인, 영상 제공 방법.
12. 제1 항에 있어서,
    상기 제1 영상은 정지 영상 또는 동영상 중 어느 하나이고, 상기 제2 영상은 정지 영상 또는 동영상 중 상기 제1 영상과 다른 종류의 영상인, 영상 제공 방법.
13. 제1 항에 있어서,
    상기 제1 및 제2 부분 영상들은 동영상들이고, 상기 제1 및 제2 부분 영상들의 촬영 기간은 서로 동일한, 영상 제공 방법.
14. 제1 항에 있어서,
    상기 콜라주 영상의 해상도는 상기 제1 및 제2 부분 영상 각각의 해상도의 합과 동일한, 영상 제공 방법.
15. 제1 항에 있어서, 상기 제1 촬영 단계 이후,
    상기 제2 시간 이후의 제4 시간에 제3 영상 처리 필터를 적용하면서 제3 부분 영상을 촬영하는 제3 촬영 단계;를 더 포함하고,
    상기 병합 단계는, 상기 제4 시간 이후의 상기 제3 시간에 상기 제1 내지 제3 부분 영상들을 병합하여 콜라주 영상을 생성하는, 영상 제공 방법.
16. 컴퓨터를 이용하여 제1 항 내지 제8 항, 제10 항 내지 제15 항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 매체에 저장된 컴퓨터 프로그램.
17. 촬영할 제1 및 제2 부분 영상의 형태를 각각 결정하고, 상기 결정된 부분 영상들 각각의 형태를 기초로, 영상 잘라내기, 영상 회전, 또는 영상의 크기 또는 비율 스케일링 중 하나 이상의 편집 효과를　결정하고, 제1 시간에 제1 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 제1 부분 영상을 촬영하고, 상기 제1 시간 이후의 제2 시간에 제2 영상 처리 필터 및 상기 결정된 편집 효과를 기초로 제2 부분 영상을 촬영하는 촬영 제어부; 및
    상기 제1 부분 영상에 대한 디코딩을 수행하고, 상기 제2 시간 이후의 제3 시간에 상기 제1 및 제2 부분 영상들을 병합하여 콜라주 영상을 생성하는 영상 처리부;를 포함하고,
    상기 영상 처리부는, 상기 제1 부분 영상의 디코딩을 수행하는 기간 및 상기 제2 부분 영상을 촬영하는 기간이 적어도 부분적으로 겹치도록 상기 제1 부분 영상의 디코딩 과정 및 상기 제2 부분 영상의 촬영 과정을 수행하는, 영상 제공 장치.
18. 제17 항에 있어서,
    상기 촬영 제어부는, 상기 결정된 형태를 기초로 상기 부분 영상들 각각의 해상도, 비트 레이트, 또는 초당 프레임 수 중 하나 이상을 결정하고, 상기 결정된 해상도, 비트 레이트, 또는 초당 프레임 수를 기초로 상기 하나 이상의 편집 효과를 결정하는, 영상 제공 장치.
19. 제17 항에 있어서,
    상기 촬영 제어부는, 상기 제1 및 제2 부분 영상들 각각의 촬영 시에 각각의 촬영 영역에서 얼굴을 인식하고, 상기 인식된 얼굴을 기초로 상기 인식된 얼굴을 포함하는 사람의 신체 영역을 예측하고, 상기 예측된 사람의 신체 영역 또는 상기 촬영 영역 중 상기 예측된 사람의 신체 영역을 제외한 나머지 영역 중 하나 이상의 영역에 영상 처리 필터를 적용하는, 영상 제공 장치.
20. 삭제

Images