KR102301231B1 - 영상 제공 방법 및 이를 위한 장치 - Google Patents

Abstract

영상 제공 방법 및 이를 위한 장치를 제공한다. 본 디바이스는, 객체와 배경을 포함하는 제1 영상을 표시하는 디스플레이부, 제1 영상 중 일부 영역을 선택하는 사용자 입력을 수신하는 사용자 입력부 및 일부 영역을 포함하는 상기 객체 또는 상기 배경 중 어느 하나를 기표시된 상기 객체 또는 상기 배경에 비해 전체적으로 다르게 표시되도록 제1 영상에 효과를 제공하는 제어부를 포함할 수 있다.

Description

영상 제공 방법 및 이를 위한 장치{METHOD AND DEVICE FOR PROVIDING IMAGE}

본 개시는 영상을 제공하는 방법 및 이를 위한 장치에 관한 것이다.

전자 기기들이 다양화되고 있으며, 1인당 소지하는 전자 기기들의 종류도 다양해 지고 있다. 또한, 사용자는 자신이 소지한 복수의 전자 기기들 각각을 이용하여, 다양한 영상, 애플리케이션, 서비스를 소비하고 있으며, 사용자가 이용할 수 있는 영상들도 증가하고 있다.

이에 따라, 사용자는 많은 종류의 영상을 접할 수 있으나, 사용자마다 선호하는 영상이 다를 수 있다. 또한, 사용자는 동일한 영상에서도 특정한 부분에 관심을 기울일 수 있다. 따라서, 사용자가 관심 있는 부분을 효율적으로 제공할 필요성이 대두되고 있다.

본 개시는 영상을 기저장 또는 기촬영된 영상과 다르게 제공하는 방법 및 그 장치를 제공한다.

일 유형에 따른 따르는 영상 제공 방법은, 객체와 배경을 포함하는 제1 영상을 표시하는 단계; 상기 객체와 상기 배경 중 어느 하나를 관심 영역으로 선택하는 사용자 입력을 수신하는 단계; 상기 제1 영상의 속성 정보를 이용하여 상기 관심 영역을 식별하는 식별 정보를 획득하는 단계; 타겟 영상으로부터 상기 식별 정보를 갖는 상기 제2 영상을 획득하는 단계; 및 상기 제1 영상과 상기 제2 영상 중 적어도 하나를 이용하여 효과 영상을 생성하는 단계;를 포함한다.

그리고, 상기 속성 정보는, 상기 제1 영상 생성시의 컨텍스트 정보 및 사용자에 의해 추가된 상기 제1 영상에 대한 주석(annotation) 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 타겟 영상의 식별 정보는, 상기 속성 정보를 워드넷에 기반하여 일반화함으로써 획득될 수 있다.

그리고, 상기 타겟 영상의 식별 정보는, 상기 제1 영상의 속성 정보 및 상기 제1 영상의 영상 분석 정보 중 적어도 하나를 이용하여 획득될 수 있다.

또한, 상기 제1 영상의 식별 정보는, 복수 개의 속성 정보로부터 획득될 수 있다.

그리고, 획득된 상기 식별 정보에 대한 리스트를 표시하는 단계;를 더 포함할 수 있다.

또한, 상기 리스트 중 적어도 일부를 선택하는 사용자 입력을 수신하는 단계;를 더 포함하고, 상기 제2 영상을 획득하는 단계는, 상기 선택된 식별 정보와 상기 타겟 영상의 식별 정보를 비교하는 단계;를 포함할 수 있다.

그리고, 상기 효과 영상을 생성하는 단계는, 상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 기표시되었던 부분 영상과 다르게 표시하는 단계;를 포함할 수 있다.

또한, 상기 효과 영상은, 상기 부분 영상을 하이라이트시키는 후광 효과, 상기 부분 영상의 픽셀값들의 차를 작게 하는 흐림 효과, 상기 부분 영상의 크기를 변경시키는 크기 효과, 상기 부분 영상의 깊이 정보를 변경시키는 깊이 효과 중 적어도 하나를 이용하는 생성될 수 있다.

그리고, 상기 효과 영상은, 상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합한 영상일 수 있다.

또한, 상기 제1 영상은 라이브 뷰 영상일 수 있다.

그리고, 상기 제2 영상은, 영상 저장을 위한 사용자 입력이 수신되기 전에 상기 라이브 뷰 영상으로부터 임시로 생성된 임시 영상일 수 있다.

또한, 상기 임시 영상은, 상기 라이브 뷰 영상 중 상기 식별 정보에 대응하는 부분 영상의 변화가 기준값 이상일 때마다 생성될 수 있다.

그리고, 상기 효과 영상은, 상기 제1 영상과 상기 제2 영상을 포함할 수 있다.

한편, 일 실시예에 따른 모바일 디바이스는, 객체와 배경을 포함하는 제1 영상을 표시하는 디스플레이부; 상기 객체와 상기 배경 중 어느 하나를 관심 영역으로 선택하는 사용자 입력을 수신하는 사용자 입력부; 및 상기 제1 영상의 속성 정보를 이용하여 상기 관심 영역을 식별하는 식별 정보를 획득하고, 타겟 영상의 속성 정보를 이용하여 상기 타겟 영상으로부터 상기 식별 정보를 갖는 상기 제2 영상을 획득하는 제어부;를 포함할 수 있다.

그리고, 상기 제어부는, 상기 제1 영상과 상기 제2 영상 중 적어도 하나를 이용하여 효과 영상을 생성할 수 있다.

또한, 상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합함으로써 상기 효과 영상을 생성할 수 있다.

그리고, 상기 속성 정보는, 상기 제1 영상 생성시의 컨텍스트 정보 및 사용자에 의해 추가된 상기 제1 영상에 대한 주석(annotation) 정보 중 적어도 하나를 포함할 수 있다.

또한, 상기 제어부는, 상기 속성 정보를 워드넷에 기반하여 일반화함으로써 상기 제1 영상의 식별정보를 획득할 수 있다.

그리고, 상기 제어부는, 상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합함으로써 상기 효과 영상을 생성할 수 있다.

본 개시의 영상 제공 방법 및 장치는 기저장 또는 기촬영된 영상과 다른 영상을 제공함으로써 사용자에게 유용하다.

도 1은 일 실시예에 따른 영상에 효과를 제공하는 방법을 설명하는 흐름도이다.
도 2는 일 실시예에 따른 효과 제공을 위한 GUI(Graphical User Interface)의 일 예를 나타내는 도면이다.
도 3은 일 실시예에 따른 객체에 후광 효과를 제공하는 방법을 설명하는 참조도면이다.
도 4는 일 실시예에 따른 객체에 흐림 효과를 제공하는 방법을 설명하는 참조도면이다.
도 5 및 도 6은 일 실시예에 따른 객체에 크기 효과를 제공하는 방법을 설명하는 참조도면이다.
도 7 및 8은 일 실시예에 따른 객체의 깊이 효과를 제공하는 방법을 설명하는 참조도면이다.
도 9는 일 실시예에 따른 효과 리스트를 표시하는 방법을 설명하는 참조도면이다.
도 10는 일 실시예에 따른 하나의 영상 중 복수 개의 객체에 효과를 제공하는 방법을 설명하는 참조도면이다.
도 11은 일 실시예에 따른 배경에 효과를 제공하는 방법을 설명하는 참조도면이다.
도 12a는 일 실시예에 따른 객체 및 배경에 효과를 제공하는 방법을 설명하는 참조도면이다.
도 12b는 일 실시예에 따른 복수 개의 사용자 입력으로 효과를 제공하는 방법을 설명하는 참조도면이다.
도 13은 일 실시예에 따른 복수 개의 영상에 효과를 제공하는 GUI(Graphical User Interface)를 나타내는 도면이다.
도 14는 일 실시예에 따른 디바이스가 제1 영상의 식별 정보를 이용하여 제2 영상에 효과를 제공하는 방법을 설명하는 순서도이다.
도 15는 일 실시예에 따른 디바이스가 식별 정보를 생성하는 방법을 설명하는 순서도이다.
도 16은 일 실시예에 따른 영상에 대한 속성 정보의 일례를 나타내는 도면이다.
도 17은 디바이스에서 영상의 속성 정보를 이용하여 식별 정보를 생성하는 일례를 설명하는 참조도면이다.
도 18은 디바이스에서 영상 분석 정보를 이용하여 식별 정보를 생성하는 일 예를 나타내는 참조도면이다.
도 19는 일 실시예에 따른 디바이스가 식별 정보 리스트를 표시하는 일례를 나타내는 도면이다.
도 20는 디바이스에서 효과 폴더를 표시하는 일례를 나타내는 도면이다.
도 21은 일 실시예에 따른 외부 장치에 저장된 영상을 이용하여, 디바이스가 영상에 효과를 제공하는 방법을 설명하는 순서도이다.
도 22는 본 발명의 일 실시예에 따르는, 디바이스가 효과 영상을 외부 장치와 공유하는 방법을 설명하기 위한 순서도이다.
도 23은 디바이스가 효과 영상을 외부 장치와 공유하는 일례를 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따르는, 영상 관리 시스템을 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 복수 개의 영상을 결합하여 효과 영상을 제공하는 방법을 설명하는 순서도이다.
도 26a 내지 도 26c는 일 실시예에 따른 복수 개의 영상을 이용하여 객체에 효과를 제공하는 일예를 나타내는 도면이다.
도 27은 일 실시예에 따른 복수 개의 영상을 결합하는 방법을 설명하는 참조도면이다.
도 28a 내지 도 28c는 일 실시예에 따른 복수 개의 영상을 이용하여 배경에 효과를 제공하는 일 예를 나타내는 도면이다.
도 29은 다른 실시예에 따른 복수 개의 영상을 결합하는 방법을 설명하는 참조도면이다.
도 30은 일 실시예에 따른 라이브 뷰 영상을 이용하여 효과 영상을 제공하는 방법을 설명하는 흐름도이다.
도 31은 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다.
도 32는 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다.
도 33은 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다.
도 34는 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 순서도이다.
도 35는 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다.
도 36은 일 실시예에 따른 라이브 뷰 영상에서 동영상을 생성하는 방법을 설명하는 흐름도이다.
도 37은 일 실시예에 따른 동영상을 재생하는 방법을 설명하는 흐름도이다.
도 38은 일 실시예에 따른 메뉴 영상에서 효과를 표시하는 방법을 설명하는 참조도면이다.
도 40은 일 실시예에 따른 실행 빈도에 따른 메뉴 항목에 효과를 제공된 메뉴 영상을 표시한 일 예를 도시한 도면이다.
도 41 내지 도 45는 일 실시예에 따르는, 디바이스(100)를 설명하는 블록도이다.
도 46은 본 발명의 일 실시예에 따르는, 클라우드 서버를 설명하기 위한 블록 구성도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

명세서 전체에서 "영상"이란 객체와 배경을 포함할 수 있다. 여기서 객체는 영상 처리 등을 통해 외곽선으로 구분될 수 있는 부분 영상으로, 예를 들어, 사람, 동물, 건물, 자동차 등이 될 수 있으며, 배경은 객체를 제외한 부분 영상이다. 객체와 배경이 될 수 있는 부분 영상은 반드시 고정되지 않고 상대적일 수 있다. 예를 들어, 사람, 자동차 및 하늘을 포함하는 영상에서 사람 및 자동차는 객체가 될 수 있고, 하늘을 배경이 될 수 있다. 또는 사람 및 자동차를 포함하는 영상에서 사람은 객체가 될 수 있고, 자동차는 배경이 될 수 있다. 다만, 객체에 대한 부분 영상의 크기는 배경에 대한 부분 영상의 크기보다 작은 경우가 일반적이다. 디바이스(100)마다 객체와 배경을 구분하는 기준이 기정의되어 있을 수 있다.

명세서 전체에서 영상은 정지 영상(예컨대, 사진, 그림 등), 동영상(예컨대, TV 프로그램 영상, VOD(Video On Demand), 개인 영상(UCC: User-Created Contents), 뮤직비디오, 유투브 영상 등), 라이브 뷰 영상, 메뉴 영상 등일 수 있다.

명세서 전체에서 관심 영역(effect portion)이라 함은 영상의 부분 영상으로서, 객체 또는 배경이 될 수 있다. 그리고, 영상에 효과를 제공한다는 것은 영상 편집의 일종으로, 관심 영역을 기제공되었던 관심 영역과 전체적으로 다르게 제공하는 것을 의미한다. 영상을 제공한다는 것은 영상을 표시, 재생, 저장 등을 한다는 것을 의미한다.

이하에서는 영상에 효과를 제공하는 영상 시스템에 대해 설명한다. 영상 시스템은 영상을 재생, 저장할 수 있는 디바이스(100) 이외에도 영상이 저장된 서버를 더 포함할 수 있다. 영상 시스템이 서버를 포함하는 경우에 대해서는 후에 자세히 살펴보기로 한다.

일 실시예에 따른 디바이스(100)는 영상을 표시하고 영상에 효과를 제공할 수 있는 장치일 수 있다. 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 데스크톱 컴퓨터, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라(160), IPTV(Internet Protocol Television), DTV(Digital Television), CE 기기(예컨대, 디스플레이 장치를 갖는 냉장고, 에이컨 등) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 디바이스(100)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 디바이스(100)는 손목 시계, 안경, 반지, 팔찌, 목걸이 등일 수 있다.

도 1은 일 실시예에 따른 영상에 효과를 제공하는 방법을 설명하는 흐름도이다.

단계 S110에서, 디바이스(100)는 영상을 표시할 수 있다. 영상은 객체와 배경을 포함할 수 있으며, 정지 영상, 동영상, 라이브 뷰 영상, 메뉴 영상 등일 수 있다.

본 발명의 일 실시예에 의하면, 디바이스(100)가 표시하는 영상은, 디바이스(100)에 내장된 메모리에 저장된 정지 영상, 동영상, 메뉴 영상일 수도 있고, 디바이스(100)에 내장된 카메라(160)에 의해 촬영된 라이브 뷰 영상일 수 도 있으며, 외부 장치, 예를 들어, 다른 사용자가 사용하는 휴대 단말기, SNS(Social Networking Service) 서버, 클라우드 서버, 웹서버 등에 저장된 정지 영상, 동영상, 메뉴 영상일 수도 있으며, 외부 장치에서 촬영된 라이브 뷰 영상일 수도 있다.

단계 S120에서, 디바이스(100)는, 관심 영역을 선택할 수 있다. 관심 영역(region of interest)의 부분 영상으로서, 객체 또는 배경이 될 수 있다. 예를 들어, 디바이스(100)는, 복수의 객체 중 하나의 객체를 관심 영역으로 선택할 수도 있고, 복수의 객체 중 적어도 둘 이상의 객체를 관심 영역으로 선택할 수도 있다. 또는 디바이스(100)는 영상 중 배경을 관심 영역으로 선택할 수 있다.

일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 기초하여 관심 영역을 선택할 수 있다. 예를 들어, 디바이스(100)는 영상 중 일부 영역을 선택하는 사용자 입력을 수신할 수 있고, 선택된 일부 영역을 포함하는 객체 또는 배경을 관심 영역으로 결정할 수 있다.

본 발명의 일 실시예에 의하면, 관심 영역을 선택하는 사용자 입력은 다양할 수 있다. 본 명세서에서 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다.

명세서 전체에서 "터치 입력"이란 사용자가 디바이스(100)를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.

"탭(tap)"은 사용자가 손가락 또는 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.

"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 예를 들어, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.

"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자펜)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다.

"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다.

"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다.

"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다.

"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다.

“핀치(pinch)”는 핀치(pinch)는 사용자가 복수 개의 손가락이나 터치 도구를 화면에 터치한 후 손가락 또는 터치 도구들간의 간격을 넓히거나 좁히는 동작을 나타낸다. 사용자가 엄지와 검지를 화면에 접촉한 후 이들 사이의 간격을 넓히는 동작을 언핀칭(unpinching)이라 칭하고, 이들 사이의 간격을 좁히는 동작을 핀칭 (pinching)이라 칭할 수 있다. 두 손가락의 거기에 따라 확대 값이나 축소 값이 결정된다.

“스와이프(swipe)”는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 일정 거리를 움직이는 동작이다.

명세서 전체에서 "모션 입력"은, 사용자가 디바이스(100)를 제어하기 위해 디바이스(100)에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 디바이스(100)를 회전시키거나, 디바이스(100)를 기울이거나, 디바이스(100)를 상하좌우로 이동시키는 입력을 포함할 수 있다. 디바이스(100)는, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 등을 이용하여, 사용자에 의해 기 설정된 모션 입력을 감지할 수 있다.

명세서 전체에서 "벤딩 입력"은, 디바이스(100)가 플렉서블 디스플레이 장치인 경우, 사용자가 디바이스(100)를 제어하기 위해 디바이스(100)의 전체 또는 일부 영역을 구부리는 입력을 의미한다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 벤딩 센서를 이용하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간 등을 감지할 수 있다.

명세서 전체에서 "키 입력"은 사용자가 디바이스(100)에 부착된 물리적인 키를 이용하여, 디바이스(100)를 제어하는 입력을 의미한다.

명세서 전체에서 "다중 입력"은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 디바이스(100)는, 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다. 또한, 디바이스(100)는 사용자의 터치 입력 및 안구 입력을 수신할 수도 있다. 안구 입력은 디바이스(100)를 제어하기 위해 사용자가 눈의 깜빡임, 응시 위치, 안구의 이동 속도 등을 조절하는 입력을 의미한다.

이하에서는 설명의 편의상 사용자 입력이 키 입력 또는 터치 입력인 경우를 예로 들어 설명하기로 한다.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 기 설정된 버튼을 선택하는 사용자 입력을 수신할 수 있다. 기 설정된 버튼은, 디바이스(100)에 부착된 물리적인 버튼일 수도 있고, GUI(Graphical User Interface) 형태의 가상의 버튼일 수도 있다. 예를 들어, 사용자가 제 1 버튼(예컨대, 홈 버튼) 및 제 2 버튼(예컨대, 음량 조절 버튼)을 함께 선택하는 경우, 디바이스(100)는 화면에 표시되는 일부 영역을 선택할 수 있다.

디바이스(100)는, 화면에 표시된 영상 일부 영역을 터치하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, 일부 영역을 소정 시간 이상(예컨대, 2초 이상) 터치하거나 소정 횟수 이상 터치하는 입력(예컨대, 더블 탭)을 수신할 수 있다. 그러면, 디바이스(100)는 터치된 일부 영역을 포함하는 객체 또는 배경을 관심 영역으로 결정할 수 있다. 즉, 디바이스(100)는 관심 영역을 선택할 수 있다.

그리고, 디바이스(100)는 영상으로부터 관심 영역을 결정할 수 있다. 디바이스(100)는 영상 분석 정보를 이용하여 영상으로부터 관심 영역을 결정할 수 있다. 예를 들어, 디바이스(100)는 터치된 영역에 표시된 객체의 외곽선을 검출할 수 있다. 디바이스(100)는 영상에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 예를 들어, 디바이스(100)는 객체의 외곽선이 차량의 템플릿과 유사한 경우, 영상에 포함된 객체를 차량으로 인식하고 차량 영상을 관심 영역으로 결정할 수 있다.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 얼굴을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..

검출된 얼굴로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴에서 얼굴의 특징을 추출하는 방법은 가버 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.

또는, 디바이스(100)는, 영상의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 영상의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다.

단계 S130에서, 디바이스(100)는 영상에 효과를 제공한다. 디바이스(100)는 영상 중 관심 영역을 기표시되었던 관심 영역에 비해 전체적으로 다르게 제공하도록 영상 중 관심 영역에 효과를 제공할 수 있다. 효과 제공 방법은 다양할 수 있다.

도 2는 일 실시예에 따른 효과 제공을 위한 GUI(Graphical User Interface)의 일 예를 나타내는 도면이다.

도 2의 200-1에 도시된 바와 같이, 디바이스(100)는 임의의 화면을 표시할 수 있다. 임의의 화면은 사진 앨범 어플리케이션이 실행되어 정지 영상이 표시된 화면, 촬영 어플리케이션이 실행되어 라이브 뷰 영상이 표시된 화면, 동영상 앨범 어플리케이션이 실행되어 동영상의 내 동영상 프레임이 표시된 화면, 어플리케이션의 실행을 위한 메뉴 항목을 포함하는 메뉴 영상이 표시된 화면 등이 있을 수 있다. 디바이스(100)는 임의의 화면에서 이용할 수 있는 기능에 대한 기능 창(210)을 제공할 수 있다.

상기한 기능 창(210)에는 화면에서 이용할 수 있는 기능을 나타내는 다양한 항목을 제공할 수 있다. 사용자는 기능 창(210)에서 '편집' 항목을 선택할 수 있다. 사용자가 메뉴 창(210)에서 '편집' 항목(212)을 선택하는 경우, 디바이스(100)는, 도 2의 200-2에 도시된 바와 같이, 다양한 편집 항목을 포함된 편집 창(220)을 제공할 수 있다. 기능 창 및 편집 창은 GUI(Graphical User Interface)의 일종일 수 있다.

도 2의 200-2를 참조하면, 디바이스(100)는 편집 방법을 결정할 수 있는 편집 창(220)을 화면에 표시할 수 있다. 사용자가 편집 창(220)에서 효과 편집(222) 항목을 선택하는 경우, 디바이스(100)는, 영상 중 부분 영상을 기존의 부분 영상과 전체적으로 다르게 표시하는 효과를 제공할 수 있다.

이하에서는 영상에 효과를 제공하는 예를 구체적으로 설명한다.

도 3은 일 실시예에 따른 객체에 후광 효과를 제공하는 방법을 설명하는 참조도면이다. 도 3의 300-1에 도시된 바와 같이, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(310)를 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 사용자는 객체가 표시된 일부 영역을 터치한 후 움직이지 않은 채 즉시 들어 올리는 탭 동작을 수행함으로써 객체가 표시된 일부 영역은 선택할 수 있다. 디바이스(100)는 그래프 컷(graph cut) 방법 및 레벨 셋(level set) 방법 등을 이용하여 영상으로부터 터치된 영역에 포함하는 영역에 표시된 객체를 구분할 수 있다. 그리고, 디바이스(100)는 객체는 관심 영역을 결정할 수 있다.

그리고, 도 3의 300-2에 도시된 바와 같이, 디바이스(100)는 사용자의 선택에 응답하여 객체를 전체적으로 하이라이트시켜, 도 3의 300-1에 표시되었던 객체(310)와 전체적으로 다른 객체(320)을 표시할 수 있다. 관심 영역을 기표시되었던 관심 영역에 비해 전체적으로 하이라이트시키는 영상 처리를 후광 효과라고 할 수 있다. 관심 영역의 외곽선을 하이라이트시킬 수도 있고, 관심 영역 전체를 하이라이트시킬 수도 있다.

도 4는 일 실시예에 따른 객체에 흐림 효과를 제공하는 방법을 설명하는 참조도면이다. 도 4의 400-1에 도시된 바와 같이, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(410)를 선택하는 입력을 수신할 수 있다. 사용자는 관심 영역인 객체(410)가 표시된 일부 영역을 터치한 후 일정 거리 좌우로 이동하는 스와이프 동작을 수행함으로써 객체(410)를 선택할 수 있다. 그러면, 도 4의 400-2에 도시된 바와 같이, 디바이스(100)는 사용자의 선택에 응답하여 객체내 픽셀 값간의 차가 작아짐으로써 흐릿하게 표시되는 흐림 효과가 제공된 객체(420)을 표시할 수 있다. 디바이스(100)는 스와이프하는 시간 또는 횟수에 따라 흐림(blur) 효과의 정도를 다르게 할 수 있다. 예를 들어, 스와이프하는 시간 또는 횟수가 많아질수록 흐림 효과의 정도가 클 수 있다.

도 5 및 도 6은 일 실시예에 따른 객체에 크기 효과를 제공하는 방법을 설명하는 참조도면이다.

도 5의 500-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(510)를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 관심 영역인 객체(510)가 표시된 일부 영역을 두 손가락으로 터치한 상태에서 두 손가락의 거리가 커지는 제스처인 언핀치 동작을 수행함으로써 객체(510)를 선택할 수 있다. 그러면, 디바이스(100)는 객체의 선택에 응답하여, 도 5의 500-2에 도시된 바와 같이, 크기가 확대된 객체(520)를 표시할 수 있다. 선택된 객체의 크기가 커진 반면 선택되지 않는 다른 객체 및 배경의 크기는 변경되지 않는다. 크기 증가는 두 손가락간 거리의 변화량에 의해 결정될 수 있다.

또는, 도 6의 600-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(610)를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 관심 영역인 객체(610)가 표시된 일부 영역을 두 손가락으로 터치한 상태에서 두 손가락의 거리가 작아지는 핀치 동작을 수행함으로써 객체(610)를 선택할 수 있다. 그러면, 디바이스(100)는 객체의 선택에 응답하여, 도 6의 600-2에 도시된 바와 같이, 크기가 축소된 객체(620)를 제공할 수 있다. 선택된 객체의 크기가 축소된 반면 선택되지 않는 다른 객체 및 배경의 크기는 변경되지 않는다. 다만, 선택된 객체의 크기가 축소됨으로써 선택된 객체와 다른 영역 사이에 공간은 미러링 기법 등을 이용하여 선택되지 않은 다른 객체 및 배경에 의해 채워질 수 있다. 크기 축소는 두 손가락간 거리의 변화량에 의해 결정될 수 있다.

효과 제공은 관심 영역의 깊이를 조절 또는 생성하는 것도 포함될 수 있다. 도 7 및 8은 일 실시예에 따른 객체의 깊이 효과를 제공하는 방법을 설명하는 참조도면이다. 도 7의 700-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(710)를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 객체(710)가 표시된 일부 영역을 터치한 상태에서 디바이스(100)를 위로 올리는 동작을 수행함으로써 객체(710)를 관심 영역으로 선택할 수 있다. 그러면, 디바이스(100)는 객체의 선택에 응답하여, 도 7의 700-2에 도시된 바와 같이, 선택된 객체(720)가 선택되기 전의 객체(710)보다 앞에 표시되도록 즉, 사용자로 하여금 선택된 객체(720)가 가깝게 보이게 느껴지도록 하는 깊이 감소 효과가 제공된 객체(720)를 표시할 수 있다.

또는, 도 8의 800-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(810)를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 객체(810)가 표시된 일부 영역을 터치한 상태에서 디바이스(100)를 아래로 움직이는 동작을 수행함으로써 객체(810)를 관심 영역으로 선택할 수 있다. 그러면, 디바이스(100)는 객체(810)의 선택에 응답하여, 도 8의 800-2에 도시된 바와 같이, 선택된 객체(820)가 선택되기 전의 객체(810)보다 뒤에 표시되도록, 즉, 사용자로 하여금 선택된 객체(820)가 멀리 보이게 느껴지도록 하는 깊이 증가 효과가 제공된 객체(820)를 표시할 수 있다.

디바이스(100)는 효과 종류를 사용자의 제스처에 기반하여 결정할 수도 있지만, 디바이스(100)는 효과 리스트를 제공하고, 사용자의 선택한 항목에 기반하여 효과 종류를 결정할 수도 있다. 도 9는 일 실시예에 따른 효과 리스트를 표시하는 방법을 설명하는 참조도면이다.

도 9의 900-1에 도시된 바와 같이 디바이스(100)의 모드가 효과 모드로 설정된 상태에서, 디바이스(100)는 영상을 표시할 수 있다. 사용자는 객체(910)가 표시된 일부 영역을 선택할 수 있다. 그러면, 디바이스(100)는 선택된 영역에 표시된 객체 또는 배경을 관심 영역으로 결정하고, 관심 영역에 적용할 수 있는 효과에 대한 효과 리스트(920)를, 도 9의 900-2에 도시된 바와 같이, 표시할 수 있다.

상기한 효과 리스트(920)는 팝업창으로 표시될 수 있으며, 효과 항목은 텍스트로 표시될 수 있다. 효과 항목으로, 관심 영역을 하이라이트시키는 후광 효과, 관심 영역의 픽셀값 차를 줄이는 흐림 효과, 관심 영역의 크기를 조절하는 크기 효과, 관심 영역의 깊이를 조절하는 깊이 효과 등이 있을 수 있다. 사용자는 효과 항목 중 어느 하나를 선택할 수 있고, 디바이스(100)는 사용자 입력에 대응하여 관심 영역에 효과를 제공할 수 있다.

지금까지 하나의 객체를 선택하고, 선택된 객체에 대해 효과를 제공하는 방법을 설명하였다. 복수 개의 객체에 동일한 효과를 제공할 수도 있고, 복수 개의 객체 중 적어도 두 개는 서로 다른 효과를 제공할 수도 있다.

도 10는 일 실시예에 따른 하나의 영상 중 복수 개의 객체에 효과를 제공하는 방법을 설명하는 참조도면이다. 도 10의 1000-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 제1 객체(1010)를 관심 영역으로 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 제1 객체(1010)가 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 제1 객체(1010)를 관심 영역으로 선택하는 사용자 입력이 수신된 것으로 결정하고, 도 10의 1000-2에 도시된 바와 같이, 후광 효과가 제공된 제1 객체(1012)를 표시할 수 있다. 또한, 디바이스(100)는 영상 중에서 제2 객체(1020)를 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 제2 객체(1020)가 표시된 일부 영역을 두 손가락으로 터치한 상태에서 두 손가락의 거리가 커지는 언핀치 동작을 수행함으로써 제2 객체(1020)를 선택하는 명령을 입력할 수 있다. 그러면, 디바이스(100)는 제2 객체(1020)의 선택에 응답하여, 도 9의 900-3에 도시된 바와 같이, 제2 객체에 크기를 증가시켜, 크기가 증가된 제2 객체(1022)를 표시할 수 있다.

효과 제공은 영상 중 객체뿐만 아니라 배경에도 적용될 수 있다. 도 11은 일 실시예에 따른 배경에 효과를 제공하는 방법을 설명하는 참조도면이다. 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는, 도 11의 1100-1에 도시된 바와 같이, 영상 중에서 배경(1110)을 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 사용자는 배경(1110)이 표시된 일부 영역을 터치한 후 스와이프함으로써 배경을 선택할 수 있다. 그러면, 디바이스(100)는 배경(1110)의 선택에 응답하여 배경 내 픽셀 값간의 차가 작아짐으로써 흐릿해지는 흐림 효과를 제공하고, 도 11의 1100-2에 도시된 바와 같이, 흐림 효과가 제공된 배경(1120)을 표시할 수 있다. 흐림 효과 이외에도 배경을 이전 배경에 비해 전체적으로 다르게 표시되도록 하는 다른 종류의 효과도 적용될 수 있음은 물론이다.

또한, 효과 제공은 배경과 객체에 대해 효과가 제공될 수도 있다. 도 12a는 일 실시예에 따른 객체 및 배경에 효과를 제공하는 방법을 설명하는 참조도면이다. 도 12a의 1200-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 제1 객체(1210)를 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 제1 객체(1210)가 표시된 일부 영역을 터치함으로써 제1 객체(1210)를 선택할 수 있다. 그러면, 디바이스(100)는 제1 객체(1210)의 선택에 응답하여 제1 객체(1210)에 후광 효과를 제공할 수 있다. 상기한 후광 효과는 사용자가 선택한 객체를 강조하기 위한 표시이다.

그리고, 디바이스(100)는, 도 12a의 1200-2에 도시된 바와 같이, 후광 효과가 제공된 제1 객체(1212)를 표시할 수 있다. 또한, 디바이스(100)는 영상 중에서 배경(1220)을 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 배경(1220)이 표시된 일부 영역을 터치한 후 스와이프함으로써 배경(1220)을 선택할 수 있다. 그러면, 도12a의 1200-2에 도시된 바와 같이, 디바이스(100)는 배경(1220)의 선택에 응답하여 배경 내 픽셀 값간의 차가 작아짐으로써 흐릿하게 표시되는 흐림 효과가 제공된 배경(1222)를 표시할 수 있다.

지금까지 하나의 사용자 입력으로 관심 영역이 선택되면 기설정된 효과가 제공된다고 설명하였다. 그러나, 이에 한정되지 않는다. 관심 영역을 선택하는 사용자 입력과 효과를 제공하기 위한 사용자 입력이 분리될 수 있다. 복수 개의 사용자 입력은 연속적으로 수신될 수 있고, 시간차를 두고 수신될 수도 있다. 또한, 관심 영역을 선택하는 사용자 입력과 효과 제공을 위한 사용자 입력이 동일할 수 있다.

도 12b는 일 실시예에 따른 복수 개의 사용자 입력으로 효과를 제공하는 방법을 설명하는 참조도면이다. 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는, 도 12b의 1200-4에 도시된 바와 같이, 영상 중에서 배경(1260)을 관심 영역으로 선택하는 제1 사용자 입력을 수신할 수 있다. 사용자는 배경(1260)이 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 상기한 터치를 제1 사용자 입력으로써 수신하고, 배경(1260)을 관심 영역으로 결정할 수 있다. 디바이스(100)는 영상에서 객체의 외곽선을 검출하여 객체와 배경을 분리할 수 있다. 그리고, 디바이스(100)는 터치된 영역이 객체가 표시된 영역인지 배경이 표시된 영역인지 결정할 수 있다. 도 12b의 1200-4에서 디바이스는 배경이 표시된 영역에서 터치가 수신되었는 바, 배경(1260)을 관심 영역으로 결정할 수 있다.

한편, 디바이스(100)는, 도 12b의 1200-5에 도시된 바와 같이, 배경의 경계선을 하이라이트시키는 인디케이터(1270)를 제공할 수 있다. 사용자는 상기한 인디케이터(1270)를 보고 관심 영역이 잘 선택되었는지 확인할 수 있다. 디바이스(100)는 상기한 인디케이터(1270)를 사용자의 설정에 따라 선택적으로 표시할 수 있다. 그리고, 디바이스(100)는 배경에 효과를 제공하기 위한 제2 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 배경이 표시된 영역에서 특정 방향으로 드래그하는 동작을 수행할 수 있다. 제1 사용자 입력과 제2 사용자 입력은 연속적으로 수신될 수 있다. 예를 들어, 사용자는 배경을 터치(제1 사용자 입력)한 후 바로 드래그(제2 사용자 입력)할 수 있다.

그러면, 디바이스(100)는 상기한 드래그를 제2 사용자 입력으로 수신하고, 배경을 드래그하는 방향으로 흘러내는 흘림(flow) 효과를 제공하고, 도 12b의 1200-6에 도시된 바와 같이, 흘림 효과가 제공된 배경(1262)을 표시할 수 있다. 상기한 흘림 효과는 영상이 흘려내리게 표시되는 효과로서, 픽셀값이 이웃하는 픽셀들 중 드래그하는 방향을 기준으로 이전에 배치된 픽셀의 픽셀값을 기초로 보정되는 것이다.

하나의 영상을 편집함으로써 다른 영상도 동일한 효과를 제공할 수 있다. 도 13은 일 실시예에 따른 복수 개의 영상에 효과를 제공하는 GUI(Graphical User Interface)를 나타내는 도면이다. 도 13의 1300-1을 참조하면, 디바이스(100)는 사용자 입력에 대응하여 객체에 효과를 제공하였다. 디바이스(100)는 다른 영상에도 동일한 효과를 적용할 것인지를 문의하는 문의 창(1310)을 표시할 수 있다. 다른 영상 이용

그리고, 디바이스(100)는 동일한 효과를 적용할 것을 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 문의 창(1310) 중 ‘예’가 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 사용자 입력에 응답하여, 도 13의 1300-2에 도시된 바와 같이, 효과 적용이 가능한 영상에 대한 리스트(1320)를 표시할 수 있다. 사용자가 리스트(1320) 중 특정 영상의 종류를 선택하면, 디바이스(100)는 선택된 영상에 동일한 효과를 제공할 수 있다.

이하에서는 설명의 편의를 도모하기 위해, 효과 제공이 가능한 영상인지 여부를 판단하기 위해 검토하는 영상을 타겟 영상이라고 한다. 관심 영역으로 선택하기 위해 이용된 영상을 제1 영상이라고 하고, 타겟 영상 중 효과를 제공하거나 효과 제공에 이용되는 영상을 제2 영상이라고 한다.

디바이스(100)가 제2 영상에 효과를 제공하기 위해 타겟 영상으로부터 제2 영상을 검색 또는 획득할 수 있다. 디바이스(100)는 제1 영상의 관심 영역 즉, 객체 또는 배경을 식별하는 식별 정보를 이용하여 제2 영상을 검색할 수 있다.

본 명세서에서 '식별 정보'는 식별하는 핵심적인 단어, 문구 등을 의하며, 식별 정보는 객체 및 배경 별로 정의될 수 있다. 객체 및 배경은 하나 이상의 식별 정보를 가질 수 있다. 본 발명의 일 실시예에 의하면, 식별 정보는, 영상의 속성 정보 또는 영상에 대한 영상 분석 정보를 이용하여 획득될 수 있다.

도 14는 일 실시예에 따른 디바이스(100)가 제1 영상의 식별 정보를 이용하여 제2 영상에 효과를 제공하는 방법을 설명하는 순서도이다.

단계 S1410에서, 디바이스(100)는, 제1 영상에서 관심 영역을 선택할 수 있다. 예를 들어, 위에서 살펴본 바와 같이, 디바이스(100)는 제1 영상을 표시하고, 사용자 입력에 의해 제1 영상 중 객체 또는 배경을 관심 영역으로 선택할 수 있다. 디바이스(100)는 제1 영상의 관심 영역에 효과를 제공할 수도 있고, 추후 제2 영상과 함께 제1 영상의 관심 영역에 효과를 제공할 수도 있다. 제1 영상은 정지 영상, 동영상의 일부인 동영상 프레임(즉, 동영상의 정지 영상), 라이브 뷰 영상일 수 있다. 제1 영상이 정지 영상 또는 동영상 프레임인 경우, 상기한 정지 영상 또는 동영상은 디바이스(100)에 기저장된 영상일 수도 있고, 외부 장치에 저장되어 전송된 영상일 수도 있다. 또는 제1 영상이 라이브 뷰 영상인 경우, 상기한 라이브 뷰 영상은 디바이스(100)에 내장된 카메라(160)가 촬영한 영상일 수도 있고 외부 장치인 카메라(160)가 촬영되어 전송된 영상일 수도 있다.

단계 S1420에서, 디바이스(100)는, 선택된 관심 영역에 식별 정보가 정의되어 있는지 판단할 수 있다. 예를 들어, 영상이 저장될 때 영상에 포함된 객체 및 배경 각각을 설명하는 식별 정보가 매칭되어 저장될 수 있다. 이 경우, 디바이스(100)는 선택된 관심 영역에 식별 정보가 정의되어 있다고 판단할 수 있다. 본 발명의 일 실시예에 의하면, 객체 및 배경 각각에 대응하는 식별 정보는, 영상 각각에 대한 메타데이터 형태로 저장될 수 있다.

단계 S1430에서, 디바이스(100)는, 선택된 관심 영역에 식별 정보가 정의되어 있지 않은 경우, 식별 정보를 생성할 수 있다. 예를 들어, 디바이스(100)는, 메타데이터 형태로 저장된 속성 정보를 이용하여, 식별 정보를 생성하거나, 영상에 대한 영상 처리를 통해 획득되는 영상 분석 정보를 이용하여 식별 정보를 생성할 수 있다. 단계 S1430에 대해서 도 15를 참조하여 좀 더 자세히 살펴보기로 한다.

단계 S1440에서, 디바이스(100)는 타겟 영상으로부터 식별 정보를 갖는 제2 영상을 검색할 수 있다. 타겟 영상은 사용자 입력에 따라 디바이스(100)에 저장된 정지 영상, 동영상, 외부 장치에 저장된 정지 영상, 동영상 등일 수 있다. 동영상에서 제2 영상을 검색할 때, 디바이스(100)는 식별 정보를 갖는 동영상 프레임을 검색할 수 있다.

타겟 영상에도 식별 정보가 기정의되어 있을 수도 있고, 식별 정보가 정의되어 있지 않을 수도 있다. 타겟 영상에 식별 정보가 기정의되어 있는 경우, 디바이스(100)는 타겟 영상의 식별 정보와 관심 영역의 식별 정보간의 동일성 여부를 기준으로 제2 영상을 검색할 수 있다. 타겟 영상에 식별 정보가 정의되어 있지 않는 경우, 단계 S1430에서와 같이, 디바이스(100)는 타겟 영상의 식별 정보를 생성할 수 있다. 그리고, 생성된 타겟 영상의 식별 정보와 관심 영역의 식별 정보간의 동일성 여부를 기준으로 제2 영상을 검색할 수 있다.

제1 영상의 관심 영역에 대한 식별 정보가 복수 개인 경우, 디바이스(100)는 적어도 일부의 식별 정보를 이용하여 영상을 검색할 수도 있다. 또는 디바이스(100)는 식별 정보 리스트를 사용자에게 제공하여 사용자가 식별 정보를 선택할 수 있다. 디바이스(100)는, 식별 정보 리스트에서 하나 이상의 식별 정보를 선택하는 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 식별 정보 전체를 선택하는 입력을 수신할 수도 있고, 일부 식별 정보들을 선택하는 입력을 수신할 수 있다.

본 발명의 일 실시예에 의하면, 식별 정보를 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.

단계 S1450에서, 디바이스(100)는 검색된 제2 영상에 효과를 제공할 수 있다. 디바이스(100)는 식별 정보를 이용하여 제2 영상 중 관심 영역에 대응하는 부분 영상을 구분하고, 구분된 부분 영상에 제1 영상의 관심 영역에 적용되는 효과와 동일한 효과를 제공할 수 있다. 단계 S1410에서, 디바이스(100)는 사용자의 선택에 대응하여 제1 영상으로부터 관심 영역을 구분하고, 단계 S1450에서, 디바이스(100)는 식별 정보를 이용하여 제2 영상으로부터 관심 영역에 대응하는 부분 영상을 구분할 수 있다.

도 15는 일 실시예에 따른 디바이스(100)가 식별 정보를 생성하는 방법을 설명하는 순서도이다. 도 15에서는 제1 영상 내 관심 영역의 식별 정보가 기 정의되어 있지 않은 경우를 예로 들어 설명하기로 한다. 도 15의 식별 정보를 생성하는 방법은 타겟 영상의 식별 정보를 생성할 때도 적용될 수 있음은 물론이다.

단계 S1510에서, 디바이스(100)는, 관심 영역에 대응하는 속성 정보가 존재하는지 판단할 수 있다. 예를 들어, 디바이스(100)는, 관심 영역에 대응하는 메타데이터를 확인할 수 있다. 디바이스(100)는, 메타데이터로부터 관심 영역의 속성 정보를 추출할 수 있다.

일 실시예에 의하면, 속성 정보는 영상의 특성을 나타내는 정보로서, 영상 생성시의 컨텍스트 정보, 사용자에 의해 추가된 주석(annotation) 정보를 포함할 수 있다.

컨텍스트 정보는 영상 생성시의 영상과 관련된 환경 정보로서, 예를 들어, 영상의 형식에 관한 정보, 영상의 크기에 관한 정보, 영상이 생성된 디바이스(100)에 관한 정보, 영상 생성시의 시간 정보, 영상 생성시의 시간 정보, 영상 생성시의 온도 정보, 영상의 출처 정보 중 적어도 하나를 포함할 수 있다. 컨텍스트 정보는 디바이스가 자동으로 획득하여 저장할 수 있다.

주석 정보는 사용자가 영상에 대해 기록한 정보로서, 영상에 포함된 객체에 관한 정보, 예를 들어, 객체의 종류, 명칭, 상태 뿐만 아니라, 배경에 대한 정보, 예를 들어, 장소 정보, 시간 정보, 날씨 정보 등을 포함할 수 있다.

단계 S1520 및 단계 S1540에서, 디바이스(100)는 영상에 대한 속성 정보를 일반화하여, 식별 정보를 생성할 수 있다.

본 명세서에서, 속성 정보를 일반화한다는 것은, 워드넷(계층적 어휘 참조 체계)에 기반하여 속성 정보를 상위 계층 언어로 표현하는 것을 의미할 수 있다.

‘워드넷(Wordnet)’은 단어 사이의 의미나 사용 패턴에 관한 정보로 단어 간의 연관성을 구축한 데이터베이스이다. 워드넷의 기본적 구조는 의미적으로 동일한 단어 리스트를 가진 신세(synset)이라는 논리적 그룹들과 이러한 신셋들 사이의 관계를 정의한 의미적 관계로 구성된다. 의미적 관계로는 상위어(hypernym)과 하위어(hyponym), 부분어(meronym)와 전체어(holonym)가 있다. 워드넷의 명사 부분에서는 최상위어로 개체(entity)를 가지며 의미에 따라 이를 확장함으로써 하위어를 형성할 수 있다. 그러므로 워드넷도 개념 어휘를 분류하고 정의하여 계층적 구조를 이룬 일종의 온톨로지라고 할 수 있다.

‘온톨로지(ontology)’는 공유된 개념화(shared conceptualization)에 대한 정형화되고 명시적인 명세(formal and explicit specification)를 의미한다. 온톨로지는 단어와 관계들로 구성된 일종의 사전으로서 볼 수 있으며, 그 속에는 특정 도메인에 관련된 단어들이 계층적으로 표현되어 있고, 추가적으로 이를 확장할 수 있는 추론 규칙이 포함되어 있다.

예를 들어, 관심 영역이 배경인 경우, 디바이스(100)는, 속성 정보에 포함된 위치 정보를 상위 계층 정보로 일반화하여, 식별 정보를 생성할 수 있다. 예를 들어, 디바이스(100)는, GPS 좌표 값(위도: 37.4872222 경도: 127.0530792)을 존(zone), 빌딩, 주소, 지역 명, 도시명, 국가 명 등의 상위 개념으로 표현할 수 있다. 이때, 빌딩, 지역 명, 도시명, 국가 명 등이, 배경에 대한 식별 정보로 생성할 수 있다.

단계 S1530 및 단계 S1540에서, 디바이스(100)는, 관심 영역에 대응하는 속성 정보가 존재하는지 않는 경우, 관심 영역에 대한 영상 분석 정보를 획득하고, 영상 분석 정보를 이용하여 관심 영역에 대한 식별 정보를 생성할 수 있다.

본 발명의 일 실시예에 의하면, 영상 분석 정보는, 영상 프로세싱을 통해 획득되는 데이터를 분석한 정보로서, 예를 들어, 영상에 나타나는 객체에 관한 정보(예컨대, 객체의 종류, 상태, 명칭 등), 영상에 나타나는 장소에 관한 정보, 영상에 나타나는 계절이나 시간에 관한 정보, 영상에 나타나는 분위기나 감정에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 관심 영역이 객체인 경우, 디바이스(100)는, 영상에 포함된 객체의 외곽선을 검출할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 획득할 수 있다. 예를 들어, 디바이스(100)는, 객체의 외곽선이 차량의 템플릿과 유사한 경우, 영상에 포함된 객체를 차량으로 인식할 수 있다. 이 경우, 디바이스(100)는 영상에 포함된 객체의 정보를 이용하여, ‘차’라는 식별 정보를 생성할 수 있다.

또는, 디바이스(100)는 영상에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 예를 들어, 디바이스(100)는, 영상에서 사람의 얼굴 영역을 검출할 수 있다. 얼굴 영역을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..

디바이스(100)는, 검출된 얼굴 영역으로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 가버(Gabor) 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.

디바이스(100)는, 영상 내 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자들의 얼굴의 특징과 비교할 수 있다. 예를 들어, 추출된 얼굴의 특징이 기 등록된 제 1 사용자의 얼굴의 특징과 유사한 경우, 디바이스(100)는, 선택된 영상에 제 1 사용자가 부분 영상으로 포함되어 있다고 판단할 수 있다. 이때, 디바이스(100)는 얼굴 인식 결과에 기반하여, '제1 사용자'라는 식별 정보를 생성할 수 있다.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 영상의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다. 디바이스(100)는 영상의 시각적 특징을 이용하여 식별 정보를 생성할 수 있다. 예를 들어, 영상이 하늘 배경을 포함하는 경우, 디바이스(100)는, 하늘 배경에 대한 시각적 특징을 이용하여, ‘하늘’ 라는 식별 정보를 생성할 수 있다.

또한, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상을 영역 단위로 나눈 후, 각 영역과 가장 유사한 클러스터를 찾아서 그 클러스터에 연결된 식별 정보를 생성할 수도 있다.

영상에 대응하는 속성 정보가 존재하는지 않는 경우, 영상에 대한 영상 분석 정보를 획득하고, 영상 분석 정보를 이용하여 영상에 대한 식별 정보를 생성할 수 있다.

한편, 도 15에서는, 영상의 속성 정보가 존재하지 않는 경우에 디바이스(100)에서 영상 분석 정보를 획득하는 실시예를 설명하였으나, 이에 한정되는 것은 아니다.

예를 들어, 디바이스(100)는 영상 분석 정도 또는 속성 정보 중 어느 하나만을 이용하여 식별 정보를 생성할 수도 있다. 또는, 디바이스(100)는, 속성 정보가 존재하더라도 영상 분석 정보를 추가로 획득할 수도 있다. 이때, 디바이스(100)는 속성 정보와 영상 분석 정보를 함께 이용하여, 식별 정보를 생성할 수 있다.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 속성 정보로부터 생성된 식별 정보들과 영상 분석 정보로부터 생성된 식별 정보들을 비교하여, 공통되는 식별 정보를 최종 식별 정보로 결정할 수 있다. 공통되지 않는 식별 정보들에 비해 공통되는 식별 정보들의 신뢰도는 높을 수 있다. 신뢰도는, 영상으로부터 추출되는 식별 정보들이 적합한 식별 정보라고 믿을 수 있는 정도를 의미한다.

도 16은 일 실시예에 따른 영상에 대한 속성 정보의 일례를 나타내는 도면이다. 도 16에 도시된 바와 같이, 영상의 속성 정보가 메타데이터 형태로 저장될 수 있다. 예를 들어, 영상 별로 종류(1610), 시간(1611), 위치(GPS)(1612), 해상도(1613), 크기(1614), 수집 디바이스(1617) 등의 정보가 속성 정보로 저장될 수 있다.

본 발명의 일 실시예에 의하면, 영상 생성 시의 컨텍스트 정보도 메타데이터 형태로 저장될 수 있다. 예를 들어, 디바이스(100)에서 영상 1(1601)이 생성되는 경우, 디바이스(100)는, 영상 1(1601) 생성 시점에 날씨 애플리케이션으로부터 날씨 정보(예컨대, cloudy), 기온 정보(예컨대, 20℃) 등을 수집할 수 있다. 그리고 디바이스(100)는 영상 1(1601)에 대한 속성 정보로서 날씨 정보(1615) 및 기온 정보(816)를 저장할 수 있다. 또한, 디바이스(100)는, 영상 1(1601) 생성 시점에 일정 애플리케이션으로부터 이벤트 정보를 수집할 수도 있다. 이 경우, 디바이스(100)는, 영상 1(1601)에 대한 속성 정보로서 이벤트 정보(미도시)를 저장할 수 있다.

본 발명의 일 실시예에 의하면, 사용자에 의해 입력된 사용자 추가 정보(818)가 메타데이터 형태로 저장될 수도 있다. 예를 들어, 사용자 추가 정보(818)에는, 사용자가 영상을 설명하기 위해 입력한 주석(annotation) 정보, 사용자에 의해 설명되는 객체에 대한 정보 등이 포함될 수 있다.

본 발명의 일 실시예에 의하면, 영상에 대한 영상 프로세싱 결과 획득된 영상 분석 정보(예컨대, 객체 정보 등)를 메타데이터 형태로 저장할 수도 있다. 예를 들어, 디바이스(100)는 영상 1(1601)에 포함된 객체들에 관한 정보(예컨대, 사용자 1, 사용자 2. 나, 의자)를 영상 1(1601)에 대한 속성 정보로 저장할 수 있다.

도 17은 디바이스에서 영상의 속성 정보를 이용하여 식별 정보를 생성하는 일례를 설명하는 참조도면이다.

본 발명의 일 실시예에 의하면, 디바이스(100)는 사용자 입력에 기초하여 영상(1710) 중 배경(1712)을 관심 영역으로 선택할 수 있다. 이때, 디바이스(100)는 영상의 속성 정보(1720) 중 선택된 배경(1712)의 속성 정보를 확인할 수 있다. 디바이스(100)는, 배경(1712)의 속성 정보를 이용하여, 식별 정보(1730)를 검출할 수 있다.

예를 들어, 디바이스(100)는, 관심 영역으로 선택된 영역이 배경인 경우, 속성 정보로부터 배경과 관련된 정보를 검출할 수 있다. 그리고, 디바이스(100)는, 속성 정보 중, 위치 정보(예컨대, 위도: 37; 25; 26.928…, 경도: 126; 35; 31.235…)를 이용하여, '공원'이라는 식별 정보를 생성하거나 날씨(예를 들어, 구름)를 이용하여 '흐림'이라는 식별 정보를 생성할 수 있다. 속성 정보들을 조합하여 새로운 식별 정보를 생성할 수 있다. 예를 들어, 상기 속성 정보 중 시간 정보가 2012.5.3.15:13이고 위치 정보가 위도: 37; 25; 26.928…, 경도: 126; 35; 31.235…이라면 상기 위치 정보를 이용하여 해당 지역을 판단하고 상기 시간 정보를 추가로 이용하여 해당 지역에서의 계절을 판단할 수 있다. 예를 들어 상기 위치 정보가 '한국'에 해당하면 상기 시간 정보를 이용하여 '봄'이라는 계절에 관한 식별 정보를 생성할 수 있다. 다른 예로 상기 위치 정보와 시간정보로 생성된 계절 정보에 관한 식별 정보와 상기 날씨 정보를 이용함으로써 '봄비'라는 식별 정보를 생성할 수도 있다.

또는, 디바이스(100)는 사용자에 의해 추가된 주석 정보로부터 객체에 대한 정보인 '스마일', '사용자 1' 등의 식별 정보를 생성할 수 있다.

한편, 컨텍스트 정보와 주석 정보가 상반된 경우, 디바이스(100)는 영상 분석 정보를 이용하여 식별 정보를 생성할 수 있다. 예를 들어, 컨텍스트 정보 중 날씨 정보가 비이나, 주석 정보 중 날씨 정보가 흐림인 경우, 디바이스는 영상 분석 정보를 이용하여 날씨 정보가 비인지 흐름인지 결정할 수 있다. 그러나, 이에 한정되지 않는다. 컨텍스트 정보와 주석 정보가 상반된 경우, 디바이스(100)는 주석 정보에 우선 순위를 두어 주석 정보로부터 식별 정보를 생성할 수 있다.

도 18은 디바이스에서 영상 분석 정보를 이용하여 식별 정보를 생성하는 일 예를 나타내는 참조도면이다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 사용자 입력에 기초하여 영상(1810) 중 제1 객체(1812)를 관심 영역으로 선택할 수 있다. 이때, 디바이스(100)는 제1 객체(1812)에 대한 영상 분석을 통해 제1 객체(1812)를 설명하는 식별 정보(예를 들어, 사람, 웃는 얼굴)를 생성할 수 있다.

예를 들어, 디바이스(100)는, 관심 영역에서 사람의 얼굴 영역을 검출할 수 있다. 그리고 디바이스(100)는, 검출된 얼굴 영역으로부터 얼굴의 특징을 추출할 수 있다. 디바이스(100)는, 추출된 얼굴의 특징과 기 등록된 사용자들의 얼굴의 특징을 비교하여, 선택된 제1 객체가 '사용자 1'이라는 식별 정보를 생성할 수 있다. 또한, 디바이스(100)는 검출된 얼굴 영역 중 입술 모양으로부터 '스마일'는 식별 정보를 생성할 수 있다. 그리하여, 디바이스(100)는 식별 정보(1820)으로부터 '사용자 1' 및 '스마일'을 획득할 수 있다.

한편, 관심 영역에 대한 식별 정보가 복수 개인 경우, 디바이스(100)는 식별 정보 리스트를 표시하여 사용자가 식별 정보를 선택할 수 있는 기회를 제공할 수 있다. 도 19는 일 실시예에 따른 디바이스가 식별 정보 리스트를 표시하는 일례를 나타내는 도면이다.

도 19의 1900-1을 참조하면, 디바이스(100)는 사용자 입력에 기초하여 제1 영상(1910) 중 제1 객체(1912)를 관심 영역으로 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 제1 객체(1912)를 설명하는 식별 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 스마일, 엄마, 윙크 등의 식별 정보를 획득할 수 있다.

도 19의 1900-2를 참조하면, 디바이스(100)는, 획득된 식별 정보 리스트(1920)을 표시할 수 있다. 이때, 디바이스(100)는, 식별 정보 리스트(1920) 중에서 적어도 일부의 식별 정보를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, 엄마(1922)를 선택하는 사용자 입력을 수신할 수 있다. 디바이스(100)는 타겟 영상 (예를 들어, 사진 앨범)로부터 사용자에 의해 선택된 식별 정보(예를 들어, 엄마)를 갖는 제2 영상을 검색하고, 제2 영상 중 엄마에 해당하는 부분 영상에 효과를 제공한 후, 도 19의 1900-3에 도시된 바와 같이, 엄마라는 부분 영상에 효과가 제공된 제2 영상(1930)을 표시할 수 있다.

효과가 제공된 제2 영상이 복수 개인 경우, 디바이스(100)는 폴더(이하 '효과 폴더'라고 한다)를 생성하여, 효과가 제공된 영상(이하 '효과 영상'이라고 한다.)을 저장할 수 있다. 상기한 효과 영상은 앞서 기술한 제1 영상 및 제2 영상 중 적어도 하나를 포함할 수 있다. 디바이스(100)는 효과 영상을 효과 폴더 내에 저장할 수도 있지만, 효과 영상의 링크 정보를 효과 폴더에 저장할 수도 있다.

도 20는 디바이스에서 효과 폴더를 표시하는 일례를 나타내는 도면이다. 디바이스(100)는, 제2 영상에 대한 검색이 완료되면, 제2 영상에 효과를 제공할 수 있다. 그리고, 도 20의 2000-1에 도시된 바와 같이, 효과 폴더(2010)를 표시할 수 있다. 상기한 효과 폴더(2010)에는 효과 영상이 저장되어 있다. 효과 영상 자체가 효과 폴더(2010)에 저장되어 있을 수도 있지만, 효과 영상의 링크 정보가 효과 폴더(2010)에 저장도 수도 있다.

사용자는 효과 폴더(2010)를 선택하는 명령을 입력할 수 있다. 디바이스(100)는, 사용자 입력에 대응하여, 도 20의 2000-2에 도시된 바와 같이, 적어도 하나의 효과 영상(2020)을 표시할 수 있다.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상 생성 시간 정보, 영상 생성 위치 정보, 영상의 용량 정보, 및 영상의 해상도 정보 중 적어도 하나에 기초하여, 효과 폴더(1300)에 포함된 적어도 하나의 효과 영상을 배열할 수 있다.

또는 효과 영상의 종류가 다른 경우, 디바이스(100)는 종류별로 효과 폴더를 생성할 수 있고, 동일한 종류의 효과 영상을 하나의 효과 폴더에 저장할 수도 있다. 디바이스(100)는 효과 폴더 내에 있는 영상에 새 관심 영역을 선택하고, 선택된 관심 영역에 새 효과를 제공할 수도 있다. 효과 폴더 내에 새 효과가 적용된 효과 영상이 많은 경우, 효과 폴더 내에 새 효과 폴더를 생성할 수 있음도 물론이다.

앞서 기술한 바와 같이, 효과를 제공하는 영상은 디바이스(100)에 저장된 영상 뿐만 아니라, 외부 장치에 저장된 영상에도 적용될 수 있다. 상기한 외부 장치는 SNS 서버, 클라우드 서버, 다른 사용자가 사용하는 디바이스(100) 등일 수 있다. 도 21은 일 실시예에 따른 외부 장치에 저장된 영상을 이용하여, 디바이스가 영상에 효과를 제공하는 방법을 설명하는 순서도이다.

단계 S2100에서, 외부 장치는, 하나 이상의 영상이 저장되어 있다. 여기서, 외부 장치에 저장된 영상 중 어느 하나가 제1 영상이 될 수 있다. 외부 장치는, 네트워크로 연결되는 디바이스(100)에 소셜 네트워킹 서비스를 제공하는 서버일 수도 있고, 네트워크로 연결된 다른 휴대 단말기일수도 있으며, 클라우도 서버일 수도 있다. 소셜 네트워킹 서비스는, 온라인상에서 이용자들이 인맥을 새롭게 쌓거나 기존 인맥과의 관계를 강화할 수 있게 하는 서비스를 의미한다.

본 발명의 일 실시예에 의하면, 외부 장치는, 여러 사용자의 디바이스(100)들로부터 업로드되는 영상을 저장할 수 있다.

단계 S2120에서, 디바이스(100)는, 외부 장치에 접속할 수 있다. 디바이스(100)는 로그인을 수행하여 외부 장치와 접속할 수 있다. 로그인은, 외부 장치에 저장된 영상에 대한 접근 권한을 획득하는 절차일 수 있다. 예를 들어, 디바이스(100)는, 사용자의 식별 정보(예컨대, 계정 정보) 및 사용자의 인증 정보(예컨대, 비밀번호)를 외부 장치에 전송하면서 인증을 요청을 할 수 있다. 인증에 성공한 경우, 디바이스(100)는 외부 장치에 접속 가능한 상태가 되고 외부 장치에 저장된 영상에 접근할 수 있다.

단계 S2130에서, 디바이스(100)는 외부 장치에 저장된 영상 중 제1 영상을 수신할 수 있다. 디바이스(100)는 외부 장치에 저장된 영상 중 어느 하나를 제1 영상으로 요청할 수 있고, 그에 대한 응답으로 외부 장치는 제1 영상을 디바이스(100)에 전송할 수 있다. 제1 영상은 객체와 배경을 포함할 수 있다. 상기한 제1 영상은 정지 영상, 동영상 프레임 또는 라이브 뷰 영상일 수 있다.

단계 S2140에서, 디바이스(100)는, 제1 영상 중 관심 영역을 선택할 수 있다. 예를 들어, 디바이스(100)는 제1 영상 중 일부 영역을 선택하는 사용자 입력을 수신하고, 일부 영역을 포함하는 외곽선을 검출하고, 외곽선 내의 영역을 관심 영역을 선택할 수 있다. 상기한 외곽선 내의 영역을 객체 또는 배경일 수 있다.

본 발명의 일 실시예에 의하면, 관심 영역을 선택하는 사용자 입력은 다양할 수 있다. 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다. 예를 들어, 디바이스(100)는, 외부 장치에 저장된 복수의 영상 중 특정 컨텐트를 소정 시간 이상(예컨대, 2초 이상) 터치하거나 소정 횟수 이상 터치하는 입력(예컨대, 더블 탭)을 수신할 수 있다.

단계 S2150에서, 디바이스(100)는, 선택된 관심 영역을 식별하는 식별 정보에 대해 외부 장치에 문의한다. 그리고, 단계 S2160에서, 디바이스(100)는 외부 장치로부터 식별 정보에 대한 응답을 수신한다. 디바이스(100)는 관심 영역에 대응하는 객체 또는 배경에 대한 식별 정보가 기정의되어 있는지 문의할 수 있다. 식별 정보가 기정의되어 있으면, 외부 장치는 그에 대한 응답으로 관심 영역에 대한 식별 정보를 디바이스(100)에게 전송할 수 있다.

그러나, 외부 장치에 객체 또는 배경에 대한 식별 정보가 기정의되어 있지 않으면, 외부 장치는 자신이 식별 정보를 생성할 수 있는지 여부를 판단하고, 자신이 식별 정보를 생성할 수 있으면 관심 영역에 대한 식별 정보를 생성하여 디바이스(100)에 전송할 수 있다. 식별 정보를 생성할 때, 외부 장치는 관심 영역의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용할 수 있다. 그러나, 외부 장치가 식별 정보를 생성할 수 없는 경우에는 관심 영역에 대해 자신이 갖고 있는 정보만을 디바이스(100)에 전송할 수 있다. 또는, 외부 장치는 식별 정보를 생성할 수 없다는 응답을 디바이스(100)에 전송할 수 있다.

단계 S2170 에서, 디바이스(100)는 외부 장치의 응답에 기초하여 관심 영역의 식별 정보를 획득할 수 있다. 디바이스(100)는 외부 장치로부터 식별 정보를 수신할 수도 있고, 디바이스(100)가 관심 영역의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용하여 관심 영역의 식별 정보를 생성할 수도 있다.

단계 S2180에서, 디바이스(100)는 식별 정보를 갖는 제2 영상을 검색할 수 있다. 디바이스(100)는 타겟 영상으로부터 식별 정보를 갖는 제2 영상을 검색할 수 있다. 여기서 타겟 영상은 디바이스(100)에 저장된 영상일 수 있다. 또는 외부 장치에 저장된 영상일 수도 있다. 또는 도 21에 도시된 외부 장치 이외의 다른 외부 장치에 저장된 영상일 수도 있다. 제2 영상을 검색할 때, 디바이스(100)는 타겟 영상에 저장된 식별 정보를 이용할 수 있으며, 식별 정보가 기정의 되어 있지 않는 경우, 타겟 영상의 속성 정보 또는 영상 분석 정보를 이용하여 식별 정보를 생성한 후, 공통의 식별 정보를 갖는 제2 영상을 검색할 수 있다.

또한, 식별 정보가 복수 개의 경우, 디바이스(100)는 사용자 입력에 대응하여 식별 정보 중 적어도 일부를 이용하여 제2 영상을 검색할 수도 있다.

단계 S2190 에서, 디바이스(100)는 검색된 제2 영상에 효과를 제공할 수 있다.

도 21에서는 외부 장치에 저장된 제1 영상의 관심 영역을 이용하여 디바이스(100) 또는 외부 장치에 저장된 제2 영상에 효과를 제공한다고 하였으나, 이에 한정되지 않는다. 디바이스(100)에 저장된 제1 영상의 관심 영역을 이용하여 외부 장치에 저장된 제2 영상에 효과를 제공할 수 있음도 물론이다.

디바이스(100)는 효과 영상을 외부 장치와 공유할 수도 있다. 도 22는 본 발명의 일 실시예에 따르는, 디바이스가 효과 영상을 외부 장치와 공유하는 방법을 설명하기 위한 순서도이다.

단계 S2210에서, 디바이스(100)는, 효과 영상을 표시할 수 있다. 예를 들어, 디바이스(100)는, 제1 영상 중 사용자에 의해 선택된 관심 영역에 효과를 제공하여 효과 영상을 생성할 수 있다. 그리고, 디바이스(100)는 상기한 효과 영상을 표시할 수 있다. 또한, 제1 영상의 관심 영역을 이용하여 제2 영상에 효과를 제공함으로써 효과 영상을 생성할 수 있다.

단계 S2220에서, 디바이스(100)는, 효과 영상에 대한 공유를 요청하는 사용자 입력을 수신할 수 있다.

본 발명의 일 실시예에 의하면, 효과 영상에 대한 공유를 요청하는 사용자 입력은 다양할 수 있다. 예를 들어, 상기한 사용자 입력은 키 입력, 음성 입력, 터치 입력, 밴딩 입력 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 대응하여, 효과 영상을 공유하기 위한 외부 장치에 대한 정보를 수신할 수 있다. 여기서, 외부 장치는 디바이스(100)와 연결된 클라우드 서버, SNS 서버, 동일 사용자의 다른 디바이스(100), 타 사용자의 디바이스(100), 및 웨어러블 디바이스 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 사용자는, 클라우드 스토리지의 계정 정보, 사용자의 SNS 계정 정보, 제 1 폴더에 포함된 전체 영상을 전송하기 위한 친구 디바이스(100)의 식별 정보(예컨대, 전화 번호 정보, MAC 주소 정보 등), 친구의 이메일 계정 정보 등을 입력할 수 있다.

단계 S2230에서, 디바이스(100)는, 효과 영상을 외부 장치와 공유할 수 있다.

예를 들어, 디바이스(100)는, 효과 영상의 링크 정보(예컨대, 저장 위치 정보, URL 등)를 외부 장치로 전송할 수 있다. 또한, 디바이스(100)는, 효과 영상 자체를 외부 장치로 전송할 수도 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 효과 영상을 특정 서버에 업로드하고, 특정 서버에 접근할 수 있는 권한을 외부 장치에 부여할 수도 있다.

도 22에서는 효과 영상을 외부 장치와 공유한다고 하였으나, 이에 한정되지 않는다. 효과 폴더를 외부 장치와 공유할 수도 있다. 또한, 상기한 효과 영상은 하나 이상일 수 있다.

도 23은 디바이스가 효과 영상을 외부 장치와 공유하는 일례를 설명하기 위한 도면이다. 도 23의 2300-1을 참조하면, 디바이스(100)는, 사용자 입력에 의해 효과 폴더(2310)를 생성하여 표시할 수 있다. 상기한 효과 폴더(2310)에는 하나 이상의 효과 영상이 저장되어 있을 수 있다. 상기한 효과 폴더(2310)에는 효과 영상 자체가 저장되어 있거나, 효과 영상의 링크 정보가 저장되어 있을 수 있다.

이때, 디바이스(100)는 효과 폴더(2310)를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, 효과 폴더(2310)를 소정 시간(예컨대, 2초) 이상 터치하는 입력을 수신할 수 있다. 디바이스(100)는 사용자 입력에 응답하여, 폴더 탐색, 즐겨 찾기 추가, 전송(2322)이라는 항목을 포함하는 메뉴 창(2320)을 제공할 수 있다.

사용자가 메뉴 창(2320)에서 전송(2322)를 선택하는 경우, 디바이스(100)는, 도 23의 2300-2에 도시된 바와 같이, 수신 장치를 선택할 수 있는 선택창(2330)을 제공할 수 있다. 디바이스(100)는, 선택창(2330)에서 연락처(Contact)(2332)를 선택하는 사용자 입력을 수신할 수 있다. 사용자는 연락처(Contact)에서 특정 친구를 선택할 수 있다. 이때, 디바이스(100)는, 특정 친구의 디바이스(100)와 효과 폴더(2310)를 공유할 수 있다.

예를 들어, 디바이스(100)는 특정 친구의 디바이스(100)로 효과 폴더(2310)에 포함된 효과 영상을 전송할 수 있다. 또는, 디바이스(100)는 특정 친구의 디바이스(100)로 효과 폴더(2310)에 포함된 효과 영상의 링크 정보를 전송할 수도 있다.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 이메일 또는 문자 메시지를 통해 특정 친구의 디바이스(100)로 효과 폴더(2310)에 포함된 효과 영상(또는 효과 영상의 링크 정보)를 전송할 수 있다.

도 24는 본 발명의 일 실시예에 따르는, 영상 관리 시스템을 설명하기 위한 도면이다.

도 24에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 관리 시스템은 디바이스(100) 및 클라우드 서버(200)를 포함할 수 있다. 그러나 도시된 구성 요소보다 많은 구성 요소에 의해 영상 관리 시스템이 구현될 수도 있고, 도시된 구성 요소보다 적은 구성 요소에 의해 영상 관리 시스템이 구현될 수도 있다.

본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 데스크톱 컴퓨터, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라(160), IPTV(Internet Protocol Television), DTV(Digital Television), CE 기기(예컨대, 디스플레이 장치를 갖는 냉장고, 에이컨 등) 중 하나일 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 디바이스(100)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수도 있다. 예를 들어, 본 발명의 일 실시예에 따른 디바이스(100)는 손목 시계, 안경, 반지, 팔찌, 목걸이 중 적어도 하나일 수 있다.

디바이스(100)은 앞서 기술한 디바이스(100)와 동일하므로, 구체적인 설명은 생략한다. 이하에서는 설명의 편의상 디바이스(100)가 제 1 디바이스, 제 2 디바이스, …, 및 제 N 디바이스 중 하나인 경우를 예로 들어 설명하기로 한다.

클라우드 서버(200)는, 디바이스(100)와 통신 연결될 수 있다. 예를 들어, 클라우드 서버(200)는, 디바이스(100)와 계정 정보를 통해 연결될 수 있다.

본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 디바이스(100)와 데이터를 송수신할 수 있다. 예를 들어, 디바이스(100)는, 클라우드 서버(200)에 적어도 하나의 영상을 업로드할 수 있다. 또한, 디바이스(100)는, 클라우드 서버(200)로부터 영상에 대한 속성 정보, 영상 분석 정보, 식별 정보 등을 수신할 수도 있다.

본 발명의 일 실시예에 따른 클라우드 서버(200)는 인텔리젼스 엔진을 포함할 수 있으며, 클라우드 서버(200)는, 디바이스(100)에서 수집되는 영상을 인텔리젼스 엔진을 통하여 분석할 수 있다. 예를 들어, 클라우드 서버(200)는, 영상에 대한 속성 정보로부터 식별 정보를 생성할 수도 있고, 영상에 대한 영상 처리를 통해 영상 분석 정보를 획득할 수도 있다. 또한, 클라우드 서버(200)는, 디바이스(100)에서 발생하는 이벤트 정보를 분석하여 사용자의 상태, 디바이스(100)의 상황 등을 추론할 수도 있다. 클라우드 서버(200)도 앞서 기술한 디바이스(100)와 같이, 사용자의 입력에 대응하여 효과 영상 및 효과 폴더 중 적어도 하나를 생성할 수 있다.

지금까지 효과 영상은 하나의 영상에서 객체 또는 배경에 효과를 제공한다고 하였다. 효과 제공시 관심 영역의 영상 데이터를 이용한 것이다. 즉, 후광 효과, 흐림 효과 등은 관심 영역의 픽셀 값을 조절하는 것이고, 크기 효과는 관심 영역의 픽셀 값을 보다 넓은 영역에 적용하거나, 보다 좁은 영역에 적용하는 것이다. 또한, 깊이 효과는 관심 영역의 픽셀 값을 이용하여 3차원 영상(예를 들어, 좌안 영상 및 우안 영상)을 생성하는 것이다.

효과 제공시 다른 영상의 영상 데이터를 이용할 수 도 있다. 즉, 제2 영상의 영상 데이터를 이용하여 제1 영상에 효과를 제공할 수 있다. 이하, 다른 영상의 영상 데이터를 이용하여 관심 영역에 효과를 제공하는 것을 복수 개의 영상을 결합하여 효과를 제공한다고 기재한다. 도 25는 일 실시예에 따른 복수 개의 영상을 결합하여 효과 영상을 제공하는 방법을 설명하는 순서도이다.

단계 S2510에서, 디바이스(100)는, 제1 영상에서 관심 영역을 선택할 수 있다. 예를 들어, 위에서 살펴본 바와 같이, 디바이스(100)는 디바이스(100) 또는 외부 장치에 저장된 정지 영상 또는 동영상 프레임을 제1 영상으로 표시할 수 있다. 또는 디바이스(100)는 디바이스(100) 또는 외부 장치에서 촬영된 라이브 뷰 영상을 제1 영상으로 표시할 수 있다. 사용자의 입력에 대응하여, 디바이스(100)는 제1 영상의 객체 또는 배경을 관심 영역으로 선택할 수 있다.

단계 S2520에서, 디바이스(100)는, 선택된 관심 영역의 식별 정보를 획득한다. 예를 들어, 제1 영상이 저장될 때 제1 영상에 포함된 객체 및 배경 각각을 식별하는 식별 정보가 매칭되어 저장될 수 있다. 본 발명의 일 실시예에 의하면, 객체 및 배경 각각에 대응하는 식별 정보는, 메타데이터 형태로 저장될 수 있다. 이 경우, 디바이스(100)는 선택된 관심 영역에 식별 정보가 정의되어 있다고 판단할 수 있다. 디바이스(100)는 기저장된 식별 정보를 독출함으로서 식별 정보를 획득할 수 있다.

선택된 관심 영역의 식별 정보가 정의되어 있지 않은 경우, 디바이스(100)는 식별 정보를 생성함으로써 식별 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는, 메타데이터 형태로 저장된 속성 정보를 이용하여 식별 정보를 생성하거나, 영상에 대한 영상 처리를 통해 획득되는 영상 분석 정보를 이용하여 식별 정보를 생성할 수 있다.

그리고, 단계 S2530에서, 디바이스(100)는 타겟 영상으로부터 관심 영역과 동일한 식별 정보를 갖는 제2 영상을 검색할 수 있다. 타겟 영상은 검색 대상이 되는 하나 이상의 영상으로서, 디바이스(100) 또는 외부 장치에 저장된 정지 영상, 동영상일 수 있다.

관심 영역이 하나의 식별 정보를 갖는 경우, 디바이스(100)는 타겟 영상으로부터 상기한 식별 정보를 갖는 제2 영상을 검색할 수 있다. 관심 영역이 복수 개의 식별 정보를 갖는 경우, 디바이스(100)는 모든 식별 정보를 갖는 영상을 검색할 수 있다. 그러나, 이에 한정되지 않는다. 디바이스(100)는 일부의 식별 정보를 갖는 영상을 검색할 수도 있다. 디바이스(100)는 식별 정보 리스트를 사용자에게 제공하며, 식별 정보 리스트에서 하나 이상의 식별 정보를 선택하는 사용자 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 식별 정보 전체를 선택하는 사용자 입력을 수신할 수도 있고, 일부 식별 정보들을 선택하는 사용자 입력을 수신할 수 있다.

본 발명의 일 실시예에 의하면, 식별 정보를 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.

단계 S2540에서, 디바이스(100)는 검색된 하나 이상의 제2 영상 중 어느 하나를 선택할 수 있다. 디바이스(100)는 검색된 하나 이상의 제2 영상을 표시할 수 있다. 제2 영상은 썸네일 형식으로 표시할 수 있다. 검색된 제2 영상이 복수 개인 경우, 디바이스(100)는 검색 순서에 따라 제2 영상을 표시할 수도 있고, 제2 영상의 생성 순서를 기준으로 제2 영상을 표시할 수도 있다. 제2 영상의 표시 순서는 사용자의 입력에 따라 설정될 수도 있다. 제2 영상이 표시된 상태에서 사용자의 입력에 대응하여 디바이스(100)는 하나 이상의 제2 영상 중 어느 하나를 선택할 수 있다. 검색된 영상이 하나인 경우, 디바이스(100)는 사용자의 입력과 무관하게 검색된 제2 영상을 선택할 수 있음도 물론이다.

단계 S2550에서, 디바이스(100)는 제1 영상과 제2 영상을 결합하여 효과 영상을 생성한다. 디바이스(100)는 제1 및 제2 영상으로부터 관심 영역을 분리하고, 분리된 제2 영상 중 관심 영역에 대응하는 부분 영상을 제1 영상의 관심 영역이 위치하는 영역에 결합함으로써 효과 영상을 생성할 수 있다. 또는 디바이스(100)는 관심 영역의 영상 데이터를 제2 영상의 관심 영역에 대응하는 부분 영상의 영상 데이터로 교체함으로써 효과 영상을 생성할 수도 있다.

도 26a 내지 도 26c는 일 실시예에 따른 복수 개의 영상을 이용하여 객체에 효과를 제공하는 일예를 나타내는 도면이다. 디바이스(100)의 모드가 효과 모드로 설정된 상태에서, 도 26a의 2600-1에 도시된 바와 같이, 디바이스(100)는 임의의 제1 영상(2610)을 표시할 수 있다. 상기한 제1 영상(2610)은 정지 영상, 동영상 프레임, 라이브 뷰 영상 등일 수 있다. 디바이스(100)는 제1 영상(2610) 중 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 제1 영상(2610) 중 객체(2612)가 표시된 일부 영역을 터치할 수 있고, 디바이스(100)는 사용자의 입력에 대응하여, 터치된 영역을 중심으로 영상 처리를 하여 터치된 영역을 포함하는 객체(2612)를 관심 영역으로 선택할 수 있다.

그리고, 도 26a의 2600-2에 도시된 바와 같이, 디바이스(100)는 객체에 제공할 수 있는 효과에 대한 정보인 효과 리스트(2620)를 표시할 수 있다. 효과 리스트(2620)는 제1 영상(2610)과 중첩되게 표시될 수 있다. 사용자는 효과 리스트(2620) 중 어느 하나는 선택하는 입력을 수행할 수 있다. 예를 들어, 사용자는 '다른 영상 이용'이라는 항목이 표시된 일부 영역은 터치함으로써 입력을 수행할 수 있다.

디바이스(100)는 관심 영역인 객체(2612)를 식별하는 식별 정보를 획득할 수 있다. 식별 정보가 기저장되어 있으면, 디바이스(100)는 기저장된 식별 정보를 독출함으로씨 식별 정보를 획득할 수 있다. 식별 정보가 기저장되어 있는 않으면, 디바이스(100)는 객체의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용하여 식별 정보를 생성함으로써 식별 정보를 획득할 수 있다. 그리고, 도 26b의 2600-3에 도시된 바와 같이, 식별 정보 리스트(2630)를 표시할 수 있다. 상기한 식별 정보 리스트(2630)도 제1 영상(2610)과 중첩되게 표시될 수 있다. 식별 정보 리스트(2630) 중 적어도 일부를 선택하는 사용자 입력을 통해, 디바이스(100)는 적어도 일부의 식별 정보를 검색용 식별 정보로 결정할 수 있다.

또한, 도 26b의 2600-4에 도시된 바와 같이, 디바이스(100)는 타겟 영상에 대한 정보를 나타내는 타겟 영상 리스트(2640)를 표시할 수 있다. 타겟 영상 리스트(2640) 중 적어도 일부를 선택하는 사용자 입력을 통해, 디바이스(100)는 타겟 영상을 결정할 수 있다.

디바이스(100)는 타겟 영상에서 선택된 식별 정보를 포함하는 제2 영상을 검색할 수 있다. 타겟 영상이 정지 영상인 경우, 디바이스(100)는 정지 영상 단위로 제2 영상을 검색할 수 있다. 타겟 영상이 동영상인 경우, 디바이스(100)는 동영상 프레임 단위로 제2 영상을 검색할 수 있다.

검색된 제2 영상(2650)을, 도 26c의 2600-5에 도시된 바와 같이, 표시할 수 있다. 제1 영상(2610)과 제2 영상(2650)은 표시 영역의 영역을 나누어 표시될 수 있다. 제2 영상(2650)이 복수 개인 경우, 디바이스(100)는 검색 순서 등을 기준으로 복수 개의 제2 영상(2650)을 순차적으로 나열할 수 있다.

그리고, 하나 이상의 제2 영상 중 어느 하나의 영상(2660)을 선택하는 사용자 입력을 수신하면, 도 2600c의 2600-6에 도시된 바와 같이, 제1 영상(2610)과 선택된 제2 영상(2660)이 결합한 효과 영상(2670)을 표시할 수 있다. 디바이스(100)는 제1 영상(2610)의 선택된 객체(2612) 대신 제2 영상(2660)의 객체(2662)를 결합하여 효과 영상(2670)을 생성할 수 있다.

제2 영상(2660)의 객체(2662)의 크기 및 형상이 제1 영상(2610)의 객체(2612)와 다소 상이할 수 있다. 디바이스(100)는 영상 결합시 복원 기법을 이용할 수 있다. 도 27은 일 실시예에 따른 복수 개의 영상을 결합하는 방법을 설명하는 참조도면이다. 디바이스(100)는 제1 영상(2710)으로부터 관심 영역인 객체(2712)를 제외한 영상(이하 '제1 부분 영상'이라 한다.)(2714)을 분리할 수 있다. 디바이스(100)는 영상 에지 특성 등을 이용하여 제1 영상으로부터 제1 부분 영상(2714)를 분리할 수 있다. 또한, 디바이스(100)는 제2 영상(2720)으로부터 영상 에지 특성 등을 관심 영역에 대응하는 객체(이하 '제2 부분 영상'이라 한다)(2722)를 분리할 수 있다.

그리고, 디바이스(100)는 제1 부분 영상(2714)과 제2 부분 영상(2722)간의 중첩이 최소가 되도록 제1 부분 영상(2714)과 제2 부분 영상(2722)을 결합한다. 디바이스(100)는 제1 부분 영상(2714)과 제2 부분 영상(2722)이 중첩된 영역(2732)에서 제1 부분 영상(2714)의 일부를 삭제하고, 제1 부분 영상(2714)과 제2 부분 영상(2722) 모두 표시되지 않은 영역(2734)은 제1 부분 영상(2714)을 이용하여 복원시킴으로써 효과 영상(2730)을 생성할 수 있다.

도 28a 내지 도 28c는 일 실시예에 따른 복수 개의 영상을 이용하여 배경에 효과를 제공하는 일 예를 나타내는 도면이다. 디바이스(100)의 모드가 효과 모드로 설정된 상태에서, 도 28a의 2800-1에 도시된 바와 같이, 디바이스(100)는 임의의 제1 영상(2810)을 표시할 수 있다. 상기한 제1 영상(2810)은 정지 영상, 동영상 프레임, 라이브 뷰 영상 등일 수 있다. 디바이스(100)는 제1 영상(2810) 중 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 제1 영상(2810) 중 배경(2814)이 표시된 알뷰 영역을 터치하는 입력을 수행할 수 있고, 디바이스(100)는 사용자의 입력에 대응하여, 터치된 영역을 중심으로 영상 처리를 하여 배경(2814)을 관심 영역으로 선택할 수 있다.

그리고, 도 28a의 2800-2에 도시된 바와 같이, 디바이스(100)는 배경(2814)에 제공할 수 있는 효과에 대한 정보인 효과 리스트(2820)를 표시할 수 있다. 효과 리스트(2820)는 제1 영상(2810)과 중첩되게 표시될 수 있다. 사용자는 효과 리스트(2820) 중 어느 하나를 선택하는 입력을 수행할 수 있다. 예를 들어, 사용자는 '다른 영상 이용'이라는 항목이 표시된 일부 영역은 터치함으로써 입력을 수행할 수 있다.

디바이스(100)는 관심 영역인 배경(2814)을 식별하는 식별 정보를 획득할 수 있다. 식별 정보가 기저장되어 있으면, 디바이스(100)는 기저장된 식별 정보를 독출함으로씨 식별 정보를 획득할 수 있다. 식별 정보가 기저장되어 있는 않으면, 디바이스(100)는 객체의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용하여 식별 정보를 생성함으로써 식별 정보를 획득할 수 있다. 그리고, 도 28b의 2800-3에 도시된 바와 같이, 식별 정보 리스트(2830)를 표시할 수 있다. 상기한 식별 정보 리스트(2830)도 제1 영상(2810)과 중첩되게 표시될 수 있다. 식별 정보 리스트(2830) 중 적어도 일부를 선택하는 사용자 입력을 통해, 디바이스(100)는 적어도 일부의 식별 정보를 검색용 식별 정보로 결정할 수 있다.

또한, 도 28b의 2800-4에 도시된 바와 같이, 디바이스(100)는 타겟 영상에 대한 정보를 나타내는 타겟 영상 리스트(2840)를 표시할 수 있다. 타겟 영상 리스트(2840) 중 적어도 일부를 선택하는 사용자 입력을 통해, 디바이스(100)는 타겟 영상을 결정할 수 있다.

디바이스(100)는 타겟 영상에서 검색용 식별 정보를 포함하는 제2 영상을 검색할 수 있다. 타겟 영상이 정지 영상인 경우, 디바이스(100)는 정지 영상 단위로 제2 영상을 검색할 수 있다. 타겟 영상이 동영상인 경우, 디바이스(100)는 동영상 프레임 단위로 제2 영상을 검색할 수 있다.

검색된 제2 영상(2850)을, 도 28c의 2800-5에 도시된 바와 같이, 표시할 수 있다. 제1 영상(2810)과 제2 영상(2850)은 영역이 구분되어 표시될 수 있다. 제2 영상(2850)이 복수 개인 경우, 디바이스(100)는 검색 순서 등을 기준으로 복수 개의 제2 영상(2850)을 순차적으로 나열할 수 있다.

그리고, 하나 이상의 제2 영상(2850) 중 어느 하나의 영상(2860)을 선택하는 사용자 입력을 수신하면, 도 28의 2800-6에 도시된 바와 같이, 제1 영상(2810)과 선택된 제2 영상(2860)이 결합한 효과 영상(2870)을 표시할 수 있다. 디바이스(100)는 제1 영상의 관심 영역에 제2 영상(2860)의 배경(2864)을 결합하여 효과 영상(2870)을 생성할 수 있다.

제2 영상(2860)의 배경(2864)의 크기 및 형상이 제1 영상(2810)의 배경(2814)와 다소 상이할 수 있다. 디바이스(100)는 영상 결합시 영상 복원 기법을 이용할 수 있다. 도 29은 다른 실시예에 따른 복수 개의 영상을 결합하는 방법을 설명하는 참조도면이다. 디바이스(100)는 제1 영상(2910)으로부터 관심 영역인 배경을 제외한 영상(이하 '제3 부분 영상'이라 한다.)(2912)을 분리할 수 있다. 디바이스(100)는 영상 에지 특성 등을 이용하여 제1 영상(2910)으로부터 제1 부분 영상(2912)를 분리할 수 있다. 또한, 디바이스(100)는 제2 영상(2920)으로부터 영상 에지 특성 등을 관심 영역에 대응하는 부분 영상(이하 '제4 부분 영상'이라 한다)(2924)를 분리할 수 있다.

그리고, 디바이스(100)는 제4 부분 영상(2924)으로부터 픽셀 정보가 없는 영역(2932)을 소정 픽셀 값으로 채움으로써 배경 영상(2930)을 생성할 수 있다. 배경 영상(2930) 생성시, 디바이스(100)는 주변 영역의 픽셀값을 이용하는 미러링 기법을 이용하여 픽셀 정보가 없는 영역(2932)의 픽셀 값을 결정할 수 있다. 그리고. 디바이스(100)는 배경 영상(2930)에 제3 부분 영상(2912)을 결합함으로써 효과 영상(2940)을 생성할 수 있다. 디바이스(100)는 제1 영상(2910)에서 제3 부분 영상(2912)의 위치 정보를 이용하여 제3 부분 영상(2912)을 배경 영상에 결합할 수 있다. 제3 부분 영상(2912)과 중첩되는 배경 영상(2930)의 부분은 삭제될 수 있다.

라이브 뷰 영상으로 효과 영상을 제공할 수 있다. 라이브 뷰 영상은 카메라(160)에 의해 촬영되어 표시되는 영상으로서 저장 명령이 수신되기 전의 영상이다. 상기한 카메라(160)는 디바이스(100)에 내장된 카메라(160)일 수도 있고, 외부 장치일 수도 있다. 앞서 기술한 바와 같이, 디바이스(100)는 사용자의 입력에 대응하여 라이브 뷰 영상 중 객체 또는 배경을 관심 영역으로 선택할 수 있고, 선택된 관심 영역을 선택되기 전의 관심 영역과 전체적으로 다르게 표시할 수 있다. 예를 들어, 디바이스(100)는 관심 영역에 후광 효과, 흐림 효과, 크기 효과, 깊이 효과 등을 제공할 수 있다. 그리고, 저장 명령을 수신하면, 디바이스(100)는 효과가 제공된 라이브 뷰 영상을 저장할 수 있다. 디바이스(100)는 디바이스(100)의 촬영 모드에 따라 효과가 제공된 라이브 뷰 영상을 정지 영상 또는 동영상으로 저장할 수 있다.

뿐만 아니라, 디바이스(100)는 라이브 뷰 영상으로부터 복수 개의 영상을 추출하여 효과 영상을 제공할 수 있다. 도 30은 일 실시예에 따른 라이브 뷰 영상을 이용하여 효과 영상을 제공하는 방법을 설명하는 흐름도이다. 단계 S3010 단계에서, 디바이스(100)는 라이브 뷰 영상을 표시할 수 있다. 라이브 뷰 영상은 카메라(160)에 의해 촬영되어 표시되는 영상으로서 저장 명령이 수신되기 전의 영상이다. 상기한 카메라(160)는 디바이스(100)에 내장된 카메라(160)일 수도 있고, 외부 장치일 수도 있다. 이하 설명의 편의를 도모하기 위해 저장 입력이 수신된 후 생성된 영상을 촬영된 영상이라고 한다.

단계 S3010 단계에서, 디바이스(100)는 관심 영역을 선택한다. 사용자는 라이브 뷰 영상 중 일부 영역을 선택하는 명령을 입력할 수 있고, 디바이스(100)는 선택된 일부 영역을 포함하는 객체 또는 배경을 관심 영역을 결정할 수 있다.

일부 영역을 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.

단계 S3030 및 단계 S3040 단계에서, 디바이스(100)는 라이브 뷰 영상으로부터 임시 영상을 생성할 수 있다. 임시 영상은 관심 영역을 포함하는 영상으로서 사용자의 저장 입력을 수신하기 전에 임시로 생성된 영상이다.

상기한 임시 영상은 관심 영역에 대한 부분 영상일 수 있다. 예를 들어, 임시 영상은 관심 영역으로 선택된 객체 또는 배경만으로 구성된 부분 영상일 수 있다. 또는 임시 영상은 관심 영역을 포함하는 라이브 뷰 영상에 대한 프레임 영상일 수도 있다.

또한, 상기한 임시 영상으로 임시로 버퍼에 생성되어 저장될 수도 있지만, 임시로 생성되어 표시 영역에 표시될 수 도 있다.

임시 영상은 관심 영역이 선택된 시점에서부터 저장 입력이 수신될 때까지 생성될 수 있다. 예를 들어, 관심 영역이 선택된 시점에 임시 영상이 하나 생성되고 저장 입력이 수신된 시점에 임시 영상이 하나 생성되어 총 두 개의 임시 영상이 생성될 수 있다. 또는 임시 영상은 관심 영역이 선택된 시점부터 저장 입력이 수신되기 전까지 일정 시간 단위 (예를 들어, 3초)로 생성될 수 있다. 또는 임시 영상은 임시 영상은 관심 영역이 선택된 시점부터 저장 입력이 수신되기 전까지 관심 영역의 변화가 기준값 이상일때마다 생성될 수 있다.

임시 영상 중 관심 영역이 선택된 시점에 생성된 임시 영상을 최초 임시 영상이라고 하고, 저장 명령이 수신된 시점에 생성된 임시 영상을 최종 임시 영상이라고 한다. 디바이스(100)는 저장 입력이 수신되면, 최초 임시 영상과 최종 임시 영상을 포함하는 복수 개의 임시 영상을 획득할 수 있다. 그리고, 임시 영상 중 관심 영역만으로 구성된 임시 영상을 관심 영상일 수 있다. 디바이스(100)는 최초 임시 영상과 최종 임시 영상을 포함하는 복수 개의 임시 영상 중 어느 하나로부터 관심 영상을 생성할 수 있다.

저장을 위한 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.

저장 입력을 수신하면, 단계 S3050에서, 디바이스(100)는 복수 개의 임시 영상을 이용하여 효과 영상을 생성할 수 있다. 즉 버퍼에 임시 저장된 복수 개의 임시 영상을 독출하여 결합함으로써 효과 영상을 생성할 수 있다. 그리고, 생성된 효과 영상을 저장할 수 있다. 또한, 버퍼에 저장된 임시 영상은 삭제될 수 있다. 효과 영상 생성시, 디바이스(100)는 최초 임시 영상 중 관심 영역인 객체 또는 배경을 최종 임시 영상에 결합함으로써 효과 영상을 생성할 수 있다. 또는 복수 개의 임시 영상 중 관심 영역에 대응하는 부분 영상을 최종 임시 영상에 결합함으로써 효과 영상을 생성할 수 있다.

도 31은 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다. 도 31의 3100-1에 도시된 바와 같이, 디바이스(100)의 모드가 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3110)을 표시할 수 있다. 디바이스(100)는 라이브 뷰 영상(3110) 중에서 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 라이브 뷰 영상(3110) 중 객체(3112)가 표시된 일부 영역을 터치할 수 있다. 그러면, 다비이스는 객체(3112)를 관심 영역으로 선택할 수 있다. 객체(3112)가 관심 영역으로 선택되면, 디바이스(100)는 객체를 포함하는 최초 임시 영상을 생성할 수 있다. 그리고, 디바이스(100)는 최초 임시 영상 중 관심 영역만으로 구성된 관심 영상(3120)을 생성할 수 있다. 그리고, 디바이스(100)는, 도 31의 3100-2에 도시된 바와 같이, 다른 라이브 뷰 영상(3130)를 표시할 수 있다. 사용자로부터 저장을 위한 사용자 입력을 수신하면, 도 31의 3100-2에 도시된 바와 같이, 최종 임시 영상(3130)에 관심 영상(3120)이 결합된 영상(3140)을 생성하여 저장할 수 있다. 관심 영상(3130)의 위치는 임시 영상 생성 시점의 표시 영역에 고정될 수 있다.

임시 영상이 표시 영역에 고정되어 있는 상태에서 디바이스(100)는 다양한 형태의 영상을 생성할 수 있다. 도 32는 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다. 도 32의 3200-1에 도시된 바와 같이, 디바이스(100)의 모드가 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3210)을 표시할 수 있다. 디바이스(100)는 라이브 뷰 영상(3210) 중에서 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 라이브 뷰 영상(3210) 중 제1 객체(3212)가 표시된 일부 영역을 터치할 수 있다. 그러면, 다비이스는 제1 객체(3212)를 관심 영역으로 선택할 수 있다. 제1 객체가 관심 영역으로 선택되면, 디바이스(100)는 제1 객체를 포함하는 최초 임시 영상을 생성하고, 최초 임시 영상으로부터 관심 영상(3220)을 생성할 수 있다. 생성된 관심 영상(3220)을 라이브 뷰 영상(3210)과 중첩하여 표시할 수 있다.

한편, 관심 영상(3220)의 위치는 임시 영상 생성 시점에 고정되기 때문에 카메라(160)의 촬영 각도 또는 위치가 변경된다 하더라도 표시 영역에 표시되는 관심 영상(3220)은 고정되어 있다. 그리하여, 사용자가 카메라(160)를 90도 회전하면, 도 31의 3100-2에 도시된 바와 같이, 표시 영역에 고정된 관심 영상(3220)도 함께 90도 회전한다. 하지만, 라이브 뷰 영상(3230)은 회전되지 않는다. 그리고, 저장 명령을 수신하면, 도 31의 3100-3에 도시된 바와 같이, 디바이스(100)는 관심 영상(3220)과 최종 임시 영상(3230)을 결합한 효과 영상(3240)을 생성하여 저장할 수 있다. 여기서 최종 임시 영상(3230)은 저장 입력이 수신된 후 생성된 임시 영상이다. 최종 임시 영상(3230)에도 제1 객체(3232)가 포함될 수 있다. 디바이스(100)는 최종 임시 영상(3230)에 포함된 제1 객체(3232)를 삭제하고, 관심 영상(3220)을 결합하여 효과 영상(3240)을 생성할 수 있다. 효과 영상 중 픽셀 정보가 없는 영역은 영상 복원 기법에 의해 복원될 수 있음은 물론이다.

관심 영상이 표시 영역에 고정된다고 하였으나, 이에 한정되지 않는다. 관심 영상의 위치는 사용자 입력에 대응하여 변경될 수 있다. 예를 들어, 관심 영상과 라이브 뷰 영상이 중첩되어 표시된 상태에서, 사용자는 관심 영상이 표시된 일부 영역을 터치한 후 드래그하는 동작을 수행할 수 있다. 그러면, 디바이스(100)는 사용자 입력에 대응하여 관심 영상의 위치를 드래그가 종료되는 지점으로 변경시킬 수 있다. 디바이스(100)는 관심 영상의 크기 등도 사용자 입력에 대응하여 변경시킬 수 있다.

뿐만 아니라, 라이브 뷰 영상의 관심 영역의 위치에 대응하여 관심 영상의 위치가 변경될 수도 있다. 도 33은 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다. 도 33의 3300-1에 도시된 바와 같이, 디바이스(100)의 모드가 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3310)을 표시할 수 있다. 디바이스(100)는 라이브 뷰 영상(3310) 중에서 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 라이브 뷰 영상(3310) 중 제1 객체(3312)가 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 제1 객체(3312)를 관심 영역으로 선택할 수 있다. 제1 객체(3312)가 관심 영역으로 선택되면, 디바이스(100)는 제1 객체(3312)를 포함하는 관심 영상(3320)을 생성할 수 있다.

도 33의 3300-2에 도시된 바와 같이, 디바이스(100)는 표시 영역 중 관심 영상(3320)을 기설정된 위치에 표시할 수 있다. 즉, 디바이스(100)는 관심 영상을 생성시점의 위치가 아닌 디바이스(100)가 기설정한 위치에 표시할 수 있다. 디바이스(100)는 생성된 관심 영상(3320)을 라이브 뷰 영상(3330)과 중첩하여 표시할 수 있다. 도 33의 3300-2의 라이브 뷰 영상(3330)과 도 33의 3300-1의 라이브 뷰 영상(3310)은 다를 수 있다.

그리고, 저장 입력을 수신하면, 디바이스(100)는 도 33의 3300-3에 도시된 바와 같이, 효과 영상(3340)을 생성할 수 있다. 디바이스(100)는 효과 영상 생성시, 최종 임시 영상 중 관심 영역에 대응하는 제1 객체(3332)의 위치로 관심 영상(3320)을 이동시켜 결합 함으로써 효과 영상(3340)을 생성할 수 있다. 도 33에서는 저장 입력을 수신하면 관심 영상을 제1 객체의 위치로 이동시켜 최종 임시 영상과 결합한다고 하였으나, 이에 한정되지 않는다. 디바이스(100)는 라이브 뷰 영상을 표시할 때, 관심 영상에 대응하는 영역, 즉, 제1 객체가 표시된 영역으로 관심 영상을 이동시켜 실시간으로 표시할 수 있음도 물론이다.

지금까지 라이브 뷰 영상에 관심 영역을 선택된 시점의 최초 임시 영상과 최종 임시 영상을 이용하여 효과 영상을 생성한다고 하였다. 그러나, 이에 한정되지 않는다. 디바이스(100)는 최초 임시 영상과 최종 임시 영상 이외에도 하나 이상의 임시 영상을 생성할 수도 있다. 그리고 하나 이상의 임시 영상을 이용하여 효과 영상을 생성할 수도 있다. 도 34는 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 순서도이다.

단계 S3410에서, 디바이스(100)는 라이브 뷰 영상 중에서 관심 영역을 선택할 수 있다. 디바이스(100)의 모드가 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3410)을 표시할 수 있다. 사용자는 라이브 뷰 영상 중 객체 또는 배경이 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 터치된 영역을 포함하는 영역에 표시된 객체 또는 배경을 관심 영역으로 선택할 수 있다.

단계 S3420 및 단계 S3430에서, 디바이스(100)는 관심 영역의 변화가 기준값 이상일 때, 임시 영상을 생성할 수 있다.

임시 영상(3420)은 라이브 뷰 영상으로 표시되었던 화면일 수도 있고, 관심 영역만으로 구성된 관심 영상일 수도 있다. 디바이스(100)는 관심 영역 선택시 최초 임시 영상을 생성한다. 그리고, 기생성된 임시 영상의 관심 영역과 라이브 뷰 영상에 포함된 관심 영역에 대한 픽셀 값 차를 산출한 후 산출된 차가 기준 값 이상인 라이브 뷰 영상을 임시 영상으로 생성할 수 있다.

관심 영역의 변화는 관심 영역에 대응하는 객체 또는 배경이 움직임으로써 발생할 수도 잇고, 객체 또는 배경의 크기가 변경됨으로써 발생할 수도 있으며, 객체 또는 배경의 픽셀값 자체 즉, 광량의 변화로 인해 발생할 수도 있다.

디바이스(100)는 저장 입력이 수신될 때가지 임시 영상을 생성할 수 있다. 즉, 디바이스(100)는 저장 입력이 수신될 때가지 관심 영역의 변화가 기준값 이상인 영상을 임시 영상으로 저장할 수 있다. 상기한 임시 영상은 최초 임시 영상 및 최종 임시 영상을 포함할 수 있다.

그리고, 단계 S3450에서, 저장 입력을 수신하면, 디바이스(100)는 효과 영상을 생성할 수 있다. 디바이스(100)는 복수 개의 임시 영상을 결합함으로써 효과 영상을 생성할 수 있다. 또는 디바이스(100)는 복수 개의 임시 영상 중 어느 하나를 선택하는 사용자 입력에 대응하여 효과 영상을 생성할 수도 있다. 복수 개의 임시 영상 중 어느 하나를 선택하는 사용자 입력에 대응한 효과 영상은 엄밀한 의미에서 효과 영상이라고 할 수 없다. 그러나, 디바이스(100)는 사용자가 선택할 수 있도록 복수 개의 임시 영상을 표시하고, 그 중 어느 하나의 임시 영상을 선택하는 사용자 입력이 수신된 이후에 비로서 선택된 임시 영상이 정지 영상 등으로 저장될 수 있다는 점에서 설명의 편의상 효과 영상이라고 한다.

도 35는 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다. 도 35의 3500-1에 도시된 바와 같이, 디바이스(100)의 모드가 정지 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3510)을 표시할 수 있다. 디바이스(100)는 라이브 뷰 영상(3510) 중에서 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 라이브 뷰 영상(3510) 중 제1 객체(3512)가 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 제1 객체(3512)를 관심 영역으로 선택할 수 있다. 제1 객체(3512)가 관심 영역으로 선택되면, 디바이스(100)는 제1 객체(3512)를 포함하는 임시 영상을 생성할 수 있다.

디바이스(100)는 임시 영상(3520)을 일정 시간 간격으로 저장 입력을 수신하기 전까지 생성할 수 있다. 또는 디바이스(100)는 제1 개체(3512)의 변화가 기준 값 이상인 경우 임시 영상(3520)을 생성할 수도 있다. 임시 영상(3520)은 라이브 뷰 영상으로 표시되었던 화면일 수도 있고, 제1 객체(3512)만으로 구성된 관심 영상일 수도 있다. 도면에는 라이브 뷰 영상으로 표시되었던 화면으로 설명한다.

그리고, 저장 입력을 수신하면, 디바이스(100)는 도 35의 3500-2에 도시된 바와 같이, 최종 임시 영상(3530)과 그외의 임시 영상(3520)을 표시할 수 있다. 최종 임시 영상(3530)과 임시 영상(3520)은 표시 영역이 구분되어 표시될 수 있다. 임시 영상(3520)이 복수 개인 경우, 디바이스(100)는 생성된 순서를 기준으로 복수 개의 임시 영상(3520)을 순차적으로 배열할 수 있다.

그리고, 하나 이상의 임시 영상(3520) 중 어느 하나(3540)를 선택하는 사용자 입력을 수신하면, 도 35의 3500-3에 도시된 바와 같이, 최종 임시 영상(3530)과 선택된 임시 영상(3540)의 관심 영역이 결합한 효과 영상(3550)을 표시할 수 있다. 디바이스(100)는 최종 임시 영상(3530)의 제1 객체(3532) 대신 선택된 임시 영상(3540)의 제1 객체(3542)를 결합하여 효과 영상(3550)을 생성할 수 있다. 라이브 뷰 영상 중 관심 영역으로서 객체를 이용하여 효과 영상을 생성하는 방법에 대해 설명하였다. 이는 설명의 편의를 위해 객체를 이용하였을 뿐이며 배경에도 동일하게 적용될 수 있음은 물론이다.

관심 영역의 변화로 동영상을 생성할 수 있음도 물론이다. 도 36은 일 실시예에 따른 라이브 뷰 영상에서 동영상을 생성하는 방법을 설명하는 흐름도이다.

단계 S3610에서, 디바이스(100)는 라이브 뷰 영상 중에서 관심 영역을 선택할 수 있다. 디바이스(100)의 모드가 동영상 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상을 표시할 수 있다. 사용자는 라이브 뷰 영상(3410) 중 객체 또는 배경이 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 터치된 영역을 포함하는 영역에 표시된 객체 또는 배경을 관심 영역으로 선택할 수 있다.

단계 S3620에서, 디바이스(100)는 동영상을 생성하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.

단계 S3630, 단계 S3640 및 단계 S3650에서, 디바이스(100)는 관심 영역의 변화가 기준값 이상인지 여부를 판단한다. 관심 영역의 변화가 기준값 이상인 경우, 동영상 프레임을 생성할 수 있다. 디바이스(100)는 동영상을 생성하기 위한 사용자 입력을 수신한 시점의 라이브 뷰 영상을 동영상 프레임으로 생성한다. 그리고, 관심 영역의 변화가 기준값 이상일 때마다 디바이스(100)는 동영상 프레임을 생성할 수 있다. 동영상 프레임은 라이브 뷰 영상으로 표시되었던 화면일 수도 있고, 이전에 생성된 동영상 프레임의 변화값을 나타내는 정보일 수도 있다. 동영상 프레임의 생성은 동영상의 생성을 종료하는 사용자 입력이 수신때까지 수행될 수 있다.

관심 영역이 객체인 경우, 관심 영역의 변화는 객체의 움직임, 객체의 크기, 객체를 나타내는 픽셀값 등의 변화일 수 있다. 또한, 관심 영역이 배경인 경우, 관심 영역의 변화는 배경의 변경, 배경을 나타내는 픽셀값 등의 변화일 수 있다.

그리고, 단계 S3660에서, 동영상의 생성을 종료하는 사용자 입력이 수신되면, 디바이스(100)는 생성된 동영상 프레임으로 동영상 파일을 생성할 수 있다.

관심 영역의 변화가 기준값 이상인 동영상 프레임으로 동영상을 재생할 수 있음도 물론이다. 도 37은 일 실시예에 따른 동영상을 재생하는 방법을 설명하는 흐름도이다.

단계 S3710에서, 디바이스(100)는 동영상 프레임에서 관심 영역을 선택할 수 있다. 디바이스(100)의 모드가 동영상 재생 모드로 설정된 상태에서, 디바이스(100)는 동영상을 재생할 수 있다. 사용자는 동영상을 정지하는 명령을 입력할 수 있다. 사용자 입력에 대응하여 동영상의 정지 화면인 하나의 동영상 프레임을 표시할 수 있다. 사용자는 동영상 프레임 중 객체 또는 배경이 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 터치된 영역을 포함하는 영역에 표시된 객체 또는 배경을 관심 영역으로 선택할 수 있다.

단계 S3720, 단계 S3730 및 단계 S3740에서, 디바이스(100)는 관심 영역의 변화가 기준값 이상인지 여부를 판단한다. 관심 영역의 변화가 기준값 이상인 경우, 동영상 프레임을 표시할 수 있다. 디바이스(100)는 표시된 동영상 프레임(이하 '현재 프레임'이라도 한다.)과 현재 프레임의 다음으로 재생될 동영상 프레임(이하 '제1 다음 프레임'이라고도 한다. )임을 비교한다. 두 프레임간의 관심 영역에 대한 변화를 산출하고, 산출된 변화가 기준값 이상인 경우, 제1 다음 프레임을 재생하여 표시할 수 있다.

그러나, 두 프레임간의 관심 영역에 대한 변화가 기준값 미만인 경우, 디바이스(100)는 제1 다음 프레임을 표시하지 않는다. 그리고, 다시 디바이스(100)는 현재 프레임과 제1 다음 프레임의 다음으로 재생될 동영상 프레임(이하 '제2 다음 프레임'라고도 한다.)간의 관심 영역에 대한 변화를 산출할 수 있다. 두 프레임간의 관심 영역에 대한 변화를 산출하고, 산출된 변화가 기준값 이상인 경우 제2 다음 프레임을 재생하여 표시하고, 두 프레임간의 관심 영역에 대한 변화가 기준값 미만인 경우, 디바이스(100)는 제2 다음 프레임을 표시하지 않는다. 단계 S3720 및 단계 S3730는 동영상 재생이 종료될때가지 반복될 수 있다. 즉, 디바이스(100)는 동영상 재생을 종료하는 사용자 입력을 수신하거나 동영상 재생이 완료될 때까지 단계 S3720 및 단계 S3730을 반복적으로 수행할 수 있다. 도 37에서는 동영상을 재생하는 방법에 대해 설명하였다. 그러나, 이에 한정되지 않는다. 정지 영상을 슬라이드쇼 방식으로 재생하는 경우에도 적용될 수 있다.

지금까지 영상 중 일부 영역인 관심 영역을 이용하여 영상을 생성, 재생, 표시하는 방법에 대해 설명하였다. 디바이스(100)는 관심 영역을 이용하여 메뉴 영상을 다양하게 제공할 수도 있다. 메뉴 영상은 특정 어플리케이션의 실행을 위한 메뉴 항목을 포함할 수 있다. 상기한 메뉴 항목은 객체일 수 있고, 메뉴 영상 중 메뉴 항목이 아닌 영역은 배경으로 정의될 수 있다.

도 38은 일 실시예에 따른 메뉴 영상에서 효과를 표시하는 방법을 설명하는 참조도면이다. 먼저, 디바이스(100)의 모드가 메뉴 영상에 대한 효과 모드로 설정된 상태에서, 도 38의 3800-1에 도시된 바와 같이, 메뉴 영상(3810)을 표시할 수 있다. 사용자는 관심 영역인 메뉴 항목(3812)을 선택할 수 있다. 메뉴 항목(3812)을 선택하면, 도 38의 3800-2에 도시된 바와 같이, 디바이스(100)는 메뉴 항목(3812)에 적용될 수 있는 효과 리스트(3820)를 표시될 수 있다. 사용자는 효과 리스트(3820) 중 어느 하나의 효과 항목(3822)을 선택하면, 도 38의 3800-3에 도시된 바와 같이, 효과가 제공된 메뉴 항목(3830)을 표시할 수 있다.

메뉴 항목의 효과 제공은 메뉴 항목에 대응하는 어플리케이션의 실행 빈도에 따라 제공될 수도 있다. 도 39는 일 실시예에 따른 실행 빈도에 따른 메뉴 항목에 효과를 제공하는 방법을 설명하는 흐름도이다.

단계 S3910에서, 디바이스(100)는 메뉴 항목에 대응하는 어플리케이션의 실행 횟수를 결정할 수 있다. 디바이스(100)는 기설정된 시간내에 실행된 메뉴 항목에 대응하는 어플리케이션의 실행의 실행 횟수를 결정할 수 있다.

단계 S3920 및 단계 S3940에서, 메뉴 항목에 대응하는 어플리케이션의 실행 횟수가 제1 값 이상인 경우, 디바이스(100)는 상기한 메뉴 항목에 포지티브 효과를 제공할 수 있다. 포지티브 효과는 메뉴 항목의 식별력을 강화시키는 효과로서, 후광 효과, 크기 확대 효과, 깊이 감소 효과 등일 수 있다.

단계 S3920, 단계 S3930 및 단계 S3950에서, 메뉴 항목에 대응하는 어플리케이션의 실행 횟수가 제1 값미만 및 제2 값 이상인 경우, 디바이스(100)는 상기한 메뉴 항목에 효과를 제공하지 않는다. 즉, 디바이스(100)는 기설된 상태로 메뉴 항목을 표시할 수 있다. 여기서 제2 값은 제1 값보다 작다.

단계 S3930 및 단계 S3960에서, 메뉴 항목에 대응하는 어플리케이션의 실행 횟수가 제1 값미만 및 제2 값 미만인 경우, 디바이스(100)는 상기한 메뉴 항목에 네거티브 효과를 제공할 수 있다. 네거티브 효과는 메뉴 항목의 식별력을 약화시키는 효과로서, 흐림 효과, 크기 축소 효과, 깊이 증가 효과 등일 수 있다. 또한, 메뉴 항목에 대응하는 어플리케이션의 실행 횟수가 제3 값 미만인 경우. 디바이스(100)느 메뉴 항목을 메뉴 영상에서 삭제할 수도 있다.

도 40은 일 실시예에 따른 실행 빈도에 따른 메뉴 항목에 효과를 제공된 메뉴 영상을 표시한 일 예를 도시한 도면이다. 도 40에 도시된 바와 같이, 디바이스(100)는 메뉴 영상(4010)을 표시할 수 있다. 디바이스(100)는 제1 메뉴 항목(4012)의 크기를 다른 메뉴 항목보다 크게 표시할 수 있다. 이는 제1 메뉴 항목(4012)의 실행 횟수가 다른 메뉴 항목보다 많았음을 의미한다. 사용자는 앞으로도 다른 메뉴 항목보다 제1 메뉴 항목(4012)을 선택할 확률이 높으며, 제1 메뉴 항목(4012)이 크게 표시되어 식별력이 있기 때문에 사용자는 제1 메뉴 항목(4012)을 다른 메뉴 항목보다 쉽게 찾을 수 있다. 디바이스(100)는 제2 메뉴 항목(4014)의 크기를 다른 메뉴 항목보다 작게 표시할 수 있다. 이는 제2 메뉴 항목(4014)의 실행 횟수가 다른 메뉴 항목보다 작음을 의미한다. 사용자는 앞으로도 다른 메뉴 항목보다 제2 메뉴 항목(4014)을 선택할 확률이 낮다.

도 41 내지 도 45는 일 실시예에 따르는, 디바이스(100)를 설명하는 블록도이다.

도 41에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120) 및 디스플레이부(130)를 포함할 수 있다. 디바이스(100)는 디스플레이부(130)에 표시된 정지 영상, 동영상 프레임, 라이브 뷰 영상, 화면 영상등에 효과를 제공할 수 있다.

도 42에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 용자 입력부(110), 제어부(120), 디스플레이부(130) 및 메모리(140)를 포함할 수 있다. 디바이스(100)는 내장된 메모리에 저장된 정지 영상(140) 또는 동영상에 효과를 제공할 수 있다.

또는, 도 43에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120), 디스플레이부(130) 및 통신부(150)를 포함할 수 있다. 디바이스(100)는 외부 장치에 저장된 정지 영상 또는 동영상, 또는 외부 장치에서 촬영된 라이브 뷰 영상에 효과를 제공할 수 있다.

또는, 도 44에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120), 디스플레이부(130) 및 카메라(160)를 포함할 수 있다. 디바이스(100)는 내장된 카메라에서 촬영되는 라이브 뷰 영상에 효과를 제공할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스는 구현될 수 있다.

예를 들어, 도 45에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 앞서 기술한 디바이스의 구성 이외에도 출력부(170), 통신부(150), 센싱부(180), 마이크로 폰(190) 등을 더 포함할 수도 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

사용자 입력부(110)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(110)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

사용자 입력부(110)는, 영상 중 관심 영역을 선택하는 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 관심 영역을 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다.

본 발명의 일 실시예에 의하면, 사용자 입력부(110)는, 복수의 영상 중 제 1 영상 및 제 2 영상을 선택하는 입력을 수신할 수도 있다.

사용자 입력부(110)는, 식별 정보 리스트 중 적어도 하나를 선택하는 입력을 수신할 수도 있다.

제어부(120)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(140)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(110), 출력부(170), 통신부(150), 센싱부(180), A/V 입력부(190) 등을 전반적으로 제어할 수 있다.

제어부(120)는, 선택된 관심 영역을 식별하는 하나 이상의 식별 정보를 획득할 수 있다. 예를 들어, 제어부(120)는, 선택된 관심 영역의 속성 정보를 확인하고, 속성 정보를 일반화하여 식별 정보를 생성할 수 있다. 제어부(120)는, 선택된 관심 영역에 대한 영상 분석 정보를 이용하여 식별 정보를 검출할 수 있다. 제어부(120)는 관심 영역이외에 제2 영상의 식별 정보를 획득할 수도 있다.

제어부(120)는 관심 영역에 대응하는 객체 또는 배경을 기표시되었던 객체 또는 배경에 비해 전체적으로 다르게 표시되도록 관심 영역에 효과를 제공할 수 있다. 상기한 효과는 상기 관심 영역을 하이라이트시키는 후광 효과, 상기 관심 영역의 픽셀값들의 차를 작게 하는 흐림 효과, 상기 관심 영역의 크기를 변경시키는 크기 효과, 상기 관심 영역의 깊이 정보를 변경시키는 깊이 효과 등이 있을 수 있다.

또한, 제어부(120)는 제2 영상 중 제1 영상의 관심 영역에 대응하는 부분 영상을 분리하여 제1 영상의 관심 영역에 결합함으로써 제1 영상에 효과를 제공할 수도 있다.

디스플레이부(130)는 디바이스(100)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이부(130)는, 정지 영상, 동영상, 라이브 뷰 영상등을 표시할 수 있다. 또한, 디시플레이부는 관심 영역을 식별하는 식별 정보를 표시할 수도 있다. 또한, 효과 영상을 표시할 수도 있고, 효과 영상을 포함하는 효과 폴더를 표시할 수도 있다.

한편, 디스플레이부(130)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(130)를 2개 이상 포함할 수도 있다.

메모리(140)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 영상, 복수의 폴더, 선호 폴더 목록 등)을 저장할 수도 있다.

메모리(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(140)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.

메모리(140)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(141), 알림 모듈(142), 영상 처리 모듈(143) 등으로 분류될 수 있다.

UI 모듈(141)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 알림 모듈(142)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(142)은 디스플레이부(130)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(172)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(173)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.

영상 처리 모듈(143)은, 캡쳐된 영상에 대한 분석을 통해 캡쳐된 영상에 포함된 객체 정보, 에지 정보, 분위기 정보, 색상 정보 등을 획득할 수 있다.

본 발명의 일 실시예에 의하면, 영상 처리 모듈(143)은, 영상에 포함된 객체의 외곽선을 검출할 수 있다. 본 발명의 일 실시예에 의하면, 영상 처리 모듈(143)은, 영상에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 예를 들어, 영상 처리 모듈(143)은, 객체의 외곽선이 차량의 템플릿과 유사한 경우, 영상에 포함된 객체를 차량으로 인식할 수 있다.

본 발명의 일 실시예에 의하면, 영상 처리 모듈(143)은 영상에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 예를 들어, 영상 처리 모듈(143)은 영상에서 사람의 얼굴 영역을 검출할 수 있다. 얼굴 영역을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..

영상 처리 모듈(143)은, 검출된 얼굴 영역으로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 Gabor 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.

영상 처리 모듈(143)은, 영상의 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자들의 얼굴의 특징과 비교할 수 있다. 예를 들어, 추출된 얼굴의 특징이 기 등록된 제 1 사용자(예컨대, Tom)의 얼굴의 특징과 유사한 경우, 영상 처리 모듈(143)은, 영상에 제 1 사용자(예컨대, Tom)의 영상이 포함되어 있다고 판단할 수 있다.

본 발명의 일 실시예에 의하면, 영상 처리 모듈(143)은, 영상의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 영상의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다.

통신부(150)는, 디바이스(100)와 클라우드 서버, 디바이스(100)와 외부 장치, 디바이스(100)와 SNS 서버 또는 디바이스(100)와 외부 웨어러블 디바이스 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.

근거리 통신부 (short-range wireless communication unit)(141)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부 (Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.

통신부(150)는, 제1 영상 및 제2 영상, 효과 영상, 효과 폴더, 식별 정보 중 적어도 하나를 외부 장치와 공유할 수 있다. 여기서, 외부 장치는 디바이스(100)와 연결된 클라우드 서버, SNS 서버, 동일 사용자의 다른 디바이스(100), 및 타 사용자의 디바이스(100) 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 통신부(150)는, 효과 영상, 또는 효과 폴더를 외부 장치로 전송할 수 있다. 또한, 통신부(150)는, 외부 장치로부터 외부 장치에 저장된 정지 영상, 또는 동영상 프레임, 외부 장치에서 촬영된 라이브 뷰 영상을 수신할 수 있다.

카메라(160)에서 처리된 화상 프레임은 메모리(140)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(160)는 디바이스(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.

출력부(170)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 디스플레이부(130) 이외에도 음향 출력부(172), 진동 모터(173) 등이 포함될 수 있다.

음향 출력부(172)는 통신부(150)로부터 수신되거나 메모리(140)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(172)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(172)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

진동 모터(173)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(173)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(173)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.

센싱부(180)는, 디바이스(100)의 상태, 디바이스(100) 주변의 상태, 디바이스(100)를 착용한 사용자의 상태 등을 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다.

센싱부(180)는, 지자기 센서(Magnetic sensor)(181), 가속도 센서(Acceleration sensor)(182), 기울기 센서(183), 적외선 센서(184), 자이로스코프 센서(185), 위치 센서(예컨대, GPS)(186), 기압 센서(187), 근접 센서(188), 및 광 센서(189) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 센싱부(180)는, 온도 센서, 조도 센서, 압력 센서, 홍채 인식 센서 등을 포함할 수도 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

A/V(Audio/Video) 입력부로서 마이크로폰(190)을 포함할 수 있다.

마이크로폰(190)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(190)은 외부 디바이스(100) 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(190)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

도 46은 본 발명의 일 실시예에 따르는, 클라우드 서버를 설명하기 위한 블록 구성도이다.

도 46에 도시된 바와 같이, 본 발명의 일 실시예에 따른 클라우드 서버(200)는 통신부(210), 제어부(220), 저장부(230)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 클라우드 서버(200)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 클라우드 서버(200)는 구현될 수 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

통신부(210)는, 클라우드 서버(200)와 디바이스(100) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신부(210)는, 수신부 및 전송부를 포함할 수 있다.

통신부(210)는, 클라우드 서버(200)에 저장된 영상 또는 영상 목록을 디바이스(100)로 전송할 수 있다. 예를 들어, 통신부(210)는, 특정 계정을 통해 연결된 디바이스(100)로부터 영상의 목록 요청을 수신하는 경우, 클라우드 서버(200)에 저장된 영상 목록을 디바이스(100)로 전송할 수 있다.

통신부(210)는, 클라우드 서버(200)에 저장된 또는 클라이드 서버가 생성한 식별 정보를 디바이스(100)에 전송할 수 도 있다.

제어부(220)는, 클라우드 서버(200)의 전반적인 동작을 제어한다. 예를 들어, 제어부(220)는, 영상을 식별하는 복수의 식별 정보를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 식별 정보는, 영상을 식별하는 적어도 둘 이상의 핵심적인 단어나 문구일 수 있다.

예를 들어, 제어부(220)는, 영상의 메타데이터에 복수의 식별 정보가 기 정의되어 있는 경우, 영상의 메타데이터에서 복수의 식별 정보를 획득할 수 있다. 또한, 클라우드 서버(200)는, 영상의 속성 정보 및 영상에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 영상을 식별하는 복수의 식별 정보를 생성할 수 있다.

저장부(230)는 제어부(220)의 처리를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들을 저장할 수도 있다. 예를 들어, 클라우드 서버(200)는, 영상 DB, 디바이스(100) DB, 사용자들의 얼굴의 특징 정보 DB, 객체 템플릿 DB 등을 구축할 수 있다.

저장부(230)는 복수의 영상을 저장할 수 있다. 예를 들어, 저장부(230)는, 디바이스(100)에서 업로드된 영상을 저장할 수 있다. 이때, 저장부(230)는 디바이스(100)의 식별 정보와 영상을 매핑하여 저장할 수 있다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

1. 객체와 배경을 포함하는 제1 영상을 표시하는 단계;
   상기 객체와 상기 배경 중 어느 하나를 관심 영역으로 선택하는 사용자 입력을 수신하는 단계;
   상기 제1 영상의 속성 정보를 이용하여 상기 관심 영역을 식별하는 식별 정보를 획득하는 단계;
   획득된 상기 식별 정보에 대한 리스트를 표시하는 단계;
   타겟 영상으로부터 상기 식별 정보를 갖는 제2 영상을 획득하는 단계; 및
   상기 제1 영상과 상기 제2 영상 중 적어도 하나를 이용하여 효과 영상을 생성하는 단계;를 포함하는 영상 제공 방법.
2. 제 1항에 있어서,
   상기 속성 정보는,
   상기 제1 영상 생성시의 컨텍스트 정보 및 사용자에 의해 추가된 상기 제1 영상에 대한 주석(annotation) 정보 중 적어도 하나를 포함하는 영상 제공 방법.
3. 제 1항에 있어서,
   상기 타겟 영상의 식별 정보는,
   상기 속성 정보를 워드넷에 기반하여 일반화함으로써 획득되는 영상 제공 방법.
4. 제 1항에 있어서,
   상기 타겟 영상의 식별 정보는,
   상기 제1 영상의 속성 정보 및 상기 제1 영상의 영상 분석 정보 중 적어도 하나를 이용하여 획득되는 영상 제공 방법.
5. 제 1항에 있어서,
   상기 제1 영상의 식별 정보는,
   복수 개의 속성 정보로부터 획득되는 영상 제공 방법.
6. 삭제
7. 제 1항에 있어서,
   상기 리스트 중 적어도 일부를 선택하는 사용자 입력을 수신하는 단계;를 더 포함하고,
   상기 제2 영상을 획득하는 단계는,
   상기 선택된 식별 정보와 상기 타겟 영상의 식별 정보를 비교하는 단계;를 포함하는 영상 제공 방법.
8. 제 1항에 있어서,
   상기 효과 영상을 생성하는 단계는,
   상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 기표시되었던 부분 영상과 다르게 표시하는 단계;를 포함하는 영상 제공 방법.
9. 제 8항에 있어서,
   상기 효과 영상은,
   상기 부분 영상을 하이라이트시키는 후광 효과, 상기 부분 영상의 픽셀값들의 차를 작게 하는 흐림 효과, 상기 부분 영상의 크기를 변경시키는 크기 효과, 상기 부분 영상의 깊이 정보를 변경시키는 깊이 효과 중 적어도 하나를 이용하는 생성되는 영상 제공 방법.
10. 제 1항에 있어서,
    상기 효과 영상은,
    상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합한 영상인 영상 제공 방법.
11. 제 1항에 있어서,
    상기 제1 영상은 라이브 뷰 영상인 영상 제공 방법.
12. 제 11항에 있어서,
    상기 제2 영상은,
    영상 저장을 위한 사용자 입력이 수신되기 전에 상기 라이브 뷰 영상으로부터 임시로 생성된 임시 영상인 영상 제공 방법.
13. 제 12항에 있어서,
    상기 임시 영상은,
    상기 라이브 뷰 영상 중 상기 식별 정보에 대응하는 부분 영상의 변화가 기준값 이상일 때마다 생성되는 영상 제공 방법.
14. 제 13항에 있어서,
    상기 효과 영상은,
    상기 제1 영상과 상기 제2 영상을 포함하는 동영상인 영상 제공 방법.
15. 객체와 배경을 포함하는 제1 영상을 표시하는 디스플레이부;
    상기 객체와 상기 배경 중 어느 하나를 관심 영역으로 선택하는 사용자 입력을 수신하는 사용자 입력부; 및
    상기 제1 영상의 속성 정보를 이용하여 상기 관심 영역을 식별하는 식별 정보를 획득하고, 타겟 영상의 속성 정보를 이용하여 상기 타겟 영상으로부터 상기 식별 정보를 갖는 제2 영상을 획득하는 제어부;를 포함하고,
    상기 제어부는,
    획득된 상기 식별 정보에 대한 리스트가 표시되도록 상기 디스플레이부를 제어하는 모바일 디바이스.
16. 제 15항에 있어서,
    상기 제어부는,
    상기 제1 영상과 상기 제2 영상 중 적어도 하나를 이용하여 효과 영상을 생성하는 모바일 디바이스.
17. 제 16항에 있어서,
    상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합함으로써 상기 효과 영상을 생성하는 모바일 디바이스.
18. 제 16항에 있어서,
    상기 속성 정보는,
    상기 제1 영상 생성시의 컨텍스트 정보 및 사용자에 의해 추가된 상기 제1 영상에 대한 주석(annotation) 정보 중 적어도 하나를 포함하는 모바일 디바이스.
19. 제 15항에 있어서,
    상기 제어부는,
    상기 속성 정보를 워드넷에 기반하여 일반화함으로써 상기 제1 영상의 식별정보를 획득하는 모바일 디바이스.
20. 제 15항에 있어서,
    상기 제어부는,
    상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합함으로써 효과 영상을 생성하는 모바일 디바이스.
    

Images