KR20160016574A

KR20160016574A - Method and device for providing image

Info

Publication number: KR20160016574A
Application number: KR1020150078777A
Authority: KR
Inventors: 정문식; 김혜선; 배수정; 이성오; 차현희; 최성도; 최현수
Original assignee: 삼성전자주식회사
Priority date: 2014-07-31
Filing date: 2015-06-03
Publication date: 2016-02-15
Also published as: TW201618038A; KR102301231B1; TWI637347B

Abstract

The present invention provides a method for providing an image, and a device therefor. The device of the present invention comprises: a display unit for displaying a first image including an object and background; a user input unit for receiving user input which selects a portion of the first image; and a control unit for providing effects to the first image so that any one of the object or the background including the portion is displayed differently from the object or the background which is pre-displayed. The method can provide an image unlike a pre-stored or pre-photographed image.

Description

TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for providing images,

본 개시는 영상을 제공하는 방법 및 이를 위한 장치에 관한 것이다. The present disclosure relates to a method for providing an image and an apparatus therefor.

전자 기기들이 다양화되고 있으며, 1인당 소지하는 전자 기기들의 종류도 다양해 지고 있다. 또한, 사용자는 자신이 소지한 복수의 전자 기기들 각각을 이용하여, 다양한 영상, 애플리케이션, 서비스를 소비하고 있으며, 사용자가 이용할 수 있는 영상들도 증가하고 있다. Electronic devices have been diversified, and the kinds of electronic devices possessed per person are also diversifying. In addition, a user consumes various images, applications, and services using each of a plurality of electronic apparatuses owned by the user, and the number of images available to the user is also increasing.

이에 따라, 사용자는 많은 종류의 영상을 접할 수 있으나, 사용자마다 선호하는 영상이 다를 수 있다. 또한, 사용자는 동일한 영상에서도 특정한 부분에 관심을 기울일 수 있다. 따라서, 사용자가 관심 있는 부분을 효율적으로 제공할 필요성이 대두되고 있다. Accordingly, the user can access many types of images, but the preferred images may be different for each user. Further, the user can pay attention to a specific portion even in the same image. Therefore, there is a need to efficiently provide a part that the user is interested in.

본 개시는 영상을 기저장 또는 기촬영된 영상과 다르게 제공하는 방법 및 그 장치를 제공한다. The present disclosure provides a method and apparatus for providing images differently than previously stored or previously captured images.

일 유형에 따른 따르는 영상 제공 방법은, 객체와 배경을 포함하는 제1 영상을 표시하는 단계; 상기 객체와 상기 배경 중 어느 하나를 관심 영역으로 선택하는 사용자 입력을 수신하는 단계; 상기 제1 영상의 속성 정보를 이용하여 상기 관심 영역을 식별하는 식별 정보를 획득하는 단계; 타겟 영상으로부터 상기 식별 정보를 갖는 상기 제2 영상을 획득하는 단계; 및 상기 제1 영상과 상기 제2 영상 중 적어도 하나를 이용하여 효과 영상을 생성하는 단계;를 포함한다.According to one aspect of the present invention, there is provided a method of providing a following image, comprising: displaying a first image including an object and a background; Receiving a user input that selects either the object or the background as a region of interest; Obtaining identification information for identifying the ROI using the attribute information of the first image; Obtaining the second image having the identification information from the target image; And generating an effect image using at least one of the first image and the second image.

그리고, 상기 속성 정보는, 상기 제1 영상 생성시의 컨텍스트 정보 및 사용자에 의해 추가된 상기 제1 영상에 대한 주석(annotation) 정보 중 적어도 하나를 포함할 수 있다.The attribute information may include at least one of context information at the time of generating the first image and annotation information about the first image added by the user.

또한, 상기 타겟 영상의 식별 정보는, 상기 속성 정보를 워드넷에 기반하여 일반화함으로써 획득될 수 있다.In addition, the identification information of the target image can be obtained by generalizing the attribute information based on WordNet.

그리고, 상기 타겟 영상의 식별 정보는, 상기 제1 영상의 속성 정보 및 상기 제1 영상의 영상 분석 정보 중 적어도 하나를 이용하여 획득될 수 있다.The identification information of the target image may be acquired using at least one of attribute information of the first image and image analysis information of the first image.

또한, 상기 제1 영상의 식별 정보는, 복수 개의 속성 정보로부터 획득될 수 있다.Further, the identification information of the first image may be obtained from a plurality of attribute information.

그리고, 획득된 상기 식별 정보에 대한 리스트를 표시하는 단계;를 더 포함할 수 있다.And displaying a list of the obtained identification information.

또한, 상기 리스트 중 적어도 일부를 선택하는 사용자 입력을 수신하는 단계;를 더 포함하고, 상기 제2 영상을 획득하는 단계는, 상기 선택된 식별 정보와 상기 타겟 영상의 식별 정보를 비교하는 단계;를 포함할 수 있다.The method may further include receiving a user input for selecting at least a portion of the list, wherein the acquiring of the second image includes comparing the selected identification information with identification information of the target video can do.

그리고, 상기 효과 영상을 생성하는 단계는, 상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 기표시되었던 부분 영상과 다르게 표시하는 단계;를 포함할 수 있다.The generating of the effect image may include displaying the partial image corresponding to the identification information of the second image differently from the displayed partial image.

또한, 상기 효과 영상은, 상기 부분 영상을 하이라이트시키는 후광 효과, 상기 부분 영상의 픽셀값들의 차를 작게 하는 흐림 효과, 상기 부분 영상의 크기를 변경시키는 크기 효과, 상기 부분 영상의 깊이 정보를 변경시키는 깊이 효과 중 적어도 하나를 이용하는 생성될 수 있다.The effect image may include at least one of a halo effect for highlighting the partial image, a blur effect for reducing a difference between pixel values of the partial image, a size effect for changing the size of the partial image, Depth effect, < / RTI >

그리고, 상기 효과 영상은, 상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합한 영상일 수 있다.The effect image may be an image in which a partial image corresponding to the identification information of the second image is combined with a region of interest of the first image.

또한, 상기 제1 영상은 라이브 뷰 영상일 수 있다.Also, the first image may be a live view image.

그리고, 상기 제2 영상은, 영상 저장을 위한 사용자 입력이 수신되기 전에 상기 라이브 뷰 영상으로부터 임시로 생성된 임시 영상일 수 있다.The second image may be a temporary image temporarily generated from the live view image before a user input for storing the image is received.

또한, 상기 임시 영상은, 상기 라이브 뷰 영상 중 상기 식별 정보에 대응하는 부분 영상의 변화가 기준값 이상일 때마다 생성될 수 있다.The temporary image may be generated every time a change in the partial image corresponding to the identification information in the live view image is equal to or greater than a reference value.

그리고, 상기 효과 영상은, 상기 제1 영상과 상기 제2 영상을 포함할 수 있다. The effect image may include the first image and the second image.

한편, 일 실시예에 따른 모바일 디바이스는, 객체와 배경을 포함하는 제1 영상을 표시하는 디스플레이부; 상기 객체와 상기 배경 중 어느 하나를 관심 영역으로 선택하는 사용자 입력을 수신하는 사용자 입력부; 및 상기 제1 영상의 속성 정보를 이용하여 상기 관심 영역을 식별하는 식별 정보를 획득하고, 타겟 영상의 속성 정보를 이용하여 상기 타겟 영상으로부터 상기 식별 정보를 갖는 상기 제2 영상을 획득하는 제어부;를 포함할 수 있다.According to another aspect of the present invention, there is provided a mobile device including: a display unit displaying a first image including an object and a background; A user input for receiving a user input for selecting either the object or the background as a region of interest; And a controller for acquiring identification information for identifying the ROI using the attribute information of the first image and acquiring the second image having the identification information from the target image using attribute information of the target image, .

그리고, 상기 제어부는, 상기 제1 영상과 상기 제2 영상 중 적어도 하나를 이용하여 효과 영상을 생성할 수 있다.The control unit may generate an effect image using at least one of the first image and the second image.

또한, 상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합함으로써 상기 효과 영상을 생성할 수 있다.In addition, the effect image may be generated by combining a partial image corresponding to the identification information in the second image to a region of interest of the first image.

또한, 상기 제어부는, 상기 속성 정보를 워드넷에 기반하여 일반화함으로써 상기 제1 영상의 식별정보를 획득할 수 있다.In addition, the control unit may obtain the identification information of the first image by generalizing the attribute information based on WordNet.

그리고, 상기 제어부는, 상기 제2 영상 중 상기 식별 정보에 대응하는 부분 영상을 상기 제1 영상의 관심 영역에 결합함으로써 상기 효과 영상을 생성할 수 있다. The control unit may generate the effect image by combining the partial image corresponding to the identification information of the second image with the region of interest of the first image.

본 개시의 영상 제공 방법 및 장치는 기저장 또는 기촬영된 영상과 다른 영상을 제공함으로써 사용자에게 유용하다. The image providing method and apparatus of the present disclosure are useful to a user by providing an image different from the original image stored or photographed.

도 1은 일 실시예에 따른 영상에 효과를 제공하는 방법을 설명하는 흐름도이다.
도 2는 일 실시예에 따른 효과 제공을 위한 GUI(Graphical User Interface)의 일 예를 나타내는 도면이다.
도 3은 일 실시예에 따른 객체에 후광 효과를 제공하는 방법을 설명하는 참조도면이다.
도 4는 일 실시예에 따른 객체에 흐림 효과를 제공하는 방법을 설명하는 참조도면이다.
도 5 및 도 6은 일 실시예에 따른 객체에 크기 효과를 제공하는 방법을 설명하는 참조도면이다.
도 7 및 8은 일 실시예에 따른 객체의 깊이 효과를 제공하는 방법을 설명하는 참조도면이다.
도 9는 일 실시예에 따른 효과 리스트를 표시하는 방법을 설명하는 참조도면이다.
도 10는 일 실시예에 따른 하나의 영상 중 복수 개의 객체에 효과를 제공하는 방법을 설명하는 참조도면이다.
도 11은 일 실시예에 따른 배경에 효과를 제공하는 방법을 설명하는 참조도면이다.
도 12a는 일 실시예에 따른 객체 및 배경에 효과를 제공하는 방법을 설명하는 참조도면이다.
도 12b는 일 실시예에 따른 복수 개의 사용자 입력으로 효과를 제공하는 방법을 설명하는 참조도면이다.
도 13은 일 실시예에 따른 복수 개의 영상에 효과를 제공하는 GUI(Graphical User Interface)를 나타내는 도면이다.
도 14는 일 실시예에 따른 디바이스가 제1 영상의 식별 정보를 이용하여 제2 영상에 효과를 제공하는 방법을 설명하는 순서도이다.
도 15는 일 실시예에 따른 디바이스가 식별 정보를 생성하는 방법을 설명하는 순서도이다.
도 16은 일 실시예에 따른 영상에 대한 속성 정보의 일례를 나타내는 도면이다.
도 17은 디바이스에서 영상의 속성 정보를 이용하여 식별 정보를 생성하는 일례를 설명하는 참조도면이다.
도 18은 디바이스에서 영상 분석 정보를 이용하여 식별 정보를 생성하는 일 예를 나타내는 참조도면이다.
도 19는 일 실시예에 따른 디바이스가 식별 정보 리스트를 표시하는 일례를 나타내는 도면이다.
도 20는 디바이스에서 효과 폴더를 표시하는 일례를 나타내는 도면이다.
도 21은 일 실시예에 따른 외부 장치에 저장된 영상을 이용하여, 디바이스가 영상에 효과를 제공하는 방법을 설명하는 순서도이다.
도 22는 본 발명의 일 실시예에 따르는, 디바이스가 효과 영상을 외부 장치와 공유하는 방법을 설명하기 위한 순서도이다.
도 23은 디바이스가 효과 영상을 외부 장치와 공유하는 일례를 설명하기 위한 도면이다.
도 24는 본 발명의 일 실시예에 따르는, 영상 관리 시스템을 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 복수 개의 영상을 결합하여 효과 영상을 제공하는 방법을 설명하는 순서도이다.
도 26a 내지 도 26c는 일 실시예에 따른 복수 개의 영상을 이용하여 객체에 효과를 제공하는 일예를 나타내는 도면이다.
도 27은 일 실시예에 따른 복수 개의 영상을 결합하는 방법을 설명하는 참조도면이다.
도 28a 내지 도 28c는 일 실시예에 따른 복수 개의 영상을 이용하여 배경에 효과를 제공하는 일 예를 나타내는 도면이다.
도 29은 다른 실시예에 따른 복수 개의 영상을 결합하는 방법을 설명하는 참조도면이다.
도 30은 일 실시예에 따른 라이브 뷰 영상을 이용하여 효과 영상을 제공하는 방법을 설명하는 흐름도이다.
도 31은 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다.
도 32는 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다.
도 33은 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다.
도 34는 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 순서도이다.
도 35는 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다.
도 36은 일 실시예에 따른 라이브 뷰 영상에서 동영상을 생성하는 방법을 설명하는 흐름도이다.
도 37은 일 실시예에 따른 동영상을 재생하는 방법을 설명하는 흐름도이다.
도 38은 일 실시예에 따른 메뉴 영상에서 효과를 표시하는 방법을 설명하는 참조도면이다.
도 40은 일 실시예에 따른 실행 빈도에 따른 메뉴 항목에 효과를 제공된 메뉴 영상을 표시한 일 예를 도시한 도면이다.
도 41 내지 도 45는 일 실시예에 따르는, 디바이스(100)를 설명하는 블록도이다.
도 46은 본 발명의 일 실시예에 따르는, 클라우드 서버를 설명하기 위한 블록 구성도이다.FIG. 1 is a flow chart illustrating a method for providing an effect on an image according to an embodiment.
2 is a diagram illustrating an example of a GUI (Graphical User Interface) for providing an effect according to an embodiment.
3 is a reference diagram illustrating a method for providing a halo effect to an object in accordance with one embodiment.
4 is a reference diagram illustrating a method for providing a blur effect to an object in accordance with one embodiment.
5 and 6 are reference diagrams illustrating a method for providing size effects to objects in accordance with one embodiment.
7 and 8 are reference diagrams illustrating a method of providing depth effects of an object in accordance with one embodiment.
9 is a reference diagram illustrating a method of displaying an effect list according to an embodiment.
FIG. 10 is a reference diagram illustrating a method of providing an effect to a plurality of objects in one image according to an embodiment.
11 is a reference diagram illustrating a method for providing effects on a background in accordance with one embodiment.
12A is a reference diagram illustrating a method for providing an effect on an object and background in accordance with one embodiment.
FIG. 12B is a reference diagram illustrating a method for providing a plurality of user input effects in accordance with one embodiment.
13 is a diagram illustrating a GUI (Graphical User Interface) for providing effects to a plurality of images according to an exemplary embodiment.
14 is a flowchart illustrating a method in which a device according to an exemplary embodiment provides an effect to a second image using identification information of a first image.
15 is a flowchart illustrating a method by which a device according to an embodiment generates identification information.
16 is a diagram illustrating an example of attribute information for an image according to an embodiment.
17 is a reference diagram for explaining an example of generating identification information by using attribute information of a video in a device.
18 is a reference diagram showing an example of generating identification information using image analysis information in a device.
19 is a diagram showing an example in which a device according to an embodiment displays an identification information list.
20 is a diagram showing an example of displaying an effect folder in a device.
21 is a flowchart illustrating a method of providing a device with an effect using an image stored in an external device according to an exemplary embodiment.
22 is a flowchart for explaining a method in which a device shares an effect image with an external device, according to an embodiment of the present invention.
23 is a diagram for explaining an example in which a device shares an effect video with an external device.
24 is a view for explaining a video management system according to an embodiment of the present invention.
25 is a flowchart illustrating a method of providing an effect image by combining a plurality of images according to an exemplary embodiment.
26A to 26C are views illustrating an example of providing an effect to an object using a plurality of images according to an exemplary embodiment.
27 is a reference diagram illustrating a method of combining a plurality of images according to an exemplary embodiment.
28A to 28C are diagrams illustrating an example of providing an effect on a background using a plurality of images according to an embodiment.
29 is a reference diagram illustrating a method of combining a plurality of images according to another embodiment.
30 is a flowchart illustrating a method of providing an effect image using a live view image according to an exemplary embodiment.
31 is a reference diagram for explaining a method of generating an effect image in a live view image according to an embodiment.
32 is a reference diagram for explaining a method of generating an effect image in a live view image according to another embodiment.
33 is a reference diagram for explaining a method of generating an effect image in a live view image according to another embodiment.
FIG. 34 is a flowchart illustrating a method of generating an effect image in a live view image according to another embodiment.
35 is a reference diagram for explaining a method of generating an effect image in a live view image according to an embodiment.
FIG. 36 is a flowchart illustrating a method of generating a moving image in a live view image according to an embodiment.
37 is a flowchart illustrating a method of reproducing a moving image according to an embodiment.
FIG. 38 is a reference diagram illustrating a method of displaying an effect in a menu image according to an embodiment.
FIG. 40 is a view illustrating an example of displaying a menu image provided with an effect on a menu item according to an execution frequency according to an exemplary embodiment.
41-45 are block diagrams illustrating device 100, in accordance with one embodiment.
46 is a block diagram illustrating a cloud server according to an embodiment of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. The terms used in this specification will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term, not on the name of a simple term, but on the entire contents of the present invention.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When an element is referred to as "including" an element throughout the specification, it is to be understood that the element may include other elements as well, without departing from the spirit or scope of the present invention. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .

명세서 전체에서 "영상"이란 객체와 배경을 포함할 수 있다. 여기서 객체는 영상 처리 등을 통해 외곽선으로 구분될 수 있는 부분 영상으로, 예를 들어, 사람, 동물, 건물, 자동차 등이 될 수 있으며, 배경은 객체를 제외한 부분 영상이다. 객체와 배경이 될 수 있는 부분 영상은 반드시 고정되지 않고 상대적일 수 있다. 예를 들어, 사람, 자동차 및 하늘을 포함하는 영상에서 사람 및 자동차는 객체가 될 수 있고, 하늘을 배경이 될 수 있다. 또는 사람 및 자동차를 포함하는 영상에서 사람은 객체가 될 수 있고, 자동차는 배경이 될 수 있다. 다만, 객체에 대한 부분 영상의 크기는 배경에 대한 부분 영상의 크기보다 작은 경우가 일반적이다. 디바이스(100)마다 객체와 배경을 구분하는 기준이 기정의되어 있을 수 있다. Throughout the specification, an "image" may include an object and a background. Here, the object is a partial image that can be divided into outlines through image processing or the like, and can be, for example, a person, an animal, a building, a car, and the background is a partial image excluding an object. Partial images that can be objects and backgrounds are not necessarily fixed but can be relative. For example, in images that include people, cars, and sky, people and cars can become objects, and can become the background of the sky. Or in a video that includes people and cars, a person can be an object, and a car can be a background. However, the size of the partial image for the object is generally smaller than the size of the partial image for the background. A criterion for distinguishing the object and the background from each device 100 may be predetermined.

명세서 전체에서 영상은 정지 영상(예컨대, 사진, 그림 등), 동영상(예컨대, TV 프로그램 영상, VOD(Video On Demand), 개인 영상(UCC: User-Created Contents), 뮤직비디오, 유투브 영상 등), 라이브 뷰 영상, 메뉴 영상 등일 수 있다. In the entire specification, an image may include still images (e.g., pictures, pictures, etc.), video (e.g., TV program video, VOD, A live view image, a menu image, and the like.

명세서 전체에서 관심 영역(effect portion)이라 함은 영상의 부분 영상으로서, 객체 또는 배경이 될 수 있다. 그리고, 영상에 효과를 제공한다는 것은 영상 편집의 일종으로, 관심 영역을 기제공되었던 관심 영역과 전체적으로 다르게 제공하는 것을 의미한다. 영상을 제공한다는 것은 영상을 표시, 재생, 저장 등을 한다는 것을 의미한다.
Throughout the specification, an effect portion is a partial image of an image, which may be an object or a background. And providing the effect to the image is a kind of image editing, which means providing the area of interest differently from the area of interest that was previously provided. Providing an image means displaying, reproducing, storing, etc. the image.

이하에서는 영상에 효과를 제공하는 영상 시스템에 대해 설명한다. 영상 시스템은 영상을 재생, 저장할 수 있는 디바이스(100) 이외에도 영상이 저장된 서버를 더 포함할 수 있다. 영상 시스템이 서버를 포함하는 경우에 대해서는 후에 자세히 살펴보기로 한다.Hereinafter, a video system for providing an effect on a video will be described. The image system may further include a server in which images are stored in addition to the device 100 capable of reproducing and storing images. The case where the video system includes the server will be described in detail later.

일 실시예에 따른 디바이스(100)는 영상을 표시하고 영상에 효과를 제공할 수 있는 장치일 수 있다. 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 데스크톱 컴퓨터, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라(160), IPTV(Internet Protocol Television), DTV(Digital Television), CE 기기(예컨대, 디스플레이 장치를 갖는 냉장고, 에이컨 등) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 디바이스(100)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 디바이스(100)는 손목 시계, 안경, 반지, 팔찌, 목걸이 등일 수 있다.
The device 100 according to one embodiment may be a device capable of displaying images and providing effects to the images. The device 100 according to one embodiment may be implemented in various forms. For example, the device 100 described herein may be implemented in any suitable computing device, such as a desktop computer, a mobile phone, a smart phone, a laptop computer, a tablet PC, an electronic book terminal, a digital broadcast terminal, ), PMP (Portable Multimedia Player), navigation, MP3 player, digital camera 160, IPTV, DTV, CE device But is not limited thereto. The device 100 described herein may be a wearable device that may be worn by a user. For example, the device 100 according to one embodiment of the present invention may be a wristwatch, a pair of glasses, a ring, a bracelet, a necklace, and the like.

도 1은 일 실시예에 따른 영상에 효과를 제공하는 방법을 설명하는 흐름도이다. FIG. 1 is a flow chart illustrating a method for providing an effect on an image according to an embodiment.

단계 S110에서, 디바이스(100)는 영상을 표시할 수 있다. 영상은 객체와 배경을 포함할 수 있으며, 정지 영상, 동영상, 라이브 뷰 영상, 메뉴 영상 등일 수 있다. In step S110, the device 100 can display an image. The image may include an object and a background, and may be a still image, a moving image, a live view image, a menu image, and the like.

본 발명의 일 실시예에 의하면, 디바이스(100)가 표시하는 영상은, 디바이스(100)에 내장된 메모리에 저장된 정지 영상, 동영상, 메뉴 영상일 수도 있고, 디바이스(100)에 내장된 카메라(160)에 의해 촬영된 라이브 뷰 영상일 수 도 있으며, 외부 장치, 예를 들어, 다른 사용자가 사용하는 휴대 단말기, SNS(Social Networking Service) 서버, 클라우드 서버, 웹서버 등에 저장된 정지 영상, 동영상, 메뉴 영상일 수도 있으며, 외부 장치에서 촬영된 라이브 뷰 영상일 수도 있다. According to an embodiment of the present invention, an image displayed by the device 100 may be a still image, a moving image, a menu image stored in a memory built in the device 100, a camera 160 ), And may be a live view image captured by an external device such as a portable terminal used by another user, a social networking service (SNS) server, a cloud server, a web server, Or may be a live view image captured by an external device.

단계 S120에서, 디바이스(100)는, 관심 영역을 선택할 수 있다. 관심 영역(region of interest)의 부분 영상으로서, 객체 또는 배경이 될 수 있다. 예를 들어, 디바이스(100)는, 복수의 객체 중 하나의 객체를 관심 영역으로 선택할 수도 있고, 복수의 객체 중 적어도 둘 이상의 객체를 관심 영역으로 선택할 수도 있다. 또는 디바이스(100)는 영상 중 배경을 관심 영역으로 선택할 수 있다. In step S120, the device 100 may select a region of interest. A partial image of a region of interest, which may be an object or a background. For example, the device 100 may select one of the plurality of objects as a region of interest, or may select at least two of the plurality of objects as a region of interest. Or the device 100 may select the background of the image as the region of interest.

일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 기초하여 관심 영역을 선택할 수 있다. 예를 들어, 디바이스(100)는 영상 중 일부 영역을 선택하는 사용자 입력을 수신할 수 있고, 선택된 일부 영역을 포함하는 객체 또는 배경을 관심 영역으로 결정할 수 있다. According to one embodiment, device 100 may select a region of interest based on user input. For example, the device 100 may receive user input to select a portion of the image and may determine an object or background that includes the selected portion as the region of interest.

본 발명의 일 실시예에 의하면, 관심 영역을 선택하는 사용자 입력은 다양할 수 있다. 본 명세서에서 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다. According to an embodiment of the present invention, the user input for selecting the region of interest may vary. The user input may include key input, touch input, motion input, bending input, voice input, multiple input, and the like.

명세서 전체에서 "터치 입력"이란 사용자가 디바이스(100)를 제어하기 위해 터치 스크린에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.Throughout the specification, "touch input" means a gesture or the like that the user makes on the touch screen to control the device 100. [ For example, the touch input described herein may include a tap, a touch & hold, a double tap, a drag, a panning, a flick, a drag and drop,

"탭(tap)"은 사용자가 손가락 또는 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다. "Tap" indicates an operation in which the user immediately touches the screen using a finger or a touch tool (e.g., an electronic pen) and immediately lifts it from the screen without moving.

"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 예를 들어, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적 또는 촉각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다. "Touch & hold" represents an operation for the user to touch the screen using a finger or a touch tool (e.g., an electronic pen) and then maintain the touch input for a critical time (e.g., 2 seconds) or more. For example, the time difference between the touch-in and touch-out times is equal to or greater than a threshold time (e.g., 2 seconds). In order to allow the user to recognize whether the touch input is a tap or a touch & hold, the feedback signal may be provided visually, audibly or tactually when the touch input is maintained for a predetermined time or more. The threshold time may vary depending on the implementation.

"더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자펜)를 이용하여 화면을 두 번 터치하는 동작을 나타낸다. "Double tap" indicates an operation in which the user touches the screen twice with a finger or a touch tool (e.g., an electronic pen).

"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. 드래그 동작으로 인하여 오브젝트가 이동되거나 후술할 패닝 동작이 수행된다."Drag" means an operation of moving a finger or a touch tool to another position in the screen while the user holds the touch after touching the finger or the touch tool on the screen. The object is moved due to the drag operation or a panning operation to be described later is performed.

"패닝(panning)"은 사용자가 오브젝트를 선택하지 않고 드래그 동작을 수행하는 경우를 나타낸다. 패닝은 특정 오브젝트를 선택하지 않기 때문에 오브젝트가 페이지 내에서 이동되는 것이 아니라 페이지 자체가 화면 내에서 이동하거나, 오브젝트의 그룹이 페이지 내에서 이동한다. "Panning" indicates a case where a user performs a drag operation without selecting an object. Since panning does not select a specific object, the object is not moved within the page, but the page itself moves within the screen, or the group of objects moves within the page.

"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. 손가락이나 터치 도구의 이동 속도가 임계 속도(예컨대, 100 pixel/s) 이상인지에 기초하여 드래그(또는 패닝)와 플릭을 구별할 수 있다. A "flick" represents an operation in which a user drags a finger or touch tool to a critical velocity (e.g., 100 pixel / s) or more. It is possible to distinguish the drag (or panning) from the flick based on whether the moving speed of the finger or the touch tool is equal to or greater than a critical speed (for example, 100 pixel / s).

"드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 화면 내 소정 위치에 드래그한 후 놓는 동작을 의미한다. "Drag & drop" means an operation in which a user drags an object to a predetermined position on the screen using a finger or a touch tool, and then releases the object.

“핀치(pinch)”는 핀치(pinch)는 사용자가 복수 개의 손가락이나 터치 도구를 화면에 터치한 후 손가락 또는 터치 도구들간의 간격을 넓히거나 좁히는 동작을 나타낸다. 사용자가 엄지와 검지를 화면에 접촉한 후 이들 사이의 간격을 넓히는 동작을 언핀칭(unpinching)이라 칭하고, 이들 사이의 간격을 좁히는 동작을 핀칭 (pinching)이라 칭할 수 있다. 두 손가락의 거기에 따라 확대 값이나 축소 값이 결정된다.&Quot; Pinch " indicates a pinch operation in which a user touches a screen with a plurality of fingers or a touch tool, and then widens or narrows the gap between the finger or touch tools. The operation of widening the gap between the thumb and index finger after the finger touches the screen is referred to as un-pinching, and the operation of narrowing the gap therebetween can be referred to as pinching. The magnification or reduction value is determined by the two fingers.

“스와이프(swipe)”는 손가락이나 터치 도구로 화면 위의 오브젝트를 터치한 상태에서 일정 거리를 움직이는 동작이다. A "swipe" is a movement of a certain distance while touching an object on the screen with a finger or a touch tool.

명세서 전체에서 "모션 입력"은, 사용자가 디바이스(100)를 제어하기 위해 디바이스(100)에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 디바이스(100)를 회전시키거나, 디바이스(100)를 기울이거나, 디바이스(100)를 상하좌우로 이동시키는 입력을 포함할 수 있다. 디바이스(100)는, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 등을 이용하여, 사용자에 의해 기 설정된 모션 입력을 감지할 수 있다. Throughout the specification, "motion input" refers to the motion that a user applies to the device 100 to control the device 100. For example, the motion input may include an input by which a user rotates the device 100, tilts the device 100, or moves the device 100 up, down, left, or right. The device 100 detects motion input predetermined by a user by using an acceleration sensor, a tilt sensor, a gyro sensor, a 3-axis magnetic sensor, can do.

명세서 전체에서 "벤딩 입력"은, 디바이스(100)가 플렉서블 디스플레이 장치인 경우, 사용자가 디바이스(100)를 제어하기 위해 디바이스(100)의 전체 또는 일부 영역을 구부리는 입력을 의미한다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 벤딩 센서를 이용하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간 등을 감지할 수 있다. Throughout the specification, "bending input" refers to an input by which a user bends all or a portion of a device 100 to control the device 100, if the device 100 is a flexible display device. According to an exemplary embodiment of the present invention, the device 100 uses a bending sensor to calculate a bending position (coordinate value), a bending direction, a bending angle, a bending speed, a bending frequency, Can be detected.

명세서 전체에서 "키 입력"은 사용자가 디바이스(100)에 부착된 물리적인 키를 이용하여, 디바이스(100)를 제어하는 입력을 의미한다. Throughout the specification, "keystroke" means an input that controls the device 100 using a physical key attached to the device 100 by the user.

명세서 전체에서 "다중 입력"은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 디바이스(100)는, 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다. 또한, 디바이스(100)는 사용자의 터치 입력 및 안구 입력을 수신할 수도 있다. 안구 입력은 디바이스(100)를 제어하기 위해 사용자가 눈의 깜빡임, 응시 위치, 안구의 이동 속도 등을 조절하는 입력을 의미한다.Throughout the specification, "multiple input" means that at least two input methods are combined. For example, the device 100 may receive a touch input and a motion input of a user, and may receive a touch input and a voice input of a user. The device 100 may also receive a user's touch input and eye input. The eyeball input is an input for controlling the device 100 by the user to control the blinking of the eye, the gazing position, the moving speed of the eyeball, and the like.

이하에서는 설명의 편의상 사용자 입력이 키 입력 또는 터치 입력인 경우를 예로 들어 설명하기로 한다.Hereinafter, the case where the user input is a key input or a touch input will be described as an example for convenience of explanation.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 기 설정된 버튼을 선택하는 사용자 입력을 수신할 수 있다. 기 설정된 버튼은, 디바이스(100)에 부착된 물리적인 버튼일 수도 있고, GUI(Graphical User Interface) 형태의 가상의 버튼일 수도 있다. 예를 들어, 사용자가 제 1 버튼(예컨대, 홈 버튼) 및 제 2 버튼(예컨대, 음량 조절 버튼)을 함께 선택하는 경우, 디바이스(100)는 화면에 표시되는 일부 영역을 선택할 수 있다. According to one embodiment of the present invention, the device 100 may receive a user input for selecting a preset button. The predetermined button may be a physical button attached to the device 100 or a virtual button in the form of a graphical user interface (GUI). For example, when a user selects a first button (e.g., a home button) and a second button (e.g., a volume control button) together, the device 100 can select a part of the area displayed on the screen.

디바이스(100)는, 화면에 표시된 영상 일부 영역을 터치하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, 일부 영역을 소정 시간 이상(예컨대, 2초 이상) 터치하거나 소정 횟수 이상 터치하는 입력(예컨대, 더블 탭)을 수신할 수 있다. 그러면, 디바이스(100)는 터치된 일부 영역을 포함하는 객체 또는 배경을 관심 영역으로 결정할 수 있다. 즉, 디바이스(100)는 관심 영역을 선택할 수 있다. The device 100 may receive a user input that touches a part of the image displayed on the screen. For example, the device 100 may receive an input (e.g., a double tap) that touches a certain area for a predetermined time or more (for example, two seconds or more) or touches for a predetermined number of times or more. Then, the device 100 may determine an object or background including the touched area as a region of interest. That is, the device 100 may select a region of interest.

그리고, 디바이스(100)는 영상으로부터 관심 영역을 결정할 수 있다. 디바이스(100)는 영상 분석 정보를 이용하여 영상으로부터 관심 영역을 결정할 수 있다. 예를 들어, 디바이스(100)는 터치된 영역에 표시된 객체의 외곽선을 검출할 수 있다. 디바이스(100)는 영상에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 예를 들어, 디바이스(100)는 객체의 외곽선이 차량의 템플릿과 유사한 경우, 영상에 포함된 객체를 차량으로 인식하고 차량 영상을 관심 영역으로 결정할 수 있다. Then, the device 100 can determine the region of interest from the image. The device 100 may determine the region of interest from the image using the image analysis information. For example, the device 100 may detect the outline of the object displayed in the touched area. The device 100 may compare the outline of the object included in the image with a predefined template to detect the type of the object, the name of the object, and the like. For example, when the outline of an object is similar to a template of a vehicle, the device 100 can recognize an object included in the image as a vehicle and determine a vehicle image as a region of interest.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 얼굴을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..According to an embodiment of the present invention, the device 100 may perform face recognition on an object included in an image. Methods for detecting a face may include Knowledge-based methods, Feature-based methods, Template-matching methods, and Appearance-based methods. However, the present invention is not limited thereto.

검출된 얼굴로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴에서 얼굴의 특징을 추출하는 방법은 가버 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다. (E.g., eye, nose, mouth shape, etc., which are main parts of the face) from the detected face. Various methods such as a Gabor filter or LBP (Local Binary Pattern) can be used as a method of extracting facial features from a face, but the present invention is not limited thereto.

또는, 디바이스(100)는, 영상의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 영상의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다. Alternatively, the device 100 may compare a certain area of the image with a color map (color histogram) to extract visual characteristics such as color arrangement, pattern, and atmosphere of the image as image analysis information.

단계 S130에서, 디바이스(100)는 영상에 효과를 제공한다. 디바이스(100)는 영상 중 관심 영역을 기표시되었던 관심 영역에 비해 전체적으로 다르게 제공하도록 영상 중 관심 영역에 효과를 제공할 수 있다. 효과 제공 방법은 다양할 수 있다.
In step S130, the device 100 provides an effect on the image. The device 100 may provide an effect on a region of interest of the image to provide a different region of interest than the region of interest that was previously displayed. The methods of providing effects can vary.

도 2는 일 실시예에 따른 효과 제공을 위한 GUI(Graphical User Interface)의 일 예를 나타내는 도면이다. 2 is a diagram illustrating an example of a GUI (Graphical User Interface) for providing an effect according to an embodiment.

도 2의 200-1에 도시된 바와 같이, 디바이스(100)는 임의의 화면을 표시할 수 있다. 임의의 화면은 사진 앨범 어플리케이션이 실행되어 정지 영상이 표시된 화면, 촬영 어플리케이션이 실행되어 라이브 뷰 영상이 표시된 화면, 동영상 앨범 어플리케이션이 실행되어 동영상의 내 동영상 프레임이 표시된 화면, 어플리케이션의 실행을 위한 메뉴 항목을 포함하는 메뉴 영상이 표시된 화면 등이 있을 수 있다. 디바이스(100)는 임의의 화면에서 이용할 수 있는 기능에 대한 기능 창(210)을 제공할 수 있다.As shown in 200-1 of Fig. 2, the device 100 can display an arbitrary screen. The arbitrary screen includes a screen in which a photo album application is executed and a still image is displayed, a screen in which a photographing application is executed and a live view image is displayed, a screen in which a moving picture frame application is executed and a moving image frame of the moving picture is displayed, A menu screen including a menu screen may be displayed. The device 100 may provide a function window 210 for functions available on any screen.

상기한 기능 창(210)에는 화면에서 이용할 수 있는 기능을 나타내는 다양한 항목을 제공할 수 있다. 사용자는 기능 창(210)에서 '편집' 항목을 선택할 수 있다. 사용자가 메뉴 창(210)에서 '편집' 항목(212)을 선택하는 경우, 디바이스(100)는, 도 2의 200-2에 도시된 바와 같이, 다양한 편집 항목을 포함된 편집 창(220)을 제공할 수 있다. 기능 창 및 편집 창은 GUI(Graphical User Interface)의 일종일 수 있다. The function window 210 may provide various items indicating functions available on the screen. The user can select an 'edit' item in the function window 210. When the user selects the 'edit' item 212 in the menu window 210, the device 100 displays an edit window 220 including various edit items as shown in 200-2 of FIG. 2 . The function window and the edit window can be all kinds of GUI (Graphical User Interface).

도 2의 200-2를 참조하면, 디바이스(100)는 편집 방법을 결정할 수 있는 편집 창(220)을 화면에 표시할 수 있다. 사용자가 편집 창(220)에서 효과 편집(222) 항목을 선택하는 경우, 디바이스(100)는, 영상 중 부분 영상을 기존의 부분 영상과 전체적으로 다르게 표시하는 효과를 제공할 수 있다.
Referring to 200-2 of FIG. 2, the device 100 may display an edit window 220 on which an editing method can be determined. When the user selects the effect editing 222 item in the edit window 220, the device 100 may provide an effect of displaying a partial image in the image different from the existing partial image as a whole.

이하에서는 영상에 효과를 제공하는 예를 구체적으로 설명한다.Hereinafter, an example of providing an effect on a video will be described in detail.

도 3은 일 실시예에 따른 객체에 후광 효과를 제공하는 방법을 설명하는 참조도면이다. 도 3의 300-1에 도시된 바와 같이, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(310)를 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 사용자는 객체가 표시된 일부 영역을 터치한 후 움직이지 않은 채 즉시 들어 올리는 탭 동작을 수행함으로써 객체가 표시된 일부 영역은 선택할 수 있다. 디바이스(100)는 그래프 컷(graph cut) 방법 및 레벨 셋(level set) 방법 등을 이용하여 영상으로부터 터치된 영역에 포함하는 영역에 표시된 객체를 구분할 수 있다. 그리고, 디바이스(100)는 객체는 관심 영역을 결정할 수 있다. 3 is a reference diagram illustrating a method for providing a halo effect to an object in accordance with one embodiment. As shown in 300-1 of Fig. 3, the device 100 may display one or more images with a specific application, e.g., a photo album application running. The device 100 may receive a user input that selects the object 310 as an area of interest in the image. The user can select some of the areas in which the object is displayed by performing a tapping operation in which an object touches a displayed area and immediately lifts it without moving. The device 100 can distinguish objects displayed in an area included in a touched area from an image using a graph cut method and a level set method. The device 100 may then determine an area of interest.

그리고, 도 3의 300-2에 도시된 바와 같이, 디바이스(100)는 사용자의 선택에 응답하여 객체를 전체적으로 하이라이트시켜, 도 3의 300-1에 표시되었던 객체(310)와 전체적으로 다른 객체(320)을 표시할 수 있다. 관심 영역을 기표시되었던 관심 영역에 비해 전체적으로 하이라이트시키는 영상 처리를 후광 효과라고 할 수 있다. 관심 영역의 외곽선을 하이라이트시킬 수도 있고, 관심 영역 전체를 하이라이트시킬 수도 있다.
3, the device 100 highlights the object as a whole in response to the user's selection, so that the object 310, which is entirely different from the object 310 displayed in 300-1 of FIG. 3 ) Can be displayed. The image processing that highlights the region of interest as a whole compared to the region of interest may be called a halo effect. The outline of the region of interest may be highlighted, or the entire region of interest may be highlighted.

도 4는 일 실시예에 따른 객체에 흐림 효과를 제공하는 방법을 설명하는 참조도면이다. 도 4의 400-1에 도시된 바와 같이, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(410)를 선택하는 입력을 수신할 수 있다. 사용자는 관심 영역인 객체(410)가 표시된 일부 영역을 터치한 후 일정 거리 좌우로 이동하는 스와이프 동작을 수행함으로써 객체(410)를 선택할 수 있다. 그러면, 도 4의 400-2에 도시된 바와 같이, 디바이스(100)는 사용자의 선택에 응답하여 객체내 픽셀 값간의 차가 작아짐으로써 흐릿하게 표시되는 흐림 효과가 제공된 객체(420)을 표시할 수 있다. 디바이스(100)는 스와이프하는 시간 또는 횟수에 따라 흐림(blur) 효과의 정도를 다르게 할 수 있다. 예를 들어, 스와이프하는 시간 또는 횟수가 많아질수록 흐림 효과의 정도가 클 수 있다.
4 is a reference diagram illustrating a method for providing a blur effect to an object in accordance with one embodiment. As shown in 400-1 of FIG. 4, the device 100 may display one or more images while a specific application, e.g., a photo album application, is running. The device 100 may receive an input to select an object 410 from an image. The user can select the object 410 by touching a part of the area where the object 410 which is the area of interest is touched and then performing a swipe operation to move left and right by a certain distance. Then, as shown in 400-2 of FIG. 4, the device 100 may display an object 420 provided with a blurred blurred image in response to a user's selection by decreasing the difference between pixel values in the object . The device 100 may vary the degree of the blur effect depending on the time or number of times of swiping. For example, the greater the time or number of swipes, the greater the degree of blur.

도 5 및 도 6은 일 실시예에 따른 객체에 크기 효과를 제공하는 방법을 설명하는 참조도면이다. 5 and 6 are reference diagrams illustrating a method for providing size effects to objects in accordance with one embodiment.

도 5의 500-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(510)를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 관심 영역인 객체(510)가 표시된 일부 영역을 두 손가락으로 터치한 상태에서 두 손가락의 거리가 커지는 제스처인 언핀치 동작을 수행함으로써 객체(510)를 선택할 수 있다. 그러면, 디바이스(100)는 객체의 선택에 응답하여, 도 5의 500-2에 도시된 바와 같이, 크기가 확대된 객체(520)를 표시할 수 있다. 선택된 객체의 크기가 커진 반면 선택되지 않는 다른 객체 및 배경의 크기는 변경되지 않는다. 크기 증가는 두 손가락간 거리의 변화량에 의해 결정될 수 있다.
Referring to 500-1 of FIG. 5, the device 100 may display one or more images while a specific application, e.g., a photo album application, is running. The device 100 may receive an input to select the object 510 from the image. For example, the user can select an object 510 by performing an unfinting operation, which is a gesture in which the distance between the two fingers is increased, while touching a partial area of the object 510, which is an area of interest, with two fingers. Then, in response to the selection of the object 100, the device 100 may display the enlarged object 520, as shown in 500-2 of FIG. While the size of the selected object is large, the sizes of other objects and backgrounds that are not selected do not change. The increase in size can be determined by the amount of change in distance between two fingers.

또는, 도 6의 600-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(610)를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 관심 영역인 객체(610)가 표시된 일부 영역을 두 손가락으로 터치한 상태에서 두 손가락의 거리가 작아지는 핀치 동작을 수행함으로써 객체(610)를 선택할 수 있다. 그러면, 디바이스(100)는 객체의 선택에 응답하여, 도 6의 600-2에 도시된 바와 같이, 크기가 축소된 객체(620)를 제공할 수 있다. 선택된 객체의 크기가 축소된 반면 선택되지 않는 다른 객체 및 배경의 크기는 변경되지 않는다. 다만, 선택된 객체의 크기가 축소됨으로써 선택된 객체와 다른 영역 사이에 공간은 미러링 기법 등을 이용하여 선택되지 않은 다른 객체 및 배경에 의해 채워질 수 있다. 크기 축소는 두 손가락간 거리의 변화량에 의해 결정될 수 있다.
Alternatively, referring to 600-1 of FIG. 6, the device 100 may display one or more images with a particular application, e.g., a photo album application running. Device 100 may receive an input to select object 610 from the image. For example, the user can select an object 610 by performing a pinch operation in which a distance between two fingers is reduced while a user touches a partial area of the object 610, which is an area of interest, with two fingers. The device 100 may then provide the reduced size object 620, as shown in 600-2 of FIG. 6, in response to the selection of the object. The size of the selected object is reduced, while the size of other objects and backgrounds that are not selected do not change. However, since the size of the selected object is reduced, the space between the selected object and another area can be filled with another object and background that are not selected using a mirroring technique or the like. Size reduction can be determined by the amount of change in distance between two fingers.

효과 제공은 관심 영역의 깊이를 조절 또는 생성하는 것도 포함될 수 있다. 도 7 및 8은 일 실시예에 따른 객체의 깊이 효과를 제공하는 방법을 설명하는 참조도면이다. 도 7의 700-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(710)를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 객체(710)가 표시된 일부 영역을 터치한 상태에서 디바이스(100)를 위로 올리는 동작을 수행함으로써 객체(710)를 관심 영역으로 선택할 수 있다. 그러면, 디바이스(100)는 객체의 선택에 응답하여, 도 7의 700-2에 도시된 바와 같이, 선택된 객체(720)가 선택되기 전의 객체(710)보다 앞에 표시되도록 즉, 사용자로 하여금 선택된 객체(720)가 가깝게 보이게 느껴지도록 하는 깊이 감소 효과가 제공된 객체(720)를 표시할 수 있다.
Providing effects may also include adjusting or creating a depth of interest region. 7 and 8 are reference diagrams illustrating a method of providing depth effects of an object in accordance with one embodiment. Referring to 700-1 of FIG. 7, the device 100 may display one or more images while a specific application, for example, a photo album application, is running. The device 100 may receive an input to select an object 710 from the image. For example, the user can select the object 710 as an area of interest by performing an operation of raising the device 100 with the object 710 touching a part of the area displayed. The device 100 then responds to the selection of the object so that the selected object 720 is displayed in front of the object 710 before it is selected as shown in 700-2 of Figure 7, The object 720 may be displayed with a depth reduction effect that causes the object 720 to appear closer.

또는, 도 8의 800-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 객체(810)를 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 객체(810)가 표시된 일부 영역을 터치한 상태에서 디바이스(100)를 아래로 움직이는 동작을 수행함으로써 객체(810)를 관심 영역으로 선택할 수 있다. 그러면, 디바이스(100)는 객체(810)의 선택에 응답하여, 도 8의 800-2에 도시된 바와 같이, 선택된 객체(820)가 선택되기 전의 객체(810)보다 뒤에 표시되도록, 즉, 사용자로 하여금 선택된 객체(820)가 멀리 보이게 느껴지도록 하는 깊이 증가 효과가 제공된 객체(820)를 표시할 수 있다.
Alternatively, with reference to 800-1 of FIG. 8, the device 100 may display one or more images with a particular application, e.g., a photo album application running. Device 100 may receive an input to select object 810 from the image. For example, the user may select an object 810 as an area of interest by performing an operation of moving the device 100 downward while touching a part of the area where the object 810 is displayed. The device 100 then responds to the selection of the object 810 so that it is displayed behind the object 810 before the selected object 820 is selected as shown in 800-2 of Figure 8, May display an object 820 provided with a depth increasing effect that causes the selected object 820 to appear far away.

디바이스(100)는 효과 종류를 사용자의 제스처에 기반하여 결정할 수도 있지만, 디바이스(100)는 효과 리스트를 제공하고, 사용자의 선택한 항목에 기반하여 효과 종류를 결정할 수도 있다. 도 9는 일 실시예에 따른 효과 리스트를 표시하는 방법을 설명하는 참조도면이다. The device 100 may determine the type of effect based on the user's gesture, but the device 100 may provide an effect list and determine the type of effect based on the user's selected item. 9 is a reference diagram illustrating a method of displaying an effect list according to an embodiment.

도 9의 900-1에 도시된 바와 같이 디바이스(100)의 모드가 효과 모드로 설정된 상태에서, 디바이스(100)는 영상을 표시할 수 있다. 사용자는 객체(910)가 표시된 일부 영역을 선택할 수 있다. 그러면, 디바이스(100)는 선택된 영역에 표시된 객체 또는 배경을 관심 영역으로 결정하고, 관심 영역에 적용할 수 있는 효과에 대한 효과 리스트(920)를, 도 9의 900-2에 도시된 바와 같이, 표시할 수 있다. With the mode of the device 100 set to the effect mode as shown in 900-1 of Fig. 9, the device 100 can display an image. The user can select a portion of the area where the object 910 is displayed. The device 100 then determines the object or background displayed in the selected area as the area of interest and applies an effect list 920 for the effect that can be applied to the area of interest, Can be displayed.

상기한 효과 리스트(920)는 팝업창으로 표시될 수 있으며, 효과 항목은 텍스트로 표시될 수 있다. 효과 항목으로, 관심 영역을 하이라이트시키는 후광 효과, 관심 영역의 픽셀값 차를 줄이는 흐림 효과, 관심 영역의 크기를 조절하는 크기 효과, 관심 영역의 깊이를 조절하는 깊이 효과 등이 있을 수 있다. 사용자는 효과 항목 중 어느 하나를 선택할 수 있고, 디바이스(100)는 사용자 입력에 대응하여 관심 영역에 효과를 제공할 수 있다.
The effect list 920 may be displayed in a pop-up window, and the effect item may be displayed in text. As an effect item, there may be a halo effect highlighting an area of interest, a blur effect reducing a pixel value difference of the area of interest, a size effect adjusting the size of the ROI, and a depth effect controlling the depth of the ROI. The user can select any one of the effect items, and the device 100 can provide effects on the region of interest corresponding to the user input.

지금까지 하나의 객체를 선택하고, 선택된 객체에 대해 효과를 제공하는 방법을 설명하였다. 복수 개의 객체에 동일한 효과를 제공할 수도 있고, 복수 개의 객체 중 적어도 두 개는 서로 다른 효과를 제공할 수도 있다. So far, we have shown how to select an object and provide effects for the selected object. The same effect may be provided to a plurality of objects, and at least two of the plurality of objects may provide different effects.

도 10는 일 실시예에 따른 하나의 영상 중 복수 개의 객체에 효과를 제공하는 방법을 설명하는 참조도면이다. 도 10의 1000-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 제1 객체(1010)를 관심 영역으로 선택하는 입력을 수신할 수 있다. 예를 들어, 사용자는 제1 객체(1010)가 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 제1 객체(1010)를 관심 영역으로 선택하는 사용자 입력이 수신된 것으로 결정하고, 도 10의 1000-2에 도시된 바와 같이, 후광 효과가 제공된 제1 객체(1012)를 표시할 수 있다. 또한, 디바이스(100)는 영상 중에서 제2 객체(1020)를 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 제2 객체(1020)가 표시된 일부 영역을 두 손가락으로 터치한 상태에서 두 손가락의 거리가 커지는 언핀치 동작을 수행함으로써 제2 객체(1020)를 선택하는 명령을 입력할 수 있다. 그러면, 디바이스(100)는 제2 객체(1020)의 선택에 응답하여, 도 9의 900-3에 도시된 바와 같이, 제2 객체에 크기를 증가시켜, 크기가 증가된 제2 객체(1022)를 표시할 수 있다.
FIG. 10 is a reference diagram illustrating a method of providing an effect to a plurality of objects in one image according to an embodiment. Referring to 1000-1 in FIG. 10, the device 100 can display one or more images in a state in which a specific application, for example, a photo album application is executed. The device 100 may receive an input to select the first object 1010 as an area of interest in the image. For example, the user may touch a portion of the area where the first object 1010 is displayed. Then, the device 100 determines that a user input for selecting the first object 1010 as the region of interest has been received, and as shown in 1000-2 of Fig. 10, the first object 1012, Can be displayed. In addition, the device 100 may receive a user input that selects a second object 1020 as an area of interest in the image. For example, the user can input a command to select the second object 1020 by performing an un-pinch operation in which the distance between the two fingers is increased in a state where the second object 1020 is touched with two fingers have. Then, in response to the selection of the second object 1020, the device 100 increases the size of the second object, as shown in 900-3 of FIG. 9, to increase the size of the second object 1022, Can be displayed.

효과 제공은 영상 중 객체뿐만 아니라 배경에도 적용될 수 있다. 도 11은 일 실시예에 따른 배경에 효과를 제공하는 방법을 설명하는 참조도면이다. 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는, 도 11의 1100-1에 도시된 바와 같이, 영상 중에서 배경(1110)을 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 사용자는 배경(1110)이 표시된 일부 영역을 터치한 후 스와이프함으로써 배경을 선택할 수 있다. 그러면, 디바이스(100)는 배경(1110)의 선택에 응답하여 배경 내 픽셀 값간의 차가 작아짐으로써 흐릿해지는 흐림 효과를 제공하고, 도 11의 1100-2에 도시된 바와 같이, 흐림 효과가 제공된 배경(1120)을 표시할 수 있다. 흐림 효과 이외에도 배경을 이전 배경에 비해 전체적으로 다르게 표시되도록 하는 다른 종류의 효과도 적용될 수 있음은 물론이다.Effects can be applied to backgrounds as well as objects in the image. 11 is a reference diagram illustrating a method for providing effects on a background in accordance with one embodiment. The device 100 may display one or more images while a specific application, e.g., a photo album application, is running. The device 100 may receive a user input to select the background 1110 as an area of interest from the image, as shown at 1100-1 in Fig. The user can select a background by touching and swiping a part of the area where the background 1110 is displayed. The device 100 then provides a blurring effect by reducing the difference between the pixel values in the background in response to the selection of the background 1110, 1120 < / RTI > It is needless to say that other kinds of effects may be applied so that the background is displayed totally different from the background in addition to the blurring effect.

또한, 효과 제공은 배경과 객체에 대해 효과가 제공될 수도 있다. 도 12a는 일 실시예에 따른 객체 및 배경에 효과를 제공하는 방법을 설명하는 참조도면이다. 도 12a의 1200-1를 참조하면, 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는 영상 중에서 제1 객체(1210)를 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 제1 객체(1210)가 표시된 일부 영역을 터치함으로써 제1 객체(1210)를 선택할 수 있다. 그러면, 디바이스(100)는 제1 객체(1210)의 선택에 응답하여 제1 객체(1210)에 후광 효과를 제공할 수 있다. 상기한 후광 효과는 사용자가 선택한 객체를 강조하기 위한 표시이다.Also, effects may be provided for backgrounds and objects. 12A is a reference diagram illustrating a method for providing an effect on an object and background in accordance with one embodiment. Referring to 1200-1 of FIG. 12A, the device 100 may display one or more images with a specific application, for example, a photo album application running. The device 100 may receive a user input that selects the first object 1210 as an area of interest. For example, the user may select the first object 1210 by touching a portion of the first object 1210 displayed. The device 100 may then provide a halo effect to the first object 1210 in response to the selection of the first object 1210. The halo effect is an indication for emphasizing the object selected by the user.

그리고, 디바이스(100)는, 도 12a의 1200-2에 도시된 바와 같이, 후광 효과가 제공된 제1 객체(1212)를 표시할 수 있다. 또한, 디바이스(100)는 영상 중에서 배경(1220)을 관심 영역으로 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 배경(1220)이 표시된 일부 영역을 터치한 후 스와이프함으로써 배경(1220)을 선택할 수 있다. 그러면, 도12a의 1200-2에 도시된 바와 같이, 디바이스(100)는 배경(1220)의 선택에 응답하여 배경 내 픽셀 값간의 차가 작아짐으로써 흐릿하게 표시되는 흐림 효과가 제공된 배경(1222)를 표시할 수 있다.
Then, the device 100 can display the first object 1212 provided with the halo effect, as shown in 1200-2 of Fig. 12A. In addition, the device 100 may receive user input to select the background 1220 as an area of interest in the image. For example, the user can select a background 1220 by touching and swiping a portion of the area where the background 1220 is displayed. Then, as shown in 1200-2 of FIG. 12A, the device 100 displays the background 1222 provided with a blurred blurred result by decreasing the difference between pixel values in the background in response to the selection of the background 1220 can do.

지금까지 하나의 사용자 입력으로 관심 영역이 선택되면 기설정된 효과가 제공된다고 설명하였다. 그러나, 이에 한정되지 않는다. 관심 영역을 선택하는 사용자 입력과 효과를 제공하기 위한 사용자 입력이 분리될 수 있다. 복수 개의 사용자 입력은 연속적으로 수신될 수 있고, 시간차를 두고 수신될 수도 있다. 또한, 관심 영역을 선택하는 사용자 입력과 효과 제공을 위한 사용자 입력이 동일할 수 있다. So far, we have explained that when a region of interest is selected as a single user input, a predetermined effect is provided. However, it is not limited thereto. The user input for selecting the region of interest and the user input for providing the effect can be separated. A plurality of user inputs may be received continuously, and may be received at a time difference. In addition, the user input for selecting the region of interest and the user input for providing the effect may be the same.

도 12b는 일 실시예에 따른 복수 개의 사용자 입력으로 효과를 제공하는 방법을 설명하는 참조도면이다. 디바이스(100)는 특정 어플리케이션, 예를 들어, 사진 앨범 어플리케이션이 실행된 상태에서, 하나 이상의 영상을 표시할 수 있다. 디바이스(100)는, 도 12b의 1200-4에 도시된 바와 같이, 영상 중에서 배경(1260)을 관심 영역으로 선택하는 제1 사용자 입력을 수신할 수 있다. 사용자는 배경(1260)이 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 상기한 터치를 제1 사용자 입력으로써 수신하고, 배경(1260)을 관심 영역으로 결정할 수 있다. 디바이스(100)는 영상에서 객체의 외곽선을 검출하여 객체와 배경을 분리할 수 있다. 그리고, 디바이스(100)는 터치된 영역이 객체가 표시된 영역인지 배경이 표시된 영역인지 결정할 수 있다. 도 12b의 1200-4에서 디바이스는 배경이 표시된 영역에서 터치가 수신되었는 바, 배경(1260)을 관심 영역으로 결정할 수 있다.FIG. 12B is a reference diagram illustrating a method for providing a plurality of user input effects in accordance with one embodiment. The device 100 may display one or more images while a specific application, e.g., a photo album application, is running. The device 100 may receive a first user input that selects a background 1260 as an area of interest from the image, as shown at 1200-4 in Figure 12B. The user can touch a part of the area where the background 1260 is displayed. The device 100 may then receive the touch as a first user input and determine the background 1260 as a region of interest. The device 100 may detect an outline of an object in an image to separate the object and the background. Then, the device 100 can determine whether the touched area is the area in which the object is displayed or the background is displayed. 12B, the device can determine the background 1260 as a region of interest, as the touch is received in the region where the background is displayed.

한편, 디바이스(100)는, 도 12b의 1200-5에 도시된 바와 같이, 배경의 경계선을 하이라이트시키는 인디케이터(1270)를 제공할 수 있다. 사용자는 상기한 인디케이터(1270)를 보고 관심 영역이 잘 선택되었는지 확인할 수 있다. 디바이스(100)는 상기한 인디케이터(1270)를 사용자의 설정에 따라 선택적으로 표시할 수 있다. 그리고, 디바이스(100)는 배경에 효과를 제공하기 위한 제2 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 배경이 표시된 영역에서 특정 방향으로 드래그하는 동작을 수행할 수 있다. 제1 사용자 입력과 제2 사용자 입력은 연속적으로 수신될 수 있다. 예를 들어, 사용자는 배경을 터치(제1 사용자 입력)한 후 바로 드래그(제2 사용자 입력)할 수 있다. On the other hand, the device 100 may provide an indicator 1270 to highlight the background border, as shown at 1200-5 in FIG. 12B. The user can check whether the region of interest is well selected by viewing the indicator 1270. The device 100 may selectively display the indicator 1270 according to the setting of the user. The device 100 may then receive a second user input to provide an effect in the background. For example, a user can perform an operation of dragging in a certain direction in an area in which a background is displayed. The first user input and the second user input may be received continuously. For example, the user can directly drag the background (second user input) after touching the background (first user input).

그러면, 디바이스(100)는 상기한 드래그를 제2 사용자 입력으로 수신하고, 배경을 드래그하는 방향으로 흘러내는 흘림(flow) 효과를 제공하고, 도 12b의 1200-6에 도시된 바와 같이, 흘림 효과가 제공된 배경(1262)을 표시할 수 있다. 상기한 흘림 효과는 영상이 흘려내리게 표시되는 효과로서, 픽셀값이 이웃하는 픽셀들 중 드래그하는 방향을 기준으로 이전에 배치된 픽셀의 픽셀값을 기초로 보정되는 것이다.
The device 100 then receives the drag as a second user input and provides a flow effect that flows in the direction of dragging the background, and as shown in 1200-6 of Figure 12B, The background 1262 can be displayed. The above-described sagging effect is an effect in which an image is displayed to flow down, and the pixel value is corrected on the basis of the pixel value of the previously disposed pixel with respect to the dragging direction of neighboring pixels.

하나의 영상을 편집함으로써 다른 영상도 동일한 효과를 제공할 수 있다. 도 13은 일 실시예에 따른 복수 개의 영상에 효과를 제공하는 GUI(Graphical User Interface)를 나타내는 도면이다. 도 13의 1300-1을 참조하면, 디바이스(100)는 사용자 입력에 대응하여 객체에 효과를 제공하였다. 디바이스(100)는 다른 영상에도 동일한 효과를 적용할 것인지를 문의하는 문의 창(1310)을 표시할 수 있다. 다른 영상 이용By editing one image, other images can provide the same effect. 13 is a diagram illustrating a GUI (Graphical User Interface) for providing effects to a plurality of images according to an exemplary embodiment. Referring to 1300-1 in Fig. 13, the device 100 has provided an effect to an object in response to a user input. The device 100 may display a query window 1310 asking whether to apply the same effect to other images. Use other images

그리고, 디바이스(100)는 동일한 효과를 적용할 것을 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자는 문의 창(1310) 중 ??가 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 사용자 입력에 응답하여, 도 13의 1300-2에 도시된 바와 같이, 효과 적용이 가능한 영상에 대한 리스트(1320)를 표시할 수 있다. 사용자가 리스트(1320) 중 특정 영상의 종류를 선택하면, 디바이스(100)는 선택된 영상에 동일한 효과를 제공할 수 있다.
The device 100 may then receive user input requesting to apply the same effect. For example, the user can touch a part of the inquiry window 1310 indicated by?. Then, in response to the user input, the device 100 may display a list 1320 of the images to which the effect can be applied, as shown in 1300-2 in Fig. If the user selects a particular image type in the list 1320, the device 100 may provide the same effect to the selected image.

이하에서는 설명의 편의를 도모하기 위해, 효과 제공이 가능한 영상인지 여부를 판단하기 위해 검토하는 영상을 타겟 영상이라고 한다. 관심 영역으로 선택하기 위해 이용된 영상을 제1 영상이라고 하고, 타겟 영상 중 효과를 제공하거나 효과 제공에 이용되는 영상을 제2 영상이라고 한다. Hereinafter, in order to facilitate the description, an image to be reviewed is referred to as a target image in order to determine whether or not the image can be provided with an effect. An image used to select an area of interest is referred to as a first image, and an image used to provide an effect or provide an effect is referred to as a second image.

디바이스(100)가 제2 영상에 효과를 제공하기 위해 타겟 영상으로부터 제2 영상을 검색 또는 획득할 수 있다. 디바이스(100)는 제1 영상의 관심 영역 즉, 객체 또는 배경을 식별하는 식별 정보를 이용하여 제2 영상을 검색할 수 있다. The device 100 may retrieve or obtain a second image from the target image to provide an effect on the second image. The device 100 may search for a second image using identification information that identifies a region of interest of the first image, i.e., an object or a background.

본 명세서에서 '식별 정보'는 식별하는 핵심적인 단어, 문구 등을 의하며, 식별 정보는 객체 및 배경 별로 정의될 수 있다. 객체 및 배경은 하나 이상의 식별 정보를 가질 수 있다. 본 발명의 일 실시예에 의하면, 식별 정보는, 영상의 속성 정보 또는 영상에 대한 영상 분석 정보를 이용하여 획득될 수 있다.
In the present specification, 'identification information' refers to key words, phrases, etc. to be identified, and identification information can be defined by objects and backgrounds. The object and the background may have more than one identification information. According to an embodiment of the present invention, the identification information may be acquired using attribute information of the image or image analysis information on the image.

도 14는 일 실시예에 따른 디바이스(100)가 제1 영상의 식별 정보를 이용하여 제2 영상에 효과를 제공하는 방법을 설명하는 순서도이다. FIG. 14 is a flowchart illustrating a method in which a device 100 according to an embodiment provides an effect to a second image using identification information of a first image.

단계 S1410에서, 디바이스(100)는, 제1 영상에서 관심 영역을 선택할 수 있다. 예를 들어, 위에서 살펴본 바와 같이, 디바이스(100)는 제1 영상을 표시하고, 사용자 입력에 의해 제1 영상 중 객체 또는 배경을 관심 영역으로 선택할 수 있다. 디바이스(100)는 제1 영상의 관심 영역에 효과를 제공할 수도 있고, 추후 제2 영상과 함께 제1 영상의 관심 영역에 효과를 제공할 수도 있다. 제1 영상은 정지 영상, 동영상의 일부인 동영상 프레임(즉, 동영상의 정지 영상), 라이브 뷰 영상일 수 있다. 제1 영상이 정지 영상 또는 동영상 프레임인 경우, 상기한 정지 영상 또는 동영상은 디바이스(100)에 기저장된 영상일 수도 있고, 외부 장치에 저장되어 전송된 영상일 수도 있다. 또는 제1 영상이 라이브 뷰 영상인 경우, 상기한 라이브 뷰 영상은 디바이스(100)에 내장된 카메라(160)가 촬영한 영상일 수도 있고 외부 장치인 카메라(160)가 촬영되어 전송된 영상일 수도 있다. In step S1410, the device 100 may select a region of interest in the first image. For example, as discussed above, the device 100 may display a first image and may select an object or background of the first image as a region of interest by user input. The device 100 may provide an effect on a region of interest of a first image, or may provide an effect on a region of interest of a first image together with a second image. The first image may be a still image, a moving image frame that is a part of the moving image (i.e., a still image of the moving image), or a live view image. When the first image is a still image or a moving image frame, the still image or the moving image may be a previously stored image in the device 100 or an image stored in an external device and transmitted. Alternatively, when the first image is a live view image, the live view image may be an image captured by the camera 160 built in the device 100, or may be an image captured by the camera 160, have.

단계 S1420에서, 디바이스(100)는, 선택된 관심 영역에 식별 정보가 정의되어 있는지 판단할 수 있다. 예를 들어, 영상이 저장될 때 영상에 포함된 객체 및 배경 각각을 설명하는 식별 정보가 매칭되어 저장될 수 있다. 이 경우, 디바이스(100)는 선택된 관심 영역에 식별 정보가 정의되어 있다고 판단할 수 있다. 본 발명의 일 실시예에 의하면, 객체 및 배경 각각에 대응하는 식별 정보는, 영상 각각에 대한 메타데이터 형태로 저장될 수 있다. In step S1420, the device 100 may determine whether identification information is defined in the selected region of interest. For example, when an image is stored, identification information describing each of the objects included in the image and the background may be matched and stored. In this case, the device 100 may determine that identification information is defined in the selected region of interest. According to an embodiment of the present invention, the identification information corresponding to each of the object and the background may be stored in the form of metadata for each of the images.

단계 S1430에서, 디바이스(100)는, 선택된 관심 영역에 식별 정보가 정의되어 있지 않은 경우, 식별 정보를 생성할 수 있다. 예를 들어, 디바이스(100)는, 메타데이터 형태로 저장된 속성 정보를 이용하여, 식별 정보를 생성하거나, 영상에 대한 영상 처리를 통해 획득되는 영상 분석 정보를 이용하여 식별 정보를 생성할 수 있다. 단계 S1430에 대해서 도 15를 참조하여 좀 더 자세히 살펴보기로 한다. In step S1430, the device 100 can generate the identification information if the identification information is not defined in the selected region of interest. For example, the device 100 may generate identification information using attribute information stored in the form of metadata, or may generate identification information using image analysis information obtained through image processing on the image. Step S1430 will be described in more detail with reference to FIG.

단계 S1440에서, 디바이스(100)는 타겟 영상으로부터 식별 정보를 갖는 제2 영상을 검색할 수 있다. 타겟 영상은 사용자 입력에 따라 디바이스(100)에 저장된 정지 영상, 동영상, 외부 장치에 저장된 정지 영상, 동영상 등일 수 있다. 동영상에서 제2 영상을 검색할 때, 디바이스(100)는 식별 정보를 갖는 동영상 프레임을 검색할 수 있다. In step S1440, the device 100 may retrieve a second image having identification information from the target image. The target image may be a still image, a moving image, a still image stored in an external device, a moving image, or the like stored in the device 100 according to a user input. When searching for a second image in a moving image, the device 100 can search for a moving image frame having identification information.

타겟 영상에도 식별 정보가 기정의되어 있을 수도 있고, 식별 정보가 정의되어 있지 않을 수도 있다. 타겟 영상에 식별 정보가 기정의되어 있는 경우, 디바이스(100)는 타겟 영상의 식별 정보와 관심 영역의 식별 정보간의 동일성 여부를 기준으로 제2 영상을 검색할 수 있다. 타겟 영상에 식별 정보가 정의되어 있지 않는 경우, 단계 S1430에서와 같이, 디바이스(100)는 타겟 영상의 식별 정보를 생성할 수 있다. 그리고, 생성된 타겟 영상의 식별 정보와 관심 영역의 식별 정보간의 동일성 여부를 기준으로 제2 영상을 검색할 수 있다. The identification information may be predefined in the target image, or the identification information may not be defined. If the identification information is set to the target video, the device 100 can search for the second video based on whether or not the identification information of the target video is identical to the identification information of the region of interest. If identification information is not defined in the target video, the device 100 can generate identification information of the target video as in step S1430. The second image can be searched based on whether or not the identification information of the generated target image is identical to the identification information of the ROI.

제1 영상의 관심 영역에 대한 식별 정보가 복수 개인 경우, 디바이스(100)는 적어도 일부의 식별 정보를 이용하여 영상을 검색할 수도 있다. 또는 디바이스(100)는 식별 정보 리스트를 사용자에게 제공하여 사용자가 식별 정보를 선택할 수 있다. 디바이스(100)는, 식별 정보 리스트에서 하나 이상의 식별 정보를 선택하는 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 식별 정보 전체를 선택하는 입력을 수신할 수도 있고, 일부 식별 정보들을 선택하는 입력을 수신할 수 있다. When there are a plurality of pieces of identification information for a region of interest of the first image, the device 100 may search for images using at least some identification information. Or the device 100 may provide the user with a list of identification information so that the user can select the identification information. The device 100 may receive an input that selects one or more pieces of identification information from the identification information list. According to one embodiment of the present invention, the device 100 may receive inputs that select all of the identification information and may receive inputs that select some identification information.

본 발명의 일 실시예에 의하면, 식별 정보를 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.According to one embodiment of the present invention, the user input for selecting the identification information may vary. For example, the user input may be at least one of a key input, a touch input, a motion input, a bending input, a voice input, and a multiplex input.

단계 S1450에서, 디바이스(100)는 검색된 제2 영상에 효과를 제공할 수 있다. 디바이스(100)는 식별 정보를 이용하여 제2 영상 중 관심 영역에 대응하는 부분 영상을 구분하고, 구분된 부분 영상에 제1 영상의 관심 영역에 적용되는 효과와 동일한 효과를 제공할 수 있다. 단계 S1410에서, 디바이스(100)는 사용자의 선택에 대응하여 제1 영상으로부터 관심 영역을 구분하고, 단계 S1450에서, 디바이스(100)는 식별 정보를 이용하여 제2 영상으로부터 관심 영역에 대응하는 부분 영상을 구분할 수 있다.
In step S1450, the device 100 may provide an effect on the retrieved second image. The device 100 can identify the partial image corresponding to the region of interest of the second image using the identification information and provide the same effect as the effect applied to the region of interest of the first image on the divided partial image. In step S1410, the device 100 identifies a region of interest from the first image corresponding to the user's selection. In step S1450, the device 100 extracts, from the second image, the partial image corresponding to the region of interest .

도 15는 일 실시예에 따른 디바이스(100)가 식별 정보를 생성하는 방법을 설명하는 순서도이다. 도 15에서는 제1 영상 내 관심 영역의 식별 정보가 기 정의되어 있지 않은 경우를 예로 들어 설명하기로 한다. 도 15의 식별 정보를 생성하는 방법은 타겟 영상의 식별 정보를 생성할 때도 적용될 수 있음은 물론이다. 15 is a flowchart illustrating a method by which a device 100 according to an embodiment generates identification information. In FIG. 15, the case where the identification information of the region of interest in the first image is not predefined will be described as an example. It goes without saying that the method of generating the identification information of FIG. 15 can also be applied to the generation of the identification information of the target image.

단계 S1510에서, 디바이스(100)는, 관심 영역에 대응하는 속성 정보가 존재하는지 판단할 수 있다. 예를 들어, 디바이스(100)는, 관심 영역에 대응하는 메타데이터를 확인할 수 있다. 디바이스(100)는, 메타데이터로부터 관심 영역의 속성 정보를 추출할 수 있다. In step S1510, the device 100 can determine whether attribute information corresponding to the region of interest exists. For example, device 100 may identify metadata corresponding to a region of interest. The device 100 can extract the attribute information of the ROI from the metadata.

일 실시예에 의하면, 속성 정보는 영상의 특성을 나타내는 정보로서, 영상 생성시의 컨텍스트 정보, 사용자에 의해 추가된 주석(annotation) 정보를 포함할 수 있다. According to an exemplary embodiment, the attribute information may include information indicating a characteristic of an image, context information at the time of image generation, and annotation information added by a user.

컨텍스트 정보는 영상 생성시의 영상과 관련된 환경 정보로서, 예를 들어, 영상의 형식에 관한 정보, 영상의 크기에 관한 정보, 영상이 생성된 디바이스(100)에 관한 정보, 영상 생성시의 시간 정보, 영상 생성시의 시간 정보, 영상 생성시의 온도 정보, 영상의 출처 정보 중 적어도 하나를 포함할 수 있다. 컨텍스트 정보는 디바이스가 자동으로 획득하여 저장할 수 있다. The context information is environment information related to an image at the time of image generation. For example, the context information includes information on the format of the image, information on the size of the image, information on the device 100 on which the image is generated, , Time information at the time of image generation, temperature information at the time of image generation, and source information of the image. The context information can be automatically acquired and stored by the device.

주석 정보는 사용자가 영상에 대해 기록한 정보로서, 영상에 포함된 객체에 관한 정보, 예를 들어, 객체의 종류, 명칭, 상태 뿐만 아니라, 배경에 대한 정보, 예를 들어, 장소 정보, 시간 정보, 날씨 정보 등을 포함할 수 있다. The annotation information is information recorded by the user on the image, and includes information on the object included in the image, for example, the type, name, and status of the object, as well as background information such as place information, Weather information, and the like.

단계 S1520 및 단계 S1540에서, 디바이스(100)는 영상에 대한 속성 정보를 일반화하여, 식별 정보를 생성할 수 있다. In steps S1520 and S1540, the device 100 can generalize the attribute information on the image and generate the identification information.

본 명세서에서, 속성 정보를 일반화한다는 것은, 워드넷(계층적 어휘 참조 체계)에 기반하여 속성 정보를 상위 계층 언어로 표현하는 것을 의미할 수 있다. In the present specification, generalizing attribute information may mean expressing attribute information in a higher layer language based on WordNet (hierarchical lexical reference system).

‘워드넷(Wordnet)’은 단어 사이의 의미나 사용 패턴에 관한 정보로 단어 간의 연관성을 구축한 데이터베이스이다. 워드넷의 기본적 구조는 의미적으로 동일한 단어 리스트를 가진 신세(synset)이라는 논리적 그룹들과 이러한 신셋들 사이의 관계를 정의한 의미적 관계로 구성된다. 의미적 관계로는 상위어(hypernym)과 하위어(hyponym), 부분어(meronym)와 전체어(holonym)가 있다. 워드넷의 명사 부분에서는 최상위어로 개체(entity)를 가지며 의미에 따라 이를 확장함으로써 하위어를 형성할 수 있다. 그러므로 워드넷도 개념 어휘를 분류하고 정의하여 계층적 구조를 이룬 일종의 온톨로지라고 할 수 있다. 'Wordnet' is a database in which words are related to each other by information about the meanings and usage patterns between words. The basic structure of WordNet consists of logical groups called syncs with semantically equivalent word lists and semantic relations that define the relationship between these sets. There are hypernyms, hyponyms, meronyms and holonyms in semantic relations. In the noun part of WordNet, it has the most upper level entity and can form a lower word by expanding it according to meaning. Therefore, WordNet is a kind of ontology that classifies and defines concept vocabularies and constructs hierarchical structure.

‘온톨로지(ontology)’는 공유된 개념화(shared conceptualization)에 대한 정형화되고 명시적인 명세(formal and explicit specification)를 의미한다. 온톨로지는 단어와 관계들로 구성된 일종의 사전으로서 볼 수 있으며, 그 속에는 특정 도메인에 관련된 단어들이 계층적으로 표현되어 있고, 추가적으로 이를 확장할 수 있는 추론 규칙이 포함되어 있다.'Ontology' means a formal and explicit specification for shared conceptualization. The ontology can be seen as a kind of dictionary composed of words and relations, in which words related to a specific domain are hierarchically represented, and in addition, an inference rule for expanding them is included.

예를 들어, 관심 영역이 배경인 경우, 디바이스(100)는, 속성 정보에 포함된 위치 정보를 상위 계층 정보로 일반화하여, 식별 정보를 생성할 수 있다. 예를 들어, 디바이스(100)는, GPS 좌표 값(위도: 37.4872222 경도: 127.0530792)을 존(zone), 빌딩, 주소, 지역 명, 도시명, 국가 명 등의 상위 개념으로 표현할 수 있다. 이때, 빌딩, 지역 명, 도시명, 국가 명 등이, 배경에 대한 식별 정보로 생성할 수 있다. For example, when the ROI is background, the device 100 can generalize the location information included in the attribute information to higher layer information, and generate the identification information. For example, the device 100 can express the GPS coordinate value (latitude: 37.4872222 longitude: 127.0530792) as a superordinate concept such as a zone, a building, an address, a local name, a city name, and a country name. At this time, a building, an area name, a city name, a country name, and the like can be generated as identification information for the background.

단계 S1530 및 단계 S1540에서, 디바이스(100)는, 관심 영역에 대응하는 속성 정보가 존재하는지 않는 경우, 관심 영역에 대한 영상 분석 정보를 획득하고, 영상 분석 정보를 이용하여 관심 영역에 대한 식별 정보를 생성할 수 있다. In step S1530 and step S1540, if the attribute information corresponding to the ROI does not exist, the device 100 acquires the image analysis information on the ROI, and uses the image analysis information to identify the ROI Can be generated.

본 발명의 일 실시예에 의하면, 영상 분석 정보는, 영상 프로세싱을 통해 획득되는 데이터를 분석한 정보로서, 예를 들어, 영상에 나타나는 객체에 관한 정보(예컨대, 객체의 종류, 상태, 명칭 등), 영상에 나타나는 장소에 관한 정보, 영상에 나타나는 계절이나 시간에 관한 정보, 영상에 나타나는 분위기나 감정에 관한 정보 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. According to an embodiment of the present invention, the image analysis information is information obtained by analyzing data obtained through image processing. For example, the image analysis information includes information about an object (e.g., an object type, a status, Information about a place appearing in the image, information about the season and time appearing on the image, information about the atmosphere and feelings appearing on the image, and the like. However, the present invention is not limited thereto.

예를 들어, 관심 영역이 객체인 경우, 디바이스(100)는, 영상에 포함된 객체의 외곽선을 검출할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 획득할 수 있다. 예를 들어, 디바이스(100)는, 객체의 외곽선이 차량의 템플릿과 유사한 경우, 영상에 포함된 객체를 차량으로 인식할 수 있다. 이 경우, 디바이스(100)는 영상에 포함된 객체의 정보를 이용하여, ‘차’라는 식별 정보를 생성할 수 있다. For example, when the region of interest is an object, the device 100 can detect the outline of the object included in the image. According to an embodiment of the present invention, the device 100 compares the outline of an object included in an image with a predefined template to obtain the object type, the object name, and the like. For example, when the outline of an object is similar to a template of a vehicle, the device 100 can recognize an object included in the image as a vehicle. In this case, the device 100 may generate identification information called 'car' by using the information of the object included in the image.

또는, 디바이스(100)는 영상에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 예를 들어, 디바이스(100)는, 영상에서 사람의 얼굴 영역을 검출할 수 있다. 얼굴 영역을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..Alternatively, the device 100 may perform face recognition on the object included in the image. For example, the device 100 can detect a face region of a person in an image. Methods for detecting a face region include Knowledge-based methods, Feature-based methods, Template-matching methods, and Appearance-based methods. But are not limited to, the following:

디바이스(100)는, 검출된 얼굴 영역으로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 가버(Gabor) 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다. The device 100 can extract facial features (e.g., eye, nose, mouth shapes, etc., which are the main parts of the face) from the detected face area. Various methods such as a Gabor filter or a LBP (Local Binary Pattern) can be used for extracting features of a face in the face region, but the present invention is not limited thereto.

디바이스(100)는, 영상 내 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자들의 얼굴의 특징과 비교할 수 있다. 예를 들어, 추출된 얼굴의 특징이 기 등록된 제 1 사용자의 얼굴의 특징과 유사한 경우, 디바이스(100)는, 선택된 영상에 제 1 사용자가 부분 영상으로 포함되어 있다고 판단할 수 있다. 이때, 디바이스(100)는 얼굴 인식 결과에 기반하여, '제1 사용자'라는 식별 정보를 생성할 수 있다. The device 100 can compare the feature of the face extracted from the face region in the image with the feature of the face of the previously registered users. For example, when the feature of the extracted face is similar to the feature of the face of the first user registered in advance, the device 100 can determine that the first user is included in the selected image as a partial image. At this time, the device 100 may generate identification information 'first user' based on the face recognition result.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 영상의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다. 디바이스(100)는 영상의 시각적 특징을 이용하여 식별 정보를 생성할 수 있다. 예를 들어, 영상이 하늘 배경을 포함하는 경우, 디바이스(100)는, 하늘 배경에 대한 시각적 특징을 이용하여, ‘하늘’ 라는 식별 정보를 생성할 수 있다.According to an embodiment of the present invention, the device 100 compares a certain area of an image with a color map (color histogram) to extract visual characteristics such as color arrangement, pattern, and atmosphere of the image as image analysis information have. The device 100 may generate identification information using the visual characteristics of the image. For example, if the image includes a sky background, the device 100 may generate identification information ' sky ' using a visual feature for the sky background.

또한, 본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상을 영역 단위로 나눈 후, 각 영역과 가장 유사한 클러스터를 찾아서 그 클러스터에 연결된 식별 정보를 생성할 수도 있다. In addition, according to an embodiment of the present invention, the device 100 may divide an image into regions and then search for a cluster most similar to each region and generate identification information connected to the cluster.

영상에 대응하는 속성 정보가 존재하는지 않는 경우, 영상에 대한 영상 분석 정보를 획득하고, 영상 분석 정보를 이용하여 영상에 대한 식별 정보를 생성할 수 있다.If the attribute information corresponding to the image does not exist, the image analysis information for the image may be acquired and the identification information for the image may be generated using the image analysis information.

한편, 도 15에서는, 영상의 속성 정보가 존재하지 않는 경우에 디바이스(100)에서 영상 분석 정보를 획득하는 실시예를 설명하였으나, 이에 한정되는 것은 아니다. Meanwhile, in FIG. 15, an embodiment has been described in which the device 100 acquires image analysis information when attribute information of an image does not exist, but the present invention is not limited thereto.

예를 들어, 디바이스(100)는 영상 분석 정도 또는 속성 정보 중 어느 하나만을 이용하여 식별 정보를 생성할 수도 있다. 또는, 디바이스(100)는, 속성 정보가 존재하더라도 영상 분석 정보를 추가로 획득할 수도 있다. 이때, 디바이스(100)는 속성 정보와 영상 분석 정보를 함께 이용하여, 식별 정보를 생성할 수 있다. For example, the device 100 may generate identification information using only one of the degree of image analysis and the attribute information. Alternatively, the device 100 may further acquire the image analysis information even if the attribute information exists. At this time, the device 100 can generate identification information by using the attribute information and the image analysis information together.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 속성 정보로부터 생성된 식별 정보들과 영상 분석 정보로부터 생성된 식별 정보들을 비교하여, 공통되는 식별 정보를 최종 식별 정보로 결정할 수 있다. 공통되지 않는 식별 정보들에 비해 공통되는 식별 정보들의 신뢰도는 높을 수 있다. 신뢰도는, 영상으로부터 추출되는 식별 정보들이 적합한 식별 정보라고 믿을 수 있는 정도를 의미한다.
According to an embodiment of the present invention, the device 100 may compare the identification information generated from the attribute information with the identification information generated from the image analysis information, and determine common identification information as the final identification information. The reliability of the identification information that is common to the identification information that is not common may be high. Reliability refers to the degree to which the identification information extracted from the image is believed to be suitable identification information.

도 16은 일 실시예에 따른 영상에 대한 속성 정보의 일례를 나타내는 도면이다. 도 16에 도시된 바와 같이, 영상의 속성 정보가 메타데이터 형태로 저장될 수 있다. 예를 들어, 영상 별로 종류(1610), 시간(1611), 위치(GPS)(1612), 해상도(1613), 크기(1614), 수집 디바이스(1617) 등의 정보가 속성 정보로 저장될 수 있다. 16 is a diagram illustrating an example of attribute information for an image according to an embodiment. As shown in FIG. 16, the attribute information of the image may be stored in a meta data format. For example, information such as a type 1610, a time 1611, a position 1612, a resolution 1613, a size 1614, and a collection device 1617 may be stored as attribute information for each image .

본 발명의 일 실시예에 의하면, 영상 생성 시의 컨텍스트 정보도 메타데이터 형태로 저장될 수 있다. 예를 들어, 디바이스(100)에서 영상 1(1601)이 생성되는 경우, 디바이스(100)는, 영상 1(1601) 생성 시점에 날씨 애플리케이션으로부터 날씨 정보(예컨대, cloudy), 기온 정보(예컨대, 20℃) 등을 수집할 수 있다. 그리고 디바이스(100)는 영상 1(1601)에 대한 속성 정보로서 날씨 정보(1615) 및 기온 정보(816)를 저장할 수 있다. 또한, 디바이스(100)는, 영상 1(1601) 생성 시점에 일정 애플리케이션으로부터 이벤트 정보를 수집할 수도 있다. 이 경우, 디바이스(100)는, 영상 1(1601)에 대한 속성 정보로서 이벤트 정보(미도시)를 저장할 수 있다. According to an embodiment of the present invention, context information at the time of image generation can also be stored in the form of metadata. For example, when the image 1 1601 is generated in the device 100, the device 100 generates weather information (for example, cloudy), temperature information (for example, 20 ℃) can be collected. The device 100 may store weather information 1615 and temperature information 816 as attribute information for the image 1 1601. [ Further, the device 100 may collect event information from a certain application at the time of generating the video 1 1601. [ In this case, the device 100 can store event information (not shown) as attribute information for the video 1 1601. [

본 발명의 일 실시예에 의하면, 사용자에 의해 입력된 사용자 추가 정보(818)가 메타데이터 형태로 저장될 수도 있다. 예를 들어, 사용자 추가 정보(818)에는, 사용자가 영상을 설명하기 위해 입력한 주석(annotation) 정보, 사용자에 의해 설명되는 객체에 대한 정보 등이 포함될 수 있다. According to an embodiment of the present invention, the user additional information 818 input by the user may be stored in the form of metadata. For example, the user addition information 818 may include annotation information input by the user to describe the image, information on the object described by the user, and the like.

본 발명의 일 실시예에 의하면, 영상에 대한 영상 프로세싱 결과 획득된 영상 분석 정보(예컨대, 객체 정보 등)를 메타데이터 형태로 저장할 수도 있다. 예를 들어, 디바이스(100)는 영상 1(1601)에 포함된 객체들에 관한 정보(예컨대, 사용자 1, 사용자 2. 나, 의자)를 영상 1(1601)에 대한 속성 정보로 저장할 수 있다.
According to an embodiment of the present invention, image analysis information (e.g., object information, etc.) obtained as a result of image processing on an image may be stored in a meta data format. For example, the device 100 may store information (e.g., user 1, user 2, or chair) about the objects included in the image 1 1601 as attribute information for the image 1 1601.

도 17은 디바이스에서 영상의 속성 정보를 이용하여 식별 정보를 생성하는 일례를 설명하는 참조도면이다. 17 is a reference diagram for explaining an example of generating identification information by using attribute information of a video in a device.

본 발명의 일 실시예에 의하면, 디바이스(100)는 사용자 입력에 기초하여 영상(1710) 중 배경(1712)을 관심 영역으로 선택할 수 있다. 이때, 디바이스(100)는 영상의 속성 정보(1720) 중 선택된 배경(1712)의 속성 정보를 확인할 수 있다. 디바이스(100)는, 배경(1712)의 속성 정보를 이용하여, 식별 정보(1730)를 검출할 수 있다. According to one embodiment of the present invention, device 100 may select a background 1712 of images 1710 as a region of interest based on user input. At this time, the device 100 can confirm the attribute information of the selected background 1712 among the attribute information 1720 of the image. The device 100 can detect the identification information 1730 by using the attribute information of the background 1712. [

예를 들어, 디바이스(100)는, 관심 영역으로 선택된 영역이 배경인 경우, 속성 정보로부터 배경과 관련된 정보를 검출할 수 있다. 그리고, 디바이스(100)는, 속성 정보 중, 위치 정보(예컨대, 위도: 37; 25; 26.928…, 경도: 126; 35; 31.235…)를 이용하여, '공원'이라는 식별 정보를 생성하거나 날씨(예를 들어, 구름)를 이용하여 '흐림'이라는 식별 정보를 생성할 수 있다. 속성 정보들을 조합하여 새로운 식별 정보를 생성할 수 있다. 예를 들어, 상기 속성 정보 중 시간 정보가 2012.5.3.15:13이고 위치 정보가 위도: 37; 25; 26.928…, 경도: 126; 35; 31.235…이라면 상기 위치 정보를 이용하여 해당 지역을 판단하고 상기 시간 정보를 추가로 이용하여 해당 지역에서의 계절을 판단할 수 있다. 예를 들어 상기 위치 정보가 '한국'에 해당하면 상기 시간 정보를 이용하여 '봄'이라는 계절에 관한 식별 정보를 생성할 수 있다. 다른 예로 상기 위치 정보와 시간정보로 생성된 계절 정보에 관한 식별 정보와 상기 날씨 정보를 이용함으로써 '봄비'라는 식별 정보를 생성할 수도 있다. For example, the device 100 may detect information related to the background from the attribute information if the region selected as the region of interest is background. The device 100 generates identification information called a 'park' using the location information (e.g., latitude: 37; 25; 26.928 ..., longitude: 126; For example, clouds) to generate identification information " cloudy ". New identification information can be generated by combining the attribute information. For example, if the time information is 2012.5.3.15:13 and the location information is latitude: 37; 25; 26.928 ... , Hardness: 126; 35; 31.235 ... It is possible to determine the area using the location information and further determine the season in the area using the time information. For example, if the location information corresponds to 'Korea', the time information may be used to generate identification information on 'spring' season. In another example, identification information called 'spring rain' may be generated by using the weather information and the identification information about the season information generated by the location information and the time information.

또는, 디바이스(100)는 사용자에 의해 추가된 주석 정보로부터 객체에 대한 정보인 '스마일', '사용자 1' 등의 식별 정보를 생성할 수 있다. Alternatively, the device 100 may generate identification information such as 'Smile', 'User 1', etc., which are information on the object from the annotation information added by the user.

한편, 컨텍스트 정보와 주석 정보가 상반된 경우, 디바이스(100)는 영상 분석 정보를 이용하여 식별 정보를 생성할 수 있다. 예를 들어, 컨텍스트 정보 중 날씨 정보가 비이나, 주석 정보 중 날씨 정보가 흐림인 경우, 디바이스는 영상 분석 정보를 이용하여 날씨 정보가 비인지 흐름인지 결정할 수 있다. 그러나, 이에 한정되지 않는다. 컨텍스트 정보와 주석 정보가 상반된 경우, 디바이스(100)는 주석 정보에 우선 순위를 두어 주석 정보로부터 식별 정보를 생성할 수 있다.On the other hand, when the context information and the annotation information are inconsistent, the device 100 can generate the identification information using the image analysis information. For example, when the weather information is non-existent among the context information, and the weather information is blurred among the annotation information, the device can determine whether the weather information is a non-visibility flow using the image analysis information. However, it is not limited thereto. When the context information and the annotation information are inconsistent, the device 100 can generate the identification information from the annotation information by prioritizing the annotation information.

도 18은 디바이스에서 영상 분석 정보를 이용하여 식별 정보를 생성하는 일 예를 나타내는 참조도면이다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 사용자 입력에 기초하여 영상(1810) 중 제1 객체(1812)를 관심 영역으로 선택할 수 있다. 이때, 디바이스(100)는 제1 객체(1812)에 대한 영상 분석을 통해 제1 객체(1812)를 설명하는 식별 정보(예를 들어, 사람, 웃는 얼굴)를 생성할 수 있다. 18 is a reference diagram showing an example of generating identification information using image analysis information in a device. According to one embodiment of the present invention, the device 100 may select a first one of the images 1810 as an area of interest 1812 based on user input. At this time, the device 100 may generate identification information (e.g., a person, a smiley face) describing the first object 1812 through image analysis of the first object 1812.

예를 들어, 디바이스(100)는, 관심 영역에서 사람의 얼굴 영역을 검출할 수 있다. 그리고 디바이스(100)는, 검출된 얼굴 영역으로부터 얼굴의 특징을 추출할 수 있다. 디바이스(100)는, 추출된 얼굴의 특징과 기 등록된 사용자들의 얼굴의 특징을 비교하여, 선택된 제1 객체가 '사용자 1'이라는 식별 정보를 생성할 수 있다. 또한, 디바이스(100)는 검출된 얼굴 영역 중 입술 모양으로부터 '스마일'는 식별 정보를 생성할 수 있다. 그리하여, 디바이스(100)는 식별 정보(1820)으로부터 '사용자 1' 및 '스마일'을 획득할 수 있다.
For example, the device 100 may detect a face region of a person in the region of interest. Then, the device 100 can extract the face feature from the detected face region. The device 100 may compare the feature of the extracted face with the feature of the face of previously registered users, and generate the identification information that the selected first object is 'User 1'. In addition, the device 100 can generate identification information 'smile' from the lip shape of the detected face area. Thus, the device 100 may obtain 'user 1' and 'smile' from the identification information 1820.

한편, 관심 영역에 대한 식별 정보가 복수 개인 경우, 디바이스(100)는 식별 정보 리스트를 표시하여 사용자가 식별 정보를 선택할 수 있는 기회를 제공할 수 있다. 도 19는 일 실시예에 따른 디바이스가 식별 정보 리스트를 표시하는 일례를 나타내는 도면이다. On the other hand, when there are a plurality of pieces of identification information for the region of interest, the device 100 may display an identification information list and provide an opportunity for the user to select the identification information. 19 is a diagram showing an example in which a device according to an embodiment displays an identification information list.

도 19의 1900-1을 참조하면, 디바이스(100)는 사용자 입력에 기초하여 제1 영상(1910) 중 제1 객체(1912)를 관심 영역으로 선택할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 제1 객체(1912)를 설명하는 식별 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는 스마일, 엄마, 윙크 등의 식별 정보를 획득할 수 있다. Referring to 1900-1 in FIG. 19, the device 100 may select a first one of the first images 1910 as an area of interest 1912 based on user input. According to one embodiment of the present invention, the device 100 may obtain identification information describing the first object 1912. For example, the device 100 may obtain identification information such as smileys, moms, winks, and the like.

도 19의 1900-2를 참조하면, 디바이스(100)는, 획득된 식별 정보 리스트(1920)을 표시할 수 있다. 이때, 디바이스(100)는, 식별 정보 리스트(1920) 중에서 적어도 일부의 식별 정보를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, 엄마(1922)를 선택하는 사용자 입력을 수신할 수 있다. 디바이스(100)는 타겟 영상 (예를 들어, 사진 앨범)로부터 사용자에 의해 선택된 식별 정보(예를 들어, 엄마)를 갖는 제2 영상을 검색하고, 제2 영상 중 엄마에 해당하는 부분 영상에 효과를 제공한 후, 도 19의 1900-3에 도시된 바와 같이, 엄마라는 부분 영상에 효과가 제공된 제2 영상(1930)을 표시할 수 있다.
Referring to 1900-2 in Fig. 19, the device 100 can display the obtained identification information list 1920. [ At this time, the device 100 may receive a user input for selecting at least a part of the identification information from the identification information list 1920. For example, the device 100 may receive a user input that selects the mother 1922. The device 100 retrieves a second image having identification information (e.g., a mother) selected by the user from a target image (e.g., a photo album) And then, as shown in 1900-3 in Fig. 19, the second image 1930 provided with the effect on the partial image mother can be displayed.

효과가 제공된 제2 영상이 복수 개인 경우, 디바이스(100)는 폴더(이하 '효과 폴더'라고 한다)를 생성하여, 효과가 제공된 영상(이하 '효과 영상'이라고 한다.)을 저장할 수 있다. 상기한 효과 영상은 앞서 기술한 제1 영상 및 제2 영상 중 적어도 하나를 포함할 수 있다. 디바이스(100)는 효과 영상을 효과 폴더 내에 저장할 수도 있지만, 효과 영상의 링크 정보를 효과 폴더에 저장할 수도 있다.
When there are a plurality of second images provided with the effect, the device 100 may generate a folder (hereinafter, referred to as an 'effect folder') and store an effect-provided image (hereinafter referred to as 'effect image'). The effect image may include at least one of the first image and the second image described above. The device 100 may store the effect image in the effect folder, but may also store the link information of the effect image in the effect folder.

도 20는 디바이스에서 효과 폴더를 표시하는 일례를 나타내는 도면이다. 디바이스(100)는, 제2 영상에 대한 검색이 완료되면, 제2 영상에 효과를 제공할 수 있다. 그리고, 도 20의 2000-1에 도시된 바와 같이, 효과 폴더(2010)를 표시할 수 있다. 상기한 효과 폴더(2010)에는 효과 영상이 저장되어 있다. 효과 영상 자체가 효과 폴더(2010)에 저장되어 있을 수도 있지만, 효과 영상의 링크 정보가 효과 폴더(2010)에 저장도 수도 있다. 20 is a diagram showing an example of displaying an effect folder in a device. The device 100 may provide an effect to the second image upon completion of the search for the second image. Then, as shown in 2000-1 in Fig. 20, the effect folder 2010 can be displayed. In the effect folder 2010, an effect image is stored. The effect image itself may be stored in the effect folder 2010, but the link information of the effect image may also be stored in the effect folder 2010. [

사용자는 효과 폴더(2010)를 선택하는 명령을 입력할 수 있다. 디바이스(100)는, 사용자 입력에 대응하여, 도 20의 2000-2에 도시된 바와 같이, 적어도 하나의 효과 영상(2020)을 표시할 수 있다. The user can input a command to select the effect folder 2010. [ The device 100 may display at least one effect image 2020, as shown in 2000-2 of Fig. 20, corresponding to the user input.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 영상 생성 시간 정보, 영상 생성 위치 정보, 영상의 용량 정보, 및 영상의 해상도 정보 중 적어도 하나에 기초하여, 효과 폴더(1300)에 포함된 적어도 하나의 효과 영상을 배열할 수 있다. According to an embodiment of the present invention, the device 100 may be configured to store the image information included in the effect folder 1300, based on at least one of the image generation time information, the image generation position information, the image capacity information, At least one effect image can be arranged.

또는 효과 영상의 종류가 다른 경우, 디바이스(100)는 종류별로 효과 폴더를 생성할 수 있고, 동일한 종류의 효과 영상을 하나의 효과 폴더에 저장할 수도 있다. 디바이스(100)는 효과 폴더 내에 있는 영상에 새 관심 영역을 선택하고, 선택된 관심 영역에 새 효과를 제공할 수도 있다. 효과 폴더 내에 새 효과가 적용된 효과 영상이 많은 경우, 효과 폴더 내에 새 효과 폴더를 생성할 수 있음도 물론이다.
Or the type of the effect image is different, the device 100 may generate an effect folder for each type, and may store the same kind of effect image in one effect folder. The device 100 may select a new region of interest in the image in the effect folder and provide a new effect on the selected region of interest. Of course, if there are many effect images with new effects applied in the effect folder, you can create new effect folders in the effect folder.

앞서 기술한 바와 같이, 효과를 제공하는 영상은 디바이스(100)에 저장된 영상 뿐만 아니라, 외부 장치에 저장된 영상에도 적용될 수 있다. 상기한 외부 장치는 SNS 서버, 클라우드 서버, 다른 사용자가 사용하는 디바이스(100) 등일 수 있다. 도 21은 일 실시예에 따른 외부 장치에 저장된 영상을 이용하여, 디바이스가 영상에 효과를 제공하는 방법을 설명하는 순서도이다. As described above, the image providing the effect can be applied not only to the image stored in the device 100, but also to the image stored in the external device. The external device may be an SNS server, a cloud server, a device 100 used by another user, or the like. 21 is a flowchart illustrating a method of providing a device with an effect using an image stored in an external device according to an exemplary embodiment.

단계 S2100에서, 외부 장치는, 하나 이상의 영상이 저장되어 있다. 여기서, 외부 장치에 저장된 영상 중 어느 하나가 제1 영상이 될 수 있다. 외부 장치는, 네트워크로 연결되는 디바이스(100)에 소셜 네트워킹 서비스를 제공하는 서버일 수도 있고, 네트워크로 연결된 다른 휴대 단말기일수도 있으며, 클라우도 서버일 수도 있다. 소셜 네트워킹 서비스는, 온라인상에서 이용자들이 인맥을 새롭게 쌓거나 기존 인맥과의 관계를 강화할 수 있게 하는 서비스를 의미한다. In step S2100, the external apparatus stores one or more images. Here, any one of the images stored in the external device may be the first image. The external device may be a server for providing a social networking service to the network-connected device 100, another portable terminal connected to the network, or a crawled server. Social networking services are services that enable online users to build new networks or strengthen existing relationships.

본 발명의 일 실시예에 의하면, 외부 장치는, 여러 사용자의 디바이스(100)들로부터 업로드되는 영상을 저장할 수 있다. According to an embodiment of the present invention, an external device can store images uploaded from devices 100 of a plurality of users.

단계 S2120에서, 디바이스(100)는, 외부 장치에 접속할 수 있다. 디바이스(100)는 로그인을 수행하여 외부 장치와 접속할 수 있다. 로그인은, 외부 장치에 저장된 영상에 대한 접근 권한을 획득하는 절차일 수 있다. 예를 들어, 디바이스(100)는, 사용자의 식별 정보(예컨대, 계정 정보) 및 사용자의 인증 정보(예컨대, 비밀번호)를 외부 장치에 전송하면서 인증을 요청을 할 수 있다. 인증에 성공한 경우, 디바이스(100)는 외부 장치에 접속 가능한 상태가 되고 외부 장치에 저장된 영상에 접근할 수 있다. In step S2120, the device 100 can connect to an external device. The device 100 can perform login and connect with an external device. The login may be a procedure for acquiring an access right to an image stored in an external device. For example, the device 100 can request authentication while transmitting identification information (e.g., account information) of the user and authentication information (e.g., password) of the user to the external device. If the authentication is successful, the device 100 is ready to connect to the external device and can access the image stored in the external device.

단계 S2130에서, 디바이스(100)는 외부 장치에 저장된 영상 중 제1 영상을 수신할 수 있다. 디바이스(100)는 외부 장치에 저장된 영상 중 어느 하나를 제1 영상으로 요청할 수 있고, 그에 대한 응답으로 외부 장치는 제1 영상을 디바이스(100)에 전송할 수 있다. 제1 영상은 객체와 배경을 포함할 수 있다. 상기한 제1 영상은 정지 영상, 동영상 프레임 또는 라이브 뷰 영상일 수 있다. In step S2130, the device 100 may receive the first image among the images stored in the external device. The device 100 may request any one of the images stored in the external device as the first image and the external device can transmit the first image to the device 100 in response thereto. The first image may include an object and a background. The first image may be a still image, a moving image frame, or a live view image.

단계 S2140에서, 디바이스(100)는, 제1 영상 중 관심 영역을 선택할 수 있다. 예를 들어, 디바이스(100)는 제1 영상 중 일부 영역을 선택하는 사용자 입력을 수신하고, 일부 영역을 포함하는 외곽선을 검출하고, 외곽선 내의 영역을 관심 영역을 선택할 수 있다. 상기한 외곽선 내의 영역을 객체 또는 배경일 수 있다. In step S2140, the device 100 may select a region of interest of the first image. For example, the device 100 may receive a user input selecting a portion of the first image, detect an outline that includes a portion of the first image, and select an area of interest within the outline. The area within the outline may be an object or a background.

본 발명의 일 실시예에 의하면, 관심 영역을 선택하는 사용자 입력은 다양할 수 있다. 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다. 예를 들어, 디바이스(100)는, 외부 장치에 저장된 복수의 영상 중 특정 컨텐트를 소정 시간 이상(예컨대, 2초 이상) 터치하거나 소정 횟수 이상 터치하는 입력(예컨대, 더블 탭)을 수신할 수 있다.According to an embodiment of the present invention, the user input for selecting the region of interest may vary. The user input may include key input, touch input, motion input, bending input, voice input, multiple input, and the like. For example, the device 100 may receive an input (for example, a double tap) that touches a specific content among a plurality of images stored in an external device for a predetermined time or more (for example, two seconds or more) or a predetermined number of times .

단계 S2150에서, 디바이스(100)는, 선택된 관심 영역을 식별하는 식별 정보에 대해 외부 장치에 문의한다. 그리고, 단계 S2160에서, 디바이스(100)는 외부 장치로부터 식별 정보에 대한 응답을 수신한다. 디바이스(100)는 관심 영역에 대응하는 객체 또는 배경에 대한 식별 정보가 기정의되어 있는지 문의할 수 있다. 식별 정보가 기정의되어 있으면, 외부 장치는 그에 대한 응답으로 관심 영역에 대한 식별 정보를 디바이스(100)에게 전송할 수 있다. In step S2150, the device 100 inquires of the external device about the identification information that identifies the selected region of interest. Then, in step S2160, the device 100 receives a response to the identification information from the external apparatus. The device 100 may inquire whether the identification information for the object or the background corresponding to the area of interest has been predefined. If the identification information is predetermined, the external device can transmit identification information for the area of interest to the device 100 in response thereto.

그러나, 외부 장치에 객체 또는 배경에 대한 식별 정보가 기정의되어 있지 않으면, 외부 장치는 자신이 식별 정보를 생성할 수 있는지 여부를 판단하고, 자신이 식별 정보를 생성할 수 있으면 관심 영역에 대한 식별 정보를 생성하여 디바이스(100)에 전송할 수 있다. 식별 정보를 생성할 때, 외부 장치는 관심 영역의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용할 수 있다. 그러나, 외부 장치가 식별 정보를 생성할 수 없는 경우에는 관심 영역에 대해 자신이 갖고 있는 정보만을 디바이스(100)에 전송할 수 있다. 또는, 외부 장치는 식별 정보를 생성할 수 없다는 응답을 디바이스(100)에 전송할 수 있다. However, if the external device does not have an identification of the object or the background, the external device determines whether or not it can generate identification information. If the identification information can be generated by the external device, Information can be generated and transmitted to the device 100. When generating the identification information, the external device can use at least one of attribute information of the ROI and image analysis information. However, if the external device can not generate the identification information, it can transmit only the information about the region of interest to the device 100. Alternatively, the external device may send a response to the device 100 indicating that it can not generate the identification information.

단계 S2170 에서, 디바이스(100)는 외부 장치의 응답에 기초하여 관심 영역의 식별 정보를 획득할 수 있다. 디바이스(100)는 외부 장치로부터 식별 정보를 수신할 수도 있고, 디바이스(100)가 관심 영역의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용하여 관심 영역의 식별 정보를 생성할 수도 있다. In step S2170, the device 100 may obtain the identification information of the area of interest based on the response of the external device. The device 100 may receive identification information from an external device and the device 100 may generate identification information of the ROI using at least one of attribute information and image analysis information of the ROI.

단계 S2180에서, 디바이스(100)는 식별 정보를 갖는 제2 영상을 검색할 수 있다. 디바이스(100)는 타겟 영상으로부터 식별 정보를 갖는 제2 영상을 검색할 수 있다. 여기서 타겟 영상은 디바이스(100)에 저장된 영상일 수 있다. 또는 외부 장치에 저장된 영상일 수도 있다. 또는 도 21에 도시된 외부 장치 이외의 다른 외부 장치에 저장된 영상일 수도 있다. 제2 영상을 검색할 때, 디바이스(100)는 타겟 영상에 저장된 식별 정보를 이용할 수 있으며, 식별 정보가 기정의 되어 있지 않는 경우, 타겟 영상의 속성 정보 또는 영상 분석 정보를 이용하여 식별 정보를 생성한 후, 공통의 식별 정보를 갖는 제2 영상을 검색할 수 있다. In step S2180, the device 100 can retrieve the second image having the identification information. The device 100 may retrieve a second image having identification information from the target image. The target image may be an image stored in the device 100. Or an image stored in an external device. Or an image stored in an external device other than the external device shown in Fig. When the second image is searched, the device 100 can use the identification information stored in the target image. If the identification information is not set, the identification information is generated using the attribute information of the target image or the image analysis information The second image having common identification information can be searched.

또한, 식별 정보가 복수 개의 경우, 디바이스(100)는 사용자 입력에 대응하여 식별 정보 중 적어도 일부를 이용하여 제2 영상을 검색할 수도 있다. In addition, when there are a plurality of pieces of identification information, the device 100 may search for the second image using at least a part of the identification information corresponding to the user input.

단계 S2190 에서, 디바이스(100)는 검색된 제2 영상에 효과를 제공할 수 있다. In step S2190, the device 100 may provide an effect to the retrieved second image.

도 21에서는 외부 장치에 저장된 제1 영상의 관심 영역을 이용하여 디바이스(100) 또는 외부 장치에 저장된 제2 영상에 효과를 제공한다고 하였으나, 이에 한정되지 않는다. 디바이스(100)에 저장된 제1 영상의 관심 영역을 이용하여 외부 장치에 저장된 제2 영상에 효과를 제공할 수 있음도 물론이다.
21, the effect is provided to the second image stored in the device 100 or the external device using the region of interest of the first image stored in the external device. However, the present invention is not limited thereto. It is also possible to provide an effect to the second image stored in the external device by using the region of interest of the first image stored in the device 100. [

디바이스(100)는 효과 영상을 외부 장치와 공유할 수도 있다. 도 22는 본 발명의 일 실시예에 따르는, 디바이스가 효과 영상을 외부 장치와 공유하는 방법을 설명하기 위한 순서도이다. The device 100 may share the effect image with an external device. 22 is a flowchart for explaining a method in which a device shares an effect image with an external device, according to an embodiment of the present invention.

단계 S2210에서, 디바이스(100)는, 효과 영상을 표시할 수 있다. 예를 들어, 디바이스(100)는, 제1 영상 중 사용자에 의해 선택된 관심 영역에 효과를 제공하여 효과 영상을 생성할 수 있다. 그리고, 디바이스(100)는 상기한 효과 영상을 표시할 수 있다. 또한, 제1 영상의 관심 영역을 이용하여 제2 영상에 효과를 제공함으로써 효과 영상을 생성할 수 있다. In step S2210, the device 100 can display an effect image. For example, the device 100 may generate an effect image by providing an effect to a region of interest selected by the user of the first image. Then, the device 100 can display the effect image described above. In addition, an effect image can be generated by providing an effect on a second image using a region of interest of the first image.

단계 S2220에서, 디바이스(100)는, 효과 영상에 대한 공유를 요청하는 사용자 입력을 수신할 수 있다. In step S2220, the device 100 may receive a user input requesting sharing of the effect video.

본 발명의 일 실시예에 의하면, 효과 영상에 대한 공유를 요청하는 사용자 입력은 다양할 수 있다. 예를 들어, 상기한 사용자 입력은 키 입력, 음성 입력, 터치 입력, 밴딩 입력 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. According to an embodiment of the present invention, the user input for requesting sharing of an effect image may be various. For example, the user input may include key input, voice input, touch input, banding input, and the like, but is not limited thereto.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 사용자 입력에 대응하여, 효과 영상을 공유하기 위한 외부 장치에 대한 정보를 수신할 수 있다. 여기서, 외부 장치는 디바이스(100)와 연결된 클라우드 서버, SNS 서버, 동일 사용자의 다른 디바이스(100), 타 사용자의 디바이스(100), 및 웨어러블 디바이스 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다. According to one embodiment of the present invention, the device 100 may receive information about an external device for sharing an effect image, corresponding to a user input. Here, the external device may be at least one of a cloud server connected to the device 100, an SNS server, another device 100 of the same user, a device 100 of another user, and a wearable device, but is not limited thereto.

예를 들어, 사용자는, 클라우드 스토리지의 계정 정보, 사용자의 SNS 계정 정보, 제 1 폴더에 포함된 전체 영상을 전송하기 위한 친구 디바이스(100)의 식별 정보(예컨대, 전화 번호 정보, MAC 주소 정보 등), 친구의 이메일 계정 정보 등을 입력할 수 있다. For example, the user may store the cloud storage account information, the user's SNS account information, the friend device 100 identification information (e.g., phone number information, MAC address information, etc.) for transmitting the entire image contained in the first folder ), E-mail account information of a friend, and the like.

단계 S2230에서, 디바이스(100)는, 효과 영상을 외부 장치와 공유할 수 있다. In step S2230, the device 100 may share the effect image with the external device.

예를 들어, 디바이스(100)는, 효과 영상의 링크 정보(예컨대, 저장 위치 정보, URL 등)를 외부 장치로 전송할 수 있다. 또한, 디바이스(100)는, 효과 영상 자체를 외부 장치로 전송할 수도 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는, 효과 영상을 특정 서버에 업로드하고, 특정 서버에 접근할 수 있는 권한을 외부 장치에 부여할 수도 있다. For example, the device 100 may transmit link information (e.g., storage location information, URL, etc.) of the effect video to an external device. Further, the device 100 may transmit the effect video itself to an external device. According to an embodiment of the present invention, the device 100 may upload an effect image to a specific server and give the external apparatus the right to access a specific server.

도 22에서는 효과 영상을 외부 장치와 공유한다고 하였으나, 이에 한정되지 않는다. 효과 폴더를 외부 장치와 공유할 수도 있다. 또한, 상기한 효과 영상은 하나 이상일 수 있다.
In FIG. 22, the effect image is shared with the external device, but the present invention is not limited thereto. You can also share effect folders with external devices. In addition, the effect image may be one or more.

도 23은 디바이스가 효과 영상을 외부 장치와 공유하는 일례를 설명하기 위한 도면이다. 도 23의 2300-1을 참조하면, 디바이스(100)는, 사용자 입력에 의해 효과 폴더(2310)를 생성하여 표시할 수 있다. 상기한 효과 폴더(2310)에는 하나 이상의 효과 영상이 저장되어 있을 수 있다. 상기한 효과 폴더(2310)에는 효과 영상 자체가 저장되어 있거나, 효과 영상의 링크 정보가 저장되어 있을 수 있다. 23 is a diagram for explaining an example in which a device shares an effect video with an external device. Referring to 2300-1 in Fig. 23, the device 100 can generate and display an effect folder 2310 by user input. In the effect folder 2310, one or more effect images may be stored. In the effect folder 2310, the effect image itself may be stored or the link information of the effect image may be stored.

이때, 디바이스(100)는 효과 폴더(2310)를 선택하는 사용자 입력을 수신할 수 있다. 예를 들어, 디바이스(100)는, 효과 폴더(2310)를 소정 시간(예컨대, 2초) 이상 터치하는 입력을 수신할 수 있다. 디바이스(100)는 사용자 입력에 응답하여, 폴더 탐색, 즐겨 찾기 추가, 전송(2322)이라는 항목을 포함하는 메뉴 창(2320)을 제공할 수 있다. At this time, the device 100 may receive a user input for selecting an effect folder 2310. [ For example, the device 100 may receive an input that touches the effect folder 2310 for a predetermined amount of time (e.g., 2 seconds) or more. The device 100 may provide a menu window 2320 in response to a user input that includes items such as folder search, add favorites, and send (2322).

사용자가 메뉴 창(2320)에서 전송(2322)를 선택하는 경우, 디바이스(100)는, 도 23의 2300-2에 도시된 바와 같이, 수신 장치를 선택할 수 있는 선택창(2330)을 제공할 수 있다. 디바이스(100)는, 선택창(2330)에서 연락처(Contact)(2332)를 선택하는 사용자 입력을 수신할 수 있다. 사용자는 연락처(Contact)에서 특정 친구를 선택할 수 있다. 이때, 디바이스(100)는, 특정 친구의 디바이스(100)와 효과 폴더(2310)를 공유할 수 있다.When the user selects transmission 2322 in the menu window 2320, the device 100 may provide a selection window 2330 from which the receiving device can be selected, as shown at 2300-2 in Fig. have. The device 100 may receive a user input for selecting a contact 2332 in the selection window 2330. [ The user can select a particular friend in the Contact. At this time, the device 100 can share the effect folder 2310 with the device 100 of a specific friend.

예를 들어, 디바이스(100)는 특정 친구의 디바이스(100)로 효과 폴더(2310)에 포함된 효과 영상을 전송할 수 있다. 또는, 디바이스(100)는 특정 친구의 디바이스(100)로 효과 폴더(2310)에 포함된 효과 영상의 링크 정보를 전송할 수도 있다. For example, the device 100 may send an effect image contained in the effects folder 2310 to a specific friend's device 100. [ Alternatively, the device 100 may transmit the link information of the effect image included in the effect folder 2310 to the device 100 of the specific friend.

본 발명의 일 실시예에 의하면, 디바이스(100)는, 이메일 또는 문자 메시지를 통해 특정 친구의 디바이스(100)로 효과 폴더(2310)에 포함된 효과 영상(또는 효과 영상의 링크 정보)를 전송할 수 있다.
According to one embodiment of the present invention, the device 100 can send an effect video (or link information of an effect video) contained in an effect folder 2310 to a particular friend's device 100 via email or text message have.

도 24는 본 발명의 일 실시예에 따르는, 영상 관리 시스템을 설명하기 위한 도면이다.24 is a view for explaining a video management system according to an embodiment of the present invention.

도 24에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 관리 시스템은 디바이스(100) 및 클라우드 서버(200)를 포함할 수 있다. 그러나 도시된 구성 요소보다 많은 구성 요소에 의해 영상 관리 시스템이 구현될 수도 있고, 도시된 구성 요소보다 적은 구성 요소에 의해 영상 관리 시스템이 구현될 수도 있다.As shown in FIG. 24, the image management system according to an embodiment of the present invention may include a device 100 and a cloud server 200. However, the image management system may be implemented by more components than the illustrated components, or the image management system may be implemented by fewer components than the illustrated components.

본 발명의 일 실시예에 따른 디바이스(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 디바이스(100)는, 데스크톱 컴퓨터, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라(160), IPTV(Internet Protocol Television), DTV(Digital Television), CE 기기(예컨대, 디스플레이 장치를 갖는 냉장고, 에이컨 등) 중 하나일 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 디바이스(100)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수도 있다. 예를 들어, 본 발명의 일 실시예에 따른 디바이스(100)는 손목 시계, 안경, 반지, 팔찌, 목걸이 중 적어도 하나일 수 있다.The device 100 according to an embodiment of the present invention may be implemented in various forms. For example, the device 100 described herein may be implemented in any suitable computing device, such as a desktop computer, a mobile phone, a smart phone, a laptop computer, a tablet PC, an electronic book terminal, a digital broadcast terminal, ), A portable multimedia player (PMP), a navigation device, an MP3 player, a digital camera 160, an Internet Protocol Television (IPTV), a digital television (DTV), a CE device (for example, a refrigerator having a display device, But is not limited thereto. The device 100 described herein may be a wearable device that may be worn by a user. For example, the device 100 according to an embodiment of the present invention may be at least one of a wristwatch, a glasses, a ring, a bracelet, and a necklace.

디바이스(100)은 앞서 기술한 디바이스(100)와 동일하므로, 구체적인 설명은 생략한다. 이하에서는 설명의 편의상 디바이스(100)가 제 1 디바이스, 제 2 디바이스, …, 및 제 N 디바이스 중 하나인 경우를 예로 들어 설명하기로 한다. Since the device 100 is the same as the device 100 described above, a detailed description thereof will be omitted. Hereinafter, for convenience of description, the device 100 is referred to as a first device, a second device, , And an Nth device will be described as an example.

클라우드 서버(200)는, 디바이스(100)와 통신 연결될 수 있다. 예를 들어, 클라우드 서버(200)는, 디바이스(100)와 계정 정보를 통해 연결될 수 있다. The cloud server 200 may be communicatively coupled to the device 100. For example, the cloud server 200 may be connected to the device 100 through account information.

본 발명의 일 실시예에 의하면, 클라우드 서버(200)는, 디바이스(100)와 데이터를 송수신할 수 있다. 예를 들어, 디바이스(100)는, 클라우드 서버(200)에 적어도 하나의 영상을 업로드할 수 있다. 또한, 디바이스(100)는, 클라우드 서버(200)로부터 영상에 대한 속성 정보, 영상 분석 정보, 식별 정보 등을 수신할 수도 있다. According to an embodiment of the present invention, the cloud server 200 can exchange data with the device 100. [ For example, the device 100 may upload at least one image to the cloud server 200. Also, the device 100 may receive attribute information, image analysis information, identification information, and the like for an image from the cloud server 200. [

본 발명의 일 실시예에 따른 클라우드 서버(200)는 인텔리젼스 엔진을 포함할 수 있으며, 클라우드 서버(200)는, 디바이스(100)에서 수집되는 영상을 인텔리젼스 엔진을 통하여 분석할 수 있다. 예를 들어, 클라우드 서버(200)는, 영상에 대한 속성 정보로부터 식별 정보를 생성할 수도 있고, 영상에 대한 영상 처리를 통해 영상 분석 정보를 획득할 수도 있다. 또한, 클라우드 서버(200)는, 디바이스(100)에서 발생하는 이벤트 정보를 분석하여 사용자의 상태, 디바이스(100)의 상황 등을 추론할 수도 있다. 클라우드 서버(200)도 앞서 기술한 디바이스(100)와 같이, 사용자의 입력에 대응하여 효과 영상 및 효과 폴더 중 적어도 하나를 생성할 수 있다.
The cloud server 200 according to an exemplary embodiment of the present invention may include an intelligence engine. The cloud server 200 may analyze an image collected by the device 100 through an intelligence engine. For example, the cloud server 200 may generate identification information from attribute information on an image, and may acquire image analysis information through image processing on the image. In addition, the cloud server 200 may analyze the event information generated by the device 100 to deduce the status of the user, the status of the device 100, and the like. The cloud server 200 may generate at least one of an effect image and an effect folder corresponding to a user's input, such as the device 100 described above.

지금까지 효과 영상은 하나의 영상에서 객체 또는 배경에 효과를 제공한다고 하였다. 효과 제공시 관심 영역의 영상 데이터를 이용한 것이다. 즉, 후광 효과, 흐림 효과 등은 관심 영역의 픽셀 값을 조절하는 것이고, 크기 효과는 관심 영역의 픽셀 값을 보다 넓은 영역에 적용하거나, 보다 좁은 영역에 적용하는 것이다. 또한, 깊이 효과는 관심 영역의 픽셀 값을 이용하여 3차원 영상(예를 들어, 좌안 영상 및 우안 영상)을 생성하는 것이다.So far, effect images are said to provide effects on objects or backgrounds in a single image. The effect is to use the image data of the area of interest. That is, the halo effect, the blur effect, and the like adjust the pixel value of the ROI, and the size effect applies the pixel value of the ROI to a wider area or a narrower area. In addition, the depth effect is to generate a three-dimensional image (e.g., a left eye image and a right eye image) using pixel values of the region of interest.

효과 제공시 다른 영상의 영상 데이터를 이용할 수 도 있다. 즉, 제2 영상의 영상 데이터를 이용하여 제1 영상에 효과를 제공할 수 있다. 이하, 다른 영상의 영상 데이터를 이용하여 관심 영역에 효과를 제공하는 것을 복수 개의 영상을 결합하여 효과를 제공한다고 기재한다. 도 25는 일 실시예에 따른 복수 개의 영상을 결합하여 효과 영상을 제공하는 방법을 설명하는 순서도이다. When providing effects, image data of other images may be used. That is, an effect can be provided to the first image using the image data of the second image. Hereinafter, it is described that effects are provided to a region of interest using image data of other images by combining a plurality of images. 25 is a flowchart illustrating a method of providing an effect image by combining a plurality of images according to an exemplary embodiment.

단계 S2510에서, 디바이스(100)는, 제1 영상에서 관심 영역을 선택할 수 있다. 예를 들어, 위에서 살펴본 바와 같이, 디바이스(100)는 디바이스(100) 또는 외부 장치에 저장된 정지 영상 또는 동영상 프레임을 제1 영상으로 표시할 수 있다. 또는 디바이스(100)는 디바이스(100) 또는 외부 장치에서 촬영된 라이브 뷰 영상을 제1 영상으로 표시할 수 있다. 사용자의 입력에 대응하여, 디바이스(100)는 제1 영상의 객체 또는 배경을 관심 영역으로 선택할 수 있다. In step S2510, the device 100 may select the region of interest in the first image. For example, as described above, the device 100 may display a still image or a moving image frame stored in the device 100 or an external device as a first image. Alternatively, the device 100 may display a live view image captured by the device 100 or an external device as a first image. In response to the user's input, the device 100 may select the object or background of the first image as the region of interest.

단계 S2520에서, 디바이스(100)는, 선택된 관심 영역의 식별 정보를 획득한다. 예를 들어, 제1 영상이 저장될 때 제1 영상에 포함된 객체 및 배경 각각을 식별하는 식별 정보가 매칭되어 저장될 수 있다. 본 발명의 일 실시예에 의하면, 객체 및 배경 각각에 대응하는 식별 정보는, 메타데이터 형태로 저장될 수 있다. 이 경우, 디바이스(100)는 선택된 관심 영역에 식별 정보가 정의되어 있다고 판단할 수 있다. 디바이스(100)는 기저장된 식별 정보를 독출함으로서 식별 정보를 획득할 수 있다. In step S2520, the device 100 acquires the identification information of the selected region of interest. For example, when the first image is stored, the identification information identifying each of the objects included in the first image and the background may be matched and stored. According to an embodiment of the present invention, the identification information corresponding to each of the object and the background can be stored in the form of metadata. In this case, the device 100 may determine that identification information is defined in the selected region of interest. The device 100 can obtain the identification information by reading the stored identification information.

선택된 관심 영역의 식별 정보가 정의되어 있지 않은 경우, 디바이스(100)는 식별 정보를 생성함으로써 식별 정보를 획득할 수 있다. 예를 들어, 디바이스(100)는, 메타데이터 형태로 저장된 속성 정보를 이용하여 식별 정보를 생성하거나, 영상에 대한 영상 처리를 통해 획득되는 영상 분석 정보를 이용하여 식별 정보를 생성할 수 있다.If the identification information of the selected region of interest is not defined, the device 100 can obtain identification information by generating identification information. For example, the device 100 may generate identification information using attribute information stored in the form of metadata, or may generate identification information using image analysis information obtained through image processing on an image.

그리고, 단계 S2530에서, 디바이스(100)는 타겟 영상으로부터 관심 영역과 동일한 식별 정보를 갖는 제2 영상을 검색할 수 있다. 타겟 영상은 검색 대상이 되는 하나 이상의 영상으로서, 디바이스(100) 또는 외부 장치에 저장된 정지 영상, 동영상일 수 있다. Then, in step S2530, the device 100 can retrieve a second image having the same identification information as the ROI from the target image. The target image may be at least one image to be searched and may be a still image or a moving image stored in the device 100 or an external device.

관심 영역이 하나의 식별 정보를 갖는 경우, 디바이스(100)는 타겟 영상으로부터 상기한 식별 정보를 갖는 제2 영상을 검색할 수 있다. 관심 영역이 복수 개의 식별 정보를 갖는 경우, 디바이스(100)는 모든 식별 정보를 갖는 영상을 검색할 수 있다. 그러나, 이에 한정되지 않는다. 디바이스(100)는 일부의 식별 정보를 갖는 영상을 검색할 수도 있다. 디바이스(100)는 식별 정보 리스트를 사용자에게 제공하며, 식별 정보 리스트에서 하나 이상의 식별 정보를 선택하는 사용자 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 디바이스(100)는 식별 정보 전체를 선택하는 사용자 입력을 수신할 수도 있고, 일부 식별 정보들을 선택하는 사용자 입력을 수신할 수 있다. When the region of interest has one identification information, the device 100 can retrieve a second image having the identification information from the target image. When the region of interest has a plurality of pieces of identification information, the device 100 can search for images having all pieces of identification information. However, it is not limited thereto. The device 100 may search for an image having some identification information. The device 100 may provide a list of identification information to the user and may receive user input to select one or more identification information from the identification information list. According to one embodiment of the present invention, the device 100 may receive a user input that selects all of the identification information and a user input that selects some identification information.

단계 S2540에서, 디바이스(100)는 검색된 하나 이상의 제2 영상 중 어느 하나를 선택할 수 있다. 디바이스(100)는 검색된 하나 이상의 제2 영상을 표시할 수 있다. 제2 영상은 썸네일 형식으로 표시할 수 있다. 검색된 제2 영상이 복수 개인 경우, 디바이스(100)는 검색 순서에 따라 제2 영상을 표시할 수도 있고, 제2 영상의 생성 순서를 기준으로 제2 영상을 표시할 수도 있다. 제2 영상의 표시 순서는 사용자의 입력에 따라 설정될 수도 있다. 제2 영상이 표시된 상태에서 사용자의 입력에 대응하여 디바이스(100)는 하나 이상의 제2 영상 중 어느 하나를 선택할 수 있다. 검색된 영상이 하나인 경우, 디바이스(100)는 사용자의 입력과 무관하게 검색된 제2 영상을 선택할 수 있음도 물론이다. In step S2540, the device 100 may select any one of the one or more second images searched. The device 100 may display one or more second images retrieved. The second image can be displayed in a thumbnail format. If there are a plurality of searched second images, the device 100 may display the second image according to the search order, or may display the second image based on the generation order of the second image. The display order of the second image may be set according to the user's input. The device 100 may select one of the one or more second images corresponding to the input of the user while the second image is displayed. If there is only one searched image, the device 100 may select the searched second image regardless of the input of the user.

단계 S2550에서, 디바이스(100)는 제1 영상과 제2 영상을 결합하여 효과 영상을 생성한다. 디바이스(100)는 제1 및 제2 영상으로부터 관심 영역을 분리하고, 분리된 제2 영상 중 관심 영역에 대응하는 부분 영상을 제1 영상의 관심 영역이 위치하는 영역에 결합함으로써 효과 영상을 생성할 수 있다. 또는 디바이스(100)는 관심 영역의 영상 데이터를 제2 영상의 관심 영역에 대응하는 부분 영상의 영상 데이터로 교체함으로써 효과 영상을 생성할 수도 있다.
In step S2550, the device 100 combines the first image and the second image to generate an effect image. The device 100 separates a region of interest from the first and second images and combines the partial image corresponding to the region of interest in the separated second image into a region in which the region of interest of the first image is located to generate an effect image . Alternatively, the device 100 may generate an effect image by replacing the image data of the ROI with the image data of the partial image corresponding to the ROI of the second image.

도 26a 내지 도 26c는 일 실시예에 따른 복수 개의 영상을 이용하여 객체에 효과를 제공하는 일예를 나타내는 도면이다. 디바이스(100)의 모드가 효과 모드로 설정된 상태에서, 도 26a의 2600-1에 도시된 바와 같이, 디바이스(100)는 임의의 제1 영상(2610)을 표시할 수 있다. 상기한 제1 영상(2610)은 정지 영상, 동영상 프레임, 라이브 뷰 영상 등일 수 있다. 디바이스(100)는 제1 영상(2610) 중 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 제1 영상(2610) 중 객체(2612)가 표시된 일부 영역을 터치할 수 있고, 디바이스(100)는 사용자의 입력에 대응하여, 터치된 영역을 중심으로 영상 처리를 하여 터치된 영역을 포함하는 객체(2612)를 관심 영역으로 선택할 수 있다. 26A to 26C are views illustrating an example of providing an effect to an object using a plurality of images according to an exemplary embodiment. With the mode of the device 100 set to the effect mode, the device 100 can display any first image 2610, as shown at 2600-1 in Fig. 26A. The first image 2610 may be a still image, a moving image frame, a live view image, or the like. The device 100 may select a region of interest of the first image 2610. For example, the user can touch a part of the first image 2610 displayed with the object 2612, and the device 100 performs image processing around the touched area in response to a user's input, An object 2612 including the region of interest may be selected as the region of interest.

그리고, 도 26a의 2600-2에 도시된 바와 같이, 디바이스(100)는 객체에 제공할 수 있는 효과에 대한 정보인 효과 리스트(2620)를 표시할 수 있다. 효과 리스트(2620)는 제1 영상(2610)과 중첩되게 표시될 수 있다. 사용자는 효과 리스트(2620) 중 어느 하나는 선택하는 입력을 수행할 수 있다. 예를 들어, 사용자는 '다른 영상 이용'이라는 항목이 표시된 일부 영역은 터치함으로써 입력을 수행할 수 있다.And, as shown in 2600-2 in Fig. 26A, the device 100 can display an effect list 2620, which is information on an effect that can be provided to an object. The effect list 2620 may be displayed superimposed on the first image 2610. The user can perform an input to select one of the effects list 2620. For example, a user can perform an input by touching a portion of an area where an item of "use another image" is displayed.

디바이스(100)는 관심 영역인 객체(2612)를 식별하는 식별 정보를 획득할 수 있다. 식별 정보가 기저장되어 있으면, 디바이스(100)는 기저장된 식별 정보를 독출함으로씨 식별 정보를 획득할 수 있다. 식별 정보가 기저장되어 있는 않으면, 디바이스(100)는 객체의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용하여 식별 정보를 생성함으로써 식별 정보를 획득할 수 있다. 그리고, 도 26b의 2600-3에 도시된 바와 같이, 식별 정보 리스트(2630)를 표시할 수 있다. 상기한 식별 정보 리스트(2630)도 제1 영상(2610)과 중첩되게 표시될 수 있다. 식별 정보 리스트(2630) 중 적어도 일부를 선택하는 사용자 입력을 통해, 디바이스(100)는 적어도 일부의 식별 정보를 검색용 식별 정보로 결정할 수 있다. The device 100 may obtain identification information identifying an object 2612 that is a region of interest. If the identification information is stored in advance, the device 100 can obtain the seed identification information by reading the previously stored identification information. If the identification information is not stored in advance, the device 100 can obtain identification information by generating identification information using at least one of the attribute information of the object and the image analysis information. Then, as shown in 2600-3 in Fig. 26B, the identification information list 2630 can be displayed. The identification information list 2630 may be displayed so as to be superimposed on the first image 2610. Through a user input that selects at least some of the identification information list 2630, the device 100 may determine at least some of the identification information as identification information for searching.

또한, 도 26b의 2600-4에 도시된 바와 같이, 디바이스(100)는 타겟 영상에 대한 정보를 나타내는 타겟 영상 리스트(2640)를 표시할 수 있다. 타겟 영상 리스트(2640) 중 적어도 일부를 선택하는 사용자 입력을 통해, 디바이스(100)는 타겟 영상을 결정할 수 있다. Further, as shown in 2600-4 in Fig. 26B, the device 100 can display a target video list 2640 indicating information on the target video. Through a user input that selects at least some of the target image list 2640, the device 100 can determine the target image.

디바이스(100)는 타겟 영상에서 선택된 식별 정보를 포함하는 제2 영상을 검색할 수 있다. 타겟 영상이 정지 영상인 경우, 디바이스(100)는 정지 영상 단위로 제2 영상을 검색할 수 있다. 타겟 영상이 동영상인 경우, 디바이스(100)는 동영상 프레임 단위로 제2 영상을 검색할 수 있다. The device 100 may retrieve a second image including identification information selected from the target image. If the target image is a still image, the device 100 can search for the second image in still image units. If the target image is a moving image, the device 100 can search for the second image in units of moving image frames.

검색된 제2 영상(2650)을, 도 26c의 2600-5에 도시된 바와 같이, 표시할 수 있다. 제1 영상(2610)과 제2 영상(2650)은 표시 영역의 영역을 나누어 표시될 수 있다. 제2 영상(2650)이 복수 개인 경우, 디바이스(100)는 검색 순서 등을 기준으로 복수 개의 제2 영상(2650)을 순차적으로 나열할 수 있다. The retrieved second image 2650 can be displayed as shown at 2600-5 in Fig. 26C. The first image 2610 and the second image 2650 may be displayed by dividing the area of the display area. When there are a plurality of second images 2650, the device 100 may sequentially arrange a plurality of second images 2650 based on a search order or the like.

그리고, 하나 이상의 제2 영상 중 어느 하나의 영상(2660)을 선택하는 사용자 입력을 수신하면, 도 2600c의 2600-6에 도시된 바와 같이, 제1 영상(2610)과 선택된 제2 영상(2660)이 결합한 효과 영상(2670)을 표시할 수 있다. 디바이스(100)는 제1 영상(2610)의 선택된 객체(2612) 대신 제2 영상(2660)의 객체(2662)를 결합하여 효과 영상(2670)을 생성할 수 있다.
When a user input for selecting one of the one or more second images 2660 is received, the first image 2610 and the selected second image 2660 are displayed as shown in 2600-6 in Fig. 2600c. The combined effect image 2670 can be displayed. The device 100 may combine the object 2662 of the second image 2660 with the selected object 2612 of the first image 2610 to produce an effect image 2670. [

제2 영상(2660)의 객체(2662)의 크기 및 형상이 제1 영상(2610)의 객체(2612)와 다소 상이할 수 있다. 디바이스(100)는 영상 결합시 복원 기법을 이용할 수 있다. 도 27은 일 실시예에 따른 복수 개의 영상을 결합하는 방법을 설명하는 참조도면이다. 디바이스(100)는 제1 영상(2710)으로부터 관심 영역인 객체(2712)를 제외한 영상(이하 '제1 부분 영상'이라 한다.)(2714)을 분리할 수 있다. 디바이스(100)는 영상 에지 특성 등을 이용하여 제1 영상으로부터 제1 부분 영상(2714)를 분리할 수 있다. 또한, 디바이스(100)는 제2 영상(2720)으로부터 영상 에지 특성 등을 관심 영역에 대응하는 객체(이하 '제2 부분 영상'이라 한다)(2722)를 분리할 수 있다. The size and shape of the object 2662 of the second image 2660 may be slightly different from the object 2612 of the first image 2610. [ The device 100 may utilize a reconstruction technique when combining images. 27 is a reference diagram illustrating a method of combining a plurality of images according to an exemplary embodiment. The device 100 may separate an image (hereinafter, referred to as 'first partial image') 2714 excluding an object 2712, which is a region of interest, from the first image 2710. The device 100 may separate the first partial image 2714 from the first image using an image edge characteristic or the like. In addition, the device 100 may separate an image edge characteristic or the like from the second image 2720 into an object corresponding to a region of interest (hereinafter, referred to as a 'second partial image') 2722.

그리고, 디바이스(100)는 제1 부분 영상(2714)과 제2 부분 영상(2722)간의 중첩이 최소가 되도록 제1 부분 영상(2714)과 제2 부분 영상(2722)을 결합한다. 디바이스(100)는 제1 부분 영상(2714)과 제2 부분 영상(2722)이 중첩된 영역(2732)에서 제1 부분 영상(2714)의 일부를 삭제하고, 제1 부분 영상(2714)과 제2 부분 영상(2722) 모두 표시되지 않은 영역(2734)은 제1 부분 영상(2714)을 이용하여 복원시킴으로써 효과 영상(2730)을 생성할 수 있다.
The device 100 then combines the first partial image 2714 and the second partial image 2722 such that the overlap between the first partial image 2714 and the second partial image 2722 is minimized. The device 100 deletes a part of the first partial image 2714 in the area 2732 in which the first partial image 2714 and the second partial image 2722 are superimposed, The area image 2734 in which all the two partial images 2722 are not displayed can be reconstructed using the first partial image 2714 to generate the effect image 2730. [

도 28a 내지 도 28c는 일 실시예에 따른 복수 개의 영상을 이용하여 배경에 효과를 제공하는 일 예를 나타내는 도면이다. 디바이스(100)의 모드가 효과 모드로 설정된 상태에서, 도 28a의 2800-1에 도시된 바와 같이, 디바이스(100)는 임의의 제1 영상(2810)을 표시할 수 있다. 상기한 제1 영상(2810)은 정지 영상, 동영상 프레임, 라이브 뷰 영상 등일 수 있다. 디바이스(100)는 제1 영상(2810) 중 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 제1 영상(2810) 중 배경(2814)이 표시된 알뷰 영역을 터치하는 입력을 수행할 수 있고, 디바이스(100)는 사용자의 입력에 대응하여, 터치된 영역을 중심으로 영상 처리를 하여 배경(2814)을 관심 영역으로 선택할 수 있다. 28A to 28C are diagrams illustrating an example of providing an effect on a background using a plurality of images according to an embodiment. With the mode of the device 100 set to the effect mode, the device 100 can display any first image 2810, as shown at 2800-1 in Fig. 28A. The first image 2810 may be a still image, a moving image frame, a live view image, or the like. The device 100 may select a region of interest of the first image 2810. For example, the user may perform an input of touching an alleviating area in which the background 2814 is displayed in the first image 2810, and the device 100 may display an image The background 2814 can be selected as the region of interest.

그리고, 도 28a의 2800-2에 도시된 바와 같이, 디바이스(100)는 배경(2814)에 제공할 수 있는 효과에 대한 정보인 효과 리스트(2820)를 표시할 수 있다. 효과 리스트(2820)는 제1 영상(2810)과 중첩되게 표시될 수 있다. 사용자는 효과 리스트(2820) 중 어느 하나를 선택하는 입력을 수행할 수 있다. 예를 들어, 사용자는 '다른 영상 이용'이라는 항목이 표시된 일부 영역은 터치함으로써 입력을 수행할 수 있다.And, as shown in 2800-2 in Fig. 28A, the device 100 can display an effect list 2820, which is information on an effect that can be provided to the background 2814. Fig. The effect list 2820 may be displayed superimposed on the first image 2810. [ The user may perform an input to select any of the effects list 2820. [ For example, a user can perform an input by touching a portion of an area where an item of "use another image" is displayed.

디바이스(100)는 관심 영역인 배경(2814)을 식별하는 식별 정보를 획득할 수 있다. 식별 정보가 기저장되어 있으면, 디바이스(100)는 기저장된 식별 정보를 독출함으로씨 식별 정보를 획득할 수 있다. 식별 정보가 기저장되어 있는 않으면, 디바이스(100)는 객체의 속성 정보 및 영상 분석 정보 중 적어도 하나를 이용하여 식별 정보를 생성함으로써 식별 정보를 획득할 수 있다. 그리고, 도 28b의 2800-3에 도시된 바와 같이, 식별 정보 리스트(2830)를 표시할 수 있다. 상기한 식별 정보 리스트(2830)도 제1 영상(2810)과 중첩되게 표시될 수 있다. 식별 정보 리스트(2830) 중 적어도 일부를 선택하는 사용자 입력을 통해, 디바이스(100)는 적어도 일부의 식별 정보를 검색용 식별 정보로 결정할 수 있다. Device 100 may obtain identification information identifying a background 2814 that is a region of interest. If the identification information is stored in advance, the device 100 can obtain the seed identification information by reading the previously stored identification information. If the identification information is not stored in advance, the device 100 can obtain identification information by generating identification information using at least one of the attribute information of the object and the image analysis information. Then, as shown in 2800-3 in Fig. 28B, the identification information list 2830 can be displayed. The identification information list 2830 may be displayed so as to overlap with the first image 2810. Through the user input that selects at least some of the identification information list 2830, the device 100 can determine at least some identification information as identification information for searching.

또한, 도 28b의 2800-4에 도시된 바와 같이, 디바이스(100)는 타겟 영상에 대한 정보를 나타내는 타겟 영상 리스트(2840)를 표시할 수 있다. 타겟 영상 리스트(2840) 중 적어도 일부를 선택하는 사용자 입력을 통해, 디바이스(100)는 타겟 영상을 결정할 수 있다. Further, as shown in 2800-4 in Fig. 28B, the device 100 can display a target video list 2840 indicating information on the target video. Through user input to select at least a portion of the target image list 2840, the device 100 can determine the target image.

디바이스(100)는 타겟 영상에서 검색용 식별 정보를 포함하는 제2 영상을 검색할 수 있다. 타겟 영상이 정지 영상인 경우, 디바이스(100)는 정지 영상 단위로 제2 영상을 검색할 수 있다. 타겟 영상이 동영상인 경우, 디바이스(100)는 동영상 프레임 단위로 제2 영상을 검색할 수 있다. The device 100 can search the target image for the second image including the identification information for searching. If the target image is a still image, the device 100 can search for the second image in still image units. If the target image is a moving image, the device 100 can search for the second image in units of moving image frames.

검색된 제2 영상(2850)을, 도 28c의 2800-5에 도시된 바와 같이, 표시할 수 있다. 제1 영상(2810)과 제2 영상(2850)은 영역이 구분되어 표시될 수 있다. 제2 영상(2850)이 복수 개인 경우, 디바이스(100)는 검색 순서 등을 기준으로 복수 개의 제2 영상(2850)을 순차적으로 나열할 수 있다. The retrieved second image 2850 can be displayed as shown at 2800-5 in Fig. 28C. The first image 2810 and the second image 2850 may be displayed in different areas. When there are a plurality of second images 2850, the device 100 may sequentially arrange a plurality of second images 2850 based on a search order or the like.

그리고, 하나 이상의 제2 영상(2850) 중 어느 하나의 영상(2860)을 선택하는 사용자 입력을 수신하면, 도 28의 2800-6에 도시된 바와 같이, 제1 영상(2810)과 선택된 제2 영상(2860)이 결합한 효과 영상(2870)을 표시할 수 있다. 디바이스(100)는 제1 영상의 관심 영역에 제2 영상(2860)의 배경(2864)을 결합하여 효과 영상(2870)을 생성할 수 있다.
28, when a user input for selecting one of the one or more second images 2850 is received, the first image 2810 and the selected second image 2810, The effect image 2870 combined with the effect image 2860 can be displayed. The device 100 may combine the background 2864 of the second image 2860 with the region of interest of the first image to produce an effect image 2870.

제2 영상(2860)의 배경(2864)의 크기 및 형상이 제1 영상(2810)의 배경(2814)와 다소 상이할 수 있다. 디바이스(100)는 영상 결합시 영상 복원 기법을 이용할 수 있다. 도 29은 다른 실시예에 따른 복수 개의 영상을 결합하는 방법을 설명하는 참조도면이다. 디바이스(100)는 제1 영상(2910)으로부터 관심 영역인 배경을 제외한 영상(이하 '제3 부분 영상'이라 한다.)(2912)을 분리할 수 있다. 디바이스(100)는 영상 에지 특성 등을 이용하여 제1 영상(2910)으로부터 제1 부분 영상(2912)를 분리할 수 있다. 또한, 디바이스(100)는 제2 영상(2920)으로부터 영상 에지 특성 등을 관심 영역에 대응하는 부분 영상(이하 '제4 부분 영상'이라 한다)(2924)를 분리할 수 있다. The size and shape of the background 2864 of the second image 2860 may be slightly different from the background 2814 of the first image 2810. [ The device 100 may utilize an image reconstruction technique when combining images. 29 is a reference diagram illustrating a method of combining a plurality of images according to another embodiment. The device 100 may separate an image (hereinafter, referred to as a 'third partial image') 2912 excluding a background, which is a region of interest, from the first image 2910. The device 100 may separate the first partial image 2912 from the first image 2910 using the image edge characteristic or the like. In addition, the device 100 can separate a partial image (hereinafter, referred to as a 'fourth partial image') 2924 corresponding to the region of interest from the second image 2920.

그리고, 디바이스(100)는 제4 부분 영상(2924)으로부터 픽셀 정보가 없는 영역(2932)을 소정 픽셀 값으로 채움으로써 배경 영상(2930)을 생성할 수 있다. 배경 영상(2930) 생성시, 디바이스(100)는 주변 영역의 픽셀값을 이용하는 미러링 기법을 이용하여 픽셀 정보가 없는 영역(2932)의 픽셀 값을 결정할 수 있다. 그리고. 디바이스(100)는 배경 영상(2930)에 제3 부분 영상(2912)을 결합함으로써 효과 영상(2940)을 생성할 수 있다. 디바이스(100)는 제1 영상(2910)에서 제3 부분 영상(2912)의 위치 정보를 이용하여 제3 부분 영상(2912)을 배경 영상에 결합할 수 있다. 제3 부분 영상(2912)과 중첩되는 배경 영상(2930)의 부분은 삭제될 수 있다.
The device 100 can generate the background image 2930 by filling the area 2932 with no pixel information from the fourth partial image 2924 with a predetermined pixel value. When generating the background image 2930, the device 100 may determine the pixel value of the area 2932 having no pixel information by using the mirroring technique using the pixel value of the surrounding area. And. The device 100 may generate the effect image 2940 by combining the third partial image 2912 with the background image 2930. [ The device 100 may combine the third partial image 2912 with the background image using the position information of the third partial image 2912 in the first image 2910. [ The portion of the background image 2930 overlapping with the third partial image 2912 can be deleted.

라이브 뷰 영상으로 효과 영상을 제공할 수 있다. 라이브 뷰 영상은 카메라(160)에 의해 촬영되어 표시되는 영상으로서 저장 명령이 수신되기 전의 영상이다. 상기한 카메라(160)는 디바이스(100)에 내장된 카메라(160)일 수도 있고, 외부 장치일 수도 있다. 앞서 기술한 바와 같이, 디바이스(100)는 사용자의 입력에 대응하여 라이브 뷰 영상 중 객체 또는 배경을 관심 영역으로 선택할 수 있고, 선택된 관심 영역을 선택되기 전의 관심 영역과 전체적으로 다르게 표시할 수 있다. 예를 들어, 디바이스(100)는 관심 영역에 후광 효과, 흐림 효과, 크기 효과, 깊이 효과 등을 제공할 수 있다. 그리고, 저장 명령을 수신하면, 디바이스(100)는 효과가 제공된 라이브 뷰 영상을 저장할 수 있다. 디바이스(100)는 디바이스(100)의 촬영 모드에 따라 효과가 제공된 라이브 뷰 영상을 정지 영상 또는 동영상으로 저장할 수 있다.
It is possible to provide an effect image with a live view image. The live view image is an image captured and displayed by the camera 160 before the storage instruction is received. The camera 160 may be a camera 160 built in the device 100 or may be an external device. As described above, the device 100 can select an object or a background in the live view image as an area of interest corresponding to a user's input, and display the selected area of interest differently from the area of interest before selection. For example, the device 100 may provide a halo effect, a blur effect, a magnitude effect, a depth effect, and the like in a region of interest. And, upon receiving the store command, the device 100 can store the live view image provided with the effect. The device 100 may store the live view image provided with the effect according to the photographing mode of the device 100 as a still image or a moving image.

뿐만 아니라, 디바이스(100)는 라이브 뷰 영상으로부터 복수 개의 영상을 추출하여 효과 영상을 제공할 수 있다. 도 30은 일 실시예에 따른 라이브 뷰 영상을 이용하여 효과 영상을 제공하는 방법을 설명하는 흐름도이다. 단계 S3010 단계에서, 디바이스(100)는 라이브 뷰 영상을 표시할 수 있다. 라이브 뷰 영상은 카메라(160)에 의해 촬영되어 표시되는 영상으로서 저장 명령이 수신되기 전의 영상이다. 상기한 카메라(160)는 디바이스(100)에 내장된 카메라(160)일 수도 있고, 외부 장치일 수도 있다. 이하 설명의 편의를 도모하기 위해 저장 입력이 수신된 후 생성된 영상을 촬영된 영상이라고 한다. In addition, the device 100 can extract a plurality of images from the live view image and provide an effect image. 30 is a flowchart illustrating a method of providing an effect image using a live view image according to an exemplary embodiment. In step S3010, the device 100 can display a live view image. The live view image is an image captured and displayed by the camera 160 before the storage instruction is received. The camera 160 may be a camera 160 built in the device 100 or may be an external device. In order to facilitate the following description, an image generated after the storage input is received is called a photographed image.

단계 S3010 단계에서, 디바이스(100)는 관심 영역을 선택한다. 사용자는 라이브 뷰 영상 중 일부 영역을 선택하는 명령을 입력할 수 있고, 디바이스(100)는 선택된 일부 영역을 포함하는 객체 또는 배경을 관심 영역을 결정할 수 있다. In step S3010, the device 100 selects a region of interest. The user can input an instruction to select a part of the live view image, and the device 100 can determine an area of interest including an object or a background including the selected part.

일부 영역을 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.The user input to select some areas may vary. For example, the user input may be at least one of a key input, a touch input, a motion input, a bending input, a voice input, and a multiplex input.

단계 S3030 및 단계 S3040 단계에서, 디바이스(100)는 라이브 뷰 영상으로부터 임시 영상을 생성할 수 있다. 임시 영상은 관심 영역을 포함하는 영상으로서 사용자의 저장 입력을 수신하기 전에 임시로 생성된 영상이다. In steps S3030 and S3040, the device 100 may generate a temporary image from the live view image. The temporary image is an image including the region of interest and temporarily generated before receiving the user's storage input.

상기한 임시 영상은 관심 영역에 대한 부분 영상일 수 있다. 예를 들어, 임시 영상은 관심 영역으로 선택된 객체 또는 배경만으로 구성된 부분 영상일 수 있다. 또는 임시 영상은 관심 영역을 포함하는 라이브 뷰 영상에 대한 프레임 영상일 수도 있다. The temporal image may be a partial image of the region of interest. For example, the temporary image may be a partial image composed only of the object or the background selected as the region of interest. Alternatively, the temporary image may be a frame image for a live view image including an area of interest.

또한, 상기한 임시 영상으로 임시로 버퍼에 생성되어 저장될 수도 있지만, 임시로 생성되어 표시 영역에 표시될 수 도 있다. In addition, the temporary image may be temporarily generated and stored in the buffer, but may be temporarily generated and displayed in the display area.

임시 영상은 관심 영역이 선택된 시점에서부터 저장 입력이 수신될 때까지 생성될 수 있다. 예를 들어, 관심 영역이 선택된 시점에 임시 영상이 하나 생성되고 저장 입력이 수신된 시점에 임시 영상이 하나 생성되어 총 두 개의 임시 영상이 생성될 수 있다. 또는 임시 영상은 관심 영역이 선택된 시점부터 저장 입력이 수신되기 전까지 일정 시간 단위 (예를 들어, 3초)로 생성될 수 있다. 또는 임시 영상은 임시 영상은 관심 영역이 선택된 시점부터 저장 입력이 수신되기 전까지 관심 영역의 변화가 기준값 이상일때마다 생성될 수 있다. Temporary images may be generated from the point in time when the region of interest is selected until a storage input is received. For example, a temporary image may be generated at a point of time when a region of interest is selected, and a temporary image may be generated at a point of time when a storage input is received, thereby generating a total of two temporary images. Alternatively, the temporary image may be generated in a predetermined time unit (for example, 3 seconds) from when the region of interest is selected until the storage input is received. Alternatively, the temporary image may be generated every time when the change of the region of interest is greater than or equal to the reference value, from when the region of interest is selected until when the storage input is received.

임시 영상 중 관심 영역이 선택된 시점에 생성된 임시 영상을 최초 임시 영상이라고 하고, 저장 명령이 수신된 시점에 생성된 임시 영상을 최종 임시 영상이라고 한다. 디바이스(100)는 저장 입력이 수신되면, 최초 임시 영상과 최종 임시 영상을 포함하는 복수 개의 임시 영상을 획득할 수 있다. 그리고, 임시 영상 중 관심 영역만으로 구성된 임시 영상을 관심 영상일 수 있다. 디바이스(100)는 최초 임시 영상과 최종 임시 영상을 포함하는 복수 개의 임시 영상 중 어느 하나로부터 관심 영상을 생성할 수 있다. A temporal image generated at a point of time when a region of interest is selected from among the temporal images is referred to as an initial temporal image, and a temporal image generated at the time a storing command is received is referred to as a final temporal image. When the storage input is received, the device 100 may acquire a plurality of temporary images including a first temporary image and a final temporary image. In addition, a temporal image composed of only the region of interest among the temporary images may be a target image. The device 100 may generate the interest image from any one of the plurality of temporary images including the initial temporary image and the final temporary image.

저장을 위한 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.The user input for storage may vary. For example, the user input may be at least one of a key input, a touch input, a motion input, a bending input, a voice input, and a multiplex input.

저장 입력을 수신하면, 단계 S3050에서, 디바이스(100)는 복수 개의 임시 영상을 이용하여 효과 영상을 생성할 수 있다. 즉 버퍼에 임시 저장된 복수 개의 임시 영상을 독출하여 결합함으로써 효과 영상을 생성할 수 있다. 그리고, 생성된 효과 영상을 저장할 수 있다. 또한, 버퍼에 저장된 임시 영상은 삭제될 수 있다. 효과 영상 생성시, 디바이스(100)는 최초 임시 영상 중 관심 영역인 객체 또는 배경을 최종 임시 영상에 결합함으로써 효과 영상을 생성할 수 있다. 또는 복수 개의 임시 영상 중 관심 영역에 대응하는 부분 영상을 최종 임시 영상에 결합함으로써 효과 영상을 생성할 수 있다.
Upon receiving the storage input, in step S3050, the device 100 can generate an effect image using a plurality of temporary images. That is, a plurality of temporary images temporarily stored in the buffer are read and combined to generate an effect image. Then, the created effect image can be stored. Also, the temporary image stored in the buffer can be deleted. When generating an effect image, the device 100 may generate an effect image by combining an object or a background, which is a region of interest, of a first temporary image with a final temporary image. Or a partial image corresponding to a region of interest among a plurality of temporary images to a final temporary image to generate an effect image.

도 31은 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다. 도 31의 3100-1에 도시된 바와 같이, 디바이스(100)의 모드가 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3110)을 표시할 수 있다. 디바이스(100)는 라이브 뷰 영상(3110) 중에서 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 라이브 뷰 영상(3110) 중 객체(3112)가 표시된 일부 영역을 터치할 수 있다. 그러면, 다비이스는 객체(3112)를 관심 영역으로 선택할 수 있다. 객체(3112)가 관심 영역으로 선택되면, 디바이스(100)는 객체를 포함하는 최초 임시 영상을 생성할 수 있다. 그리고, 디바이스(100)는 최초 임시 영상 중 관심 영역만으로 구성된 관심 영상(3120)을 생성할 수 있다. 그리고, 디바이스(100)는, 도 31의 3100-2에 도시된 바와 같이, 다른 라이브 뷰 영상(3130)를 표시할 수 있다. 사용자로부터 저장을 위한 사용자 입력을 수신하면, 도 31의 3100-2에 도시된 바와 같이, 최종 임시 영상(3130)에 관심 영상(3120)이 결합된 영상(3140)을 생성하여 저장할 수 있다. 관심 영상(3130)의 위치는 임시 영상 생성 시점의 표시 영역에 고정될 수 있다.
31 is a reference diagram for explaining a method of generating an effect image in a live view image according to an embodiment. 31, the device 100 can display the live view image 3110 while the mode of the device 100 is set to the photographing mode. The device 100 may select a region of interest from the live view image 3110. For example, the user may touch a part of the live view image 3110 displayed with the object 3112. The device may then select object 3112 as the region of interest. If the object 3112 is selected as a region of interest, the device 100 may generate a first temporary image containing the object. Then, the device 100 can generate the interest image 3120 composed of only the region of interest among the initial temporal images. Then, the device 100 can display another live view image 3130 as shown in 3100-2 in Fig. Upon receiving the user input for storing from the user, the user can generate and store the image 3140 in which the image of interest 3120 is combined with the final temporary image 3130, as shown in 3100-2 of FIG. The position of the interest image 3130 may be fixed to the display area at the time of generating the temporary image.

임시 영상이 표시 영역에 고정되어 있는 상태에서 디바이스(100)는 다양한 형태의 영상을 생성할 수 있다. 도 32는 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다. 도 32의 3200-1에 도시된 바와 같이, 디바이스(100)의 모드가 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3210)을 표시할 수 있다. 디바이스(100)는 라이브 뷰 영상(3210) 중에서 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 라이브 뷰 영상(3210) 중 제1 객체(3212)가 표시된 일부 영역을 터치할 수 있다. 그러면, 다비이스는 제1 객체(3212)를 관심 영역으로 선택할 수 있다. 제1 객체가 관심 영역으로 선택되면, 디바이스(100)는 제1 객체를 포함하는 최초 임시 영상을 생성하고, 최초 임시 영상으로부터 관심 영상(3220)을 생성할 수 있다. 생성된 관심 영상(3220)을 라이브 뷰 영상(3210)과 중첩하여 표시할 수 있다. The device 100 can generate various types of images in a state in which the temporary images are fixed in the display area. 32 is a reference diagram for explaining a method of generating an effect image in a live view image according to an embodiment. The device 100 can display the live view image 3210 while the mode of the device 100 is set to the shooting mode, as shown in 3200-1 in Fig. The device 100 may select a region of interest from the live view image 3210. For example, the user can touch a part of the live view image 3210 in which the first object 3212 is displayed. The device can then select the first object 3212 as the region of interest. Once the first object is selected as the region of interest, the device 100 may generate an initial temporal image including the first object and generate a focused image 3220 from the initial temporal image. The generated interest image 3220 can be superimposed on the live view image 3210 and displayed.

한편, 관심 영상(3220)의 위치는 임시 영상 생성 시점에 고정되기 때문에 카메라(160)의 촬영 각도 또는 위치가 변경된다 하더라도 표시 영역에 표시되는 관심 영상(3220)은 고정되어 있다. 그리하여, 사용자가 카메라(160)를 90도 회전하면, 도 31의 3100-2에 도시된 바와 같이, 표시 영역에 고정된 관심 영상(3220)도 함께 90도 회전한다. 하지만, 라이브 뷰 영상(3230)은 회전되지 않는다. 그리고, 저장 명령을 수신하면, 도 31의 3100-3에 도시된 바와 같이, 디바이스(100)는 관심 영상(3220)과 최종 임시 영상(3230)을 결합한 효과 영상(3240)을 생성하여 저장할 수 있다. 여기서 최종 임시 영상(3230)은 저장 입력이 수신된 후 생성된 임시 영상이다. 최종 임시 영상(3230)에도 제1 객체(3232)가 포함될 수 있다. 디바이스(100)는 최종 임시 영상(3230)에 포함된 제1 객체(3232)를 삭제하고, 관심 영상(3220)을 결합하여 효과 영상(3240)을 생성할 수 있다. 효과 영상 중 픽셀 정보가 없는 영역은 영상 복원 기법에 의해 복원될 수 있음은 물론이다.
Since the position of the interest image 3220 is fixed at the time of generating the temporary image, the interest image 3220 displayed in the display region is fixed even if the shooting angle or position of the camera 160 is changed. Thus, when the user rotates the camera 160 by 90 degrees, the interest image 3220 fixed in the display area also rotates 90 degrees, as shown in 3100-2 in Fig. However, the live view image 3230 is not rotated. 31, the device 100 may generate and store an effect image 3240 in which the target image 3220 and the final temporary image 3230 are combined with each other, as shown in 3100-3 . Here, the final temporary image 3230 is a temporary image generated after the storage input is received. The first temporary object image 3230 may also include the first object 3232. The device 100 may delete the first object 3232 contained in the final temporary image 3230 and combine the images of interest 3220 to produce an effect image 3240. [ It is needless to say that the area without pixel information of the effect image can be restored by the image restoration technique.

관심 영상이 표시 영역에 고정된다고 하였으나, 이에 한정되지 않는다. 관심 영상의 위치는 사용자 입력에 대응하여 변경될 수 있다. 예를 들어, 관심 영상과 라이브 뷰 영상이 중첩되어 표시된 상태에서, 사용자는 관심 영상이 표시된 일부 영역을 터치한 후 드래그하는 동작을 수행할 수 있다. 그러면, 디바이스(100)는 사용자 입력에 대응하여 관심 영상의 위치를 드래그가 종료되는 지점으로 변경시킬 수 있다. 디바이스(100)는 관심 영상의 크기 등도 사용자 입력에 대응하여 변경시킬 수 있다.
The image of interest is fixed to the display area, but the present invention is not limited thereto. The position of the image of interest may be changed corresponding to the user input. For example, in a state in which the video of interest and the live-view video are superimposed and displayed, the user can perform an operation of touching and dragging a part of the area displaying the video of interest. The device 100 may then change the position of the image of interest to the point at which dragging is terminated in response to user input. The device 100 may also change the size of the image of interest or the like in response to a user input.

뿐만 아니라, 라이브 뷰 영상의 관심 영역의 위치에 대응하여 관심 영상의 위치가 변경될 수도 있다. 도 33은 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다. 도 33의 3300-1에 도시된 바와 같이, 디바이스(100)의 모드가 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3310)을 표시할 수 있다. 디바이스(100)는 라이브 뷰 영상(3310) 중에서 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 라이브 뷰 영상(3310) 중 제1 객체(3312)가 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 제1 객체(3312)를 관심 영역으로 선택할 수 있다. 제1 객체(3312)가 관심 영역으로 선택되면, 디바이스(100)는 제1 객체(3312)를 포함하는 관심 영상(3320)을 생성할 수 있다. In addition, the position of the image of interest may be changed corresponding to the position of the region of interest of the live view image. 33 is a reference diagram for explaining a method of generating an effect image in a live view image according to another embodiment. The device 100 can display the live view image 3310 while the mode of the device 100 is set to the image capture mode, as shown in 3300-1 in Fig. The device 100 may select a region of interest from the live view image 3310. [ For example, the user can touch a part of the live view image 3310 in which the first object 3312 is displayed. The device 100 may then select the first object 3312 as a region of interest. If the first object 3312 is selected as the region of interest, the device 100 may generate the image of interest 3320 including the first object 3312.

도 33의 3300-2에 도시된 바와 같이, 디바이스(100)는 표시 영역 중 관심 영상(3320)을 기설정된 위치에 표시할 수 있다. 즉, 디바이스(100)는 관심 영상을 생성시점의 위치가 아닌 디바이스(100)가 기설정한 위치에 표시할 수 있다. 디바이스(100)는 생성된 관심 영상(3320)을 라이브 뷰 영상(3330)과 중첩하여 표시할 수 있다. 도 33의 3300-2의 라이브 뷰 영상(3330)과 도 33의 3300-1의 라이브 뷰 영상(3310)은 다를 수 있다. As shown in 3300-2 in Fig. 33, the device 100 can display the interest image 3320 of the display area at a predetermined position. That is, the device 100 may display the image of interest at a position preset by the device 100, not at the position of the generation point. The device 100 can display the generated interest image 3320 in a superimposed manner with the live view image 3330. [ The live view image 3330 of 3300-2 in Fig. 33 may be different from the live view image 3310 of 3300-1 in Fig.

그리고, 저장 입력을 수신하면, 디바이스(100)는 도 33의 3300-3에 도시된 바와 같이, 효과 영상(3340)을 생성할 수 있다. 디바이스(100)는 효과 영상 생성시, 최종 임시 영상 중 관심 영역에 대응하는 제1 객체(3332)의 위치로 관심 영상(3320)을 이동시켜 결합 함으로써 효과 영상(3340)을 생성할 수 있다. 도 33에서는 저장 입력을 수신하면 관심 영상을 제1 객체의 위치로 이동시켜 최종 임시 영상과 결합한다고 하였으나, 이에 한정되지 않는다. 디바이스(100)는 라이브 뷰 영상을 표시할 때, 관심 영상에 대응하는 영역, 즉, 제1 객체가 표시된 영역으로 관심 영상을 이동시켜 실시간으로 표시할 수 있음도 물론이다.
Then, upon receiving the storage input, the device 100 can generate the effect image 3340 as shown in 3300-3 in Fig. The device 100 may generate the effect image 3340 by moving the interest image 3320 to the position of the first object 3332 corresponding to the region of interest in the final provisional image. In FIG. 33, when the storage input is received, the interest image is moved to the position of the first object to be combined with the final temporary image. However, the present invention is not limited thereto. When displaying the live view image, the device 100 may move the image of interest to an area corresponding to the image of interest, i.e., an area in which the first object is displayed, and display the image in real time.

지금까지 라이브 뷰 영상에 관심 영역을 선택된 시점의 최초 임시 영상과 최종 임시 영상을 이용하여 효과 영상을 생성한다고 하였다. 그러나, 이에 한정되지 않는다. 디바이스(100)는 최초 임시 영상과 최종 임시 영상 이외에도 하나 이상의 임시 영상을 생성할 수도 있다. 그리고 하나 이상의 임시 영상을 이용하여 효과 영상을 생성할 수도 있다. 도 34는 다른 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 순서도이다. The effect image is generated by using the first temporary image and the last temporary image at the point of time when the region of interest is selected in the live view image. However, it is not limited thereto. The device 100 may generate one or more temporary images in addition to the initial temporary image and the final temporary image. In addition, an effect image may be generated using one or more temporary images. FIG. 34 is a flowchart illustrating a method of generating an effect image in a live view image according to another embodiment.

단계 S3410에서, 디바이스(100)는 라이브 뷰 영상 중에서 관심 영역을 선택할 수 있다. 디바이스(100)의 모드가 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3410)을 표시할 수 있다. 사용자는 라이브 뷰 영상 중 객체 또는 배경이 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 터치된 영역을 포함하는 영역에 표시된 객체 또는 배경을 관심 영역으로 선택할 수 있다. In step S3410, the device 100 can select a region of interest from the live view image. With the mode of the device 100 set to the shooting mode, the device 100 can display the live view image 3410. [ The user can touch an object or a part of the live view displayed on the live view image. The device 100 may then select the object or background displayed in the area containing the touched area as the area of interest.

단계 S3420 및 단계 S3430에서, 디바이스(100)는 관심 영역의 변화가 기준값 이상일 때, 임시 영상을 생성할 수 있다. In steps S3420 and S3430, the device 100 can generate a temporary image when the change in the region of interest is greater than or equal to the reference value.

임시 영상(3420)은 라이브 뷰 영상으로 표시되었던 화면일 수도 있고, 관심 영역만으로 구성된 관심 영상일 수도 있다. 디바이스(100)는 관심 영역 선택시 최초 임시 영상을 생성한다. 그리고, 기생성된 임시 영상의 관심 영역과 라이브 뷰 영상에 포함된 관심 영역에 대한 픽셀 값 차를 산출한 후 산출된 차가 기준 값 이상인 라이브 뷰 영상을 임시 영상으로 생성할 수 있다. The temporary image 3420 may be a screen that has been displayed as a live view image, or may be an image of interest composed of only a region of interest. The device 100 creates an initial temporal image when selecting a region of interest. After calculating the pixel value difference between the interest region of the preliminary generated image and the interest region included in the live view image, the live view image having the calculated difference equal to or greater than the reference value can be generated as a temporary image.

관심 영역의 변화는 관심 영역에 대응하는 객체 또는 배경이 움직임으로써 발생할 수도 잇고, 객체 또는 배경의 크기가 변경됨으로써 발생할 수도 있으며, 객체 또는 배경의 픽셀값 자체 즉, 광량의 변화로 인해 발생할 수도 있다. The change of the region of interest may occur by moving the object or the background corresponding to the region of interest, or by changing the size of the object or the background, or by the pixel value of the object or the background itself, that is, by a change in the amount of light.

디바이스(100)는 저장 입력이 수신될 때가지 임시 영상을 생성할 수 있다. 즉, 디바이스(100)는 저장 입력이 수신될 때가지 관심 영역의 변화가 기준값 이상인 영상을 임시 영상으로 저장할 수 있다. 상기한 임시 영상은 최초 임시 영상 및 최종 임시 영상을 포함할 수 있다. The device 100 may generate a temporary image until a storage input is received. That is, the device 100 may store an image whose change in the region of interest is equal to or greater than the reference value as a temporary image until the storage input is received. The temporary image may include an initial temporary image and a final temporary image.

그리고, 단계 S3450에서, 저장 입력을 수신하면, 디바이스(100)는 효과 영상을 생성할 수 있다. 디바이스(100)는 복수 개의 임시 영상을 결합함으로써 효과 영상을 생성할 수 있다. 또는 디바이스(100)는 복수 개의 임시 영상 중 어느 하나를 선택하는 사용자 입력에 대응하여 효과 영상을 생성할 수도 있다. 복수 개의 임시 영상 중 어느 하나를 선택하는 사용자 입력에 대응한 효과 영상은 엄밀한 의미에서 효과 영상이라고 할 수 없다. 그러나, 디바이스(100)는 사용자가 선택할 수 있도록 복수 개의 임시 영상을 표시하고, 그 중 어느 하나의 임시 영상을 선택하는 사용자 입력이 수신된 이후에 비로서 선택된 임시 영상이 정지 영상 등으로 저장될 수 있다는 점에서 설명의 편의상 효과 영상이라고 한다.
Then, in step S3450, upon receiving the storage input, the device 100 can generate an effect image. The device 100 may generate an effect image by combining a plurality of temporary images. Alternatively, the device 100 may generate an effect image corresponding to a user input for selecting any one of the plurality of temporary images. An effect image corresponding to a user input for selecting any one of a plurality of temporary images can not be said to be an effect image in a strict sense. However, the device 100 displays a plurality of temporary images so that the user can select them, and after the user input for selecting one of the temporary images is received, the selected temporary image can be stored as a still image or the like In terms of ease of explanation, it is called effect video.

도 35는 일 실시예에 따른 라이브 뷰 영상에서 효과 영상을 생성하는 방법을 설명하는 참조도면이다. 도 35의 3500-1에 도시된 바와 같이, 디바이스(100)의 모드가 정지 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상(3510)을 표시할 수 있다. 디바이스(100)는 라이브 뷰 영상(3510) 중에서 관심 영역을 선택할 수 있다. 예를 들어, 사용자는 라이브 뷰 영상(3510) 중 제1 객체(3512)가 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 제1 객체(3512)를 관심 영역으로 선택할 수 있다. 제1 객체(3512)가 관심 영역으로 선택되면, 디바이스(100)는 제1 객체(3512)를 포함하는 임시 영상을 생성할 수 있다. 35 is a reference diagram for explaining a method of generating an effect image in a live view image according to an embodiment. 35, the device 100 can display the live view image 3510 while the mode of the device 100 is set to the still image capture mode. The device 100 may select a region of interest from the live view image 3510. For example, the user can touch a portion of the live view image 3510 in which the first object 3512 is displayed. The device 100 may then select the first object 3512 as a region of interest. If the first object 3512 is selected as a region of interest, the device 100 may generate a temporary image that includes the first object 3512.

디바이스(100)는 임시 영상(3520)을 일정 시간 간격으로 저장 입력을 수신하기 전까지 생성할 수 있다. 또는 디바이스(100)는 제1 개체(3512)의 변화가 기준 값 이상인 경우 임시 영상(3520)을 생성할 수도 있다. 임시 영상(3520)은 라이브 뷰 영상으로 표시되었던 화면일 수도 있고, 제1 객체(3512)만으로 구성된 관심 영상일 수도 있다. 도면에는 라이브 뷰 영상으로 표시되었던 화면으로 설명한다. The device 100 may generate the temporary image 3520 until a storage input is received at predetermined time intervals. Or device 100 may generate a temporary image 3520 if the change in the first entity 3512 is greater than or equal to a reference value. The temporary image 3520 may be a screen displayed as a live view image or may be a target image composed of only the first object 3512. [ The drawing is explained with the screen displayed as a live view image.

그리고, 저장 입력을 수신하면, 디바이스(100)는 도 35의 3500-2에 도시된 바와 같이, 최종 임시 영상(3530)과 그외의 임시 영상(3520)을 표시할 수 있다. 최종 임시 영상(3530)과 임시 영상(3520)은 표시 영역이 구분되어 표시될 수 있다. 임시 영상(3520)이 복수 개인 경우, 디바이스(100)는 생성된 순서를 기준으로 복수 개의 임시 영상(3520)을 순차적으로 배열할 수 있다. Then, upon receiving the storage input, the device 100 can display the final temporary image 3530 and the other temporary images 3520 as shown in 3500-2 in Fig. The final temporary image 3530 and the temporary image 3520 can be displayed in a display area. When there are a plurality of temporary images 3520, the device 100 can sequentially arrange the plurality of temporary images 3520 on the basis of the generated order.

그리고, 하나 이상의 임시 영상(3520) 중 어느 하나(3540)를 선택하는 사용자 입력을 수신하면, 도 35의 3500-3에 도시된 바와 같이, 최종 임시 영상(3530)과 선택된 임시 영상(3540)의 관심 영역이 결합한 효과 영상(3550)을 표시할 수 있다. 디바이스(100)는 최종 임시 영상(3530)의 제1 객체(3532) 대신 선택된 임시 영상(3540)의 제1 객체(3542)를 결합하여 효과 영상(3550)을 생성할 수 있다. 라이브 뷰 영상 중 관심 영역으로서 객체를 이용하여 효과 영상을 생성하는 방법에 대해 설명하였다. 이는 설명의 편의를 위해 객체를 이용하였을 뿐이며 배경에도 동일하게 적용될 수 있음은 물론이다.
When a user input for selecting one of the one or more temporary images 3520 is received, the user selects the final temporary image 3530 and the selected temporary image 3540 as shown in 3500-3 in Fig. And an effect image 3550 in which a region of interest is combined can be displayed. The device 100 may combine the first object 3542 of the selected temporary image 3540 instead of the first object 3532 of the final temporal image 3530 to produce an effect image 3550. A method of generating an effect image using an object as a region of interest in a live view image has been described. It is needless to say that the object is used for the sake of convenience of description and can be applied to the background in the same manner.

관심 영역의 변화로 동영상을 생성할 수 있음도 물론이다. 도 36은 일 실시예에 따른 라이브 뷰 영상에서 동영상을 생성하는 방법을 설명하는 흐름도이다. Of course, the video can be generated by the change of the area of interest. FIG. 36 is a flowchart illustrating a method of generating a moving image in a live view image according to an embodiment.

단계 S3610에서, 디바이스(100)는 라이브 뷰 영상 중에서 관심 영역을 선택할 수 있다. 디바이스(100)의 모드가 동영상 촬영 모드로 설정된 상태에서, 디바이스(100)는 라이브 뷰 영상을 표시할 수 있다. 사용자는 라이브 뷰 영상(3410) 중 객체 또는 배경이 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 터치된 영역을 포함하는 영역에 표시된 객체 또는 배경을 관심 영역으로 선택할 수 있다. In step S3610, the device 100 can select a region of interest from the live view image. When the mode of the device 100 is set to the moving image shooting mode, the device 100 can display the live view image. The user can touch an object or a part of the live view image 3410 displayed in the background. The device 100 may then select the object or background displayed in the area containing the touched area as the area of interest.

단계 S3620에서, 디바이스(100)는 동영상을 생성하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있다.In step S3620, the device 100 may receive a user input for creating a moving image. User input can vary. For example, the user input may be at least one of a key input, a touch input, a motion input, a bending input, a voice input, and a multiplex input.

단계 S3630, 단계 S3640 및 단계 S3650에서, 디바이스(100)는 관심 영역의 변화가 기준값 이상인지 여부를 판단한다. 관심 영역의 변화가 기준값 이상인 경우, 동영상 프레임을 생성할 수 있다. 디바이스(100)는 동영상을 생성하기 위한 사용자 입력을 수신한 시점의 라이브 뷰 영상을 동영상 프레임으로 생성한다. 그리고, 관심 영역의 변화가 기준값 이상일 때마다 디바이스(100)는 동영상 프레임을 생성할 수 있다. 동영상 프레임은 라이브 뷰 영상으로 표시되었던 화면일 수도 있고, 이전에 생성된 동영상 프레임의 변화값을 나타내는 정보일 수도 있다. 동영상 프레임의 생성은 동영상의 생성을 종료하는 사용자 입력이 수신때까지 수행될 수 있다. In steps S3630, S3640, and S3650, the device 100 determines whether the change in the ROI is greater than or equal to a reference value. If the change of the region of interest is equal to or greater than the reference value, a moving picture frame can be generated. The device 100 generates a live view image at the time when a user input for generating a moving image is received as a moving image frame. Then, the device 100 can generate a moving image frame whenever the change in the region of interest is equal to or greater than the reference value. The moving picture frame may be a screen displayed as a live view image, or may be information indicating a change value of a previously generated moving picture frame. The generation of the moving picture frame can be performed until the user input for ending the generation of the moving picture is received.

관심 영역이 객체인 경우, 관심 영역의 변화는 객체의 움직임, 객체의 크기, 객체를 나타내는 픽셀값 등의 변화일 수 있다. 또한, 관심 영역이 배경인 경우, 관심 영역의 변화는 배경의 변경, 배경을 나타내는 픽셀값 등의 변화일 수 있다. If the region of interest is an object, the change of the region of interest may be a change of the motion of the object, the size of the object, a pixel value representing the object, and the like. In addition, when the ROI is background, the ROI may be a change of the background, a pixel value representing the background, or the like.

그리고, 단계 S3660에서, 동영상의 생성을 종료하는 사용자 입력이 수신되면, 디바이스(100)는 생성된 동영상 프레임으로 동영상 파일을 생성할 수 있다.
In step S3660, when the user input for terminating the generation of the moving image is received, the device 100 can generate the moving image file using the generated moving image frame.

관심 영역의 변화가 기준값 이상인 동영상 프레임으로 동영상을 재생할 수 있음도 물론이다. 도 37은 일 실시예에 따른 동영상을 재생하는 방법을 설명하는 흐름도이다. Of course, it is also possible to reproduce a moving picture with a video frame whose change in the region of interest is not less than the reference value. 37 is a flowchart illustrating a method of reproducing a moving image according to an embodiment.

단계 S3710에서, 디바이스(100)는 동영상 프레임에서 관심 영역을 선택할 수 있다. 디바이스(100)의 모드가 동영상 재생 모드로 설정된 상태에서, 디바이스(100)는 동영상을 재생할 수 있다. 사용자는 동영상을 정지하는 명령을 입력할 수 있다. 사용자 입력에 대응하여 동영상의 정지 화면인 하나의 동영상 프레임을 표시할 수 있다. 사용자는 동영상 프레임 중 객체 또는 배경이 표시된 일부 영역을 터치할 수 있다. 그러면, 디바이스(100)는 터치된 영역을 포함하는 영역에 표시된 객체 또는 배경을 관심 영역으로 선택할 수 있다. In step S3710, the device 100 may select a region of interest in the moving picture frame. When the mode of the device 100 is set to the moving image playback mode, the device 100 can play back the moving image. The user can input a command to stop the moving image. One moving picture frame, which is a still picture of the moving picture, can be displayed corresponding to user input. The user can touch an object or a part of a background displayed in the video frame. The device 100 may then select the object or background displayed in the area containing the touched area as the area of interest.

단계 S3720, 단계 S3730 및 단계 S3740에서, 디바이스(100)는 관심 영역의 변화가 기준값 이상인지 여부를 판단한다. 관심 영역의 변화가 기준값 이상인 경우, 동영상 프레임을 표시할 수 있다. 디바이스(100)는 표시된 동영상 프레임(이하 '현재 프레임'이라도 한다.)과 현재 프레임의 다음으로 재생될 동영상 프레임(이하 '제1 다음 프레임'이라고도 한다. )임을 비교한다. 두 프레임간의 관심 영역에 대한 변화를 산출하고, 산출된 변화가 기준값 이상인 경우, 제1 다음 프레임을 재생하여 표시할 수 있다. In steps S3720, S3730, and S3740, the device 100 determines whether the change in the ROI is greater than or equal to a reference value. When the change in the region of interest is equal to or greater than the reference value, the moving picture frame can be displayed. The device 100 compares a displayed moving picture frame (hereinafter also referred to as a 'current frame') and a moving picture frame to be reproduced next to the current frame (hereinafter, also referred to as 'first next frame'). A change to the region of interest between two frames is calculated, and if the calculated change is equal to or greater than the reference value, the first next frame can be reproduced and displayed.

그러나, 두 프레임간의 관심 영역에 대한 변화가 기준값 미만인 경우, 디바이스(100)는 제1 다음 프레임을 표시하지 않는다. 그리고, 다시 디바이스(100)는 현재 프레임과 제1 다음 프레임의 다음으로 재생될 동영상 프레임(이하 '제2 다음 프레임'라고도 한다.)간의 관심 영역에 대한 변화를 산출할 수 있다. 두 프레임간의 관심 영역에 대한 변화를 산출하고, 산출된 변화가 기준값 이상인 경우 제2 다음 프레임을 재생하여 표시하고, 두 프레임간의 관심 영역에 대한 변화가 기준값 미만인 경우, 디바이스(100)는 제2 다음 프레임을 표시하지 않는다. 단계 S3720 및 단계 S3730는 동영상 재생이 종료될때가지 반복될 수 있다. 즉, 디바이스(100)는 동영상 재생을 종료하는 사용자 입력을 수신하거나 동영상 재생이 완료될 때까지 단계 S3720 및 단계 S3730을 반복적으로 수행할 수 있다. 도 37에서는 동영상을 재생하는 방법에 대해 설명하였다. 그러나, 이에 한정되지 않는다. 정지 영상을 슬라이드쇼 방식으로 재생하는 경우에도 적용될 수 있다.
However, if the change for the region of interest between two frames is less than the reference value, the device 100 does not display the first next frame. Then, the device 100 may again calculate the change in the region of interest between the current frame and the moving picture frame to be reproduced next to the first next frame (hereinafter, also referred to as a 'second next frame'). If the calculated change is greater than or equal to the reference value, the second next frame is reproduced and displayed. If the change for the region of interest between the two frames is less than the reference value, Do not display frames. Steps S3720 and S3730 may be repeated when movie reproduction ends. That is, the device 100 may repeatedly perform step S3720 and step S3730 until receiving the user input for ending the movie playback or until the movie playback is completed. 37 shows a method of reproducing a moving image. However, it is not limited thereto. The present invention can also be applied to a case in which still images are reproduced in a slide show manner.

지금까지 영상 중 일부 영역인 관심 영역을 이용하여 영상을 생성, 재생, 표시하는 방법에 대해 설명하였다. 디바이스(100)는 관심 영역을 이용하여 메뉴 영상을 다양하게 제공할 수도 있다. 메뉴 영상은 특정 어플리케이션의 실행을 위한 메뉴 항목을 포함할 수 있다. 상기한 메뉴 항목은 객체일 수 있고, 메뉴 영상 중 메뉴 항목이 아닌 영역은 배경으로 정의될 수 있다.
A method of generating, reproducing, and displaying an image using an area of interest, which is a part of an image, has been described so far. The device 100 may provide a variety of menu images using the region of interest. The menu image may include a menu item for execution of a specific application. The menu item may be an object, and a non-menu item in the menu image may be defined as a background.

도 38은 일 실시예에 따른 메뉴 영상에서 효과를 표시하는 방법을 설명하는 참조도면이다. 먼저, 디바이스(100)의 모드가 메뉴 영상에 대한 효과 모드로 설정된 상태에서, 도 38의 3800-1에 도시된 바와 같이, 메뉴 영상(3810)을 표시할 수 있다. 사용자는 관심 영역인 메뉴 항목(3812)을 선택할 수 있다. 메뉴 항목(3812)을 선택하면, 도 38의 3800-2에 도시된 바와 같이, 디바이스(100)는 메뉴 항목(3812)에 적용될 수 있는 효과 리스트(3820)를 표시될 수 있다. 사용자는 효과 리스트(3820) 중 어느 하나의 효과 항목(3822)을 선택하면, 도 38의 3800-3에 도시된 바와 같이, 효과가 제공된 메뉴 항목(3830)을 표시할 수 있다.
FIG. 38 is a reference diagram illustrating a method of displaying an effect in a menu image according to an embodiment. First, when the mode of the device 100 is set to the effect mode for the menu image, the menu image 3810 can be displayed as shown in 3800-1 in FIG. The user may select a menu item 3812, which is a region of interest. When the menu item 3812 is selected, the device 100 can display an effect list 3820 that can be applied to the menu item 3812, as shown in 3800-2 in Fig. When the user selects one of the effect items 3822 of the effect list 3820, the user can display the menu item 3830 for which the effect has been provided, as shown at 3800-3 in Fig.

메뉴 항목의 효과 제공은 메뉴 항목에 대응하는 어플리케이션의 실행 빈도에 따라 제공될 수도 있다. 도 39는 일 실시예에 따른 실행 빈도에 따른 메뉴 항목에 효과를 제공하는 방법을 설명하는 흐름도이다. The provision of the effect of the menu item may be provided according to the frequency of execution of the application corresponding to the menu item. 39 is a flowchart illustrating a method of providing an effect on a menu item according to an execution frequency according to an embodiment.

단계 S3910에서, 디바이스(100)는 메뉴 항목에 대응하는 어플리케이션의 실행 횟수를 결정할 수 있다. 디바이스(100)는 기설정된 시간내에 실행된 메뉴 항목에 대응하는 어플리케이션의 실행의 실행 횟수를 결정할 수 있다.
In step S3910, the device 100 can determine the number of executions of the application corresponding to the menu item. The device 100 can determine the execution count of the execution of the application corresponding to the menu item executed within the predetermined time.

단계 S3920 및 단계 S3940에서, 메뉴 항목에 대응하는 어플리케이션의 실행 횟수가 제1 값 이상인 경우, 디바이스(100)는 상기한 메뉴 항목에 포지티브 효과를 제공할 수 있다. 포지티브 효과는 메뉴 항목의 식별력을 강화시키는 효과로서, 후광 효과, 크기 확대 효과, 깊이 감소 효과 등일 수 있다.In step S3920 and step S3940, when the execution count of the application corresponding to the menu item is equal to or greater than the first value, the device 100 can provide a positive effect to the menu item. The positive effect is an effect for enhancing the discrimination power of the menu item, and may be a halo effect, a magnification effect, a depth reduction effect, and the like.

단계 S3920, 단계 S3930 및 단계 S3950에서, 메뉴 항목에 대응하는 어플리케이션의 실행 횟수가 제1 값미만 및 제2 값 이상인 경우, 디바이스(100)는 상기한 메뉴 항목에 효과를 제공하지 않는다. 즉, 디바이스(100)는 기설된 상태로 메뉴 항목을 표시할 수 있다. 여기서 제2 값은 제1 값보다 작다. In step S3920, step S3930, and step S3950, when the execution count of the application corresponding to the menu item is less than the first value and equal to or greater than the second value, the device 100 does not provide an effect to the menu item. That is, the device 100 can display menu items in a pre-existing state. Where the second value is less than the first value.

단계 S3930 및 단계 S3960에서, 메뉴 항목에 대응하는 어플리케이션의 실행 횟수가 제1 값미만 및 제2 값 미만인 경우, 디바이스(100)는 상기한 메뉴 항목에 네거티브 효과를 제공할 수 있다. 네거티브 효과는 메뉴 항목의 식별력을 약화시키는 효과로서, 흐림 효과, 크기 축소 효과, 깊이 증가 효과 등일 수 있다. 또한, 메뉴 항목에 대응하는 어플리케이션의 실행 횟수가 제3 값 미만인 경우. 디바이스(100)느 메뉴 항목을 메뉴 영상에서 삭제할 수도 있다.
In steps S3930 and S3960, when the number of executions of the application corresponding to the menu item is less than the first value and less than the second value, the device 100 can provide a negative effect to the menu item. The negative effect is an effect that weakens the discrimination power of the menu item, and may be a blur effect, a size reduction effect, a depth increasing effect, and the like. Further, when the execution count of the application corresponding to the menu item is less than the third value. The device 100 may delete the menu item from the menu image.

도 40은 일 실시예에 따른 실행 빈도에 따른 메뉴 항목에 효과를 제공된 메뉴 영상을 표시한 일 예를 도시한 도면이다. 도 40에 도시된 바와 같이, 디바이스(100)는 메뉴 영상(4010)을 표시할 수 있다. 디바이스(100)는 제1 메뉴 항목(4012)의 크기를 다른 메뉴 항목보다 크게 표시할 수 있다. 이는 제1 메뉴 항목(4012)의 실행 횟수가 다른 메뉴 항목보다 많았음을 의미한다. 사용자는 앞으로도 다른 메뉴 항목보다 제1 메뉴 항목(4012)을 선택할 확률이 높으며, 제1 메뉴 항목(4012)이 크게 표시되어 식별력이 있기 때문에 사용자는 제1 메뉴 항목(4012)을 다른 메뉴 항목보다 쉽게 찾을 수 있다. 디바이스(100)는 제2 메뉴 항목(4014)의 크기를 다른 메뉴 항목보다 작게 표시할 수 있다. 이는 제2 메뉴 항목(4014)의 실행 횟수가 다른 메뉴 항목보다 작음을 의미한다. 사용자는 앞으로도 다른 메뉴 항목보다 제2 메뉴 항목(4014)을 선택할 확률이 낮다.
FIG. 40 is a view illustrating an example of displaying a menu image provided with an effect on a menu item according to an execution frequency according to an exemplary embodiment. As shown in FIG. 40, the device 100 may display a menu image 4010. FIG. The device 100 may display the size of the first menu item 4012 larger than other menu items. This means that the number of executions of the first menu item 4012 is larger than other menu items. The user has a higher probability of selecting the first menu item 4012 than other menu items in the future and the first menu item 4012 is displayed in a larger size and has the discriminating power so that the user can easily make the first menu item 4012 easier than other menu items Can be found. The device 100 may display the size of the second menu item 4014 smaller than other menu items. This means that the execution count of the second menu item 4014 is smaller than other menu items. The user is less likely to select the second menu item 4014 than other menu items in the future.

도 41 내지 도 45는 일 실시예에 따르는, 디바이스(100)를 설명하는 블록도이다. 41-45 are block diagrams illustrating device 100, in accordance with one embodiment.

도 41에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120) 및 디스플레이부(130)를 포함할 수 있다. 디바이스(100)는 디스플레이부(130)에 표시된 정지 영상, 동영상 프레임, 라이브 뷰 영상, 화면 영상등에 효과를 제공할 수 있다. 41, the device 100 according to an exemplary embodiment of the present invention may include a user input unit 110, a control unit 120, and a display unit 130. Referring to FIG. The device 100 may provide effects such as a still image, a moving image frame, a live view image, and a screen image displayed on the display unit 130.

도 42에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 용자 입력부(110), 제어부(120), 디스플레이부(130) 및 메모리(140)를 포함할 수 있다. 디바이스(100)는 내장된 메모리에 저장된 정지 영상(140) 또는 동영상에 효과를 제공할 수 있다. 42, the device 100 according to an embodiment of the present invention may include a user input unit 110, a control unit 120, a display unit 130, and a memory 140. The device 100 may provide an effect to the still image 140 or the moving image stored in the built-in memory.

또는, 도 43에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120), 디스플레이부(130) 및 통신부(150)를 포함할 수 있다. 디바이스(100)는 외부 장치에 저장된 정지 영상 또는 동영상, 또는 외부 장치에서 촬영된 라이브 뷰 영상에 효과를 제공할 수 있다. 43, the device 100 according to an embodiment of the present invention may include a user input unit 110, a control unit 120, a display unit 130, and a communication unit 150 . The device 100 may provide an effect to a still image or a moving image stored in an external device or a live view image taken from an external device.

또는, 도 44에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 사용자 입력부(110), 제어부(120), 디스플레이부(130) 및 카메라(160)를 포함할 수 있다. 디바이스(100)는 내장된 카메라에서 촬영되는 라이브 뷰 영상에 효과를 제공할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스는 구현될 수 있다.44, the device 100 according to an embodiment of the present invention may include a user input unit 110, a control unit 120, a display unit 130, and a camera 160 . The device 100 may provide an effect on a live view image taken by an embedded camera. However, not all illustrated components are required. The device may be implemented by more components than the components shown, or the device may be implemented by fewer components.

예를 들어, 도 45에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디바이스(100)는, 앞서 기술한 디바이스의 구성 이외에도 출력부(170), 통신부(150), 센싱부(180), 마이크로 폰(190) 등을 더 포함할 수도 있다. 45, the device 100 according to an embodiment of the present invention may include an output unit 170, a communication unit 150, a sensing unit 180, A microphone 190, and the like.

이하 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.

사용자 입력부(110)는, 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(110)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The user input unit 110 means means for the user to input data for controlling the device 100. [ For example, the user input unit 110 may include a key pad, a dome switch, a touch pad (contact type capacitance type, pressure type resistive type, infrared ray detection type, surface ultrasonic wave conduction type, A tension measuring method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.

사용자 입력부(110)는, 영상 중 관심 영역을 선택하는 입력을 수신할 수 있다. 본 발명의 일 실시예에 의하면, 관심 영역을 선택하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은, 키 입력, 터치 입력, 모션 입력, 벤딩 입력, 음성 입력, 다중 입력 등을 포함할 수 있다.The user input unit 110 may receive an input for selecting an area of interest of the image. According to an embodiment of the present invention, the user input for selecting the region of interest may vary. For example, the user input may include key input, touch input, motion input, bending input, voice input, multiple input, and the like.

본 발명의 일 실시예에 의하면, 사용자 입력부(110)는, 복수의 영상 중 제 1 영상 및 제 2 영상을 선택하는 입력을 수신할 수도 있다. According to an embodiment of the present invention, the user input unit 110 may receive an input for selecting a first image and a second image among a plurality of images.

사용자 입력부(110)는, 식별 정보 리스트 중 적어도 하나를 선택하는 입력을 수신할 수도 있다. The user input unit 110 may receive an input for selecting at least one of the identification information list.

제어부(120)는, 통상적으로 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(140)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(110), 출력부(170), 통신부(150), 센싱부(180), A/V 입력부(190) 등을 전반적으로 제어할 수 있다. The control unit 120 typically controls the overall operation of the device 100. For example, the control unit 120 may include a user input unit 110, an output unit 170, a communication unit 150, a sensing unit 180, an A / V input unit 190 ) Can be generally controlled.

제어부(120)는, 선택된 관심 영역을 식별하는 하나 이상의 식별 정보를 획득할 수 있다. 예를 들어, 제어부(120)는, 선택된 관심 영역의 속성 정보를 확인하고, 속성 정보를 일반화하여 식별 정보를 생성할 수 있다. 제어부(120)는, 선택된 관심 영역에 대한 영상 분석 정보를 이용하여 식별 정보를 검출할 수 있다. 제어부(120)는 관심 영역이외에 제2 영상의 식별 정보를 획득할 수도 있다. The control unit 120 may obtain one or more pieces of identification information that identify the selected region of interest. For example, the control unit 120 can confirm the attribute information of the selected region of interest and generalize the attribute information to generate the identification information. The control unit 120 may detect the identification information using the image analysis information for the selected ROI. The control unit 120 may obtain the identification information of the second image in addition to the region of interest.

제어부(120)는 관심 영역에 대응하는 객체 또는 배경을 기표시되었던 객체 또는 배경에 비해 전체적으로 다르게 표시되도록 관심 영역에 효과를 제공할 수 있다. 상기한 효과는 상기 관심 영역을 하이라이트시키는 후광 효과, 상기 관심 영역의 픽셀값들의 차를 작게 하는 흐림 효과, 상기 관심 영역의 크기를 변경시키는 크기 효과, 상기 관심 영역의 깊이 정보를 변경시키는 깊이 효과 등이 있을 수 있다. The control unit 120 may provide an effect on the region of interest such that the object corresponding to the region of interest or the background is displayed differently as a whole than the object or background on which the region was displayed. The above-mentioned effect may include a halo effect for highlighting the ROI, a blur effect for reducing a difference between pixel values of the ROI, a magnitude effect for changing the size of the ROI, a depth effect for changing depth information of the ROI This can be.

또한, 제어부(120)는 제2 영상 중 제1 영상의 관심 영역에 대응하는 부분 영상을 분리하여 제1 영상의 관심 영역에 결합함으로써 제1 영상에 효과를 제공할 수도 있다. In addition, the controller 120 may provide an effect to the first image by separating the partial image corresponding to the region of interest of the first image of the second image and combining the partial image with the region of interest of the first image.

디스플레이부(130)는 디바이스(100)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이부(130)는, 정지 영상, 동영상, 라이브 뷰 영상등을 표시할 수 있다. 또한, 디시플레이부는 관심 영역을 식별하는 식별 정보를 표시할 수도 있다. 또한, 효과 영상을 표시할 수도 있고, 효과 영상을 포함하는 효과 폴더를 표시할 수도 있다. The display unit 130 may display information processed by the device 100. [ For example, the display unit 130 may display a still image, a moving image, a live view image, and the like. In addition, the dyslexia unit may display identification information identifying a region of interest. In addition, an effect image may be displayed or an effect folder including an effect image may be displayed.

한편, 디스플레이부(130)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(130)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(100)의 구현 형태에 따라 디바이스(100)는 디스플레이부(130)를 2개 이상 포함할 수도 있다. Meanwhile, when the display unit 130 and the touch pad have a layer structure and are configured as a touch screen, the display unit 130 may be used as an input device in addition to the output device. The display unit may include a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display, And an electrophoretic display. The device 100 may include two or more display units 130 according to the implementation of the device 100. [

메모리(140)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 영상, 복수의 폴더, 선호 폴더 목록 등)을 저장할 수도 있다. The memory 140 may store a program for processing and controlling the control unit 120 and may store input / output data (e.g., a plurality of images, a plurality of folders, a preferred folder list, and the like).

메모리(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(140)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.The memory 140 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory), a RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , An optical disc, and the like. The device 100 may also operate web storage to perform storage functions of the memory 140 on the Internet.

메모리(140)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(141), 알림 모듈(142), 영상 처리 모듈(143) 등으로 분류될 수 있다. Programs stored in the memory 140 may be classified into a plurality of modules according to their functions, for example, a UI module 141, a notification module 142, an image processing module 143, .

UI 모듈(141)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 알림 모듈(142)은 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(142)은 디스플레이부(130)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(172)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(173)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다. The UI module 141 can provide a specialized UI, a GUI, and the like that are interlocked with the device 100 for each application. The notification module 142 may generate a signal for notifying the occurrence of an event of the device 100. The notification module 142 may output a notification signal in the form of a video signal through the display unit 130 or may output a notification signal in the form of an audio signal through the sound output unit 172, It is possible to output a notification signal in the form of a vibration signal.

영상 처리 모듈(143)은, 캡쳐된 영상에 대한 분석을 통해 캡쳐된 영상에 포함된 객체 정보, 에지 정보, 분위기 정보, 색상 정보 등을 획득할 수 있다.The image processing module 143 can acquire object information, edge information, atmosphere information, color information, and the like included in the captured image through analysis of the captured image.

본 발명의 일 실시예에 의하면, 영상 처리 모듈(143)은, 영상에 포함된 객체의 외곽선을 검출할 수 있다. 본 발명의 일 실시예에 의하면, 영상 처리 모듈(143)은, 영상에 포함된 객체의 외곽선을 기 정의된 템플릿(template)과 비교하여, 객체의 종류, 객체의 명칭 등을 검출할 수 있다. 예를 들어, 영상 처리 모듈(143)은, 객체의 외곽선이 차량의 템플릿과 유사한 경우, 영상에 포함된 객체를 차량으로 인식할 수 있다.According to an embodiment of the present invention, the image processing module 143 can detect the outline of the object included in the image. According to an embodiment of the present invention, the image processing module 143 can detect the type of object, the name of the object, etc. by comparing the outline of the object included in the image with a predefined template. For example, when the outline of the object is similar to the template of the vehicle, the image processing module 143 can recognize the object included in the image as a vehicle.

본 발명의 일 실시예에 의하면, 영상 처리 모듈(143)은 영상에 포함된 객체에 대한 얼굴 인식을 수행할 수도 있다. 예를 들어, 영상 처리 모듈(143)은 영상에서 사람의 얼굴 영역을 검출할 수 있다. 얼굴 영역을 검출하는 방법에는, 지식 기반 방법(Knowledge-based Methods), 특징 기반 방법 (Feature-based Methods), 템플릿 매칭 방법(Template-matching Methods) 및 외형 기반 방법(Appearance-based Methods) 등이 있을 수 있으나, 이에 한정되는 것은 아니다..According to an embodiment of the present invention, the image processing module 143 may perform face recognition on an object included in the image. For example, the image processing module 143 may detect a face region of a person in an image. Methods for detecting a face region include Knowledge-based methods, Feature-based methods, Template-matching methods, and Appearance-based methods. But are not limited to, the following:

영상 처리 모듈(143)은, 검출된 얼굴 영역으로부터 얼굴의 특징(예컨대, 얼굴의 주요 부분인 눈, 코, 입의 모양 등)을 추출할 수 있다. 얼굴 영역에서 얼굴의 특징을 추출하는 방법은 Gabor 필터 또는 LBP(Local Binary Pattern)등 다양한 방법이 사용될 수 있으나, 이에 한정되는 것은 아니다.The image processing module 143 can extract facial features (e.g., eye, nose, mouth shapes, etc., which are main parts of the face) from the detected face area. Various methods such as a Gabor filter or LBP (Local Binary Pattern) can be used as a method of extracting facial features from the face region, but the present invention is not limited thereto.

영상 처리 모듈(143)은, 영상의 얼굴 영역으로부터 추출된 얼굴의 특징을 기 등록된 사용자들의 얼굴의 특징과 비교할 수 있다. 예를 들어, 추출된 얼굴의 특징이 기 등록된 제 1 사용자(예컨대, Tom)의 얼굴의 특징과 유사한 경우, 영상 처리 모듈(143)은, 영상에 제 1 사용자(예컨대, Tom)의 영상이 포함되어 있다고 판단할 수 있다.The image processing module 143 can compare the feature of the face extracted from the face region of the image with the feature of the face of the previously registered users. For example, when the feature of the extracted face is similar to the face feature of the first user (for example, Tom) previously registered, the image processing module 143 determines whether the image of the first user (for example, Tom) It can be judged that it is included.

본 발명의 일 실시예에 의하면, 영상 처리 모듈(143)은, 영상의 일정 영역을 컬러 맵(컬러 히스토그램)과 비교하여, 영상의 색상 배치, 무늬, 분위기 등의 시각적 특징을 영상 분석 정보로 추출할 수 있다.According to an embodiment of the present invention, the image processing module 143 compares a certain area of an image with a color map (color histogram), extracts visual characteristics such as color arrangement, pattern, and atmosphere of the image as image analysis information can do.

통신부(150)는, 디바이스(100)와 클라우드 서버, 디바이스(100)와 외부 장치, 디바이스(100)와 SNS 서버 또는 디바이스(100)와 외부 웨어러블 디바이스 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다. The communication unit 150 includes one or more components that allow communication between the device 100 and the cloud server, the device 100 and the external device, the device 100 and the SNS server or the device 100, and the external wearable device . For example, the communication unit 150 may include a short-range communication unit 151, a mobile communication unit 152, and a broadcast reception unit 153.

근거리 통신부 (short-range wireless communication unit)(141)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부 (Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The short-range wireless communication unit 141 includes a Bluetooth communication unit, a BLE (Bluetooth Low Energy) communication unit, a Near Field Communication unit, a WLAN communication unit, a Zigbee communication unit, IrDA, an infrared data association) communication unit, a WFD (Wi-Fi Direct) communication unit, an UWB (ultra wideband) communication unit, an Ant + communication unit, and the like.

이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 152 transmits and receives radio signals to at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data depending on a voice call signal, a video call signal, or a text / multimedia message transmission / reception.

방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.The broadcast receiving unit 153 receives broadcast signals and / or broadcast-related information from outside through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. The device 100 may not include the broadcast receiving unit 153 according to the embodiment.

통신부(150)는, 제1 영상 및 제2 영상, 효과 영상, 효과 폴더, 식별 정보 중 적어도 하나를 외부 장치와 공유할 수 있다. 여기서, 외부 장치는 디바이스(100)와 연결된 클라우드 서버, SNS 서버, 동일 사용자의 다른 디바이스(100), 및 타 사용자의 디바이스(100) 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.The communication unit 150 may share at least one of the first image, the second image, the effect image, the effect folder, and the identification information with an external device. Here, the external device may be at least one of a cloud server connected to the device 100, an SNS server, another device 100 of the same user, and a device 100 of another user, but is not limited thereto.

예를 들어, 통신부(150)는, 효과 영상, 또는 효과 폴더를 외부 장치로 전송할 수 있다. 또한, 통신부(150)는, 외부 장치로부터 외부 장치에 저장된 정지 영상, 또는 동영상 프레임, 외부 장치에서 촬영된 라이브 뷰 영상을 수신할 수 있다. For example, the communication unit 150 can transmit an effect image or an effect folder to an external device. In addition, the communication unit 150 can receive a still image, a moving image frame, or a live view image captured by an external device from an external device.

카메라(160)에서 처리된 화상 프레임은 메모리(140)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(160)는 디바이스(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 160 may be stored in the memory 140 or transmitted to the outside through the communication unit 150. [ The camera 160 may be equipped with two or more cameras according to the configuration of the device 100. [

출력부(170)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 디스플레이부(130) 이외에도 음향 출력부(172), 진동 모터(173) 등이 포함될 수 있다.The output unit 170 is for outputting an audio signal, a video signal, or a vibration signal. The output unit 170 may include an audio output unit 172, a vibration motor 173, and the like in addition to the display unit 130.

음향 출력부(172)는 통신부(150)로부터 수신되거나 메모리(140)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(172)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(172)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output unit 172 outputs audio data received from the communication unit 150 or stored in the memory 140. [ In addition, the sound output unit 172 outputs sound signals related to functions (e.g., call signal reception sound, message reception sound, notification sound) performed in the device 100. [ The sound output unit 172 may include a speaker, a buzzer, and the like.

진동 모터(173)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(173)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(173)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.The vibration motor 173 can output a vibration signal. For example, the vibration motor 173 may output a vibration signal corresponding to an output of audio data or video data (e.g., call signal reception tone, message reception tone, etc.). In addition, the vibration motor 173 may output a vibration signal when a touch is input to the touch screen.

센싱부(180)는, 디바이스(100)의 상태, 디바이스(100) 주변의 상태, 디바이스(100)를 착용한 사용자의 상태 등을 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다. The sensing unit 180 may sense the state of the device 100, the state of the device 100, the state of the user wearing the device 100, and the like, and may transmit the sensed information to the control unit 120.

센싱부(180)는, 지자기 센서(Magnetic sensor)(181), 가속도 센서(Acceleration sensor)(182), 기울기 센서(183), 적외선 센서(184), 자이로스코프 센서(185), 위치 센서(예컨대, GPS)(186), 기압 센서(187), 근접 센서(188), 및 광 센서(189) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 센싱부(180)는, 온도 센서, 조도 센서, 압력 센서, 홍채 인식 센서 등을 포함할 수도 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.The sensing unit 180 includes a magnetism sensor 181, an acceleration sensor 182, a tilt sensor 183, an infrared sensor 184, a gyroscope sensor 185, a position sensor (GPS) 186, an atmospheric pressure sensor 187, a proximity sensor 188, and an optical sensor 189. However, the present invention is not limited thereto. The sensing unit 180 may include a temperature sensor, an illuminance sensor, a pressure sensor, an iris recognition sensor, and the like. The function of each sensor can be intuitively deduced from the name by those skilled in the art, so a detailed description will be omitted.

A/V(Audio/Video) 입력부로서 마이크로폰(190)을 포함할 수 있다. And a microphone 190 as an A / V (Audio / Video) input unit.

마이크로폰(190)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(190)은 외부 디바이스(100) 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(190)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
The microphone 190 receives an external acoustic signal and processes it as electrical voice data. For example, the microphone 190 may receive acoustic signals from the external device 100 or a speaker. The microphone 190 may use various noise reduction algorithms to remove noise generated in receiving an external sound signal.

도 46은 본 발명의 일 실시예에 따르는, 클라우드 서버를 설명하기 위한 블록 구성도이다.46 is a block diagram illustrating a cloud server according to an embodiment of the present invention.

도 46에 도시된 바와 같이, 본 발명의 일 실시예에 따른 클라우드 서버(200)는 통신부(210), 제어부(220), 저장부(230)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 클라우드 서버(200)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 클라우드 서버(200)는 구현될 수 있다.46, the cloud server 200 according to an exemplary embodiment of the present invention may include a communication unit 210, a control unit 220, and a storage unit 230. However, not all illustrated components are required. The cloud server 200 may be implemented by a larger number of components than the illustrated components, and the cloud server 200 may be implemented by fewer components.

통신부(210)는, 클라우드 서버(200)와 디바이스(100) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 통신부(210)는, 수신부 및 전송부를 포함할 수 있다. The communication unit 210 may include one or more components that allow communication between the cloud server 200 and the device 100. [ The communication unit 210 may include a receiving unit and a transmitting unit.

통신부(210)는, 클라우드 서버(200)에 저장된 영상 또는 영상 목록을 디바이스(100)로 전송할 수 있다. 예를 들어, 통신부(210)는, 특정 계정을 통해 연결된 디바이스(100)로부터 영상의 목록 요청을 수신하는 경우, 클라우드 서버(200)에 저장된 영상 목록을 디바이스(100)로 전송할 수 있다.The communication unit 210 may transmit the video or image list stored in the cloud server 200 to the device 100. [ For example, the communication unit 210 may transmit a video list stored in the cloud server 200 to the device 100 when receiving a video list request from the device 100 connected through a specific account.

통신부(210)는, 클라우드 서버(200)에 저장된 또는 클라이드 서버가 생성한 식별 정보를 디바이스(100)에 전송할 수 도 있다.The communication unit 210 may transmit the identification information stored in the cloud server 200 or generated by the Clyde server to the device 100. [

제어부(220)는, 클라우드 서버(200)의 전반적인 동작을 제어한다. 예를 들어, 제어부(220)는, 영상을 식별하는 복수의 식별 정보를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 복수의 식별 정보는, 영상을 식별하는 적어도 둘 이상의 핵심적인 단어나 문구일 수 있다.The control unit 220 controls the overall operation of the cloud server 200. For example, the control unit 220 can acquire a plurality of pieces of identification information for identifying an image. According to an embodiment of the present invention, the plurality of identification information may be at least two or more key words or phrases for identifying the image.

예를 들어, 제어부(220)는, 영상의 메타데이터에 복수의 식별 정보가 기 정의되어 있는 경우, 영상의 메타데이터에서 복수의 식별 정보를 획득할 수 있다. 또한, 클라우드 서버(200)는, 영상의 속성 정보 및 영상에 대한 영상 분석 정보 중 적어도 하나를 이용하여, 영상을 식별하는 복수의 식별 정보를 생성할 수 있다. For example, when a plurality of identification information is predefined in the metadata of the image, the control unit 220 can acquire a plurality of identification information from the metadata of the image. In addition, the cloud server 200 can generate a plurality of identification information for identifying an image by using at least one of attribute information of the image and image analysis information on the image.

저장부(230)는 제어부(220)의 처리를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들을 저장할 수도 있다. 예를 들어, 클라우드 서버(200)는, 영상 DB, 디바이스(100) DB, 사용자들의 얼굴의 특징 정보 DB, 객체 템플릿 DB 등을 구축할 수 있다. The storage unit 230 may store a program for processing by the control unit 220 or may store input / output data. For example, the cloud server 200 can construct an image DB, a device 100 DB, a feature information DB of users' faces, and an object template DB.

저장부(230)는 복수의 영상을 저장할 수 있다. 예를 들어, 저장부(230)는, 디바이스(100)에서 업로드된 영상을 저장할 수 있다. 이때, 저장부(230)는 디바이스(100)의 식별 정보와 영상을 매핑하여 저장할 수 있다. The storage unit 230 may store a plurality of images. For example, the storage unit 230 may store images uploaded from the device 100. [ At this time, the storage unit 230 may store the mapping information of the device 100 and the image.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to an embodiment of the present invention can be implemented in the form of a program command which can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims

Displaying a first image including an object and a background;
Receiving a user input that selects either the object or the background as a region of interest;
Obtaining identification information for identifying the ROI using the attribute information of the first image;
Obtaining the second image having the identification information from the target image; And
And generating an effect image using at least one of the first image and the second image.

The method according to claim 1,
Wherein,
And at least one of context information at the time of generating the first image and annotation information about the first image added by the user.

The method according to claim 1,
Wherein the identification information of the target video includes:
And generalizing the attribute information based on WordNet.

The method according to claim 1,
Wherein the identification information of the target video includes:
The attribute information of the first image, and the image analysis information of the first image.

The method according to claim 1,
Wherein the identification information of the first image includes:
Wherein the attribute information is obtained from a plurality of attribute information.

The method according to claim 1,
And displaying a list of the obtained identification information.

The method according to claim 6,
Receiving a user input for selecting at least a portion of the list,
Wherein the acquiring of the second image comprises:
And comparing the selected identification information with identification information of the target video.

The method according to claim 1,
Wherein the generating the effect image comprises:
Displaying the partial image corresponding to the identification information of the second image differently from the displayed partial image.

9. The method of claim 8,
In the effect image,
At least one of a backlight effect for highlighting the partial image, a blur effect for reducing a difference between pixel values of the partial image, a size effect for changing the size of the partial image, and a depth effect for changing depth information of the partial image A method of providing a generated image.

The method according to claim 1,
In the effect image,
Wherein the partial image corresponding to the identification information of the second image is combined with the region of interest of the first image.

The method according to claim 1,
Wherein the first image is a live view image.

12. The method of claim 11,
The second image may include:
Wherein the live view image is temporarily generated from the live view image before a user input for storing the image is received.

13. The method of claim 12,
The temporary image may be,
Wherein each time a change in the partial image corresponding to the identification information in the live view image is equal to or greater than a reference value.

14. The method of claim 13,
In the effect image,
Wherein the moving image includes the first image and the second image.

A display unit for displaying a first image including an object and a background;
A user input for receiving a user input for selecting either the object or the background as a region of interest; And
And a controller for acquiring identification information for identifying the ROI using the attribute information of the first image and acquiring the second image having the identification information from the target image using attribute information of the target image Mobile devices.

16. The method of claim 15,
Wherein,
And generates an effect image using at least one of the first image and the second image.

17. The method of claim 16,
And combining the partial image corresponding to the identification information of the second image with the region of interest of the first image to generate the effect image.

17. The method of claim 16,
Wherein,
And at least one of context information at the time of generating the first image and annotation information about the first image added by the user.

16. The method of claim 15,
Wherein,
And acquires the identification information of the first image by generalizing the attribute information based on WordNet.

16. The method of claim 15,
Wherein,
And combining the partial image corresponding to the identification information of the second image with the region of interest of the first image to generate the effect image.