KR20180082854A - Method and system of image blending using smart layer - Google Patents
Method and system of image blending using smart layer Download PDFInfo
- Publication number
- KR20180082854A KR20180082854A KR1020170004259A KR20170004259A KR20180082854A KR 20180082854 A KR20180082854 A KR 20180082854A KR 1020170004259 A KR1020170004259 A KR 1020170004259A KR 20170004259 A KR20170004259 A KR 20170004259A KR 20180082854 A KR20180082854 A KR 20180082854A
- Authority
- KR
- South Korea
- Prior art keywords
- user terminal
- information
- image
- additional data
- smart layer
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000002156 mixing Methods 0.000 title 1
- 230000033001 locomotion Effects 0.000 claims description 48
- 238000001514 detection method Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 239000002131 composite material Substances 0.000 abstract description 12
- 230000015654 memory Effects 0.000 abstract description 5
- 230000008451 emotion Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 241000109329 Rosa xanthina Species 0.000 description 3
- 235000004789 Rosa xanthina Nutrition 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 2
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 2
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 2
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 1
- 101000713099 Homo sapiens C-C motif chemokine 20 Proteins 0.000 description 1
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
Description
본 발명은 혼합 이미지를 생성하는 방법에 관한 것으로서, 구체적으로는 디스플레이에 표시되는 기본이미지에 관련된 연관정보를 기반으로 스마트 레이어를 생성하고 이를 이용하여 혼합 이미지를 생성하는 방법에 관한 것이다.The present invention relates to a method of generating a mixed image, and more particularly, to a method of generating a mixed image using a smart layer based on association information related to a basic image displayed on a display.
최근 전자기기의 디스플레이에 표시되는 이미지를 생성할 때 다수의 레이어를 합성하는 멀티 레이어 기법이 많이 활용되고 있다. 멀티 레이어 기법은 예를 들어 배경을 나타내는 레이어 위에 배경 속 객체를 포함하는 레이어를 오버랩하여 합성 이미지를 생성하는 방법이다.Recently, a multilayer technique for composing a plurality of layers has been widely used in generating an image displayed on a display of an electronic device. The multilayer technique is a method of generating a composite image by overlapping layers including background objects on a layer representing a background, for example.
그런데 종래의 멀티 레이어 기법은 단순히 다수의 레이어를 중첩시켜서 합성이미지를 생성하거나 표현하는 수단으로 활용될 뿐이고 각 레이어 간의 다양한 상호 작용을 구현하는 데는 한계가 있다.However, the conventional multi-layer technique is merely used as means for creating or representing a composite image by superimposing a plurality of layers, and there are limitations in implementing various interactions between layers.
한편 최근에는 전자기기의 위치정보를 이용하여 다양한 정보를 제공하는 위치기반 서비스가 많이 활용되고 있는데 아직까지 전자기기에 표시되는 이미지를 위치정보와 연계하는 방법은 소개된 바가 없는 실정이다.In recent years, a location-based service that provides various information using location information of electronic devices has been widely used. However, there is no method of linking images displayed on electronic devices with location information.
본 발명은 이러한 배경에서 안출된 것으로서, 전자기기의 디스플레이에 표시할 이미지를 멀티 레이어 기법으로 생성할 때 기본이미지의 정보에 연동하여 소정의 부가데이터가 포함된 스마트 레이어를 생성하고 이를 활용하여 혼합 이미지를 생성하는 방법을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the foregoing background, and it is an object of the present invention to provide a method and apparatus for generating an image to be displayed on a display of an electronic device using a multilayer technique, The method comprising the steps of:
또한 전자기기의 위치정보 또는 모션정보와 연동하여 소정의 부가데이터가 포함된 스마트 레이어를 생성하고 이를 활용하여 혼합 이미지를 생성하는 방법을 제공하는데 그 목적이 있다.It is another object of the present invention to provide a method of generating a mixed image by generating a smart layer including predetermined additional data in cooperation with positional information or motion information of an electronic device and utilizing the generated smart layer.
이러한 목적을 달성하기 위하여, 본 발명의 일 양상은, 디스플레이에 표시할 기본이미지를 호출하거나 획득하는 단계; 상기 기본이미지와 관련된 연관정보를 획득하는 단계; 상기 연관정보에 대응하는 부가데이터가 포함된 스마트레이어를 생성하는 단계; 상기 스마트레이어를 상기 기본이미지에 오버랩시켜 표시하는 단계를 포함하는 혼합 이미지 생성 방법을 제공한다. In order to achieve this object, an aspect of the present invention provides a method of displaying an image, comprising: calling or obtaining a base image to be displayed on a display; Obtaining association information associated with the base image; Generating a smart layer including additional data corresponding to the association information; And superimposing the smart layer on the basic image to display the mixed image.
본 발명의 일 양상에 따른 혼합 이미지 생성 방법에서, 상기 연관정보는, 상기 기본이미지의 일련번호, 생성시기, 생성장소, 재생시기, 재생위치, 상기 기본이미지에 포함된 객체, 객체의 위치, 객체의 이동여부, 객체의 이동속도 및 방향, 객체의 에지 정보, 상기 기본이미지에 포함된 레이어 관련 정보, 사용자단말의 위치정보, 사용자단말의 모션정보 중에서 적어도 하나를 포함할 수 있다.In the mixed image generation method according to an aspect of the present invention, the association information may include at least one of a serial number of the basic image, a generation time, a generation place, a reproduction time, a reproduction position, an object included in the base image, The moving speed and direction of the object, the edge information of the object, the layer related information included in the basic image, the location information of the user terminal, and the motion information of the user terminal.
또한 본 발명의 일 양상에 따른 혼합 이미지 생성 방법에서, 상기 연관정보는, 상기 디스플레이에 표시되지 않고 대기 중인 대기이미지에 대한 일련번호, 생성시기, 생성장소, 재생시기, 재생위치, 상기 대기이미지에 포함된 객체의 종류, 객체의 위치, 객체의 이동여부, 객체의 이동속도 및 방향, 객체의 에지 정보, 상기 대기이미지에 포함된 레이어 관련 정보, 사용자단말의 위치정보, 사용자단말의 모션정보 중에서 적어도 하나를 포함할 수 있다.Further, in the mixed image generation method according to an aspect of the present invention, the association information may include at least one of a serial number, a generation time, a generation location, a playback timing, a playback position, At least one of the type of the included object, the position of the object, the movement of the object, the moving speed and direction of the object, the edge information of the object, the layer related information included in the atmospheric image, the position information of the user terminal, One can be included.
또한 본 발명의 일 양상에 따른 혼합 이미지 생성 방법에서, 상기 부가데이터는 텍스트, 이미지, 동영상 중에서 적어도 하나를 포함할 수 있다.Further, in the mixed image generation method according to an aspect of the present invention, the additional data may include at least one of text, image, and moving image.
또한 본 발명의 일 양상에 따른 혼합 이미지 생성 방법에서, 상기 연관정보는 상기 기본이미지에 포함된 레이블영역(label area)에 대한 정보를 포함하고, 상기 부가데이터는 상기 스마트레이어에서 상기 레이블영역에 대응하는 위치에 표시될 수 있다.In the mixed image generation method according to an aspect of the present invention, the association information includes information on a label area included in the basic image, and the additional data corresponds to the label area in the smart layer Lt; / RTI >
본 발명의 다른 양상은, 제1 사용자단말이 기본이미지, 상기 기본이미지와 관련된 연관정보 및 부가데이터를 서비스서버로 전송하여 저장하는 등록단계; 상기 서비스서버가 상기 부가데이터를 제2 사용자단말로 전송하는 전송단계; 상기 제2 사용자단말이 상기 부가데이터가 포함된 스마트레이어를 생성하는 생성단계; 상기 제2 사용자단말이 상기 스마트레이어를 상기 제2 사용자단말에 표시된 이미지에 오버랩시켜 표시하는 표시단계를 포함하는 혼합 이미지 생성 방법을 제공한다.According to another aspect of the present invention, there is provided a method comprising: a registration step in which a first user terminal transmits a base image, association information associated with the base image, and additional data to a service server and stores the association information; A transmission step of the service server transmitting the additional data to a second user terminal; Generating a smart layer including the additional data by the second user terminal; And a display step of displaying the smart layer overlapped with the image displayed on the second user terminal by the second user terminal.
본 발명의 다른 양상에 따른 혼합 이미지 생성 방법에서, 상기 연관정보는 상기 제1 사용자단말의 위치정보와 모션정보 중에서 적어도 하나를 포함하고, 상기 전송단계의 이전에는 상기 제2 사용자단말이 위치정보와 모션정보 중에서 적어도 하나를 상기 서비스서버로 전송하고, 상기 전송단계에서는, 상기 제2 사용자단말로부터 수신한 위치정보가 연관정보로서 저장되어 있는 상기 제1 사용자단말의 위치정보와 동일하면 상기 서비스서버가 상기 부가데이터를 상기 제2 사용자단말로 전송하거나, 상기 제2 사용자단말로부터 수신한 모션정보가 연관정보로서 저장되어 있는 상기 제1 사용자단말의 모션정보와 동일하면 상기 서비스서버가 상기 부가데이터를 상기 제2 사용자단말로 전송할 수 있다. In the mixed image generation method according to another aspect of the present invention, the association information includes at least one of location information and motion information of the first user terminal, and before the transmission step, The location information received from the second user terminal is the same as the location information of the first user terminal in which the location information received as association information is stored in the service server, If the motion information received from the second user terminal is the same as the motion information of the first user terminal stored as association information, the service server transmits the additional data to the second user terminal, To the second user terminal.
또한 본 발명의 일 양상에 따른 혼합 이미지 생성 방법에서, 상기 연관정보는 상기 제1 사용자단말의 위치정보와 모션정보 중에서 적어도 하나를 포함하고, 상기 전송단계에서는, 상기 서비스서버가 상기 제1 사용자단말의 위치정보와 모션정보 중에서 적어도 하나를 상기 제2 사용자단말로 전송하고, 상기 생성단계에서는, 상기 서비스서버로부터 수신한 상기 제1 사용자단말의 위치정보가 상기 제2 사용자단말의 위치정보와 동일하면 상기 스마트레이어를 생성하거나, 상기 서비스서버로부터 수신한 상기 제1 사용자단말의 모션정보가 상기 제2 사용자단말의 모션정보와 동일한 경우에 한하여 상기 스마트레이어를 생성할 수 있다.In the mixed image generation method according to an aspect of the present invention, the association information includes at least one of location information and motion information of the first user terminal, and in the transfer step, When the position information of the first user terminal received from the service server is the same as the position information of the second user terminal, the position information of the second user terminal is transmitted to the second user terminal The smart layer may be created or only if the motion information of the first user terminal received from the service server is the same as the motion information of the second user terminal.
본 발명의 또 다른 양상은, 디스플레이; 상기 디스플레이에 표시되는 기본이미지와 관련된 연관정보를 획득하는 정보분석부; 상기 정보분석부에서 획득한 연관정보에 대응하는 부가데이터가 포함된 스마트레이어를 생성하는 스마트레이어 생성부; 상기 스마트레이어를 상기 기본이미지에 오버랩시켜 표시하는 이미지합성부를 포함하는 혼합 이미지 생성 장치를 제공한다.Yet another aspect of the present invention is a display device comprising: a display; An information analyzer for obtaining association information related to a base image displayed on the display; A smart layer generation unit for generating a smart layer including additional data corresponding to the association information acquired by the information analysis unit; And an image composing unit for superposing the smart layer on the basic image to display the combined image.
본 발명의 또 다른 양상은, 제1 사용자단말, 제2 사용자단말, 상기 제1 및 제2 사용자단말과 통신하는 서비스서버를 포함하는 혼합 이미지 생성 시스템에 있어서, 상기 제1 사용자단말과 상기 제2 사용자단말은 각각, 디스플레이와, 상기 디스플레이에 표시된 기본이미지와 관련된 연관정보를 획득하는 정보분석부와, 상기 정보분석부에서 획득한 연관정보에 대응하는 부가데이터가 포함된 스마트레이어를 생성하는 스마트레이어 생성부와, 상기 스마트레이어를 상기 기본이미지에 오버랩시켜 표시하는 이미지합성부를 포함하고, 상기 서비스서버는, 상기 제1 사용자단말 또는 상기 제2 사용자단말로 부가데이터를 등록하는 인터페이스를 제공하는 부가데이터등록부와, 상기 제1 사용자단말 또는 상기 제2 사용자단말로 부가데이터를 전송하는 부가데이터제공부와, 상기 제1 사용자단말 또는 상기 제2 사용자단말에서의 부가데이터 사용권한을 확인하는 인증부를 포함하는 것을 특징으로 하는 혼합 이미지 생성 시스템을 제공한다.Yet another aspect of the present invention is a mixed image generation system including a first user terminal, a second user terminal, and a service server communicating with the first and second user terminals, wherein the first user terminal, Each user terminal includes a display, an information analyzing unit for obtaining association information related to the basic image displayed on the display, and a smart layer for generating a smart layer including additional data corresponding to the association information acquired by the information analyzing unit. And an image composer for overlapping the smart layer with the basic image, wherein the service server further comprises an additional data providing interface for registering additional data to the first user terminal or the second user terminal, And an additional data transmitting unit for transmitting additional data to the first user terminal or the second user terminal It provides the supply unit, and a mixed image generation system comprising: the first user terminal or the second authentication data to determine the additional permissions of the user terminal unit.
본 발명에 따른 혼합 이미지 생성 시스템에서, 상기 제1 사용자단말과 상기 제2 사용자단말은 위치정보를 획득하는 위치확인부와 모션정보를 획득하는 모션감지센서 중에서 적어도 하나를 포함하고, 상기 연관정보는 상기 위치정보와 상기 모션정보 중에서 적어도 하나를 포함할 수 있다.In the mixed image generation system according to the present invention, the first user terminal and the second user terminal include at least one of a location confirmation unit for acquiring location information and a motion detection sensor for acquiring motion information, And may include at least one of the position information and the motion information.
본 발명에 따른 혼합 이미지 생성 방법은, 기본이미지와 관련된 다양한 연관정보를 기반으로 다양한 합성이미지를 생성할 수 있으므로 새로운 이미지 표시 방법으로서 다양한 분야에 활용될 수 있고, 사용자에게 새롭고 다양한 재미를 제공할 수 있다.Since the composite image generation method according to the present invention can generate various composite images based on various related information related to the basic image, it can be applied to various fields as a new image display method, have.
또한 본 발명에 따른 혼합 이미지 생성 방법은, 연인, 친구 등의 관계에 있는 다수의 사용자가 특정 장소, 특정 객체에 대한 감성과 추억을 공유할 수 있는 새로운 사회 관계망 서비스로 활용될 수 있다.Also, the mixed image generation method according to the present invention can be utilized as a new social network service in which a plurality of users in a relationship of a lover, a friend, etc. can share emotions and memories of a specific place and a specific object.
도 1은 본 발명의 일 실시예에 따른 사용자단말의 구성도
도 2는 이미지처리부의 구성도
도 3은 본 발명의 일 실시예에 따른 혼합 이미지 생성 방법을 나타낸 흐름도
도 4는 스마트레이어를 이용한 혼합 이미지 생성방법을 나타낸 개념도
도 5a 및 도 5b는 스마트레이어를 이용하여 혼합 이미지를 생성하는 여러 방법을 예시한 도면
도 6은 본 발명의 다른 실시예에 따른 혼합 이미지 생성 방법을 나타낸 흐름도
도 7은 본 발명의 일 실시예에 따른 혼합 이미지 생성 시스템의 구성도
도 8 및 도 9는 사용자단말의 위치정보를 기반으로 혼합 이미지를 생성하는 여러 방법을 예시한 도면1 is a block diagram of a user terminal according to an embodiment of the present invention;
2 is a block diagram of the image processing unit
3 is a flowchart illustrating a method of generating a mixed image according to an embodiment of the present invention.
4 is a conceptual diagram illustrating a method of generating a mixed image using a smart layer
5A and 5B illustrate various methods of generating a mixed image using a smart layer
6 is a flowchart illustrating a method of generating a mixed image according to another embodiment of the present invention.
7 is a block diagram of a mixed image generation system according to an embodiment of the present invention.
8 and 9 are diagrams illustrating various methods of generating a mixed image based on location information of a user terminal
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings.
참고로 본 명세서에서 하나의 구성요소(element)가 다른 구성요소와 연결, 결합, 또는 통신하는 경우는, 다른 구성요소와 직접적으로 연결, 결합, 또는 통신하는 경우뿐만 아니라 중간에 다른 요소를 사이에 두고 간접적으로 연결, 결합, 또는 통신하는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함 또는 구비하는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다. 또한 본 명세서에 첨부된 도면은 발명의 요지를 이해하기 쉽도록 예시한 것에 불과하므로 이로 인해 본 발명의 권리범위가 제한적으로 해석되어서는 아니 됨을 미리 밝혀 둔다.Note that, in this specification, when an element is connected to, coupled with, or communicates with another element, it is understood that the element may be directly connected, coupled, or communicated with another element, Or indirectly connecting, combining, or communicating. Also, it is to be understood that a part including or including an element does not exclude other elements, but may further include or be equipped with other elements, unless specifically stated otherwise. Also, it should be noted that the drawings attached hereto are only illustrative for easy understanding of the gist of the invention, so that the scope of the present invention should not be construed to be limited.
도 1은 본 발명의 일 실시예에 따른 방법으로 혼합 이미지를 생성하는 사용자단말(100)을 나타낸 개략적인 구성도이다. 사용자단말(100)은 스마트폰, 태블릿PC 등의 휴대용 단말인 것이 바람직하지만, 이에 한정되는 것은 아니며 데크스톱 컴퓨터 등의 설치형 단말일 수도 있고 노트북 컴퓨터, 핸드헬드(Handheld)형 컴퓨터 일 수도 있다.1 is a schematic block diagram illustrating a user terminal 100 for generating a mixed image in a method according to one embodiment of the present invention. The user terminal 100 is preferably a portable terminal such as a smart phone or a tablet PC. However, the user terminal 100 is not limited thereto, and may be a built-in terminal such as a deck stop computer, a notebook computer, or a handheld type computer.
사용자단말(100)은 디스플레이(110), 입력부(120), 통신부(130), 카메라(140), 이미지처리부(150), 위치확인부(160), 모션감지센서(170), 저장부(180), 제어부(190) 등을 포함할 수 있다. The user terminal 100 includes a display 110, an input unit 120, a communication unit 130, a camera 140, an image processing unit 150, a position confirmation unit 160, a motion detection sensor 170, a storage unit 180
디스플레이(110)는 사용자단말(100)에서 실행되는 각종 애플리케이션의 실행화면을 표시하는 한편, 카메라(140)에서 촬영된 이미지 또는 동영상(이하, 편의상 '이미지'라 한다)을 표시한다. The display 110 displays an execution screen of various applications executed in the user terminal 100 and displays an image or a moving image (hereinafter, referred to as 'image' for convenience) captured by the camera 140.
입력부(120)는 터치스크린, 터치패드, 키보드, 키패드 등으로 구성되어 사용자가 소정의 명령을 입력하는 수단으로 제공된다. The input unit 120 includes a touch screen, a touch pad, a keyboard, a keypad, and the like, and is provided as a means for the user to input a predetermined command.
통신부(130)는 무선통신망 또는 유선통신망과의 통신 인터페이스를 제공한다.The communication unit 130 provides a communication interface with a wireless communication network or a wired communication network.
카메라(140)는 입력부(120)를 통해 입력된 사용자의 명령에 의해 또는 특정 애플리케이션의 실행에 의해 활성화되며, 이미지센서의 전기적 신호를 이용하여 생성된 이미지를 디스플레이(110)에 표시하거나 저장부(180)에 저장한다.The camera 140 is activated by an instruction of a user input through the input unit 120 or by execution of a specific application and displays an image generated using an electrical signal of the image sensor on the display 110 or a storage unit 180).
이미지처리부(150)는 도 2에 예시한 바와 같이 이미지호출부(151), 정보분석부(153), 스마트레이어 생성부(155), 이미지합성부(157) 등을 포함할 수 있다.The image processing unit 150 may include an image calling unit 151, an information analyzing unit 153, a smart layer generating unit 155, an image combining unit 157, and the like, as illustrated in FIG.
이미지호출부(151)는 사용자의 명령에 의해 또는 특정 애플리케이션의 실행에 의해 저장부(180)에 저장된 소정 이미지를 호출하고, 호출된 이미지를 디스플레이(110)에 표시하거나 임시 저장수단(예, RAM, 버퍼메모리 등)에 저장한다,The image calling unit 151 calls a predetermined image stored in the storage unit 180 by a user's instruction or by execution of a specific application and displays the called image on the display 110 or a temporary storage means , Buffer memory, etc.)
본 발명의 실시예에서는 이미지호출부(151)는 혼합 이미지 생성에 사용되는 기본이미지를 저장부(180)로부터 호출하는 역할도 수행할 수 있다. 이미지호출부(151)에 의해 호출된 기본이미지는 디스플레이(110)에 표시될 수도 있고, 디스플레이(110)에는 표시되지 않고 임시 저장수단(예, RAM, 버퍼메모리 등)에 저장될 수도 있다.In the embodiment of the present invention, the image calling unit 151 may also call the basic image used for generating the mixed image from the storage unit 180. [ The basic image called by the image calling unit 151 may be displayed on the display 110 or may not be displayed on the display 110 but may be stored in temporary storage means (e.g., RAM, buffer memory, etc.).
혼합 이미지를 생성할 때는 카메라(140)에서 촬영된 이미지를 기본이미지로 활용할 수도 있으며, 이 경우에는 이미지호출부(151)가 저장부(180)에서 기본이미지를 호출하지 않을 수 있다.In this case, the image calling unit 151 may not call the basic image in the storage unit 180. In this case,
정보분석부(153)는 기본이미지와 관련된 연관정보를 획득한다. 기본이미지의 연관정보는 기본이미지의 데이터에 포함된 것일 수도 있고, 기본이미지와 맵핑되어 저장된 정보일 수도 있다. 기본이미지의 연관정보는 해당 기본이미지가 스마트레이어를 합성할 대상인지 여부를 판단하는 자료로 활용될 수 있으며, 연관정보의 구체적인 유형은 특별히 한정되지 않는다.The information analysis unit 153 acquires association information related to the basic image. The association information of the base image may be included in the data of the base image, or may be information mapped and stored with the base image. The association information of the basic image may be used as data for determining whether the corresponding base image is an object to be combined with the smart layer, and the specific type of association information is not particularly limited.
예를 들어 연관정보는 기본이미지의 일련번호, 생성시기, 생성장소, 재생시기, 재생위치, 기본이미지에 포함된 객체(배경 포함)의 종류, 객체의 위치, 객체의 이동여부, 객체의 이동속도 및 방향, 객체의 에지(경계) 정보, 기본이미지에 포함된 레이어 관련정보 중에서 적어도 하나를 포함할 수 있다. 또한 연관정보는 현재 디스플레이(110)에 표시된 기본이미지가 아니라 표시 대기 중인 대기이미지에 대한 일련번호, 생성시기, 생성장소, 재생시기, 재생위치, 대기이미지에 포함된 객체(배경 포함)의 종류, 객체의 위치, 객체의 이동여부, 객체의 이동속도 및 방향, 객체의 에지(경계) 정보, 대기이미지에 포함된 이미지 레이어 관련정보 중에서 적어도 하나를 포함할 수도 있다. For example, the association information includes a serial number of a basic image, a generation time, a generation position, a playback timing, a playback position, a type of an object (including a background) included in the basic image, a position of the object, And direction information, edge information of the object, and layer related information included in the base image. The association information includes not only the basic image currently displayed on the display 110, but also a serial number, a generation time, a generation place, a playback timing, a playback position, a type of an object (including background) Information about the position of the object, whether the object is moved, the speed and direction of movement of the object, edge information of the object, and image layer related information included in the atmospheric image.
스마트레이어 생성부(155)는 정보분석부(143)에서 확인된 기본이미지의 연관정보에 대응하는 부가데이터를 호출하여 스마트레이어를 생성한다. 스마트레이어는 기본이미지에 오버랩되어 표시되는 레이어이며, 스마트레이어에는 호출된 부가데이터가 표시된다.The smart layer generation unit 155 calls the additional data corresponding to the association information of the basic image identified by the information analysis unit 143 to generate a smart layer. The smart layer is a layer displayed overlapping with the basic image, and the called additional data is displayed in the smart layer.
부가데이터의 종류는 특별히 한정되지 않는다. 예를 들어 사용자가 사전에 등록해 둔 텍스트(단어, 문장), 이미지, 동영상 등이 제한 없이 부가데이터로 사용될 수 있다. 스마트레이어에서 부가데이터가 표시되는 영역은 사전에 설정될 수도 있고 사용자가 선택 또는 변경할 수도 있다. The type of additional data is not particularly limited. For example, text (words and phrases), images, moving pictures and the like registered by the user in advance can be used as additional data without limitation. The area where the additional data is displayed in the smart layer may be set in advance or may be selected or changed by the user.
이미지합성부(157)는 디스플레이(110)에 표시된 기본이미지 상에 스마트레이어 생성부(155)에서 생성한 스마트레이어를 오버랩시켜 표시한다. 이미지합성부(157)는 스마트레이어를 표시한 후에 자동으로 또는 사용자의 선택에 의해 기본이미지와 스마트레이어를 결합한 합성이미지를 생성하여 저장부(180)에 저장할 수도 있다.The image combining unit 157 overlaps and displays the smart layer generated by the smart layer generating unit 155 on the basic image displayed on the display 110. [ After displaying the smart layer, the image synthesizing unit 157 may generate a composite image, which is a combination of a basic image and a smart layer, automatically or by a user's selection, and store the combined image in the storage unit 180.
한편 위치확인부(160)는 사용자단말(100)이 자신의 위치정보를 확인하는 수단으로서, 위치확인방법은 특별히 제한되지 않는다. 일 예로서, GPS 신호 또는 이동통신기지국의 신호를 이용한 무선 측위 기술을 이용하여 사용자단말(100)의 위치를 확인할 수도 있다. 이와 달리 근거리무선망(WiFi, 블루투스, 지그비, UWB 등)의 중계기 신호를 이용하여 사용자단말(100)의 위치를 확인하거나 추정할 수도 있다. On the other hand, the location confirmation unit 160 is means for confirming the location information of the user terminal 100, and the location confirmation method is not particularly limited. As an example, the position of the user terminal 100 may be confirmed using a GPS positioning signal or a wireless positioning technique using a signal of the mobile communication base station. Alternatively, the position of the user terminal 100 may be confirmed or estimated using a repeater signal of a short-range wireless network (WiFi, Bluetooth, ZigBee, UWB, etc.).
위치확인부(160)에서 확인된 위치정보는 사용자단말(100)의 카메라(140)에서 촬영된 기본이미지와 맵핑하여 저장되거나, 저장부(180)에 저장된 이미지 중에서 사용자가 지정한 기본이미지와 맵핑하여 저장될 수 있다. 또한 위치정보는 사용자가 입력하였거나 저장되어 있는 부가데이터와 맵핑되어 저장될 수도 있다.The location information confirmed by the location confirmation unit 160 may be mapped to the basic image photographed by the camera 140 of the user terminal 100 or may be mapped to a base image designated by the user among the images stored in the storage unit 180 Lt; / RTI > The location information may also be mapped to additional data that the user has input or stored.
모션감지센서(170)는 사용자단말(100)의 모션정보(이동방향, 이동속도, 기울기 등)를 감지하기 위한 센서로서, 예를 들어 3축 가속도센서(accelerometer), 3축 각속도센서(gyroscope), 지자계 센서, 또는 이들의 조합으로 구성될 수 있다.The motion sensing sensor 170 is a sensor for sensing motion information (moving direction, moving speed, inclination, etc.) of the user terminal 100 and may be a three-axis accelerometer, a three-axis angular velocity sensor, , A magnetic field sensor, or a combination thereof.
모션감지센서(170)에서 검출된 모션정보는 사용자단말(100)의 카메라(140)에서 촬영된 기본이미지와 맵핑하여 저장되거나, 저장부(180)에 저장된 이미지 중에서 사용자가 지정한 기본이미지와 맵핑하여 저장될 수 있다. 또한 모션정보는 사용자가 입력하였거나 저장되어 있는 부가데이터와 맵핑되어 저장될 수도 있다.The motion information detected by the motion detection sensor 170 is mapped to the base image captured by the camera 140 of the user terminal 100 or is mapped to a base image designated by the user among the images stored in the storage unit 180 Lt; / RTI > In addition, the motion information may be mapped to additional data that the user has input or stored.
저장부(180)는 사용자단말(100)의 실행에 필요한 각종 프로그램, 기본이미지, 연관정보, 스마트레이어, 스마트레이어에 표시할 부가데이터, 합성이미지 등의 각종 데이터를 저장한다.The storage unit 180 stores various data such as various programs necessary for the execution of the user terminal 100, basic images, association information, smart layers, additional data to be displayed on the smart layer, and composite images.
제어부(190)는 사용자단말(100)의 동작 전반을 제어한다.The
사용자단말(100)의 상기 각 기능부는 서로 독립된 프로그램을 통해 제공될 수도 있고, 2 이상의 기능부가 하나의 프로그램을 통해 통합적으로 제공될 수도 있다. 또한 상기 각 기능부 중에서 적어도 하나는 하드웨어와 결합하여 제공될 수도 있다. Each of the functional units of the user terminal 100 may be provided through independent programs, or two or more functional units may be integrally provided through one program. At least one of the functional units may be provided in combination with hardware.
이하에서는 도 3과 도 4를 참조하여 본 발명의 일 실시예에 따른 혼합 이미지 생성 방법을 설명한다.Hereinafter, a mixed image generating method according to an embodiment of the present invention will be described with reference to FIG. 3 and FIG.
먼저 스마트레이어에 표시할 부가데이터를 저장부(180)에 저장해 두는 것이 바람직하다. 부가데이터는 별도의 서비스서버(도 7의 200)로부터 제공받을 수도 있고, 사용자가 직접 입력할 수도 있고, 저장부(180)에 저장된 정보 중에서 사용자가 지정할 수도 있다. (ST11)It is preferable that the additional data to be displayed on the smart layer is stored in the storage unit 180 first. The additional data may be provided from a separate service server (200 of FIG. 7), directly input by a user, or may be designated by a user from information stored in the storage unit 180. (ST11)
이어서 사용자단말(100)의 디스플레이(110)에 기본이미지(도 4의 10)를 표시한다. 기본이미지(10)는 카메라(140)를 통해 획득하여 실시간으로 표시되는 이미지일 수도 있고, 저장부(180)에서 호출한 이미지일 수도 있다. (ST12)Subsequently, a basic image (10 in FIG. 4) is displayed on the display 110 of the user terminal 100. The
디스플레이(110)에 기본이미지(10)가 표시되면, 이미지처리부(150)의 정보분석부(153)는 기본이미지(10)와 관련된 연관정보와 연관정보와 맵핑된 부가데이터가 존재하는지 여부를 확인한다. (ST13)When the
정보분석부(153)에서 기본이미지(10)의 연관정보와 부가데이터가 확인되면, 스마트레이어 생성부(155)는 부가데이터를 호출하여 부가데이터가 포함된 스마트레이어(도 4의 20)를 생성한다. (ST14, ST15)When the association information of the
이어서 이미지합성부(157)는 기본이미지(10)에 스마트레이어(20)가 오버랩된 합성이미지(도 4의 30)를 디스플레이(110)에 표시하고, 표시된 합성이미지(30)를 저장부(180)에 저장할 수 있다.(ST16)The image combining unit 157 then displays the combined
도 3 및 도 4는 본 발명의 일 실시예에 따른 혼합 이미지 생성 방법의 가장 간단한 유형을 설명하였으나, 본 발명은 구체적인 적용 분야에 따라 매우 다양한 방식으로 활용될 수 있다.FIG. 3 and FIG. 4 illustrate the simplest type of mixed image generation method according to an embodiment of the present invention, but the present invention can be utilized in a wide variety of ways according to specific application fields.
구체적으로 살펴보면, 도 5a에 나타낸 바와 같이, 기본이미지(10)에 레이블영역(label area)(12)이 포함된 경우에 정보분석부(153)가 레이블영역(12)의 정보를 연관정보로서 획득하면 스마트레이어 생성부(155)가 레이블영역(12)에 표시될 부가데이터(22)를 포함하는 스마트레이어(20)를 생성하고 이미지합성부(157)가 스마트레이어(20)를 기본이미지(10)에 오버랩하여 표시할 수 있다.5A, when the
도 5a는 만화에 포함된 간판이 레이블영역(12)으로 정의되고, 레이블영역(12)에 표시될 상호(예, 본가 감자탕)가 부가데이터(22)로 설정된 경우이다. 스마트레이어에서 부가데이터(22)는 기본이미지(간판)(10)의 레이블영역(12)에 대응하는 위치에 배치되어야 함은 물론이다.5A shows a case where a signboard included in a comic book is defined as a
이때 사용자단말(100)에서 기본이미지(10)의 재생시기, 즉 디스플레이에 기본이미지(10)가 표시되는 시기를 연관정보에 포함시키고, 기본이미지(10)의 재생시기에 따라 레이블영역(12)에 표시될 부가데이터(22)를 변경할 수도 있다. At this time, the reproduction timing of the
도 5a는 기본이미지(10) 중 일부 영역이 부가데이터(22)가 표시될 레이블영역(12)으로 정의된 경우인데, 반대로 도 5b에 나타낸 바와 같이 기본이미지(10)에서 일부 객체(14)를 제외한 배경 영역을 레이블영역으로 정의하고, 설정된 연관정보에 따라 기본이미지(10)의 배경영역에 스마트레이어(20)에 포함된 부가데이터(배경)를 오버랩시킴으로써 배경을 변경할 수도 있다.5A shows a case where some of the
한편 도 6의 흐름도는 본 발명의 다른 실시예에 따른 혼합 이미지 생성 방법을 나타낸 것으로서 사용자단말(100)의 위치정보 또는 모션정보를 연관정보로 활용하는 경우이다.Meanwhile, the flowchart of FIG. 6 illustrates a method of generating a mixed image according to another embodiment of the present invention, in which location information or motion information of the user terminal 100 is utilized as association information.
이 경우에도, 스마트레이어에 표시할 부가데이터를 저장하고(ST11), 사용자단말(100)의 디스플레이(110)에 기본이미지를 표시한다.(ST12)In this case, the additional data to be displayed on the smart layer is stored (ST11), and the basic image is displayed on the display 110 of the user terminal 100 (ST12)
다만 정보분석부(153)는 사용자단말(100)의 위치정보 및/또는 모션정보를 연관정보로 획득한다. 이때 정보분석부(153)는 위치/모션 정보 이외에 다른 정보를 추가적인 연관정보로 획득할 수도 있다. (ST13a)However, the information analysis unit 153 acquires position information and / or motion information of the user terminal 100 as association information. At this time, the information analysis unit 153 may acquire other information besides the location / motion information as additional association information. (ST13a)
이어서 획득한 연관정보(위치정보, 모션정보 등)에 대응하는 부가데이터를 호출하고, 호출된 부가데이터가 포함된 스마트레이어를 생성한 후 이미지를 합성하는 것은 전술한 바와 같다. (ST14,ST15,ST16)Subsequently, the additional data corresponding to the acquired association information (location information, motion information, etc.) is called, and the smart layer including the called additional data is generated and then the images are synthesized as described above. (ST14, ST15, ST16)
도 5a의 경우를 참조하면, 사용자단말(100)의 위치정보를 연관정보에 포함시키면, 레이블영역(12)에 표시될 부가데이터(22)를 사용자단말(100)의 위치에 따라 변경하는 것이 가능하다. 예를 들어 사용자단말(100)이 음식점이 밀집한 지역에 위치하는 경우에는 사전에 계약된 해당 지역의 음식점 상호를 레이블영역(12)에 표시할 수 있다.5A, when the location information of the user terminal 100 is included in the association information, it is possible to change the
또한 사용자가 기본이미지(10)가 표시된 사용자단말(100)을 설정된 방식으로 움직이면 모션감지센서(170)에서 검출된 모션정보(기울기, 이동방향, 이동속도 등)가 연관정보로 획득되고, 이에 대응하는 스마트레이어가 표시될 수도 있다.When the user moves the user terminal 100 displayed with the
예를 들어 도 5a에 나타낸 바와 같이 기본이미지(10)가 표시된 상태에서 사용자가 사용자단말(100)을 소정 방식으로 움직이면 - 예를 들어 좌우로 흔들면 - 상호를 포함하는 스마트레이어가 생성되어 레이블영역(12)에 상호가 표시될 수도 있다. 이 경우에도 사용자단말(100)의 위치정보를 기반으로 위치에 따라 서로 다른 상호가 표시되도록 할 수도 있다.For example, as shown in FIG. 5A, when the user moves the user terminal 100 in a predetermined manner (for example, rocking left and right) in a state in which the
도 5b의 경우에도 사용자단말(100)의 위치정보 및/또는 모션정보를 연관정보롤 활용하여 기본이미지(10)의 배경영역에 스마트레이어(20)에 포함된 부가데이터(배경)를 오버랩시킴으로써 배경을 변경할 수 있다.5B, the additional information (background) included in the
이상에서는 하나의 사용자단말(100)에서 이루어지는 혼합 이미지 생성 방법을 설명하였는데, 다수 사용자단말(100)간에 연관정보와 이에 대응하는 부가데이터를 공유하도록 하면 서로 다른 사용자단말에서 동일한 혼합 이미지를 생성하거나 표시하는 것이 가능하다.In the above description, the mixed image generation method in one user terminal 100 has been described. When the association information and the corresponding additional data are shared among the plurality of user terminals 100, It is possible to do.
이를 위하여 본 발명의 일 실시예는 도 7에 나타낸 바와 같이, 제1 사용자단말(100a), 제2 사용자단말(100b), 통신망(50)을 통해 제1 및 제2 사용자단말(100a,100b)과 통신하는 서비스서버(200)를 포함하는 혼합 이미지 생성 시스템을 제공한다.7, the first and second user terminals 100a and 100b are connected to each other through a first user terminal 100a, a second user terminal 100b, and a communication network 50, And a service server (200) for communicating with the service server (200).
도면에는 2개의 사용자단말(100a,100b)을 나타내었으나 그 개수가 이에 한정되지 않음은 물론이다. 각 사용자단말(100a,100b)의 구성은 도 1, 2 및 이와 관련하여 설명하였으므로 여기서는 설명을 생략한다.Although two user terminals 100a and 100b are illustrated in the figure, the number of user terminals 100a and 100b is not limited thereto. The configuration of each of the user terminals 100a and 100b has been described with reference to FIGS. 1 and 2, and a description thereof will be omitted here.
통신망(50)은 유선통신망, 무선통신망 또는 이들의 조합으로 구성될 수 있다.The communication network 50 may be composed of a wired communication network, a wireless communication network, or a combination thereof.
서비스서버(200)는 부가데이터등록부(210), 부가데이터제공부(220), 인증부(230) 등을 포함할 수 있다.The service server 200 may include an additional data registration unit 210, an additional data providing unit 220, an authentication unit 230, and the like.
부가데이터등록부(210)는 사용자단말(100a,100b)로 부가데이터 등록을 위한 인터페이스를 제공하고, 사용자단말(100a,100b)로부터 수신한 부가데이터를 부가데이터 DB(293)에 저장한다. 부가데이터를 등록할 때 스마트레이어 생성 조건으로 활용되는 기본이미지의 연관정보를 함께 등록할 수 있다. 이때의 연관정보는 특별히 제한되지 않으며, 예를 들어 부가데이터를 등록할 때의 사용자단말(100a,100b)의 위치정보, 모션정보, 부가데이터 등록 시기 등일 수 있다.The additional data registration unit 210 provides an interface for registering additional data to the user terminals 100a and 100b and stores the additional data received from the user terminals 100a and 100b in the
또한 부가데이터를 등록할 때는 해당 부가데이터를 제공받을 수 있는 사용자의 범위를 설정할 수 있다. 예를 들어 부가데이터를 등록한 자신만이 이후에 부가데이터를 제공받을 수 있도록 설정할 수도 있고, 부가데이터를 등록한 자가 지정한 사용자만이 이후에 부가데이터를 제공받을 수 있도록 설정할 수도 있다. 기타 다른 방식으로 사용권한을 설정할 수도 있다.Further, when registering the additional data, a range of the user who can receive the additional data can be set. For example, only the user who has registered the additional data can be provided to receive the additional data, or only the user who has registered the additional data can receive the additional data. You can also set permissions in other ways.
부가데이터제공부(220)는 사용자단말(100a,100b)로 부가데이터를 제공하는 역할을 한다. 부가데이터를 제공할 때 맵핑된 연관정보(위치,모션,시기 등)를 함께 제공할 수도 있다. 필요한 경우에는 부가데이터를 제공할 때 맵핑된 기본이미지를 함께 제공할 수도 있다.The additional data providing unit 220 serves to provide additional data to the user terminals 100a and 100b. It may also provide associated information (location, motion, timing, etc.) mapped when providing additional data. If necessary, it may also provide a mapped base image when providing additional data.
인증부(230)는 사용자단말(100a,100b)로부터 부가데이터 요청이 있는 경우에 요청자가 해당 부가데이터에 대한 사용권한을 가지는지 확인하고, 사용권한이 없는 경우에 부가데이터 제공을 차단한다.The authentication unit 230 checks whether the requester has a use right for the additional data when there is a request for additional data from the user terminals 100a and 100b and blocks the provision of additional data when there is no use right.
이러한 서비스서버(200)는 회원DB(291), 이미지DB(292), 부가데이터DB(293) 등과 연동할 수 있다. 이미지DB(292)는 사용자단말(100a,100b)로부터 수신한 기본이미지, 스마트레이어, 합성이미지 등을 저장할 수 있다. 부가데이터DB(293)는 사용자단말(100a,100b)이 부가데이터등록부(210)를 통해 등록한 부가데이터를 저장하며, 이때 스마트레이어의 생성 조건이 되는 연관정보, 해당 부가데이터를 등록한 회원정보, 해당 부가데이터를 제공받을 수 있는 회원정보 등과 맵핑하여 저장하는 것이 바람직하다.The service server 200 can work with the member DB 291, the image DB 292, the
이하에서는 도 8을 참조하여 본 발명의 일 실시예에 따라 다수 사용자간에 부가데이터를 공유함으로써 혼합 이미지를 생성하는 방법을 설명한다.Hereinafter, a method of generating a mixed image by sharing additional data among a plurality of users according to an embodiment of the present invention will be described with reference to FIG.
먼저 제1 사용자단말(100a)에서 기본이미지를 디스플레이(110)에 표시한다. 기본이미지는 카메라(140)를 통해 획득한 것일 수도 있고, 이미지호출부(151)가 저장부(180)로부터 호출한 이미지일 수도 있다.(ST31)First, a basic image is displayed on the display 110 at the first user terminal 100a. The basic image may be acquired through the camera 140 or may be an image called by the image calling unit 151 from the storage unit 180. (ST31)
이어서 제1 사용자단말(100a)에서 부가데이터를 입력하거나 선택한다. 부가데이터는 사용자가 입력하였거나 저장되어 있는 텍스트(단어, 문장), 이미지, 동영상 등일 수 있다. (ST32)Subsequently, the first user terminal 100a inputs or selects additional data. The additional data may be text (words, sentences), images, moving pictures, etc. that the user has input or stored. (ST32)
부가데이터가 입력 또는 선택되면, 제1 사용자단말(100a)은 기본이미지와 부가데이터를 서비스서버(200)로 전송한다. 이때 제1 사용자단말(100a)은 기본이미지의 연관정보, 예를 들어 제1 사용자단말(100a)의 위치정보 및/또는 모션정보를 함께 전송한다. 다른 종류의 연관정보를 대신 또는 함게 전송할 수도 있음은 물론이다. 서비스서버(200)는 수신한 기본이미지와 부가데이터를 맵핑하여 이미지지DB(292)와 부가데이터DB(293)에 저장한다. (ST33)When the additional data is inputted or selected, the first user terminal 100a transmits the basic image and the additional data to the service server 200. [ At this time, the first user terminal 100a transmits association information of the basic image, for example, location information and / or motion information of the first user terminal 100a. It is also possible to transmit other types of association information instead or together. The service server 200 maps the received base image and the additional data and stores them in the image supporting DB 292 and the
그리고 제1 사용자단말(100a)은 기본이미지를 제2 사용자단말(100b)로 전송한다. 이 과정은 ST33 단계의 이전에 이루어질 수도 있다. (ST34)The first user terminal 100a transmits the basic image to the second user terminal 100b. This process may be performed before step ST33. (ST34)
이어서 제2 사용자단말(100b)의 디스플레이(110)에 기본이미지가 표시되면, 제2 사용자단말(100b)은 기본이미지에 대응하는 부가데이터를 서비스서버(200)로 요청한다. 이때 제2 사용자단말(100b)은 자신의 위치정보 및/또는 모션정보를 함께 전송할 수 있다. (ST35)Then, when a basic image is displayed on the display 110 of the second user terminal 100b, the second user terminal 100b requests the service server 200 for additional data corresponding to the basic image. At this time, the second user terminal 100b may transmit its location information and / or motion information together. (ST35)
서비스서버(200)의 인증부(230)는 부가데이터 요청을 받은 후 제2 사용자단말(100b)의 사용자가 부가데이터 사용권한을 가지고 있는지 여부를 확인하고, 사용권한이 없다고 판단되면 요청을 무시하거나 제2 사용자단말(100b)로 거부통지를 전송한다. After receiving the additional data request, the authentication unit 230 of the service server 200 checks whether the user of the second user terminal 100b has the right to use the additional data. And sends a rejection notification to the second user terminal 100b.
한편 부가데이터가 기본 이미지의 연관정보(위치정보, 모션정보 등)와 맵핑되어 저장되어 있는 경우에는, 서비스서버(200)는 제2 사용자단말(100b)로부터 수신한 연관정보(위치정보, 모션정보 등)가 등록된 연관정보와 일치하는지 여부를 판단하고 일치하는 경우에만 부가데이터를 전송할 수도 있다. (ST36, ST37)Meanwhile, when the additional data is mapped and stored with the association information (location information, motion information, etc.) of the basic image, the service server 200 transmits the association information (location information, motion information, Etc.) matches the registered association information and may transmit the additional data only when they match. (ST36, ST37)
이러한 과정을 거쳐 제2 사용자단말(100b)의 사용자가 부가데이터를 사용할 권한이 있다고 판단되면, 서비스서버(200)는 요청된 부가데이터를 제2 사용자단말(100b)로 전송한다. (ST38)If it is determined that the user of the second user terminal 100b is authorized to use the additional data through this process, the service server 200 transmits the requested additional data to the second user terminal 100b. (ST38)
제2 사용자단말(100b)의 스마트레이어 생성부(155)는 수신된 부가데이터를 이용하여 스마트레이어를 생성한다. 한편 제2 사용자단말(100b)은 서비스서버(200)로부터 부가데이터와 맵핑된 연관정보(위치정보, 모션정보 등)를 함께 수신하고, 제2 사용자단말(100b)에 저장되어 있는 기본이미지의 연관정보와 수신된 연관정보가 일치하는 경우에 한하여 스마트레이어를 생성할 수도 있다.The smart layer generation unit 155 of the second user terminal 100b generates a smart layer using the received additional data. Meanwhile, the second user terminal 100b receives association information (location information, motion information, and the like) mapped with the additional data from the service server 200, and associates the basic image stored in the second user terminal 100b The smart layer may be generated only when the information and the received association information match.
그리고 제2 사용자단말(100b)의 이미지합성부(157)는 생성된 스마트레이어를 디스플레이(110)에 표시된 기본이미지에 오버랩하여 표시한다. (ST39)The image combining unit 157 of the second user terminal 100b overlaps and displays the generated smart layer on the basic image displayed on the display 110. [ (ST39)
이러한 실시예에 따르면 제1 사용자단말(100a)의 사용자가 특정 장소에서 카메라(140)를 통해 기본이미지를 획득하고 부가데이터를 작성하여 입력한 경우에, 제2 사용자단말(100b)의 사용자는 제1 사용자단말(100a)로부터 수신한 기본이미지는 어디서든 확인할 수는 있으나 제1 사용자단말(100a)의 사용자가 입력한 부가데이터는 상기 특정 장소에서 기본이미지를 재생하거나 획득한 경우에만 확인할 수 있게 된다.According to this embodiment, in the case where the user of the first user terminal 100a acquires the basic image through the camera 140 at a specific place and creates and inputs the additional data, the user of the second user terminal 100b 1 basic image received from the user terminal 100a can be checked anywhere but the additional data input by the user of the first user terminal 100a can be checked only when the basic image is reproduced or acquired in the specific place .
이상에서는 다수 사용자가 부가데이터를 공유할 수 있는 연관정보가 위치정보인 경우를 설명하였으나, 전술한 바와 같이 연관정보의 종류는 특별히 제한되지 않는다.In the above description, the case where the association information that allows a plurality of users to share the additional data is the position information has been described. However, the type of the association information is not particularly limited as described above.
예를 들어 제1 사용자단말(100a)의 사용자가 카메라(140)를 통해 기본이미지를 획득하고 부가데이터를 작성하여 서비스서버(200)에 등록한 경우에, 기본이미지에 포함된 특정 객체(나무, 꽃, 동물, 산, 풍경 등)를 연관정보로 활용할 수도 있다.For example, when the user of the first user terminal 100a acquires the basic image through the camera 140 and creates the additional data and registers it in the service server 200, the specific object (tree, flower , Animals, mountains, landscapes, etc.) as related information.
일 예로서, 제1사용자단말(100a)에서 카메라(140)를 통해 '장미'에 대한 기본이미지를 획득하고 부가데이터를 입력하여 서비스서버(200)에 등록한 경우에, 제2 사용자단말(100b)이 카메라(140)로 촬영된 '장미' 이미지 또는 저장부(180)에 저장된 '장미' 이미지를 호출하여 디스플레이(110)에 표시하면, 제2 사용자단말(100b)이 서비스서버(200)로 장미관련 부가데이터를 요청하고, 서비스서버(200)가 제2 사용자단말(100b)로 장미관련 부가데이터를 전송하면, 제2 사용자단말(100b)이 수신한 부가데이터가 포함된 스마트레이어를 생성하여 디스플레이(110)에 표시할 수 있다.For example, when the first user terminal 100a acquires a basic image of 'roses' through the camera 140 and inputs the additional data and registers the additional image data in the service server 200, the second user terminal 100b' The second user terminal 100b searches the roses image captured by the camera 140 or the roses image stored in the storage unit 180 and displays the image on the display 110, When the service server 200 transmits the rose related additional data to the second user terminal 100b, a smart layer including the additional data received by the second user terminal 100b is generated and displayed (110).
다른 예로서, 제1사용자단말(100a)이 특정한 기울기 자세에서 기본이미지를 획득하고 입력된 부가데이터를 서비스서버(200)에 등록한 경우에, 제2 사용자단말(100b)이 동일한 기울기 자세에서 동일한 기본이미지를 촬영하거나 호출하여 디스플레이(110)에 표시하면, 제2 사용자단말(100b)이 서비스서버(200)로 관련 부가데이터를 요청하고, 서비스서버(200)가 제2 사용자단말(100b)로 관련 부가데이터를 전송하면, 제2 사용자단말(100b)이 수신한 부가데이터가 포함된 스마트레이어를 생성하여 디스플레이(110)에 표시할 수도 있다.As another example, when the first user terminal 100a acquires the base image at a specific tilt posture and registers the input additional data in the service server 200, the second user terminal 100b may acquire the same basic When the second user terminal 100b requests the related service data to the service server 200 and the service server 200 transmits the related data to the second user terminal 100b When the additional data is transmitted, a smart layer including the additional data received by the second user terminal 100b may be generated and displayed on the display 110. [
한편 도 8은 제1 사용자단말(100a)에서 서비스서버(200)에 등록한 부가데이터를 제2 사용자단말(100b)이 수신하여 스마트레이어를 생성하는 경우를 나타낸 것인데, 부가데이터를 등록한 제1 사용자단말(100a)도 서비스서버(200)로부터 등록된 부가데이터를 수신하여 스마트레이어를 생성할 수도 있다.8 shows a case where the second user terminal 100b receives the additional data registered in the service server 200 in the first user terminal 100a to generate a smart layer. The service server 100a may also receive the registered additional data from the service server 200 to generate the smart layer.
도 9는 이 경우를 나타낸 것으로서, 기본이미지표시, 부가데이터 요청 및 수신, 스마트레이어 생성 등의 일련의 과정이 제1 사용자단말(100a)에서 이루어지는 점을 제외하고는 도 8의 경우와 실질적으로 동일하다. FIG. 9 shows this case, and substantially the same as the case of FIG. 8, except that the first user terminal 100a performs a series of processes such as basic image display, additional data request and reception, and smart layer generation Do.
이와 같이 서비스서버(200)를 활용하여 혼합 이미지를 생성하는 서비스를 제공하면, 연인, 친구 등의 관계에 있는 다수의 사용자가 이미지를 매개로 특정 장소, 특정 객체에 대한 감성과 추억을 공유할 수 있을 뿐만 아니라 사용자에게 새로운 재미를 제공할 수 있는 이점이 있다. 따라서 본 발명에 따른 혼합 이미지 생성 및 제공 방법은 향후 새로운 사회 관계망 서비스로 활용될 수 있다.By providing a service for generating a mixed image by utilizing the service server 200, a plurality of users in a relationship such as a lover and a friend can share emotions and memories of a specific place and a specific object There is an advantage to be able to provide new fun to the user as well as the user. Therefore, the mixed image generation and provision method according to the present invention can be utilized as a new social network service in the future.
한편 이상에서는 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 구체적인 적용 과정에서 다양한 형태로 변형 또는 수정되어 실시될 수 있다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.
예를 들어 전술한 실시예에서는, 제2 사용자단말(100b)이 기본이미지를 획득하거나 호출하여 표시하는 경우에만 제1사용자단말(100a)의 사용자가 등록한 부가데이터를 획득하는 것으로 설명하였다.For example, in the above-described embodiment, only when the second user terminal 100b acquires or displays a basic image, additional data registered by the user of the first user terminal 100a is acquired.
그러나 이에 한정되는 것은 아니며, 제2 사용자단말(100b)이 기본이미지를 획득하거나 호출하여 표시하지 않더라도 제1 사용자단말(100a)의 사용자가 서비스서버(200)에 등록해둔 연관정보를 충족할 수 있는 상태에 있으면 서비스서버(200)로부터 기본이미지 및/또는 부가데이터를 수신하여 디스플레이(110)에 표시할 수도 있다.However, the present invention is not limited to this, and even if the second user terminal 100b does not acquire or display the basic image, the user of the first user terminal 100a can not satisfy the association information registered in the service server 200 It is possible to receive the basic image and / or additional data from the service server 200 and display the basic image and / or the additional data on the display 110. [
예를 들어 제2 사용자단말(100b)이 특정 장소에 위치하거나 특정 모션을 수행하기만 하면, 제1 사용자단말(100a)을 통해 등록된 기본이미지 및/또는 부가데이터를 서비스서버(200)로부터 수신하여 디스플레이(110)에 표시할 수도 있다.For example, when the second user terminal 100b is located at a specific place or performs a specific motion, the base image and / or the additional data registered through the first user terminal 100a are received from the service server 200 And display it on the display 110.
이와 같이 본 발명은 구체적인 적용에 있어서 다양한 형태로 변형 또는 수정되어 실시될 수 있으며, 변형 또는 수정된 실시예도 후술하는 특허청구범위에 개시된 본 발명의 기술적 사상을 포함한다면 본 발명의 권리범위에 속함은 물론이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the inventive concept as defined by the appended claims. Of course.
10: 기본이미지
20: 스마트레이어
30: 합성이미지
100: 사용자단말
110: 디스플레이
120: 입력부
130: 통신부
140: 카메라
150: 이미지처리부
151: 이미지호출부
153: 정보분석부
155: 스마트레이어 생성부
157: 이미지합성부
160: 위치확인부
170: 모션감지센서
180: 저장부
190: 제어부
200: 서비스서버
210: 부가데이터등록부
220: 부가데이터제공부
230: 인증부10: Basic image 20: Smart layer
30: composite image 100: user terminal
110: display 120: input
130: communication unit 140: camera
150: image processing unit 151: image calling unit
153: information analyzing unit 155: smart layer generating unit
157: image synthesizer 160: position checker
170: Motion detection sensor 180:
190: control unit 200: service server
210: additional data register 220: additional data provider
230: Authentication unit
Claims (11)
상기 기본이미지와 관련된 연관정보를 획득하는 단계;
상기 연관정보에 대응하는 부가데이터가 포함된 스마트레이어를 생성하는 단계;
상기 스마트레이어를 상기 기본이미지에 오버랩시켜 표시하는 단계
를 포함하는 혼합 이미지 생성 방법Calling or obtaining a base image to be displayed on a display;
Obtaining association information associated with the base image;
Generating a smart layer including additional data corresponding to the association information;
Overlapping the smart layer with the base image and displaying
≪ / RTI >
상기 연관정보는, 상기 기본이미지의 일련번호, 생성시기, 생성장소, 재생시기, 재생위치, 상기 기본이미지에 포함된 객체, 객체의 위치, 객체의 이동여부, 객체의 이동속도 및 방향, 객체의 에지 정보, 상기 기본이미지에 포함된 레이어 관련 정보, 사용자단말의 위치정보, 사용자단말의 모션정보 중에서 적어도 하나를 포함하는 것을 특징으로 하는 혼합 이미지 생성 방법The method according to claim 1,
The association information includes at least one of a serial number of the basic image, a generation time, a generation location, a playback time, a playback position, an object included in the base image, a position of the object, Edge information, layer related information included in the basic image, position information of the user terminal, and motion information of the user terminal.
상기 연관정보는, 상기 디스플레이에 표시되지 않고 대기 중인 대기이미지에 대한 일련번호, 생성시기, 생성장소, 재생시기, 재생위치, 상기 대기이미지에 포함된 객체의 종류, 객체의 위치, 객체의 이동여부, 객체의 이동속도 및 방향, 객체의 에지 정보, 상기 대기이미지에 포함된 레이어 관련 정보, 사용자단말의 위치정보, 사용자단말의 모션정보 중에서 적어도 하나를 포함하는 것을 특징으로 하는 혼합 이미지 생성 방법The method according to claim 1,
The association information includes at least one of a serial number, a generation time, a generation location, a playback time, a playback position, a type of an object included in the standby image, a position of an object, , The moving speed and direction of the object, the edge information of the object, the layer related information included in the atmospheric image, the position information of the user terminal, and the motion information of the user terminal
상기 부가데이터는 텍스트, 이미지, 동영상 중에서 적어도 하나를 포함하는 것을 특징으로 하는 혼합 이미지 생성 방법The method according to claim 1,
Wherein the additional data includes at least one of a text, an image, and a moving image.
상기 연관정보는 상기 기본이미지에 포함된 레이블영역(label area)에 대한 정보를 포함하고,
상기 부가데이터는 상기 스마트레이어에서 상기 레이블영역에 대응하는 위치에 표시되는 것을 특징으로 하는 혼합 이미지 생성 방법The method according to claim 1,
Wherein the association information includes information on a label area included in the base image,
Wherein the additional data is displayed at a position corresponding to the label area in the smart layer
상기 서비스서버가 상기 부가데이터를 제2 사용자단말로 전송하는 전송단계;
상기 제2 사용자단말이 상기 부가데이터가 포함된 스마트레이어를 생성하는 생성단계;
상기 제2 사용자단말이 상기 스마트레이어를 상기 제2 사용자단말에 표시된 이미지에 오버랩시켜 표시하는 표시단계
를 포함하는 혼합 이미지 생성 방법A registration step of the first user terminal transmitting the base image, the association information related to the base image, and the additional data to the service server and storing the association information;
A transmission step of the service server transmitting the additional data to a second user terminal;
Generating a smart layer including the additional data by the second user terminal;
Wherein the second user terminal overlaps and displays the smart layer on the image displayed on the second user terminal
≪ / RTI >
상기 연관정보는 상기 제1 사용자단말의 위치정보와 모션정보 중에서 적어도 하나를 포함하고,
상기 전송단계의 이전에는 상기 제2 사용자단말이 위치정보와 모션정보 중에서 적어도 하나를 상기 서비스서버로 전송하고,
상기 전송단계에서는, 상기 제2 사용자단말로부터 수신한 위치정보가 연관정보로서 저장되어 있는 상기 제1 사용자단말의 위치정보와 동일하면 상기 서비스서버가 상기 부가데이터를 상기 제2 사용자단말로 전송하거나, 상기 제2 사용자단말로부터 수신한 모션정보가 연관정보로서 저장되어 있는 상기 제1 사용자단말의 모션정보와 동일하면 상기 서비스서버가 상기 부가데이터를 상기 제2 사용자단말로 전송하는 것을 특징으로 하는 혼합 이미지 생성 방법The method according to claim 6,
Wherein the association information includes at least one of location information and motion information of the first user terminal,
The second user terminal transmits at least one of the location information and the motion information to the service server before the transmission step,
In the transmitting step, if the location information received from the second user terminal is the same as the location information of the first user terminal stored as association information, the service server transmits the additional data to the second user terminal, And the service server transmits the additional data to the second user terminal if the motion information received from the second user terminal is the same as the motion information of the first user terminal stored as association information. How to create
상기 연관정보는 상기 제1 사용자단말의 위치정보와 모션정보 중에서 적어도 하나를 포함하고,
상기 전송단계에서는, 상기 서비스서버가 상기 제1 사용자단말의 위치정보와 모션정보 중에서 적어도 하나를 상기 제2 사용자단말로 전송하고,
상기 생성단계에서는, 상기 서비스서버로부터 수신한 상기 제1 사용자단말의 위치정보가 상기 제2 사용자단말의 위치정보와 동일하면 상기 스마트레이어를 생성하거나, 상기 서비스서버로부터 수신한 상기 제1 사용자단말의 모션정보가 상기 제2 사용자단말의 모션정보와 동일한 경우에 한하여 상기 스마트레이어를 생성하는 것을 특징으로 하는 혼합 이미지 생성 방법The method according to claim 6,
Wherein the association information includes at least one of location information and motion information of the first user terminal,
Wherein the service server transmits at least one of location information and motion information of the first user terminal to the second user terminal,
Wherein the generating step generates the smart layer if the location information of the first user terminal received from the service server is the same as the location information of the second user terminal, Wherein the smart layer is generated only when the motion information is the same as the motion information of the second user terminal
상기 디스플레이에 표시되는 기본이미지와 관련된 연관정보를 획득하는 정보분석부;
상기 정보분석부에서 획득한 연관정보에 대응하는 부가데이터가 포함된 스마트레이어를 생성하는 스마트레이어 생성부;
상기 스마트레이어를 상기 기본이미지에 오버랩시켜 표시하는 이미지합성부
를 포함하는 혼합 이미지 생성 장치display;
An information analyzer for obtaining association information related to a base image displayed on the display;
A smart layer generation unit for generating a smart layer including additional data corresponding to the association information acquired by the information analysis unit;
An image compositing unit for superposing the smart layer on the basic image,
Lt; RTI ID = 0.0 >
상기 제1 사용자단말과 상기 제2 사용자단말은 각각, 디스플레이와, 상기 디스플레이에 표시된 기본이미지와 관련된 연관정보를 획득하는 정보분석부와, 상기 정보분석부에서 획득한 연관정보에 대응하는 부가데이터가 포함된 스마트레이어를 생성하는 스마트레이어 생성부와, 상기 스마트레이어를 상기 기본이미지에 오버랩시켜 표시하는 이미지합성부를 포함하고,
상기 서비스서버는, 상기 제1 사용자단말 또는 상기 제2 사용자단말로 부가데이터를 등록하는 인터페이스를 제공하는 부가데이터등록부와, 상기 제1 사용자단말 또는 상기 제2 사용자단말로 부가데이터를 전송하는 부가데이터제공부와, 상기 제1 사용자단말 또는 상기 제2 사용자단말에서의 부가데이터 사용권한을 확인하는 인증부를 포함하는 것을 특징으로 하는 혼합 이미지 생성 시스템A mixed image generation system comprising a first user terminal, a second user terminal, and a service server communicating with the first and second user terminals,
Wherein the first user terminal and the second user terminal respectively have a display, an information analyzer for obtaining association information related to the base image displayed on the display, and additional data corresponding to the association information acquired by the information analyzer A smart layer generating unit for generating a smart layer included in the smart layer; and an image synthesizing unit for overlapping and displaying the smart layer on the basic image,
The service server may further include an additional data registration unit for providing an interface for registering the additional data to the first user terminal or the second user terminal and a supplementary data registration unit for providing additional data for transferring additional data to the first user terminal or the second user terminal And an authentication unit for verifying the right to use the additional data in the first user terminal or the second user terminal.
상기 제1 사용자단말과 상기 제2 사용자단말은 위치정보를 획득하는 위치확인부와 모션정보를 획득하는 모션감지센서 중에서 적어도 하나를 포함하고,
상기 연관정보는 상기 위치정보와 상기 모션정보 중에서 적어도 하나를 포함하는 것을 특징으로 하는 혼합 이미지 생성 시스템11. The method of claim 10,
Wherein the first user terminal and the second user terminal include at least one of a position determination unit for obtaining position information and a motion detection sensor for obtaining motion information,
Wherein the association information includes at least one of the position information and the motion information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170004259A KR20180082854A (en) | 2017-01-11 | 2017-01-11 | Method and system of image blending using smart layer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170004259A KR20180082854A (en) | 2017-01-11 | 2017-01-11 | Method and system of image blending using smart layer |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180082854A true KR20180082854A (en) | 2018-07-19 |
Family
ID=63058385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170004259A KR20180082854A (en) | 2017-01-11 | 2017-01-11 | Method and system of image blending using smart layer |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180082854A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4068209A4 (en) * | 2019-11-28 | 2024-01-03 | Pj Factory Co Ltd | Multi-depth image generating method and recording medium on which program therefor is recorded |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150025594A (en) | 2013-08-29 | 2015-03-11 | 삼성전자주식회사 | Method for compositing multi image layers |
-
2017
- 2017-01-11 KR KR1020170004259A patent/KR20180082854A/en not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150025594A (en) | 2013-08-29 | 2015-03-11 | 삼성전자주식회사 | Method for compositing multi image layers |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4068209A4 (en) * | 2019-11-28 | 2024-01-03 | Pj Factory Co Ltd | Multi-depth image generating method and recording medium on which program therefor is recorded |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9805515B2 (en) | System and method for augmented reality | |
| KR101547040B1 (en) | Non-map-based mobile interface | |
| CN102804905B (en) | The display of view data and geographic element data | |
| US20170176209A1 (en) | Systems, apparatus and methods for delivery of location-oriented information | |
| US20180145941A1 (en) | Personal information apparatus, sharing system and sharing system operating method for servicing map-based user generated contents for social network service | |
| JP2011099854A (en) | User terminal device, position providing method therefor, and route guiding method therefor | |
| CN103502982A (en) | Method and apparatus for displaying interactive preview information in a location-based user interface | |
| CN108572969A (en) | The method and device of geography information point recommended information is provided | |
| US20230284000A1 (en) | Mobile information terminal, information presentation system and information presentation method | |
| JP5651372B2 (en) | Post information control apparatus, post information control system, and post information control method | |
| KR20190018243A (en) | Method and system for navigation using video call | |
| WO2014135427A1 (en) | An apparatus and associated methods | |
| KR20120059239A (en) | Mobile terminal and method for sharing real-time road view | |
| JP2016058100A (en) | System, information processing method, and program | |
| JP4464780B2 (en) | Guidance information display device | |
| JP2011060254A (en) | Augmented reality system and device, and virtual object display method | |
| KR20150077607A (en) | Dinosaur Heritage Experience Service System Using Augmented Reality and Method therefor | |
| CN113190307A (en) | Control adding method, device, equipment and storage medium | |
| KR20180082854A (en) | Method and system of image blending using smart layer | |
| CN113467663B (en) | Interface configuration method, device, computer equipment and medium | |
| KR20190053489A (en) | Method for controlling mobile terminal supplying virtual travel survey service using pictorial map based on virtual reality | |
| CN114422644A (en) | Device control method, device, user equipment and computer readable storage medium | |
| US20230089061A1 (en) | Space recognition system, space recognition method, information terminal, and server apparatus | |
| CN112055034B (en) | Interaction method and system based on optical communication device | |
| KR101962635B1 (en) | Method for controlling mobile terminal supplying service enabling user to record and recollect remembrance data based on location information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal |