KR20120080964A - System and method for taking photograph and distributing image using mobilel segmentation - Google Patents

System and method for taking photograph and distributing image using mobilel segmentation Download PDF

Info

Publication number
KR20120080964A
KR20120080964A KR1020110002455A KR20110002455A KR20120080964A KR 20120080964 A KR20120080964 A KR 20120080964A KR 1020110002455 A KR1020110002455 A KR 1020110002455A KR 20110002455 A KR20110002455 A KR 20110002455A KR 20120080964 A KR20120080964 A KR 20120080964A
Authority
KR
South Korea
Prior art keywords
image
user terminal
target image
synthesis target
server
Prior art date
Application number
KR1020110002455A
Other languages
Korean (ko)
Inventor
박재완
김승균
권기석
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020110002455A priority Critical patent/KR20120080964A/en
Publication of KR20120080964A publication Critical patent/KR20120080964A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01Social networking

Abstract

PURPOSE: A photo shoot using the mobile image segmentation and a image sharing system and a method thereof are provided to smoothly extract a composite object image in a mobile terminal, which has limited process ability, by extracting an object and by performing a correct work through an image segmentation server. CONSTITUTION: A first user terminal(102) requests composite object image generation, which will be used for image compound, to an image segmentation server(106). The first user terminal registers the composite object image into an image sharing server(108). The image segmentation server extracts the composite object image from an original image. A second user terminal(104) takes a photograph the composite photo, which includes a slice of the composite object image at least.

Description

모바일 이미지 세그멘테이션을 이용한 사진 촬영 및 이미지 공유 시스템 및 방법{SYSTEM AND METHOD FOR TAKING PHOTOGRAPH AND DISTRIBUTING IMAGE USING MOBILEL SEGMENTATION}Photographing and image sharing system and method using mobile image segmentation {SYSTEM AND METHOD FOR TAKING PHOTOGRAPH AND DISTRIBUTING IMAGE USING MOBILEL SEGMENTATION}

본 발명은 모바일 이미지 세그멘테이션(Image Segmentation)을 이용한 사진 촬영 및 이미지 공유 시스템 및 방법에 관한 것으로, 특히 이미지들을 거래하고, 구매한 이미지를 이용하여 합성한 이미지를 서로 공유할 수 있는 이미지 공유 시스템 및 이를 이용한 이미지 공유 방법에 관한 것이다.
The present invention relates to a system and method for photographing and sharing an image using mobile image segmentation, and more particularly, to an image sharing system capable of trading images and sharing a synthesized image using a purchased image. It relates to an image sharing method used.

최근, 이미지를 촬영하고 저장하기 위한 장치로 디지털 카메라, 캠코더 등이 많이 사용되고 있으며, 이들은 더욱 고성능화, 소형화되고 있다.Recently, digital cameras, camcorders, and the like have been widely used as devices for capturing and storing images, and these have been further improved in performance and miniaturized.

상기 디지털 카메라, 캠코더 등으로 촬영된 이미지는 전자 파일 형태로 저장되기 때문에 대량 복제가 가능하며, 포토샵(photoshop)과 같은 프로그램에 의해 보정이 가능하다는 장점이 있다. 따라서, 이들은 기존에 많이 쓰이던 아날로그 카메라를 빠르게 대체하고 있다.Since images captured by the digital camera, camcorder, etc. are stored in the form of an electronic file, they can be mass reproduced and can be corrected by a program such as Photoshop. Therefore, they are rapidly replacing the analog cameras that are widely used.

한편, 최근에 핸드폰, 스마트폰, 태블릿 PC와 같은 이동 통신 단말기가 보편화됨에 따라 이들 내부에 카메라 모듈을 장착하여 카메라 기능을 제공하고 있다. 이러한 카메라 기능은 이동 통신 단말기의 이동성 및 통신 기능과 결합하여 큰 시너지 효과를 발휘하고 있다. 예를 들어, 이동 중 촬영한 이미지를 유/무선망을 이용하여 다른 곳으로 전송하거나 타인으로부터 이미지를 전송받는 것이 가능해져 서로 간의 이미지 공유가 쉬워졌다.
On the other hand, as mobile communication terminals such as mobile phones, smart phones, and tablet PCs are becoming more common, camera modules are mounted inside them to provide camera functions. This camera function is combined with the mobility and communication functions of the mobile communication terminal to exhibit a great synergy effect. For example, it is possible to transfer images taken while moving to other places using wired / wireless networks or to receive images from others, making it easier to share images with each other.

본 발명의 실시예는 이미지의 공유를 통해 일정한 수익을 얻고, 공유되는 이미지를 촬영에 활용할 수 있는 이미지 공유 시스템 및 이를 이용한 이미지 공유 방법을 제공하고자 한다.
An embodiment of the present invention is to provide an image sharing system and a method of sharing an image using the same to obtain a certain profit through the sharing of the image, and to use the shared image for shooting.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사진 촬영 및 이미지 공유 시스템은, 기 저장된 원본 이미지를 이용하여 이미지 세그멘테이션 서버로 이미지 합성에 사용될 합성 대상 이미지의 생성을 요청하고, 생성된 상기 합성 대상 이미지를 이미지 공유 서버에 등록하는 제1사용자 단말; 상기 제1사용자 단말과의 통신을 통하여 상기 원본 이미지로부터 합성 대상 이미지를 추출하여 상기 제1사용자 단말로 송신하는 이미지 세그멘테이션 서버; 등록된 상기 합성 대상 이미지를 상기 이미지 공유 서버로부터 전송 받고, 전송된 상기 합성 대상 이미지의 적어도 일부를 포함하는 합성 사진을 촬영하는 제2사용자 단말; 및 상기 제1사용자 단말로부터 상기 합성 대상 이미지를 전송받아 저장하고, 상기 제2사용자 단말의 요청에 따라 저장된 상기 합성 대상 이미지를 상기 제2사용자 단말로 송신하며, 상기 제2사용자 단말에 의하여 촬영된 상기 합성 사진을 수신하여 저장하는 이미지 공유 서버를 포함한다.The photographing and image sharing system according to an embodiment of the present invention for solving the above problems, the generation of the synthesis target image to be used for image synthesis to the image segmentation server using the pre-stored original image, and the generated synthesis A first user terminal for registering the target image with the image sharing server; An image segmentation server extracting a synthesis target image from the original image through communication with the first user terminal and transmitting the extracted target image to the first user terminal; A second user terminal receiving the registered synthesis target image from the image sharing server and taking a composite picture including at least a portion of the transmitted synthesis target image; And receive and store the synthesis target image from the first user terminal, and transmit the stored synthesis target image to the second user terminal according to a request of the second user terminal, and photographed by the second user terminal. It includes an image sharing server for receiving and storing the composite picture.

이때 상기 이미지 세그멘테이션 서버는, 상기 제1사용자 단말로부터 상기 원본 이미지 및 상기 원본 이미지 내부의 선택 영역 정보를 수신하고, 상기 선택 영역에 존재하는 피사체를 배경과 분리하여 추출하여 상기 제1사용자 단말로 송신할 수 있다.In this case, the image segmentation server receives the original image and selection area information inside the original image from the first user terminal, extracts a subject existing in the selection area from a background, and transmits the extracted information to the first user terminal. can do.

그리고 상기 이미지 세그멘테이션 서버는, 상기 제1사용자 단말로부터 추출된 상기 피사체에 대한 경계면 보정 요청을 수신하고, 상기 보정 요청에 따라 상기 피사체의 경계면을 보정하며, 보정된 상기 피사체를 합성 대상 이미지로 상기 제1사용자 단말로 송신할 수 있다.The image segmentation server receives a boundary plane correction request for the subject extracted from the first user terminal, corrects a boundary plane of the subject according to the correction request, and converts the corrected subject into a composite target image. 1 can transmit to the user terminal.

또한 상기 제1사용자 단말은 수신된 상기 합성 대상 이미지와 함께 상기 합성 대상 이미지의 가격, 상기 합성 대상 이미지 판매 시의 기부 비율 및 결제 정보 중 하나 이상을 포함하는 이미지 판매 정보를 상기 이미지 공유 서버에 등록할 수 있다.In addition, the first user terminal registers the image selling information including the price of the synthesis target image, a donation ratio when selling the synthesis target image, and payment information together with the received synthesis target image to the image sharing server. can do.

한편 상기 제2사용자 단말은, 상기 제2사용자 단말에 포함된 카메라 모듈로부터 전송되는 영상과 함께 상기 합성 대상 이미지를 디스플레이하고, 사진 촬영 시 상기 합성 대상 이미지를 촬영된 영상과 합성하여 저장할 수 있다.
Meanwhile, the second user terminal may display the synthesis target image together with the image transmitted from the camera module included in the second user terminal, and store the synthesized target image by combining the captured image with the captured image.

한편, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 합성 대상 이미지 생성 방법은, 이미지 세그멘테이션 서버에서, 제1사용자 단말로부터 원본 이미지 및 상기 원본 이미지 내부의 특정 영역에 대한 선택 정보를 수신하는 단계; 상기 이미지 세그멘테이션 서버에서, 상기 원본 이미지 중 수신된 상기 선택 영역에 존재하는 피사체를 배경과 분리하는 단계; 상기 이미지 세그멘테이션 서버에서, 분리된 상기 피사체를 상기 제1사용자 단말로 송신하는 단계; 상기 이미지 세그멘테이션 서버에서, 상기 제1사용자 단말로부터 상기 피사체에 대한 경계면 보정 요청을 수신하는 단계; 및 상기 이미지 세그멘테이션 서버에서, 수신된 상기 경계면 보정 요청에 따라 상기 피사체의 경계면을 보정하여 합성 대상 이미지를 생성하는 단계를 포함한다.On the other hand, in order to solve the above problems, the synthesis target image generation method according to an embodiment of the present invention, the image segmentation server, from the first user terminal to receive the original image and the selection information for the specific region inside the original image; step; Separating, at the image segmentation server, a subject existing in the selected area received from the original image from a background; Transmitting, at the image segmentation server, the separated subject to the first user terminal; Receiving, at the image segmentation server, a boundary plane correction request for the subject from the first user terminal; And generating, at the image segmentation server, a synthesis target image by correcting the boundary surface of the subject according to the received boundary surface correction request.

이때 상기 경계면 보정 단계의 수행 이후, 상기 제1사용자 단말은 상기 합성 대상 이미지와 함께 상기 합성 대상 이미지의 가격, 상기 합성 대상 이미지 판매 시의 기부 비율 및 결제 정보 중 하나 이상을 포함하는 이미지 판매 정보를 상기 이미지 공유 서버에 등록할 수 있다.
In this case, after performing the boundary plane correcting step, the first user terminal includes image selling information including at least one of a price of the synthesis target image, a donation ratio when selling the synthesis target image, and payment information together with the synthesis target image. The image sharing server may be registered.

한편, 상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 합성 사진 촬영 및 공유 방법은, 제2사용자 단말에서, 이미지 공유 서버로부터 합성 대상 이미지를 수신하는 단계; 상기 제2사용자 단말에서, 수신된 상기 합성 대상 이미지의 적어도 일부를 포함하는 합성 사진을 촬영하는 단계; 및 상기 제2사용자 단말에서, 촬영된 상기 합성 사진을 이미지 공유 서버로 업로드하는 단계를 포함한다.On the other hand, composite image taking and sharing method according to an embodiment of the present invention for solving the above problems, in the second user terminal, receiving the synthesis target image from the image sharing server; Photographing, at the second user terminal, a composite picture including at least a portion of the received synthesis target image; And uploading the taken composite picture to the image sharing server at the second user terminal.

이때 상기 합성 사진 촬영 단계는, 상기 제2사용자 단말에 포함된 카메라 모듈로부터 전송되는 영상과 함께 상기 합성 대상 이미지를 화면 상에 디스플레이하는 단계; 상기 제2사용자 단말 사용자의 요청에 따라 디스플레이된 상기 합성 대상 이미지의 화면 상의 위치, 크기 및 명암 중 하나 이상을 변경하는 단계; 및 상기 사용자의 사진 촬영 시 상기 합성 대상 이미지를 촬영된 영상과 합성하여 저장하는 단계를 포함할 수 있다.
In this case, the taking a composite picture may include: displaying the synthesis target image on a screen together with an image transmitted from a camera module included in the second user terminal; Changing at least one of a position, a size, and a contrast on the screen of the synthesis target image displayed at the request of the second user terminal user; And synthesizing and storing the synthesis target image with the captured image when the user takes a picture.

본 발명의 실시예들에 따를 경우, 이미지 합성을 위한 합성 대상 이미지 획득 시 이미지 세그멘테이션 서버를 이용하여 피사체 추출 및 보정 작업을 수행하므로, 프로세서의 용량 및 처리 능력이 제한되는 모바인 단말 등에서도 원활히 합성 대상 이미지를 추출할 수 있다.According to the exemplary embodiments of the present invention, since the subject extraction and correction are performed by using the image segmentation server when the image to be synthesized for image synthesis is obtained, the mobile terminal, which is limited in capacity and processing capacity of the processor, is smoothly synthesized. The target image can be extracted.

또한 본 발명의 실시예들에 따를 경우, 이미지 구매 및 합성 기술을 활용하여 현재 함께할 수 없는 가족, 친구, 유명인 등과 함께 촬영하는 효과를 얻을 수 있고, 촬영한 이미지를 다른 사용자들과 함께 공유할 수 있게 된다.
In addition, according to embodiments of the present invention, by using the image purchase and compositing technology can be obtained with the effect that can be taken with family, friends, celebrities, etc. that can not be present together, and share the captured image with other users It becomes possible.

도 1은 본 발명의 실시 예에 따른 이미지 공유 시스템의 구성을 도시한 도면이다.
도 2는 도1의 이미지 공유 시스템을 이용한 이미지 공유 방법을 설명하기 위한 절차도이다.
도 3은 도2의 이미지 등록 단계를 설명하기 위한 일 예를 도시한 도면이다.
도 4는 본 발명의 웹 서버에서 제공하는 웹 페이지에서 판매(Selling) 메뉴의 서브 메뉴들 중 'All'을 선택한 경우의 일 예를 나타낸 도면이다.
도 5는 본 발명의 웹 서버에서 제공하는 웹 페이지에서 판매(Selling) 메뉴의 서브 메뉴들 중 'New'을 선택한 경우의 일 예를 나타낸 도면이다.
도 6은 본 발명의 웹 서버에서 제공하는 웹 페이지에서 판매(Selling) 메뉴의 서브 메뉴들 중 'Setting'을 선택한 경우의 일 예를 나타낸 도면이다.
도 7은 본 발명의 웹 서버에서 제공하는 웹 페이지에서 구매(Buying) 메뉴의 서브 메뉴들 중 'Mall'을 선택한 경우의 일 예를 나타낸 도면이다.
도 8은 본 발명의 웹 서버에서 제공하는 웹 페이지에서 구매(Buying) 메뉴의 서브 메뉴들 중 'Mall'를 선택한 경우의 또 다른 예를 나타낸 도면이다.
도 9는 본 발명의 웹 서버에서 제공하는 웹 페이지에서 구매(Buying) 메뉴의 서브 메뉴들 중 'My'를 선택한 경우의 일 예를 나타낸 도면이다.
도 10은 본 발명의 웹 서버에서 제공하는 웹 페이지에서 구매(Buying) 메뉴의 서브 메뉴들 중 'Manager'를 선택한 경우의 일 예를 나타낸 도면이다.
도 11은 추출한 이미지를 이용하여 실제 촬영한 화면의 일 예를 도시한 도면이다.
도12는 본 발명의 웹 서버에서 제공하는 웹 페이지에서 공유(Sharing) 메뉴의 서브 메뉴들 중 'Dashboard'를 선택한 경우의 일 예를 나타낸 도면이다.
도 13은 본 발명의 웹 서버에서 제공하는 웹 페이지에서 공유(Sharing) 메뉴의 서브 메뉴들 중 'Live Feed'를 선택한 경우의 일 예를 나타낸 도면이다.
도 14는 본 발명의 웹 서버에서 제공하는 웹 페이지에서 공유(Sharing) 메뉴의 서브 메뉴들 중 'Photos'를 선택한 경우의 일 예를 나타낸 도면이다.
도 15는 본 발명의 웹 서버에서 제공하는 웹 페이지에서 공유(Sharing) 메뉴의 서브 메뉴들 중 'Friends'를 선택한 경우의 일 예를 나타낸 도면이다.
도 16은 본 발명의 웹 서버에서 제공하는 웹 페이지에서 블로그(Blog) 메뉴의 서브 메뉴들 중 'Categories'를 선택한 경우의 일 예를 나타낸 도면이다.
도 17은 본 발명의 웹 서버에서 제공하는 웹 페이지에서 통계(Statistics) 메뉴를 선택한 경우의 일 예를 나타낸 도면이다.
1 is a diagram illustrating a configuration of an image sharing system according to an exemplary embodiment of the present invention.
FIG. 2 is a flowchart illustrating an image sharing method using the image sharing system of FIG. 1.
FIG. 3 is a diagram illustrating an example for describing an image registration step of FIG. 2.
4 is a diagram illustrating an example of selecting 'All' among submenus of a selling menu in a web page provided by a web server of the present invention.
FIG. 5 is a diagram illustrating an example of selecting 'New' among submenus of a selling menu in a web page provided by a web server of the present invention.
FIG. 6 is a diagram illustrating an example of selecting 'Setting' among sub menus of a selling menu in a web page provided by a web server of the present invention.
FIG. 7 is a diagram illustrating an example of selecting 'Mall' among sub menus of a buying menu in a web page provided by a web server of the present invention.
FIG. 8 is a diagram illustrating another example of selecting 'Mall' among sub menus of a buying menu on a web page provided by a web server of the present invention.
FIG. 9 is a diagram illustrating an example of selecting 'My' among sub menus of a buying menu in a web page provided by a web server of the present invention.
FIG. 10 is a diagram illustrating an example of selecting 'Manager' among sub menus of a buying menu in a web page provided by a web server of the present invention.
11 is a diagram illustrating an example of a screen actually photographed using the extracted image.
FIG. 12 is a diagram illustrating an example of selecting 'Dashboard' among sub menus of a sharing menu in a web page provided by a web server of the present invention.
FIG. 13 is a diagram illustrating an example in which 'Live Feed' is selected among sub menus of a sharing menu in a web page provided by a web server of the present invention.
14 is a diagram illustrating an example of selecting 'Photos' among sub menus of a sharing menu in a web page provided by a web server of the present invention.
FIG. 15 is a diagram illustrating an example of selecting 'Friends' among sub menus of a sharing menu in a web page provided by a web server of the present invention.
FIG. 16 is a diagram illustrating an example of selecting 'Categories' among sub menus of a blog menu in a web page provided by a web server of the present invention.
FIG. 17 is a diagram illustrating an example of selecting a statistics menu from a web page provided by a web server of the present invention.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, this is merely an example and the present invention is not limited thereto.

본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In the following description, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification.

본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하의 실시예는 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
The technical idea of the present invention is determined by the claims, and the following embodiments are merely a means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들에 따른 이미지 공유 시스템 및 이를 이용한 이미지 공유 방법을 설명하면 다음과 같다.Hereinafter, an image sharing system and an image sharing method using the same according to embodiments of the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 모바일 이미지 세그멘테이션을 이용한 사진 촬영 및 이미지 공유 시스템의 구성을 도시한 도면이며, 도 2는 상기 사진 촬영 및 이미지 공유 시스템을 이용한 사진 촬영 및 이미지 공유 방법을 나타낸 순서도이다.1 is a view showing the configuration of a photo taking and image sharing system using a mobile image segmentation according to an embodiment of the present invention, Figure 2 is a flow chart illustrating a photo taking and image sharing method using the photo taking and image sharing system. to be.

본 발명의 실시예에 따른 모바일 이미지 세그멘테이션을 이용한 사진 촬영 및 이미지 공유 시스템(100)은 도 1에 도시된 바와 같이, 제1사용자 단말(102), 이미지 세그멘테이션 서버(104), 제2사용자 단말(106) 및 이미지 공유 서버(108)를 포함하며, 각각의 구성요소들은 네트워크(110)를 통하여 서로 연결된다. 이때 네트워크(110)는 근거리 네트워크망(Local Area Network: LAN), 유선 인터넷망 등과 같은 유선망 또는 무선 랜(WiFi), 이동통신망 등의 무선망을 포괄하는 의미이다.As shown in FIG. 1, the photo taking and image sharing system 100 using the mobile image segmentation according to an exemplary embodiment of the present invention includes a first user terminal 102, an image segmentation server 104, and a second user terminal ( 106 and an image sharing server 108, the respective components being connected to each other via a network 110. In this case, the network 110 refers to a wired network such as a local area network (LAN), a wired internet network, or a wireless network such as a wireless LAN (WiFi) or a mobile communication network.

또한 본 발명의 실시예에 따른 모바일 이미지 세그멘테이션을 이용한 사진 촬영 및 이미지 공유 방법은 이미지 공유 방법은 크게 이미지 등록 단계(S20), 이미지 구매 단계(S21), 촬영 단계(S22) 및 공유 단계(S23)를 포함한다.In addition, the photographing and image sharing method using the mobile image segmentation according to an embodiment of the present invention, the image sharing method is largely the image registration step (S20), image purchase step (S21), shooting step (S22) and sharing step (S23) It includes.

이와 같이 구성된 이미지 공유 시스템(10)의 각 블럭들의 기능을 살펴보면 다음과 같다.Looking at the function of each block of the image sharing system 10 configured as described above are as follows.

제1사용자 단말(102)은 기 저장된 원본 이미지를 이용하여 이미지 세그멘테이션 서버(104)로 이미지 합성에 사용될 합성 대상 이미지의 생성을 요청하고, 생성된 상기 합성 대상 이미지를 이미지 공유 서버(108)에 등록한다. 즉, 제1사용자 단말(102)은 합성 대상 이미지를 생성하여 이를 이미지 공유 서버(108)에 제공하는 단말이다. 이때 상기 원본 이미지는 제1사용자 단말(102)에 포함된 카메라 모듈 등을 이용하여 촬영한 영상이거나 사용자가 제1사용자 단말(102)에 저장한 이미지 등이 될 수 있다. 예를 들어, 제1사용자 단말(102)의 사용자(이하 “제1사용자”로 칭함)는 제1사용자 단말(102) 또는 제1사용자 단말(102)과 연결 가능한 디지털 카메라 등의 장치를 이용하여 자신 또는 가족 등의 사진을 촬영하고 촬영된 사진에서 배경을 제외한 자신의 이미지 만을 추출하여 이를 합성 대상 이미지로서 이미지 공유 서버(108)에 등록할 수 있다.The first user terminal 102 requests the image segmentation server 104 to generate a composition target image to be used for image synthesis using the previously stored original image, and registers the generated synthesis target image to the image sharing server 108. do. That is, the first user terminal 102 is a terminal that generates a synthesis target image and provides it to the image sharing server 108. In this case, the original image may be an image photographed using a camera module included in the first user terminal 102 or an image stored by the user in the first user terminal 102. For example, a user of the first user terminal 102 (hereinafter referred to as “first user”) may be connected to the first user terminal 102 or a device such as a digital camera that may be connected to the first user terminal 102. Taking a picture of yourself or a family and the like and extracting only the own image excluding the background from the taken picture and register it as the composition target image to the image sharing server 108.

이와 같은 제1사용자 단말은 예를 들어 PC 또는 이동 통신 단말기 등으로 이루어질 수 있다.Such a first user terminal may be formed of, for example, a PC or a mobile communication terminal.

PC는 내부에 카메라 기능을 갖는 모듈을 구비하거나, 또는 디지털 카메라와 연결되어 이로부터 이미지를 제공받을 수 있으며, 근거리 네트워크망(Local Area Network: LAN)과 같은 유선망 또는 무선 랜(WiFi) 등의 무선망을 통해 이미지 세그멘테이션 서버(104) 및 이미지 공유 서버(108)와 통신한다. 또한 이동 통신 단말기는 내부에 카메라 기능을 갖는 무선 단말기로서, 3G나 WiFi와 같은 무선망을 통해 이미지 세그멘테이션 서버(104) 및 이미지 공유 서버(108)와 통신한다. 예를 들어, 이동 통신 단말기에는 핸드폰, 스마트폰, 태블릿 PC, PDA 등이 있다. 사용자는 상기 PC와 같은 유선 단말기나 이동 통신 단말기와 같은 무선 단말기를 통해 원본 이미지로부터 합성 대상 이미지를 생성하고, 이를 이미지 공유 서버(108)에 등록할 수 있다.The PC may be provided with a module having a camera function internally or connected to a digital camera to receive an image from the PC. It communicates with the image segmentation server 104 and the image sharing server 108 via a network. Also, the mobile communication terminal is a wireless terminal having a camera function therein, and communicates with the image segmentation server 104 and the image sharing server 108 through a wireless network such as 3G or WiFi. For example, mobile communication terminals include mobile phones, smartphones, tablet PCs, PDAs, and the like. The user may generate a synthesis target image from the original image through a wired terminal such as a PC or a wireless terminal such as a mobile communication terminal, and register it with the image sharing server 108.

이미지 세그멘테이션 서버(104)는 제1사용자 단말(104)과의 통신을 통하여 상기 원본 이미지로부터 합성 대상 이미지를 추출하여 제1사용자 단말(102)로 송신한다. 구체적으로, 이미지 세그멘테이션 서버(104)는 제1사용자 단말(102)로부터 원본 이미지 및 상기 원본 이미지 내부의 선택 영역 정보를 수신하고, 상기 선택 영역에 존재하는 피사체를 배경과 분리하여 추출하여 상기 제1사용자 단말로 송신한다. 또한 이미지 세그멘테이션 서버(104)는 제1사용자 단말(104)로부터 추출된 상기 피사체에 대한 경계면 보정 요청을 제1사용자 단말(102)로부터 수신하고, 상기 보정 요청에 따라 상기 피사체의 경계면을 보정하며, 보정된 상기 피사체를 합성 대상 이미지로서 제1사용자 단말(102)로 송신하게 된다.The image segmentation server 104 extracts a composition target image from the original image through communication with the first user terminal 104 and transmits the composition target image to the first user terminal 102. In detail, the image segmentation server 104 receives the original image and selection area information inside the original image from the first user terminal 102, extracts a subject existing in the selection area from the background, and extracts the first image. Send to the user terminal. In addition, the image segmentation server 104 receives a boundary correction request for the subject extracted from the first user terminal 104 from the first user terminal 102, corrects the boundary of the subject according to the correction request, The corrected subject is transmitted to the first user terminal 102 as a composition target image.

도 2 및 도 3을 참조하여 이미지 세그멘테이션 서버(104)에서의 합성 대상 이미지 추출 과정을 설명하면 다음과 같다.Referring to FIGS. 2 and 3, a process of extracting a synthesis target image from the image segmentation server 104 is as follows.

먼저, 제1사용자 단말(102)의 사용자, 즉 제1사용자는 제1사용자 단말(102)에 저장되어 있는 원본 이미지 중 하나를 선택하고, 제1사용자 단말(102)은 이를 화면상에 디스플레이한다(S200 및 도 3의 첫 번째 사진). First, the user of the first user terminal 102, that is, the first user selects one of the original images stored in the first user terminal 102, and the first user terminal 102 displays it on the screen. (S200 and the first picture of Figure 3).

다음으로, 상기 제1사용자는 추출하고자 하는 합성 대상 이미지가 포함되도록 불러온 원본 이미지에서 박스 형상의 선택 영역을 지정한다(S201 및 도 3의 두 번째 사진). 도 3에 도시된 예에서, 추출하고자 하는 합성 대상 이미지는 어린아이의 전신 사진(31)이므로, 도 3의 두 번째 사진에서는 이와 같은 어린아이의 전신 사진(31)이 포함되도록 선택 영역(32)을 지정할 수 있다. Next, the first user designates a selection area of a box shape in the original image that is loaded to include the composition target image to be extracted (S201 and the second picture of FIG. 3). In the example shown in FIG. 3, since the synthesis target image to be extracted is the whole body picture 31 of the child, the second region of FIG. 3 includes the selection area 32 such that the whole body picture 31 of the child is included. Can be specified.

이와 같이 선택 영역이 지정되면, 제1사용자 단말(102)은 상기 원본 이미지 및 선택 영역 정보를 이미지 세그멘테이션 서버(104)로 송신하며, 이미지 세그멘테이션 서버(104)는 상기 선택 영역 내부에 위치한 피사체를 인식하고, 피사체의 경계를 추적하여 피사체(31)와 배경 이미지(30)를 분리함으로써 원본 이미지로부터 피사체만을 추출한다(1차 연산). 이때 상기 1차 연산은, 예를 들어 Grabcut 알고리즘을 활용하여 수행될 수 있다. 그러나 본 발명의 실시예에서 활용되는 Grabcut 알고리즘은 하나의 실시예일 뿐이며, 이미지의 경계면을 추적하여 일부 이미지를 추출하고, 경계면을 보정하는 기능을 제공하는 복수의 알고리즘들 중 다른 알고리즘을 사용하는 것도 무방하다.When the selection area is designated as described above, the first user terminal 102 transmits the original image and the selection area information to the image segmentation server 104, and the image segmentation server 104 recognizes a subject located inside the selection area. Then, by separating the subject 31 and the background image 30 by tracking the boundary of the subject, only the subject is extracted from the original image (first operation). In this case, the first operation may be performed using, for example, a grabcut algorithm. However, the Grabcut algorithm utilized in the embodiment of the present invention is just one embodiment, and it is also possible to use another algorithm among a plurality of algorithms that provide a function of extracting some images by tracking the boundary of the image and correcting the boundary. Do.

이와 같은 1차 연산이 완료되면, 이미지 세그멘테이션 서버(104)는 추출된 상기 피사체(31)를 제1사용자 단말(102)로 송신한다. 이후, 제1사용자는 제1사용자 단말(102)에 디스플레이된 피사체(31)를 확인하고, 필요한 경우 경계면에 대한 보정을 수행한다(S202 및 도 3의 3번째 사진). 원본 이미지 및 추출하고자 하는 피사체 또는 배경의 종류에 따라 상기 1차 연산의 수행 이후에도 피사체의 경계면이 정확하게 배경과 분리되지 않고 배경이 남아 있거나 또는 피사체의 일부가 잘리는 경우가 있을 수 있다. 따라서 이 경우에는 제1사용자가 디스플레이된 1차 연산의 결과물을 보고 경계면이 매끄럽지 못하거나 또는 잘못된 부분을 마우스 또는 손가락 터치 등으로 드래그함으로써 잘못된 경계면을 지정할 수 있다. 이와 같이 잘못된 경계면에 대한 보정 요청을 상기 마우스 드래그 또는 손가락 터치 등으로 지정하면, 제1사용자 단말(102)은 상기 요청을 이미지 세그멘테이션 서버(104)로 송신하고, 이미지 세그멘테이션 서버(104)는 선택된 경계면을 Grabcut 등의 알고리즘을 이용한 2차 연산을 통하여 보정하고 보정이 완료된 피사체(31)를 제1사용자 단말(102)로 전송한다. 이와 같이 보정이 완료된 피사체는 본 발명에서의 합성 대상 이미지가 되며, 이는 다음의 과정을 거쳐 이미지 공유 서버(108)에 등록된다.When the first operation is completed, the image segmentation server 104 transmits the extracted subject 31 to the first user terminal 102. Thereafter, the first user checks the subject 31 displayed on the first user terminal 102, and if necessary, corrects the boundary surface (S202 and the third picture of FIG. 3). Depending on the original image and the type of the subject or background to be extracted, there may be a case where the boundary of the subject is not separated from the background correctly and the background remains or a part of the subject is cut off even after performing the first operation. Therefore, in this case, the first user may designate an incorrect boundary by looking at the displayed result of the first operation and the boundary is not smooth or by dragging the wrong portion with a mouse or a finger touch. When the correction request for the wrong boundary is designated as the mouse drag or finger touch, the first user terminal 102 transmits the request to the image segmentation server 104, and the image segmentation server 104 selects the selected boundary. Is corrected through a quadratic operation using an algorithm such as Grabcut, and the corrected subject 31 is transmitted to the first user terminal 102. In this way, the corrected subject becomes a composition target image in the present invention, which is registered in the image sharing server 108 through the following process.

즉, 제1사용자 단말(102)은 상기 합성 대상 이미지를 확인하고, 이와 관련된 텍스트(이미지 소개, 부연 설명, 또는 제목 등), 상기 합성 대상 이미지의 가격, 상기 합성 대상 이미지 판매 시의 기부 비율(즉, 해당 이미지 판매 시 판매 금액의 일부를 자선단체 등에 기부할 경우 그 비율)을 설정한다(S203), 상기 합성 대상 이미지를 업로드한 사람의 계좌 정보 등의 결제 정보를 입력한 뒤(S204, 단 본 단계는 이미 결제 정보가 등록되어 있는 경우에는 생략 가능하다), 상기 이미지와 관련된 정보를 이미지 공유 서버(108)에 등록하게 된다(S205).That is, the first user terminal 102 checks the image to be synthesized, and related text (image introduction, additional description, or title, etc.), the price of the image to be synthesized, and the donation ratio when the image to be synthesized is sold ( In other words, the ratio of the amount of money sold to charity when donating the image is set (S203), and after inputting payment information such as account information of the person who uploaded the image to be synthesized (S204, This step may be omitted if payment information has already been registered), and the information related to the image is registered in the image sharing server 108 (S205).

제2사용자 단말(106)은 이미지 공유 서버(208)에 등록되어 저장된 합성 대상 이미지를 내려받아 이로부터 합성사진을 생성하는 단말이다. 제1사용자 단말(106)과 마찬가지로, 제2사용자 단말(106) 또한 사진 촬영 기능을 갖춘 PC 또는 이동 통신 단말기 등이 될 수 있다. 즉, 본 발명에서 제1사용자 단말(102) 및 제2사용자 단말(106)의 분류는 기능적인 것으로서, 필요에 따라 동일한 단말기가 합성 대상 이미지를 생성하는 데 사용되는 경우에는 제1사용자 단말(102)로 기능할 수 있고, 합성 대상 이미지를 이용하여 합성 사진을 촬영하는 데 사용될 경우에는 제2사용자 단말(106)로 기능할 수 있음에 유의한다.The second user terminal 106 is a terminal that downloads and stores a synthesis target image registered and stored in the image sharing server 208 and generates a composite picture therefrom. Like the first user terminal 106, the second user terminal 106 may also be a PC or a mobile communication terminal having a photographing function. That is, in the present invention, the classification of the first user terminal 102 and the second user terminal 106 is functional, and when the same terminal is used to generate a composition target image as needed, the first user terminal 102 is used. Note that it may function as the second user terminal 106, and when used to take a composite picture using the composition target image.

이와 같은 제2사용자 단말(106)은 이미지 공유 서버(108)에 등록된 상기 합성 대상 이미지를 이미지 공유 서버(108)로부터 전송 받고, 전송된 상기 합성 대상 이미지의 적어도 일부를 포함하는 합성 사진을 촬영하며, 촬영된 사진을 이미지 공유 서버(108)에 등록함으로써 다른 사용자들과 공유할 수 있도록 한다. 한편, 제2사용자 단말(106)에서의 사진 합성은 제2사용자 단말(106)을 이용한 사진 촬영 시 이와 동시에 수행되며, 이에 대한 자세한 설명은 후술하기로 한다.The second user terminal 106 receives the synthesis target image registered in the image sharing server 108 from the image sharing server 108, and captures a composite picture including at least a portion of the transmitted synthesis target image. The registered picture is registered in the image sharing server 108 to be shared with other users. On the other hand, the photo synthesis in the second user terminal 106 is performed at the same time when taking a picture using the second user terminal 106, a detailed description thereof will be described later.

이미지 공유 서버(108)는 제1사용자 단말(102)로부터 합성 대상 이미지를 전송받아 저장하고, 제2사용자 단말(106)의 요청에 따라 저장된 상기 합성 대상 이미지를 상기 제2사용자 단말(106)로 송신하며, 상기 제2사용자 단말에 의하여 촬영된 상기 합성 사진을 수신하여 저장하여 타 사용자와 공유될 수 있도록 한다.The image sharing server 108 receives and stores the synthesis target image from the first user terminal 102, and stores the synthesis target image stored at the request of the second user terminal 106 to the second user terminal 106. It transmits and receives and stores the composite picture taken by the second user terminal to be shared with other users.

이와 같은 이미지 공유 서버(108)는, 예를 들어 웹 서버로 구현될 수 있다. 상기 웹 서버는 유선망 또는 무선망 등의 네트워크(110)를 통해 접속하는 복수 개의 제1사용자 단말(102) 및 제2사용자 단말(106)들 간의 이미지의 거래 및 공유를 위한 웹 페이지를 제공한다. 좀 더 구체적으로, 이미지 공유 서버(108)는 제1사용자 단말(102)의 사용자가 등록하는 이미지들을 저장하고, 제2사용자 단말(102)의 요청에 따라 등록된 상기 이미지(합성 대상 이미지)를 제공한다. 만약 이 과정에서 제1사용자 단말(102)의 사용자가 등록된 합성 대상 이미지에 가격을 설정해 둔 경우, 이미지 공유 서버(108)는 해당 금액을 제2사용자 단말(102)로부터 과금하고, 과금된 금액의 전부 또는 일부를 제1사용자 단말(102)이 입력한 결제 정보를 이용하여 제1사용자 단말(102) 측으로 지급한다. 또한 제1사용자 단말(102)의 사용자가 해당 금액의 일부를 기부하기로 설정한 경우, 이미지 공유 서버(108)는 해당 비율만큼을 자선단체 등으로 송금한다.Such an image sharing server 108 may be implemented, for example, as a web server. The web server provides a web page for trading and sharing an image between a plurality of first user terminals 102 and second user terminals 106 connected through a network 110 such as a wired or wireless network. More specifically, the image sharing server 108 stores images registered by the user of the first user terminal 102 and stores the registered image (synthesis target image) at the request of the second user terminal 102. to provide. If the user of the first user terminal 102 has set a price on the registered composition target image in this process, the image sharing server 108 charges the corresponding amount from the second user terminal 102, and the charged amount All or part of is paid to the first user terminal 102 using the payment information input by the first user terminal 102. In addition, when the user of the first user terminal 102 is set to donate a portion of the amount, the image sharing server 108 transfers the amount to the charity or the like.

또한, 이미지 공유 서버(108)는 제2사용자 단말(106)로부터 합성사진을 제공받고 이를 다른 사용자들과 공유할 수 있도록 웹 인터페이스를 통하여 게시하며, 상기 합성 사진을 트위터 또는 페이스북 등의 소셜 네트워크 서비스의 사용자 계정으로 제공하거나 또는 상기 합성 사진에 평점을 부여하거나 댓글을 달기 위한 웹 또는 모바일 웹 인터페이스를 포함할 수 있다.In addition, the image sharing server 108 receives the composite picture from the second user terminal 106 and posts it through a web interface so that it can be shared with other users, and the composite picture is posted on a social network such as Twitter or Facebook. It may include a web or mobile web interface for providing a user account of the service or for rating or commenting on the composite picture.

이하에서는 도 2 및 도 4를 참조하여 제2사용자 단말(106)을 통한 이미지 구매, 합성사진 촬영 및 공유 단계에 대하여 설명한다.Hereinafter, with reference to Figures 2 and 4 will be described for the image purchase, composite picture taking and sharing step through the second user terminal 106.

먼저, 이미지 구매 단계(S21)는 제2사용자 단말(106)의 사용자가(이하 “제2사용자”라 칭함) 이미지 공유 서버(108)에 등록된 합성 대상 이미지를 검색하는(S210) 것으로 시작한다.First, the image purchasing step S21 starts by searching for a composition target image registered in the image sharing server 108 by the user of the second user terminal 106 (hereinafter referred to as "second user") (S210). .

다음, 등록된 합성 대상 이미지들 중 구매할 이미지를 선택하면(S211), 제2사용자 단말(106)은 구매할 이미지를 결제한다. 만일, 이미지 공유 서버(108)에 이용자의 결제 정보가 저장되어 있지 않은 경우, 상기 제2사용자는 이용자의 결제 정보를 입력하며(S212), 입력된 결제 정보는 이미지 공유 서버(108)에 저장된다. 이에 따라, 합성 대상 이미지의 구매가 완료되며(S213), 이용자는 필요한 경우 이미지 공유 서버(108)에서 제공되는 웹 페이지 상에 구매한 이미지에 대한 평점 및 댓글을 등록할 수 있다(S214).Next, if an image to be purchased is selected from the registered composition target images (S211), the second user terminal 106 pays for the image to be purchased. If the payment information of the user is not stored in the image sharing server 108, the second user inputs the payment information of the user (S212), and the input payment information is stored in the image sharing server 108. . Accordingly, the purchase of the synthesis target image is completed (S213), and if necessary, the user may register a rating and a comment on the purchased image on the web page provided by the image sharing server 108 (S214).

한편, 구매한 합성 대상 이미지를 이용하여 실제 촬영을 수행하는 촬영 단계(S22)는 다음과 같이 진행된다.On the other hand, the shooting step (S22) for performing the actual shooting by using the purchased composite target image proceeds as follows.

먼저, 제2사용자는 제2사용자 단말(106)에 기 구매되어 저장된 합성 대상 이미지를 선택한다(S220). 상기 합성 대상 이미지가 선택되면, 선택된 합성 대상 이미지(31)는 도 4에서 볼 수 있는 바와 같이 제2사용자 단말(106)의 카메라 모듈로부터 전송되는 영상과 함께 제2사용자 단말(106)의 디스플레이창에 출력된다. 즉, 일반적으로 카메라 기능을 갖춘 단말기의 경우 액정 화면에 현재 렌즈로 들어오는 영상이 디스플레이되는데, 본 발명의 경우에는 이와 같은 영상과 함께 상기 합성 대상 이미지가 함께 디스플레이됨으로써 제2사용자가 상기 액정을 보면 마치 합성 대상 이미지와 촬영하고자 하는 피사체가 동일한 장소에서 같이 사진을 찍는 듯한 느낌을 가지게 된다.First, the second user selects a synthesis target image previously purchased and stored in the second user terminal 106 (S220). When the synthesis target image is selected, the selected synthesis target image 31 is displayed on the display window of the second user terminal 106 together with the image transmitted from the camera module of the second user terminal 106 as shown in FIG. 4. Is output to That is, in general, a terminal having a camera function displays an image coming into a current lens on a liquid crystal screen. In the present invention, the image to be synthesized is displayed together with the image, such that the second user looks at the liquid crystal. The image to be synthesized and the subject to be photographed have a feeling of taking pictures in the same place.

이와 같이 합성 대상 이미지가 디스플레이되면, 제2사용자는 선택된 이미지의 화면 상의 위치, 크기, 명암, 회전 등을 조정하여 합성 대상 이미지가 현재 촬영하려는 영상과 자연스럽게 어울릴 수 있도록 하고(S221), 촬영 버튼을 눌러 이미지를 촬영하여 저장한다(S222). 이 경우 상기 합성 대상 이미지는 사용자가 지정한 위치에 상기 촬영된 이미지와 합성되어 저장된다. 도 4를 보면, 선택한 추출 이미지(31)를 촬영하는 화면 내에 위치시켜 실제 촬영하는 화면과 추출 이미지(31)를 합성하는 것을 알 수 있다. 이러한 기능은 촬영 당시에 같이 없는 사람 또는 물건, 현재 존재하지 않는 사람 또는 물건, 유명인, 가보지 못한 장소 등과같이 실제로 함께 촬영하는 것이 불가능한 대상과 함께 촬영한 효과를 제공할 수 있다.When the image to be synthesized is displayed as described above, the second user adjusts the position, size, contrast, rotation, and the like on the screen of the selected image so that the image to be combined naturally matches the image to be captured (S221), and presses the capture button. Press to take an image and store it (S222). In this case, the synthesis target image is synthesized and stored in the photographed image at a location designated by a user. Referring to FIG. 4, it can be seen that the extracted image 31 is synthesized by placing the selected extracted image 31 in the screen for photographing. Such a function may provide an effect of photographing with an object that is impossible to actually photograph together, such as a person or object that is not present at the time of shooting, a person or object that does not currently exist, a celebrity, a place that has not been visited, and the like.

다음, 촬영하고 저장한 이미지는 촬영자의 공유 의도(S223)에 따라 이미지 공유 서버(108)에 등록될 수 있으며(S224), 싸이월드(cyworld), 트위터(twitter), 페이스북(facebook) 등과 같은 SNS(Social Networking Service)에 저장한 이미지를 올려 여러 사람과 공유할 수도 있다. 이와 같이 합성된 이미지가 등록되면, 해당 이미지는 이미지 공유 서버(108)의 공유 게시판 등에서 검색 또는 열람될 수 있으며, 다른 사용자가 댓글을 달거나 평점을 매겨 평가를 하는 것 또한 가능하다(S230, S231).
Next, the photographed and stored images may be registered in the image sharing server 108 according to the photographer's intention to share (S223) (S224), cyworld, twitter, facebook, etc. You can also upload an image you've saved to a social networking service (SNS) and share it with others. When the synthesized image is registered as described above, the image may be searched or viewed on a shared bulletin board of the image sharing server 108, and other users may also comment or rate the evaluation (S230, S231). .

이하, 도 5 내지 도 17을 참조하여 본 발명의 모바일 이미지 세그멘테이션을 이용한 사진 촬영 및 이미지 공유 시스템 및 방법의 이미지 공유 서버(108)(이하 웹 서버로 지칭)가 제공하는 웹 페이지의 실제 예들을 살펴보면 다음과 같다.Hereinafter, referring to FIGS. 5 to 17, a practical example of a web page provided by an image sharing server 108 (hereinafter referred to as a web server) of a system for photographing and sharing images using the mobile image segmentation of the present invention will be described. As follows.

먼저, 도 5를 보면, 사용자가 웹 서버에서 제공하는 웹 페이지에서 판매(Selling) 메뉴의 서브 메뉴인 'All'을 선택하였다. 웹 페이지는 'All' 메뉴에서 사용자가 등록한 사진들 중 최근 등록한 이미지부터 내림차순으로 보여줄 수 있다. 물론, 등록된 이미지의 게시 순서는 다르게 설정될 수도 있을 것이다. 한편, 게시되는 등록 사진 옆에는 사용자가 등록한 사진을 구매한 사람들이 공유한 사진들이 함께 게시될 수 있다. 그리고, 웹 페이지의 우측을 보면, 현재 사용자의 기부 실적, 판매 실적 등을 보여주고 있다.First, referring to FIG. 5, a user selects 'All' as a sub menu of a selling menu in a web page provided by a web server. The web page can be displayed in descending order from the most recently registered image among the photos registered by the user in the 'All' menu. Of course, the posting order of registered images may be set differently. On the other hand, next to the registered picture to be posted may be posted with pictures shared by people who purchased a picture registered by the user. On the right side of the web page, the user's donation performance, sales performance, etc. are shown.

도6을 보면, 사용자가 웹 페이지에서 판매(Selling) 메뉴의 서브 메뉴인 'New'를 선택하였다. 웹 페이지는 'New' 메뉴에서 사용자가 이미지를 등록할 수 있다. 도 2와 도 3을 참조하여 전술한 바와 같이, 사용자는 'New' 메뉴에서 원본 이미지를 불러오고, 추출할 이미지를 포함하는 선택 영역을 지정한 다음 추출한 이미지의 경계면을 보정하여 완성된 추출 이미지를 등록한다. 또한, 등록하는 이미지의 판매 가격과 제목, 목적, 기부 비율 등을 입력하고, 등록 이미지의 판매 대금을 입금받을 수 있는 계좌 정보를 입력한다. 여기서, 등록 이미지에 대해 입력하는 목적은 선행, 여행, 취미 등 여러 개의 카테고리 중에서 선택하여 입력하도록 설정될 수 있다. 이러한 경우 예를 들어, 목적이 선행으로 등록된 이미지들의 개수가 일정 개수를 초과하는 경우 웹 페이지 상에 배지가 표시되도록 하고, 해당 사용자에게 특별한 혜택을 제공하는 방법도 고려될 수 있다.6, the user selects 'New' which is a submenu of the Selling menu in the web page. The web page allows the user to register an image from the 'New' menu. As described above with reference to FIGS. 2 and 3, the user loads the original image from the 'New' menu, specifies a selection area including the image to be extracted, and then corrects the boundary of the extracted image to register the completed extracted image. do. In addition, the selling price, title, purpose, donation ratio, etc. of the image to be registered are inputted, and account information for receiving the payment of the selling price of the registered image is inputted. Here, the purpose of inputting the registered image may be set to select and input from several categories such as prior art, travel, and hobby. In this case, for example, a method may be considered in which a badge is displayed on a web page when the number of previously registered images exceeds a predetermined number, and a special benefit is provided to the corresponding user.

도 7을 보면, 사용자가 웹 페이지에서 판매(Selling) 메뉴의 서브 메뉴인 'Setting'을 선택하였다. 이 'Setting' 메뉴에서는 사용자가 이미 등록한 이미지들에 대해 입력했던 텍스트를 변경하거나 판매 가격 등을 변경하여 다시 저장할 수 있다.Referring to FIG. 7, the user selects 'Setting', which is a sub menu of the Selling menu on the web page. In this 'Setting' menu, the user can change the text entered for the images already registered or change the selling price and save it again.

도 8을 보면, 사용자가 웹 페이지에서 구매(Buying) 메뉴의 서브 메뉴인 'Mall'을 선택하였다. 웹 페이지는 'Mall' 메뉴에서 현재 웹 서버에 등록되어 있는 이미지들을 사용자에게 보여준다. 이미지들의 게시 방법은 다양하게 설정될 수도 있으나, 도 8에 도시된 바와 같이, 최근 스마트폰에서 많이 사용하는 방식인 'Top free', 'Top Paid' 등으로 구분하여 게시할 수도 있다. 한편, 사용자가 이미 구매한 사진 정보를 화면 일측에 게시할 수도 있다.Referring to FIG. 8, a user selects 'Mall' which is a submenu of a Buying menu on a web page. The web page shows the images currently registered on the web server to the user in the 'Mall' menu. The image posting method may be variously set, but as shown in FIG. 8, the image may be classified and posted as 'Top free', 'Top Paid', etc., which are frequently used in smartphones. On the other hand, the photo information that the user has already purchased may be posted on one side of the screen.

도 9를 보면, 사용자가 웹 페이지에서 구매(Buying) 메뉴의 서브 메뉴인 'Mall'에서 구매할 사진을 선택한 경우 선택한 사진에 대한 원본 이미지와 추출 이미지를 보여준다. 물론, 추출 이미지만 보여줄 수도 있다. 한편, 도시된 바와 같이, 등록자의 다른 사진들과 평점들을 함께 보여줄 수도 있다.Referring to FIG. 9, when a user selects a photo to purchase from 'Mall' which is a submenu of a purchasing menu on a web page, an original image and an extracted image of the selected photo are shown. Of course, you can also show only extracted images. On the other hand, as shown, the registrant may also show other pictures and ratings.

도 10을 보면, 사용자가 웹 페이지에서 구매(Buying) 메뉴의 서브 메뉴인 'My'를 선택하였다. 웹 페이지는 'My'메뉴에서 사용자가 이미 구매한 사진들을 보여주고, 동시에 사용자가 등록한 사진들을 보여준다.Referring to FIG. 10, a user selects 'My', which is a submenu of a Buying menu, in a web page. The web page shows the pictures that the user has already purchased from the 'My' menu, and at the same time shows the pictures that the user has registered.

도 11을 보면, 사용자가 웹 페이지에서 구매(Buying) 메뉴의 서브 메뉴인 'Manager'를 선택하였다. 사용자는 'Manager' 메뉴에서 구매 시 결제 정보를 변경할 수 있다.Referring to FIG. 11, a user selects 'Manager' which is a sub menu of a Buying menu in a web page. The user can change the payment information at the time of purchase from the 'Manager' menu.

도 12를 보면, 사용자가 웹 페이지에서 공유(Sharing) 메뉴의 서브 메뉴인 'Dashboard'를 선택하였다. 웹 페이지는 'Dashboard' 메뉴에서 사용자 본인이 공유한 사진들과 함께 각 사진에 달린 댓글을 보여준다. 공유한 사진들은 최근부터 내림차순으로 게시될 수도 있고, 다른 기준에 따라 게시될 수도 있다.Referring to FIG. 12, a user selects 'Dashboard', which is a sub menu of a sharing menu in a web page. The web page displays the comments on each photo along with the photos you have shared in the Dashboard menu. Shared photos may be posted in descending order from recent times, or may be posted according to other criteria.

도 13을 보면, 사용자가 웹 페이지에서 공유(Sharing) 메뉴의 서브 메뉴인 'Live Feed'를 선택하였다. 웹 페이지는 'Live Feed'에서 최근 공유된 사진들과 댓글 및 공유된 시점 등을 함께 게시한다Referring to FIG. 13, a user selected 'Live Feed', which is a sub menu of a sharing menu, in a web page. Web page posts recently shared photos, comments and when they were shared in 'Live Feed'

도 14를 보면, 사용자가 공유(Sharing) 메뉴에서 하나의 공유 사진을 선택한 경우 선택된 사진의 큰 이미지와 함께 사진 설명, 댓글 등을 보여준다. 그리고, Follow 박스를 선택하여 이미지를 공유한 사람과 관계를 맺을 수 있다.Referring to FIG. 14, when a user selects a single shared picture from a sharing menu, a photo description, a comment, and the like are displayed along with a large image of the selected picture. You can also select the Follow box to relate to the person who shared the image.

도 15를 보면, 사용자가 공유(Sharing) 메뉴의 서브 메뉴인 'Friends'를 선택하였다. 이때, 트위터, 페이스북 등을 통해 네트워크 상으로 관계를 맺고 있는 사람들이 최근 공유한 사진들을 보여준다.Referring to FIG. 15, the user selects 'Friends', which is a sub menu of the sharing menu. At this time, people who have a relationship on the network through Twitter, Facebook, etc. recently shared photos.

도 16을 보면, 사용자가 블로그(Blog) 메뉴를 선택하였다. 이때, 웹 페이지는 블로그를 3개씩 게시할 수 있다. 물론, 게시되는 블로그의 개수는 달라질 수 있다.Referring to FIG. 16, the user selects a blog menu. At this time, the web page may post three blogs. Of course, the number of blogs posted may vary.

도 17을 보면, 사용자가 웹 페이지에서 통계(Statistics) 메뉴를 선택하였다. 웹 페이지는 통계 메뉴에서 현재 전체 기부 금액, 국가별 기부 금액 및 개인별 기분 금액, 순위 등을 보여줄 수 있다.Referring to FIG. 17, a user selects a statistics menu on a web page. The web page can show the current total donation amount, country donation amount and individual mood amount, ranking, etc. in the statistics menu.

상기 도 5 내지 도 17은 본 발명에서 제공하는 웹 페이지의 일 실시예일 뿐이며, 본 발명이 도면들에 도시된 화면 구성과 기능들에 한정되는 것은 아니다.
5 to 17 are only an embodiment of a web page provided by the present invention, and the present invention is not limited to the screen configuration and functions shown in the drawings.

상술한 바와 같이, 본 발명의 이미지 공유 시스템은 카메라 기능을 갖는 유/무선 단말기에서 사용자가 이미지를 등록하여 판매 수익을 얻는 동시에 일정 비율을 기부하여 사회에 공헌할 수 있고, 구매자는 등록된 이미지를 촬영 시에 합성하여 이미지를 저장할 수 있고, 촬영된 이미지를 다른 사용자들과 공유할 수 있다. 이에 따라, 구매자의 입장에서 보면, 현재 함께 있지 않거나 존재하지 않는 가족, 친구 또는 유명인과 함께 이미지를 남길 수 있다는 장점이 있고, 등록자의 입장에서 보면, 이미지 등록에 의해 수익을 얻을 수 있다는 장점이 있다.
As described above, the image sharing system of the present invention can contribute to the society by donating a certain ratio at the same time as the user registers the image in the wired / wireless terminal having a camera function to obtain sales revenue, and the buyer can register the registered image. Images can be synthesized at the time of shooting and saved, and the captured images can be shared with other users. Accordingly, from the point of view of the buyer, there is an advantage of leaving an image with family, friends or celebrities who are not present or do not exist, and from the point of view of the registrant, there is an advantage of being profitable by image registration. .

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the present invention. I will understand.

그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be determined by equivalents to the appended claims, as well as the appended claims.

102 : 제1사용자 단말 104 : 이미지 세그멘테이션 서버
106 : 제2사용자 단말 108 : 이미지 공유 서버
110 : 네트워크
102: first user terminal 104: image segmentation server
106: second user terminal 108: image sharing server
110: network

Claims (9)

기 저장된 원본 이미지를 이용하여 이미지 세그멘테이션 서버로 이미지 합성에 사용될 합성 대상 이미지의 생성을 요청하고, 생성된 상기 합성 대상 이미지를 이미지 공유 서버에 등록하는 제1사용자 단말;
상기 제1사용자 단말과의 통신을 통하여 상기 원본 이미지로부터 합성 대상 이미지를 추출하여 상기 제1사용자 단말로 송신하는 이미지 세그멘테이션 서버;
등록된 상기 합성 대상 이미지를 상기 이미지 공유 서버로부터 전송 받고, 전송된 상기 합성 대상 이미지의 적어도 일부를 포함하는 합성 사진을 촬영하는 제2사용자 단말; 및
상기 제1사용자 단말로부터 상기 합성 대상 이미지를 전송받아 저장하고, 상기 제2사용자 단말의 요청에 따라 저장된 상기 합성 대상 이미지를 상기 제2사용자 단말로 송신하며, 상기 제2사용자 단말에 의하여 촬영된 상기 합성 사진을 수신하여 저장하는 이미지 공유 서버;
를 포함하는 사진 촬영 및 이미지 공유 시스템.
A first user terminal requesting generation of a synthesis target image to be used for image synthesis from an image segmentation server by using the stored original image, and registering the generated synthesis target image with an image sharing server;
An image segmentation server extracting a synthesis target image from the original image through communication with the first user terminal and transmitting the extracted target image to the first user terminal;
A second user terminal receiving the registered synthesis target image from the image sharing server and taking a composite picture including at least a portion of the transmitted synthesis target image; And
Receiving and storing the synthesis target image from the first user terminal, and transmitting the synthesis target image stored at the request of the second user terminal to the second user terminal, and photographed by the second user terminal. An image sharing server for receiving and storing the composite picture;
Photo shooting and image sharing system that includes.
제1항에 있어서,
상기 이미지 세그멘테이션 서버는, 상기 제1사용자 단말로부터 상기 원본 이미지 및 상기 원본 이미지 내부의 선택 영역 정보를 수신하고, 상기 선택 영역에 존재하는 피사체를 배경과 분리하여 추출하여 상기 제1사용자 단말로 송신하는, 사진 촬영 및 이미지 공유 시스템.
The method of claim 1,
The image segmentation server receives the original image and selection area information inside the original image from the first user terminal, extracts a subject existing in the selection area from a background, and transmits the extracted image to the first user terminal. , Photo shoot and image sharing system.
제2항에 있어서,
상기 이미지 세그멘테이션 서버는, 상기 제1사용자 단말로부터 추출된 상기 피사체에 대한 경계면 보정 요청을 수신하고, 상기 보정 요청에 따라 상기 피사체의 경계면을 보정하며, 보정된 상기 피사체를 합성 대상 이미지로 상기 제1사용자 단말로 송신하는, 사진 촬영 및 이미지 공유 시스템.
The method of claim 2,
The image segmentation server receives a boundary plane correction request for the subject extracted from the first user terminal, corrects a boundary plane of the subject according to the correction request, and converts the corrected subject into a synthesis target image as the first target image. Photographing and image sharing system for transmitting to the user terminal.
제3항에 있어서,
상기 제1사용자 단말은 수신된 상기 합성 대상 이미지와 함께 상기 합성 대상 이미지의 가격, 상기 합성 대상 이미지 판매 시의 기부 비율 및 결제 정보 중 하나 이상을 포함하는 이미지 판매 정보를 상기 이미지 공유 서버에 등록하는, 사진 촬영 및 이미지 공유 시스템.
The method of claim 3,
The first user terminal registers image sales information including the price of the synthesis target image, a donation ratio when selling the synthesis target image, and payment information together with the received synthesis target image on the image sharing server. , Photo shoot and image sharing system.
제1항에 있어서,
상기 제2사용자 단말은, 상기 제2사용자 단말에 포함된 카메라 모듈로부터 전송되는 영상과 함께 상기 합성 대상 이미지를 디스플레이하고, 사진 촬영 시 상기 합성 대상 이미지를 촬영된 영상과 합성하여 저장하는, 사진 촬영 및 이미지 공유 시스템.
The method of claim 1,
The second user terminal displays the synthesis target image together with the image transmitted from the camera module included in the second user terminal, and when the picture is taken, the synthesized target image is synthesized and stored with the photographed image. And image sharing system.
이미지 세그멘테이션 서버에서, 제1사용자 단말로부터 원본 이미지 및 상기 원본 이미지 내부의 특정 영역에 대한 선택 정보를 수신하는 단계;
상기 이미지 세그멘테이션 서버에서, 상기 원본 이미지 중 수신된 상기 선택 영역에 존재하는 피사체를 배경과 분리하는 단계;
상기 이미지 세그멘테이션 서버에서, 분리된 상기 피사체를 상기 제1사용자 단말로 송신하는 단계;
상기 이미지 세그멘테이션 서버에서, 상기 제1사용자 단말로부터 상기 피사체에 대한 경계면 보정 요청을 수신하는 단계; 및
상기 이미지 세그멘테이션 서버에서, 수신된 상기 경계면 보정 요청에 따라 상기 피사체의 경계면을 보정하여 합성 대상 이미지를 생성하는 단계;
를 포함하는 합성 대상 이미지 생성 방법.
Receiving, at an image segmentation server, selection information about an original image and a specific area within the original image from a first user terminal;
Separating, at the image segmentation server, a subject existing in the selected area received from the original image from a background;
Transmitting, at the image segmentation server, the separated subject to the first user terminal;
Receiving, at the image segmentation server, a boundary plane correction request for the subject from the first user terminal; And
Generating, at the image segmentation server, a synthesis target image by correcting the boundary surface of the subject according to the received boundary surface correction request;
Synthesis target image generation method comprising a.
제6항에 있어서,
상기 경계면 보정 단계의 수행 이후,
상기 제1사용자 단말은 상기 합성 대상 이미지와 함께 상기 합성 대상 이미지의 가격, 상기 합성 대상 이미지 판매 시의 기부 비율 및 결제 정보 중 하나 이상을 포함하는 이미지 판매 정보를 상기 이미지 공유 서버에 등록하는, 합성 대상 이미지 생성 방법.
The method of claim 6,
After performing the interface correction step,
The first user terminal registers, on the image sharing server, image selling information including one or more of a price of the synthesis target image, a donation ratio when selling the synthesis target image, and payment information together with the synthesis target image. How to create a target image.
제2사용자 단말에서, 이미지 공유 서버로부터 합성 대상 이미지를 수신하는 단계;
상기 제2사용자 단말에서, 수신된 상기 합성 대상 이미지의 적어도 일부를 포함하는 합성 사진을 촬영하는 단계; 및
상기 제2사용자 단말에서, 촬영된 상기 합성 사진을 이미지 공유 서버로 업로드하는 단계;
를 포함하는 합성 사진 촬영 및 공유 방법.
Receiving, at the second user terminal, a composition target image from an image sharing server;
Photographing, at the second user terminal, a composite picture including at least a portion of the received synthesis target image; And
Uploading, at the second user terminal, the taken composite picture to an image sharing server;
Composite photo shoot and sharing method comprising.
제8항에 있어서,
상기 합성 사진 촬영 단계는,
상기 제2사용자 단말에 포함된 카메라 모듈로부터 전송되는 영상과 함께 상기 합성 대상 이미지를 화면 상에 디스플레이하는 단계;
상기 제2사용자 단말 사용자의 요청에 따라 디스플레이된 상기 합성 대상 이미지의 화면 상의 위치, 크기 및 명암 중 하나 이상을 변경하는 단계; 및
상기 사용자의 사진 촬영 시 상기 합성 대상 이미지를 촬영된 영상과 합성하여 저장하는 단계;
를 포함하는, 합성 사진 촬영 및 공유 방법.
The method of claim 8,
The composite photographing step,
Displaying the synthesis target image on a screen together with an image transmitted from a camera module included in the second user terminal;
Changing at least one of a position, a size, and a contrast on the screen of the synthesis target image displayed at the request of the second user terminal user; And
Synthesizing and storing the synthesis target image with the captured image when the user takes a picture;
Including, composite photo taking and sharing method.
KR1020110002455A 2011-01-10 2011-01-10 System and method for taking photograph and distributing image using mobilel segmentation KR20120080964A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110002455A KR20120080964A (en) 2011-01-10 2011-01-10 System and method for taking photograph and distributing image using mobilel segmentation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110002455A KR20120080964A (en) 2011-01-10 2011-01-10 System and method for taking photograph and distributing image using mobilel segmentation

Publications (1)

Publication Number Publication Date
KR20120080964A true KR20120080964A (en) 2012-07-18

Family

ID=46713366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110002455A KR20120080964A (en) 2011-01-10 2011-01-10 System and method for taking photograph and distributing image using mobilel segmentation

Country Status (1)

Country Link
KR (1) KR20120080964A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098898A (en) * 2014-12-19 2017-08-30 후아웨이 테크놀러지 컴퍼니 리미티드 Image sharing method and apparatus, and terminal apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170098898A (en) * 2014-12-19 2017-08-30 후아웨이 테크놀러지 컴퍼니 리미티드 Image sharing method and apparatus, and terminal apparatus
US10579594B2 (en) 2014-12-19 2020-03-03 Huawei Technologies Co., Ltd. Image sharing method and apparatus, and terminal device

Similar Documents

Publication Publication Date Title
US20230306737A1 (en) Use of camera metadata for recommendations
CN103678444B (en) Image synthesis system, image processing equipment and image processing method
US20200366834A1 (en) Automatic guided capturing and presentation of images
US10409850B2 (en) Preconfigured media file uploading and sharing
US20180191797A1 (en) Dynamically generating customized media effects
US10504264B1 (en) Method and system for combining images
CN106375193A (en) Remote group photographing method
US20160283099A1 (en) Interactive content timeline platform
CN112184357A (en) Information recommendation system, information recommendation method, and recording medium
JP5042346B2 (en) Information display apparatus, method and program
US20190114675A1 (en) Method and system for displaying relevant advertisements in pictures on real time dynamic basis
CN110750155B (en) Method, device, medium and electronic equipment for interacting with image
KR20120080964A (en) System and method for taking photograph and distributing image using mobilel segmentation
JP2014203355A (en) Transfer automatic vending system
US20160104121A1 (en) Digital Flyer Service
KR101556316B1 (en) Photo evaluation system using community application for mobile
KR20180128596A (en) System for providing photo edit filter
JP6735907B2 (en) Image presentation system, image presentation method, program and recording medium
KR102097199B1 (en) Method and apparatus for providing image based on position
TWI490804B (en) Methods for information generation and sharing, and related devices and computer program prodcuts
US20170150065A1 (en) System And Method For Producing A Background Or Cover Image
KR102644247B1 (en) Apparatus and method for providing smart magazines capable of providing content for product description through QR code recognition based on artificial intelligence
US20190114814A1 (en) Method and system for customization of pictures on real time dynamic basis
JP2018005611A (en) Information processing equipment
KR20230026557A (en) System for providing restaurant courses and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20121122

Effective date: 20131118