WO2023008668A1 - 이모티콘 생성 장치 - Google Patents

이모티콘 생성 장치 Download PDF

Info

Publication number
WO2023008668A1
WO2023008668A1 PCT/KR2021/020383 KR2021020383W WO2023008668A1 WO 2023008668 A1 WO2023008668 A1 WO 2023008668A1 KR 2021020383 W KR2021020383 W KR 2021020383W WO 2023008668 A1 WO2023008668 A1 WO 2023008668A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
background
emoticon
extracted
Prior art date
Application number
PCT/KR2021/020383
Other languages
English (en)
French (fr)
Inventor
임유엽
Original Assignee
주식회사 다날엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다날엔터테인먼트 filed Critical 주식회사 다날엔터테인먼트
Priority to JP2022547260A priority Critical patent/JP7465487B2/ja
Priority to CN202180013920.5A priority patent/CN116113990A/zh
Priority to US17/880,465 priority patent/US20230031999A1/en
Publication of WO2023008668A1 publication Critical patent/WO2023008668A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present invention relates to an emoticon generating device, and more particularly, the present invention relates to an emoticon generating device that generates a user-customized emoticon.
  • emoticons have conventionally been produced in the form of static images, such as characters having various facial expressions, while they have recently been produced in the form of live-action videos of celebrities and the like.
  • these emoticons are produced only after passing screening by emoticon production companies, etc., and there is a limit in that more diverse emoticons cannot be produced due to low awareness, subjective opinions or unfair screening, etc. involved in the screening process.
  • users may want to create emoticons for themselves, not celebrities, but it is difficult to create all the emoticons preferred by these individuals.
  • An object of the present invention is to provide an emoticon generating device that provides a user-customized emoticon.
  • An object of the present invention is to provide an emoticon generating device that provides a highly complete user-customized emoticon while a user or object photographed by the user appears.
  • An object of the present invention is to provide an emoticon generating device that is more convenient and quickly provides user-customized emoticons.
  • An emoticon generating apparatus includes a user image receiving unit receiving a user image from a user terminal, an image analyzing unit analyzing the received user image, and determining a background image based on a result of analyzing the user image. and an emoticon generator for generating a synthesized emoticon obtained by synthesizing at least one of a user or an object extracted from the user image with the background image, wherein the background determiner is based on a result of analyzing the user image
  • a background image selected through the user terminal among at least one recommended background image may be determined as a background image to be synthesized into the synthesized emoticon.
  • the background determination unit recommends at least one background image based on the result of analyzing the user image, transmits information (eg, thumbnail) on the recommended background image to the user terminal, and from the user terminal Information on a background image may be received.
  • information eg, thumbnail
  • the emoticon generating device may further include a plurality of background images and a background database in which indexes for each of the plurality of background images are mapped.
  • the background determiner may obtain an extracted category while analyzing the user image, and obtain a background image mapped with an index matching the extracted category in the background database as a recommended background image.
  • the image analyzer may recognize a user or an object in the user image, analyze the recognized user or object, and extract a category for the user image.
  • the image analyzer may extract sample images from the user image at preset intervals and recognize a user or an object from the extracted sample images.
  • the image analysis unit extracts the sample images, it is determined whether each of the extracted sample images corresponds to a predetermined unusable condition, and if there is a sample image corresponding to the unusable condition, instead of the sample image corresponding to the unusable condition. You can re-extract the sample image to be used.
  • the image analysis unit may re-extract the sample image by changing an interval at which the sample image is extracted.
  • the image analyzer may determine that an image in which the user's eyes are closed, an image having a resolution less than or equal to a predetermined reference resolution, or an image having a brightness less than or equal to a predetermined reference brightness corresponds to the unusable condition.
  • the emoticon generator may determine the size or location of the user or object according to synthesis guidelines set for each background image.
  • the emoticon generator may adjust the size or position of the user or object to be synthesized according to the correction information of the synthesizing guideline input after the background image is selected through the user terminal.
  • the emoticon generating device when a user image is received from a user terminal, analyzes the user image, a user or object appears in the user image, and generates an emoticon synthesized with an appropriate background image to the user terminal. Since it is provided to the user, there is an advantage in that a highly complete synthesized emoticon can be provided by taking only a user image.
  • the emoticon generating device provides a user with an opportunity to select a background image when using a synthetic emoticon, and can save the size of transmitted and received data in the process, so that emoticons with high user satisfaction can be generated more quickly.
  • the emoticon generating device since the emoticon generating device generates an emoticon by extracting a sample image rather than a user image itself, it has an advantage of minimizing the time required to determine the background image.
  • FIG. 1 is a diagram illustrating an emoticon generating device system according to an embodiment of the present invention.
  • FIG. 2 is a control block diagram of an emoticon generating device according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an operating method of an emoticon generating device according to an embodiment of the present invention.
  • FIG. 4 is a flow chart embodying step S20 of FIG. 3 .
  • FIG. 5 is an example showing a method of analyzing a user image by an image analyzer according to an embodiment of the present invention.
  • FIG. 6 is a flowchart embodying step S210 of FIG. 4 .
  • step S30 of FIG. 3 is embodied.
  • FIG. 8 is a diagram illustrating an example of a method of storing a background image in a background database according to an embodiment of the present invention.
  • FIG 9 is an exemplary view of a synthetic emoticon generated by an emoticon generating unit according to an embodiment of the present invention.
  • FIG. 10 is a diagram illustrating an example in which an emoticon generated by an emoticon generating device according to an embodiment of the present invention is used in a user terminal.
  • FIG. 1 is a diagram illustrating an emoticon generating device system according to an embodiment of the present invention.
  • An emoticon generating device system may include an emoticon generating device 100 and a user terminal 1.
  • the emoticon generating device 100 may generate a user-customized emoticon.
  • the emoticon generating device 100 may generate and transmit a user-customized emoticon to the user terminal 1, and the user terminal 1 may receive the user-customized emoticon from the emoticon generating device 100.
  • the user terminal 1 may store and display the user-customized emoticon received from the emoticon generating device 100 .
  • a user can easily create and use a user-customized emoticon using the user terminal 1 communicating with the emoticon generating device 100 .
  • the user-customized emoticon may refer to an emoticon created by synthesizing a user or an object recognized from a user image with a background image selected by the user.
  • FIG. 2 is a control block diagram of an emoticon generating device according to an embodiment of the present invention.
  • An emoticon generating device 100 includes a user image receiver 110, a user image storage unit 115, an image analyzer 120, a background determiner 130, a background database 140, At least some or all of the emoticon generator 150 and the emoticon transmitter 160 may be included.
  • the user image receiving unit 110 may receive a user image from the user terminal 1 .
  • the user image may mean a still image or a video transmitted from the user terminal 1 .
  • the user image storage unit 115 may store the user image received through the user image receiving unit 110 .
  • the image analyzer 120 may analyze the user image received through the user image receiver 110 .
  • the background determiner 130 may determine a background image based on a result of analyzing the user image in the image analyzer 120 .
  • the background image is a background to be used for the synthesized emoticon and may include a still image or a moving image.
  • the background determiner 130 may determine a background image selected through the user terminal 1 among at least one background image recommended based on a result of analyzing the user image as a background image to be synthesized into the synthesized emoticon.
  • the background determination unit 130 may recommend at least one background image based on the result of analyzing the user image, and transmit the recommended background image to the user terminal 1 . At this time, the background determination unit 130 may transmit the background image itself to the user terminal 1 or transmit information about the background image to the user terminal 1 .
  • the information on the background image may be a thumbnail image, text describing the background image, etc., but since this is only exemplary, it is not limited thereto.
  • the background determination unit 130 transmits information about the background image to the user terminal 1, the transmission speed can be improved because the size of transmission data can be reduced compared to the case of transmitting the background image itself, Accordingly, there is an advantage in that the speed of generating synthetic emoticons can be improved.
  • the user terminal 1 may receive a selection of any one background image from the user by displaying the recommended background image or information on the recommended background image received from the emoticon generating device 100 .
  • the user terminal 1 may transmit the selected background image or information on the selected background image to the emoticon generating device 100 .
  • the background determination unit 130 may receive a selected background image among the recommended background images from the user terminal 1 when the recommended background image is transmitted to the user terminal 1 . Similarly, the background determiner 130 may receive information on the selected background image from the user terminal 1 when transmitting information on the background image recommended to the user terminal 1 .
  • the background database 140 may store a background image to be used for generating a synthetic emoticon.
  • the background database 140 may map and store a plurality of background images with an index for each of the plurality of background images. This will be described in more detail in FIG. 8 .
  • the background database 140 may store synthesis guidelines for each of a plurality of background images.
  • the synthesizing guideline may refer to size or location information of a user or an object to be synthesized for each background image.
  • the emoticon generator 150 may create a synthesized emoticon by synthesizing at least one of a user or an object extracted from a user image with a background image.
  • the emoticon generator 150 may determine the size or position of the user/object according to the synthesis guideline set for each background image.
  • the above-described synthesis guideline may be modified through the user terminal 1 .
  • the emoticon generator 150 may adjust the size or position of the user or object to be synthesized according to the correction information of the synthesis guideline input after the background image is selected through the user terminal 1 .
  • the emoticon transmission unit 160 may transmit the generated synthetic emoticon to the user terminal 1 .
  • FIG. 3 is a flowchart illustrating an operating method of an emoticon generating device according to an embodiment of the present invention.
  • the user image receiving unit 110 may receive a user image from the user terminal 1 (S10).
  • the image analyzer 120 may analyze the user image received from the user terminal 1 (S20).
  • 4 is a flowchart embodying step S20 of FIG. 3 .
  • the image analyzer 120 may recognize a user or an object in the user image (S210).
  • FIG. 5 is an example showing a method of analyzing a user image by an image analyzer according to an embodiment of the present invention.
  • the image analyzer 120 may analyze a user image using Vision API. First, the image analyzer 120 may detect an object in a user image.
  • the image analysis unit 120 recognizes objects (eg, furniture, animals, food, etc.) in the user's image through Label Detection, or recognizes a logo such as a company logo in the user's image through Logo Detection. landmark detection, or landmarks such as buildings (for example, Namsan Tower, Gyeongbokgung Palace, etc.) or natural scenery can be recognized in the user's image through Landmark Detection.
  • the image analysis unit 120 finds a human face in the user's image through Face Detection, and returns the positions of the eyes, nose, and mouth to determine facial expressions and emotional states (eg, a happy state, a sad state, etc.). can be analyzed.
  • the image analyzer 120 may detect the risk (or soundness) of the user's image through Safe Search Detection, thereby detecting the degree to which the user's image belongs to adult content, medical content, violent content, and the like.
  • the image analyzer 120 may recognize a user or object from the entire user image, or may extract a sample image from the user image and then recognize the user or object from the sample image.
  • FIG. 6 is a flowchart embodying step S210 of FIG. 4 .
  • the image analyzer 120 may extract sample images from the user image at predetermined intervals (S211).
  • the preset interval may be a unit of time or a unit of frame.
  • the preset interval may be 1 second.
  • the image analyzer 120 may capture the user image at 1-second intervals and extract a sample image.
  • the preset interval may be 24 frames.
  • the image analyzer 120 captures the user image at 24 frame intervals and samples it when the user image is a 5-second image in which 24 frames per second are displayed. Images can be extracted.
  • the image analyzer 120 may determine whether or not the extracted sample image corresponds to a predetermined unusable condition (S213).
  • the image analyzer 120 may determine that an image with the user's eyes closed, an image having a resolution less than or equal to a predetermined reference resolution, or an image having a brightness less than or equal to a predetermined reference brightness correspond to an unusable condition.
  • the image analyzer 120 may determine whether an image corresponding to the unusable condition exists among the sample images (S215).
  • the image analyzer 120 may re-extract a sample image to be used instead of the sample image corresponding to the unusable condition (S217).
  • the image analyzer 120 may re-extract the sample image by changing an interval at which the sample image is extracted. For example, if the image analyzer 120 has extracted sample images at 24 frame intervals in step S211, it may re-extract sample images at 25 frame intervals in step S217.
  • the image analysis unit 120 has the advantage of being able to create more complete emoticons by pre-filtering images corresponding to preset unusable conditions so that they are not used for emoticon generation.
  • the image analyzer 120 When the image analyzer 120 re-extracts the sample images, it returns to step S213 to determine whether or not the re-extracted sample images correspond to a predetermined unusable condition.
  • the image analyzer 120 may recognize a user or an object from the (re-)extracted sample image if there is no image corresponding to the unusable condition in the (re-)extracted sample image (S219).
  • steps S213 to S215 in FIG. 6 may be omitted according to an embodiment.
  • the image analyzer 120 may extract a category by analyzing the recognized user or object (S220).
  • the image analyzer 120 may label each detected object and then extract features from each labeled object. For example, the image analyzer 120 may detect and label a face, hand, arm, eye, etc. in a user image, and then extract features such as joy, sadness, anger, surprise, confidence, and the like.
  • the image analyzer 120 may extract confidence and joy as face image attributes, and may extract fighting as pose attributes. That is, the video analyzer 120 may extract confidence, joy, and fighting as categories corresponding to the example image of FIG. 5 .
  • the category may mean a feature class of a user image classified as a result of analyzing the user image.
  • the image analyzer 120 may analyze a user image using a method other than the Vision API.
  • FIG. 3 is described.
  • the background determining unit 130 may determine a background image based on a result of analyzing the user image (S30).
  • FIG. 7 is a flow chart in which step S30 of FIG. 3 is embodied. That is, FIG. 7 is a flowchart illustrating a method of determining a background image by the background determiner 130 according to an embodiment of the present invention.
  • a plurality of background images may be stored in the background database 140, and indexes for each of the plurality of background images may be mapped.
  • FIG. 8 is a diagram illustrating an example of a method of storing a background image in a background database according to an embodiment of the present invention.
  • the background database 140 includes a plurality of background images, and at least one index is mapped to each of the plurality of background images.
  • the background determiner 130 may obtain a background image having an index matching the category extracted as a result of analyzing the user image from the background database 140 as a recommended background image (S31).
  • the background determiner 130 may obtain background image No. 1 as the recommended background image.
  • the background determiner 130 may obtain the first background image and the second background image as recommended background images.
  • the background determiner 130 may obtain background image No. 3 as the recommended background image.
  • the background determination unit 130 may transmit information on the recommended background image to the user terminal 1 (S320).
  • the user terminal 1 may display the information on the recommended background image and receive a selection of at least one of the recommended background images from the user.
  • the user terminal 1 may transmit information about a selected background image among recommended background images to the emoticon generating device 100 .
  • the background determination unit 130 may receive information on the selected background image from the user terminal 1 (S33).
  • the background determining unit 130 may determine the selected background image as a background image to be synthesized (S340).
  • FIG. 3 is described.
  • the emoticon generating unit 150 may generate a synthesized emoticon by synthesizing a user or object extracted from a user image and a background image (S40).
  • the emoticon generator 150 may generate a synthesized emoticon by synthesizing a user or an object extracted from a user image with a background image selected through the user terminal 1, and at this time, the user or The size or position of the object may be adjusted according to the synthesis guideline set in the background image.
  • These synthesizing guidelines may be displayed on the user terminal 1 when the user terminal 1 captures a user image for generating an emoticon.
  • these synthesis guidelines are displayed even when any one of the recommended background images is selected through the user terminal 1.
  • correction information of the synthesis guidelines may be input from the user, and correction information of the synthesis guidelines When is input, the position or size where the user or object is synthesized may be modified.
  • the emoticon generating device 100 has an advantage of being able to generate more various user-customized emoticons.
  • FIG. 9 is an exemplary view of a synthetic emoticon generated by an emoticon generating unit according to an embodiment of the present invention.
  • the emoticon generator 150 synthesizes a user or object 1011, 1021, and 1031 extracted from a user image with background images 1012, 1022, and 1032 to generate a synthesized emoticon. can create
  • FIG. 3 is described.
  • the emoticon transmission unit 160 may transmit the generated synthetic emoticon to the user terminal 1 (S50).
  • FIG. 10 is a diagram illustrating an example in which an emoticon generated by an emoticon generating device according to an embodiment of the present invention is used in a user terminal.
  • the user may transmit/receive the synthesized emoticon generated by the emoticon generating device 100 on a messenger through the user terminal 100 .
  • FIG. 10 shows only an example in which emoticons are used in messaging, emoticons generated by the emoticon generating device 100 can be used in various applications such as SNS.
  • the above-described present invention can be implemented as computer readable code on a medium on which a program is recorded.
  • the computer-readable medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable media include Hard Disk Drive (HDD), Solid State Disk (SSD), Silicon Disk Drive (SDD), ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc. there is Also, the computer may include components of the emoticon generating device 100. Accordingly, the above detailed description should not be construed as limiting in all respects and should be considered as illustrative. The scope of the present invention should be determined by reasonable interpretation of the appended claims, and all changes within the equivalent scope of the present invention are included in the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사용자 맞춤형 이모티콘을 제공하는 이모티콘 생성 장치에 관한 것으로, 사용자 단말로부터 사용자 영상을 수신하는 사용자 영상 수신부, 상기 수신된 사용자 영상을 분석하는 영상 분석부, 상기 사용자 영상을 분석한 결과에 기초하여 배경 영상을 결정하는 배경 결정부, 및 상기 사용자 영상에서 추출된 사용자 또는 객체 중 적어도 하나를 상기 배경 영상에 합성한 합성 이모티콘을 생성하는 이모티콘 생성부를 포함하고, 상기 배경 결정부는 상기 사용자 영상을 분석한 결과에 기초하여 추천된 적어도 하나의 배경 영상 중 상기 사용자 단말을 통해 선택된 배경 영상을 상기 합성 이모티콘에 합성될 배경 영상으로 결정할 수 있다.

Description

이모티콘 생성 장치
본 발명은 이모티콘 생성 장치에 관한 것으로, 보다 구체적으로 본 발명은 사용자 맞춤형 이모티콘을 생성하는 이모티콘 생성 장치에 관한 것이다.
스마트폰이 보급되면서 사용자들의 이모티콘 사용이 증가하였고, 이에 따라 이모티콘이 다양해지며 시장 규모가 거대해지고 있다. 구체적으로, 이모티콘은 종래 다양한 표정을 갖는 캐릭터 등으로 정적 이미지 형태로 제작되는데 그쳤던 반면, 최근에는 연예인 등의 실사 동영상 등의 형태로 제작되고 있다. 그런데, 이러한 이모티콘은 이모티콘 제작 회사 등에서 심사 등을 통과해야 제작되는 것이 실상으로, 인지도가 낮거나, 심사 과정에서 개입되는 주관적 견해 혹은 불공정한 심사 등으로 보다 다양한 이모티콘이 제작되지 못하는 한계가 있다. 또한, 사용자들은 연예인이 아닌 본인이 이모티콘으로 제작되길 원할 수 있으나, 이러한 개개인이 선호하는 이모티콘이 모두 제작되기 어려운 문제가 있다.
본 발명은 사용자 맞춤형 이모티콘을 제공하는 이모티콘 생성 장치를 제공하고자 한다.
본 발명은 자신이 직접 촬영한 사용자 혹은 객체가 등장하면서도 완성도 높은 사용자 맞춤형 이모티콘을 제공하는 이모티콘 생성 장치를 제공하고자 한다.
본 발명은 보다 편리하며, 신속하게 사용자 맞춤형 이모티콘을 제공하는 이모티콘 생성 장치를 제공하고자 한다.
본 발명의 일 실시 예에 따른 이모티콘 생성 장치는 사용자 단말로부터 사용자 영상을 수신하는 사용자 영상 수신부, 상기 수신된 사용자 영상을 분석하는 영상 분석부, 상기 사용자 영상을 분석한 결과에 기초하여 배경 영상을 결정하는 배경 결정부, 및 상기 사용자 영상에서 추출된 사용자 또는 객체 중 적어도 하나를 상기 배경 영상에 합성한 합성 이모티콘을 생성하는 이모티콘 생성부를 포함하고, 상기 배경 결정부는 상기 사용자 영상을 분석한 결과에 기초하여 추천된 적어도 하나의 배경 영상 중 상기 사용자 단말을 통해 선택된 배경 영상을 상기 합성 이모티콘에 합성될 배경 영상으로 결정할 수 있다.
배경 결정부는 상기 사용자 영상을 분석한 결과에 기초하여 적어도 하나의 배경 영상을 추천하고, 추천한 배경 영상에 대한 정보(예를 들어, 썸네일)를 상기 사용자 단말로 전송하고, 상기 사용자 단말로부터 상기 선택된 배경 영상에 대한 정보를 수신할 수 있다.
이모티콘 생성 장치는 복수의 배경 영상과 복수의 배경 영상 각각에 대한 인덱스가 맵핑된 배경 데이터베이스를 더 포함할 수 있다.
배경 결정부는 상기 사용자 영상을 분석하면서 추출된 카테고리를 획득하고, 상기 배경 데이터베이스에서 상기 추출된 카테고리와 일치하는 인덱스와 맵핑된 배경 영상을 추천 배경 영상으로 획득할 수 있다.
영상 분석부는 상기 사용자 영상에서 사용자 또는 객체를 인식하고, 인식된 사용자 또는 객체를 분석하여 상기 사용자 영상에 대한 카테고리를 추출할 수 있다.
영상 분석부는 상기 사용자 영상에서 기 설정된 간격으로 샘플 이미지를 추출하고, 추출된 샘플 이미지에서 사용자 또는 객체를 인식할 수 있다.
영상 분석부는 상기 샘플 이미지를 추출하면 추출된 샘플 이미지 각각에 대해 기설정된 사용불가 조건에 해당하는지 판단하고, 상기 사용불가 조건에 해당하는 샘플 이미지가 존재하면, 상기 사용불가 조건에 해당하는 샘플 이미지 대신 사용될 샘플 이미지를 재-추출할 수 있다.
영상 분석부는 상기 샘플 이미지를 추출한 간격을 변경함으로써 상기 샘플 이미지를 재-추출할 수 있다.
영상 분석부는 사용자가 눈을 감은 이미지, 해상도가 기설정된 기준 해상도 이하인 이미지 또는 밝기가 기설정된 기준 밝기 이하인 이미지를 상기 사용불가 조건에 해당하는 것으로 판단할 수 있다.
이모티콘 생성부는 배경 영상 각각에 설정된 합성 가이드라인에 따라 상기 사용자 또는 객체의 크기 또는 위치를 결정할 수 있다.
이모티콘 생성부는 상기 사용자 단말을 통해 상기 배경 영상을 선택받은 후 입력된 상기 합성 가이드라인의 수정 정보에 따라 상기 사용자 또는 객체가 합성될 크기 또는 위치를 조절할 수 있다.
본 발명의 일 실시 예에 따르면, 이모티콘 생성 장치는 사용자 단말로부터 사용자 영상을 수신하면, 사용자 영상을 분석하여 사용자 영상 속 사용자 또는 객체가 등장하며, 그에 적절한 배경 영상이 합성된 이모티콘을 생성하여 사용자 단말에 제공하므로, 사용자로 하여금 사용자 영상만 촬영하면 그에 따른 완성도 높은 합성 이모티콘을 제공 가능한 이점이 있다.
또한, 이모티콘 생성 장치는 합성 이모티콘 사용시 사용자로 하여금 배경 영상의 선택 기회를 제공하며, 그 과정에서 송수신되는 데이터의 크기를 절약 가능하므로, 사용자 만족도가 높은 이모티콘을 보다 신속하게 생성 가능한 잊머이 있다.
또한, 이모티콘 생성 장치는 사용자 영상 자체가 아닌 샘플 이미지를 추출하여 이모티콘을 생성하므로, 배경 영상 결정에 소요되는 시간을 최소화할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시 예에 따른 이모티콘 생성 장치 시스템이 도시된 도면이다.
도 2는 본 발명의 일 실시 예에 따른 이모티콘 생성 장치의 제어 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 이모티콘 생성 장치의 동작 방법이 도시된 순서도이다.
도 4는 도 3의 단계 S20을 구체화한 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 영상 분석부가 사용자 영상을 분석하는 방법의 일 모습이 도시된 예시 모습니다.
도 6은 도 4의 단계 S210을 구체화한 순서도이다.
도 7은 도 3의 단계 S30이 구체화된 순서도이다.
도 8은 본 발명의 일 실시 예에 따른 배경 데이터베이스에 배경 영상의 저장되는 방식의 일 예가 도시된 도면이다.
도 9는 본 발명의 일 실시 예에 따른 이모티콘 생성부가 생성한 합성 이모티콘의 예시 도면이다.
도 10은 본 발명의 일 실시 예에 따른 이모티콘 생성 장치에서 생성된 이모티콘이 사용자 단말에서 사용되는 일 예가 도시된 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 본 발명의 이해를 돕기 위하여 바람직한 실시예를 제시하나, 이는 본 발명을 예시하는 것일 뿐, 본 발명의 범주 및 기술사상 범위 내서 다양한 변경 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변경 및 수정이 첨부된 특허청구범위에 속하는 것도 당연한 것이다.
이하, 본 발명의 실시예를 나타내는 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 이모티콘 생성 장치 시스템이 도시된 도면이다.
본 발명의 일 실시 예에 따른 이모티콘 생성 장치 시스템은 이모티콘 생성 장치(100) 및 사용자 단말(1)을 포함할 수 있다.
이모티콘 생성 장치(100)는 사용자 맞춤형 이모티콘을 생성할 수 있다. 이모티콘 생성 장치(100)는 사용자 맞춤형 이모티콘을 생성하여 사용자 단말(1)로 전송할 수 있고, 사용자 단말(1)은 이모티콘 생성 장치(100)로부터 사용자 맞춤형 이모티콘을 수신할 수 있다.
사용자 단말(1)은 이모티콘 생성 장치(100)로부터 수신된 사용자 맞춤형 이모티콘을 저장 및 표시할 수 있다. 사용자는 이모티콘 생성 장치(100)와 통신하는 사용자 단말(1)을 이용하여 사용자 맞춤형 이모티콘을 용이하게 생성 및 사용할 수 있다.
이하, 이모티콘 생성 장치(100)가 사용자 맞춤형 이모티콘을 생성하는 방법을 자세히 설명한다. 여기서, 사용자 맞춤형 이모티콘은 사용자 영상에서 인식된 사용자 또는 객체를 사용자가 선택한 배경 영상과 합성을 통해 생성된 이모티콘을 의미할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 이모티콘 생성 장치의 제어 블록도이다.
본 발명의 일 실시 예에 따른 이모티콘 생성 장치(100)는 사용자 영상 수신부(110), 사용자 영상 저장부(115), 영상 분석부(120), 배경 결정부(130), 배경 데이터베이스(140), 이모티콘 생성부(150) 및 이모티콘 전송부(160) 중 적어도 일부 또는 전부를 포함할 수 있다.
사용자 영상 수신부(110)는 사용자 단말(1)로부터 사용자 영상을 수신할 수 있다.
사용자 영상은, 사용자 단말(1)에서 전송되는 정지 이미지 또는 동영상을 의미할 수 있다.
사용자 영상 저장부(115)는 사용자 영상 수신부(110)를 통해 수신된 사용자 영상을 저장할 수 있다.
영상 분석부(120)는 사용자 영상 수신부(110)를 통해 수신된 사용자 영상을 분석할 수 있다.
배경 결정부(130)는 영상 분석부(120)에서 사용자 영상을 분석한 결과에 기초하여 배경 영상을 결정할 수 있다.
여기서, 배경 영상은, 합성 이모티콘에 사용될 배경으로, 정지 이미지 또는 동영상을 포함할 수 있다.
배경 결정부(130)는 사용자 영상을 분석한 결과에 기초하여 추천된 적어도 하나의 배경 영상 중 사용자 단말(1)을 통해 선택된 배경 영상을 합성 이모티콘에 합성될 배경 영상으로 결정할 수 있다.
구체적으로, 배경 결정부(130)는 사용자 영상을 분석한 결과에 기초하여 적어도 하나의 배경 영상을 추천하고, 추천한 배경 영상을 사용자 단말(1)에 전송할 수 있다. 이 때, 배경 결정부(130)는 배경 영상 자체를 사용자 단말(1)에 전송하거나, 배경 영상에 대한 정보를 사용자 단말(1)에 전송할 수 있다.
배경 영상에 대한 정보는 썸네일 이미지, 배경 영상을 설명하는 텍스트 등일 수 있으나, 이는 예시적인 것에 불과하므로, 이에 제한되지 않는다. 이와 같이, 배경 결정부(130)가 배경 영상에 대한 정보를 사용자 단말(1)에 전송할 경우, 배경 영상 자체를 전송하는 경우 보다 전송 데이터의 크기를 줄일 수 있기 때문에 전송 속도를 개선할 수 있고, 이에 따라 합성 이모티콘 생성 속도를 향상시킬 수 있는 이점이 있다.
사용자 단말(1)는 이모티콘 생성 장치(100)로부터 수신한 추천 배경 영상 혹은 추천 배경 영상에 대한 정보를 표시함으로써, 사용자로부터 어느 하나의 배경 영상을 선택받을 수 있다. 사용자 단말(1)은 선택된 배경 영상 혹은 선택된 배경 영상에 대한 정보를 이모티콘 생성 장치(100)로 전송할 수 있다.
배경 결정부(130)는 사용자 단말(1)에 추천한 배경 영상을 전송한 경우 사용자 단말(1)로부터 추천한 배경 영상 중 선택된 배경 영상을 수신할 수 있다. 마찬가지로, 배경 결정부(130)는 사용자 단말(1)에 추천한 배경 영상에 대한 정보를 전송한 경우 사용자 단말(1)로부터 선택된 배경 영상에 대한 정보를 수신할 수 있다.
배경 데이터베이스(140)는 합성 이모티콘 생성에 사용될 배경 영상을 저장하고 있을 수 있다.
일 실시 예에 따르면, 배경 데이터베이스(140)는 복수의 배경 영상을 복수의 배경 영상 각각에 대한 인덱스와 맵핑시켜 저장할 수 있다. 이에 대해서는 도 8에서 더 자세히 설명한다.
한편, 배경 데이터베이스(140)는 복수의 배경 영상 각각에 대한 합성 가이드라인을 저장할 수 있다. 합성 가이드라인은 배경 영상 각각에 대해 합성될 사용자 또는 객체의 크기 또는 위치 정보를 의미할 수 있다.
이모티콘 생성부(150)는 사용자 영상에서 추출된 사용자 또는 객체 중 적어도 하나를 배경 영상에 합성한 합성 이모티콘을 생성할 수 있다.
이모티콘 생성부(150)는 배경 영상 각각에 설정된 합성 가이드라인에 따라 사용자/객체의 크기 또는 위치를 결정할 수 있다.
한편, 상술한 합성 가이드라인은 사용자 단말(1)을 통해 수정될 수도 있다. 이 경우, 이모티콘 생성부(150)는 사용자 단말(1)을 통해 배경 영상을 선택받은 후 입력된 합성 가이드라인의 수정 정보에 따라 사용자 또는 객체가 합성될 크기 또는 위치를 조절할 수 있다.
이모티콘 전송부(160)는 생성된 합성 이모티콘을 사용자 단말(1)로 전송할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 이모티콘 생성 장치의 동작 방법이 도시된 순서도이다.
사용자 영상 수신부(110)는 사용자 단말(1)로부터 사용자 영상을 수신할 수 있다(S10).
영상 분석부(120)는 사용자 단말(1)로부터 수신한 사용자 영상을 분석할 수 있다(S20).
다음으로, 도 4를 참조하여 영상 분석부(120)가 사용자 영상을 분석하는 방법을 보다 상세하게 설명한다. 도 4는 도 3의 단계 S20을 구체화한 순서도이다.
영상 분석부(120)는 사용자 영상에서 사용자 또는 객체를 인식할 수 있다(S210).
도 5는 본 발명의 일 실시 예에 따른 영상 분석부가 사용자 영상을 분석하는 방법의 일 모습이 도시된 예시 모습니다.
일 실시 예에 따르면, 영상 분석부(120)는 Vision API를 이용하여 사용자 영상을 분석할 수 있다. 먼저, 영상 분석부(120)는 사용자 영상에서 객체를 검출할 수 있다.
보다 상세하게, 영상 분석부(120)는 Label Detection을 통해 사용자 영상 속에 있는 사물(예를 들어, 가구, 동물, 음식 등)을 인식하거나, Logo Detection을 통해 사용자 영상 속에서 회사 로고 등과 같은 로고를 인식하거나, Landmark Detection을 통해서 사용자 영상 속에서 건축물(예를 들어, 남산 타워, 경복궁 등) 혹은 자연 경과 등과 같은 랜드마크를 인식할 수 있다. 또한, 영상 분석부(120)는 Face Detection을 통해 사용자 영상 속에서 사람 얼굴을 찾으며, 눈, 코, 입의 위치 등을 리턴하여 표정 및 감정 상태(예를 들어, 기쁜 상태, 슬픈 상태 등)를 분석할 수 있다. 또한, 영상 분석부(120)는 Safe Search Detection을 통해 사용자 영상의 위험도(혹은 건전성)을 검출할 수 있고, 이를 통해 사용자 영상이 성인 컨텐츠, 의학 컨텐츠, 폭력 컨텐츠 등에 속하는 정도를 검출할 수 있다.
한편, 영상 분석부(120)는 사용자 또는 객체를 사용자 영상 전체에서 인식할 수도 있으나, 사용자 영상에서 샘플 이미지를 추출한 후 샘플 이미지에서 사용자 또는 객체를 인식할 수도 있다.
도 6은 도 4의 단계 S210을 구체화한 순서도이다.
영상 분석부(120)는 사용자 영상에서 기설정된 간격으로 샘플 이미지를 추출할 수 있다(S211).
기 설정된 간격은, 시간 단위 혹은 프레임 단위일 수 있다.
일 예로, 기 설정된 간격은 1초일 수 있고, 이 경우 영상 분석부(120)는 사용자 영상이 5초 영상이면 1초 간격으로 사용자 영상을 캡쳐하여 샘플 이미지를 추출할 수 있다.
다른 예로, 기 설정된 간격은 24프레임일 수 있고, 이 경우 영상 분석부(120)는 사용자 영상이 1초당 24 프레임의 이미지가 표시되는 5초 영상인 경우, 24프레임 간격으로 사용자 영상을 캡쳐하여 샘플 이미지를 추출할 수 있다.
영상 분석부(120)는 추출된 샘플 이미지 각각에 대해 기설정된 사용불가 조건에 해당 여부를 판단할 수 있다(S213).
구체적인 예로, 영상 분석부(120)는 사용자가 눈을 감은 이미지, 해상도가 기설정된 기준 해상도 이하인 이미지 또는 밝기가 기설정된 기준 밝기 이하인 이미지를 사용불가 조건에 해당하는 것으로 판단할 수 있다.
영상 분석부(120)는 샘플 이미지 중 사용불가 조건에 해당하는 이미지가 존재하는지 판단할 수 있다(S215).
영상 분석부(120)는 샘플 이미지 중 사용불가 조건에 해당하는 이미지가 존재하면, 사용불가 조건에 해당하는 샘플 이미지 대신 사용될 샘플 이미지를 재-추출할 수 있다(S217).
일 실시 예에 따르면, 영상 분석부(120)는 샘플 이미지를 추출한 간격을 변경함으로써 샘플 이미지를 재-추출할 수 있다. 일 예로, 영상 분석부(120)는 단계 S211에서 24 프레임 간격으로 샘플 이미지를 추출했다면, 단계 S217에서는 25 프레임 간격으로 샘플 이미지를 재-추출할 수 있다.
그러나, 상술한 샘플 이미지 추출 간격을 변경하는 방법은 예시적인 것에 불과하므로, 본 발명은 이에 제한되지 않는다.
이와 같이, 영상 분석부(120)는 기설정된 사용불가 조건에 해당하는 이미지는 이모티콘 생성에 사용되지 않도록 미리 필터링 함으로써, 보다 완성도 높은 이모티콘을 생성할 수 있는 이점이 있다.
영상 분석부(120)는 샘플 이미지를 재-추출하면, 단계 S213으로 복귀하여 재-추출된 샘플 이미지 각각에 대해 기설정된 사용불가 조건에 해당 여부를 판단할 수 있다.
영상 분석부(120)는 (재-)추출된 샘플 이미지에 사용불가 조건에 해당하는 이미지가 존재하지 않으면, (재-)추출된 샘플 이미지에서 사용자 또는 객체를 인식할 수 있다(S219).
이와 같이, 사용자 영상 전체가 아닌 사용자 영상에서 추출된 일부 샘플 이미지에 대해서 사용자 또는 객체를 인식할 경우, 영상 분석의 대상이 축소되고, 이에 따라 배경 결정에 소요되는 시간을 최소화할 수 있는 이점이 있다.
한편, 도 6에서 단계 S213 내지 S215는 실시 예에 따라 생략될 수도 있다.
다시, 도 4를 설명한다.
영상 분석부(120)는 인식된 사용자 또는 객체를 분석하여 카테고리를 추출할 수 있다(S220).
영상 분석부(120)는 검출된 객체 각각을 레이블링한 후 레이블된 객체 각각에서 특징을 추출할 수 있다. 예를 들어, 영상 분석부(120)는 사용자 영상에서, 얼굴, 손, 팔, 눈 등을 감지하여 레이블링한 후, 기쁨, 슬픔, 분노, 놀람, 자신감 등과 같은 특징을 추출할 수 있다.
도 5의 예시에서, 영상 분석부(120)는 얼굴 이미지 속성으로 자신감, 기쁨을 추출하고, 포즈 속성으로 파이팅을 추출할 수 있다. 즉, 영상 분석부(120)는 도 5의 예시 이미지에 대응하는 카테고리로 자신감, 기쁨, 파이팅을 추출할 수 있다.
카테고리는, 사용자 영상의 분석 결과 분류된 사용자 영상의 특징 부류를 의미할 수 있다.
한편, 상술한 방법은 설명의 편의를 위한 예시에 불과하며, 영상 분석부(120)는 Vision API 외 다른 방법을 이용하여 사용자 영상을 분석할 수도 있다.
다시, 도 3을 설명한다.
배경 결정부(130)는 사용자 영상을 분석한 결과에 기초하여 배경 영상을 결정할 수 있다(S30).
도 7은 도 3의 단계 S30이 구체화된 순서도이다. 즉, 도 7은 본 발명의 일 실시 예에 따른 배경 결정부(130)가 배경 영상을 결정하는 방법이 도시된 순서도이다.
먼저, 배경 데이터베이스(140)에는 복수의 배경 영상이 저장되어 있고, 복수의 배경 영상 각각에 대한 인덱스가 맵핑되어 있을 수 있다.
도 8은 본 발명의 일 실시 예에 따른 배경 데이터베이스에 배경 영상의 저장되는 방식의 일 예가 도시된 도면이다.
도 8의 예시에 도시된 바와 같이, 배경 데이터베이스(140)는 복수의 배경 영상을 포함하며, 복수의 배경 영상 각각에는 적어도 하나의 인덱스가 맵핑되어 있다.
다시, 도 7을 설명한다.
배경 결정부(130)는 사용자 영상의 분석 결과 추출된 카테고리와 일치하는 인덱스를 갖는 배경 영상을 추천 배경 영상으로 배경 데이터베이스(140)에서 획득할 수 있다(S31).
일 예로, 배경 결정부(130)는 사용자 영상의 분석 결과 추출된 카테고리가 ‘파이팅’인 경우 1번 배경 영상을 추천 배경 영상으로 획득할 수 있다. 다른 예로, 배경 결정부(130)는 사용자 영상의 분석 결과 추출된 카테고리가 ‘기쁨’인 경우 1번 배경 영상과 2번 배경 영상을 추천 배경 영상으로 획득할 수 있다. 또 다른 예로, 배경 결정부(130)는 사용자 영상의 분석 결과 추출된 카테고리가 ‘놀람’인 경우 3번 배경 영상을 추천 배경 영상으로 획득할 수 있다.
다시, 도 7을 설명한다.
배경 결정부(130)는 추천 배경 영상에 대한 정보를 사용자 단말(1)로 전송할 수 있다(S320).
사용자 단말(1)은 추천 배경 영상에 대한 정보를 수신하면, 추천 배경 영상에 대한 정보를 표시하여 사용자로부터 추천 배경 영상 중 적어도 하나를 선택받을 수 있다. 사용자 단말(1)은 추천 배경 영상 중 선택된 배경 영상에 대한 정보를 이모티콘 생성 장치(100)로 전송할 수 있다.
배경 결정부(130)는 사용자 단말(1)로부터 선택된 배경 영상에 대한 정보를 수신할 수 있다(S33).
배경 결정부(130)는 선택된 배경 영상을 합성될 배경 영상으로 결정할 수 있다(S340).
다시, 도 3을 설명한다.
이모티콘 생성부(150)는 사용자 영상에서 추출된 사용자 또는 객체와 배경 영상을 합성한 합성 이모티콘을 생성할 수 있다(S40).
본 발명의 일 실시 예에 따르면, 이모티콘 생성부(150)는 사용자 단말(1)을 통해 선택된 배경 영상에 사용자 영상에서 추출된 사용자 또는 객체를 합성함으로써 합성 이모티콘을 생성할 수 있으며, 이 때 사용자 또는 객체는 배경 영상에 설정된 합성 가이드라인에 따라 크기 또는 위치가 조절될 수 있다. 이러한 합성 가이드라인은 사용자 단말(1)이 이모티콘 생성을 위한 사용자 영상 촬영시 사용자 단말(1)에 표시될 수도 있다. 또한, 이러한 합성 가이드라인은 사용자 단말(1)을 통해 추천 배경 영상 중 어느 하나가 선택될 때에도 표시되고, 이 경우에는 사용자로부터 합성 가이드라인의 수정 정보를 입력받을 수도 있고, 합성 가이드라인의 수정 정보가 입력된 경우에는 사용자 또는 객체가 합성되는 위치 또는 크기가 수정될 수도 있다.
이에 따라, 이모티콘 생성 장치(100)는 보다 다양하게 사용자 맞춤형 이모티콘을 생성 가능한 이점이 있다.
다음으로, 도 9는 본 발명의 일 실시 예에 따른 이모티콘 생성부가 생성한 합성 이모티콘의 예시 도면이다.
도 9에 도시된 바와 같이, 이모티콘 생성부(150)는 사용자 영상에서 추출된 사용자 또는 객체(1011)(1021)(1031)을 배경 영상(1012)(1022)(1032)과 합성하여 합성 이모티콘을 생성할 수 있다.
다시, 도 3을 설명한다.
이모티콘 전송부(160)는 생성된 합성 이모티콘을 사용자 단말(1)로 전송할 수 있다(S50).
도 10은 본 발명의 일 실시 예에 따른 이모티콘 생성 장치에서 생성된 이모티콘이 사용자 단말에서 사용되는 일 예가 도시된 도면이다.
도 10에 도시된 예시와 같이, 사용자는 사용자 단말(100)을 통해 메신저 상에서 이모티콘 생성 장치(100)에서 생성된 합성 이모티콘을 송수신할 수 있다. 또한, 도 10에는 메시전에서 이모티콘이 사용되는 예시만 도시되어 있으나, 이모티콘 생성 장치(100)에서 생성된 이모티콘은 SNS 등 다양한 어플리케이션 내에서 사용될 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 이모티콘 생성 장치(100)의 구성요소들을 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (11)

  1. 사용자 단말로부터 사용자 영상을 수신하는 사용자 영상 수신부;
    상기 수신된 사용자 영상을 분석하는 영상 분석부;
    상기 사용자 영상을 분석한 결과에 기초하여 배경 영상을 결정하는 배경 결정부; 및
    상기 사용자 영상에서 추출된 사용자 또는 객체 중 적어도 하나를 상기 배경 영상에 합성한 합성 이모티콘을 생성하는 이모티콘 생성부를 포함하고,
    상기 배경 결정부는
    상기 사용자 영상을 분석한 결과에 기초하여 추천된 적어도 하나의 배경 영상 중 상기 사용자 단말을 통해 선택된 배경 영상을 상기 합성 이모티콘에 합성될 배경 영상으로 결정하는,
    이모티콘 생성 장치.
  2. 청구항 1에 있어서,
    상기 배경 결정부는
    상기 사용자 영상을 분석한 결과에 기초하여 적어도 하나의 배경 영상을 추천하고, 추천한 배경 영상에 대한 정보를 상기 사용자 단말로 전송하고, 상기 사용자 단말로부터 상기 선택된 배경 영상에 대한 정보를 수신하는,
    이모티콘 생성 장치.
  3. 청구항 1에 있어서,
    복수의 배경 영상과 복수의 배경 영상 각각에 대한 인덱스가 맵핑된 배경 데이터베이스를 더 포함하는,
    이모티콘 생성 장치.
  4. 청구항 3에 있어서,
    상기 배경 결정부는
    상기 사용자 영상을 분석하면서 추출된 카테고리를 획득하고,
    상기 배경 데이터베이스에서 상기 추출된 카테고리와 일치하는 인덱스와 맵핑된 배경 영상을 추천 배경 영상으로 획득하는
    이모티콘 생성 장치.
  5. 청구항 1에 있어서,
    상기 영상 분석부는
    상기 사용자 영상에서 사용자 또는 객체를 인식하고,
    인식된 사용자 또는 객체를 분석하여 상기 사용자 영상에 대한 카테고리를 추출하는
    이모티콘 생성 장치.
  6. 청구항 5에 있어서,
    상기 영상 분석부는
    상기 사용자 영상에서 기 설정된 간격으로 샘플 이미지를 추출하고, 추출된 샘플 이미지에서 사용자 또는 객체를 인식하는
    이모티콘 생성 장치.
  7. 청구항 6에 있어서,
    상기 영상 분석부는
    상기 샘플 이미지를 추출하면 추출된 샘플 이미지 각각에 대해 기설정된 사용불가 조건에 해당하는지 판단하고,
    상기 사용불가 조건에 해당하는 샘플 이미지가 존재하면, 상기 사용불가 조건에 해당하는 샘플 이미지 대신 사용될 샘플 이미지를 재-추출하는
    이모티콘 생성 장치.
  8. 청구항 7에 있어서,
    상기 영상 분석부는
    상기 샘플 이미지를 추출한 간격을 변경함으로써 상기 샘플 이미지를 재-추출하는
    이모티콘 생성 장치.
  9. 청구항 7에 있어서,
    상기 영상 분석부는
    사용자가 눈을 감은 이미지, 해상도가 기설정된 기준 해상도 이하인 이미지 또는 밝기가 기설정된 기준 밝기 이하인 이미지를 상기 사용불가 조건에 해당하는 것으로 판단하는
    이모티콘 생성 장치.
  10. 청구항 1에 있어서,
    상기 이모티콘 생성부는
    배경 영상 각각에 설정된 합성 가이드라인에 따라 상기 사용자 또는 객체의 크기 또는 위치를 결정하는
    이모티콘 생성 장치.
  11. 청구항 10에 있어서,
    상기 이모티콘 생성부는
    상기 사용자 단말을 통해 상기 배경 영상을 선택받은 후 입력된 상기 합성 가이드라인의 수정 정보에 따라 상기 사용자 또는 객체가 합성될 크기 또는 위치를 조절하는
    이모티콘 생성 장치.
PCT/KR2021/020383 2021-07-27 2021-12-31 이모티콘 생성 장치 WO2023008668A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022547260A JP7465487B2 (ja) 2021-07-27 2021-12-31 エモーティコン生成装置
CN202180013920.5A CN116113990A (zh) 2021-07-27 2021-12-31 表情符号生成装置
US17/880,465 US20230031999A1 (en) 2021-07-27 2022-08-03 Emoticon generating device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0098517 2021-07-27
KR1020210098517A KR102695008B1 (ko) 2021-07-27 2021-07-27 이모티콘 생성 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/880,465 Continuation US20230031999A1 (en) 2021-07-27 2022-08-03 Emoticon generating device

Publications (1)

Publication Number Publication Date
WO2023008668A1 true WO2023008668A1 (ko) 2023-02-02

Family

ID=85087794

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/020383 WO2023008668A1 (ko) 2021-07-27 2021-12-31 이모티콘 생성 장치

Country Status (2)

Country Link
KR (1) KR102695008B1 (ko)
WO (1) WO2023008668A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082898A (ko) * 2011-12-22 2013-07-22 김선미 커뮤니티 서비스에서 사용자 정의 이모티콘 이용방법
KR20150129248A (ko) * 2014-05-09 2015-11-19 조관순 실사캐릭터 이모티콘 제공장치 및 방법
KR101720250B1 (ko) * 2013-07-30 2017-03-27 주식회사 케이티 이미지를 추천하는 장치 및 방법
KR20180109594A (ko) * 2017-03-28 2018-10-08 삼성전자주식회사 얼굴 인증을 위한 장치 및 방법
KR20190106865A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 동영상 검색방법 및 동영상 검색 단말기

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101894956B1 (ko) * 2017-06-21 2018-10-24 주식회사 미디어프론트 실시간 증강 합성 기술을 이용한 영상 생성 서버 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082898A (ko) * 2011-12-22 2013-07-22 김선미 커뮤니티 서비스에서 사용자 정의 이모티콘 이용방법
KR101720250B1 (ko) * 2013-07-30 2017-03-27 주식회사 케이티 이미지를 추천하는 장치 및 방법
KR20150129248A (ko) * 2014-05-09 2015-11-19 조관순 실사캐릭터 이모티콘 제공장치 및 방법
KR20180109594A (ko) * 2017-03-28 2018-10-08 삼성전자주식회사 얼굴 인증을 위한 장치 및 방법
KR20190106865A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 동영상 검색방법 및 동영상 검색 단말기

Also Published As

Publication number Publication date
KR102695008B1 (ko) 2024-08-13
KR20230016930A (ko) 2023-02-03

Similar Documents

Publication Publication Date Title
WO2019013517A1 (en) APPARATUS AND METHOD FOR VOICE CONTROL CONTEXT
WO2014157806A1 (en) Display device and control method thereof
US20070206834A1 (en) Search system, image-capturing apparatus, data storage apparatus, information processing apparatus, captured-image processing method, information processing method, and program
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2015065006A1 (en) Multimedia apparatus, online education system, and method for providing education content thereof
WO2014069943A1 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
WO2018066742A1 (ko) 영상 제공 장치 및 방법
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2021080067A1 (ko) 시선 분석 장치 및 이를 이용한 시선 분석 시스템 및 방법
WO2014175520A1 (en) Display apparatus for providing recommendation information and method thereof
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2022045516A1 (en) Audio and video synchronization method and device
WO2017047913A1 (en) Display device, controlling method thereof and computer-readable recording medium
WO2012137994A1 (ko) 영상인식장치 및 그 영상 감시방법
WO2018043923A1 (ko) 디스플레이장치 및 그 제어방법
WO2015056893A1 (en) Image processing apparatus and control method thereof
WO2023008668A1 (ko) 이모티콘 생성 장치
WO2011053060A2 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2020235910A1 (en) Text reconstruction system and method thereof
WO2016036049A1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
WO2020045909A1 (en) Apparatus and method for user interface framework for multi-selection and operation of non-consecutive segmented information
US20230031999A1 (en) Emoticon generating device
WO2023158068A1 (ko) 객체검출률 향상을 위한 학습시스템 및 그 방법
WO2018124671A1 (en) Electronic device and operation method thereof
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022547260

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21952037

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21952037

Country of ref document: EP

Kind code of ref document: A1