KR20130057148A - Cosmetics information providing method and apparatus - Google Patents

Cosmetics information providing method and apparatus Download PDF

Info

Publication number
KR20130057148A
KR20130057148A KR1020110122924A KR20110122924A KR20130057148A KR 20130057148 A KR20130057148 A KR 20130057148A KR 1020110122924 A KR1020110122924 A KR 1020110122924A KR 20110122924 A KR20110122924 A KR 20110122924A KR 20130057148 A KR20130057148 A KR 20130057148A
Authority
KR
South Korea
Prior art keywords
cosmetic
user
face
image
skin color
Prior art date
Application number
KR1020110122924A
Other languages
Korean (ko)
Inventor
차대성
Original Assignee
차대성
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 차대성 filed Critical 차대성
Priority to KR1020110122924A priority Critical patent/KR20130057148A/en
Publication of KR20130057148A publication Critical patent/KR20130057148A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/60—Business processes related to postal services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A method for providing cosmetics information corresponding to a skin color of a user and a device thereof are provided to supply the cosmetics information proper to the skin color to users, thereby promoting cosmetics to the users. CONSTITUTION: A color pattern matching information storage unit(260) stores a color pattern in advance and stores matching information which matches a range of a skin color and the color pattern. An image photographing unit(220) outputs a face image by photographing a face of a user. A skin color analysis unit(230) analyzes the skin color of the face image. The skin color analysis unit includes a face area detection unit(232), a detail face area extraction unit(234), and a skin color determination unit(236). A recommendation information generation unit(240) receives a representative skin color of each detail face area and matches the representative skin color and the color pattern corresponding to color pattern matching information stored in the color pattern matching information storage unit. [Reference numerals] (210) Lighting unit; (220) Image photographing unit; (230) Skin color analysis unit; (232) Face area detection unit; (234) Detail face area extraction unit; (236) Skin color determination unit; (240) Recommendation information generation unit; (250) Cosmetics information providing unit; (260) Color pattern matching information storage unit; (270) Communication unit; (280) Input unit; (290) Display unit

Description

사용자의 피부색에 따른 화장품 정보 제공 방법 및 장치{Cosmetics information providing method and apparatus}Cosmetic information providing method and apparatus according to user's skin color {Cosmetics information providing method and apparatus}

본 발명은 화장품 정보 제공 방법 및 장치에 관한 것으로서, 보다 구체적으로는 사용자의 피부색에 따른 화장품 정보 제공 방법 및 장치에 관한 것이다.
The present invention relates to a method and apparatus for providing cosmetic information, and more particularly, to a method and apparatus for providing cosmetic information according to a skin color of a user.

정보 통신 기술의 발달함에 따라서, 종래의 잡지나 신문 등의 인쇄물에 광고를 인쇄하는 광고 방식은, 인터넷의 대형 포털 사이트에 배너 광고를 게재하거나, 상품과 관련된 단어들을 사용자들이 주요 검색 사이트에서 검색하는 키워드와 연관시켜 광고를 수행하는 방식등과 같이 다양하게 변화되고 있다. With the development of information and communication technology, the advertisement method of printing advertisements in printed materials such as magazines and newspapers is to display banner advertisements on large portal sites of the Internet or to search for words related to products on major search sites. There are various changes such as the way of performing advertisement in association with keywords.

화장품을 광고하는 방식 역시 이러한 방식을 채택하고 있으나, 화장품이라는 특수성을 감안한 효과적인 광고 방법은 아직 제시되지 못하는 실정이다. 즉, 화장품은 동일한 브랜드의 제품이라 하더라도, 그 색상에 따라서 다양한 종류로 출시되고 있고, 사용자들은 자신의 피부색에 맞는 제품을 찾기 위해 매장을 직접 방문하여 테스터 제품을 손등에 발라 보는 등의 방식으로 자신이 원하는 색상을 찾아야 하는 불편함이 따른다. The advertising method of cosmetics also adopts this method, but an effective advertising method considering the specificity of cosmetics has not yet been presented. In other words, even cosmetic products of the same brand are released in various types according to their colors, and users visit the store in order to find a product that matches their skin color and apply the tester product on their back. This is inconvenient to find the desired color.

이러한 불편함으로 인하여, 화장품 고객들은 기존에 자신이 사용한 경험이 있는 제품을 다시 구매하는 경향이 있고, 이에 따라, 새롭게 시장에 진입하려고 하는 공급자들은 자신의 제품을 광고할 때 많은 어려움에 부딪히게 된다.
Due to this inconvenience, cosmetic customers tend to purchase products that they have previously used, and thus, new suppliers entering the market face a lot of difficulties when advertising their products.

본 발명이 해결하고자 하는 과제는 간단한 얼굴 이미지 촬영만으로 사용자의 피부색에 적합한 화장품 정보를 제공함으로써, 사용자의 화장품 구매의 편의성을 높이고, 화장품 제조업자의 측면에서는 자신의 화장품에 대한 정보를 용이하게 소비자에게 전달함으로써 광고 효과를 극대화 시킬 수 있는 화장품 정보 제공 방법 및 장치를 제공하는 것이다.
The problem to be solved by the present invention is to provide a cosmetic information suitable for the user's skin color only by taking a simple face image, to enhance the convenience of the user's cosmetics purchase, and to easily deliver information about their cosmetics to the consumer in terms of cosmetic manufacturers By providing a cosmetic information providing method and apparatus that can maximize the advertising effect.

상술한 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 방법은, (a) 화장품 정보 제공 장치가 사용자를 촬영하여 얼굴 이미지를 생성하는 단계; (b) 상기 화장품 정보 제공 장치가 상기 얼굴 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 화장품이 적용될 세부 얼굴 영역들에 대한 이미지(세부 얼굴 영역 이미지)를 추출하는 단계; (c) 상기 화장품 정보 제공 장치가 상기 세부 얼굴 영역 이미지의 피부색을 분석하여, 세부 얼굴 영역들 각각의 피부색을 사전에 정의된 색상 패턴 매칭 정보에 따라서 색상 패턴과 매칭시키는 단계; 및 (d) 상기 화장품 정보 제공 장치가 각 세부 얼굴 영역의 색상 패턴에 대응되는 화장품 정보를 조회하여, 대응되는 화장품 리스트를 사용자에게 출력하는 단계를 포함한다.Cosmetic information providing method according to a preferred embodiment of the present invention for solving the above problems, (a) a cosmetic information providing apparatus for generating a face image by photographing the user; (b) the cosmetic information providing apparatus detecting a face region from the face image and extracting an image (detailed face region image) of detailed face regions to which cosmetics are to be applied from the detected face region; (c) the cosmetic information providing apparatus analyzing the skin color of the detail face region image and matching the skin color of each detail face region with a color pattern according to predefined color pattern matching information; And (d) the cosmetic information providing apparatus querying the cosmetic information corresponding to the color pattern of each detailed face region and outputting a corresponding cosmetic list to the user.

또한, 상기 (c) 단계는, 상기 세부 얼굴 영역 이미지의 화소값들의 평균값을 계산하여 세부 얼굴 영역에 대한 피부색을 분석할 수 있다.Also, in the step (c), the skin color of the detailed face region may be analyzed by calculating an average value of pixel values of the detailed face region image.

또한, 상기 (c) 단계는, 상기 세부 얼굴 영역 이미지의 각 화소값들 중, 세부 얼굴 영역에 대해서 사전에 정의된 범위내의 화소값들에 대해서만 평균값을 계산하여 세부 얼굴 영역에 대한 피부색을 분석할 수 있다.Also, in the step (c), the skin color of the detailed face region may be analyzed by calculating an average value only for pixel values within a predefined range of the detailed face region among the pixel values of the detail face region image. Can be.

또한, 상기 화장품 정보 제공 방법은, (e) 상기 화장품 정보 제공 장치가 사용자로부터 사용자의 이메일 주소를 입력받아, 상기 화장품 리스트를 사용자의 이메일로 전송하는 단계를 더 포함할 수 있다.The cosmetic information providing method may further include (e) receiving, by the cosmetic information providing apparatus, a user's email address from the user, and transmitting the cosmetic list to the user's email.

또한, 상기 화장품 정보 제공 방법은, (f) 상기 화장품 정보 제공 장치가 일정한 시간 주기로 인터넷망을 통해서 화장품 DB 서버에 접속하여, 상기 화장품 DB 서버로부터 갱신된 화장품 정보와 색상 패턴 매칭 정보를 수신하여 상기 화장품 정보 저장부에 저장하는 단계를 더 포함할 수 있다.In addition, the cosmetic information providing method, (f) the cosmetic information providing apparatus is connected to the cosmetic DB server via the Internet network at a predetermined time period, and receives the updated cosmetic information and color pattern matching information from the cosmetic DB server The method may further include storing the cosmetic information storage unit.

또한, 상기 (b) 단계는, 사용자의 선택에 따라서, 사전에 저장된 사용자의 얼굴 이미지 또는 상기 (a) 단계에서 촬영된 얼굴 이미지에서 얼굴 영역을 검출할 수 있다.Also, in the step (b), the face region may be detected from the face image of the user or the face image photographed in the step (a) according to the user's selection.

한편, 상술한 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치는, 화장품 정보를 저장하는 화장품 정보 저장부; 색상 패턴 매칭 정보를 저장하는 색상 패턴 매칭 정보 저장부; 사용자의 얼굴을 촬영하여 얼굴 이미지를 출력하는 영상 촬영부; 상기 얼굴 이미지에서 추출된 각 세부 얼굴 영역들에 대한 이미지(세부 얼굴 영역 이미지)의 피부색을 분석하는 피부색 분석부; 상기 색상 패턴 매칭 정보에 따라서 세부 얼굴 영역들 각각의 피부색을 색상 패턴과 매칭시켜, 상기 색상 패턴에 대응되는 화장품 리스트를 생성하는 추천 정보 생성부; 및 피부색 분석 결과 및 상기 추천 정보를 사용자에게 표시하는 표시부를 포함한다.On the other hand, cosmetic information providing apparatus according to a preferred embodiment of the present invention for solving the above problems, cosmetic information storage unit for storing cosmetic information; A color pattern matching information storage unit for storing color pattern matching information; An image capturing unit photographing a user's face and outputting a face image; A skin color analyzer analyzing the skin color of the image (detailed face region image) for each of the detailed face regions extracted from the face image; A recommendation information generator configured to generate a cosmetic list corresponding to the color pattern by matching the skin color of each of the detailed face regions according to the color pattern matching information; And a display unit which displays the skin color analysis result and the recommendation information to the user.

또한, 상기 피부색 분석부는, 상기 세부 얼굴 영역 이미지의 화소값들의 평균값을 계산하여 세부 얼굴 영역에 대한 피부색을 분석할 수 있다.The skin color analyzer may analyze the skin color of the detailed face region by calculating an average value of pixel values of the detailed face region image.

또한, 피부색 분석부는, 상기 세부 얼굴 영역 이미지의 각 화소값들 중, 세부 얼굴 영역에 대해서 사전에 정의된 범위내의 화소값들에 대해서만 평균값을 계산하여 세부 얼굴 영역에 대한 피부색을 분석할 수 있다.Also, the skin color analyzer may analyze the skin color of the detailed face region by calculating an average value only for pixel values within a predefined range of the detailed face region among the pixel values of the detail face region image.

또한, 상기 화장품 정보 제공 장치는, 사용자의 얼굴 영상 촬영시에 사전에 정의된 밝기의 빛을 사용자의 얼굴에 조사하는 조명부를 더 포함할 수 있다.In addition, the cosmetic information providing apparatus may further include an illumination unit for irradiating the user's face with a light of a predefined brightness when photographing the user's face image.

또한, 상기 화장품 정보 제공 장치는 상기 화장품 리스트를 사용자로부터 입력받은 사용자의 이메일로 전송하는 통신부를 더 포함할 수 있다.In addition, the cosmetic information providing apparatus may further include a communication unit for transmitting the cosmetic list to the user's email received from the user.

또한, 상기 화장품 정보 제공 장치는 일정한 시간 주기로 인터넷망을 통해서 화장품 DB 서버에 접속하여, 상기 화장품 DB 서버로부터 갱신된 화장품 정보와 색상 패턴 매칭 정보를 수신하여 상기 화장품 정보 저장부 및 상기 색상 패턴 매칭 정보 저장부에 각각 저장하는 통신부를 더 포함할 수 있다.In addition, the cosmetic information providing apparatus is connected to the cosmetic DB server via the Internet network at regular intervals, and receives the cosmetic information and color pattern matching information updated from the cosmetic DB server, the cosmetic information storage unit and the color pattern matching information The apparatus may further include a communication unit for storing each of the storage units.

또한, 피부색 분석부는, 사용자의 선택에 따라서, 사전에 저장된 사용자의 얼굴 이미지 또는 영상 촬영부에서 촬영된 얼굴 이미지에서 얼굴 영역을 검출할 수 있다.
The skin color analyzer may detect a face region from a face image of the user or a face image photographed by the image capturing unit according to a user's selection.

본 발명은 키오스크 또는 사용자의 정보통신 단말기에 설치된 카메라로 촬영된 사용자의 얼굴 이미지 또는 사전에 저장된 얼굴 이미지를 이용하여, 사용자 얼굴의 세부 영역별로 피부색을 분석하고, 세부 얼굴 영역별 피부색에 대응되는 색상 패턴의 화장품 정보를 사용자에게 제공함으로써, 사용자는 화장품을 일일이 손등에 발라 색상을 확인하지 않아도 자신에게 적합한 화장품에 대한 정보를 획득할 수 있다.The present invention analyzes the skin color for each detailed area of the user's face by using a face image of the user or a previously stored face image photographed by a camera installed in a kiosk or a user's information communication terminal, and the color corresponding to the skin color for each detailed face area. By providing the cosmetic information of the pattern to the user, the user can obtain the information on the cosmetics that are suitable for them without applying the cosmetics on the back of the hand one by one to check the color.

또한, 화장품 공급자는 사용자들에게 피부색에 적합한 화장품 정보를 제공함으로써, 소비자들에게 화장품을 홍보할 수 있고, 소비자로 하여금 제품에 대한 흥미를 유발할 수 있으며, 이러한 흥미를 제품 구매로 연결할 수 있다.
In addition, the cosmetics provider can promote the cosmetics to consumers by providing cosmetics information appropriate to the skin color to the user, can cause the consumer to interest in the product, and can connect this interest to the product purchase.

도 1은 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치(200)의 전체 연결 관계를 설명하는 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치(200)의 내부 구성을 도시하는 블록도이다.
도 3 및 도 4는 사용자의 피부색을 분석하는 과정을 설명하는 도면이다.
도 5는 대표 피부색을 색상 패턴과 매칭시키는 예를 도시한 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 방법을 설명하는 흐름도이다.
도 7a 내지 도 7c 는 도 6의 각 단계에서 사용자에게 표시되는 정보를 예시적으로 도시한 도면이다. 1 is a view for explaining the overall connection of the cosmetic information providing apparatus 200 according to an embodiment of the present invention.
2 is a block diagram illustrating an internal configuration of a cosmetics information providing apparatus 200 according to a preferred embodiment of the present invention.
3 and 4 illustrate a process of analyzing a skin color of a user.
5 illustrates an example of matching a representative skin color with a color pattern.
6 is a flowchart illustrating a method of providing cosmetics information according to a preferred embodiment of the present invention.
7A to 7C are views illustrating information displayed to a user at each step of FIG. 6 by way of example.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

단, 이하에서 설명하는 피부색은 사용자 자신의 진정한 피부색일 수도 있고, 사용자가 화장품을 얼굴에 발랐을 때 피부에 나타나는 색(즉, 선호하는 화장품의 색상)일 수도 있다. 예컨대, 본 발명은 사용자가 화장품을 바른 후 얼굴 이미지를 촬영하여 화장품 추천을 받는 경우, 현재 사용자가 바른 화장품의 색상이 사용자가 선호하는 색상이라고 가정하고, 현재 사용자가 얼굴에 바른 색상에 대응되는 색상의 화장품 리스트를 추천하여, 사용자로 하여금 간편하게 자신의 얼굴 부위별로 선호하는 색상의 화장품을 제공받을 수 있도록 한다. However, the skin color described below may be the user's true skin color, or may be a color that appears on the skin when the user puts cosmetics on the face (that is, the color of the preferred cosmetics). For example, the present invention assumes that the color of the cosmetics currently applied by the user is the user's preferred color when the user photographs the face after applying the cosmetics and receives the cosmetic recommendation, and the color corresponding to the color applied to the face by the current user. Recommends a list of cosmetics, so that the user can easily be provided with the cosmetics of the preferred color for each face area.

도 1은 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치(200)의 전체 연결 관계를 설명하는 도면이고, 도 2는 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치(200)의 내부 구성을 도시하는 블록도이다.1 is a view for explaining the overall connection of the cosmetic information providing apparatus 200 according to a preferred embodiment of the present invention, Figure 2 is an internal configuration of the cosmetic information providing apparatus 200 according to a preferred embodiment of the present invention It is a block diagram which shows.

본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치(200)는 다수의 소비자가 이용할 수도 있도록 화장품 매장 또는 유동 인구가 많은 위치에 키오스크 형태로 설치될 수 있고, 사용자의 스마트폰 또는 스마트패드 등과 같은 정보 통신 단말기에 어플리케이션 프로그램이 설치됨으로써 구현될 수도 있다.Cosmetic information providing apparatus 200 according to a preferred embodiment of the present invention may be installed in the form of kiosk in a cosmetics store or a location with a large population, so that a large number of consumers can use, information such as a user's smartphone or smart pad It may be implemented by installing an application program in the communication terminal.

먼저, 도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치(200)는 유무선 인터넷망을 통해서 화장품 DB 서버(300) 및 광고 서버(100)와 연결된다.First, referring to FIG. 1, the cosmetic information providing apparatus 200 according to an exemplary embodiment of the present invention is connected to the cosmetic DB server 300 and the advertisement server 100 through a wired / wireless internet network.

광고 서버(100)는 광고 데이터를 저장하고, 화장품 정보 제공 장치(200)로 광고 데이터를 전송하여 표시한다. 광고 서버(100)는 일정한 시간 주기로 화장품 정보 제공 장치(200)가 접속하면, 접속한 화장품 정보 제공 장치(200)로 광고 데이터는 전송할 수 있고, 갱신된 광고 데이터가 존재하는 경우에 푸시 방식으로 화장품 정보 제공 장치(200)로 광고 데이터를 전송할 수도 있다.The advertisement server 100 stores the advertisement data and transmits the advertisement data to the cosmetic information providing apparatus 200 for display. When the cosmetic information providing apparatus 200 is connected to the cosmetic information providing apparatus 200 at a predetermined time period, the advertisement server 100 may transmit the advertising data to the cosmetic information providing apparatus 200 which is connected, and when the updated advertising data exists, the cosmetics are pushed. The advertisement data may also be transmitted to the information providing apparatus 200.

화장품 DB 서버(300)는 내부에 복수의 화장품 정보(화장품의 제조사, 명칭, 용도, 가격, 색상 등)와 색상 패턴 매칭 정보를 저장하고, 일정한 시간 주기로 화장품 정보 제공 장치(200)가 접속하면, 접속한 화장품 정보 제공 장치(200)로 갱신된 화장품 정보 및 색상 패턴 매칭 정보를 전송할 수 있고, 갱신된 화장품 정보 및 색상 패턴 매칭 정보가 존재하는 경우에 푸시 방식으로 이들 정보를 화장품 정보 제공 장치(200)로 전송할 수도 있다.The cosmetic DB server 300 stores a plurality of cosmetic information (manufacturer, name, use, price, color, etc.) and color pattern matching information of the cosmetics therein, and when the cosmetic information providing apparatus 200 is connected at regular time intervals, The updated cosmetic information and color pattern matching information may be transmitted to the connected cosmetic information providing apparatus 200, and when the updated cosmetic information and color pattern matching information exist, the cosmetic information providing apparatus 200 is pushed. Can also be sent.

화장품 정보 제공 장치(200)는 사용자의 얼굴 이미지를 촬영하여, 얼굴 이미지의 각 세부 얼굴 영역(눈, 코, 입술, 볼 등)의 피부색을 분석하여, 해당 피부색에 적합한 화장품 리스트를 사용자에게 제공한다.The cosmetic information providing apparatus 200 photographs a face image of the user, analyzes the skin color of each detailed face area (eye, nose, lips, cheeks, etc.) of the face image, and provides the user with a list of cosmetics suitable for the skin color. .

구체적으로, 화장품 정보 제공 장치(200)는 사용자의 얼굴 이미지를 촬영하여 얼굴 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 화장품이 적용될 세부 얼굴 영역들(눈, 코, 입술, 볼 등)에 대한 이미지(세부 얼굴 영역 이미지)를 추출한다. 그 후, 화장품 정보 제공 장치(200)는 세부 얼굴 영역 이미지의 피부색을 분석하여, 세부 얼굴 영역들 각각의 피부색을 화장품 DB 서버(300)로부터 수신된 색상 패턴 매칭 정보에 따라서 색상 패턴과 매칭시켜 색상 패턴에 대응되는 화장품 리스트를 각 얼굴 세부 영역별로 사용자에게 출력한다. 또한, 화장품 정보 제공 장치(200)는 사용자에게 출력한 화장품 리스트를 사용자로부터 입력받은 이메일 주소로 전송할 수 있고, 사용할 수 있고, 사용자가 선택한 화장품을 판매할 수 있다.In detail, the cosmetic information providing apparatus 200 detects a face region from a face image by capturing a face image of a user, and applies the detailed face regions (eye, nose, lips, cheeks, etc.) to which cosmetics are to be applied in the detected face region. Extract an image (detailed face region image). Thereafter, the cosmetic information providing apparatus 200 analyzes the skin color of the detail face region image, matches the skin color of each of the detail face regions with the color pattern according to the color pattern matching information received from the cosmetic DB server 300, and then color. A cosmetic list corresponding to the pattern is output to the user for each facial detail region. In addition, the cosmetic information providing apparatus 200 may transmit and use the cosmetic list output to the user to an e-mail address input from the user, and may sell cosmetics selected by the user.

화장품 정보 제공 장치(200)는 키오스크 형태 또는 사용자의 정보 통신 단말기로 구현될 수 있다. 화장품 정보 제공 장치(200)가 매장 또는 공공장소에 설치된 키오스크로 구현되는 경우에, 화장품 정보 제공 장치(200)는 일정한 시간 주기로 광고 서버(100)에 접속하여 광고 데이터를 수신하여 내부에 저장한 후, 평상시에는 광고 데이터를 출력하다가, 사용자가 터치스크린으로 구현되는 화면을 터치하여 화장품 추천 기능을 활성화하면, 키오스크에 설치된 카메라로 사용자의 얼굴 이미지를 촬영하여 사용자의 피부색에 적합한 화장품 리스트를 출력한다.The cosmetic information providing apparatus 200 may be implemented as a kiosk form or a user's information communication terminal. In the case where the cosmetic information providing apparatus 200 is implemented as a kiosk installed in a store or a public place, the cosmetic information providing apparatus 200 accesses the advertisement server 100 at a predetermined time period and receives and stores the advertisement data therein. In general, while advertising data is output, when the user touches a screen implemented as a touch screen to activate the cosmetic recommendation function, a camera installed in the kiosk photographs the user's face and outputs a cosmetic list suitable for the user's skin color.

또한, 화장품 정보 제공 장치(200)가 사용자의 정보 통신 단말기에 어플리케이션 프로그램이 설치되어 구현된 경우에, 사용자가 어플리케이션을 실행시키면, 단말기에 설치된 카메라를 이용하여 사용자의 얼굴 이미지를 촬영하여 사용자의 피부색에 적합한 화장품 리스트를 출력한다. 이 때, 화장품 정보 제공 장치(200)는 광고 서버(100)에 접속함이 없이, 화장품 DB 서버(300)에만 접속하여 화장품 정보 및 색상 패턴 매칭 정보를 수신하여 단말기 내부에 저장할 수 있다.In addition, when the cosmetic information providing apparatus 200 is an application program is installed and implemented in the user's information communication terminal, when the user executes the application, the skin color of the user by taking a face image of the user using a camera installed in the terminal Outputs a list of suitable cosmetics. In this case, the cosmetic information providing apparatus 200 may access only the cosmetic DB server 300 to receive cosmetic information and color pattern matching information without being connected to the advertisement server 100, and store the cosmetic information and color pattern matching information in the terminal.

또한, 화장품 정보 제공 장치는 사전에 저장된 사용자의 이미지를 이용하여 피부색을 분석할 수도 있다.In addition, the cosmetic information providing apparatus may analyze the skin color using an image of a user stored in advance.

도 2를 참조하여, 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치(200)의 세부 구성을 살펴보면, 본 발명의 바람직한 실시에에 따른 화장품 정보 제공 장치(200)는, 화장품 정보 저장부(250), 색상 패턴 매칭 정보 저장부(260), 영상 촬영부(220), 피부색 분석부(230), 추천 정보 생성부(240), 입력부(280), 표시부(290), 통신부(270), 및 조명부(210)를 포함하여 구성된다.2, the detailed configuration of the cosmetic information providing apparatus 200 according to a preferred embodiment of the present invention, the cosmetic information providing apparatus 200 according to a preferred embodiment of the present invention, cosmetic information storage unit 250 ), Color pattern matching information storage unit 260, image capturing unit 220, skin color analyzer 230, recommendation information generating unit 240, input unit 280, display unit 290, communication unit 270, and It is configured to include an illumination unit (210).

먼저, 화장품 정보 저장부(250)는 화장품의 제조사, 명칭, 제품 일련번호, 용도, 가격, 색상 등과 같은 화장품에 대한 제품 정보를 저장한다.First, the cosmetic information storage unit 250 stores product information on cosmetics such as a manufacturer, a name, a product serial number, a use, a price, and a color of the cosmetic.

색상 패턴 매칭 정보 저장부(260)는 색상 패턴을 사전에 저장하고, 사용자의 피부색 범위와 색상 패턴을 매칭시키는 매칭 정보를 저장한다. 본 발명에서 사용자들에게 추천되는 화장품들은 색상 패턴에 대응되도록 분류되어 있고, 사용자의 피부색에 대응되는 색상 패턴이 정해지면, 해당 색상 패턴에 대응되는 화장품 리스트가 사용자에게 추천된다. The color pattern matching information storage unit 260 stores the color pattern in advance, and stores matching information for matching the color pattern with the skin color range of the user. Cosmetics recommended to users in the present invention are classified to correspond to a color pattern, and when a color pattern corresponding to the skin color of the user is determined, a cosmetic list corresponding to the color pattern is recommended to the user.

영상 촬영부(220)는 사용자의 얼굴을 촬영하여 얼굴 이미지를 출력한다. 영상 촬영부(220)는 일반적인 CCD 카메라 또는 CMOS 카메라로 구현될 수 있다.The image capturing unit 220 photographs a user's face and outputs a face image. The image capturing unit 220 may be implemented as a general CCD camera or a CMOS camera.

조명부(210)는 사전에 설정된 밝기의 조명을 영상 촬영부(220)에서 영상을 촬영할 때 사용자의 얼굴로 조사하여, 사용자의 얼굴 영상이 항상 일정한 밝기에서 촬영될 수 있도록 한다.The lighting unit 210 illuminates the light of a predetermined brightness with the face of the user when the image capturing unit 220 captures the image, so that the face image of the user may be always captured at a constant brightness.

피부색 분석부(230)는 얼굴 이미지에서 추출된 각 세부 얼굴 영역들에 대한 이미지(세부 얼굴 영역 이미지)의 피부색을 분석한다. 피부색 분석부(230)는 얼굴 영역 검출부(232), 세부 얼굴 영역 추출부(234), 및 피부색 결정부(236)를 포함하여 구성된다.The skin color analyzer 230 analyzes the skin color of the image (detailed face region image) for each of the detailed face regions extracted from the face image. The skin color analyzer 230 includes a face region detector 232, a detailed face region extractor 234, and a skin color determiner 236.

사용자의 피부색을 분석하는 과정을 설명하는 도 3 및 도 4를 더 참조하여, 피부색 분석부(230)의 기능을 설명하면, 얼굴 영역 검출부(232)는 영상 촬영부(220)에서 입력된 얼굴 이미지 또는 사용자가 선택한 사전에 저장된 이미지에 대해서 밝기 및 크기 등을 조절하여 얼굴 이미지를 영상처리에 적합한 이미지로 변환하는 전처리 과정을 수행한 후, 얼굴 이미지에서 얼굴 영역을 검출한다(도 3의 (a) 참조). 얼굴 영역을 검출하는 방식은 이미지에서 두 눈을 먼저 검출하여 기준점을 잡고, 기준점으로부터 얼굴 전체 영역을 추출하는 등과 같은, 얼굴 인식 기술에서 적용되는 모든 기술이 적용될 수 있다.Referring to FIGS. 3 and 4, which describe a process of analyzing a user's skin color, the function of the skin color analyzer 230 will be described. The face region detector 232 may include a face image input from the image capturing unit 220. Alternatively, after performing a preprocessing process of converting a face image into an image suitable for image processing by adjusting brightness and size of a pre-stored image selected by a user, the face region is detected from the face image (FIG. 3A). Reference). As a method of detecting a face region, all techniques applied to face recognition technology, such as detecting eyes of an eye in an image to set a reference point and extracting an entire face region from the reference point, may be applied.

세부 얼굴 영역 추출부(234)는 검출된 얼굴 영역 이미지에서 화장품이 적용될 세부 얼굴 영역들을 검출하고(도 3의 (b) 참조), 얼굴 영역 이미지에서 검출된 세부 얼굴 영역 이미지를 추출한다(도 3의 (c) 참조). The detail face region extractor 234 detects detail face regions to which cosmetics are to be applied from the detected face region image (see FIG. 3B), and extracts the detected detail face region image from the face region image (FIG. 3). (C) of).

피부색 결정부(236)는 도 4에 도시된 바와 같이, 각 세부 얼굴 영역 이미지의 화소값(이미지 화소의 RGB값)들을 평균하여 각 세부 얼굴 영역의 대표 피부색을 결정한다. 이 때, 피부색 결정부(236)는 추출된 세부 얼굴 영역 이미지의 화소값을, 해당 세부 얼굴 영역별로 사전에 설정된 화소값의 범위와 비교하여, 해당 범위에 포함되는 화소값들만을 평균하여 세부 얼굴 영역을 대표하는 피부색을 결정한다.As illustrated in FIG. 4, the skin color determiner 236 determines the representative skin color of each detail face area by averaging pixel values (RGB values of image pixels) of each detail face area image. At this time, the skin color determiner 236 compares the pixel value of the extracted detail face region image with a range of preset pixel values for each detail face region, and averages only the pixel values included in the range to detail the face. Determine the skin color that represents the area.

도 4에 도시된 예에서 볼 영역의 경우에, 조명에 의해서 반사된 영역은 자신의 피부색보다 훨씬 밝게 표시되고, 그늘진 영역은 자신의 피부색보다 훨씬 어둡게 표시된다. 따라서, 이들 영역은 피부색을 결정하는데 있어서 제외되어야 하고, 이를 위해서 사전에 각 세부 얼굴 영역별 화소값의 범위가 설정된다(단, 이러한 화소값 범위는 인종에 따라서 다르게 설정될 수 있다).In the case of the viewing area in the example shown in FIG. 4, the area reflected by the illumination is displayed much brighter than its skin color, and the shaded area is displayed much darker than its skin color. Therefore, these areas should be excluded in determining the skin color, and for this purpose, a range of pixel values for each detailed face area is set in advance (however, these pixel value ranges may be set differently according to race).

도 4에 도시된 본 발명의 바람직한 실시예에서, 피부색 결정부(236)는 데이터의 신속한 처리를 위하여 세부 얼굴 영상 이미지를 복수의 영역들로 분할하고, 분할된 영역의 화소값을 평균하여 해당 영역의 대표 화소값으로 결정한다(도 4의 (a) 참조). In the preferred embodiment of the present invention shown in FIG. 4, the skin color determiner 236 divides the detailed face image image into a plurality of regions to quickly process the data, and averages pixel values of the divided regions. Representative pixel values are determined (see FIG. 4A).

그 후, 복수 영역의 대표 화소값을 사전에 정의된 세부 얼굴 영역별 화소값 범위와 비교하여, 범위를 벗어나는 영역의 화소값은 버리고, 범위 내의 화소값만을 추출한다(도 4의 (b) 참조).Thereafter, the representative pixel values of the plurality of regions are compared with a predefined pixel value range for each detailed face region, and the pixel values of the region out of the range are discarded and only the pixel values within the range are extracted (see FIG. 4B). ).

그 후, 추출된 영역들의 화소값을 다시 평균하여 해당 세부 얼굴 영역의 대표 피부색을 결정한다(도 4의 (c) 참조). 이 때, 대표 피부색은 RGB 값으로 표현된다. Thereafter, the pixel values of the extracted regions are averaged again to determine a representative skin color of the corresponding detailed face region (see FIG. 4C). At this time, the representative skin color is represented by an RGB value.

다시 도 2를 참조하면, 추천 정보 생성부(240)는 각 세부 얼굴 영역의 대표 피부색을 입력받아 색상 패턴 매칭 정보 저장부(260)에 저장된 색상 패턴 매칭 정보에 따라서 색상 패턴과 매칭시킨다. 상술한 바와 같이, 각 세부 얼굴 영역의 대표 피부색은 RGB 값으로 표현되고, 각 색상 패턴 역시 고유의 RGB 값을 가진다. 따라서, 추천 정보 생성부(240)는 각 세부 얼굴 영역의 RGB 값과 색상 패턴의 RGB 값을 비교하여, 그 차이가 가장 작은 색상 패턴을 세부 얼굴 영역의 색상 패턴으로 결정한다. 이 때, 추천 정보 생성부(240)는 결정된 색상 패턴을, 후술하는 도 7c의 (a)에 도시된 바와 같이, 각 세부 얼굴 영역별로 표시부(290)를 통해서 표시할 수 있다.Referring back to FIG. 2, the recommendation information generator 240 receives a representative skin color of each detailed face area and matches the color pattern according to the color pattern matching information stored in the color pattern matching information storage unit 260. As described above, the representative skin color of each detail face area is represented by an RGB value, and each color pattern also has its own RGB value. Therefore, the recommendation information generator 240 compares the RGB values of the detail face areas with the RGB values of the color patterns, and determines the color pattern having the smallest difference as the color pattern of the detail face area. In this case, the recommendation information generator 240 may display the determined color pattern through the display unit 290 for each detailed face region, as shown in FIG. 7C (a).

도 5에는 이러한 뺨(볼)의 대표 피부색(도 5의 (a) 참조)을 색상 패턴(도 5의 (b) 참조)에 매칭시키는 예를 도시하였다.FIG. 5 shows an example of matching the representative skin color (see FIG. 5 (a)) of the cheek (ball) with the color pattern (see FIG. 5 (b)).

또한, 추천 정보 생성부(240)는 각 세부 얼굴 영역별로 색상 패턴이 결정되면, 화장품 정보 저장부(250)를 조회하여, 후술하는 도 7c의 (b)에 도시된 바와 같이, 각 세부 얼굴 영역별로 사용자의 색상 패턴에 대응되는 화장품 리스트를 표시부(290)를 통해서 사용자에게 표시할 수 있고, 사용자가 특정 화장품을 선택하면 선택된 화장품의 세부 정보를 사용자에게 표시할 수 있다. 또한, 사용자의 선택에 따라서 사용자는 해당 화장품 리스트를 자신의 이메일 또는 지인의 이메일로 전송하거나 제품을 구매할 수 있다.In addition, when the color pattern is determined for each detail face area, the recommendation information generation unit 240 inquires the cosmetic information storage unit 250, and as shown in FIG. 7C (b) to be described later, each detail face area. For example, the cosmetic list corresponding to the user's color pattern may be displayed to the user through the display unit 290. When the user selects a specific cosmetic, detailed information of the selected cosmetic may be displayed to the user. In addition, according to the user's choice, the user may send the cosmetic list to his or her e-mail or an acquaintance's e-mail or purchase a product.

한편, 입력부(280) 및 표시부(290)는 터치스크린으로 구현되어, 사용자로부터 정보를 입력받고, 사용자에게 피부색 분석 결과 및 추천 화장품 리스트 등을 표시할 수 있다.Meanwhile, the input unit 280 and the display unit 290 may be implemented as a touch screen to receive information from the user and display the skin color analysis result and the recommended cosmetic list to the user.

지금까지 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 장치(200)의 기능에 대해서 설명하였다. 이하에서는, 도 6 및 도 7a 내지 도 7c를 참조하여 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 방법을 설명한다.So far, the function of the cosmetic information providing apparatus 200 according to the preferred embodiment of the present invention has been described. Hereinafter, a method of providing cosmetic information according to a preferred embodiment of the present invention will be described with reference to FIGS. 6 and 7A to 7C.

도 6은 본 발명의 바람직한 실시예에 따른 화장품 정보 제공 방법을 설명하는 흐름도이고, 도 7a 내지 도 7c 는 본 발명의 도 6의 각 단계에서 사용자에게 표시되는 정보를 예시적으로 도시한 도면이다. 단, 도 7a 내지 도 7c에 도시된 예는 본 발명의 화장품 정보 제공 장치(200)가 사용자의 정보 통신 단말기에 구현된 예를 도시하였으나, 본 발명의 화장품 정보 제공 방법은 화장품 정보 제공 장치(200)가 키오스크 형태로 구현된 경우에도 모두 적용됨은 물론이다.FIG. 6 is a flowchart illustrating a method of providing cosmetics information according to a preferred embodiment of the present invention, and FIGS. 7A to 7C are views illustrating information displayed to a user at each step of FIG. 6. 7A to 7C illustrate an example in which the cosmetic information providing apparatus 200 of the present invention is implemented in a user's information communication terminal, the cosmetic information providing method according to the present invention is cosmetic information providing apparatus 200. ) Also applies to the case where the kiosk is implemented in the form of a kiosk.

먼저, 도 6을 참조하면, 화장품 정보 제공 장치(200)가 키오스크 형태로 구현된 경우에, 화장품 정보 제공 장치(200)는 광고 서버(100)에 주기적으로 또는 비정기적으로 접속하여 광고 데이터를 수신하여 표시한다(S600). 화장품 정보 제공 장치(200)가 사용자의 정보 통신 단말기로 구현된 경우에는 제 S600 단계는 생략될 수 있다.First, referring to FIG. 6, when the cosmetic information providing apparatus 200 is implemented in the form of a kiosk, the cosmetic information providing apparatus 200 receives advertisement data by periodically or irregularly connecting to the advertisement server 100. And display (S600). When the cosmetic information providing apparatus 200 is implemented as a user's information communication terminal, step S600 may be omitted.

또한, 화장품 정보 제공 장치(200)는 화장품 DB 서버(300)에 주기적으로 또는 비정기적으로 접속하여 화장품 정보 및 색상 패턴 매칭 정보를 수신하여 저장한다(S610).In addition, the cosmetic information providing apparatus 200 is connected to the cosmetic DB server 300 periodically or irregularly to receive and store cosmetic information and color pattern matching information (S610).

상술한 제 S600 단계 및 제 S610 단계는 후술하는 단계들과 독립적으로 지속적으로 실행되는 것으로서, 설명의 편의를 위해서 먼저 설명한 것임을 주의해야 한다.It should be noted that the above-described step S600 and step S610 are continuously executed independently of the following steps, and are described first for convenience of description.

한편, 사용자가 본 발명의 화장품 정보 제공 장치(200)를 이용하여 피부색에 맞는 화장품을 추천받고자 하는 경우에, 키오스크 또는 사용자의 정보통신 단말(이하, "사용자 단말"이라 약칭함)에서 도 7a의 (a)에 도시된 메인 메뉴 중 "제품 추천 받기"항목을 선택하고(S622), 제품 추천 받기 항목에서 성별을 선택한 후, 직접 촬영한 영상을 이용할 것인지 또는 사전에 저장된 영상을 이용할 것인지 여부를 선택한다(S624). 다만, 본 발명의 화장품 정보 제공 장치(200)가 키오스크 형태로 구현된 경우 사용자 단말로부터 블루투스와 같은 근거리 통신 방식을 통해서 사용자 단말에 저장된 이미지를 수신하여 이용할 수도 있다. 또한, 키오스크에서 촬영된 영상만을 이용하도록 설정될 수도 있고, 이 경우에는 상술한 제 S622 단계 및 S624 단계는 생략될 수 있다.On the other hand, when the user wants to be recommended cosmetics for the skin color using the cosmetic information providing apparatus 200 of the present invention, the kiosk or the user's information communication terminal (hereinafter referred to as "user terminal") of FIG. 7A From the main menu shown in (a), select the "Receive product recommendation" item (S622), select a gender from the product recommendation item, and then select whether to use a video taken directly or a previously stored video. (S624). However, when the cosmetic information providing apparatus 200 of the present invention is implemented in the form of a kiosk, the cosmetic information providing apparatus 200 may receive and use an image stored in the user terminal through a short range communication method such as Bluetooth. In addition, it may be set to use only the image photographed in the kiosk, in this case, steps S622 and S624 may be omitted.

사용자가 영상 직접 촬영을 선택하는 경우에, 도 7b의 (a)에 도시된 바와 같이, 화장품 정보 제공 장치(200)는 사용자의 얼굴 영상을 촬영한다(S626). 이 때, 조명부(210)는 사용자의 얼굴이 일정한 조도에서 촬영될 수 있도록 일정한 밝기의 빛을 사용자의 얼굴로 조사할 수 있다.When the user selects to directly photograph the image, as illustrated in FIG. 7B, the cosmetic information providing apparatus 200 captures an image of the face of the user (S626). At this time, the lighting unit 210 may irradiate light of a constant brightness to the user's face so that the user's face can be photographed at a constant illuminance.

만약, 사용자가 사전에 저장된 얼굴 이미지를 이용하고자 하는 경우에, 화장품 정보 제공 장치(200)는 저장된 이미지들 중 사용자가 선택한 이미지를 판독한다(S628). 이 때, 화장품 정보 제공 장치(200)가 키오스크로 구현된 경우에는 사용자 단말로부터 저장된 이미지를 수신하여 피부색을 분석할 수도 있다.If the user wants to use the previously stored face image, the cosmetic information providing apparatus 200 reads an image selected by the user from among the stored images (S628). In this case, when the cosmetic information providing apparatus 200 is implemented as a kiosk, the skin color may be analyzed by receiving the stored image from the user terminal.

제품 추천에 이용될 이미지가 확정되면, 화장품 정보 제공 장치(200)는 촬영된 또는 판독된 얼굴 이미지에 대해서 밝기 및 크기 등을 조절하여 얼굴 이미지를 영상처리에 적합한 이미지로 변환하는 전처리 과정을 수행한 후, 얼굴 이미지에서 얼굴 영역을 검출한다(S630)(도 3의 (a) 참조). When the image to be used for product recommendation is determined, the cosmetic information providing apparatus 200 performs a preprocessing process of converting the facial image into an image suitable for image processing by adjusting brightness and size of the photographed or read facial image. Thereafter, the face region is detected from the face image (S630) (see FIG. 3A).

그 후, 화장품 정보 제공 장치(200)는, 검출된 얼굴 영역 이미지에서 화장품이 적용될 세부 얼굴 영역들을 검출하고(S642)(도 3의 (b) 참조), 세부 얼굴 영역 이미지를 얼굴 영역 이미지에서 추출한다(S644)(도 3의 (c) 참조). Thereafter, the cosmetic information providing apparatus 200 detects detailed facial regions to which cosmetics are to be applied from the detected facial region image (S642) (see FIG. 3B), and extracts the detailed facial region image from the facial region image. (S644) (see FIG. 3 (c)).

세부 얼굴 영역 이미지가 추출되면, 화장품 정보 제공 장치(200)는 도 4에 도시된 바와 같이, 각 세부 얼굴 영역 이미지의 화소값(이미지 화소의 RGB값)들을 평균하여 각 세부 얼굴 영역의 대표 피부색을 결정한다(S650). When the detailed face region image is extracted, the cosmetic information providing apparatus 200 averages the pixel values (RGB values of the image pixels) of each detail face region image to obtain a representative skin color of each detail face region, as shown in FIG. 4. Determine (S650).

제 S650 단계를 보다 구체적으로 설명하면, 화장품 정보 제공 장치(200)는 세부 얼굴 영역 이미지를 복수의 영역들로 분할하고, 분할된 영역의 화소값을 평균하여 해당 영역의 대표 화소값으로 결정한다(S652)(도 4의 (a) 참조). Referring to operation S650 in more detail, the cosmetic information providing apparatus 200 divides the detailed face region image into a plurality of regions, and averages pixel values of the divided regions to determine the representative pixel values of the corresponding regions ( S652) (see FIG. 4A).

그 후, 화장품 정보 제공 장치(200)는 복수 영역의 대표 화소값을 사전에 정의된 세부 얼굴 영역별 화소값 범위와 비교하여, 범위를 벗어나는 영역의 화소값은 버리고, 범위 내의 대표 화소값을 갖는 분할 영역만을 추출하고(S654)(도 4의 (b) 참조), 추출된 영역들의 화소값을 다시 평균하여 해당 세부 얼굴 영역의 대표 피부색을 결정한다(S656)(도 4의 (c) 참조). 이 때, 대표 피부색은 RGB 값으로 표현됨은 상술한 바와 같다.Thereafter, the cosmetic information providing apparatus 200 compares the representative pixel values of the plurality of regions with a predefined pixel value range for each detailed face region, and discards the pixel values of the region out of the range and has the representative pixel values within the range. Only the divided regions are extracted (S654) (see FIG. 4B), and the pixel values of the extracted regions are averaged again to determine a representative skin color of the corresponding detailed facial region (S656) (see FIG. 4C). . In this case, the representative skin color is expressed by the RGB value as described above.

각 세부 얼굴 영역별 대표 피부색이 결정되면, 화장품 정보 제공 장치(200)는, 각 세부 영역별 대표 피부색을 사전에 저장된 색상 패턴 매칭 정보에 따라서 색상 패턴과 매칭시킨다(S660). 각 대표 피부색은 RGB 값으로 표현되고, 각 색상 패턴 역시 고유의 RGB 값을 가지며, 화장품 정보 제공 장치(200)는 각 세부 얼굴 영역의 RGB 값과 색상 패턴의 RGB 값을 비교하여, 그 차이가 가장 적은 색상 패턴을 세부 얼굴 영역의 색상 패턴으로 결정함은 상술한 바와 같다. 상술한 제 S630 단계 내지 제 S660 단계가 수행되는 동안에, 사용자에게는 도 7b의 (b)에 도시된 바와 같은 화면이 표시된다. When the representative skin color of each detailed face region is determined, the cosmetic information providing apparatus 200 matches the representative skin color of each detailed region with the color pattern according to previously stored color pattern matching information (S660). Each representative skin color is represented by an RGB value, and each color pattern also has a unique RGB value, and the cosmetic information providing apparatus 200 compares the RGB value of each detailed face area with the RGB value of the color pattern, and the difference is the most. The determination of the small color pattern as the color pattern of the detailed face region is as described above. While the above-described steps S630 to S660 are performed, a screen as shown in (b) of FIG. 7B is displayed to the user.

각 세부 얼굴 영역별 색상 패턴이 결정되면, 화장품 정보 제공 장치(200)는 도 7c의 (a)에 도시된 바와 같이, 각 세부 얼굴 영역별 색상 패턴을 사용자에게 표시할 수 있다(S670). 이 때, 사용자에게 표시되는 색상 패턴에는 RGB 값이 함께 표시될 수 있다.When the color pattern for each detail face region is determined, the cosmetic information providing apparatus 200 may display the color pattern for each detail face region to the user as shown in FIG. 7C (S670). In this case, an RGB value may be displayed together with the color pattern displayed to the user.

또한, 화장품 정보 제공 장치(200)는 사용자가 제품 추천 받기를 선택하면, 화장품 정보 저장부(250)를 조회하여, 도 7c의 (b)에 도시된 바와 같이, 각 세부 얼굴 영역별로 사용자의 색상 패턴에 대응되는 화장품 리스트를 표시부(290)를 통해서 사용자에게 표시할 수 있고, 사용자가 특정 화장품을 선택하면 선택된 화장품의 세부 정보를 사용자에게 표시할 수 있다(S680). In addition, when the user selects to receive a product recommendation, the cosmetic information providing apparatus 200 inquires the cosmetic information storage unit 250, and as illustrated in FIG. 7C (b), the color of the user for each detailed face region. The cosmetic list corresponding to the pattern may be displayed to the user through the display unit 290, and when the user selects a specific cosmetic, detailed information of the selected cosmetic may be displayed to the user (S680).

또한, 화장품 정보 제공 장치(200)는 사용자의 선택에 따라서 해당 화장품 리스트를 사용자의 이메일 또는 사용자가 입력한 지인의 이메일로 전송하거나, 사용자에게 화장품을 판매할 수 있다(S690).
In addition, the cosmetic information providing apparatus 200 may transmit the cosmetic list to the user's e-mail or the e-mail of an acquaintance input by the user according to the user's selection, or sell the cosmetic to the user (S690).

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) . The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

100 광고 서버
200 화장품 정보 제공 장치
210 조명부
220 영상 촬영부
230 피부색 분석부
232 얼굴 영역 검출부
234 세부 얼굴 영역 추출부
236 피부색 결정부
240 추천 정보 생성부
250 화장품 정보 저장부
260 색상 패턴 매칭 정보 저장부
270 통신부
280 입력부
290 표시부
300 화장품 DB 서버100 ad servers
200 cosmetic information providing device
210 lighting
220 Imaging Department
230 skin color analyzer
232 face area detection unit
234 Detailed Face Area Extraction
236 Skin Color Determination
240 recommendation information generator
250 Cosmetic Information Storage
260 color pattern matching information storage unit
270 Communication
280 input
290 display
300 cosmetic DB server

Claims (14)

(a) 화장품 정보 제공 장치가 사용자를 촬영하여 얼굴 이미지를 생성하는 단계;
(b) 상기 화장품 정보 제공 장치가 상기 얼굴 이미지에서 얼굴 영역을 검출하고, 검출된 얼굴 영역에서 화장품이 적용될 세부 얼굴 영역들에 대한 이미지(세부 얼굴 영역 이미지)를 추출하는 단계;
(c) 상기 화장품 정보 제공 장치가 상기 세부 얼굴 영역 이미지의 피부색을 분석하여, 세부 얼굴 영역들 각각의 피부색을 사전에 정의된 색상 패턴 매칭 정보에 따라서 색상 패턴과 매칭시키는 단계; 및
(d) 상기 화장품 정보 제공 장치가 각 세부 얼굴 영역의 색상 패턴에 대응되는 화장품 정보를 조회하여, 대응되는 화장품 리스트를 사용자에게 출력하는 단계를 포함하는 것을 특징으로 하는 화장품 정보 제공 방법.(a) the cosmetic information providing apparatus photographing the user to generate a face image;
(b) the cosmetic information providing apparatus detecting a face region from the face image and extracting an image (detailed face region image) of detailed face regions to which cosmetics are to be applied from the detected face region;
(c) the cosmetic information providing apparatus analyzing the skin color of the detail face region image and matching the skin color of each detail face region with a color pattern according to predefined color pattern matching information; And
(d) the cosmetic information providing apparatus querying the cosmetic information corresponding to the color pattern of each detailed face region and outputting a corresponding cosmetic list to the user. 제 1 항에 있어서, 상기 (c) 단계는
상기 세부 얼굴 영역 이미지의 화소값들의 평균값을 계산하여 세부 얼굴 영역에 대한 피부색을 분석하는 것을 특징으로 하는 화장품 정보 제공 방법.The method of claim 1, wherein step (c)
Cosmetic information providing method characterized in that for calculating the average value of the pixel values of the detail face area image to analyze the skin color for the detail face area. 제 2 항에 있어서, 상기 (c) 단계는
상기 세부 얼굴 영역 이미지의 각 화소값들 중, 세부 얼굴 영역에 대해서 사전에 정의된 범위내의 화소값들에 대해서만 평균값을 계산하여 세부 얼굴 영역에 대한 피부색을 분석하는 것을 특징으로 하는 화장품 정보 제공 방법.The method of claim 2, wherein step (c)
The method for providing cosmetics information as claimed in claim 1, wherein the skin color of the detailed face region is analyzed by calculating an average value only for pixel values within a predefined range of the detailed face region image. 제 1 항에 있어서,
(e) 상기 화장품 정보 제공 장치가 사용자로부터 사용자의 이메일 주소를 입력받아, 상기 화장품 리스트를 사용자의 이메일로 전송하는 단계를 더 포함하는 것을 특징으로 하는 화장품 정보 제공 방법.The method of claim 1,
(e) the cosmetic information providing apparatus receiving the user's e-mail address from the user, and transmitting the cosmetic list to the user's e-mail. 제 1 항에 있어서,
(f) 상기 화장품 정보 제공 장치가 일정한 시간 주기로 인터넷망을 통해서 화장품 DB 서버에 접속하여, 상기 화장품 DB 서버로부터 갱신된 화장품 정보와 색상 패턴 매칭 정보를 수신하여 상기 화장품 정보 저장부에 저장하는 단계를 더 포함하는 것을 특징으로 하는 화장품 정보 제공 방법.The method of claim 1,
(f) the cosmetic information providing apparatus accessing the cosmetic DB server through the Internet network at regular intervals, receiving the updated cosmetic information and color pattern matching information from the cosmetic DB server and storing the cosmetic information in the cosmetic information storage unit. Cosmetic information providing method characterized in that it further comprises. 제 1 항에 있어서, 상기 (b) 단계는
사용자의 선택에 따라서, 사전에 저장된 사용자의 얼굴 이미지 또는 상기 (a) 단계에서 촬영된 얼굴 이미지에서 얼굴 영역을 검출하는 것을 특징으로 하는 화장품 정보 제공 방법. 2. The method of claim 1, wherein step (b)
According to a user's selection, the cosmetic information providing method characterized in that for detecting the face region in the face image of the user stored in advance or the face image photographed in the step (a). 제 1 항 내지 제 6 항 중 어느 한 항의 화장품 정보 제공 방법을 컴퓨터에서 판독할 수 있고, 실행 가능한 프로그램 코드로 기록한 기록 매체.A recording medium which can read the cosmetic information providing method according to any one of claims 1 to 6, and is recorded with executable program code. 화장품 정보를 저장하는 화장품 정보 저장부;
색상 패턴 매칭 정보를 저장하는 색상 패턴 매칭 정보 저장부;
사용자의 얼굴을 촬영하여 얼굴 이미지를 출력하는 영상 촬영부;
상기 얼굴 이미지에서 추출된 각 세부 얼굴 영역들에 대한 이미지(세부 얼굴 영역 이미지)의 피부색을 분석하는 피부색 분석부;
상기 색상 패턴 매칭 정보에 따라서 세부 얼굴 영역들 각각의 피부색을 색상 패턴과 매칭시켜, 상기 색상 패턴에 대응되는 화장품 리스트를 생성하는 추천 정보 생성부; 및
피부색 분석 결과 및 상기 추천 정보를 사용자에게 표시하는 표시부를 포함하는 것을 특징으로 하는 화장품 정보 제공 장치.Cosmetic information storage unit for storing cosmetic information;
A color pattern matching information storage unit for storing color pattern matching information;
An image capturing unit photographing a user's face and outputting a face image;
A skin color analyzer analyzing the skin color of the image (detailed face region image) for each of the detailed face regions extracted from the face image;
A recommendation information generator configured to generate a cosmetic list corresponding to the color pattern by matching the skin color of each of the detailed face regions according to the color pattern matching information; And
And a display unit for displaying the skin color analysis result and the recommendation information to the user. 제 8 항에 있어서, 상기 피부색 분석부는
상기 세부 얼굴 영역 이미지의 화소값들의 평균값을 계산하여 세부 얼굴 영역에 대한 피부색을 분석하는 것을 특징으로 하는 화장품 정보 제공 장치.The method of claim 8, wherein the skin color analysis unit
Cosmetic information providing device characterized in that for analyzing the skin color for the detailed face area by calculating the average value of the pixel values of the detailed face area image. 제 9 항에 있어서, 상기 피부색 분석부는
상기 세부 얼굴 영역 이미지의 각 화소값들 중, 세부 얼굴 영역에 대해서 사전에 정의된 범위내의 화소값들에 대해서만 평균값을 계산하여 세부 얼굴 영역에 대한 피부색을 분석하는 것을 특징으로 하는 화장품 정보 제공 장치.The method of claim 9, wherein the skin color analysis unit
The cosmetic information providing apparatus of claim 1, wherein the skin color of the detailed face region is analyzed by calculating an average value only for pixel values within a predefined range of the detailed face region image. 제 8 항에 있어서,
사용자의 얼굴 영상 촬영시에 사전에 정의된 밝기의 빛을 사용자의 얼굴에 조사하는 조명부를 더 포함하는 것을 특징으로 하는 화장품 정보 제공 장치.The method of claim 8,
Cosmetics information providing device further comprises a lighting unit for irradiating the user's face with a light of a predetermined brightness when photographing the user's face. 제 8 항에 있어서,
상기 화장품 리스트를 사용자로부터 입력받은 사용자의 이메일로 전송하는 통신부를 더 포함하는 것을 특징으로 하는 화장품 정보 제공 장치.The method of claim 8,
Cosmetics information providing device further comprises a communication unit for transmitting the cosmetic list to the user's email received from the user. 제 8 항에 있어서,
일정한 시간 주기로 인터넷망을 통해서 화장품 DB 서버에 접속하여, 상기 화장품 DB 서버로부터 갱신된 화장품 정보와 색상 패턴 매칭 정보를 수신하여 상기 화장품 정보 저장부 및 상기 색상 패턴 매칭 정보 저장부에 각각 저장하는 통신부를 더 포함하는 것을 특징으로 하는 화장품 정보 제공 장치.The method of claim 8,
A communication unit for accessing the cosmetic DB server through the Internet network at regular intervals, receiving the updated cosmetic information and color pattern matching information from the cosmetic DB server and storing the cosmetic information storage unit and the color pattern matching information storage unit, respectively. Cosmetic information providing apparatus further comprises. 제 8 항에 있어서, 상기 피부색 분석부는
사용자의 선택에 따라서, 사전에 저장된 사용자의 얼굴 이미지 또는 영상 촬영부에서 촬영된 얼굴 이미지에서 얼굴 영역을 검출하는 것을 특징으로 하는 화장품 정보 제공 장치. The method of claim 8, wherein the skin color analysis unit
According to the user's selection, the cosmetic information providing apparatus, characterized in that for detecting the face region in the face image of the user or the face image captured by the image capturing unit in advance.
KR1020110122924A 2011-11-23 2011-11-23 Cosmetics information providing method and apparatus KR20130057148A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110122924A KR20130057148A (en) 2011-11-23 2011-11-23 Cosmetics information providing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110122924A KR20130057148A (en) 2011-11-23 2011-11-23 Cosmetics information providing method and apparatus

Publications (1)

Publication Number Publication Date
KR20130057148A true KR20130057148A (en) 2013-05-31

Family

ID=48664955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110122924A KR20130057148A (en) 2011-11-23 2011-11-23 Cosmetics information providing method and apparatus

Country Status (1)

Country Link
KR (1) KR20130057148A (en)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486394B1 (en) * 2013-06-28 2015-01-26 주식회사 엘지생활건강 Method and system for providing customized beauty information
KR101635396B1 (en) * 2015-08-10 2016-07-01 조준호 Electronic commerce method
WO2016186239A1 (en) * 2015-05-21 2016-11-24 주식회사 웰메이드인터내셔널 Method for providing skin-whitening care service
KR101718090B1 (en) * 2016-05-19 2017-03-20 (주)아로파테크 manufacturing systems of figures and method using the same
WO2018056759A1 (en) * 2016-09-22 2018-03-29 (주)아모레퍼시픽 System and method for measuring color variation of cosmetic material
CN107977549A (en) * 2017-12-06 2018-05-01 懿奈(上海)生物科技有限公司 A kind of skin care matching process and terminal based on multigroup of skin
CN108489172A (en) * 2018-05-25 2018-09-04 佛山市顺德区环威电器有限公司 Wall-mounted intelligent refrigerator for cosmetics
CN109940633A (en) * 2019-03-26 2019-06-28 胚豆智能科技(武汉)有限公司 A kind of self-help machine people that beauty and skin care use can interact
CN110276657A (en) * 2019-06-10 2019-09-24 秒针信息技术有限公司 Determination method, apparatus, storage medium and the electronic device of target object
KR20200016629A (en) 2018-08-07 2020-02-17 김지완 Server and method for generating similar user cluster of characteristics
WO2020055204A1 (en) * 2018-09-15 2020-03-19 정백연 Fragrance product recommendation system
KR102149431B1 (en) * 2019-11-20 2020-08-28 염유숙 Method and apparatus for providing a customized cosmetic set
KR20210017287A (en) * 2019-08-07 2021-02-17 문은빈 System and method for recommending color of cosmetic product by sharing information with influencer
WO2021080069A1 (en) * 2019-10-25 2021-04-29 주식회사 지티지웰니스 Mask-type skin care apparatus using light and control method therefor
KR20210107354A (en) 2020-02-24 2021-09-01 주식회사 크라우디즌 System for analyzing skin surface and providing the skin improvement solutions based on AI and Method thereof
KR20220040495A (en) * 2016-04-22 2022-03-30 핏스킨 인코포레이티드 Systems and method for skin analysis using electronic devices
KR20220123851A (en) 2021-03-02 2022-09-13 이지현 Recommendation system equipped with customized cosmetics recommendation function

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101486394B1 (en) * 2013-06-28 2015-01-26 주식회사 엘지생활건강 Method and system for providing customized beauty information
WO2016186239A1 (en) * 2015-05-21 2016-11-24 주식회사 웰메이드인터내셔널 Method for providing skin-whitening care service
US10943276B2 (en) 2015-08-10 2021-03-09 Joon Ho Cho Electronic commerce method and computer program
KR101635396B1 (en) * 2015-08-10 2016-07-01 조준호 Electronic commerce method
WO2017026651A1 (en) * 2015-08-10 2017-02-16 조준호 Electronic commerce method
US11751801B2 (en) 2016-04-22 2023-09-12 Fitskin Inc. Systems and method for skin analysis using electronic devices
JP2023056033A (en) * 2016-04-22 2023-04-18 フィットスキン インコーポレイテッド Systems and method for skin analysis using electronic devices
KR20220040495A (en) * 2016-04-22 2022-03-30 핏스킨 인코포레이티드 Systems and method for skin analysis using electronic devices
KR101718090B1 (en) * 2016-05-19 2017-03-20 (주)아로파테크 manufacturing systems of figures and method using the same
WO2018056759A1 (en) * 2016-09-22 2018-03-29 (주)아모레퍼시픽 System and method for measuring color variation of cosmetic material
CN107977549B (en) * 2017-12-06 2021-04-13 懿奈(上海)生物科技有限公司 Skin care matching method and terminal based on skin multiomics
CN107977549A (en) * 2017-12-06 2018-05-01 懿奈(上海)生物科技有限公司 A kind of skin care matching process and terminal based on multigroup of skin
CN108489172A (en) * 2018-05-25 2018-09-04 佛山市顺德区环威电器有限公司 Wall-mounted intelligent refrigerator for cosmetics
KR20200016629A (en) 2018-08-07 2020-02-17 김지완 Server and method for generating similar user cluster of characteristics
WO2020055204A1 (en) * 2018-09-15 2020-03-19 정백연 Fragrance product recommendation system
CN109940633A (en) * 2019-03-26 2019-06-28 胚豆智能科技(武汉)有限公司 A kind of self-help machine people that beauty and skin care use can interact
CN110276657A (en) * 2019-06-10 2019-09-24 秒针信息技术有限公司 Determination method, apparatus, storage medium and the electronic device of target object
KR20210017287A (en) * 2019-08-07 2021-02-17 문은빈 System and method for recommending color of cosmetic product by sharing information with influencer
WO2021080069A1 (en) * 2019-10-25 2021-04-29 주식회사 지티지웰니스 Mask-type skin care apparatus using light and control method therefor
KR102149431B1 (en) * 2019-11-20 2020-08-28 염유숙 Method and apparatus for providing a customized cosmetic set
KR20210107354A (en) 2020-02-24 2021-09-01 주식회사 크라우디즌 System for analyzing skin surface and providing the skin improvement solutions based on AI and Method thereof
KR20220123851A (en) 2021-03-02 2022-09-13 이지현 Recommendation system equipped with customized cosmetics recommendation function

Similar Documents

Publication Publication Date Title
KR20130057148A (en) Cosmetics information providing method and apparatus
KR101140533B1 (en) Method and system for recommending a product based upon skin color estimated from an image
KR102054443B1 (en) Usage measurement techniques and systems for interactive advertising
US20120140069A1 (en) Systems and methods for gathering viewership statistics and providing viewer-driven mass media content
US20110208593A1 (en) Electronic advertisement apparatus, electronic advertisement method and recording medium
US20100253778A1 (en) Media displaying system and method
KR20120139251A (en) Smart digital signage using customer recognition technologies and advertisment method using the same
JP2016218821A (en) Marketing information use device, marketing information use method and program
CN109191585B (en) Information processing method, device, equipment and computer readable storage medium
JP2019066700A (en) Control method, information processing apparatus, and control program
CN110874133B (en) Interaction method based on intelligent display device, intelligent display device and storage medium
KR20120076673A (en) Method and apparatus for providing advertisement serbvice in mobile communication system
KR20150034925A (en) Method for searching image and recording-medium recorded program thereof
KR20210107354A (en) System for analyzing skin surface and providing the skin improvement solutions based on AI and Method thereof
JP7110738B2 (en) Information processing device, program and information processing system
WO2020195613A1 (en) Information processing device, management system, information processing method, and recording medium
KR102265000B1 (en) System and method for providing product information by real-time product recognition in image using artificial intelligence
KR20220039871A (en) Apparatus for providing smart interactive advertisement
WO2018124476A1 (en) Transparent display-based intelligent product display system and method therefor
TW201424352A (en) Marketing method and computer system thereof for cloud system
US10891455B1 (en) Produce identification methods and device
JP2016218822A (en) Marketing information use device, marketing information use method and program
KR20220039872A (en) Apparatus for providing smart interactive advertisement
JP6461856B2 (en) Estimation apparatus, estimation method, and program
CN109472645A (en) The method, apparatus and storage medium that advertisement plays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application