WO2018182130A1 - Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법 - Google Patents

Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법 Download PDF

Info

Publication number
WO2018182130A1
WO2018182130A1 PCT/KR2017/013772 KR2017013772W WO2018182130A1 WO 2018182130 A1 WO2018182130 A1 WO 2018182130A1 KR 2017013772 W KR2017013772 W KR 2017013772W WO 2018182130 A1 WO2018182130 A1 WO 2018182130A1
Authority
WO
WIPO (PCT)
Prior art keywords
skin
diagnosis
smart device
self
information
Prior art date
Application number
PCT/KR2017/013772
Other languages
English (en)
French (fr)
Inventor
장현재
Original Assignee
주식회사 에프앤디파트너스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프앤디파트너스 filed Critical 주식회사 에프앤디파트너스
Publication of WO2018182130A1 publication Critical patent/WO2018182130A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality

Definitions

  • the present invention relates to a self-beauty app platform system and a method using the AR, and more specifically, to diagnose the skin by a pen-type skin diagnostic device (moisture, oil, pores, melanin (pigmentation), sebum, wrinkles, sensitivity) Etc.) to provide the diagnosis result information to the smart device so that the diagnosis location can be determined from the smart device through a marker formed on the skin diagnosis device, and the skin diagnosis device in the skin image of the smart device equipped with the self-beauty app is taken.
  • Self beauty app platform system using AR to determine the location of the diagnosed skin and match the location of the corresponding skin diagnosis with the diagnosis result information diagnosed by the skin diagnosis device or output it to the screen or send it to the skin care cloud server It is about a method.
  • dermatologists and clinics are equipped with specialized medical equipment, enabling diagnostic activities such as taking enlarged photographs of pores.
  • users can obtain skin diagnosis result information at any time by using a pen-type skin diagnostic device that is portable, so that they can easily check their skin condition and carry out skin care at home using a smart device that is always on hand. It is proposed a system that can.
  • Patent Document Korean Patent Publication No. 10-2005-0083197
  • a first object of the present invention is to diagnose the skin by a pen-type skin diagnoser 100 (moisture, oil, pores, melanin (pigmentation). , Sebum, wrinkles, sensitivity, etc.) when providing the diagnosis result information to the smart device 300, the markers formed on the skin diagnoser can determine the diagnosis position on the smart device, and the smart device equipped with the self-beauty app. Determining which site is the location of the skin diagnosed by the skin diagnostic apparatus in the skin image 300, the skin and the cloud management server to match the location of the skin diagnosis and the diagnostic result information diagnosed by the skin diagnostic apparatus 400).
  • a second object of the present invention is to obtain a skin diagnosis information from the skin care cloud server 400 through the pen-type skin diagnostic device 100 to enable continuous management, any time using a smart device equipped with a self-beauty app Anywhere to access the skin care cloud server 400 to be able to perform skin care according to the skin diagnosis location and items.
  • a third object of the present invention is to output the screen by processing the position and the item of the diagnosis result in augmented reality on the real-time skin image information photographed using the smart device 300 equipped with the self-beauty app.
  • a fourth object of the present invention is to recommend a beauty product suitable for each skin trouble location or item.
  • the self-beauty app platform system using an AR according to an embodiment of the present invention
  • a smart device 300 equipped with a self-beauty app for matching the diagnosis result information and output to the screen or sent to the skin care cloud server (400).
  • Diagnose the skin by using a pen-type skin tester (moisture, oil, pores, melanin (pigmentation), sebum, wrinkles, sensitivity, etc.) to provide the diagnostic result information to the smart device through the markers formed on the skin tester.
  • the location can be determined by the smart device, and the smart device equipped with the self-beauty app determines the location of the skin diagnosed by the skin diagnosis device in the photographed skin image, and diagnoses the location of the corresponding skin diagnosis and the skin diagnosis device.
  • the diagnosis result information to the output or sent to the skin care cloud server 400, it is possible to provide a self-skin care effect using a portable skin diagnostic device.
  • the pen-type skin diagnostics to obtain the skin diagnostic information from the skin care cloud server to enable continuous management, using a smart device equipped with the self-beauty app anytime, anywhere freely access to the skin care cloud server skin
  • a smart device equipped with the self-beauty app anytime, anywhere freely access to the skin care cloud server skin
  • the smart device equipped with the self-beauty app to display the screen by processing the location and items of the diagnosis result in augmented reality on the real-time skin image information, the diagnostic information for each skin location can be confirmed in augmented reality in real time Will be effective.
  • FIG. 1 is an overall configuration diagram of a self-beauty app platform system using AR in accordance with an embodiment of the present invention.
  • Figure 2 is a smart device block diagram of a self-beauty app platform system using AR in accordance with an embodiment of the present invention.
  • Figure 3 is a skin care cloud server block diagram of a self-beauty app platform system using AR in accordance with an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of providing a self-beauty app platform using an AR according to an embodiment of the present invention.
  • 5 to 6 are exemplary views showing the skin trouble position displayed on the smart device of the self-beauty app platform system using AR according to an embodiment of the present invention.
  • FIG. 7 is another exemplary diagram showing skin trouble items on the screen of the smart device of the self-beauty app platform system using AR according to an embodiment of the present invention
  • Figure 8 is an exemplary diagram showing recommended beauty product information for each skin trouble item .
  • FIG. 1 is an overall configuration diagram of a self-beauty app platform system using an AR according to an embodiment of the present invention.
  • the self-beauty app platform system using the AR of the present invention includes a pen type skin diagnosis apparatus 100, a marker 200, and a smart device 300.
  • the skin diagnosis apparatus 100 and the smart device 300, the smart device and the skin care cloud server is to exchange information related to skin diagnosis with each other using wired and wireless communication.
  • each of the components may be composed of a plurality of components.
  • the skin diagnoser 100 uses a pen-type skin diagnoser, and diagnoses the skin (moisture, oil, pores, melanin (pigmentation), sebum, wrinkles, sensitivity, etc.) and the diagnosis result information smart device 300 Will be provided.
  • the skin diagnostic device is a pen-type contact or non-contact, regardless of the size that can be easily carried by the consumer anytime and anywhere skin measurement, and the corresponding diagnostic information can be confirmed in real time on a smart device .
  • the marker 200 is formed on the pen-type skin diagnosis device so that the diagnosis position can be determined by the smart device.
  • the marker may be a marker of a special shape, but may be formed in color to determine the skin position measured using a video image processing method of a smart device.
  • image processing is performed based on the marker.
  • the smart device 300 is equipped with a self-beauty app, by the operation of the self-beauty app, taking an image of the skin, by acquiring the position of the skin diagnosed with a skin diagnostic image to the skin of the entire skin In order to determine the location of the diagnostic device, the location of the skin diagnosis device is extracted.
  • the extracted location and the diagnosis result information diagnosed by the skin diagnosis machine may be matched and output on the screen, or may be stored in a separate DB so as to be continuously transmitted to the skin care cloud server 400 configured at a remote location.
  • the smart device 300 equipped with the self-beauty app processes the location and the items of the diagnosis result diagnosed through the skin diagnosis device in augmented reality on the real-time skin image information captured by the user's smart device screen. Output to or sent to the skin care cloud server 400 configured in a remote place.
  • FIG. 2 is a block diagram of a smart device of a self-beauty app platform system using AR according to an embodiment of the present invention.
  • the smart device 300 As shown in Figure 2, the smart device 300,
  • a skin recognition information generation unit 320 for acquiring the photographed skin image and generating skin recognition information
  • the skin recognition map information included in the generated skin recognition information and the skin diagnosis information is mapped and aligned, and the skin recognition alignment processor 330 is configured to process the location of the skin diagnosis for each item of the skin diagnosis. .
  • the patient's own face image is photographed by the smart device photographing unit 310, and the photographed face image is stored in a separate memory.
  • the skin recognition information generation unit 320 is to acquire the photographed face (skin) image to generate facial (skin) recognition information.
  • the face recognition information includes face coordinate information including eyes, nose, and mouth.
  • the face image of the diagnoser is generated and displayed on the screen.
  • the skin recognition alignment processor 330 performs alignment by mapping the generated facial recognition information and facial recognition map information included in the facial skin diagnosis information.
  • the position of the skin trouble is to be processed for each item of the skin trouble.
  • diagnostic information is displayed at positions where the oil content 85AU, water content 67%, water content 71% and the like are respectively measured.
  • C region of Figure 6 will mean the eye wrinkles.
  • the diagnosis person can easily identify which skin trouble exists at which position by looking at the position on his face image.
  • the skin trouble that is, the skin diagnostic information
  • the skin diagnostic information can be checked in which part using the marker.
  • the diagnosis information is matched to the corresponding position and provided on the screen.
  • the smart device 300 is augmented reality processing unit for processing the location and items of the skin diagnosis by augmented reality by obtaining the real-time skin image information taken through the smart device recording unit 310 It may be configured to further include (340).
  • the augmented reality processing unit expresses the location and the item of the skin trouble in augmented reality on the real-time skin image information, so that it is possible to confirm the exact skin problem location and the item of the face part in real time.
  • the information can be provided in the form of a report.
  • the smart device 300 may further include a skin diagnosis item classification display processing unit 350 for classifying the display screen by item with reference to the location and the item of the skin diagnosis.
  • the skin trouble items such as pigmentation, pores, forehead wrinkles, and wrinkles on the screen of the smart device are displayed.
  • the skin trouble position of the corresponding item on the face image is displayed.
  • the area is marked in yellow.
  • the display screen may be provided as a whole for each trouble item (by type), and the screen may be classified and provided.
  • the smart device 300 the smart device 300
  • Recommended beauty product information display unit 360 for displaying the beauty product ingredient information or beauty product information that matches each item of the skin diagnosis on the screen,
  • the beauty product displayed on the screen may further include any one or more of the progressive bar display unit 370 for providing a screen on which stage of the skin care product to use.
  • beauty product ingredient information matched for each item of skin trouble is displayed on the screen.
  • the component information of the beauty product optimized for pore trouble is provided.
  • Ingredient information of the beauty product may be provided in the form of a text or an image.
  • beauty product information optimized for pore trouble may include a model name of a beauty product, a manufacturer of a beauty product, and a link address information for viewing a beauty product on a screen. .
  • beauty product types are displayed on the right side of the face image, and a progressive bar is displayed on the bottom side of the face image.
  • the progressive bar is shown to know at what time to use the product.
  • the smart device 300 the smart device 300
  • the beauty product displayed on the screen is provided to the screen at which stage of the skin care step, for example, cleansing-to-finish makeup It indicates the time before or before bedtime.
  • stage of the skin care step for example, cleansing-to-finish makeup It indicates the time before or before bedtime.
  • FIG. 3 is a block diagram of a skin care cloud server of a self beauty app platform system using AR according to an embodiment of the present invention.
  • the skin care cloud server 400 As shown in Figure 3, the skin care cloud server 400,
  • a skin diagnosis information matching unit 410 for acquiring skin diagnosis information provided from a smart device and matching the ID information of the corresponding diagnosis person;
  • Skin diagnosis information DB 420 for storing and managing the matched information for each ID
  • Skin recognition map converting unit 430 for acquiring skin diagnosis information stored in the skin diagnosis information DB and converting it into a skin recognition map.
  • skin diagnosis items beauty product ingredient information, beauty product barcode information, and beauty product information
  • the skin trouble item recommendation information database 440 that stores at least one or more information is configured to include.
  • the skin diagnosis information matching unit 410 acquires skin diagnosis information provided from a smart device and matches the ID information of the corresponding diagnosis person, and stores the matched information in the skin diagnosis information DB 420. do.
  • the skin diagnosis information DB 420 stores and manages the matched information for each ID.
  • the skin recognition map converting unit 430 acquires skin diagnosis information stored in the skin diagnosis information DB and converts it into a skin recognition map.
  • the smart device 300 by accessing the skin care cloud server to obtain the corresponding skin diagnosis information to download and mount the self-beauty app for displaying the location of the skin trouble on the screen for each item of skin trouble.
  • FIG. 4 is a flowchart illustrating a method of providing a self beauty app platform using an AR according to an embodiment of the present invention.
  • Skin diagnosis device pairing step (S200) for pairing with the smart device 300 by turning on the power of the skin diagnostic device (100);
  • the smart device 300 stores a skin diagnosis result storage step (S900) of storing the corresponding skin diagnosis position and diagnosis result information in a memory.
  • the self-beauty app platform of the present invention is downloaded and installed on a smart device.
  • the smart device 300 when the self-beauty app mounted on the smart device 300 is executed (S100), and the power of the pen type skin diagnostic apparatus 100 is turned on, the smart device 300 is paired with the smart device 300 through wired / wireless communication (S200). After the pairing, if the diagnostic start after contact or non-contact with the skin diagnostic apparatus 100 to the position of the skin to be diagnosed (S300).
  • the skin diagnosis apparatus may configure a start button.
  • the skin diagnosis apparatus 100 transmits the start signal to the smart device 300 (S400).
  • the smart device 300 acquires an image including a marker through a camera in order to confirm at which position of the skin the skin diagnosis is performed (S500).
  • the skin diagnosis apparatus 100 transmits the diagnosis end signal to the smart device 300 (S600).
  • the diagnosis termination may be performed when the diagnosis is completed by itself, or the diagnosis termination may be performed through a separate termination button.
  • the smart device 300 obtains the diagnosis result information corresponding to the position diagnosed by referring to the marker 200 formed on the skin diagnosis device from the skin diagnosis device 100 (S700).
  • the smart device 300 matches the diagnosis location information and the diagnosis result information with the skin coordinates (S800), and the smart device 300 stores the corresponding diagnosis location information and the diagnosis result information in the memory (S900). .
  • the results of the diagnosis thus far may be collected and stored in a memory, or the corresponding diagnosis information may be transmitted to the skin care cloud server 400 configured remotely.
  • the smart device 300 is augmented to output the output or skin care cloud server 400 by processing the position and items of the diagnosis result stored in the memory in the real-time skin image information taken by the augmented reality Reality processing step (S1000); may further include.
  • the smart device 300 the skin diagnosis item classification display step (S1100) for classifying the display screen for each item by reference to the location and item of the skin diagnosis stored in the memory;
  • the recommended beauty product information display step (S1200) for displaying beauty product ingredient information or beauty product information matching for each item of skin diagnosis may be further included.
  • the smart device 300 classifies and displays the display screen for each item by referring to the location and the item of the skin diagnosis stored in the memory (S1100).
  • the smart device 300 displays beauty product ingredient information or beauty product information matched for each item of skin diagnosis on the screen (S1200).
  • the pen type skin diagnosis device 100 diagnoses the skin (moisture, oil, pores, melanin (pigmentation), sebum, wrinkles, sensitivity, etc.) and provides the diagnosis result information to the smart device 300.
  • the markers formed on the skin diagnosis device can be used to determine the diagnosis position on the smart device, and the location of the skin diagnosed by the skin diagnosis device within the skin image photographed by the smart device 300 equipped with the self-beauty app.
  • the pen-type skin diagnostic device 100 to obtain the skin diagnostic information from the skin care cloud server 400 to enable continuous management, anytime, anywhere skin care freely using a smart device equipped with the self-beauty app
  • the cloud server 400 By accessing the cloud server 400 to perform skin care according to the skin diagnosis location and items, it provides convenience and efficiency in use.
  • Self-beauty app platform system and method using the AR according to the present invention when the skin is diagnosed by a pen-type skin diagnostic device to provide the diagnostic result information to the smart device through the marker formed on the skin diagnostic smart
  • the device can be judged, and the smart device equipped with the self-beauty app determines the location of the skin diagnosed with the skin diagnosis in the photographed skin image, and the result of the diagnosis and the diagnosis result at the skin diagnosis device.
  • the smart device equipped with the self-beauty app determines the location of the skin diagnosed with the skin diagnosis in the photographed skin image, and the result of the diagnosis and the diagnosis result at the skin diagnosis device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명은 AR을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법에 관한 것으로서, 더욱 상세하게는 펜 타입의 피부진단기에 의해 피부를 진단(수분, 유분, 모공, 멜라닌(색소침착), 피지, 주름, 민감도 등)하여 진단 결과 정보를 스마트기기로 제공할 경우에 피부진단기에 형성된 마커를 통해 진단 위치를 스마트기기에서 판단할 수 있도록 하며, 셀프뷰티앱을 탑재한 스마트기기가 촬영된 피부 영상 내의 피부진단기로 진단한 피부의 위치가 어느 부위인지를 판단하여 해당 피부 진단의 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력 혹은 피부관리클라우드서버로 송출하는 AR을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법에 관한 것이다.

Description

AR을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법
본 발명은 AR을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법에 관한 것으로서, 더욱 상세하게는 펜 타입의 피부진단기에 의해 피부를 진단(수분, 유분, 모공, 멜라닌(색소침착), 피지, 주름, 민감도 등)하여 진단 결과 정보를 스마트기기로 제공할 경우에 피부진단기에 형성된 마커를 통해 진단 위치를 스마트기기에서 판단할 수 있도록 하며, 셀프뷰티앱을 탑재한 스마트기기가 촬영된 피부 영상 내의 피부진단기로 진단한 피부의 위치가 어느 부위인지를 판단하여 해당 피부 진단의 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력 혹은 피부관리클라우드서버로 송출하는 AR을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법에 관한 것이다.
피부 미용에 대한 관심이 증가하면서 많은 사용자들이 피부관리실이나 맛사지샵, 피부과의원 등 다양한 경로를 통하여 피부의 상태를 확인하고, 적절한 화장품이나 약품 등을 이용하여 피부관리를 하게 되었다.
사람들의 피부 상태는 계절에 따라서도 크게 달라지며, 개인마다 편차가 심하기 때문에 적절한 처방을 위해서는 정확한 진단이 무엇보다 중요하다.
피부 상태의 진단을 위하여 피부과의원이나 클리닉 등지에는 전문적인 의료장비들이 구비되어 모공의 확대사진을 촬영하는 등의 진단 행위를 가능케 하고 있다.
그러나, 피부 미용에 대한 관심의 증가로 인해 사용자들의 피부에 대한 지식수준도 함께 증가하였으며, 사용자들은 자신의 피부의 상태에 대해서 또는 피부의 상태변화에 대해서 보다 상세하게 알기를 원하게 되었다.
그럼에도 불구하고 단순히 피부 상태를 모니터링하고, 화장품 등의 사용에 따른 변화추이를 파악하기 위하여 정기적으로 클리닉 등에 방문하는 것은 매우 번거로운 일이라 하겠다.
따라서, 사용자들이 휴대하면서 간단히 자신의 피부상태를 확인하고 진단할 수 있도록 하는 방안의 마련이 필요하다.
또한, 종래의 피부에 대한 종합적인 정보를 제공하는 카메라, 센서 등은 단순히 운영자가 수동으로 피부에 접촉하여 촬영하고 정보를 획득한다.
또한, 얼굴 피부에 대한 대략의 상태를 측정하는 경우에는 고해상도 카메라로 2D 영상을 획득하여 분석하여 왔고, 얼굴 피부에 대한 종합적인 정보를 획득하기 위해서는 고해상도 카메라 외에 다른 센서를 이용하여 접촉식 국부 촬영 센서로 재촬영해야 하는 번거로움이 존재했다.
이런 경우, 고해상도 카메라 앞에서 얼굴 피부 촬영 후 기구로부터 얼굴을 분리한 뒤 접촉식 국부 촬영 카메라를 수동으로 밀착하여 촬영하는 과정을 거쳐야 하는 불편함이 있었다.
결국, 사용자들이 휴대가 가능한 펜타입의 피부진단기를 활용하여 피부 진단 결과 정보를 언제든지 획득할 수 있도록 하여 항상 휴대하고 있는 스마트기기를 이용하여 간단히 자신의 피부상태를 확인하고 피부 관리를 집에서도 수행할 수 있는 시스템을 제안하게 된 것이다.
<선행기술문헌>
(등록특허문헌) 대한민국공개특허공보 제10-2005-0083197호
따라서 본 발명은 상기와 같은 종래 기술의 문제점을 감안하여 제안된 것으로서, 본 발명의 제 1 목적은 펜 타입의 피부진단기(100)에 의해 피부를 진단(수분, 유분, 모공, 멜라닌(색소침착), 피지, 주름, 민감도 등)하여 진단 결과 정보를 스마트기기(300)로 제공할 경우에 피부진단기에 형성된 마커를 통해 진단 위치를 스마트기기에서 판단할 수 있도록 하며, 셀프뷰티앱을 탑재한 스마트기기(300)가 촬영된 피부 영상 내의 피부진단기로 진단한 피부의 위치가 어느 부위인지를 판단하여 해당 피부 진단의 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력 혹은 피부관리클라우드서버(400)로 송출하도록 하는데 있다.
본 발명의 제 2 목적은 펜 타입의 피부진단기(100)를 통해 피부 진단 정보를 피부관리클라우드서버(400)에서 획득하여 지속적인 관리가 가능하도록 하며, 셀프뷰티앱을 탑재한 스마트기기를 이용하여 언제 어디서든지 자유롭게 피부관리클라우드서버(400)에 접속하여 피부 진단 위치 및 항목에 따라 피부 관리를 수행할 수 있도록 하는데 있다.
본 발명의 제 3 목적은 셀프뷰티앱을 탑재한 스마트기기(300)를 이용하여 촬영된 실시간 피부 영상 정보에 진단 결과의 위치와 항목을 증강 현실로 처리하여 화면 출력하도록 하는데 있다.
본 발명의 제 4 목적은 피부 트러블 위치별 혹은 항목별 이에 적합한 미용제품을 추천하도록 하는데 있다.
본 발명이 해결하고자 하는 과제를 달성하기 위하여, 본 발명의 실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템은,
피부를 진단하여 진단 결과 정보를 스마트기기(300)로 제공하기 위한 펜 타입의 피부진단기(100)와;
상기 펜 타입의 피부진단기에 형성되어 진단 위치를 스마트기기에서 판단할 수 있도록 하기 위한 마커(200)와;
피부의 영상을 촬영하며, 피부진단기로 진단한 피부의 위치를 영상으로 획득하여 전체 피부 중 피부진단기가 어느 위치에 있는지를 판단하기 위하여 해당 피부진단기의 위치를 추출하고, 추출한 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력 혹은 피부관리클라우드서버(400)로 송출하기 위한 셀프뷰티앱을 탑재한 스마트기기(300);를 포함한다.
본 발명에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법은,
펜 타입의 피부진단기에 의해 피부를 진단(수분, 유분, 모공, 멜라닌(색소침착), 피지, 주름, 민감도 등)하여 진단 결과 정보를 스마트기기로 제공할 경우에 피부진단기에 형성된 마커를 통해 진단 위치를 스마트기기에서 판단할 수 있도록 하며, 셀프뷰티앱을 탑재한 스마트기기가 촬영된 피부 영상 내의 피부진단기로 진단한 피부의 위치가 어느 부위인지를 판단하여 해당 피부 진단의 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력 혹은 피부관리클라우드서버(400)로 송출하도록 함으로써, 휴대가 간편한 피부진단기를 활용한 자가 피부 관리가 가능한 효과를 제공하게 된다.
또한, 펜 타입의 피부진단기를 통해 피부 진단 정보를 피부관리클라우드서버에서 획득하여 지속적인 관리가 가능하도록 하며, 셀프뷰티앱을 탑재한 스마트기기를 이용하여 언제 어디서든지 자유롭게 피부관리클라우드서버에 접속하여 피부 진단 위치 및 항목에 따라 피부 관리를 수행할 수 있도록 함으로써, 사용상의 편리성과 효율성을 제공하게 된다.
또한, 셀프뷰티앱을 탑재한 스마트기기를 이용하여 촬영된 실시간 피부 영상 정보에 진단 결과의 위치와 항목을 증강 현실로 처리하여 화면 출력하도록 함으로써, 실시간으로 피부 위치별 진단 정보를 증강 현실로 확인할 수 있는 효과를 발휘하게 된다.
또한, 피부 트러블 위치별 혹은 항목별 이에 적합한 미용제품을 추천함으로써, 현재 자신의 피부 트러블 종류별 이에 가장 적합한 미용제품을 사용하게 되므로 피부관리 효과를 극대화할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템의 전체 구성도.
도 2는 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템의 스마트기기 블록도.
도 3은 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템의 피부관리클라우드서버 블록도.
도 4는 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 제공 방법을 나타낸 흐름도.
도 5 내지 도 6은 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템의 스마트기에 표시되는 피부트러블 위치를 나타낸 예시도.
도 7은 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템의 스마트기기 화면 상의 피부 트러블 항목을 나타낸 다른 예시도이며, 도 8은 피부 트러블 항목별 추천되는 미용제품 정보를 나타낸 예시도.
<부호의 설명>
100 : 피부진단기
200 : 마커
300 : 스마트기기
400 : 피부관리클라우드서버
이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만, 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다.
또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.
이하, 본 발명에 의한 AR을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법의 실시예를 통해 상세히 설명하도록 한다.
도 1은 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템의 전체 구성도이다.
도 1에 도시한 바와 같이, 본 발명의 AR을 이용한 셀프 뷰티앱 플랫폼 시스템은 크게, 펜 타입의 피부진단기(100), 마커(200), 스마트기기(300)를 포함하게 된다.
상기 피부진단기(100)와 스마트기기(300), 스마트기기와 피부관리클라우드서버 간에는 유무선 통신을 이용하여 서로 피부 진단과 관련된 정보를 주고 받게 되는 것이다.
도 1에서는 설명의 편의를 위해 3개의 기본 블록만을 도시하고 있으나 그 각각의 구성요소들은 다수의 구성요소들로 이루어질 수도 있다.
상기 피부진단기(100)는 펜 타입의 피부진단기를 사용하고 있으며, 피부를 진단(수분, 유분, 모공, 멜라닌(색소침착), 피지, 주름, 민감도 등)하여 진단 결과 정보를 스마트기기(300)로 제공하게 되는 것이다.
또한, 상기 피부진단기는 펜타입의 접촉식이든 비접촉식이든 상관없으며, 소비자들이 쉽게 휴대할 수 있는 사이즈로서 언제 어디서든지 피부 측정이 가능하게 되고, 해당 진단 정보를 스마트기기에서 실시간으로 확인할 수 있게 되는 것이다.
이때, 상기 펜 타입의 피부진단기에 마커(200)를 형성하여 진단 위치를 스마트기기에서 판단할 수 있도록 하는 것이다.
상기 마커는 특수한 형태의 마커일 수도 있으나, 색깔로 형성하여 스마트기기의 영상 이미지 처리 방식을 이용하여 측정한 피부 위치를 판단할 수도 있다.
즉, 마커를 토대로 영상 처리를 수행하는 것이다.
또한, 상기 스마트기기(300)는 셀프뷰티앱을 탑재하게 되는데, 상기 셀프뷰티앱의 동작에 의해, 피부의 영상을 촬영하며, 피부진단기로 진단한 피부의 위치를 영상으로 획득하여 전체 피부 중 피부진단기가 어느 위치에 있는지를 판단하기 위하여 해당 피부진단기의 위치를 추출하게 된다.
그리고, 추출한 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력하거나, 원격지에 구성된 피부관리클라우드서버(400)로 송출하여 지속적인 관리를 수행할 수 있도록 별도의 디비에 저장시킬 수도 있다.
한편, 부가적인 양태에 따라, 셀프뷰티앱을 탑재한 스마트기기(300)는 촬영된 실시간 피부 영상 정보에 피부진단기를 통해 진단된 진단 결과의 위치와 항목을 증강 현실로 처리하여 사용자의 스마트기기 화면에 출력시키거나, 원격지에 구성된 피부관리클라우드서버(400)로 송출하게 된다.
도 2는 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템의 스마트기기 블록도이다.
도 2에 도시한 바와 같이, 상기 스마트기기(300)는,
자신의 얼굴 이미지를 촬영하기 위한 스마트기기용촬영부(310)와,
상기 촬영된 피부 이미지를 획득하여 피부 인식 정보를 생성하기 위한 피부인식정보생성부(320)와,
상기 생성된 피부 인식 정보와 피부 진단 정보에 포함된 피부 인식 맵 정보를 맵핑시켜 얼라인 처리하며, 피부 진단의 위치를 피부 진단의 항목별로 처리하기 위한 피부인식얼라인처리부(330)를 구성하게 된다.
본 발명의 후술하는 예시에서는 얼굴 피부를 가지고 예를 들어 설명하고 있으나 얼굴에 한정되어 동작하는 것은 아니며, 다른 부위의 피부 진단도 가능함은 당연한 것이다.
구체적으로 설명하자면, 상기 스마트기기용촬영부(310)를 통해 진단자 자신의 얼굴 이미지를 촬영하게 되며, 상기 촬영된 얼굴 이미지는 별도의 메모리에 저장되게 된다.
이때, 상기 피부인식정보생성부(320)는 상기 촬영된 얼굴(피부) 이미지를 획득하여 안면(피부) 인식 정보를 생성하게 되는 것이다.
상기 안면 인식 정보는 눈, 코, 입을 포함한 안면의 좌표 정보를 포함하고 있게 된다.
따라서, 도 5 내지 도 6에 도시한 바와 같은, 진단자의 얼굴 이미지를 생성하여 화면에 표시하게 된다.
이후, 상기 피부인식얼라인처리부(330)는 생성된 안면 인식 정보와 얼굴 피부 진단 정보에 포함된 안면 인식 맵 정보를 맵핑시켜 얼라인 처리하게 되는 것이다.
이때, 피부 트러블의 위치를 피부 트러블의 항목별로 처리하게 되는 것이다.
도 5에 도시한 바와 같이, 유분 85AU, 수분 67%, 수분 71% 등을 각각 측정한 위치에 진단 정보를 표시하게 되는 것이다.
또한, 도 6의 C 부위는 눈가주름 부위를 의미하게 된다.
따라서, 진단자는 자신의 안면 이미지상에 위치를 보고 어느 위치에 어떤 피부 트러블이 존재하는지를 손쉽게 식별할 수 있게 되는 것이다.
상기와 같이, 피부 트러블 즉, 피부 진단 정보에는 마커를 이용한 어느 부위에 진단을 수행하였는지를 확인할 수 있게 된다.
즉, 마커를 통해 피부 진단의 위치 정보를 획득하여 이를 화면에 제공시 해당 위치에 해당 진단 정보를 매칭시켜 화면에 제공하게 되는 것이다.
한편, 이 실시예에 따라, 상기 스마트기기(300)는 스마트기기용촬영부(310)를 통해 촬영된 실시간 피부 영상 정보를 획득하여 피부 진단의 위치와 항목을 증강 현실로 처리하기 위한 증강현실처리부(340)를 더 포함하여 구성할 수 있다.
즉, 증강현실처리부에 의해 실시간 피부 영상 정보에 피부 트러블의 위치와 항목을 증강 현실로 표현함으로써, 자신의 얼굴 부위의 정확한 피부 트러블 위치와 항목을 실시간으로 확인할 수가 있게 되는 것이다.
또한, 리포트 형태의 정보로도 제공할 수 있게 되는 것이다.
한편, 삼 실시예에 따라, 상기 스마트기기(300)는 피부 진단의 위치와 항목을 참조하여 항목별로 디스플레이 화면을 분류하기 위한 피부진단항목별분류표시처리부(350)를 더 포함할 수 있다.
그리고, 스마트기기의 화면 상에 색소침착, 모공, 이마주름, 눈가주름 등의 피부트러블 항목을 표시하며, 어느 한 항목을 선택하게 되면 얼굴 이미지 상의 해당 항목의 피부트러블 위치가 표시되도록 하는 것이다.
예로서, 도 6에 도시한 바와 같이, 눈가주름을 선택하게 되면 눈가주름에 해당하는 위치가 표시되게 된다.
예시에서는 노란색으로 해당 영역을 표시하였다.
즉, 상기와 같이, 피부트러블항목별분류표시처리부(350)를 구성하게 되면, 트러블 항목별(종류별)로 디스플레이 화면을 전체로 제공할 수 있으며, 화면을 분류하여 제공할 수 있게 되는 것이다.
한편, 사 실시예에 따라, 상기 스마트기기(300)는,
피부 진단의 항목별로 매칭되는 미용제품 성분 정보 혹은 미용제품 정보를 화면에 표시하기 위한 추천미용제품정보표시부(360),
화면에 표시되는 미용제품이 피부관리 단계 중 어느 단계에 사용하는 제품인지를 화면에 제공하기 위한 프로그레시브바표시부(370) 중 어느 하나 이상을 더 포함할 수 있다.
즉, 도 8에 도시한 바와 같이, 피부 트러블의 항목별로 매칭되는 미용제품 성분 정보를 화면에 표시해주게 된다.
예를 들어, 도 8과 같이, 화면상에 하측에 설정된 피부 트러블 항목을 선택할 수 있는 아이콘 바(탭) 중 모공 트러블 항목을 선택하게 되면 모공 트러블에 최적화된 미용제품의 성분 정보를 제공하게 된다.
상기 미용제품의 성분 정보는 텍스트 형태 혹은 이미지 형태로 제공될 수 있을 것이다.
그리고, 도 8에 도시한 바와 같이, 모공 트러블에 최적화된 미용제품 정보 예를 들어, 미용제품의 모델명, 미용제품의 제조회사, 미용제품을 볼 수 있는 링크 주소 정보 등을 화면에 제공할 수도 있다.
도 8의 경우에는 안면 이미지의 우측에 미용 제품 종류들을 표시하였으며, 안면 이미지의 하측에 프로그레시브바를 표시하였다.
상기 프로그레시브바는 어떤 시기에 써야 하는 제품인지를 알 수 있도록 나타낸 것이다.
한편, 또 다른 실시예에 따라, 상기 스마트기기(300)는,
화면에 표시되는 미용제품이 피부관리 단계 중 어느 단계에 사용하는 제품인지를 화면에 제공하기 위한 프로그레시브바표시부(370)를 더 포함하여 구성되는 것을 특징으로 한다.
상기 프로그레시브바표시부를 통해, 도 8에 도시한 바와 같이, 화면에 표시되는 미용제품이 피부관리 단계 중 어느 단계에 사용하는 제품인지를 화면에 제공하게 되는데, 예를 들어, 클렌징-세안부터 최종 메이크업 전 혹은 취침 전까지의 시점을 나타내 주는 것이다.
도 3은 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템의 피부관리클라우드서버 블록도이다.
도 3에 도시한 바와 같이, 피부관리클라우드서버(400)는,
스마트기기로부터 제공된 피부 진단 정보를 획득하여 해당 진단자의 아이디 정보와 매칭시키기 위한 피부진단정보매칭부(410)와,
상기 매칭된 정보를 아이디별로 저장 관리하는 피부진단정보디비(420)와,
상기 피부진단정보디비에 저장된 피부 진단 정보를 획득하여 피부 인식 맵으로 컨버팅하기 위한 피부인식맵컨버팅부(430)피부 진단 항목별 매칭되는 미용제품 성분 정보, 미용제품 바코드별 성분 정보, 미용제품 정보 중 적어도 어느 하나 이상의 정보를 저장하고 있는 피부트러블항목별추천정보디비(440)를 포함하여 구성된다.
구체적으로 설명하자면, 상기 피부진단정보매칭부(410)는 스마트기기로부터 제공된 피부 진단 정보를 획득하여 해당 진단자의 아이디 정보와 매칭시키게 되며, 해당 매칭된 정보를 피부진단정보디비(420)에 저장시키게 된다.
따라서, 상기 피부진단정보디비(420)에는 매칭된 정보를 아이디별로 저장 관리하게 되는 것이다.
그리고, 상기 피부인식맵컨버팅부(430)는 상기 피부진단정보디비에 저장된 피부 진단 정보를 획득하여 피부 인식 맵으로 컨버팅하게 되는 것이다.
한편, 상기 스마트기기(300)를 통해, 피부관리클라우드서버에 접속하여 해당 피부 진단 정보를 획득하여 피부 트러블의 위치를 피부 트러블의 항목별로 화면에 표시하기 위한 셀프 뷰티앱을 다운받아 탑재하게 된다.
도 4는 본 발명의 일실시예에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 제공 방법을 나타낸 흐름도이다.
도 4에 도시한 바와 같이, AR을 이용한 셀프 뷰티앱 플랫폼 제공 방법은,
스마트기기(300)에 탑재된 셀프뷰티앱을 실행하는 셀프뷰티앱실행단계(S100)와;
피부진단기(100)의 전원을 온하여 스마트기기(300)와 페어링하는 피부진단기페어링단계(S200)와;
진단하고자 하는 피부의 위치에 피부진단기(100)를 접촉 혹은 비접촉 후 진단을 수행하는 진단스타트단계(S300)와;
상기 피부진단기(100)가 시작 신호를 스마트기기(300)로 송출하는 시작신호송출단계(S400)와;
스마트기기(300)가 피부의 어느 위치에서 피부 진단을 수행했는지를 확인하기 위하여 카메라를 통해 영상을 획득하는 피부진단위치영상획득단계(S500)와;
피부진단기(100)가 진단 종료 신호를 스마트기기(300)로 송출하는 진단종료신호송출단계(S600)와;
스마트기기(300)가 피부진단기에 형성된 마커(200)를 참조하여 진단한 위치에 해당하는 진단 결과 정보를 피부진단기(100)로부터 획득하는 피부진단결과정보획득단계(S700)와;
스마트기기(300)가 피부 좌표에 진단한 위치와 진단 결과 정보를 매칭시키는 피부진단결과매칭단계(S800)와;
스마트기기(300)가 메모리에 해당 피부 진단한 위치와 진단 결과 정보를 저장하는 피부진단결과저장단계(S900);를 포함하게 된다.
우선 스마트기기에 본 발명의 셀프 뷰티앱 플랫폼을 다운받아 설치하게 된다.
이때, 스마트기기(300)에 탑재된 셀프뷰티앱을 실행(S100)하고, 펜 타입의 피부진단기(100)의 전원을 온하게 되면 유무선 통신을 통해 스마트기기(300)와 페어링(S200)하게 되며, 페어링한 후, 진단하고자 하는 피부의 위치에 피부진단기(100)를 접촉 혹은 비접촉 후 진단 스타트를 실행하면 진단을 수행(S300)하게 된다.
이를 위하여 피부진단기에는 스타트 버튼을 구성할 수 있다.
이때, 상기 피부진단기(100)가 시작 신호를 스마트기기(300)로 송출(S400)하게 된다.
이후, 스마트기기(300)가 피부의 어느 위치에서 피부 진단을 수행했는지를 확인하기 위하여 카메라를 통해 마커를 포함한 영상을 획득(S500)하게 된다.
이후, 진단이 완료되면 피부진단기(100)가 진단 종료 신호를 스마트기기(300)로 송출(S600)하게 된다.
상기 진단 종료는 자체적으로 진단이 완료될 경우에 수행하거나, 아니면 별도의 종료 버튼을 통해 진단 종료를 수행할 수도 있다.
이후, 스마트기기(300)가 피부진단기에 형성된 마커(200)를 참조하여 진단한 위치에 해당하는 진단 결과 정보를 피부진단기(100)로부터 획득(S700)하게 된다.
이후, 스마트기기(300)가 피부 좌표에 진단한 위치와 진단 결과 정보를 매칭(S800)시키게 되며, 스마트기기(300)가 메모리에 해당 피부 진단한 위치와 진단 결과 정보를 저장(S900)하게 된다.
상기와 같이, 특정 위치의 진단이 완료된 후, 다시 다른 위치로 이동하여 진단스타트단계(S300), 시작신호송출단계(S400), 피부진단위치영상획득단계(S500), 진단종료신호송출단계(S600), 피부진단결과정보획득단계(S700), 피부진단결과매칭단계(S800), 피부진단결과저장단계(S900)를 반복 수행하게 된다.
최종적으로 모든 진단을 마무리한 후, 지금까지 진단한 결과를 취합하여 메모리에 저장하거나, 원격지에 구성된 피부관리클라우드서버(400)로 해당 진단 정보를 전송할 수 있다.
한편, 이실시예에 따라, 스마트기기(300)가 촬영한 실시간 피부 영상 정보에 상기 메모리에 저장된 진단 결과의 위치와 항목을 증강 현실로 처리하여 출력 혹은 피부관리클라우드서버(400)로 송출하는 증강현실처리단계(S1000);를 더 포함할 수 있다.
즉, 스마트기기(300)가 촬영한 실시간 피부 영상 정보에 상기 메모리에 저장된 진단 결과의 위치와 항목을 증강 현실로 처리하여 화면에 출력하게 되면 실시간으로 자신의 피부를 보면서 어떤 진단 결과가 나왔는지를 확인할 수가 있게 된다.
또한, 피부관리클라우드서버(400)로 송출함으로써, 셀프뷰티앱을 탑재한 스마트기기를 이용하여 언제 어디서든지 자유롭게 피부관리클라우드서버(400)에 접속하여 피부 진단 위치 및 항목에 따라 피부 관리를 수행할 수 있도록 함으로써, 사용상의 편리성과 효율성을 제공하게 된다.
한편, 삼실시예에 따라, 스마트기기(300)가 메모리에 저장된 피부 진단의 위치와 항목을 참조하여 항목별로 디스플레이 화면을 분류하기 위한 피부진단항목별분류표시단계(S1100)와;
스마트기기(300)가 미용 제품을 추천하기 위하여, 피부 진단의 항목별로 매칭되는 미용제품 성분 정보 혹은 미용제품 정보를 화면에 표시하기 위한 추천미용제품정보표시단계(S1200);를 더 포함할 수 있다.
즉, 스마트기기(300)가 메모리에 저장된 피부 진단의 위치와 항목을 참조하여 항목별로 디스플레이 화면을 분류하여 표시하게 된다.(S1100)
그리고, 스마트기기(300)가 미용 제품을 추천하기 위하여, 피부 진단의 항목별로 매칭되는 미용제품 성분 정보 혹은 미용제품 정보를 화면에 표시(S1200)하게 되는 것이다.
본 발명에 의하면, 펜 타입의 피부진단기(100)에 의해 피부를 진단(수분, 유분, 모공, 멜라닌(색소침착), 피지, 주름, 민감도 등)하여 진단 결과 정보를 스마트기기(300)로 제공할 경우에 피부진단기에 형성된 마커를 통해 진단 위치를 스마트기기에서 판단할 수 있도록 하며, 셀프뷰티앱을 탑재한 스마트기기(300)가 촬영된 피부 영상 내의 피부진단기로 진단한 피부의 위치가 어느 부위인지를 판단하여 해당 피부 진단의 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력 혹은 피부관리클라우드서버(400)로 송출하도록 함으로써, 휴대가 간편한 피부진단기를 활용한 자가 피부 관리가 가능한 효과를 제공하게 된다.
또한, 펜 타입의 피부진단기(100)를 통해 피부 진단 정보를 피부관리클라우드서버(400)에서 획득하여 지속적인 관리가 가능하도록 하며, 셀프뷰티앱을 탑재한 스마트기기를 이용하여 언제 어디서든지 자유롭게 피부관리클라우드서버(400)에 접속하여 피부 진단 위치 및 항목에 따라 피부 관리를 수행할 수 있도록 함으로써, 사용상의 편리성과 효율성을 제공하게 된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
본 발명에 따른 AR을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법은, 펜 타입의 피부진단기에 의해 피부를 진단하여 진단 결과 정보를 스마트기기로 제공할 경우에 피부진단기에 형성된 마커를 통해 진단 위치를 스마트기기에서 판단할 수 있도록 하며, 셀프뷰티앱을 탑재한 스마트기기가 촬영된 피부 영상 내의 피부진단기로 진단한 피부의 위치가 어느 부위인지를 판단하여 해당 피부 진단의 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력 혹은 피부관리클라우드서버(400)로 송출하도록 함으로써, 휴대가 간편한 피부진단기를 활용한 자가 피부 관리가 가능한 효과를 제공하게 되므로 산업상 이용가능성이 높다.

Claims (7)

  1. AR을 이용한 셀프 뷰티앱 플랫폼 시스템에 있어서,
    피부를 진단하여 진단 결과 정보를 스마트기기(300)로 제공하기 위한 펜 타입의 피부진단기(100)와;
    상기 펜 타입의 피부진단기에 형성되어 진단 위치를 스마트기기에서 판단할 수 있도록 하기 위한 마커(200)와;
    피부의 영상을 촬영하며, 피부진단기로 진단한 피부의 위치를 영상으로 획득하여 전체 피부 중 피부진단기가 어느 위치에 있는지를 판단하기 위하여 해당 피부진단기의 위치를 추출하고, 추출한 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜 화면에 출력 혹은 피부관리클라우드서버(400)로 송출하기 위한 셀프뷰티앱을 탑재한 스마트기기(300);를 포함하여 구성되는 AR을 이용한 셀프 뷰티앱 플랫폼 시스템.
  2. AR을 이용한 셀프 뷰티앱 플랫폼 시스템에 있어서,
    피부를 진단하여 진단 결과 정보를 스마트기기(300)로 제공하기 위한 펜 타입의 피부진단기(100)와;
    상기 펜 타입의 피부진단기에 형성되어 진단 위치를 스마트기기에서 판단할 수 있도록 하기 위한 마커(200)와;
    피부의 영상을 촬영하며, 피부진단기로 진단한 피부의 위치를 영상으로 획득하여 전체 피부 중 피부진단기가 어느 위치에 있는지를 판단하기 위하여 해당 피부진단기의 위치를 추출하고, 추출한 위치와 피부진단기에서 진단한 진단 결과 정보를 매칭시켜, 촬영된 실시간 피부 영상 정보에 진단 결과의 위치와 항목을 증강 현실로 처리하여 출력 혹은 피부관리클라우드서버(400)로 송출하기 위한 셀프뷰티앱을 탑재한 스마트기기(300)와;
    스마트기기로부터 제공되는 진단 결과 정보와 해당 진단자의 아이디 정보를 매칭시켜 저장 관리하기 위한 피부관리클라우드서버(400);를 포함하여 구성되는 AR을 이용한 셀프 뷰티앱 플랫폼 시스템.
  3. 제 1항 또는 제 2항에 있어서,
    상기 스마트기기(300)는,
    자신의 얼굴 이미지를 촬영하기 위한 스마트기기용촬영부(310)와,
    상기 촬영된 피부 이미지를 획득하여 피부 인식 정보를 생성하기 위한 피부인식정보생성부(320)와,
    상기 생성된 피부 인식 정보와 피부 진단 정보에 포함된 피부 인식 맵 정보를 맵핑시켜 얼라인 처리하며, 피부 진단의 위치를 피부 진단의 항목별로 처리하기 위한 피부인식얼라인처리부(330)와,
    스마트기기용촬영부(310)를 통해 촬영된 실시간 얼굴 영상 정보를 획득하여 피부 진단의 위치와 항목을 증강 현실로 처리하기 위한 증강현실처리부(340)와,
    상기 피부 진단의 위치와 항목을 참조하여 항목별로 디스플레이 화면을 분류하기 위한 피부진단항목별분류표시처리부(350)를 포함하여 구성되는 AR을 이용한 셀프 뷰티앱 플랫폼 시스템.
  4. 제 3항에 있어서,
    상기 스마트기기(300)는,
    피부 진단의 항목별로 매칭되는 미용제품 성분 정보 혹은 미용제품 정보를 화면에 표시하기 위한 추천미용제품정보표시부(360)와,
    화면에 표시되는 미용제품이 피부관리 단계 중 어느 단계에 사용하는 제품인지를 화면에 제공하기 위한 프로그레시브바표시부(370) 중 적어도 어느 하나 이상을 더 포함하여 구성되는 AR을 이용한 셀프 뷰티앱 플랫폼 제공방법.
  5. AR을 이용한 셀프 뷰티앱 플랫폼 제공 방법에 있어서,
    스마트기기(300)에 탑재된 셀프뷰티앱을 실행하는 셀프뷰티앱실행단계(S100)와;
    피부진단기(100)의 전원을 온하여 스마트기기(300)와 페어링하는 피부진단기페어링단계(S200)와;
    진단하고자 하는 피부의 위치에 피부진단기(100)를 접촉 혹은 비접촉 후 진단을 수행하는 진단스타트단계(S300)와;
    상기 피부진단기(100)가 시작 신호를 스마트기기(300)로 송출하는 시작신호송출단계(S400)와;
    스마트기기(300)가 피부의 어느 위치에서 피부 진단을 수행했는지를 확인하기 위하여 카메라를 통해 영상을 획득하는 피부진단위치영상획득단계(S500)와;
    피부진단기(100)가 진단 종료 신호를 스마트기기(300)로 송출하는 진단종료신호송출단계(S600)와;
    스마트기기(300)가 피부진단기에 형성된 마커(200)를 참조하여 진단한 위치에 해당하는 진단 결과 정보를 피부진단기(100)로부터 획득하는 피부진단결과정보획득단계(S700)와;
    스마트기기(300)가 피부 좌표에 진단한 위치와 진단 결과 정보를 매칭시키는 피부진단결과매칭단계(S800)와;
    스마트기기(300)가 메모리에 해당 피부 진단한 위치와 진단 결과 정보를 저장하는 피부진단결과저장단계(S900);를 포함하는 AR을 이용한 셀프 뷰티앱 플랫폼 제공 방법.
  6. AR을 이용한 셀프 뷰티앱 플랫폼 제공 방법에 있어서,
    스마트기기(300)에 탑재된 셀프뷰티앱을 실행하는 셀프뷰티앱실행단계(S100)와;
    피부진단기(100)의 전원을 온하여 스마트기기(300)와 페어링하는 피부진단기페어링단계(S200)와;
    진단하고자 하는 피부의 위치에 피부진단기(100)를 접촉 혹은 비접촉 후 진단을 수행하는 진단스타트단계(S300)와;
    상기 피부진단기(100)가 시작 신호를 스마트기기(300)로 송출하는 시작신호송출단계(S400)와;
    스마트기기(300)가 피부의 어느 위치에서 피부 진단을 수행했는지를 확인하기 위하여 카메라를 통해 영상을 획득하는 피부진단위치영상획득단계(S500)와;
    피부진단기(100)가 진단 종료 신호를 스마트기기(300)로 송출하는 진단종료신호송출단계(S600)와;
    스마트기기(300)가 피부진단기에 형성된 마커(200)를 참조하여 진단한 위치에 해당하는 진단 결과 정보를 피부진단기(100)로부터 획득하는 피부진단결과정보획득단계(S700)와;
    스마트기기(300)가 피부 좌표에 진단한 위치와 진단 결과 정보를 매칭시키는 피부진단결과매칭단계(S800)와;
    스마트기기(300)가 메모리에 해당 피부 진단한 위치와 진단 결과 정보를 저장하는 피부진단결과저장단계(S900)와;
    스마트기기(300)가 촬영한 실시간 피부 영상 정보에 상기 메모리에 저장된 진단 결과의 위치와 항목을 증강 현실로 처리하여 출력 혹은 피부관리클라우드서버(400)로 송출하는 증강현실처리단계(S1000);를 포함하는 AR을 이용한 셀프 뷰티앱 플랫폼 제공 방법.
  7. 제 5항 또는 제 6항에 있어서,
    스마트기기(300)가 메모리에 저장된 피부 진단의 위치와 항목을 참조하여 항목별로 디스플레이 화면을 분류하기 위한 피부진단항목별분류표시단계(S1100)와;
    스마트기기(300)가 미용 제품을 추천하기 위하여, 피부 진단의 항목별로 매칭되는 미용제품 성분 정보 혹은 미용제품 정보를 화면에 표시하기 위한 추천미용제품정보표시단계(S1200);를 더 포함하는 AR을 이용한 셀프 뷰티앱 플랫폼 제공 방법.
PCT/KR2017/013772 2017-03-31 2017-11-29 Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법 WO2018182130A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170041400A KR101793468B1 (ko) 2017-03-31 2017-03-31 Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 방법
KR10-2017-0041400 2017-03-31

Publications (1)

Publication Number Publication Date
WO2018182130A1 true WO2018182130A1 (ko) 2018-10-04

Family

ID=60383658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/013772 WO2018182130A1 (ko) 2017-03-31 2017-11-29 Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법

Country Status (2)

Country Link
KR (1) KR101793468B1 (ko)
WO (1) WO2018182130A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561215A (zh) * 2018-12-13 2019-04-02 北京达佳互联信息技术有限公司 对美颜功能进行控制的方法、装置、终端及存储介质
CN110333756A (zh) * 2019-06-26 2019-10-15 杜剑波 用于气质美学设计咨询的全息增强现实系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2972869T3 (es) * 2019-02-14 2024-06-17 Braun Gmbh Sistema para evaluar el uso de un producto de consumo móvil manualmente previsto
KR20200142938A (ko) * 2019-06-14 2020-12-23 주식회사 룰루랩 사용자 맞춤형 피부 진단 시스템 및 방법
KR102583932B1 (ko) * 2020-09-02 2023-10-04 이호승 증강현실 기반의 피부미용기기
KR102583933B1 (ko) * 2020-09-02 2023-09-27 이호승 고강도 집속 초음파 기반의 증강현실 영상 매칭형 홈 뷰티기기
KR102531407B1 (ko) * 2020-10-05 2023-05-11 조대희 초음파 미용기기
CN112651962A (zh) * 2021-01-07 2021-04-13 中科魔镜(深圳)科技发展有限公司 一种ai智能诊断系统平台
KR20230060076A (ko) 2021-10-27 2023-05-04 양승진 가상 메이크업을 지원하는 방법 및 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120117604A (ko) * 2011-04-14 2012-10-24 (주)아모레퍼시픽 피부 상태 분석 방법 및 장치
KR101318607B1 (ko) * 2012-12-21 2013-10-30 에이엠씨주식회사 피부 상태 측정기를 이용한 모바일 서비스 제공 시스템
KR20140021193A (ko) * 2012-08-09 2014-02-20 동국대학교 산학협력단 피부 진단기기 및 이의 제어방법
KR20160117956A (ko) * 2015-04-01 2016-10-11 올코리아주식회사 단말기를 이용한 피부진단 측정시스템
KR20160119400A (ko) * 2015-04-03 2016-10-13 재단법인대구경북과학기술원 피부 진단 및 관리를 위한 휴대용 분광 이미징 디바이스, 사용자 단말, 분광 이미지 분석 서버, 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120117604A (ko) * 2011-04-14 2012-10-24 (주)아모레퍼시픽 피부 상태 분석 방법 및 장치
KR20140021193A (ko) * 2012-08-09 2014-02-20 동국대학교 산학협력단 피부 진단기기 및 이의 제어방법
KR101318607B1 (ko) * 2012-12-21 2013-10-30 에이엠씨주식회사 피부 상태 측정기를 이용한 모바일 서비스 제공 시스템
KR20160117956A (ko) * 2015-04-01 2016-10-11 올코리아주식회사 단말기를 이용한 피부진단 측정시스템
KR20160119400A (ko) * 2015-04-03 2016-10-13 재단법인대구경북과학기술원 피부 진단 및 관리를 위한 휴대용 분광 이미징 디바이스, 사용자 단말, 분광 이미지 분석 서버, 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561215A (zh) * 2018-12-13 2019-04-02 北京达佳互联信息技术有限公司 对美颜功能进行控制的方法、装置、终端及存储介质
CN109561215B (zh) * 2018-12-13 2021-03-23 北京达佳互联信息技术有限公司 对美颜功能进行控制的方法、装置、终端及存储介质
CN110333756A (zh) * 2019-06-26 2019-10-15 杜剑波 用于气质美学设计咨询的全息增强现实系统

Also Published As

Publication number Publication date
KR101793468B1 (ko) 2017-11-03

Similar Documents

Publication Publication Date Title
WO2018182130A1 (ko) Ar을 이용한 셀프 뷰티앱 플랫폼 시스템 및 제공 방법
WO2020251217A1 (ko) 사용자 맞춤형 피부 진단 시스템 및 방법
WO2019132168A1 (ko) 수술영상데이터 학습시스템
CN110212451A (zh) 一种电力ar智能巡检装置
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
WO2017022986A1 (ko) 개인용 건강 정보를 취득하기 위한 장치 및 그 방법
TW581668B (en) Endoscopic device
WO2021045367A1 (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
WO2020235939A2 (ko) 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템
KR101738035B1 (ko) 피부의 3차원 입체 영상을 획득하는 3차원 촬영장치
KR101792541B1 (ko) 피부 진단 정보를 이용한 스마트기기 피부관리 서비스 제공시스템
WO2012091326A2 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
WO2019139291A1 (ko) 피부 상태 측정용 모듈
WO2021100898A1 (ko) 피부 타입 맞춤형 통합서비스 제공방법 및 이에 따른 통합서비스 제공시스템
KR20170143164A (ko) 3d 얼굴 모델링을 통한 피부 분석 진단 시스템
WO2013105815A1 (en) Fetus modeling method and image processing apparatus therefor
WO2021153858A1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2016155284A1 (zh) 一种终端的信息采集方法及其终端
WO2021215800A1 (ko) 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
WO2022035110A1 (ko) 증강현실 의료영상을 제공하기 위한 사용자 단말기 및 증강현실 의료영상 제공 방법
KR20130118512A (ko) 얼굴 인식을 통한 환자 상태 모니터링 시스템 및 이를 이용한 환자 상태 모니터링 서비스 제공 방법
KR102036043B1 (ko) 스마트기기 기반의 피부질환 진단이 가능한 광학식 피부질환 진단장치
WO2014157796A1 (ko) 진단 보조용 내시경 시스템 및 그 제어 방법
KR100874186B1 (ko) 피검사자의 설진 영상을 스스로 촬영할 수 있는 방법 및 그장치
WO2020209496A1 (ko) 치아 오브젝트 검출 방법 및 치아 오브젝트를 이용한 영상 정합 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902991

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17902991

Country of ref document: EP

Kind code of ref document: A1