WO2024005542A1 - 주름 검출을 통해 질환을 예측하는 방법 및 장치 - Google Patents

주름 검출을 통해 질환을 예측하는 방법 및 장치 Download PDF

Info

Publication number
WO2024005542A1
WO2024005542A1 PCT/KR2023/009028 KR2023009028W WO2024005542A1 WO 2024005542 A1 WO2024005542 A1 WO 2024005542A1 KR 2023009028 W KR2023009028 W KR 2023009028W WO 2024005542 A1 WO2024005542 A1 WO 2024005542A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
skin
disease
wrinkle
image
Prior art date
Application number
PCT/KR2023/009028
Other languages
English (en)
French (fr)
Inventor
윤희수
김세민
이종하
유상욱
최용준
Original Assignee
주식회사 룰루랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룰루랩 filed Critical 주식회사 룰루랩
Publication of WO2024005542A1 publication Critical patent/WO2024005542A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a method and device for predicting disease through wrinkle detection, and more specifically, to a method and device for detecting a user's wrinkles based on an artificial neural network and diagnosing a user's disease based on the detected user's wrinkles; It's about devices.
  • cardiovascular diseases such as high blood pressure, ischemic heart disease, coronary artery disease, arteriosclerosis, and stroke are rapidly increasing, and not only cardiovascular diseases but also lung diseases and liver diseases are occurring.
  • cardiovascular disease is difficult to predict because it presents symptoms such as nosebleeds, headaches, and dizziness, and if the symptoms are left untreated, it can result in complicated surgical procedures or even death.
  • most modern people are reluctant to visit the hospital with only mild symptoms, considering time and cost, and in fact, symptoms of cardiovascular disease can be easily encountered in everyday life and are often overlooked, so they do not undergo professional examination. There is difficulty in recognizing whether an abnormal cardiovascular disease has occurred.
  • the purpose of the present invention to solve the above problems is to provide a method and device for detecting a user's wrinkles based on an artificial neural network and diagnosing the user's disease based on the detected wrinkles.
  • a server that diagnoses a user's disease through wrinkle detection displays an interface for selecting a shooting purpose through a display linked with the server, and obtains an input signal indicating the shooting purpose from the user.
  • interface control unit an imaging control unit that controls a skin imaging device to capture images of the user's skin
  • An image analysis unit that acquires a skin image of the user from the skin imaging device, performs pre-processing based on landmarks based on the skin image, and determines the user's skin type and skin characteristics based on the pre-processed skin image.
  • a disease analysis unit that detects the user's wrinkles based on the skin image and diagnoses the user's disease based on the detected wrinkles of the user
  • a solution provider that provides a customized solution according to the diagnosed disease of the user.
  • the imaging control unit photographs the user in a first imaging mode through the skin imaging device, and when an input signal instructing skin analysis is obtained, the user is photographed through the skin imaging device. The user is photographed in a second photographing mode, and the disease analysis unit generates training input values corresponding to skin images of each of a plurality of users obtained from a plurality of user terminals, and a wrinkle image or a wrinkle probability map.
  • a wrinkle detection model that is learned using training data composed of training output values corresponding to and generates the wrinkle probability map corresponding to the user based on a deep learning network composed of a plurality of hidden layers, and the wrinkle detection model of the user Input the preprocessed skin image into the wrinkle detection model based on a CNN (convolutional neural network), and generate a wrinkle image or wrinkle probability map corresponding to the skin image based on the output of the wrinkle detection model,
  • the user's wrinkles may be detected based on the generated wrinkle image or the wrinkle probability map.
  • the disease analysis unit may determine the wrinkle occurrence area of the user and determine whether the user has a disease based on the wrinkle occurrence area and the degree of wrinkles occurring in the area.
  • the disease analysis unit calculates the disease risk based on the user's age, the wrinkle occurrence area, and the wrinkle degree, and sets the weight for the wrinkle degree to be lower as the user's age increases according to the obtained age information. , the younger the age, the higher the weight for the degree of wrinkles can be set.
  • the solution provider may provide a doctor diagnosis service according to the disease risk or provide information on recommended lifestyle habits and recommended eating habits.
  • the inside of the user's body can be diagnosed through an external image of the user's body, thereby providing convenience to the user.
  • improved medical services can be provided by preemptively informing the user of information about the related disease when symptoms are mild.
  • the user's disease can be more accurately diagnosed through relative analysis taking the user's age into consideration rather than simply analyzing the skin (wrinkle) condition absolutely.
  • FIG. 1 is a diagram illustrating a wrinkle-based disease diagnosis system according to an embodiment.
  • Figure 2 is a diagram showing the main components of a wrinkle-based disease diagnosis server.
  • Figure 3 is a diagram showing the process of detecting a user's wrinkles through an image of the user's skin.
  • Figure 4 is a flowchart of performing a simple skin analysis or an analysis of a user's disease depending on the purpose of photography.
  • Figure 5 is a flow chart for analyzing the user's disease risk based on the user's age information and the user's wrinkle information.
  • FIG. 6 is a diagram showing the hardware configuration of the wrinkle-based disease diagnosis server according to FIG. 1.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.
  • a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention.
  • the term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.
  • FIG. 1 is a diagram illustrating a wrinkle-based disease diagnosis system 10 according to an embodiment.
  • the wrinkle-based disease diagnosis system 10 may include a wrinkle-based disease diagnosis server 100, a user terminal 200, and a kiosk 300.
  • the operations described below may be performed or implemented through a platform (eg, web page and/or application) controlled by the wrinkle-based disease diagnosis server 100.
  • the wrinkle-based disease diagnosis server 100 allows a user to access the wrinkle-based disease diagnosis server 100 through a network using the user terminal 200 and/or kiosk 300 and input various information, A website that allows registration and printing can be provided, and an application that can input, register, and print various information can be provided by being installed and executed on the user terminal 200 and/or kiosk 300. there is.
  • the wrinkle-based disease diagnosis server 100 uses a skin imaging device (e.g., a camera of the user terminal 200, a camera of the kiosk 300, and/or other imaging devices) linked to the wrinkle-based disease diagnosis server 100.
  • a skin imaging device e.g., a camera of the user terminal 200, a camera of the kiosk 300, and/or other imaging devices
  • the wrinkle-based disease diagnosis server 100 diagnoses the user's skin type and/or skin characteristics based on the photographed user's skin or detects the user's wrinkles based on the photographed user's skin, and detects the detected wrinkles. Based on the user's wrinkles, the user's disease can be diagnosed or predicted.
  • the user terminal 200 and/or kiosk 300 may be a communication capable desktop computer, laptop computer, laptop, smart phone, tablet PC, or mobile phone.
  • mobile phone mobile phone
  • smart watch smart glass
  • e-book reader PMP (portable multimedia player)
  • portable game console navigation device
  • digital camera digital camera
  • DMB digital multimedia broadcasting players
  • digital audio recorders digital audio players
  • digital video recorders digital video players
  • PDAs personal digital assistants
  • the wrinkle-based disease diagnosis server 100, the user terminal 200, and the kiosk 300 are each connected to a communication network and can transmit and receive data with each other through the communication network.
  • communication networks include Local Area Network (LAN), Metropolitan Area Network (MAN), Global System for Mobile Network (GSM), Enhanced Data GSM Environment (EDGE), High Speed Downlink Packet Access (HSDPA), and W-CDMA.
  • Wi-Fi Wireless Local Area Network
  • VoIP Voice over Internet Protocol
  • LTE Advanced Long Term Evolution
  • IEEE802.16m WirelessMAN-Advanced
  • HSPA+ 3GPP Long Term Evolution
  • Mobile WiMAX IEEE 802.16e
  • UMB formerly EV-DO Rev. C
  • Flash-OFDM iBurst and MBWA
  • 802.20 HIPERMAN
  • BDMA Beam-Division Multiple Access
  • Wi-MAX Worldwide Interoperability for Microwave Access
  • 5G 5G.
  • FIG. 2 is a diagram showing the main components of the wrinkle-based disease diagnosis server 100.
  • Figure 3 is a diagram showing the process of detecting a user's wrinkles through an image of the user's skin.
  • the wrinkle-based disease diagnosis server 100 may include an interface control unit 101, an imaging control unit 102, an image analysis unit 103, a disease analysis unit 104, and a solution provision unit 105.
  • the interface control unit 101 may display an interface for selecting a shooting purpose through a display (e.g., a display of the user terminal 200 and/or a display of the kiosk 300) linked to the interface control unit 101.
  • the interface control unit 101 may obtain an input signal indicating the purpose of photography from the user.
  • the interface control unit 101 obtains an input signal indicating that the purpose of imaging is skin analysis, or acquires an input signal indicating that the purpose of imaging is disease prediction, or an input signal indicating that the purpose of imaging is both skin analysis and disease prediction. can be obtained.
  • the shooting control unit 102 may provide a shooting signal to a skin imaging device (e.g., a camera of the user terminal 200, a camera of the kiosk 300, and/or other photographing devices) linked to the shooting control unit 102. there is.
  • a skin imaging device e.g., a camera of the user terminal 200, a camera of the kiosk 300, and/or other photographing devices
  • the imaging control unit 102 When the imaging control unit 102 obtains an input signal indicating disease analysis through the interface control unit 101, the imaging control unit 102 photographs the user in the first imaging mode through the linked skin imaging device, and When an input signal instructing skin analysis is obtained, the user can be photographed in a second photographing mode through the linked skin imaging device.
  • the first photographing mode may refer to a mode for photographing the user's face
  • the second photographing mode may refer to a mode for additionally photographing the user's ears and neck in addition to the user's facial region.
  • the facial part may refer to the front of the user's head including the user's eyes, nose, and mouth.
  • the imaging control unit 102 may obtain an image of the user's skin from a skin imaging device.
  • the image analysis unit 103 may perform preprocessing based on landmarks based on the user's skin image.
  • the preprocessing may include processes before the skin image is analyzed for skin analysis and/or disease analysis based on artificial intelligence.
  • the image analysis unit 103 may determine whether the acquired skin image is suitable for learning artificial neural network models or for skin analysis and/or wrinkle detection. The image analysis unit 103 determines whether the image is suitable based on the brightness value, contrast value, etc. of the acquired skin image. Additionally, the image analysis unit 103 detects hair that may interfere with wrinkle detection in the acquired skin image in advance. If the set number is exceeded or the resolution of the skin image is lower than the preset resolution (e.g., 320 x 320), it may be determined as an inappropriate image.
  • the preset resolution e.g., 320 x 320
  • the image analysis unit 103 may determine the user's skin type and/or skin characteristics based on the user's skin image (image) (or face image (image)).
  • skin characteristics may include skin moisture, oil, sebum, pH, sensitivity, elasticity, skin color/skin tone, pore condition, pigmentation, and keratin condition.
  • the image analysis unit 103 may determine the user's skin characteristics based on a skin image captured and acquired through a separate measurement device (eg, a measurement mask) in addition to the user terminal 200 and/or kiosk 300.
  • the image analysis unit 103 determines the user's skin characteristics such as moisture, oil, sebum, pH level, sensitivity, skin tone, pore condition, pigmentation, and keratin condition based on the skin image, and determines the determined skin
  • the user's skin type can be determined based on the characteristics.
  • the disease analysis unit 104 may detect the user's wrinkles based on the acquired skin image of the user.
  • the disease analysis unit 104 may predict, determine, and/or diagnose the user's disease based on the user's detected wrinkles.
  • the disease analysis unit 104 may input the user's skin image, which has been preprocessed through the image analysis unit 103, into an artificial neural network model (eg, a wrinkle detection model). Additionally, the disease analysis unit 104 may train the artificial neural network model (eg, wrinkle detection model) using a plurality of skin images acquired from a plurality of user terminals as learning data. The disease analysis unit 104 may extract a wrinkle image or a wrinkle probability map corresponding to the skin image as an output of the artificial neural network model. The disease analysis unit 104 may binarize the extracted wrinkle image or the wrinkle probability map. The disease analysis unit 104 may detect the user's wrinkles based on the binarized wrinkle image or the wrinkle probability map.
  • an artificial neural network model eg, a wrinkle detection model
  • the image analysis unit 103 may apply an ROI mask to an area expected to be a wrinkle cluster and apply contrast-limited adaptive histogram equalization.
  • the disease analysis unit 104 may then extract a wrinkle image or a wrinkle probability map from the preprocessed skin image using the difference of Gaussian. Wrinkles can be segmented through an adaptive threshold method in the feature map. Segmented wrinkles can be classified into wrinkles longer than a preset length, wrinkles shorter than a preset length, wrinkles deeper than a preset depth, and bifurcated wrinkles.
  • the artificial neural network-based wrinkle detection model may be composed of a convolutional neural network (20).
  • the convolutional neural network receives image frames of a preset size as input images, a convolutional layer (21) that extracts a feature map, and an activation layer (21) that determines whether to activate the output using an activation function for the extracted features. 22), a pooling layer 23 that performs sampling on the output according to the activation layer 22, a fully connected layer 24 that performs classification according to class, and finally outputs the output according to the fully connected layer 24 It may include an output layer 25 that does.
  • the convolutional layer 21 may be a layer that extracts features of input data by convolution of the input image and filter.
  • the filter is a function that detects characteristic parts of the input image, is generally expressed as a matrix, and may be a function determined as it is continuously learned by learning data.
  • Features extracted by the convolutional layer 21 may also be referred to as a feature map.
  • the interval value for performing convolution may be referred to as a stride, and feature maps of different sizes may be extracted depending on the stride value.
  • the size of the filter is smaller than the input image, the feature map has a smaller size than the existing input image, and a padding process may be additionally performed to prevent features from being lost through several steps.
  • the padding process may be a process of keeping the size of the input image and the size of the feature map the same by adding a preset value (for example, 0 or 1) to the outside of the generated feature map.
  • the convolutional layer 21 may use a structure in which a 1 ⁇ 1 convolutional layer and a 3 ⁇ 3 convolutional layer are sequentially and repeatedly connected, but is not limited to this.
  • the activation layer 22 is a layer that determines whether to activate by converting the features extracted with a certain value (or matrix) into a non-linear value according to an activation function.
  • Activation functions include the sigmoid function, ReLU function, and softmax. (softmax) function, etc. may be used.
  • the softmax function may be a function that normalizes all input values to values between 0 and 1, and the total of output values is always 1.
  • the pooling layer 23 is a layer that selects features representing the feature map by performing subsampling or pooling on the output of the activation layer 22, and has the largest value for a certain area of the feature map. Max pooling to extract , average pooling to extract the average, etc. may be performed. At this time, the pooling layer is not necessarily performed after the activation function, but may be performed selectively.
  • the convolutional neural network 20 may include a plurality of connection structures of the convolutional layer 21, the activation layer 22, and the pooling layer 23.
  • the convolutional neural network (20) includes CNN-based S-CNN (shallow convolutional neural network), YOLO (You Look Only Once), SSD (Single Shot MultiBox Detector), and Faster R-CNN. , ResNet, U-Net, etc., or an improved deep neural network based on them, but is not limited to these.
  • the convolutional neural network 20 has a U-Net structure and may include a plurality of connection structures of a convolutional layer 21, an activation layer 22, and a pooling layer 23, It includes at least one down-sampling process through down-sampling or max-pooling and at least one up-sampling process through up-convolution, and a segmentation operation is performed based on the above process. can be performed.
  • the output data can be made to be the same size as the input image, which is the original image, and the detected wrinkle image or wrinkle probability map can be displayed by overlapping the input image.
  • the disease analysis unit 104 may determine or predict the user's current disease and/or future disease at risk of occurrence based on the user's detected wrinkles.
  • the disease analysis unit 104 can determine the area where the user's wrinkles occur and calculate the degree of the user's wrinkles at the area.
  • the disease analysis unit 104 may calculate the degree of wrinkles based on the number of each detected wrinkle, the area of each detected wrinkle, and the interval (density) between the detected wrinkles.
  • the disease analysis unit 104 may calculate the number of pixels occupied by each of the detected wrinkles and calculate the area of each wrinkle by calculating the sum of the calculated number of pixels.
  • the disease analysis unit 104 may determine a wrinkle area including the detected wrinkles, and calculate the density between the wrinkles based on the number of wrinkles and the area of each wrinkle within the determined wrinkle area.
  • the disease analysis unit 104 may determine the user's disease based on the user's wrinkle occurrence area and/or the user's degree of wrinkles, and calculate the disease risk for the disease.
  • the disease analysis unit 104 may calculate the disease risk based on the user's age corresponding to the acquired user's age information, in addition to the wrinkle occurrence area and the wrinkle degree.
  • the disease analysis unit 104 may set the weight for the degree of wrinkles to be lower as the user's age is according to the acquired age information, and set the weight for the degree of wrinkles to be higher as the user's age is younger. In other words, the older you are, the more likely it is that wrinkles will occur due to natural aging, so the disease risk can be calculated by taking this into account.
  • the disease analysis unit 104 may calculate the disease risk based on the probability of wrinkles occurring in each area.
  • the likelihood of wrinkles occurring can be an indicator of whether each area is prone or difficult to develop wrinkles.
  • the area around the forehead, eyes, and mouth is basically an area where wrinkles are more likely to form due to changes in facial expression, head movement, etc., so the disease analysis unit 104 analyzes wrinkles around the forehead, eyes, neck, and mouth.
  • the weight for the above-mentioned areas is determined to be low, and when calculating the disease risk by determining the probability of wrinkles occurring on the chin, cheeks, ears, and nose areas to be low, the weight on these areas is determined to be low.
  • the weight for can be set high.
  • the disease analysis unit 104 can determine the degree of wrinkle occurrence based on the facial images of each of the multiple users, and calculates the average value of the degree of wrinkles for each region for the multiple users, so that the average value of the degree of wrinkles for each region is The higher the value, the closer to 1 the likelihood of wrinkles forming, and the lower the average of the wrinkles in each area, the closer the likelihood of wrinkles to 0.
  • the disease analysis unit 104 can calculate the disease risk using Equation 1 below.
  • Equation 1 G is the disease risk, d is the degree of wrinkles, w is the weight for the degree of wrinkles, a is the probability of wrinkles occurring in the wrinkled area, x is the user's age, x 0 is the preset reference age, ⁇ may be a parameter that adjusts the gradient of the weight (weight graph slope). In other words, w may be a value that decreases as age increases.
  • the parameters may be determined by gender, race, etc.
  • the disease analysis unit 104 may determine that there is a disease related to the corresponding region. For example, the disease analysis unit 104 determines that earlobe wrinkles are related to cerebrovascular disease, dementia, etc., and when the disease risk associated with earlobe wrinkles exceeds the first threshold, diseases related to cerebrovascular disease and dementia are determined. It can be decided that there is. For example, the disease analysis unit 104 may determine that the forehead is related to cardiovascular disease, etc., and if the disease risk associated with forehead wrinkles exceeds the first threshold, it may determine that there is cardiovascular disease.
  • the solution provider 105 may recommend a doctor's diagnosis when the calculated disease risk exceeds a preset second threshold that is higher than the first threshold. If the disease risk exceeds the first threshold but is below the second threshold, the disease analysis unit 104 may provide information on recommended lifestyle habits and/or information on recommended eating habits to the user.
  • the solution provider 105 may perform regular photography through the photography control unit 102 and calculate the degree of variation in wrinkles for each user.
  • the solution provider 105 lists the user's wrinkle images or wrinkle probability maps according to preset conditions (e.g., disease risk order or time order) based on the user's wrinkle degree gradient, and lists the wrinkle images or wrinkle probability maps. Can be provided to the user through the user terminal 200 and/or kiosk 300.
  • the solution provider 105 can determine the imaging cycle according to the calculated disease risk. The higher the disease risk, the shorter the imaging cycle, and the lower the disease risk, the longer the imaging cycle.
  • Figure 4 is a flowchart of performing a simple skin analysis or an analysis of a user's disease depending on the purpose of photography.
  • the interface control unit 101 obtains an input signal indicating the purpose of shooting from the user through the user terminal 200 (e.g., the display of the user terminal 200) or the kiosk 300 (e.g., the display of the kiosk 300). can do.
  • the shooting control unit 102 may determine a shooting purpose corresponding to the input signal (S110).
  • the skin imaging device e.g., the camera of the user terminal 200, the camera of the kiosk 300 captures the user in the first capturing mode. and/or other photographing devices
  • S120 can be controlled
  • the skin capturing device e.g., the camera of the user terminal 200, the camera of the kiosk 300
  • the skin capturing device is configured to capture the user in the second capturing mode. and/or other photographing devices
  • S130 can be controlled
  • the image analysis unit 103 may analyze the user's image captured based on the second shooting mode based on artificial intelligence (S140). In other words, the image analysis unit 103 may analyze or determine the user's skin type and skin characteristics based on the user's image captured based on the second capturing mode.
  • S140 artificial intelligence
  • the disease analysis unit 104 may analyze the user's image captured based on the first capturing mode based on artificial intelligence (S140). In other words, the disease analysis unit 104 detects the user's wrinkles based on the user's image captured based on the first shooting mode, and determines the user's current disease and/or risk of occurrence based on the detected user's wrinkles. Future diseases can be determined or predicted.
  • S140 artificial intelligence
  • the interface control unit 101 displays result information (e.g., skin type, skin characteristics, and/or disease information) analyzed based on artificial intelligence on the user terminal 200 (e.g., display of the user terminal 200) or kiosk ( 300) (e.g., display of kiosk 300) (S150).
  • result information e.g., skin type, skin characteristics, and/or disease information
  • the solution provider 105 provides information about skin care and/or disease management to the user terminal 200 (e.g., the display of the user terminal 200) or the kiosk 300 (e.g. : Can be provided or displayed through the display of the kiosk 300 (S160).
  • the solution provider 105 may display detailed results about the analyzed user's skin characteristics and/or skin type through the user terminal 200 or kiosk 300, and the solution provider 105 can determine a customized skin expert (e.g., dermatologist) based on detailed results about the user's skin characteristics, skin type, and/or user's skin troubles, and provide an interface that can connect the user with the determined skin expert. there is.
  • a customized skin expert e.g., dermatologist
  • the solution provider 105 determines a dermatologist with extensive experience in treating and/or treating blackheads, and determines whether the user's skin is dry or not. If you have poor elasticity, you can decide to see a dermatologist with extensive experience in treating and/or treating dry skin. Users can quickly and easily diagnose and manage skin problems anytime, anywhere through skin experts, and non-face-to-face consultations and visit reservations can be made.
  • Figure 5 is a flow chart for analyzing the user's disease risk based on the user's age information and the user's wrinkle information.
  • the interface control unit 101 When the interface control unit 101 obtains an input signal indicating that the purpose of imaging is disease analysis, it may provide an interface for inputting the user's age information through the user terminal 200 or kiosk 300.
  • the interface control unit 101 may obtain an input signal indicating the user's age information from the user (S210). In other words, the user can directly input his or her age through the interface provided by the interface control unit 101, and the entered age can be transmitted to the interface control unit 101.
  • the photographing control unit 102 may control a photographing device (eg, a camera of the user terminal 200 and/or a camera of the kiosk 300) to photograph the user in the first photographing mode (S220).
  • the image analysis unit 103 may detect the user's wrinkles based on the captured image of the user (S230).
  • the disease analysis unit 104 can calculate the disease risk (S240).
  • the disease analysis unit 104 can determine the area where the user's wrinkles occur and calculate the degree of the user's wrinkles at the area.
  • the disease analysis unit 104 can calculate the disease risk based on the user's age, wrinkle occurrence area, and wrinkle occurrence degree.
  • the user's age can be automatically estimated using age information obtained by the user's input through the interface control unit 101, or through an age estimation function based on the user's face image.
  • the disease analysis unit 104 may learn an artificial neural network-based age estimation model to estimate the user's age.
  • the disease analysis unit 104 may input the user's facial image as input data to the artificial neural network.
  • the disease analysis unit 104 can output the user's age through an artificial neural network (ANN).
  • the artificial neural network may be implemented using a convolutional neural network (CNN)-based object identification algorithm such as Single Shot Detector (SSD), Region with CNN (R-CNN), or you only look once (YOLO).
  • CNN convolutional neural network
  • SSD Single Shot Detector
  • R-CNN Region with CNN
  • YOLO you only look once
  • the disease analysis unit 104 may perform supervised learning on an age estimation model based on the user's face image, and the age estimation model may be implemented with an artificial neural network.
  • An artificial neural network is a prediction model implemented in software or hardware that imitates the computational ability of a biological system using a large number of artificial neurons (or nodes).
  • the artificial neural network-based age estimation model can be supervised and learned using 'face image' and 'data labeled for age' by the age estimation model learning unit.
  • supervised learning refers to learning to find an output value according to a given input value by using data with input values and corresponding output values as learning data, and refers to learning that takes place when the correct answer is known.
  • the labeled data may be data labeling the user's age.
  • the set of input and output values given to supervised learning is called training data. That is, the above-mentioned 'user's face image' and 'data labeled with respect to age' are input and output values, respectively, and can be used as training data for supervised learning of the age estimation model.
  • the disease analysis unit 104 may convert the face image into an input image of a preset size and input it into the pre-supervised learning age estimation model.
  • the disease analysis unit 104 may estimate the user's age based on the output of the age estimation model.
  • age estimation software or systems that can be used at the level of an ordinary technician can be used.
  • the disease analysis unit 104 may determine that a disease corresponding to the wrinkle occurrence area has occurred or will soon occur. The disease analysis unit 104 may determine whether the disease risk exceeds the second threshold (S250).
  • the solution provider 105 may recommend a doctor's diagnosis to the user (S260).
  • the solution provider 105 determines a customized expert (e.g., cardiovascular specialist) for the disease corresponding to the wrinkle occurrence area, and determines the determined It can provide an interface that can connect cardiovascular experts and users. Users can quickly and easily diagnose and manage diseases anytime, anywhere through customized experts, and non-face-to-face consultations and visit reservations can be made.
  • the solution provider 105 sends information about recommended lifestyle habits and/or information about recommended eating habits to the user terminal 200 to kiosk 300. By displaying, the above information can be provided to the user (S270).
  • FIG. 6 is a diagram showing the hardware configuration of the wrinkle-based disease diagnosis server 100 according to FIG. 1.
  • the wrinkle-based disease diagnosis server 100 includes at least one processor 110 and instructions instructing the at least one processor 110 to perform at least one operation. May include storage memory.
  • the at least one operation includes at least some of the operations or functions of the wrinkle-based disease diagnosis server 100 described above and may be implemented in the form of instructions and performed by the processor 110.
  • the at least one processor 110 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor on which methods according to embodiments of the present invention are performed. You can.
  • Each of the memory 120 and the storage device 160 may be comprised of at least one of a volatile storage medium and a non-volatile storage medium.
  • the memory 120 may be one of read only memory (ROM) and random access memory (RAM), and the storage device 160 may be flash memory. , a hard disk drive (HDD), a solid state drive (SSD), or various memory cards (eg, micro SD card).
  • the wrinkle-based disease diagnosis server 100 may include a transceiver 130 that communicates through a wireless network. Additionally, the wrinkle-based disease diagnosis server 100 may further include an input interface device 140, an output interface device 150, a storage device 160, etc. Each component included in the wrinkle-based disease diagnosis server 100 may be connected by a bus 170 and communicate with each other.
  • the wrinkle-based disease diagnosis server 100 is described as an example, but the present invention is not limited thereto.
  • a plurality of user terminals may include components according to FIG. 6 .
  • Computer-readable media may include program instructions, data files, data structures, etc., singly or in combination.
  • Program instructions recorded on a computer-readable medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the computer software art.
  • Examples of computer-readable media may include hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc.
  • Examples of program instructions may include machine language code such as that created by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc.
  • the above-described hardware device may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
  • the above-described method or device may be implemented by combining all or part of its components or functions, or may be implemented separately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Dermatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

다양한 실시 예에 따르면, 주름 검출을 통해 사용자의 질환을 진단하는 서버는 상기 서버와 연동된 디스플레이를 통해 촬영 목적을 선택하도록 하는 인터페이스를 표시하며, 상기 사용자로부터 촬영 목적을 지시하는 입력 신호를 획득하는 인터페이스 제어부; 피부 촬영 장치를 제어하여 사용자의 피부 이미지를 촬영하는 촬영 제어부; 상기 피부 촬영 장치로부터 사용자의 피부 이미지를 획득하고, 상기 피부 이미지에 기반한 랜드마크를 기준으로 전처리를 수행하며, 전처리된 상기 피부 이미지에 기반하여 상기 사용자의 피부 타입 및 피부 특성을 결정하는 영상 분석부; 상기 피부 이미지에 기반하여 상기 사용자의 주름을 검출하고, 검출된 상기 사용자의 주름에 기반하여 상기 사용자의 질환을 진단하는 질환 분석부; 및 진단된 상기 사용자의 질환에 따라 맞춤형 솔루션을 제공하는 솔루션 제공부를 포함할 수 있다.

Description

주름 검출을 통해 질환을 예측하는 방법 및 장치
본 발명은 주름 검출을 통해 질환을 예측하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 인공신경망에 기반하여 사용자의 주름을 검출하고, 검출된 사용자의 주름에 기반하여 사용자의 질환을 진단하는 방법 및 장치에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
최근 현대인들에게는 신체에 건강하지 못한 인스턴트 음식 또는 패스트 푸드의 섭취 증가, 활동량 부족, 과도한 업무 등으로 인한 질환 발병 확률이 크게 증가하고 있다. 특히, 고혈압, 허혈성 심장 질환, 관상 동맥 질환, 동맥 경화증, 뇌졸중 등의 심혈관 질환이 급증하고 있으며, 심혈관뿐만 아니라 폐질환, 간질환 등 다수 발생하고 있다.
예를 들어, 심혈관 질환은 코피, 두통, 현기증과 같은 증상을 나타내어 쉽게 예측하기 어려우며, 증상을 방치할 경우, 복잡한 수술 절차를 거치거나 심하게는 사망에 이를수도 있다. 하지만, 대부분의 현대인은 경미한 증상만을 가지고는 병원에 방문하는 것을 시간, 비용 등을 생각하며 꺼려하며, 실제로 심혈관 질환의 증상은 일상에서도 쉽게 접할 수 있으며, 가볍게 넘기는 경우가 많아 전문적인 검사를 받지 않는 이상 심혈관 질환이 발병하였는지에 대한 여부를 인식하기에는 어려움이 존재한다.
따라서, 가벼운 증상이 발생했을때 사용자가 보다 편리하게 자신의 증상을 파악할 수 있도록 하는 방법에 대한 개발이 요구된다. 최근에는 사용자의 얼굴 이미지 또는 신체 이미지를 통해 사용자의 피부를 분석하는 기술이 많이 발전하고 있고, 이를 통해 사용자가 보다 쉽게 자신의 피부 상태를 확인할 수 있는 방법이 많이 통용되고 있다. 이를 토대로, 피부를 촬영하는 장비를 통해 촬영된 영상을 피부 분석뿐만 아니라, 사용자의 질환을 진단하고, 증상이 더 심해지기 전에 선제적으로 알리고, 진단 결과에 따른 솔루션을 제공하여 향상된 의료 서비스를 제공할 수 있는 방안이 마련될 필요가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 인공신경망에 기반하여 사용자의 주름을 검출하고, 검출된 사용자의 주름에 기반하여 사용자의 질환을 진단하는 방법 및 장치를 제공하는데 있다.
다양한 실시 예에 따르면, 주름 검출을 통해 사용자의 질환을 진단하는 서버는 상기 서버와 연동된 디스플레이를 통해 촬영 목적을 선택하도록 하는 인터페이스를 표시하며, 상기 사용자로부터 촬영 목적을 지시하는 입력 신호를 획득하는 인터페이스 제어부; 피부 촬영 장치를 제어하여 사용자의 피부 이미지를 촬영하는 촬영 제어부; 상기 피부 촬영 장치로부터 사용자의 피부 이미지를 획득하고, 상기 피부 이미지에 기반한 랜드마크를 기준으로 전처리를 수행하며, 전처리된 상기 피부 이미지에 기반하여 상기 사용자의 피부 타입 및 피부 특성을 결정하는 영상 분석부; 상기 피부 이미지에 기반하여 상기 사용자의 주름을 검출하고, 검출된 상기 사용자의 주름에 기반하여 상기 사용자의 질환을 진단하는 질환 분석부; 및 진단된 상기 사용자의 질환에 따라 맞춤형 솔루션을 제공하는 솔루션 제공부를 포함할 수 있다.
상기 촬영 제어부는, 질환 분석을 지시하는 입력 신호를 획득한 경우, 상기 피부 촬영 장치를 통해 제1 촬영 모드로 사용자를 촬영하고, 피부 분석을 지시하는 입력 신호를 획득한 경우 상기 피부 촬영 장치를 통해 제2 촬영 모드로 상기 사용자를 촬영하고, 상기 질환 분석부는, 다수의 사용자 단말들로부터 획득된 다수의 사용자들 각각의 피부 이미지에 대응하는 훈련 입력값, 및 주름 이미지 또는 주름 확률 맵(probability map)과 대응하는 훈련 출력값으로 구성되는 훈련 데이터를 이용하여 학습되고, 복수의 은닉층들로 구성되는 딥러닝 네트워크 기반으로 상기 사용자에 대응하는 상기 주름 확률 맵을 생성하는 주름 검출 모델을 포함하고, 상기 사용자의 전처리된 상기 피부 이미지를 CNN(convolutional neural network) 기반의 상기 주름 검출 모델에 입력하고, 상기 주름 검출 모델의 출력에 기초하여 상기 피부 이미지에 대응하는 주름 이미지 또는 주름 확률 맵을 생성하고,
생성된 상기 주름 이미지 또는 상기 주름 확률 맵에 기초하여 상기 사용자의 주름을 검출할 수 있다.
상기 질환 분석부는, 사용자의 주름 발생 부위를 결정하고, 상기 주름 발생 부위 및 상기 부위에 발생한 주름 정도에 기반하여 사용자의 질환 발생 여부를 결정할 수 있다.
상기 질환 분석부는, 상기 사용자의 연령, 상기 주름 발생 부위, 상기 주름 정도에 기반하여 질환 위험도를 산출하되, 획득된 상기 연령 정보에 따른 상기 사용자의 나이가 많을수록 상기 주름 정도에 대한 가중치를 낮게 설정하고, 상기 나이가 적을수록 상기 주름 정도에 대한 가중치를 높게 설정할 수 있다.
상기 솔루션 제공부는, 상기 질환 위험도에 따라 의사 진단 서비스를 제공하거나 추천 생활 습관 및 추천 식습관에 관한 정보를 제공할 수 있다.
본 문서에 개시되는 다양한 실시 예들에 따르면, 사용자의 신체 외부 이미지를 통해 사용자의 신체 내부를 진단할 수 있으므로 사용자에게 편리성을 제공할 수 있다.
또한, 다양한 실시 예들에 따르면, 경미한 증상일 때 사용자에게 관련 질환에 대한 정보를 선제적으로 알려줌으로써 향상된 의료 서비스를 제공할 수 있다.
또한, 다양한 실시 예들에 따르면, 단순히 피부(주름) 상태를 절대적으로 분석하는 것이 아닌 사용자의 나이를 고려하여 상대적인 분석을 통해 사용자의 질환을 더 정확하게 진단할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른 주름 기반 질환 진단 시스템을 도시한 도면이다.
도 2는 주름 기반 질환 진단 서버의 주요 구성 요소를 나타낸 도면이다.
도 3은 사용자의 피부 이미지를 통해 사용자의 주름을 검출하는 과정을 나타낸 도면이다.
도 4는 촬영 목적에 따라 사용자의 단순 피부 분석 또는 사용자의 질환 분석을 수행하는 것에 관한 흐름도이다.
도 5는 사용자의 연령 정보 및 사용자의 주름 정보에 기반하여 사용자의 질환 위험도를 분석하는 것에 관한 흐름도이다.
도 6은 도 1에 따른 주름 기반 질환 진단 서버의 하드웨어 구성을 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시 예에 주름 기반 질환 진단 시스템(10)을 도시한 도면이다.
도 1을 참조하면, 주름 기반 질환 진단 시스템(10)은 주름 기반 질환 진단 서버(100), 사용자 단말(200), 키오스크(300) 등을 포함할 수 있다. 이하 설명되는 동작들은 주름 기반 질환 진단 서버(100)에 의하여 제어되는 플랫폼(예: 웹 페이지 및/또는 어플리케이션)을 통해 수행 내지 구현될 수 있다. 다시 말해서, 주름 기반 질환 진단 서버(100)는, 사용자가 사용자 단말(200) 및/또는 키오스크(300)를 이용하여 네트워크를 통해 주름 기반 질환 진단 서버(100)에 접속하여 다양한 정보를 입력하고, 등록하고, 출력할 수 있는 웹 사이트를 제공할 수 있으며, 사용자 단말(200) 및/또는 키오스크(300)에 설치되고 실행됨으로써 다양한 정보를 입력하고, 등록하고, 출력할 수 있는 어플리케이션을 제공할 수 있다.
주름 기반 질환 진단 서버(100)는 주름 기반 질환 진단 서버(100)와 연동된 피부 촬영 장치(예: 사용자 단말(200)의 카메라, 키오스크(300)의 카메라 및/또는 그 외 다른 촬영 장치)를 통해 사용자의 피부를 촬영하고, 촬영된 사용자의 피부에 기반하여 단순 피부 분석 또는 질환 분석을 수행할 수 있다. 예를 들어, 주름 기반 질환 진단 서버(100)는 촬영된 사용자의 피부에 기반하여 사용자의 피부 타입 및/또는 피부 특성을 진단하거나 촬영된 사용자의 피부에 기반하여 사용자의 주름을 검출하고, 검출된 사용자의 주름에 기반하여 사용자의 질환을 진단 내지 예측할 수 있다.
사용자 단말(200) 및/또는 키오스크(300)는 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), 및 PDA(Personal Digital Assistant) 등 일 수 있다.
주름 기반 질환 진단 서버(100), 사용자 단말(200) 및 키오스크(300)는 각각 통신 네트워크에 연결되어, 통신 네트워크를 통해 서로간 데이터를 송수신할 수 있다. 예를 들어, 통신 네트워크는 LAN(Local Area Network), MAN(Metropolitan Area Network), GSM(Global System for Mobile Network), EDGE(Enhanced Data GSM Environment), HSDPA(High Speed Downlink Packet Access), W-CDMA(Wideband Code Division Multiple Access), CDMA(Code Division Multiple Access), TDMA(Time Division Multiple Access), 블루투스(Bluetooth), 지그비(Zigbee), 와이-파이(Wi-Fi), VoIP(Voice over Internet Protocol), LTE Advanced, IEEE802.16m, WirelessMAN-Advanced, HSPA+, 3GPP Long Term Evolution (LTE), Mobile WiMAX(IEEE 802.16e), UMB(formerly EV-DO Rev. C), Flash-OFDM, iBurst and MBWA (IEEE 802.20) systems, HIPERMAN, Beam-Division Multiple Access (BDMA), Wi-MAX(World Interoperability for Microwave Access), 5G 등 다양한 종류의 유선 또는 무선 네트워크가 사용될 수 있다.
도 2는 주름 기반 질환 진단 서버(100)의 주요 구성 요소를 나타낸 도면이다. 도 3은 사용자의 피부 이미지를 통해 사용자의 주름을 검출하는 과정을 나타낸 도면이다. 주름 기반 질환 진단 서버(100)는 인터페이스 제어부(101), 촬영 제어부(102), 영상 분석부(103), 질환 분석부(104) 및 솔루션 제공부(105) 등을 포함할 수 있다.
인터페이스 제어부(101)는 인터페이스 제어부(101)와 연동된 디스플레이(예: 사용자 단말(200)의 디스플레이 및/또는 키오스크(300)의 디스플레이)를 통해 촬영 목적을 선택하도록 하는 인터페이스를 표시할 수 있다. 인터페이스 제어부(101)는 사용자로부터 촬영 목적을 지시하는 입력 신호를 획득할 수 있다. 예를 들어, 인터페이스 제어부(101)는 촬영 목적이 피부 분석임을 지시하는 입력 신호를 획득하거나 촬영 목적이 질환 예측임을 지시하는 입력 신호를 획득하거나 촬영 목적이 피부 분석 및 질환 예측 전부를 지시하는 입력 신호를 획득할 수 있다.
촬영 제어부(102)는 촬영 제어부(102)와 연동된 피부 촬영 장치(예: 사용자 단말(200)의 카메라, 키오스크(300)의 카메라 및/또는 그 외 다른 촬영 장치)에 촬영 신호를 제공할 수 있다.
촬영 제어부(102)는 인터페이스 제어부(101)를 통해 질환 분석을 지시하는 입력 신호를 획득한 경우, 상기 연동된 피부 촬영 장치를 통해 제1 촬영 모드로 사용자를 촬영하고, 인터페이스 제어부(101)를 통해 피부 분석을 지시하는 입력 신호를 획득한 경우 상기 연동된 피부 촬영 장치를 통해 제2 촬영 모드로 상기 사용자를 촬영할 수 있다. 상기 제1 촬영 모드는 사용자의 안면부를 촬영하는 모드를 지칭하고, 상기 제2 촬영 모드는 사용자의 안면부에 더하여 사용자의 귀 및 목을 추가로 촬영하는 모드를 지칭할 수 있다. 상기 안면부는 사용자의 눈, 코, 입을 포함하는 머리의 앞면을 의미할 수 있다. 촬영 제어부(102)는 피부 촬영 장치로부터 사용자의 피부 이미지를 획득할 수 있다.
영상 분석부(103)는 사용자의 피부 이미지에 기반한 랜드마크를 기준으로 전처리를 수행할 수 있다. 상기 전처리는 피부 이미지가 인공지능에 기반하여 피부 분석 및/또는 질환 분석되기 전의 과정들을 포함할 수 있다.
영상 분석부(103)는 획득된 피부 이미지가 인공신경망 모델들을 학습시키거나 피부 분석 및/또는 주름 검출에 적합한 이미지인지 결정할 수 있다. 영상 분석부(103)는 획득된 피부 이미지의 밝기값, 대조값 등에 기초하여 상기 적합한 이미지인지 결정하고, 또한 영상 분석부(103)는 획득된 피부 이미지에서 주름 검출에 방해가 될 수 있는 털이 미리 설정된 개수를 초과하거나 상기 피부 이미지의 해상도가 미리 설정된 해상도(예: 320 x 320)보다 낮은 경우 부적합 이미지로 결정할 수 있다
영상 분석부(103)는 사용자의 피부 이미지(영상)(또는, 얼굴 이미지(영상)로 지칭)에 기반하여 사용자의 피부 타입 및/또는 피부 특성을 결정할 수 있다. 예를 들어, 피부 특성은 피부의 수분, 유분, 피지, pH도, 민감도, 탄력, 피부색/피부톤, 모공 상태, 색소 침착 및 각질 상태 등을 포함할 수 있다. 영상 분석부(103)는 사용자 단말(200) 및/또는 키오스크(300) 외에 별도의 측정 장치(예: 측정 마스크)를 통해 촬영되어 획득된 피부 이미지에 기반하여 사용자의 피부 특성을 결정할 수 있다. 영상 분석부(103)는 상기 피부 이미지에 기초하여 사용자의 피부의 수분, 유분, 피지, pH도, 민감도, 피부톤, 모공 상태, 색소 침착, 각질 상태 등 사용자의 피부 특성을 결정하며, 상기 결정된 피부 특성에 기반하여 사용자의 피부 타입을 결정할 수 있다.
질환 분석부(104)는, 사용자의 피부 타입 내지 피부 특성을 결정하는 영상 분석부(103)의 동작과는 달리, 획득된 사용자의 피부 이미지에 기반하여 사용자의 주름을 검출할 수 있다. 질환 분석부(104)는 검출된 사용자의 주름에 기반하여 사용자의 질환을 예측, 결정 및/또는 진단할 수 있다.
질환 분석부(104)는 영상 분석부(103)를 통해 전처리가 된 사용자의 피부 이미지를 인공신경망 모델(예: 주름 검출 모델)에 입력할 수 있다. 또한, 질환 분석부(104)는 다수의 사용자 단말들로부터 획득된 다수의 피부 이미지들을 학습 데이터로하여 상기 인공신경망 모델(예: 주름 검출 모델)을 학습시킬 수 있다. 질환 분석부(104)는 상기 인공신경망 모델의 출력으로서 상기 피부 이미지에 대응하는 주름 이미지 또는 주름 확률 맵(probability map)을 추출할 수 있다. 질환 분석부(104)는 추출된 상기 주름 이미지 또는 상기 주름 확률 맵을 이진화(binarization)할 수 있다. 질환 분석부(104)는 이진화된 상기 주름 이미지 또는 상기 주름 확률 맵에 기반하여 사용자의 주름을 검출할 수 있다.
구체적으로, 영상 분석부(103)는 주름 클러스터로 예상되는 영역에 ROI 마스크를 적용하고 대조 제한 적응 히스토그램 균등화(contrast-limited adaptive histogram equalization)를 적용할 수 있다. 질환 분석부(104)는 그런 다음 가우스시안의 차(difference of gaussian)를 이용하여 전처리된 피부 이미지로부터 주름 이미지 또는 주름 확률 맵을 추출할 수 있다. 주름들은 특징 맵에서 적응 임계값 방법(adaptive threshold method)을 통해 분할될 수 있다. 분할된(segmented) 주름들은 미리 설정된 길이보다 긴 주름, 미리 설정된 길이보다 짧은 주름, 미리 설정된 뎁스(depth)보다 깊은 주름, 두갈래 주름으로 분류될 수 있다.
일 실시 예에 따르면, 인공신경망 기반의 주름 검출 모델은 컨볼루션 신경망(convolutional neural network)(20)으로 구성될 수 있다. 컨볼루션 신경망은 미리 설정된 크기의 이미지 프레임들을 입력 이미지로 입력받아, 특징 맵을 추출하는 컨볼루셔널 계층(21), 추출된 특징에 대해 활성화 함수를 이용해 출력을 활성화할지 여부를 결정하는 활성화 계층(22), 활성화 계층(22)에 따른 출력에 대해 샘플링을 수행하는 풀링 계층(23), 클래스에 따른 분류를 수행하는 완전 연결 계층(24), 완전 연결 계층(24)에 따른 출력을 최종적으로 출력하는 출력 계층(25)을 포함할 수 있다.
컨볼루셔널 계층(21)은 입력 이미지와 필터를 서로 합성곱함으로써 입력 데이터의 특징을 추출하는 계층일 수 있다. 여기서 필터는 입력 이미지의 특징적 부분을 검출하는 함수로서, 일반적으로 행렬로 표현되며 학습 데이터에 의해 지속적으로 학습됨에 따라 결정되는 함수일 수 있다. 컨볼루셔널 계층(21)에 의해 추출된 특징은 특징 맵(feature map)으로 지칭될 수도 있다. 또한, 합성곱을 수행하는 간격 값을 스트라이드(stride)라고 지칭할 수 있는데, 스트라이드 값에 따라 다른 크기의 특징 맵이 추출될 수 있다. 이때, 특징 맵은 필터의 크기가 입력 이미지보다 작으면, 기존의 입력 이미지보다 더 작은 크기를 갖게 되는데, 여러 단계를 거쳐 특징이 소실되는 것을 방지하기 위하여 패딩 과정이 추가로 수행될 수 있다. 이때, 패딩 과정은 생성된 특징 맵의 외곽에 미리 설정된 값(예를 들면 0이나 1)을 추가함으로써 입력 이미지의 크기와 특징 맵의 크기를 동일하게 유지하는 과정일 수 있다.
여기서 본 발명의 일 실시예에 따른 컨볼루셔널 계층(21)은, 1Х1 컨볼루셔널 계층과 3Х3 컨볼루셔널 계층을 순차로 반복 연결한 구조를 사용할 수 있으나 이에 한정되는 것은 아니다.
활성화 계층(22)은 어떠한 값(또는 행렬)으로 추출된 특징을 활성화 함수에 따라 비선형 값으로 바꾸어 활성화 여부를 결정하는 계층으로, 활성화 함수로는 시그모이드(sigmoid) 함수, ReLU 함수, 소프트맥스(softmax) 함수 등이 사용될 수 있다. 예를 들어, 소프트맥스 함수는 입력된 값을 0~1사이의 값으로 모두 정규화하며 출력 값들의 총합은 항상 1이 되는 특성을 가진 함수일 수 있다.
풀링 계층(23)은 활성화 계층(22)의 출력에 대하여 서브 샘플링(subsampling) 또는 풀링(pooling)을 수행하여 특징맵을 대표하는 특징을 선정하는 계층으로서, 특징맵의 일정 영역에 대하여 가장 큰 값을 추출하는 맥스 풀링(max pooling), 평균값을 추출하는 애버리지 풀링(average pooling) 등이 수행될 수 있다. 이때, 풀링 계층은 활성화 함수 이후에 반드시 수행되는 것이 아니라 선택적으로 수행될 수 있다.
또한, 여기서 컨볼루션 신경망(convolutional neural network)(20)은 컨볼루셔널 계층(21), 활성화 계층(22), 풀링 계층(23)의 연결 구조가 복수개 포함될 수도 있다. 예를 들어, 컨볼루션 신경망(convolutional neural network)(20)은, CNN 기반의 S-CNN(shallow convolutional neural network), YOLO(You Look Only Once), SSD(Single Shot MultiBox Detector), Faster R-CNN, ResNet, U-Net 등이거나 이를 기반으로 개량된 형태의 심층 신경망일 수 있으나 이에 한정되는 것은 아니다. 예를 들어, 컨볼루션 신경망(convolutional neural network)(20)은 U-Net 구조로 컨볼루셔널 계층(21), 활성화 계층(22), 풀링 계층(23)의 연결 구조가 복수개 포함할 수 있으며, 다운 샘플링 내지 맥스 풀링(max-pooling)을 통한 적어도 하나 이상의 다운 샘플링 과정과 업 컨볼루션을 통한 적어도 하나 이상의 업 샘플링(up-sampling) 과정을 포함하며, 위와 같은 과정에 기반하여 분할(segmentation) 작업을 수행할 수 있다. 이를 통해 출력 데이터를 원본 이미지인 입력 이미지와 동일한 크기가 되도록 할 수 있으며, 입력 이미지에 검출된 주름 이미지 내지 주름 확률 맵을 중첩하여 나타낼 수 있다.
질환 분석부(104)는 검출된 사용자의 주름에 기반하여 사용자의 현재 질환 및/또는 발생 위험이 있는 미래의 질환을 결정 내지 예측할 수 있다. 질환 분석부(104)는 사용자의 주름 발생 부위를 결정하고, 상기 부위에서의 사용자의 주름 정도를 산출할 수 있다. 질환 분석부(104)는 검출된 주름들 각각의 개수, 검출된 주름 각각의 면적, 및 검출된 주름들 간 간격(밀도) 등에 기반하여 상기 주름 정도를 산출할 수 있다. 질환 분석부(104)는 검출된 주름들 각각이 차지하는 픽셀의 수를 계산하고, 계산된 픽셀의 수의 합을 계산하여 상기 주름 각각의 면적을 계산할 수 있다. 질환 분석부(104)는 검출된 주름들을 포함하도록 하는 주름 영역을 결정하고, 결정된 주름 영역 내에서 주름들 각각의 개수 및 주름들 각각의 면적에 기반하여 상기 주름들 간 밀도를 산출할 수 있다.
질환 분석부(104)는 사용자의 주름 발생 부위 및/또는 사용자의 주름 정도 등에 기반하여 사용자의 질환을 결정하고, 상기 질환에 대한 질환 위험도를 산출할 수 있다. 질환 분석부(104)는 상기 주름 발생 부위, 상기 주름 정도에 더하여, 획득된 사용자의 연령 정보에 대응하는 사용자의 나이에 기반하여, 상기 질환 위험도를 산출할 수 있다. 질환 분석부(104)는 획득된 상기 연령 정보에 따른 상기 사용자의 나이가 많을수록 상기 주름 정도에 대한 가중치를 낮게 설정하고, 상기 나이가 적을수록 상기 주름 정도에 대한 가중치를 높게 설정할 수 있다. 즉, 나이가 많을수록 자연적인 노화에 따른 주름이 발생할 가능성이 높으므로 이를 고려하여 질환 위험도가 산출될 수 있다.
질환 분석부(104)는 사용자의 나이를 고려하는 것에 더하여, 부위별 주름 발생 수월도에 기반하여 상기 질환 위험도를 산출할 수 있다. 주름 발생 수월도는 부위별로 주름이 발생하기가 쉬운 부위인지 어려운 부위인지를 나타내는 지표일 수 있다. 예를 들어, 이마, 눈가, 입가 주변 부위는 기본적으로 얼굴의 표정 변화, 머리 움직임 등에 의하여 주름이 더 잘생기는 부위이므로, 질환 분석부(104)는 이마, 눈가, 목, 입가 주변 부위에 대한 주름 발생 수월도를 높게 결정하여 질환 위험도를 산출함에 있어서 상기 부위에 대한 가중치는 낮게 결정하고, 턱, 볼, 귀불, 코 부위에 대한 주름 발생 수월도를 낮게 결정하여 질환 위험도를 산출함에 있어서 상기 부위에 대한 가중치는 높게 설정할 수 있다.
질환 분석부(104)는 다수의 사용자들 각각의 얼굴 이미지에 기반하여 주름 발생 수월도를 결정할 수 있으며, 다수의 사용자들에 대한 부위별 주름 정도의 평균치를 산정하여, 부위별 주름 정도의 평균치가 높을수록 주름 발생 수월도를 1에 가깝도록 결정하고, 부위별 주름 정도의 평균치가 낮을수록 주름 발생 수월도를 0에 가깝도록 결정할 수 있다.
질환 분석부(104)는 이하 수학식 1을 통해 질환 위험도를 산출할 수 있다.
Figure PCTKR2023009028-appb-img-000001
Figure PCTKR2023009028-appb-img-000002
상기 수학식 1에서, G는 질환 위험도, d는 주름 정도, w는 상기 주름 정도에 대한 가중치, a는 주름 발생한 부위에 주름 발생 수월도, x는 사용자의 연령, x0는 미리 설정된 기준 연령, σ는 가중치의 변화도(가중치 그래프 기울기)를 조절하는 파라미터일 수 있다. 다시 말해서, w는 연령이 많아짐에 따라 감소하는 값일 수 있다. 상기 파라미터는 성별, 인종 등에 의하여 결정될 수 있다.
질환 분석부(104)는 산출된 질환 위험도가 미리 설정된 제1 임계치를 초과한 경우, 해당 부위에 관련된 질환이 있는 것으로 결정할 수 있다. 예를 들어, 질환 분석부(104)는 귀의 귓불 주름은 뇌혈관, 치매 등과 연관성이 있는 것으로 판단하고 귓불 주름에 따른 질환 위험도가 상기 제1 임계치를 초과한 경우, 뇌혈관, 치매와 관련된 질환이 있는 것으로 결정할 수 있다. 예를 들어, 질환 분석부(104)는 이마는 심혈관질환 등과 연관성이 있는 것으로 판단하고 이마 주름에 따른 질환 위험도가 상기 제1 임계치를 초과한 경우, 심혈관질환이 있는 것으로 결정할 수 있다.
솔루션 제공부(105)는 산출된 질환 위험도가 상기 제1 임계치보다 높은 미리 설정된 제2 임계치를 초과한 경우, 의사 진단을 권고할 수 있다. 질환 분석부(104)는 상기 질환 위험도가 제1 임계치를 초과하되, 제2 임계치 이하인 경우, 추천 생활 습관에 관한 정보 및/또는 추천 식습관에 관한 정보를 사용자에게 제공할 수 있다.
솔루션 제공부(105)는 촬영 제어부(102)를 통해 정기적인 촬영을 수행하고, 사용자 개인의 주름 정도 변화도를 산출할 수 있다. 솔루션 제공부(105)는 사용자의 주름 정도 변화도에 기반하여 미리 설정된 조건(예: 질환 위험도 순서 또는 시간 순서)에 따라 사용자의 주름 이미지 내지 주름 확률 맵을 나열하고, 나열된 주름 이미지 내지 주름 확률 맵을 사용자 단말(200) 및/또는 키오스크(300)를 통해 사용자에게 제공할 수 있다. 솔루션 제공부(105)는 산출된 상기 질환 위험도에 따라 촬영 주기를 결정할 수 있으며, 질환 위험도가 높을수록 촬영 주기를 짧게 결정하고 질환 위험도가 낮을수록 촬영 주기를 길게 결정할 수 있다.
도 4는 촬영 목적에 따라 사용자의 단순 피부 분석 또는 사용자의 질환 분석을 수행하는 것에 관한 흐름도이다.
인터페이스 제어부(101)는 사용자 단말(200)(예: 사용자 단말(200)의 디스플레이) 또는 키오스크(300)(예: 키오스크(300)의 디스플레이)를 통해 사용자로부터 촬영 목적을 지시하는 입력 신호를 획득할 수 있다. 촬영 제어부(102)는 상기 입력 신호에 대응하는 촬영 목적을 결정할 수 있다(S110).
촬영 제어부(102)는 촬영 목적이 질환 분석임을 지시하는 입력 신호를 획득한 경우, 제1 촬영 모드로 사용자를 촬영하도록 피부 촬영 장치(예: 사용자 단말(200)의 카메라, 키오스크(300)의 카메라 및/또는 그 외 다른 촬영 장치)를 제어할 수 있다(S120).
촬영 제어부(102)는 촬영 목적이 피부 분석임을 지시하는 입력 신호를 획득한 경우, 제2 촬영 모드로 사용자를 촬영하도록 피부 촬영 장치(예: 사용자 단말(200)의 카메라, 키오스크(300)의 카메라 및/또는 그 외 다른 촬영 장치)를 제어할 수 있다(S130).
영상 분석부(103)는 제2 촬영 모드에 기반하여 촬영된 사용자의 이미지를 인공지능에 기반하여 분석할 수 있다(S140). 다시 말해서, 영상 분석부(103)는 제2 촬영 모드에 기반하여 촬영된 사용자의 이미지에 기반하여 사용자의 피부 타입 및 피부 특성을 분석 내지 결정할 수 있다.
질환 분석부(104)는 제1 촬영 모드에 기반하여 촬영된 사용자의 이미지를 인공지능에 기반하여 분석할 수 있다(S140). 다시 말해서, 질환 분석부(104)는 제1 촬영 모드에 기반하여 촬영된 사용자의 이미지에 기반하여 사용자의 주름을 검출하고, 검출된 사용자의 주름에 기반하여 사용자의 현재 질환 및/또는 발생 위험이 있는 미래의 질환을 결정 내지 예측할 수 있다.
인터페이스 제어부(101)는 인공지능에 기반하여 분석된 결과 정보(예: 피부 타입, 피부 특성, 및/또는 질환 정보)를 사용자 단말(200)(예: 사용자 단말(200)의 디스플레이) 또는 키오스크(300)(예: 키오스크(300)의 디스플레이)를 통해 출력할 수 있다(S150).
솔루션 제공부(105)는 사용자에 의하여 입력된 촬영 목적에 따라 피부 관리 및/또는 질환 관리에 관한 정보를 사용자 단말(200)(예: 사용자 단말(200)의 디스플레이) 또는 키오스크(300)(예: 키오스크(300)의 디스플레이)를 통해 제공 내지 표시할 수 있다(S160). 예를 들어, 솔루션 제공부(105)는 분석된 사용자의 피부 특성 및/또는 피부 타입에 대한 상세 결과를 사용자 단말(200) 내지 키오스크(300)를 통해 표시할 수 있으며, 솔루션 제공부(105)는 사용자의 피부 특성, 피부 타입 및/또는 사용자의 피부 트러블에 대한 상세 결과에 따라 맞춤형 피부 전문가(예: 피부과 전문의)를 결정하고, 결정된 피부 전문가와 사용자를 연결해줄 수 있는 인터페이스를 제공할 수 있다. 예를 들어, 솔루션 제공부(105)는 사용자의 피부 분석 결과에 따라 사용자가 블랙 헤드가 심각한 경우, 블랙 헤드에 대한 진료 및/또는 시술 경험이 풍부한 피부과 전문가를 결정하고, 사용자의 피부가 건조하고 탄력이 안 좋은 경우, 건조성 피부에 대한 진료 및/또는 시술 경험이 풍부한 피부과 전문가를 결정할 수 있다. 사용자는 피부 전문가를 통해 피부 트러블에 대하여 언제 어디서든 빠르고 쉽게 진단 및 관리할 수 있으며 비대면 상담 및 방문예약이 가능할 수 있다.
도 5는 사용자의 연령 정보 및 사용자의 주름 정보에 기반하여 사용자의 질환 위험도를 분석하는 것에 관한 흐름도이다.
인터페이스 제어부(101)는 촬영 목적이 질환 분석임을 지시하는 입력 신호를 획득한 경우, 사용자 단말(200) 또는 키오스크(300)를 통해 사용자의 연령 정보를 입력받는 인터페이스를 제공할 수 있다. 인터페이스 제어부(101)는 사용자로부터 사용자의 연령 정보를 지시하는 입력 신호를 획득할 수 있다(S210). 다시 말해서, 사용자는 인터페이스 제어부(101)에 의하여 제공받은 인터페이스를 통해 자신의 연령을 직접 입력할 수 있으며, 입력된 연령은 인터페이스 제어부(101)에 전달될 수 있다.
촬영 제어부(102)는 제1 촬영 모드로 사용자를 촬영하도록 촬영 장치(예: 사용자 단말(200)의 카메라 및/또는 키오스크(300)의 카메라)를 제어할 수 있다(S220). 영상 분석부(103)는 촬영된 사용자의 이미지에 기반하여 사용자의 주름을 검출할 수 있다(S230).
질환 분석부(104)는 질환 위험도를 산출할 수 있다(S240). 질환 분석부(104)는 사용자의 주름 발생 부위를 결정하고, 상기 부위에서의 사용자의 주름 발생 정도를 산출할 수 있다. 질환 분석부(104)는 사용자의 연령, 주름의 발생 부위 및 주름 발생 정도에 기반하여 질환 위험도를 산출할 수 있다. 사용자의 연령은 상기 인터페이스 제어부(101)를 통한 사용자의 입력에 의하여 획득된 연령 정보가 이용되거나, 사용자의 얼굴 이미지에 기반하여 연령 추정 기능을 통해 자동으로 추정될 수 있다.
예를 들어, 질환 분석부(104)는 사용자의 연령을 추정하기 위하여, 인공신경망 기반의 연령 추정 모델을 학습시킬 수 있다. 질환 분석부(104)는 사용자의 얼굴 이미지를 인공 신경망에 입력 데이터로 입력할 수 있다. 질환 분석부(104)는 인공신경망(ANN; artificial neural network)을 통해 사용자의 연령을 출력할 수 있다. 상기 인공신경망은 CNN(convolutional neural network) 기반의 객체 식별 알고리즘인 SSD(Single Shot Detector), R-CNN(Region with CNN) 또는 YOLO(you only look once) 등을 이용하여 구현될 수 있다.
일 실시 예에서, 질환 분석부(104)는 사용자의 얼굴 이미지에 따른 연령 추정 모델을 지도학습(supervised learning)할 수 있으며, 연령 추정 모델은 인공 신경망으로 구현될 수 있다. 인공 신경망은 많은 수의 인공 뉴런(또는, 노드)들을 이용하여 생물학적인 시스템의 계산 능력을 모방하는 소프트웨어나 하드웨어로 구현된 예측 모델이다.
인공신경망 기반의 연령 추정 모델은 연령 추정 모델 학습부에 의해서 '얼굴 이미지' 및 '연령에 대하여 라벨링된 데이터'을 이용하여 지도 학습될 수 있다. 이때 지도 학습이란, 입력값과 그에 따른 출력값이 있는 데이터를 학습 데이터로 이용하여 주어진 입력값에 따른 출력값을 찾는 학습을 의미하며, 정답을 알고 있는 상태에서 이루어지는 학습을 의미한다. 예를 들어, 라벨링된 데이터는 사용자의 연령을 라벨링한 데이터일 수 있다. 지도 학습에 주어지는 입력값과 출력값 세트를 훈련 데이터(Training Data)라고 한다. 즉, 상술한 '사용자의 얼굴 이미지'와 '연령에 대하여 라벨링된 데이터'는 각각 입력값과 출력값으로서, 연령 추정 모델의 지도 학습을 위한 훈련 데이터로 사용될 수 있다.
질환 분석부(104)는 상기 얼굴 이미지를 미리 설정된 크기의 입력 이미지로 변환하여 상기 미리 지도학습(supervised learning)된 연령 추정 모델에 입력할 수 있다. 질환 분석부(104)는 상기 연령 추정 모델의 출력에 기초하여 사용자의 연령을 추정할 수 있다. 다만, 사용자의 연령을 추정함에 있어서 위에서 설명된 연령 추정 모델 뿐만 아니라, 통상의 기술자 수준에서 활용할 수 있는 연령 추정 소프트웨어 내지 시스템이 이용될 수 있음은 자명하다고 할 것이다.
질환 분석부(104)는 산출된 질환 위험도가 제1 임계치를 초과하는 경우, 상기 주름 발생 부위에 대응하는 질환 발생했거나 질환이 곧 발생할 것이라 결정할 수 있다. 질환 분석부(104)는 질환 위험도가 제2 임계치를 초과하는지 여부를 결정할 수 있다(S250).
솔루션 제공부(105)는 산출된 질환 위험도가 상기 제1 임계치보다 높은 미리 설정된 제2 임계치를 초과한 경우, 사용자에게 의사 진단을 권고할 수 있다(S260). 다시 말해서, 솔루션 제공부(105)는 산출된 상기 질환 위험도가 상기 제2 임계치를 초과한 경우, 상기 주름 발생 부위에 대응하는 상기 질환에 대한 맞춤형 전문가(예: 심혈관 전문의)를 결정하고, 결정된 심혈관 전문가와 사용자를 연결해줄 수 있는 인터페이스를 제공할 수 있다. 사용자는 맞춤형 전문가를 통해 질환에 대하여 언제 어디서든 빠르고 쉽게 진단 및 관리할 수 있으며 비대면 상담 및 방문예약이 가능할 수 있다.
솔루션 제공부(105)는 상기 질환 위험도가 제1 임계치를 초과하되, 제2 임계치 이하인 경우, 추천 생활 습관에 관한 정보 및/또는 추천 식습관에 관한 정보를 사용자 단말(200) 내지 키오스크(300)에 표시함으로써, 상기 정보를 사용자에게 제공할 수 있다(S270).
도 6은 도 1에 따른 주름 기반 질환 진단 서버(100)의 하드웨어 구성을 나타낸 도면이다.
도 6을 참조하면, 주름 기반 질환 진단 서버(100)는 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
상기 적어도 하나의 동작은, 전술한 주름 기반 질환 진단 서버(100)의 동작이나 기능 중 적어도 일부를 포함하고 명령어들 형태로 구현되어 프로세서(110)에 의하여 수행될 수 있다.
여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.
또한, 주름 기반 질환 진단 서버(100)는 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 주름 기반 질환 진단 서버(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 주름 기반 질환 진단 서버(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다. 도 6에서는 주름 기반 질환 진단 서버(100)를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 복수 개의 사용자 단말들은 도 6에 따른 구성요소를 포함할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (5)

  1. 주름 검출을 통해 사용자의 질환을 진단하는 서버에 있어서,
    상기 서버와 연동된 디스플레이를 통해 촬영 목적을 선택하도록 하는 인터페이스를 표시하며, 상기 사용자로부터 촬영 목적을 지시하는 입력 신호를 획득하는 인터페이스 제어부;
    피부 촬영 장치를 제어하여 사용자의 피부 이미지를 촬영하는 촬영 제어부;
    상기 피부 촬영 장치로부터 사용자의 피부 이미지를 획득하고, 상기 피부 이미지에 기반한 랜드마크를 기준으로 전처리를 수행하며, 전처리된 상기 피부 이미지에 기반하여 상기 사용자의 피부 타입 및 피부 특성을 결정하는 영상 분석부;
    상기 피부 이미지에 기반하여 상기 사용자의 주름을 검출하고, 검출된 상기 사용자의 주름에 기반하여 상기 사용자의 질환을 진단하는 질환 분석부; 및
    진단된 상기 사용자의 질환에 따라 맞춤형 솔루션을 제공하는 솔루션 제공부를 포함하는, 서버.
  2. 청구항 1에서,
    상기 촬영 제어부는,
    질환 분석을 지시하는 입력 신호를 획득한 경우, 상기 피부 촬영 장치를 통해 제1 촬영 모드로 사용자를 촬영하고, 피부 분석을 지시하는 입력 신호를 획득한 경우 상기 피부 촬영 장치를 통해 제2 촬영 모드로 상기 사용자를 촬영하고,
    상기 질환 분석부는,
    다수의 사용자 단말들로부터 획득된 다수의 사용자들 각각의 피부 이미지에 대응하는 훈련 입력값, 및 주름 이미지 또는 주름 확률 맵(probability map)과 대응하는 훈련 출력값으로 구성되는 훈련 데이터를 이용하여 학습되고, 복수의 은닉층들로 구성되는 딥러닝 네트워크 기반으로 상기 사용자에 대응하는 상기 주름 확률 맵을 생성하는 주름 검출 모델을 포함하고,
    상기 사용자의 전처리된 상기 피부 이미지를 CNN(convolutional neural network) 기반의 상기 주름 검출 모델에 입력하고, 상기 주름 검출 모델의 출력에 기초하여 상기 피부 이미지에 대응하는 주름 이미지 또는 주름 확률 맵을 생성하고,
    생성된 상기 주름 이미지 또는 상기 주름 확률 맵에 기초하여 상기 사용자의 주름을 검출하는, 서버.
  3. 청구항 2에서,
    상기 질환 분석부는,
    사용자의 주름 발생 부위를 결정하고,
    상기 주름 발생 부위 및 상기 부위에 발생한 주름 정도에 기반하여 사용자의 질환 발생 여부를 결정하는, 서버.
  4. 청구항 3에서,
    상기 질환 분석부는,
    상기 사용자의 연령, 상기 주름 발생 부위, 상기 주름 정도에 기반하여 질환 위험도를 산출하되,
    획득된 상기 연령 정보에 따른 상기 사용자의 나이가 많을수록 상기 주름 정도에 대한 가중치를 낮게 설정하고, 상기 나이가 적을수록 상기 주름 정도에 대한 가중치를 높게 설정하는, 서버.
  5. 청구항 4에서,
    상기 솔루션 제공부는,
    상기 질환 위험도에 따라 의사 진단 서비스를 제공하거나 추천 생활 습관 및 추천 식습관에 관한 정보를 제공하는, 서버.
PCT/KR2023/009028 2022-07-01 2023-06-28 주름 검출을 통해 질환을 예측하는 방법 및 장치 WO2024005542A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220081116A KR102445752B1 (ko) 2022-07-01 2022-07-01 주름 검출을 통해 질환을 예측하는 방법 및 장치
KR10-2022-0081116 2022-07-01

Publications (1)

Publication Number Publication Date
WO2024005542A1 true WO2024005542A1 (ko) 2024-01-04

Family

ID=83452760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/009028 WO2024005542A1 (ko) 2022-07-01 2023-06-28 주름 검출을 통해 질환을 예측하는 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102445752B1 (ko)
WO (1) WO2024005542A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102445752B1 (ko) * 2022-07-01 2022-09-21 주식회사 룰루랩 주름 검출을 통해 질환을 예측하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108417A (ko) * 2013-02-27 2014-09-11 김민준 영상정보를 이용한 건강 진단 시스템
KR102180922B1 (ko) * 2020-04-13 2020-11-19 주식회사 룰루랩 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스
KR20220018813A (ko) * 2020-08-07 2022-02-15 주식회사 에이아이포펫 휴대용 단말기를 이용한 피부질환 측정 시스템 및 피부질환 관리방법
KR20220068330A (ko) * 2020-11-18 2022-05-26 주식회사 고운세상코스메틱 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치
KR102413404B1 (ko) * 2021-01-12 2022-06-27 주식회사 룰루랩 피부 상태 분석 및 피부 질환 진단 디바이스
KR102445752B1 (ko) * 2022-07-01 2022-09-21 주식회사 룰루랩 주름 검출을 통해 질환을 예측하는 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108417A (ko) * 2013-02-27 2014-09-11 김민준 영상정보를 이용한 건강 진단 시스템
KR102180922B1 (ko) * 2020-04-13 2020-11-19 주식회사 룰루랩 멀티모달 센서 어셈블리를 포함하는 분산형 엣지 컴퓨팅 기반 피부 질환 분석 디바이스
KR20220018813A (ko) * 2020-08-07 2022-02-15 주식회사 에이아이포펫 휴대용 단말기를 이용한 피부질환 측정 시스템 및 피부질환 관리방법
KR20220068330A (ko) * 2020-11-18 2022-05-26 주식회사 고운세상코스메틱 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치
KR102413404B1 (ko) * 2021-01-12 2022-06-27 주식회사 룰루랩 피부 상태 분석 및 피부 질환 진단 디바이스
KR102445752B1 (ko) * 2022-07-01 2022-09-21 주식회사 룰루랩 주름 검출을 통해 질환을 예측하는 방법 및 장치

Also Published As

Publication number Publication date
KR102445752B1 (ko) 2022-09-21

Similar Documents

Publication Publication Date Title
US11612311B2 (en) System and method of otoscopy image analysis to diagnose ear pathology
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
WO2017022908A1 (ko) 심층신경망을 이용한 골 연령 산출방법 및 프로그램
WO2020048140A1 (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
US9750450B2 (en) Method, electronic apparatus, and computer readable medium of constructing classifier for skin-infection detection
KR101301821B1 (ko) 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
US20200037732A1 (en) Beauty counseling information providing device and beauty counseling information providing method
WO2024005542A1 (ko) 주름 검출을 통해 질환을 예측하는 방법 및 장치
Ghosal et al. sHEMO: Smartphone spectroscopy for blood hemoglobin level monitoring in smart anemia-care
Muhaba et al. Automatic skin disease diagnosis using deep learning from clinical image and patient information
WO2019098415A1 (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법 및 이를 이용한 장치
CN109460717A (zh) 消化道共聚焦激光显微内镜病变图像识别方法及装置
CN112971718A (zh) 证候识别方法、装置、电子设备及存储介质
WO2019189972A1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
WO2021201582A1 (ko) 피부 병변의 원인 분석 방법 및 장치
US20230284968A1 (en) System and method for automatic personalized assessment of human body surface conditions
Florestiyanto et al. Non-invasive anemia screening using nails and palms photos
EP4036867A2 (en) System and method for classifying dermatological images using machine learning
Elabbas et al. Classification of Otitis Media Infections using Image Processing and Convolutional Neural Network
CN114972297A (zh) 口腔健康监测方法及装置
KR102465728B1 (ko) 다크서클을 검출하여 다크서클의 정도를 정량화하는 방법 및 장치
TWI639980B (zh) 臉部氣色分析方法
KR102549558B1 (ko) 비접촉식 측정 데이터를 통한 감정 예측을 위한 인공지능 기반 감정인식 시스템 및 방법
WO2023063772A1 (ko) 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법
WO2023234758A1 (ko) 인공지능 모델을 이용하여 손톱을 분석하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831901

Country of ref document: EP

Kind code of ref document: A1